Thant begon zijn functie als waarnemend Secretaris-Generaal op 3 november 1961, toen hij op aanbeveling van de Veiligheidsraad met eenparigheid van stemmen door de Algemene Vergadering werd benoemd ter vervanging van de ambtstermijn van Dag Hammarskjöld, die nog niet was verstreken. Vervolgens werd hij op 30 november 1962 door de Algemene Vergadering met eenparigheid van stemmen tot secretaris-generaal benoemd voor een ambtstermijn die op 3 november 1966 afliep. Tijdens zijn eerste ambtstermijn kreeg hij veel lof toegezwaaid voor zijn rol bij het bezweren van de CubaanseRaketcrisis en bij het beëindigen van de burgeroorlog in Congo.
U Thant werd op 2 december 1966, op unanieme aanbeveling van de Veiligheidsraad, door de Algemene Vergadering voor een tweede ambtstermijn benoemd tot Secretaris-Generaal van de Verenigde Naties. Zijn ambtstermijn liep tot 31 december 1971, toen hij met pensioen ging. Tijdens zijn ambtsperiode zag hij toe op de toetreding tot de VN van tientallen nieuwe Aziatische en Afrikaanse staten en was hij een felle tegenstander van de apartheid in Zuid-Afrika. Hij richtte ook veel van de ontwikkelings- en milieuorganisaties, -fondsen en -programma's van de VN op, waaronder het Ontwikkelingsprogramma van de Verenigde Naties (UNDP), de VN-universiteit, UNCTAD, UNITAR en het Milieuprogramma van de Verenigde Naties.
Hij had ook vele succesvolle, maar nu grotendeels vergeten vredesinspanningen geleid, bijvoorbeeld in Jemen in 1962 en Bahrein in 1968. In beide gevallen zou oorlog een breder regionaal conflict hebben uitgelokt en was het Thant's stille bemiddeling die oorlog voorkwam.
In tegenstelling tot zijn twee voorgangers, trad Thant na tien jaar af onder goede verstandhouding met alle grote mogendheden. In 1961, toen hij voor het eerst werd benoemd, had de Sovjet-Unie geprobeerd aan te dringen op een trojka-formule van drie Secretarissen-Generaal, één die elk blok van de Koude Oorlog vertegenwoordigde, iets wat de gelijkheid tussen de supermachten in de Verenigde Naties zou hebben gehandhaafd. In 1966, toen Thant werd herbenoemd, bevestigden alle grote mogendheden in een unanieme stemming van de Veiligheidsraad het belang van het Secretaris-Generaalschap en zijn goede diensten, een duidelijk eerbetoon aan het werk van Thant.
De Zesdaagse Oorlog tussen de Arabische landen en Israël, de Praagse Lente en de daaropvolgende Sovjet-invasie in Tsjecho-Slowakije, en de Indo-Pakistaanse Oorlog van 1971 die leidde tot de geboorte van Bangladesh vonden allemaal plaats in de periode dat hij secretaris-generaal was.
Hij kreeg veel kritiek in de VS en Israël omdat hij instemde met het terugtrekken van VN-troepen uit de Sinaï in 1967 in antwoord op een verzoek van de Egyptische president Nasser. U Thant probeerde Nasser ervan te overtuigen geen oorlog met Israël te beginnen door op het laatste moment naar Caïro te vliegen in een poging vrede te stichten.
Zijn eens zo goede relatie met de Amerikaanse regering verslechterde snel toen hij openlijk kritiek uitte op het Amerikaanse optreden in de oorlog in Vietnam. Zijn geheime pogingen tot rechtstreekse vredesbesprekingen tussen Washington en Hanoi werden uiteindelijk door de regering-Johnson afgewezen.
Thant volgde met enige belangstelling de berichten over ongeïdentificeerde vliegende objecten; in 1967 zorgde hij ervoor dat de Amerikaanse atmosferisch fysicus Dr. James E. McDonald voor de Outer Space Affairs Group van de VN over UFO's kon spreken.
Op 23 januari 1971 kondigde U Thant categorisch aan dat hij "onder geen beding" beschikbaar zou zijn voor een derde termijn als Secretaris-Generaal. Wekenlang zat de Veiligheidsraad van de VN in een impasse over het zoeken naar een opvolger, voordat uiteindelijk op 21 december 1971 - Waldheims 53e verjaardag - en slechts tien dagen voordat U Thants tweede termijn zou aflopen, Kurt Waldheim werd gekozen om U Thant als Secretaris-Generaal op te volgen.
In zijn afscheidsrede voor de Algemene Vergadering van de Verenigde Naties verklaarde secretaris-generaal U Thant dat hij een "groot gevoel van opluchting, grenzend aan bevrijding" voelde toen hij afstand deed van de "lasten van het ambt". In een rond 27 december 1971 gepubliceerd hoofdartikel waarin U Thant werd geprezen, verklaarde The New York Times dat "de wijze raad van deze toegewijde man van de vrede ook na zijn pensionering nog nodig zal zijn". Het hoofdartikel was getiteld "De bevrijding van U Thant".