Hopetoun's eerste taak was het kiezen van een Eerste Minister om een regering te vormen, die op 1 januari 1901 van start zou gaan. De eerste verkiezingen zouden pas in maart worden gehouden, dus kon hij niet de leider van de grootste politieke partij in het Huis van Afgevaardigden kiezen. In plaats daarvan vroeg hij Sir William Lyne, de premier van de grootste staat, New South Wales, om premier te worden
Hoewel dit een redelijke keuze was, was Lyne tegen federatie en was hij niet populair bij de leidende federalistische politici. Alfred Deakin en andere belangrijke politici vertelden Hopetoun dat ze niet met Lyne wilden werken. Hopetoun vroeg toen Edmund Barton, de leider van de federale beweging en de man van wie iedereen vond dat hij premier moest worden. Dit werd bekend als de "Hopetoun Blunder".
Er waren al snel meer problemen. Hopetoun had zijn eigen officiële secretaris meegebracht, kapitein Edward William Wallington. De Australiërs wilden geen Engelsman voor de officiële zaken. Ze hielden ook niet van de vorstelijke pracht en praal die Hopetoun in zijn functie gebruikte, en het geld dat dat kostte. Hij gedroeg zich alsof hij samen met de eerste minister over Australië regeerde. Dit was niet wat de schrijvers van de grondwet hadden gewild.
Hopetoun raakte bevriend met de anarchist en vakbondspionier van Melbourne, John 'Chummy' Fleming. In mei 1901 protesteerde Fleming tegen de werkloosheid in Melbourne door zich naar de Prince's Bridge te haasten om de koets van de gouverneur-generaal tegen te houden. Hopetoun luisterde naar Fleming die sprak over de problemen van de werklozen. Volgens sommige berichten zorgde Hopetoun ervoor dat de regering de werkprojecten versnelde.
Tenslotte was er een probleem met hoeveel de gouverneur-generaal betaald moest worden om een huis te hebben in zowel Sydney, de grootste stad, als Melbourne, de thuisbasis van de Australische regering. Het Gemenebest en het Victoriaanse parlement wilden Hopetoun niet meer geld betalen. Hopetoun nam in mei 1902 ontslag. Hij en zijn gezin verlieten Australië (vanuit Brisbane) op 17 juli 1902. Hij wist dat hij gefaald had in een historische rol. Hij werd op 27 oktober 1902, toen hij nog gouverneur-generaal was, benoemd tot 1e Markies van Linlithgow. Zijn ambtstermijn eindigde officieel op 9 januari 1903. In 1905 werd hij benoemd tot secretaris voor Schotland.
Hij overleed plotseling op 29 februari 1908, in Pau, Pyrénées-Atlantiques, Frankrijk.
