In december 2001 nam Perdue ontslag als staatssenator om zich kandidaat te stellen voor het ambt van gouverneur. Hij won de gouverneursverkiezingen van 2002 in Georgia door de Democraat Roy Barnes te verslaan met 51% tegen 46%, terwijl de Libertarische kandidaat Garrett Michael Hayes 2% van de stemmen haalde. Hij werd de eerste Republikeinse gouverneur van Georgia in meer dan 130 jaar sinds Benjamin F. Conley.
Als gouverneur leidde Perdue hervormingen om verspilling bij de overheid tegen te gaan, met name de verkoop van overtollige voertuigen en onroerend goed. Hij hielp Georgia van de laatste plaats in het land op te klimmen in SAT-scores. Hoewel het in 2005 weer de laatste plaats innam, steeg Georgia in 2006 naar de 49e plaats voor de gecombineerde gemiddelde score voor wiskunde en lezen, inclusief het schrijfgedeelte dat dat jaar aan de test werd toegevoegd. Perdue creëerde ook extra mogelijkheden voor charterscholen en privéscholen. In 2006 tekende Perdue een wet die Georgia "een aantal van de strengste maatregelen van het land tegen illegale immigratie" gaf.
In 2006 werd Perdue herkozen voor een tweede ambtstermijn bij de gouverneursverkiezingen in Georgia, met bijna 58% van de stemmen. Zijn democratische tegenstander was luitenant-gouverneur Mark Taylor. Libertariër Garrett Michael Hayes stond ook op het stembiljet.
2007 gebed voor regen
Op 13 november 2007, terwijl Georgia leed onder een van de ergste droogteperiodes in tientallen jaren, leidde Perdue een groep van enkele honderden mensen in een gebed op de trappen van het Capitool van de staat. Perdue sprak de menigte toe met de woorden: "We zijn hier samengekomen voor slechts één reden en slechts één reden: Om zeer eerbiedig en respectvol te bidden tot een storm" en "God, we hebben U nodig; we hebben regen nodig".
