Los Angeles / St. Louis Rams
Hij werd als 15e gekozen (1e ronde) in de NFL Draft van 1994 door de L.A. Rams. Gandy bracht vijf seizoenen door bij de Rams.
Pittsburgh Steelers
Gandy zat vier seizoenen bij de Pittsburgh Steelers van 1999 tot 2002.
New Orleans Saints
Op 2 maart 2003 tekende Gandy een contract voor zes jaar bij de New Orleans Saints. Na drie seizoenen bij de Saints werd hij op 7 april 2006 verhandeld aan de Atlanta Falcons voor safety Bryan Scott en een draft pick.
Atlanta Falcons
Voor het seizoen 2007 werd Gandy genoemd als één van de team captains van de Falcons. Op 7 oktober blesseerde Gandy zijn linkerknie tijdens de wedstrijd tegen de Tennessee Titans; hij scheurde een zogenaamde voorste kruisband, waardoor hij de rest van het seizoen geen wedstrijden meer kon spelen.
Op 15 februari 2008 ontsloegen de Falcons hem. Hij werd op 29 oktober opnieuw gecontracteerd na een blessure van offensive tackle Sam Baker, maar hij werd niet door de Falcons ontslagen in het offseason.