Ajax
Op 19 oktober 2002 speelde de Jong voor het eerst voor het eerste elftal van Ajax. Hij scoorde zijn eerste doelpunt op 18 februari 2003 in een 1-1 gelijkspel tegen Arsenal in de UEFA Champions League. In het daaropvolgende seizoen begon hij vaak in het eerste elftal te spelen. In dit seizoen won Ajax de Eredivisie. In 2004-05 werd de Jong uitgeroepen tot Ajax Speler van het Seizoen. Later, nadat hij een tijdje op het middenveld had gestaan, zat hij vaker op de bank dan dat hij aan de aftrap van een wedstrijd stond. Op 7 december 2005 werd bekend dat de Jong niet bij Ajax wilde blijven. Zijn contract bij Ajax zou in juli 2006 aflopen.
Hamburg
Op 26 januari 2006 tekende de Jong een contract voor vier en een half jaar bij de Duitse Bundesliga-club Hamburg. Hij verhuisde daarheen voor ongeveer 1 miljoen euro. Twee dagen later speelde hij voor het eerst voor Hamburg. In de wedstrijd verloor Hamburg met 2-1 van Nürnberg. In maart 2006 scoorde de Jong het winnende doelpunt in de allereerste nederlaag van Bayern München in de Allianz Arena. De week erna kreeg hij zijn eerste rode kaart in een UEFA Cup-wedstrijd tegen Rapid Boekarest. In april moest hij stoppen met spelen omdat hij geopereerd moest worden aan een knieprobleem. De blessure betekende ook dat hij niet voor Nederland kon spelen op het Wereldkampioenschap 2006. Nadat hij weer fit was geworden, werd hij echter weer paraat gehouden.
Manchester City
Op 21 januari 2009 verkaste de Jong voor ongeveer 18 miljoen pond naar Manchester City. Hij tekende een contract voor vier en een half jaar. Op 28 januari 2009 speelde hij voor het eerst tegen Newcastle United. Hij speelde zestien keer in de Premier League.
De Jong stond op 12 september 2009 in het basiselftal tegen Arsenal. Hij kreeg Man of the Match van Sky Sports na de 2-1 overwinning van Manchester City op Chelsea op 5 december 2009. Tegen het einde van het seizoen viel hij in de smaak bij de fans. Hij was een van de eerste keuzes van Roberto Mancini als verdedigende middenvelder toen het team de Champions League net misliep. De Jong maakte zijn eerste doelpunt voor Manchester City toen ze op 1 mei 2011 met 2-1 wonnen van West Ham United.
Milan
Op 31 augustus 2012 maakte de Jong de overstap naar de Italiaanse Serie A club Milan. Hij tekende een contract voor drie jaar.