Hill begon in 1949 met spelen bij Brentford, waar hij 87 keer optrad voordat hij in maart 1952 naar Fulham verhuisde. Hij speelde bijna 300 wedstrijden, waarin hij 52 doelpunten maakte. In 1957 werd hij voorzitter van de Professional Footballers' Association (PFA).
In november 1961, nadat hij op 33-jarige leeftijd als speler met pensioen was gegaan, werd Hill manager van Coventry City. Zijn tijd bij Coventry werd gekenmerkt door grote veranderingen in de club, bijgenaamd "The Sky Blue Revolution".
Na het winnen van het Divisie Drie kampioenschap in 1963-64, en de Divisie Twee titel in 1966-67, verliet Hill de club kort voor het begin van het seizoen 1967-68.
Na zijn vertrek uit Coventry in 1967 ging Hill aan de slag als technisch adviseur bij de BBC. In 1999 verhuisde Hill van de BBC naar Sky Sports, waar hij te zien was in Jimmy Hill's Sunday Supplement. Het was een wekelijkse discussieshow tussen Hill en drie voetbaljournalisten tijdens een zondags ontbijt.
In 2007 werd hij vervangen uit de show vanwege zijn slechte gezondheid.