Na de oorlog studeerde Inouye politiek aan de universiteit. In de jaren 50 werd hij gekozen in de wetgevende macht van Hawaï.
Toen Hawaï een staat werd, was hij het eerste Congreslid. Hij diende in de Senaat van de Verenigde Staten van 1963 tot 2012.
Na 2010 was Inouye President Pro Tempore van de Senaat, een titel die wordt gegeven aan de langstzittende Senator van de partij die aan de macht is. Dit maakte hem de hoogst geplaatste Aziatische Amerikaanse politicus in de geschiedenis van de Verenigde Staten.
Inouye had plannen om zich in 2016 kandidaat te stellen voor een record tiende termijn als senator, maar hij overleed op 17 december 2012, voordat zijn termijn op 3 januari 2017 voltooid zou zijn.