Leahy werd in 1974 voor het eerst verkozen in de Senaat van de Verenigde Staten als opvolger van de 34-jarige zittende president George Aiken. Met zijn 34 jaar was hij de jongste senator in de geschiedenis van Vermont. Leahy werd in 1980 bijna verslagen door de Republikein Stewart Ledbetter en won met slechts 2.700 stemmen tijdens de verpletterende overwinning van Ronald Reagan. In 1986 kreeg hij te maken met een op papier nog sterkere uitdager in de persoon van voormalig gouverneur Richard Snelling, maar Leahy sloeg deze uitdaging af en haalde 63 procent van de stemmen. In 1992 stond hij tegenover een andere tegenstander in staatssecretaris van Vermont Jim Douglas en won met 11 punten.
Leahy was de eerste niet-Republikeinse senator uit Vermont sinds 1856. Tot op heden is hij de enige Democraat die ooit in de Senaat van Vermont werd verkozen. Hij is technisch gezien een van de slechts drie Democraten die Vermont sinds het einde van de Burgeroorlog in beide huizen van het Congres hebben vertegenwoordigd.
Latere carrière
In maart 2004 introduceerden Leahy en Orrin Hatch de Pirate Act, gesteund door de RIAA. In juli 2004 introduceerden Leahy en Hatch de INDUCE Act. Beide waren gericht op het bestrijden van inbreuken op het auteursrecht.
Op 2 november 2004 versloeg Leahy met gemak zijn tegenstander, zakenman Jack McMullen, met 70,6 procent van de stemmen. Op 5 januari 2005 werd Leahy door Cheney beëdigd voor zijn zesde termijn in de Senaat.
Op 21 september 2005 kondigde Leahy zijn steun aan voor John Roberts als opperrechter van het Hooggerechtshof van de Verenigde Staten. Op 19 januari 2006 kondigde Leahy aan dat hij tegen rechter Samuel Alito als rechter in het Hooggerechtshof zou stemmen.
Op 18 januari 2007 kreeg Leahy veel aandacht voor zijn kruisverhoor van procureur-generaal Alberto Gonzales over de zaak Maher Arar en de buitengewone uitlevering van Arar aan Syrië.
Voorzitter pro tempore
Bij het overlijden van Senaatsvoorzitter Daniel Inouye op 17 december 2012 werd Leahy de oudste senator van de meerderheidspartij en werd hij met algemene stemmen verkozen tot nieuwe voorzitter pro tempore.
Op 3 januari 2015 volgde Orrin Hatch Leahy op als President pro tempore van de Amerikaanse Senaat. Kort daarna werd hij geëerd met de titel President pro tempore emeritus.
Op 20 januari 2021 werd Leahy opnieuw voorzitter pro tempore sinds de Democraten de controle over de Amerikaanse Senaat hebben gewonnen.
Op 25 januari 2021 werd aangekondigd dat Leahy de voorzitter zou zijn bij het tweede proces wegens afzetting van Donald Trump, waarmee hij de eerste senator werd die het proces wegens afzetting van een president zou voorzitten.
Op 15 november 2021 kondigde Leahy aan dat hij zich in 2022 niet herkiesbaar zou stellen en met pensioen zou gaan wanneer zijn termijn op 3 januari 2023 afloopt.
