Cohen begon een carrière als dichter en romanschrijver in de jaren vijftig en begin jaren zestig. Cohen begon zijn muziekcarrière pas in 1967, toen hij 33 jaar oud was. Zijn eerste album, Songs of Leonard Cohen (1967), werd gevolgd door nog drie albums met folkmuziek: Songs from a Room (1969), Songs of Love and Hate (1971) en New Skin for the Old Ceremony (1974).
Zijn plaat Death of a Ladies' Man uit 1977 werd mede geschreven en geproduceerd door Phil Spector. In 1979 keerde Cohen terug met het meer traditionele Recent Songs, dat zijn akoestische stijl vermengde met jazz en Oosterse en Mediterrane invloeden.
"Hallelujah" werd voor het eerst uitgebracht op Cohen's studio-album Various Positions in 1984. Cohen schreef ongeveer 80 conceptverzen voor "Hallelujah", met een schrijfsessie in het Royalton Hotel in New York waar hij in zijn ondergoed op de grond zat, met zijn hoofd op de vloer bonkend. Dit werd Cohen's bekendste werk. I'm Your Man uit 1988 markeerde Cohens meest populaire album met het nummer "Everybody Knows". In 1992 bracht Cohen de opvolger uit, The Future, met donkere teksten en verwijzingen naar politieke en sociale onrust.
Cohen keerde terug naar de muziek in 2001 met de release van Ten New Songs, dat een grote hit was in Canada en Europa. Zijn elfde album, Dear Heather, volgde in 2004. Na een succesvolle reeks tournees tussen 2008 en 2010, bracht Cohen in de laatste vier jaar van zijn leven drie albums uit: Old Ideas (2012), Popular Problems (2014) en You Want It Darker (2016), waarvan de laatste drie weken voor zijn dood werd uitgebracht.