Holiday zei dat ze in het begin van de jaren veertig harddrugs begon te gebruiken. Ze was op 25 augustus 1941 getrouwd met trombonist Jimmy Monroe. Toen ze nog met Monroe getrouwd was, begon ze een romantische relatie met trompettist Joe Guy, die tevens haar drugsdealer was. Ze leefde met hem samen als zijn echtgenote (common law wife genoemd) en scheidde van Monroe in 1947. Ze scheidde ook van Guy. Nadat ze in 1947 was gearresteerd en veroordeeld voor het bezit van drugs, mocht ze de rest van haar leven niet meer in clubs in New York werken. De enige keer dat ze dat wel kon was toen ze in 1948 in de Ebony Club zong, waar ze de toestemming had van John Levy.
In de jaren vijftig werd Holiday's gezondheid slecht, omdat ze alcohol dronk, drugs gebruikte en relaties had met gewelddadige mannen. Haar stem werd ruw, maar sommige mensen zeggen dat haar zang emotioneler werd.
Op 28 maart 1952 trouwde Holiday met Louis McKay, een man die voor de maffia werkte. McKay was, net als de meeste mannen in haar leven, gewelddadig, maar hij probeerde haar wel te laten stoppen met drugsgebruik. Later scheidden ze.
Op 10 november 1956 gaf zij twee concerten voor een groot publiek in Carnegie Hall.
Holiday ging in 1954 voor het eerst op tournee door Europa met Buddy DeFranco en Red Norvo. Toen ze bijna vijf jaar later terug naar Europa ging, kwam ze op televisie voor Granada's Chelsea at Nine, in Londen. Dit was een van de laatste keren dat ze op televisie was. Haar laatste studio-opnamen werden gemaakt voor MGM in 1959, met Ray Ellis en zijn Orkest, die haar ook hadden begeleid op Columbia's Lady in Satin album in 1958. De MGM opnamen werden na Holiday's dood uitgebracht op een album genaamd Last Recordings.
Holiday's autobiografie, Lady Sings the Blues, werd gepubliceerd in 1956. Het boek was geschreven door William Dufty, een schrijver en redacteur van de New York Post die getrouwd was met Holiday's goede vriendin Maely Dufty. Hij schreef het boek snel nadat hij met Holiday in zijn appartement had gesproken, en ook gebruik had gemaakt van eerdere interviewers. Hij wilde Holiday haar verhaal op haar manier laten vertellen.
Holiday heeft zelf nooit kinderen gehad, maar had wel twee petekinderen: zangeres Billie Lorraine Feather, dochter van Leonard Feather, en Bevan Dufty, zoon van William Dufty.