Sarrazin werd geboren in Gera, Duitsland. Zijn vader was arts en zijn moeder een dochter van een West-Pruisische grootgrondbezitter. Zijn familie van vaderskant, een Franse hugenotenfamilie, komt oorspronkelijk uit Bourgondië. Zijn grootmoeder was Engels-Italiaans. Hij heeft uitgelegd dat zijn naam Saraceen (d.w.z. moslim) betekent en gebruikelijk is in Zuid-Frankrijk. De naam stamt af van de Arabische piraten die in de Middeleeuwen "Saracenen" werden genoemd. Zijn moeder is van Poolse afkomst. Hij heeft naar zichzelf verwezen als "een Europese bastaard".
Hij groeide op in Recklinghausen. Toen hij zeven jaar oud was, ging hij naar een weeshuis in Beieren. Hij haalde zijn diploma aan het plaatselijke gymnasium en diende vervolgens van 1967 tot 1971 in het leger. Daarna studeerde hij economie aan de universiteit van Bonn, waar hij zijn doctoraat behaalde. Van november 1973 tot december 1974 werkte hij voor de Friedrich Ebert Stichting en werd hij actief in de SPD.
In 1975 ging Sarrazin werken bij het Bondsministerie van Financiën. Tot 1981 was hij afdelingshoofd bij het Ministerie van Arbeid en Sociale Zaken. In 1981 keerde hij terug naar het Bondsministerie van Financiën. In oktober 1981 begon hij te werken als chef van het bureau en was hij een naaste medewerker van bondsminister van Financiën Hans Matthöfer en diens opvolger Manfred Lahnstein. Ook na het einde van de socialistisch-liberale coalitie in oktober 1982 bleef Sarrazin werkzaam op het ministerie van Financiën. Daar was hij directeur van verschillende eenheden, waaronder (van 1989 tot 1990) de "Innerdeutsche Beziehungen", die de Duitse monetaire, economische en sociale unie voorbereidde. Gedurende zijn tijd als hoofd van het Bondsministerie van Financiën was hij mede verantwoordelijk voor de Duitse spoorwegen.
Van 1990 tot 1991 was Sarrazin werkzaam bij de Treuhand. Daarna was hij tot 1997 staatssecretaris in het ministerie van Financiën in Rijnland-Palts.
Sarrazin is getrouwd met Ursula Sarrazin (née Breit) en heeft twee zonen.
