In 1947 keerde hij terug naar Duitsland waar hij zijn professionele carrière begon met het zingen van de bariton solo in Brahms' Ein Deutsches Requiem zonder enige repetitie. (Hij was een last-minute vervanger van een zieke zangeres.) Later dat jaar gaf hij zijn eerste liedrecital in Leipzig.
Van het begin van zijn carrière werkte hij samen met de beroemde lyrische sopranen Elisabeth Schwarzkopf en Irmgard Seefried, en de platenproducent Walter Legge, die zeer populaire albums met liederen van Franz Schubert en Hugo Wolf produceerde.
In de herfst van 1948 werd Fischer-Dieskau de belangrijkste lyrische bariton van de Städtische Oper Berlin (Gemeentelijke Opera, West-Berlijn) en maakte hij zijn eerste operavoorstelling in de rol van Posa in Verdi's Don Carlos onder leiding van Ferenc Fricsay. Dit gezelschap, na 1961 bekend als de Deutsche Oper, zou zijn artistieke thuis zijn tot aan zijn pensionering van het operapodium, in 1978.
Fischer-Dieskau maakte gastoptredens in de operahuizen in Wenen en München. Na 1949 maakte hij concerttournees in Nederland, Zwitserland, Frankrijk en Italië. In 1951 trad hij voor het eerst op tijdens een concert in de Salzburger Festspiele met Mahlers Lieder eines fahrenden Gesellen (Liederen van een Wayfarer) onder Wilhelm Furtwängler. Hij begon over de hele wereld te verschijnen: in de Royal Albert Hall, Londen, Boston, Massachusetts en op de Bayreuth Festival.
Als operazanger trad Fischer-Dieskau vooral op in Berlijn en in de Beierse Staatsopera in München. Hij trad ook op in de Weense Staatsopera, in het Royal Opera House, Covent Garden in Londen, in de Hamburgse Staatsopera, in Japan en in het King's Theatre in Edinburgh, tijdens het Edinburgh Festival. Zijn eerste tournee in de Verenigde Staten vond plaats in 1955, toen hij 29 jaar oud was. Voor zijn recitals daar werd hij begeleid door Gerald Moore. Hij nam veel liederen op met Gerald Moore en gaf veel recitals met hem tot Moore in 1967 met pensioen ging. Daarna bleven ze echter opnames maken. Aan hun opnames van de Schubert-liederencycli Die schöne Müllerin en Die Winterreise werd veel aandacht besteed.
Fischer-Dieskau voerde ook veel werken uit van levende componisten, waaronder Benjamin Britten, Samuel Barber, Hans Werner Henze, Karl Amadeus Hartmann, Ernst Krenek en Witold Lutosławski.
Fischer-Dieskau nam ook veel beroemde rollen op in Italiaanse opera's, zoals Verdi's Rigoletto en Rodrigo in Verdi's Don Carlos, Scarpia in Giacomo Puccini's Tosca. Hij trok zich in 1978 terug uit de opera.
Fischer-Dieskau's muzikaliteit en techniek waren altijd perfect. Op nieuwjaarsdag 1993 ging hij op 67 jarige leeftijd met pensioen en bracht hij zijn tijd door met dirigeren, lesgeven (vooral in de interpretatie van liederen), schilderen en het schrijven van boeken.
