Schell's carrière begon in 1955. Zijn film was Kinder, Mütter und ein General. Daarna speelde hij nog in twee andere films tot hij in 1961 zijn rol als Hans Rolfe in Judgment at Nuremberg opnam. Zijn rol als Hans bracht hem grote roem en succes. Hij won een Academy Award en een Golden Globe Award voor Beste Acteur.
Schell verscheen daarna in andere grote speelfilms die hem nominaties voor een Academy Award opleverden. Hij werd genomineerd voor zijn rol als Arthur Goldman in The Man in the Glass Booth, voor zijn rol als Johann in Julia. Vervolgens won hij een Golden Globe Award voor Beste Bijrol in 1992 voor zijn rol als Vladimir Lenin in de film Stalin.
Daarna regisseerde Schell een televisiefilm Candles in the Dark. Na zijn overwinning in 1992 verscheen Schell vervolgens in vele televisiefilms. In 1998 was Schell te zien als Jason Lerner in de film Deep Impact. Zijn laatste rol was in de komediefilm The Brothers Bloom uit 2008 als Diamond Dog.