Als zonen van Russisch-Joodse immigranten begonnen Robert en Richard Sherman in 1951 samen liedjes te schrijven op verzoek van hun vader, Tin Pan Alley songwriter Al Sherman. De broers schreven samen en met verschillende songwriters gedurende de rest van het decennium.
In 1958 richtte Robert de muziekuitgeverij Music World Corporation op. Het had later een relatie met Disney's BMI-geaffilieerde uitgeverij, Wonderland Music Company. Datzelfde jaar hadden de Sherman Brothers hun eerste top-tien hit met "Tall Paul," gezongen door Mouseketeer Judy Harriet op het Surf Records label. Het werd ook gezongen door Mouseketeer Annette Funicello. Het succes van dit liedje trok de aandacht van Walt Disney. Hij huurde toen de Sherman Brothers in als Staff Songwriters voor de Walt Disney Studios. Het eerste liedje dat ze in persoonlijke opdracht van Walt Disney schreven was "Strummin' Song" in 1961. Het werd gebruikt in de Annette Funicello made-for-television film genaamd The Horsemasters.
Bij Disney schreven de Sherman Brothers meer filmmuziek dan enige andere songwriter in de geschiedenis van de film. Ze schreven ook wat misschien wel hun bekendste liedje is, "it's a small world (after all)" voor de New York World's Fair van 1964. Sindsdien hebben sommigen beweerd dat dit het meest vertaalde en uitgevoerde lied op aarde is geworden, hoewel dit grotendeels te danken is aan het feit dat het wordt gespeeld in Disney's themapark "it's a small world" attracties met dezelfde naam.
In 1965 wonnen de Sherman Brothers twee Academy Awards voor Mary Poppins, met onder andere de liedjes "Feed The Birds," "Supercalifragilisticexpialidocious," en het Oscarwinnende "Chim Chim Cher-ee". Sinds de première van Mary Poppins hebben de Shermans negen Academy Award-nominaties, twee Grammy Awards, vier Grammy Award-nominaties en 23 gouden en platina-gecertificeerde albums op hun naam staan.
Robert en Richard Sherman werkten rechtstreeks voor Walt Disney, waar ze de partituren afwerkten voor de live-action musical films The Happiest Millionaire en The One and Only, Genuine, Original Family Band tot Disney's dood in 1966. Sinds hun vertrek bij Disney hebben de broers als freelance songwriters meegewerkt aan speelfilms, televisieshows, themaparkvoorstellingen en toneelmusicals.
Hun eerste niet-Disney opdracht kwam met Albert R. Broccoli's speelfilmproductie Chitty Chitty Bang Bang voor United Artists in 1968. Het leverde de broers hun derde Academy Award nominatie op voor Best Original Song voor het bijzonder gedenkwaardige titellied.
In 1970 keerden de Shermans terug naar Disney voor een korte periode waarin ze werkten aan The Aristocats en Bedknobs and Broomsticks. Deze laatste film leverde de broers hun vierde en vijfde Oscarnominatie op. In 1972 kwam Snoopy Come Home uit, waarvoor de broers een Grammy-nominatie kregen.
In 1973 schreven de Sherman Brothers ook geschiedenis door als enige Amerikanen ooit de Eerste Prijs te winnen op het filmfestival van Moskou voor Tom Sawyer, waarvoor zij ook het scenario schreven.
In 1976 werd "The Slipper and the Rose" gekozen tot de Royal Command Performance van het jaar. De voorstelling werd bijgewoond door koningin Elizabeth, de koningin-moeder. Een moderne musicalversie van het klassieke Assepoester-verhaal, "Slipper", bevatte ook liedjes, score, en scenario van de Sherman Brothers. De broers kregen nog twee Academy Award-nominaties voor de film. Datzelfde jaar kregen de Sherman Brothers hun ster op de Hollywood "Walk of Fame" recht tegenover het Grauman's Chinese Theater.
The Sherman Brothers' vele andere Disney en niet-Disney top box office film credits omvatten The Jungle Book (1967), The Aristocats (1970), The Parent Trap (1961), Charlotte's Web (1973), Huckleberry Finn (1974), The Many Adventures of Winnie the Pooh (1977), Snoopy, Come Home (1972), Bedknobs and Broomsticks (1971), en Little Nemo: Adventures in Slumberland (1989).
Buiten de films was hun Tony Award-genomineerde hit Over Here! (1974) was de best verdienende originele Broadway musical van dat jaar. De Sherman Brothers hebben ook talrijke best verkopende songs geschreven, waaronder "You're Sixteen," dat twee keer de top 10 van de Billboard Hot 100 haalde: eerst met Johnny Burnette in 1960 en daarna op #1 met Ringo Starr meer dan dertien jaar later. Andere top-tien hits zijn "Pineapple Princess," "Let's Get Together," en meer.
In 2000 schreven de Sherman Brothers de liedjesscore voor de Disneyfilm The Tigger Movie. Deze film was de eerste grote speelfilm van de broers voor de Disney maatschappij in meer dan 28 jaar.
In 2003 stonden vier musicals van de Sherman Brothers in de Top 10 van de Favoriete Kinderfilms aller Tijden in een Britse nationale opiniepeiling van de BBC. Chitty Chitty Bang Bang uit 1968 stond bovenaan de lijst op nummer 1.
In latere jaren, toen Robert naar Londen verhuisde, schreven de broers veel nieuwe liedjes voor de podiumpresentaties van Chitty Chitty Bang Bang en Mary Poppins, geproduceerd door Disney en Cameron Mackintosh.
Voor hun bijdragen aan de filmindustrie hebben de gebroeders Sherman een ster op de Hollywood Walk of Fame op 6918 Hollywood Blvd. Op 9 juni 2005 werden ze opgenomen in de Songwriters Hall of Fame. Op 16 november 2006 ging Mary Poppins in première in het New Amsterdam Theatre op Broadway.
Op 17 november 2008 kregen de Sherman Brothers de National Medal of Arts, de hoogste eer die door de regering van de Verenigde Staten aan kunstenaars wordt toegekend. De prijs werd uitgereikt door president George W. Bush van de Verenigde Staten tijdens een ceremonie in de East Room van het Witte Huis.
Op 22 mei 2009 werd The Boys: the Sherman Brothers' Story, een film over het tweetal, in de bioscopen vertoond. De film werd geregisseerd en geproduceerd door hun zonen, Gregory V. Sherman en Jeff Sherman. Hij werd uitgebracht door Walt Disney Pictures.
In oktober 2009 bracht Disney een 59 nummers tellend compendium van twee CD's uit met hun werk voor de studio, dat tweeënveertig jaar besloeg. De CD is getiteld "The Sherman Brothers Songbook".
Op 11 maart 2010 kregen de Sherman Brothers een raam op Mainstreet Disneyland in Anaheim, Californië, ter ere van hun bijdrage aan de Disney-themaparken. Op 17 mei 2010 ontvingen de Sherman Brothers de "Career Achievement Award" op The Theatre Museum's 2010 Awards Gala in New York City.