Brillat-Savarin werd geboren in de stad Belley in Ain, waar de rivier de Rhône Frankrijk scheidt van Savoye. Hij studeerde rechten, scheikunde en medicijnen in Dijon en oefende zijn beroep uit in zijn geboortestad. Hij werd geboren als Jean Anthelme Brillat, maar nam zijn tweede achternaam aan omdat een tante Savarin hem haar hele fortuin naliet op voorwaarde dat hij haar naam zou aannemen. In 1789, aan het begin van de Franse Revolutie, werd hij als afgevaardigde naar de Estates-General gestuurd, die al snel de Nationale Grondwetgevende Vergadering werd. Hij werd bekend door sommige van zijn toespraken, met name een toespraak waarin hij de doodstraf ondersteunde. Hij keerde terug naar Belley en was een jaar lang de gekozen burgemeester. In een later stadium van de Revolutie stond er een premie op zijn hoofd, en hij vroeg aanvankelijk politiek asiel aan in Zwitserland. Later verhuisde hij naar Nederland en vervolgens naar de pasgeboren Verenigde Staten, waar hij drie jaar verbleef in Boston, New York, Philadelphia en Hartford en leefde van de opbrengst van het geven van Franse taal- en vioollessen. Een tijdlang was hij eerste viool in het Park Theater in New York City.
Hij keerde in 1797 onder het Directoire terug naar Frankrijk en verwierf de functie van magistraat die hij de rest van zijn leven zou bekleden, als rechter van het Hof van Cassatie. Hij publiceerde verschillende werken over recht en politieke economie. Hij bleef vrijgezel, maar beschouwde de liefde als het zesde zintuig: zijn inscriptie van de Physiognomie. aan zijn mooie nicht Juliette Récamier luidt als volgt
"Mevrouw, ontvang het werk van een oude man vriendelijk en lees het aandachtig. Het is een eerbetoon aan een vriendschap uit uw jeugd, en misschien een eerbetoon aan een tederder gevoel... Hoe kan ik dat weten? Op mijn leeftijd durft een man zijn hart niet meer te ondervragen."
Zijn beroemde werk, Physiologie du goût (De fysiologie van de smaak), werd gepubliceerd in december 1825, twee maanden voor zijn dood. De volledige titel is Physiologie du Goût, ou Méditations de Gastronomie Transcendante; ouvrage théorique, historique et à l'ordre du jour, dédié aux Gastronomes parisiens, par un Professeur, membre de plusieurs sociétés littéraires et savantes. "Het boek is niet meer uitverkocht sinds het verscheen, kort voor de dood van Brillat-Savarin. De meest opmerkelijke Engelse vertaling werd gemaakt door voedselschrijfster en criticus M. F. K. Fisher, die opmerkte: "Ik beschouw mezelf als gezegend onder de vertalers". Haar vertaling werd voor het eerst gepubliceerd in 1949. De filosofie van Epicurus ligt aan de achterkant van elke pagina; de eenvoudigste maaltijd stelde Brillat-Savarin tevreden, zolang deze maar met kunstzinnigheid werd uitgevoerd:
Zij die aan indigestie lijden of dronken worden, zijn volkomen onwetend over de ware beginselen van eten en drinken.