Het verhaal speelt zich af op een moment dat Spanje net aan het einde van een oorlog met Frankrijk komt. De twee landen zijn overeengekomen dat Don Carlos, erfgenaam van de Spaanse troon, zal trouwen met Elisabeth, de dochter van de koning van Frankrijk.
Wet I
Don Carlos wil het meisje zien met wie hij gaat trouwen. Hij gaat naar Frankrijk en doet in het geheim mee aan een koninklijke jacht waaraan Elisabeth deelneemt. Elisabeth en haar page zijn gescheiden van de anderen. Carlos spreekt met haar en biedt aan haar mee naar huis te nemen. De prinses vraagt hem naar de prins waarmee ze gaat trouwen. Carlos zegt dat ze zich geen zorgen hoeft te maken omdat de prins vriendelijk en verliefd op haar is. Hij laat Elisabeth dan een foto van de prins zien, en dan realiseert Elisabeth zich natuurlijk dat het de prins is met wie ze praat. Ze zingen een liefdesduet.
Enkele Spaanse ambtenaren komen dan Elisabeth vertellen dat er besloten is dat ze niet met de prins gaat trouwen: ze gaat met zijn vader, de koning van Spanje, trouwen. De twee geliefden zijn verbijsterd over dit nieuws. De menigte mensen smeekt Elisabeth om in te stemmen met het huwelijk met de koning van Spanje, zodat de oorlog zal ophouden. Uiteindelijk gaat ze akkoord.
Wet II
Don Carlos is naar een klooster gegaan zodat hij stil kan zijn in zijn ellende. Zijn grootvader, Karel V, had zijn laatste dagen in dit klooster doorgebracht. Een monnik praat met hem. Carlos denkt dat de monnik op zijn grootvader lijkt.
Carlos is vervuld van vreugde als zijn vriend Rodrigue komt. Hij is net terug uit Vlaanderen, waar nog veel gevochten wordt. Carlos vertelt hem een geheim: dat hij verliefd is op Elisabeth die nu met zijn vader is getrouwd en dus koningin van Spanje is. Rodrigue vertelt hem dat hij zijn tijd moet besteden aan het helpen van de arme mensen in Vlaanderen. De Koning en de Koningin gaan langs het graf.
Als de koningin de kerk verlaat, gaat ze naar de tuin waar haar dames op haar wachten. Een boodschapper geeft haar een brief van haar moeder in Parijs, maar tegelijkertijd geeft hij haar stiekem een brief van Carlos. Rodrigue praat rustig met Eboli, de hofdame van de koningin, terwijl de koningin de brieven leest. Rodrigue vraagt de koningin om te proberen de koning over te halen Carlos met hem te laten praten. Eboli is verliefd op Carlos. Ze heeft gemerkt hoe Carlos geagiteerd is als hij in het bijzijn van de koningin is geweest, en denkt dat het komt omdat Carlos van haar houdt (Eboli).
Carlos krijgt de kans om Elisabeth privé te ontmoeten. Hij vraagt haar rustig of ze de Koning kan overtuigen om hem naar Vlaanderen te sturen. Hij is echter niet echt kalm, en al snel begint hij boos op haar te worden omdat ze geen liefdesgevoelens voor hem heeft. Ze vertelt hem dat het haar plicht is nu ze koningin is. Carlos begrijpt het, maar is nog steeds verliefd op haar. Hij valt aan haar voeten. Hij grijpt haar en verklaart zijn liefde voor haar, maar de koningin scheurt zich van hem af en hij snelt in wanhoop weg.
De Kings komen uit de kerk. Hij is erg boos dat zijn vrouw alleen is gelaten. Hij vertelt de dame die wacht om weg te gaan. De koningin troost haar. Dan gaan zij en haar dames.
Rodrigue vraagt de Koning om te stoppen met het vechten tegen de mensen in Vlaanderen die nog steeds sterven en verhongeren van de honger. De Koning zegt dat ze niet trouw waren en het verdienen om gestraft te worden. Hij vertelt Rodrigue dat hij bang is voor wat er tussen Elisabeth en Carlos gebeurt. Hij zegt dat hij zich bewust moet zijn van de inquisitie.
Wet III
Er vindt een gemaskerd bal plaats in het paleis in Madrid. Carlos wacht in de tuin van de koningin. Een dame komt naar de tuin, met een masker op, net als iedereen. Hij denkt dat het de koningin is en vertelt haar hoe hij van haar houdt. Als de dame haar masker afneemt, realiseert hij zich dat het Eboni is. Ze beschuldigt hem ervan dat hij van de koningin houdt. Op dat moment komt Rodrigue. Hij zegt tegen Eboni dat Carlos niet in orde is en begrijpt niet waar hij het over heeft. Maar Eboni is niet bedrogen en is van plan hun liefdesrelatie te verpesten.
De tweede scène van de act vindt plaats op een plein in Madrid. Er wordt een auto-da-fé voorbereid. In de tijd van de Spaanse inquisitie was dit een ceremonie waarbij iedereen die het niet eens was met de rooms-katholieke kerk werd verbrand. Monniken komen binnen, gevolgd door de ongelukkige mensen die verbrand zullen worden. Het volk zingt over de glorie van Spanje. Koning Filips verschijnt en herhaalt hoe hij zal vechten tegen iedereen die een vijand is van de rooms-katholieke kerk. Zes mensen, waaronder Carlos, verschijnen en gooien zich aan zijn voeten, smekend om zijn troepen te stoppen met het doden van het Vlaamse volk. De Koning zal er niet van horen. Een deel van de menigte steunt de koning, maar anderen smeken hem om genade. Carlos vraagt dan aan zijn vader om hem toe te laten Vlaanderen voor hem te regeren. De koning laat dit niet toe, want hij beseft dat dit een kans kan zijn voor Carlos en het Vlaamse volk om tegen hem in opstand te komen. Carlos is wanhopig. Hij trekt zijn zwaard en zegt dat hij Vlaanderen zal redden. De menigte is doodsbang om hem zich zo te zien gedragen voor de Koning. De Koning beveelt zijn soldaten om het zwaard van Carlos af te pakken, maar niemand gehoorzaamt hem. Uiteindelijk redt Rodrigue (die zich realiseert dat dit slecht voor hem zal zijn) de situatie door Carlos rustig om het zwaard te vragen. Hij overhandigt het en Rodrigue geeft het aan de koning. De monniken gaan verder en een stem uit de hemel belooft vrede in de wereld.
ActIV
De Koning is alleen in de kerk. In een prachtige aria zingt hij zijn verdriet dat zijn vrouw niet van hem lijkt te houden. De Grootinquisiteur komt binnen. Hij is erg oud en blind. De koning vertelt hem over zijn zoon, en vraagt de inquisiteur of Carlos vergeven of ter dood veroordeeld moet worden. De inquisiteur antwoordt dat het Rodrigue is die gedood moet worden. De koning durft het er niet mee eens te zijn. De inquisiteur vertelt de koning dat hij zijn hart niet aan God geeft. De inquisiteur gaat.
De Koningin haast zich naar binnen en vraagt de Koning om haar te helpen zoeken naar een kist met juwelen die uit haar kamer zijn verdwenen. De Koning laat haar zien dat het op de tafel ligt. Hij zegt haar dat ze het moet openen. Dat doet ze. Bovenaan staat een portret van Carlos. De Koning is erg boos en beschuldigt haar van overspel. Ze valt flauw. De Koning roept Eboli en Rodrigue om hulp. De Koning heeft medelijden met zijn vermoeden, maar Eboli heeft nog meer medelijden omdat zij het was die de kist had meegenomen omdat ze jaloers was op Carlos en Elisabeth. Zij was het die de Koning had voorgesteld om in de juwelenkist te kijken. Rodrigue voelt dat hij zijn vriend alleen kan redden door zichzelf aan te bieden om gedood te worden in plaats van Carlos. De Koning en Rodrigue vertrekken. Eboni werpt zich aan de voeten van de Koningin, die nu weer tot leven is gekomen, en bekent dat ze zelf schuldig is aan overspel omdat ze met de Koning heeft geslapen. Elisabeth blijft kalm, maar zegt Eboni dat ze voorgoed van haar weg moet gaan en in een nonnenklooster moet gaan wonen. Als Eboni alleen gelaten wordt, drukt ze haar gevoelens van vreselijke ellende uit. Voordat ze naar het klooster gaat, moet ze nog één ding doen: proberen Carlos te redden van de doodstraf.
De tweede scène van de act toont Carlos in de gevangenis. Rodrigue komt naar hem toe. Hij weet dat er Vlaamse brieven aan Carlos in zijn bezit zijn gevonden. Iemand komt binnen en vermoordt Rodrigue. Als hij sterft, vertelt hij Carlos dat de koningin de volgende dag buiten het klooster op hem zal wachten en hem voor de laatste keer zal zien. Hij sterft.
Soms eindigt acte IV hier, maar sommige voorstellingen blijven een scène laten zien waarin de koning probeert het zwaard terug te geven aan zijn zoon, maar Carlos beschuldigt hem ervan dat hij zijn vriend heeft vermoord. Een groep mensen, waaronder Eboli, gaat de gevangenis in en roept de Koning om Carlos te bevrijden. De inquisiteur verschijnt. Hij vertelt de menigte boos dat ze kwaad zijn om tegen de wil van God in te gaan. Hij zegt dat ze allemaal op hun knieën moeten gaan en zich moeten bekeren.
Wet V
Elisabeth knielt voor het graf van Karel V. Ze zingt van haar verloren jeugd in Frankrijk (een deel van de muziek uit de Act I komt hier terug). Ze bidt voor de vrede. Elisabeth en Carlos ontmoeten elkaar dan voor de laatste keer (hun derde duet in de opera) en wensen een gelukkigere tijd. De koning en de inquisiteur hebben zich verstopt. Ze verschijnen nu en grijpen Carlos. De bewakers moeten hem grijpen, maar Carlos verdedigt zich. Plotseling wordt de stem van Karel V (of een vermomde monnik) gehoord. Hij neemt zijn kleinzoon mee in de veiligheid van het klooster.
