Charles Ryder, die het verhaal vertelt, is een student aan de universiteit van Oxford. Hij sluit vriendschap met Sebastian Flyte, de jongere zoon van een aristocratische familie. Sebastian, die uit een zeer rijke familie stamt, neemt Charles mee naar het huis van zijn familie, Brideshead Castle. Charles ontmoet zijn familie, waaronder Sebastians zus, Julia.
Tijdens de vakantie gaat Charles terug naar zijn huis, waar hij bij zijn vader woont. Tijdens de vakantie heeft Sebastian een kleine verwonding en Charles gaat terug naar hem. Sebastian en Charles brengen de rest van de zomer samen door.
Sebastians familie is katholiek. Zijn vader, Lord Marchmain, was een anglicaan, maar hij had zich bekeerd tot het rooms-katholicisme, het geloof van zijn vrouw. De familie praat veel over godsdienst en dat verbaast Charles, die altijd had gedacht dat het christendom geen belangrijk onderwerp was. Lady Marchmain, de moeder van Sebastian, is een zeer strenge katholiek. Ze probeert anderen in toom te houden door ze een schuldgevoel aan te praten. Sebastian vindt troost in het drinken van alcohol. Hij wordt vaak dronken, en in twee jaar tijd heeft hij steeds minder met de familie Flyte te maken.
Charles is echter voorbestemd om de familie Flyte weer te ontmoeten en hij wordt verliefd op Julia, die tegen die tijd getrouwd is met een rijke Canadees, Rex Mottram.
Charles' eigen vrouw is ontrouw geweest, dus hij is van plan van haar te scheiden zodat hij en Julia kunnen trouwen. Julia besluit echter om religieuze redenen dat het niet goed voor haar zou zijn om met Charles te trouwen. Toen Lord Marchmain op sterven lag, had hij het sacrament van het Heilig Oliesel ontvangen. Deze daad had ook Charles beïnvloed, die "op zoek was naar liefde in die dagen" toen hij Sebastian voor het eerst ontmoette, "die lage deur in de muur...die uitkwam op een omsloten en betoverde tuin," een belangrijke metafoor in het boek.
Charles werd architect. Tijdens de Tweede Wereldoorlog wordt hij legerofficier. Bij toeval wordt hij ingekwartierd op Brideshead. Het lijkt hem dat bouwvakkers nuttig werk doen, ook al zijn er soms problemen.
