In 1936 probeert Indiana Jones in de jungle van Peru een gouden afgodsbeeld te vinden. Zijn gids, Sapito, verraadt hem en probeert het beeld voor zichzelf te houden, maar wordt gedood in een val. Nadat Jones uit de tempel komt, vindt hij zijn rivaal Belloq en een dozijn van de inheemse bevolking met speren in de hand. Jones geeft het afgodsbeeld op en vlucht naar zijn vliegtuig.
Terwijl hij lesgeeft aan het Marshall College, vertelt het Amerikaanse leger hem dat de nazi's proberen de Ark van het Verbond te vinden. Jones wil die eerst vinden, dus gaat hij naar een bar in Nepal. Zijn oude leraar, Abner Ravenwood, probeerde de Ark te vinden en heeft het kopstuk van de Staf van Ra, een stuk dat nodig is om de Ark te vinden. Zijn dochter, Marion, runt nu Abner's bar en zij slaat hem in het gezicht omdat ze een romance hadden en hij wegliep. Zij gaat echter met hem mee nadat de nazi Arnold Toht en zijn vrienden het stuk zelf proberen te bemachtigen.
Jones en Ravenwood vliegen naar Caïro en rekruteren een man genaamd Sallah om hem te helpen. Ze beginnen te graven in het gebied waar ze denken dat het is. De nazi's nemen Ravenwood gevangen en laten Jones denken dat ze dood is. Sallah en Jones maken wat berekeningen en realiseren zich dat de nazi's in het verkeerde gebied graven omdat hun staf te lang is. Jones vindt de juiste plek en begint te graven en vindt het op een plek die de Bron der Zielen heet. Belloq komt echter terug, tilt de Ark op en gooit Ravenwood erin. Ze ontsnappen.
Na een gevecht krijgt Jones de Ark terug. Sallah zet hem op een schip dat over de Middellandse Zee vaart, maar de nazi's op een U-boot onderscheppen het schip en doorzoeken het. Jones ontsnapt. Hij neemt vervolgens een groot wapen, Panzerschreck genaamd, mee en dreigt de Ark op te blazen terwijl deze wordt geladen op een Grieks eiland ten noorden van Kreta. Belloq noemt Jones' bluf en Jones laat zijn wapen zakken. Hij en Marion worden vervolgens vastgebonden terwijl Belloq en de nazi's de kracht van de Ark testen door hem te openen. De geesten binnenin doden iedereen. Jones en Marion sluiten hun ogen en ontsnappen aan de woede van de geesten.
Aan het einde van de film plaatst het leger de Ark in een pakhuis. Ze vertellen Jones dat ze hem bestuderen, maar Jones gelooft hen niet. Marion probeert hem te troosten door te zeggen dat ze een drankje voor hem zal kopen.