De oudste delen van het gebouw dateren uit 1094. Rond 1270 werd een grotere synagoge gebouwd, die delen van het oudere gebouw omvatte. De westelijke muur van het gebouw dateert uit deze tijd. Het heeft zijn zes oorspronkelijke ramen. In het begin van de dertiende eeuw werd er nog een verdieping aan toegevoegd.
In 1349 stierven veel mensen aan de ziekte van de Zwarte Dood. Men zei dat het de schuld van de Joden was. De Joden werden vermoord en moesten de stad verlaten. Deze pogrom staat bekend als het bloedbad van Erfurt. De synagoge werd beschadigd en het stadsbestuur van Erfurt nam de controle over het gebouw over. Later verkochten zij het aan een plaatselijke zakenman. Hij gebruikte het als pakhuis en veranderde het interieur, onder andere door een kelder te bouwen. De volgende 500 jaar werd het gebruikt voor de opslag van goederen.
Vanaf de 19e eeuw werd het gebouw gebruikt als balzaal, restaurant en zelfs als bowlingbaan. Deze veranderingen hebben ertoe geleid dat de Oude Synagoge grotendeels in de vergetelheid is geraakt. Haar geschiedenis werd niet erkend, wat ertoe bijdroeg dat zij tijdens de nazi-periode werd beschermd.
Aan het eind van de jaren tachtig ontstond er een hernieuwde belangstelling voor het oude gebouw. De architectuurhistoricus Elmar Altwasser begon er in 1992 onderzoek naar te doen. De stad Erfurt kocht het pand in 1998 en onderzocht en conserveerde het. Niet alleen het gebruik als synagoge, maar alle fasen van de geschiedenis van het gebouw zijn bewaard gebleven.
In 2007 werd niet ver van de Oude Synagoge een zeldzaam en goed bewaard joods ritueel bad, een Mikveh, ontdekt door archeologen. Het werd rond 1250 gebouwd.
In 2015 werden de Oude Synagoge en Mikveh, en een stenen huis in het middeleeuwse stadscentrum van Erfurt, eveneens gebouwd rond 1250 dat aan Joden had toebehoord, voorgesteld als werelderfgoed. Dit is voorlopig op de lijst geplaatst, maar er is nog geen definitief besluit genomen.
