De eilanden zijn genoemd naar de Gaelische slaven die door de Noormannen gevangen waren genomen. Het Oud-Noorse woord, Vestmenn (dat Westen betekent), werd toegepast op de slaven en bleef behouden in het IJslands.
Nadat Ingólfr Arnarson voor het eerst in IJsland aankwam, werd zijn broer Hjörleifr Hróðmarsson vermoord door de Gaelische slaven. In reactie daarop spoorde hij de slaven op naar de eilanden en vermoordde ze allemaal, vandaar de naam Vestmannaeyjar (de eilanden van de westerse mannen).
Op 16 juli 1627 werden de eilanden veroverd door een groep Noord-Afrikaanse piraten die er tot 19 juli verbleven. Ze stonden onder controle van de Ottomanen. De piraten namen 234 mensen van de eilanden gevangen en namen hen mee op een 27-daagse reis naar Algiers, waar de meesten van hen hun leven in slavernij doorbrachten. Een van de gevangenen, minister Ólafur Egilsson, keerde in 1628 terug naar de eilanden en schreef een boek over zijn ervaringen. In 1636 werd losgeld betaald voor 34 van de gevangenen, en de meesten keerden terug naar IJsland. Hierna werd een fort gebouwd op de vulkaan Helgafell om de wacht te houden voor schepen.
Eeuwenlang leefden de mensen op de eilanden van de visvangst en het eten van vogels en hun eieren. Aan het eind van de 19e eeuw werd de levensstijl van de eilandbewoners sterk verbeterd. In 1904 werd de eerste gemotoriseerde boot aangeschaft, en spoedig daarna volgden er meer. Tegen 1930 was de bevolking gestegen van 600 in 1900 tot 3.470. De eilanden staan sindsdien bekend als een grote ontwikkelaar van visserij en zeevaart.
In 2000 schonk de Noorse regering IJsland de staafkerk van Heimaey. Dit was om de bekering van IJsland tot het christendom duizend jaar eerder te vieren.