Het ANC werd opgericht als directe reactie op het onrecht dat de blanke, meestal Afrikaner, regering de zwarte Zuid-Afrikanen aandeed. Het ANC vond zijn oorsprong in een uitspraak van Pixley ka Isaka Seme die in 1911 zei Vergeet alle vroegere verschillen tussen Afrikanen en verenig u in één nationale organisatie. Het jaar daarop, op 8 januari 1912, werd het ANC opgericht.
De regering van de nieuw gevormde Unie van Zuid-Afrika begon met een systematische onderdrukking van de zwarte bevolking in Zuid-Afrika. In 1913 werd de Natives' Land Act uitgevaardigd. Het effect van deze wetten was dat veel niet-blanken van hun boerderijen naar de steden en dorpen werden gedwongen om te werken, en dat hun bewegingsvrijheid binnen Zuid-Afrika werd beperkt. In 1919 leidde het ANC een campagne tegen passen, en in 1929 steunde het ANC een militante mijnwerkersstaking.
Het ANC werd halverwege de jaren 1920 slapend. In die tijd werden de zwarten ook vertegenwoordigd door de Industrial and Commercial Workers' Union en de communistische partij, die ooit alleen blank was. In 1927 stelde J.T. Gumende (voorzitter van het ANC) samenwerking met de communisten voor om de organisatie nieuw leven in te blazen, maar hij werd in de jaren dertig weggestemd. Dit leidde ertoe dat het ANC grotendeels ineffectief en inactief werd, tot het ANC halverwege de jaren veertig werd omgevormd tot een massabeweging.
Het ANC reageerde militair op aanvallen op de rechten van zwarte Zuid-Afrikanen en riep op tot stakingen, boycots en verzet. Dit leidde tot een latere Defiance Campaign in de jaren vijftig, een massabeweging van verzet tegen het Zuid-Afrika van de apartheid. De regering probeerde het ANC te stoppen door partijleiders te verbieden en nieuwe wetten uit te vaardigen om het ANC te stoppen, maar deze maatregelen faalden.
In 1955 nam het Congress of the People officieel het Freedom Charter aan, waarin de kernbeginselen stonden van de South African Congress Alliance, die bestond uit het African National Congress en zijn bondgenoten het South African Indian Congress, het South African Congress of Democrats en het Coloured People's Congress. De regering beweerde dat dit een communistisch document was, en daarom werden leiders van het ANC en het Congres gearresteerd. In 1960 vond het bloedbad van Sharpeville plaats, waarbij 69 mensen werden gedood toen de politie het vuur opende op anti-apartheidsbetogers.
Blanken sloten zich uiteindelijk aan bij de strijd tegen de apartheid, waardoor veel zwarte supremacisten zich losmaakten van het ANC.
Umkhonto we Sizwe
Umkhonto we Sizwe (of MK), vertaald "Speer der Natie", was de militaire vleugel van het ANC. Deels als reactie op het bloedbad van Sharpeville in 1960 meenden individuele leden van het ANC dat geweld nodig was omdat vreedzaam passief protest had gefaald. Een aanzienlijk deel van het ANC greep daarom naar geweld om zijn doelen te bereiken. Een aanzienlijk deel van de ANC-leiding was het ermee eens dat dit geweld nodig was om het toenemende verzet van de regering te bestrijden.
Sommige ANC-leden waren boos over de acties van de MK, en weigerden geweld te accepteren als noodzakelijk voor de beëindiging van de Apartheid, maar deze personen werden een minderheid naarmate de militante leiders zoals Nelson Mandela aan populariteit wonnen. Velen beschouwen hun acties als crimineel, maar de MK zei dat geweld gerechtvaardigd was door het doel om een einde te maken aan de apartheid. Sommige leden van MK pleegden terroristische daden om hun doelen te bereiken, en MK was verantwoordelijk voor de dood van zowel burgers als militairen. In samenwerking met de Zuid-Afrikaanse Communistische Partij werd MK in 1961 opgericht.