Columbia ligt aan de vallijn van het Appalachengebergte. De vallijn is de plek waar boten niet verder stroomopwaarts kunnen varen, en is ook de plek het verst stroomafwaarts waar vallend water nuttig kan zijn om een molen aan te drijven.
Vóór 1790 was Charleston, aan de kust van de Atlantische Oceaan, de hoofdstad van de staat. In 1786 besloot de wetgevende macht om de hoofdstad naar het centrum van de staat te verplaatsen, en de plaats Columbia werd gekozen vanwege zijn ligging aan de rivier op slechts 13 mijl (21 km) ten noordwesten van het geografische centrum van South Carolina. De eerste wetgevende vergadering van de staat kwam daar in 1790 bijeen. Nadat Columbia de eerste twee decennia van zijn bestaan onder rechtstreeks bestuur van de wetgevende macht had gestaan, werd het in 1805 als dorp en in 1854 als stad ingelijfd. Columbia kreeg een grote stimulans tot ontwikkeling toen het door het Santee Canal in een directe waterroute met Charleston werd verbonden. Dit kanaal verbond de Santee en de Cooper Rivers in een traject van 35 km. Het werd in 1786 in gebruik genomen en in 1800 voltooid, waardoor het een van de vroegste kanalen in de Verenigde Staten was. Door de toename van het spoorwegverkeer werd het kanaal rond 1850 buiten gebruik gesteld.
Columbia was een van de eerste geplande steden in de Verenigde Staten. Het staat bekend om zijn brede straten.
Op 17 februari 1865, tijdens de Burgeroorlog, werd een groot deel van Columbia door een brand verwoest terwijl het bezet werd door troepen van de Unie onder bevel van Generaal William Tecumseh Sherman.
In de 20e eeuw ontpopte Columbia zich tot een regionaal centrum voor textielproductie. In de jaren 1920 bouwden zakenlieden in Columbia een grote dam in de Saluda-rivier om hydro-elektrische energie op te wekken. De dam, die gebruik maakte van de inheemse rode kleigrond en het vaste gesteente, was de grootste aarden dam ter wereld toen hij in 1930 voltooid was. Lake Murray, dat door de dam werd gevormd, is 41 mijl (66 km) lang en 14 mijl (23 km) breed op het breedste punt. Toen het meer klaar was, was het 's werelds grootste door de mens aangelegde reservoir. Het bedrijf dat de dam bouwde, groeide uit tot SCANA Corporation, een van de grootste werkgevers van Columbia.
De stad Columbia heeft onlangs een aantal herontwikkelingsprojecten tot een goed einde gebracht en heeft er nog een aantal gepland. Het historische Congaree Vista, een gebied van 5 km2 dat van het centrale zakendistrict naar de Congaree rivier loopt, telt een aantal historische gebouwen die zijn gerestaureerd.