De naam van de rivier komt van een Algerijns woord, lappihanne (ook wel toppehannock genoemd), wat betekent "rivier van snel, stijgend water" of "waar het tij eb en vloedt", de naam die gebruikt wordt door de lokale inheemse bevolking, de Rappahannock stam.
Hoewel er in de vroege koloniale tijd enkele kleine gehuchten langs de benedenloop van de Rappahannock zijn geweest, begon de nederzetting van de Rappahannock River vallei in de eerste jaren van de 18e eeuw, op aandringen van gouverneur Alexander Spotswood. De James River was onderzocht tot aan zijn vallijn, het punt waar, geologisch gezien, de continentale bodem van de Piemonte de sedimentaire rotsen en alluviale bodems van de kustvlakte ontmoette. Spotswood bevorderde de vestiging in een andere riviervallei dan die van de James. In 1714 ging hij op zoek naar immigranten uit Rijnland-Palts en Zwitserland om zich te vestigen op land dat hij beheerste in de buurt van de plaats waar de Rappahannock en de Rapidan samenkwamen. Deze dorpen, die bekend staan als de Germanna-nederzetting(en), werden gesticht om de ijzerertsafzettingen in de regio te ontginnen.
De Slag om de Rappahannock-rivier werd tijdens de oorlog van 1812 op de rivier uitgevochten. Zeventien Britse boten vol met honderden mariniers en zeelieden veroverden vier Amerikaanse kapers.
Tijdens de Amerikaanse Burgeroorlog zorgde de rivier, met weinig gemakkelijke doorgangen en minder bruggen, voor een barrière en verdedigingslinie. Achter deze linie hadden de troepen weinig angst voor een aanval vanaf de rivierzijde. Het was een bijzonder moeilijke barrière voor de troepen van de Unie om te overwinnen in hun pogingen om zich naar het zuiden van Virginia te stuwen. In de loop van de oorlog veranderde de controle over de rivier vele malen van eigenaar. Belangrijke veldslagen langs de rivier waren de Slag bij Fredericksburg en de Slag bij Rappahannock Station. De verdedigingslinie bij de rivier werd uiteindelijk omzeild door Ulysses S. Grant in de Wilderness (of Overland) Campagne van 1864, wat eindigde in de uiteindelijke overwinning van de Unie.
In sommige 18de- en 19de-eeuwse documenten, waaronder sommige verslagen van de Burgeroorlog, werd de Rappahannock-rivier aangeduid als "Hedgeman's River". In een onderzoek uit 1736-1737 werd de Rappahannock-rivier boven de monding van de Rapidan bestempeld als "Cannon", en verder stroomopwaarts werd hij aangeduid als "Hedgeman's River", genoemd naar Nathaniel Hedgeman, een vroege kolonist uit het gebied.
