Lee erfde een aantal slaven met Arlington House. Hij bleek niet zo'n goede slavenmeester te zijn. Hij probeerde vriendelijk te zijn en weigerde martelingen toe te passen. Maar de slaven wisten dat hun vrijheid hen in het testament was toegekend en weigerden te werken. Lee wilde hen hun vrijheid geven, maar had hen nodig om hem te helpen het werk in Arlington House uit te voeren. Persoonlijk haatte Lee de slavernij en noemde het een "kwaad" voor zowel
zwarten als blanken. Maar hij vond dat er geleidelijk een einde aan moest komen, anders zou de economie van het Zuiden in elkaar storten. Maar Lee was het wel eens met andere Zuidelijken die vonden dat zwarten minderwaardig waren. Hij geloofde dat
God het probleem in zijn eigen tijd zou oplossen. Lee had, net als Thomas Jefferson, gemengde gevoelens over slavernij.
De verkiezing van Abraham Lincoln in 1860 zorgde ervoor dat verschillende staten zich uit protest afscheidden. Dit bracht Lee in een moeilijke positie. De nieuw gevormde Geconfedereerde Staten van Amerika boden Lee de rang van brigadier-generaal aan. Lee ging niet op het aanbod in. Winfield Scott bood hem het bevel aan over het leger van Amerikaanse vrijwilligers. Ook op dit aanbod ging hij niet in. Tussen 12 en 14 april 1861 werden de Amerikaanse troepen gebombardeerd bij Fort Sumter in Charleston, South Carolina. Dezelfde dag scheidde Virginia zich af van de Unie. Lee was geen voorstander van afscheiding, maar hij kon niet tegen zijn eigen staat Virginia vechten. Lee legde op 22 april 1861 in Arlington House zijn legeropdracht neer. Hij vertelde zijn vrienden dat hij geen deel zou uitmaken van een invasie van het Zuiden. Enkele dagen later aanvaardde hij het bevel over alle strijdkrachten van Virginia.
In het begin voerde Lee geen soldaten aan in de strijd. In plaats daarvan hielp hij de Geconfedereerde president Jefferson Davis bij het nemen van militaire beslissingen. In 1862 werd hij de bevelhebber van het leger van Noord-Virginia. Hij zou het leger de rest van de oorlog aanvoeren. Hij zou veel veldslagen winnen, ook al had het leger van de Unie in de gevechten meer manschappen en wapens. Bij de Slag om Gettysburg probeerde hij de Unie binnen te vallen om de oorlog te beëindigen. Maar zijn leger werd verslagen en hij moest zich terugtrekken in Virginia.
In 1864 en 1865 vocht Lee tegen de generaal van de Unie Ulysses S. Grant in Virginia. Eind 1864 en begin 1865 vochten Lee en Grant in de buurt van Richmond, Virginia in een reeks gevechten die het Beleg van Petersburg werden genoemd. In april 1865 dwong Grant Lee zich uit Richmond terug te trekken. Na een reeks gevechten omsingelde Grant Lee bij Appomattox Courthouse en dwong Lee zich over te geven. Voordat hij zich overgaf, zei hij: "Ik sterf nog liever duizend doden dan dat ik me overgeef".