Victor Hugo was de zoon van Joseph Léopold Sigisbert Hugo (1773-1828) en Sophie Trébuchet (1772-1821). Hij had twee oudere broers, Abel Joseph Hugo (1798-1855) en Eugène Hugo (1800-1837). Hij werd geboren in 1802, in Besançon (in het departement Doubs). Hugo woonde het grootste deel van zijn leven in Frankrijk. Tijdens het bewind van Napoleon III ging hij in ballingschap. In 1851 woonde hij in België, in Brussel. In 1852 verhuisde hij naar Jersey. Hij bleef daar tot 1855, toen hij tot 1870 op Guernsey ging wonen. Hij woonde er opnieuw in 1872-1873. Vanaf 1859 was zijn ballingschap naar keuze.
Enkele grote gebeurtenissen markeerden Hugo's vroege jeugd. Enkele jaren voor zijn geboorte werd de Bourbon-dynastie omvergeworpen tijdens de Franse Revolutie. De Eerste Republiek kwam op en viel en het Eerste Franse Keizerrijk verrees onder de heerschappij van Napoléon Bonaparte. Napoléon werd twee jaar na de geboorte van Hugo keizer. De Bourbon Monarchie werd hersteld toen Hugo 17 jaar oud was. Zijn ouders hadden verschillende politieke en religieuze opvattingen. Hugo's vader was een officier. Hij had een hoge rang in het leger van Napoleon. Hij was een atheïstische republikein en beschouwde Napoléon als een held. Zijn moeder was een extreem katholieke royaliste. Omdat Hugo's vader officier was, verhuisde het gezin vaak. Victor Hugo leerde veel van deze reizen. Hij verbleef zes maanden in Napels en Rome, voordat hij terugkeerde naar Parijs. Hij was toen pas vijf jaar oud, maar hij herinnerde zich de reis nog goed.
Zijn moeder, Sophie, ging naar Italië met haar man die gouverneur was van een provincie bij Napels. Ze gingen ook naar Spanje, waar Joseph drie Spaanse provincies bestuurde. Sophie scheidde tijdelijk van haar man in 1803, omdat het een moeilijk leven was. Ze vestigde zich in Parijs. Dit betekende dat ze Hugo's opvoeding domineerde. Daarom toont Hugo's vroege werk, voornamelijk in poëzie, hem een lofzang op het monarchisme en het geloof. De revolutie van 1848 deed Hugo rebelleren tegen zijn katholieke Royalistische opvoeding. Na die revolutie gaf hij de voorkeur aan het republicanisme en de vrijdenkerij.
Toen hij jong was, werd Victor Hugo verliefd. Hij verloofde zich in het geheim met zijn jeugdvriendin Adèle Foucher (1803-1868), tegen de zin van zijn moeder.
Hij trouwde in 1822 met Adèle, na de dood van zijn moeder in 1821. Hun eerste kind, Léopold (geboren in 1823), stierf op jonge leeftijd. Hugo had nog vier andere kinderen, Léopoldine (28 augustus 1824), Charles (4 november 1826), François-Victor (28 oktober 1828) en Adèle (24 augustus 1830). Hugo publiceerde zijn eerste roman in 1823 (Han d'Islande). Zijn tweede verscheen drie jaar later (Bug-Jargal, 1826). Tussen 1829 en 1840 publiceerde hij nog vijf dichtbundels (Les Orientales, 1829; Les Feuilles d'automne, 1831; Les Chants du crépuscule, 1835; Les Voix intérieures, 1837; en Les Rayons et les ombres, 1840). Dit droeg bij aan zijn reputatie als een van de grootste elegische en lyrische dichters van zijn tijd.
De dood van zijn oudste en favoriete dochter, Léopoldine, maakte Hugo erg verdrietig. Ze stierf op 19-jarige leeftijd, in 1843. Dit was slechts kort na haar huwelijk. Ze verdronk in de Seine bij Villequier. Haar zware rokken trokken haar naar beneden, toen een boot omsloeg. Haar man stierf toen hij haar probeerde te redden. Op dat moment was Victor Hugo op reis met zijn minnares in het zuiden van Frankrijk. Hij vernam de dood van Léopoldine uit een krant toen hij in een café zat. Hij beschrijft zijn schok en verdriet in zijn gedicht À Villequier:
Hélas! Vers le passé tournant un oeil d'envie,
Sans que rien ici-bas puisse m'en consoler,
Ik herdenk altijd dit moment in mijn leven...
Où je l'ai vue ouvrir son aile et s'envoler!
Ik verifieer dit moment tot het moment dat ik vertrek,
L'instant, pleurs superflus!
Où je criai : L'enfant que j'avais tout à l'heure,
Quoi donc! Ik heb er geen meer!
Helaas, met een jaloers oog naar het verleden,
onoplosbaar door wat dan ook op aarde,
blijf ik kijken naar dat moment in mijn leven
toen ik haar haar vleugels zag openen en wegvliegen!
Ik zal dat moment zien tot ik sterf,
dat moment - te veel voor tranen!
toen ik uitriep: "Het kind dat ik net had -
wat! Ik heb haar niet meer!"
Hierna schreef hij veel gedichten over het leven en de dood van zijn dochter. Een van zijn beroemdste gedichten is waarschijnlijk Demain, dès l'aube. In dit gedicht beschrijft hij het bezoek aan haar graf.