Victor Hugo, Joseph Léopold Sigisbert Hugo (1773–1828) ve Sophie Trébuchet (1772–1821) çiftinin üçüncü oğluydu; Abel Joseph Hugo (1798–1855) ve Eugène Hugo (1800–1837) isminde iki ağabeyi vardı. 1802'de Besançon'da doğdu. Napolyon'un bir kahraman olduğunu düşünen serbest fikirli bir cumhuriyetçiydi. Annesi 1812'de Napolyon'a karşı komplo kurduğu için idam edilen General Victor Lahorie ile sevgili olduğu düşünülen Katolik bir Kralcıydı.

Hugo'nun çocukluğu ülkede siyasi karmaşıklığın olduğu bir dönemde geçti. Doğumundan iki yıl sonra Napolyon İmparator ilan edilmiş, 18 yaşındayken de Bourbon Monarşisi yeniden tahta geçirilmişti. Hugo'nun ailesinin ters dini ve politik görüşleri Fransa'da egemenlik mücadelesi veren kuvvetleri yansıtıyordu. Hugo'nun babası İspanya'da yenilene kadar orduda yüksek rütbeli bir subaydı.

Babası subay olduğu sürece aile sık sık taşındı ve bu yolculuklar sırasında Hugo pek çok şey öğrendi. Çocukluğunda Napoli'ye giderken geniş Alpler'deki geçitleri ve karlı zirveleri, muhteşem Akdeniz mavisini ve şenlikler yapılan Roma'yı gördü. 5 yaşında olmasına rağmen bu 6 aylık geziyi her zaman aklında tuttu. Aile Napoli'de birkaç ay kalıp doğruca Paris'e döndü.