Rousseau wurde 1844 im französischen Laval in einfache Verhältnisse geboren. Er absolvierte zunächst seinen Militärdienst als Klarinettist des Infanterieregiments, danach bekam er eine Anstellung beim Zoll. Dies brachte ihm seinen Zunamen ein: „Le Douanier (der Zöllner) Rousseau“. Nebenbei begann Rousseau zu malen.
Durch den Schriftsteller Alfred Jarry lernte er zunächst den Maler Paul Gauguin kennen und erhielt so Zutritt zu den Kreisen der französischen Avantgarde.
Rousseau starb 1910 in Paris. Sein Stil gilt heute als wegbereitend für Werke des Magischen Realismus.