Gounod era filho de um pintor e uma pianista. Muito jovem, entrou para o Conservatório de Paris, onde foi aluno de Jacques Fromental Halévy e Lesueur. Em 1839, compôs uma cantata (Ferdinand) e ganhou o Prix de Rome, um prêmio famoso para jovens compositores, que dava direito a uma bolsa de estudos na Itália. Naquele país, ele entrou em contato com a música polifônica do século XVI, que o fascinou.
Tomado por idéias místicas (que nunca o abandonaram completamente), ele pensou em entrar para o sacerdócio, e começou a compor música religiosa. Terminados seus estudos na Itália, ele regressou à França, mas não sem antes passar por Viena, e assumiu o cargo de organista na Igreja das Missões Estrangeiras em Paris, que ocupou por três anos.
Por volta dessa época, ficou conhecendo duas mulheres, que tiveram grande influência na sua vida: uma foi a cantora Pauline Viardot, que o introduziu ao mundo da ópera, e a outra foi Fanny Hensel, que apresentou a Gounod seu irmão, o célebre compositor Felix Mendelssohn. Através de Mendelssohn, Gounod entrou em contato com a música de Bach, então pouco conhecida.
