Em 1991, vários estudantes da Universidade Waseda, membros da "Street Corner Symphony", um clube de canto à capela, decidiu formar seu próprio grupo. Em agosto de 1994 seu primeiro mini-álbum, Down to Street, foi posto à venda pela File Records.
Depois de algumas mudanças na formação, a Ki/oon Records lançou o primeiro single do grupo, intitulado Promise, em dezembro do mesmo ano. A música representava bem o estilo do The Gospellers, com um fundo musical leve e vozes à capela.
Com o tempo eles lançaram diversos singles, uma média de três ou quatro por ano, e, apesar da boa qualidade de suas músicas, eles ganharam a atenção da crítica, mas não do público. Em dezembro de 1998, a balada Atarashii Sekai marcou o início de uma nova fase na música da banda: a partir daqui, o The Gospellers se focou principalmente no R&B, negligenciando um pouco as harmonias e os cantos à capela. Na época esse estilo era uma tendência, e o The Gospellers chegou no momento certo.
O 14° single do grupo, Towa ni, lançado em 2000, foi seu primeiro sucesso. Towa ni era uma balada e se tornou bastante conhecida após ser vendida em grandes quantidades. Graças a isso, seu sexto álbum, Soul Serenade, seguiu o mesmo caminho de sucesso. O lançamento seguinte, Kokuhaku, com um som moderno e ritmo rápido, não foi tão bem sucedido quanto seus predecessores. Depois, com um single intitulado Hitori, o grupo voltou às suas raízes com uma música totalmente à capela. Surpreendentemente, o sucesso foi imediato e a música alcançou o terceiro lugar nos rankings da Oricon, sendo a primeira vez que uma música à capela entra no Top 3.
No dia 6 de junho de 2001, o The Gospellers lançou um best of de baladas intitulado Love Notes, que vendeu mais de um milhão de cópias. Mais tarde no mesmo ano, eles foram convidados para participar do anual Kôhaku Utagassen.
Nessa época o grupo chegou ao auge de sua popularidade, ganhando o apoio de numerosos fãs que sempre se mantiveram fiéis e eles e garantiram, no mínimo, o sucesso de todos os seus lançamentos. O The Gospellers trabalhou sem descanso, com pelo menos dois ou três singles por ano, lançados entre álbuns como A Capella (2002), que contém apenas músicas à capela, ou G10, uma compilação de músicas da primeira década de sua carreira, selecionadas pelos fãs. No início de 2005, uma versão remasterizada de seu primeiro álbum, Down to Street, chegou às lojas.
Em abril de 2006, o grupo fez parte de um projeto com alguns membros do Rat&Star, intitulado Gosperats, que fazia um som jazz. Nesse grupo os cantores usaram uma maquiagem especial ("rosto negro") que tinha a intenção de fazê-los se parecer com americanos negros, algo que aparentemente chocou muitos dos fãs ocidentais. Foi apenas um projeto paralelo e, depois, o The Gospellers seguiu em frente e lançou o single Hitotsuji no Kiseki / Kaze wo Tsukamaete, muito bem recebido pelo público.
O The Gospellers se manteve mais calmo durante 2007, e neste ano lançou o single Aoi tori no dia 12 de março, que foi usado como tema do filme "Utatama". Após diversos shows ao longo do ano, o grupo lançou mais um single, Sky High, no dia 12 de novembro.
Seu talento é universalmente aclamado e os membros do The Gospellers foram até mesmo chamados para escreverem músicas para outros artistas, cantar com eles ou produzi-los. Seu estilo não mudou por dez anos, mas o talento destes cantores e compositores é tão grande que qualquer um que reclamasse seria um estraga-prazeres.
