Nascido Asa Yoelson em Srednick, Lituania, Russia, em 26 de maio de 1886, emigrou para os Estados Unidos, onde radicou-se com sua familia em Washington D.C. em 1893.
Em 1909, juntou-se ao grupo Lew Dockstader's Minestrel Troupe e logo tornou-se o artista principal de comedias e cantor.
Autor de muitas canções populares e de um estilo unico (sua famosa maquiagem o transformava em negro), conquistou muitos seguidores.
Sua vida foi filmada em 1946 em "The Jolson Story". Por este trabalho, Jolson receberia postumamente a medalha do merito do Congresso americano.
Em 1950, ainda esteve nos campos da recem-iniciada guerra da Coreia, porem, faleceu no dia 23 de outubro desse mesmo ano em San Francisco, California.