Desde criança Ray, nascido Joseph Raymond Conniff, parecia predestinado a seguir a carreira musical, já que o pai era trombonista e a mãe pianista. Foi natural, pois, que seguisse o caminho da carreira musical.
Conforme Ray contava em suas entrevistas, fez um curso por correspondência, com um único dólar, que o introduziu na arte da teoria musical. Formou o seu primeiro grupo artístico ainda adolescente.
Anos mais tarde, aperfeiçoou-se de forma profunda na carreira, ao se tornar discípulo da Escola Julliard de Música. Depois de atuar e formar uma sólida base musical como trombonista e arranjador nas Big Bands, como as de Artie Shaw, Harry James e outros, Ray passou a escrever arranjos para Johnny Mathis, Guy Mitchell, Johnnie Ray, mas tão talentoso se revelou que teve a oportunidade de formar sua própria orquestra em 1955, a convite de Mitch Miller, da CBS.
Seu estilo de associar vozes masculinas a trombones, trompas e saxofones baixo, e vozes femininas a pistons, clarinetes e saxofones altos, lhe dava sua característica inusitada. Seu coral limitava-se a pronunciar sons como da-das e du-du-dus e outras variantes, ao invés de palavras, o que imprimia um “colorido musical”, intensificando os tons suaves e, ao mesmo tempo, abrandando os mais fortes.
