Filho de pai trombonista e mãe pianista, foi natural que ele seguisse o caminho da carreira musical. Conforme Ray contava em suas entrevistas, fez um curso por correspondência, com um único dólar, que o introduziu na arte da teoria musical. Formou o seu primeiro grupo artístico ainda adolescente. Anos mais tarde, aperfeiçoou-se de forma profunda na carreira, ao se tornar discípulo da Juilliard School. Depois de atuar e formar uma sólida base musical como trombonista e arranjador nas Big Bands, como as de Artie Shaw, Harry James e outros, Ray passou a escrever arranjos para Johnny Mathis, Guy Mitchell, Johnnie Ray, mas devido a seu talento, teve a oportunidade de formar sua própria orquestra em 1955, a convite de Mitch Miller, da CBS.
Seu estilo de associar vozes masculinas a trombones, trompas e saxofones baixo, e vozes femininas a pistons, clarinetes e saxofones altos, dava-lhe uma característica inusitada e só sua. Seu coral limitava-se a pronunciar sons como da-das e du-du-dus e outras variantes, ao invés de palavras, o que imprimia um "colorido musical", intensificando os tons suaves e, ao mesmo tempo, abrandando os mais fortes.
O som de Conniff ficou famoso logo após o lançamento de seu primeiro disco solo, em 1956, e que se intitulou ´S Wonderful, que vendeu milhões de cópias e permaneceu por meses nas primeiras posições da parada de sucessos. Daí até o segundo, terceiro e quarto álbuns, todos de grande sucesso, foi um pulo, assim como seus lançamentos subseqüentes.
Ray Conniff fez um grande sucesso até o início da segunda metade da década de 1960, período em que seu som ainda era ouvido em bailes de clubes, nas rádios e nas festinhas caseiras. No entanto, a partir do final desta mesma década, suas vendas começaram a decair. A despeito disso, sempre se manteve fiel a seu estilo, com algumas variantes, como discos com o pistonista Billy Butterfield e a introdução dos cantores ainda no início da década de 1960 e que, a partir do final desta, passariam a ser a sua maneira predominante de interpretar as canções, com gravações mais espaçadas do estilo que lhe consagrou, até por uma imposição do mercado que, àquela altura, apresentava forte concorrência com o lançamento de novos estilos mundo afora.
Naquela mesma época, fez sua primeira visita ao Brasil, como convidado, ao lado de Henry Mancini, para o Festival Internacional da Canção, onde então teve oportunidade de imprimir seu estilo a uma orquestra constituída de músicos e coral inteiramente brasileiros. Seu som, sempre fidelíssimo a seu estilo, levou a platéia do Maracanãzinho ao delírio, interpretando Aquarela do Brasil, Tico-Tico e Somewhere My Love. Foi o início de uma série de vindas ao Brasil e de shows pelo mundo afora (América Latina, Inglaterra, Alemanha, Japão, Rússia, etc). Em todos esses lugares era recebido com enorme entusiasmo pelas platéias.
A partir de meados da década de 1970, reduziu seus cantores de 24 para 8 vozes, sem que perdesse em qualidade sonora ou comprometesse seu estilo. Na década de 1980/1990, voltou-se de vez para o mercado latino, tendo gravado centenas de canções, incluindo algumas brasileiras, concentrando-se basicamente no repertório musical de Roberto Carlos e de Julio Iglesias. Ainda assim, lançou álbum de trilhas sonoras de filmes americanos e que incluíam sucessos como Titanic, Superman, A Bela e a Fera, etc e outro com cantores do estilo country americano.
Ray Conniff permanecia vindo ao Brasil quase que anualmente, tal era o seu sucesso até sua última tour por essas terras, no ano 2001, na qual ainda revelava muita alegria e disposição e era ovacionado por enorme platéia onde quer que fosse.
Durante vários anos, quando se apresentava em São Paulo, ficava sempre hospedado no Hotel Eldorado Higienópolis, e alí, durante toda temporada, convivia diariamente com os moradores da região, pois frequentava a lanchonete sorriso que há em frente ao hotel até hoje; conversava com todos os frequentadores do local e ainda atendia aos fãns.
Para tristeza de todos os amantes da boa música, Ray sofreu um derrame cerebral em abril de 2002, tendo se recuperado do mesmo, chegando a fazer planos de voltar ao Brasil, quando foi surpreendido por outro derrame, na saída de um restaurante, no qual almoçara com a família, e que naquele dia 12 de outubro de 2002 lhe roubaria a vida.
Sua última canção gravada foi "Nossa Senhora" de Roberto Carlos.