Seu primeiro lançamento foi em 2001, com o Taking Back Sunday EP. Nessa época, os integrantes da banda eram Antonio Longo no vocal, John Nolan como guitarrista e backing vocal, Eddie Reyes também como guitarrista (o fundador original da banda),...