L’établissement voit le jour en 1952 et s’installe rue de la Louvière sous le nom d’Ecole Municipale de Musique (actuellement Maison de l’étudiant). En 1983, la Ville d’Épinal décide de réorganiser le fonctionnement de l’école pour répondre aux normes fixées par le Ministère de la Culture et solliciter son agrément. L’école municipale deviendra École Nationale de Musique par décret du Ministère de la Culture en 1987. Il est depuis cette date, le seul établissement d’enseignement artistique des Vosges classé par l’État
1989 voit le déménagement de l’établissement vers de nouveaux locaux plus adaptés au 22 rue Thiers. Ils seront inaugurés le 14 octobre par Philippe Seguin, Député-maire d’Épinal et ancien Ministre, en présence de Philippe Léotard, Ministre de la Culture.
Suite au décret du 12 octobre 2006, l’école adopte la nouvelle appellation de Conservatoire à Rayonnement Départemental.
Le 21 novembre 2008, Michel Heinrich, Député-maire d’Épinal, le nomme officiellement Conservatoire Gautier-d’Épinal , du nom de l’illustre trouvère ayant séjourné dans la région au XIIIe siècle, en présence de François Dépinal, dernier descendant de cette ancienne et célèbre famille.
Depuis le 1er juillet 2013, le conservatoire a été transféré à la Communauté d'Agglomération d'Epinal devenant ainsi un équipement culturel communautaire.
Cela permet aux habitants de 78 communes de bénéficier d’un tarif préférentiel.