L'ancien orphelinat date du 17e siècle, il a été rénové en 1986 pour créer une extension au musée Jean-Lurçat. Seule la façade a conservé ses dispositions architecturales initiales, les pièces intérieures de l'édifice ont été modernisées et ne laissent pas apparaître leurs anciennes fonctions.

L'ancien orphelinat rassemble une soixantaine d'œuvres, selon un parcours chronologique, qui situe l’art textile dans l’histoire. Les très importantes donations Lurçat, Gleb et Grau-Garriga constituent le noyau des collections permanentes. C’est une des plus importantes collections de tapisseries au monde.

La collection en six parties

Salle 1 : Lurçat, les années de jeunesse : 1919-1936
   Petit passage : Lurçat et la céramique, les années 1950
   Salle 2 : Les tapisseries de la guerre, les années 1940
   Salle 3 : L’APCT (l’Association des peintres cartonniers de tapisserie), les années 1950
   Salle 4 : Thomas Gleb, l’interprétation tissée, les années 1960
   Salle 5 : La « Nouvelle tapisserie », les années 1970
   Salle 6 : Josep Grau-Garriga, donation 2004