En Madrid existía ya la llamada Casa de Tapices de su Majestad desde el siglo XVI, cuyas instalaciones estaban junto al colegio de Santa Isabel y son las que Velázquez representó en Las hilanderas. Pero tanto la monarquía española como las casas nobiliarias preferían importar tapices flamencos, de mayor calidad. Tras la guerra de Sucesión y la firma del tratado de Utrecht perdimos toda relación con los Países Bajos como centro de producción de tapices. Así que la Corona decidió crear nuestra propia manufactura de tapices, tomando como modelo las ya existentes en Flandes o Francia. Felipe V mandó traer desde Amberes a una familia entera de tejedores, los Van Der Gotten, organizando en Madrid la Real Fábrica de Tapices de Santa Bárbara, situada cerca de la puerta del mismo nombre. Era un negocio tradicional que iba pasando de padres a hijos. Al fallecer el último Van Der Gotten la fábrica pasó a ser dirigida por los Stuyck desde 1786. Incluso hoy en día sigue habiendo herederos de esta última familia.
En la Real Fábrica, al principio, siguieron copiando modelos flamencos, a cargo de pintores italianos o franceses como Procaccini, Houase, Anglois, Giaquinto. Con Fernando VI la Real Fábrica de Tapices ya tenía mucha fama. En ella se tejieron muchas piezas de oro y seda para el nuevo Palacio Real de Madrid, a la vez que se podían reparar las piezas distribuidas por los Reales Sitios. Carlos III colocó a Mengs como director artístico y durante su reinado la Real Fábrica evolucionó hacia una mejor tecnología y una temática más innovadora con Bayeu y jóvenes artistas como José del Castillo, Goya, Ginés de Aguirre o Maella. Se abandonaron las escenas flamencas de género o bodegones, para realizar temas más castizos: verbenas, paseos por las renovadas zonas de Madrid, oficios artesanos, escenas de caza en nuestros bosques. Tapices que pasaron a decorar los palacios de invierno de la monarquía, como El Pardo, El Escorial o el propio Madrid.
La antigua fábrica de Santa Bárbara se quedó pequeña y anticuada en instalaciones. En la época del Ensanche de Madrid y los años de prosperidad económica de fines de siglo XIX se vio conveniente trasladarla a las afueras, a la zona conocida como la Huerta o el Olivar de Atocha, zona no residencial donde se disponía de mayor espacio y abastecimientos de agua. El arquitecto mayor de palacio, José Segundo de Lema, dirigió la construcción del nuevo edificio entre 1884 y 1889 en la actual calle Fuenterrabia número 2. Se fue ampliando con más depósitos, talleres, almacenes, oficinas de la administración, viviendas, etc. En realidad ocupa toda la manzana y tiene cuatro fachadas y un bonito jardín interior.