Este edificio, conocido como palacio de Murga o palacio de Linares, fue encargado al arquitecto Carlos Colubí, en 1877, por los primeros marqueses de Linares, José de Murga y Raimunda Osorio. Se terminó en 1900.
El edificio, de cuatro plantas, más semisótano, es de piedra caliza en estilo rococó, siguiendo el modelo francés. Presenta una fachada de tres cuerpos, con el central en forma convexa. En la planta baja, de piedra almohadillada, hay tres puertas de acceso con molduras y arco escarzano, decorado con metopas. En los laterales, vemos vanos rectangulares, adintelados. La planta noble presenta una balaustrada de piedra, sustentada por ménsulas pareadas y adornadas con bustos femeninos. Tres balcones se abren en el cuerpo central, muy ornamentados con relieves dedicados a la música, cubiertos con un guardapolvo curvilíneo. Entre los balcones, columnas jónicas pareadas y adosadas, que sustentan un entablamento ornamentado con motivos vegetales. En los laterales, vemos un balcón con un frontón curvo sustentado por ménsulas. La planta superior ofrece unos vanos más pequeños, adornados con molduras mixtilíneas y un frontón curvo partido que cobija una venera y elementos vegetales. Las columnas dan paso a pilastras estriadas, dóricas, también adosadas, que sustentan una cornisa sustentada en ménsulas y dentículos. En los laterales, se observan vanos con arco escarzano, adornados de varias molduras. Se remata la fachada con una cornisa sustentada en ménsulas y dentículos sobre la que vemos una balaustrada de piedra con jarrones decorativos. En el centro, destaca un gran escudo de los marqueses de Linares con dos ángeles femeninos tenantes.
En su interior, destaca la escalera imperial, de mármol de Carrara, realizada por Manuel Álvarez, y la galería del segundo piso en estilo pompeyano. Las distintas salas se decoraron en estilo Luis XV, Luis XVI y rococó, con pinturas de artistas del momento como Francisco Amérigo o Valeriano Domínguez Bécquer, hermano del poeta romántico.
En 1976, fue declarado monumento artístico. Estuvo abandonado muchos años y, tras ser rehabilitado, se reabrió en 1992, coincidiendo con los actos del V Centenario del Descubrimiento de América.
Durante las obras de restauración en 1990, se difundió la noticia de que unos fenómenos paranormales ocurrían en el palacio: se oían llantos infantiles por sus salas. La leyenda habla de que el duque de Linares, José de Murga se enamoró de la hija de una cigarrera de Lavapiés, a pesar de la oposición de su padre. Más tarde, la pareja de enamorados descubrió una carta del padre en que este confesaba su relación con la cigarrera, con la que tuvo una hija, Raimunda Osorio. Por lo tanto, esta era hermanastra de José. Los enamorados se dirigieron al papa Pío IX que les extendió una bula que les permitía vivir juntos pero castamente. Sin embargo, estos tuvieron una hija (Raimunda) y, ante el escándalo, decidieron matarla y emparedarla. El espíritu de la niña se pasea de noche por los salones, llorando. No hay prueba histórica de que fueran hermanos de padre. Parece ser que Carmen Maceiras Rey ha demostrado lo contrario con sus investigaciones.
En sus salones se rodó la película Patrimonio nacional, de Luis García Berlanga.
Texto incluido en el libro ‘Paseos por el Madrid de los Borbones‘