El Palacio de Gaviria, situado en la calle del Arenal número 9 con vuelta a la travesía del Arenal, fue habitado en su origen por Don Manuel de Gaviria y Donza. Era éste un sevillano que había hecho fortuna con arriesgadas operaciones financieras y había conseguido en 1840 el título de Marqués de Casa de Gaviria.
Cuando se instala en Madrid, el Marqués de Gaviria elige el solar en el que había estado el palacio del Duque de Arcos y Maqueda en la noble calle del Arenal. Esta calle se había puesto de moda entre los aristócratas ya que unía la Puerta del Sol con el Teatro Real y la Plaza de Oriente.
El arquitecto encargado del proyecto será Aníbal Álvarez Bouquel que diseñará uno de los más lujosos edificios del Madrid isabelino. Estructurado alrededor de dos patios, consta de tres plantas contando la principal, la primera de ellas, con amplios balcones.
La entrada se sitúa desplazada hacia la Puerta del Sol, justo enfrente de la Plaza del Celenque desde donde se divisaba al completo el palacio. A la derecha de la entrada estaba la escalera de Honor, cuyo techo está decorado por el pintor de la reina, Joaquín Espalter y Rull, y dedicado al dios Mercurio. Las pinturas del techo del Salón de Baile tendrán como protagonistas a Isabel II y a Isabel la Católica.
El palacio se inaugura en 1851 con un baile presidido por Isabel II al que asiste lo más granado de la aristocracia madrileña. Ese mismo año, el segundo marqués de Casa Gaviria, Manuel de Gaviria y Alcoba, recibe el título de Conde de Buena Esperanza.
En el mismo S. XIX el palacio se amplía con una planta más y en 1990 se altera la construcción original, conservándose sólo la entrada, la escalera y los salones del piso principal. En la actualidad, la planta baja está ocupada por distintos locales comerciales mientras que en la principal está la discoteca del Palacio de Gaviria.
Más información en «Guía de los palacios y edificios singulares del Madrid de 1868» de José Ignacio Pozuelo González.