Me gusta citarla como la Caja Mágica de los Austrias, en alusión al actual estadio multiusos donde se realiza el campeonato de tenis Madrid Open. Según el Plano de Teixeira, era un gran edificio de planta rectangular, con un gran patio central abierto. Construido a base de cubiertas a dos aguas en sus cuatro pandas, presumiblemente del mismo material, ladrillo, que el resto de instalaciones que levantó Alonso Carbonel, de los pabellones del conjunto palaciego del Retiro. Siguiendo con la descripción, constaba de dos plantas, con galerías abiertas al interior, como lugar para presenciar el juego de la pelota
Debió desaparecer a mediados del siglo xviii, porque en los planos geométricos de Tomas López, de 1761, no aparece, siendo sustituido dicho edificio por los pabellones ampliados de las Caballerizas del palacio del Buen Retiro.
Felipe III era un gran aficionado al juego de la pelota. Tenía un campo de juego cerca del Alcázar, al cual se comunicaba por pasadizo cubierto, transmitiendo su pasión a su hijo, quien sería Felipe IV. En los alrededores del Alcázar, en la plaza de Caños del Peral, hoy de Isabel II, hubo un conjunto de casas cuya fachada conjunta, que daba a la plaza, conformaba como una especie de frontón abierto donde se jugaba a la pelota, como se muestra en el Plano de Teixeira.
El juego era sencillo. Se componía de unas palas, elaboradas por una redecilla extendida fuertemente sobre un arco redondeado algo prolongado, tirando contra la pared, algo parecido a lo que hoy conocemos como frontenis. Generalmente, las pelotas españolas eran más grandes que en otros lugares, estaban rellenas de lana y de color negro, para así saber dónde daba cuando rebotaba contra la pared blanca. Se jugaba siempre con apuestas y siguiendo la cuenta a la francesa de 15-30-45 y juego.
Existía otro tipo de juego sin raqueta, a mano abierta, conocido como el juego de la palma, en el que se colocaba una cuerda en medio del campo y a la pelota había que golpearla con la mano abierta, para que pasara por encima de ella sin tocarla, parecido a lo que hoy conocemos como la pelota vasca.