Se cree que fue construido a finales del siglo XIV o XV, [1] el edificio se construyó con piedra caliza y se construyó en dos niveles, el piso superior contiene una sala y el piso inferior consta de varias salas con bóvedas de cañón , probablemente sótanos. Los dos pisos no estaban conectados internamente, solo por escaleras externas de piedra. [2] Las especulaciones sobre el propósito de la casa varían, algunas fuentes atribuyen el edificio como un patio de la mansión de Manorbier y Penally , [3] pero también se ha referido como un pabellón de caza del obispo Gower de St. Davids. [4]
La casa se conocía tradicionalmente como el Lugar de Armas, y se especula que esto se transformó en Palacio de Armas, lo que lleva a su nombre actual de Palacio. [5] El edificio también se conoce como El Palacio Viejo.
El edificio fue catalogado el 14 de mayo de 1970, con el estatus de Grado I, reservado para edificios de interés excepcional. El edificio es actualmente propiedad del Consejo del Condado de Pembrokeshire, que lo puso a la venta en julio de 2013. [6]