La tierra perteneció al coronel William Polk . [1] La mansión fue construida para uno de sus hijos, el obispo Leonidas Polk , de 1833 a 1837. [1] [2] Frente a la mansión, Leonidas Polk construyó la Iglesia Episcopal de San Juan de 1839 a 1842. [1] [3 ]
En 1847, Leonidas Polk vendió la mansión a Rebecca Van Leer, heredera de una fortuna de hierro y miembro de la familia Van Leer, que se había casado con uno de sus hermanos, Andrew Jackson Polk, en 1846, por 35.000 dólares. [1] Andrew y su esposa gastaron otros 35.000 dólares estadounidenses en ampliaciones y renovaciones. [1] Su hijo Vanleer Polk y su hija Antoinette Van Leer Polk crecieron en la mansión. [1]
El 5 de julio de 1861, al comienzo de la Guerra Civil Estadounidense de 1861-1865, Andrew Jackson Polk, quien fue elegido Capitán, [4] organizó a los Bravos del condado de Maury en una arboleda en los terrenos de Ashwood Hall. [1]
En 1862, Antoinette Polk salvó al personal confederado estacionado en Ashwood Hall advirtiéndoles que las fuerzas del Norte se dirigían hacia ellos. [5] Como resultado, se hizo conocida como una "heroína sureña". [5]