Nació el 30 de agosto de 1807 [3] y se educó en Westminster y Christ Church, Oxford . En 1828 se convirtió en miembro del Magdalen College de Oxford y curador de Swanbourne . Ocupó cargos en Pitchcott y Middle Claydon antes de su ascenso al decanato . [4]
Era hermano de Thomas Fremantle, primer barón Cottesloe y, por tanto, tío del honorable William Fremantle , que sucedió a Fremantle como decano de Ripon.