Pryor fue el segundo hijo de Thomas Marlborough Pryor (1777-1821), un cuáquero de Hampstead Heath , Middlesex y su esposa Hannah, hija de Samuel Hoare, un banquero. [3] Su hermano mayor Marlborough Pryor (1807-1869) era JP, pero no había dejado hijos.
Pryor fue educado en forma privada antes de ser admitido en el Trinity College de Cambridge en 1829 y graduarse como cuarto wrangler en 1834. [1] Esto inició una especie de tradición para los Pryors de ir a Trinity. Fue admitido en Lincoln's Inn en 1834 y llamado a la abogacía en 1837. Profesionalmente, ejerció como abogado de equidad y conveyencer.
El 20 de agosto de 1844 se casó con Elizabeth Caroline Wyrley-Birch, hija de Wyrley-Birch, de Wretham Hall, Norfolk. Tuvieron cuatro hijos, uno de los cuales murió cuando era un bebé, [3] los otros tres fueron enviados a Eton antes de asistir a Trinity.
Pryor se retiró del bar en 1863 y compró para su residencia High Elms Manor en Hertfordshire . Allí, fue juez de paz y sucedió a James Grimston, segundo conde de Verulam, como presidente de Hertfordshire Quarter Sessions en 1867. Durante muchos años fue presidente de la Junta de Guardianes de Watford .
Durante muchos años fue presidente de la Asociación Liberal de Hertfordshire (qv Partido Liberal ). El Times describió sus creencias políticas como "del tipo de John Bright ". [2]