FitzRoy fue el sexto hijo de Augustus FitzRoy, tercer duque de Grafton , primer ministro de Gran Bretaña , de su segunda esposa, Elizabeth Wrottesley, hija del muy reverendo Sir Richard Wrottesley, séptimo baronet , decano de Worcester . Era medio hermano de George FitzRoy, cuarto duque de Grafton , y Lord Charles FitzRoy y hermano completo del almirante Lord William FitzRoy . [1] Fue educado en Harrow and Trinity College, Cambridge . [2]
FitzRoy fue devuelto al Parlamento por Thetford en 1812 (sucediendo a su hermano Lord William), un escaño controlado por la familia FitzRoy, y era partidario de la oposición Whig . No fue reelegido en 1818, pero regresó a la Cámara de los Comunes en 1820 como uno de los dos representantes de Bury St Edmunds (sucediendo a su sobrino Lord Euston ), otro asiento controlado por la familia. Continuó representando al distrito electoral hasta 1826. [1]