Era hijo de Robert Gifford, primer barón Gifford . Fue educado en el Trinity College de Cambridge y sirvió como oficial en el ejército británico . Logró la baronía el 4 de septiembre de 1826 y asumió su escaño en la Cámara de los Lores .
El 2 de abril de 1845 se casó con el Excmo. Frederica-Charlotte-Fitz-Hardinge (n. 15 de abril de 1825, m. 25 de noviembre de 1920), hija mayor de Maurice Berkeley, primer barón FitzHardinge , y tuvo descendencia: