Era el hijo mayor de cuatro hijos de William Ker, segundo conde de Roxburghe y Hon. Jane Ker, que eran primos hermanos. Entre sus hermanos menores estaban William Ker, quien se desempeñó como Sheriff de Tweeddale , [1] y John Ker , quien más tarde tomó el apellido Bellenden y se convirtió en el segundo Lord Bellenden de Broughton (después de heredar de su primo hermano dos veces removido, William Bellenden, primer Lord Bellenden , hijo de Sir James Bellenden de Broughton y Margaret Ker). [2] Su única hermana, Lady Jean Ker, estaba casada con Colin Lindsay, tercer conde de Balcarres , un destacado partidario de James II de Inglaterra . [3]
Sus abuelos paternos fueron John Drummond, segundo conde de Perth , y Lady Jean Ker (la hija mayor de Robert Ker, primer conde de Roxburghe ). [4] El hermano mayor de su padre era James Drummond, tercer conde de Perth . [5] Su primo, James Drummond, cuarto conde de Perth , fue creado duque de Perth en la nobleza jacobita en 1701. [6] Sus abuelos maternos fueron el Excmo. Harry Ker y Lady Margaret Hay (la única hija de William Hay, décimo conde de Erroll y Lady Anne Lyon, hija de Patrick Lyon, primer conde de Kinghorne). Después de la muerte de su abuelo, su abuela se volvió a casar con John Kennedy, sexto conde de Cassilis . [1]
Tras la muerte de su padre en 1675, Robert Ker, de diecisiete años, heredó los títulos y las propiedades como tercer conde de Roxburghe . [7]
En 1680, se desempeñó como Consejero Privado . En 1681, se desempeñó como Sheriff Principal de Selkirk , también como Sheriff de Roxburgheshire y Baillie de la Regality of Melrose. [1]
El 10 de octubre de 1675, Roxburghe se casó con Lady Margaret Hay, hija mayor de John Hay, primer marqués de Tweeddale y Lady Jean Scott, la segunda hija de Walter Scott, primer conde de Buccleuch . [1] Juntos, fueron los padres de: [1]
Roxburghe murió el 6 de mayo de 1682 y fue sucedido en sus títulos por su hijo mayor, Robert. Cuando Robert murió sin casarse cuatro años más tarde, el título pasó a su segundo hijo, John, quien fue creado Lord Ker de Cessford y Cavertoun , Vizconde de Broxmouth , Conde de Kelso , Marqués de Bowmont y Cessford , y 1er Duque de Roxburghe el 25. Abril de 1707. [10]