Douglas era el único hijo de Sir William Douglas de Glenbervie y Elizabeth Auchinleck. [1] Douglas nació en Glenbervie en algún momento antes de la muerte de su padre en la batalla de Flodden .
Se casó primero con Agnes Keith, hija de William Keith, tercer conde Marischal , quien murió entre 1542 y 1548. Se casó en segundo lugar con Elizabeth Irvine, hija de Sir Alexander Irvine de Drum. [1] [2] Se casó como su tercera esposa con Margaret Carmichael. Era hermana de Elizabeth Carmichael (1514-1550), amante de James V y más tarde se casó con John Somerville de Cambusnethan . [3]
Con su primera esposa tuvieron a William Douglas, noveno conde de Angus , y con su segunda esposa tuvo más dos hijos y seis hijas. [2]