Samuel Martin nació en Greencastle Estate, Antigua , hijo del mayor Samuel Martin, quien, en 1701, fue asesinado durante una revuelta de esclavos después de haber exigido a los africanos esclavizados que trabajaran en su propiedad el día de Navidad . Samuel, de siete años, escapó de un destino similar, siendo escondido en campos cercanos por su niñera. Ella misma fue esclavizada y posteriormente fue liberada en reconocimiento de este acto. [1] Samuel fue enviado a vivir a Irlanda mientras su madre se volvió a casar con Edward Byam . [2]
Martin tuvo 21 hijos, al menos dieciséis de los cuales murieron durante su vida. [5] El mayor de sus hijos, Samuel , se convirtió en miembro del parlamento británico y secretario del Tesoro; Henry se convirtió en contralor de la Marina, miembro del parlamento y baronet; Josiah fue gobernador de Carolina del Norte. [6]