Era hijo de Robert Fleming y Janet Douglas, hija de James, séptimo conde de Douglas . Su hijo fue John Fleming, segundo Lord Fleming .