Mary Ann Gibbon fue la amante durante mucho tiempo de Charles Howard, undécimo duque de Norfolk , desde aproximadamente 1795 hasta su muerte en 1815. Supuestamente, un sacerdote católico la casó con él alrededor de 1796, mientras que la segunda esposa del duque aún vivía pero residía en un manicomio desde 1772.
Gibbon vivió en Norfolk House en Londres durante la mayor parte de este tiempo, pero se cree que también viajó con el duque al castillo de Arundel durante sus estancias allí. Fue madre de cinco hijos de Duke Charles, Matthew Charles Howard-Gibbon , Edward Howard Howard-Gibbon , Mary Eliza Howard-Gibbon, Caroline Howard-Gibbon y Richard Howard-Gibbon.