Musgrave era hijo de Ambrose Heighington de White Hurworth, Durham, y de su esposa, que era una de las cuatro hijas de Sir Edward Musgrave, primer baronet, de Hayton Castle, Cumberland.
Ocupó cargos como organista en Hull, Bridlington, Great Yarmouth, Leicester y Dundee, y participó en sociedades musicales locales.