Ballard se bautizó el 28 de marzo de 1765 en St. Thomas, Portsmouth, hijo de Samuel Ballard, un burgués y comerciante de Portsmouth , y Lydia née Flint, hija de James Flint de Epsom en Surrey.
Ballard entró en la marina en diciembre de 1776, bajo el patrocinio del Capitán el Honorable John Leveson-Gower , hijo de John Leveson-Gower, 1er Conde Gower , quien era en ese momento el capitán del Valiant , que formaba parte de la flota bajo el mando de la al mando del almirante Keppel durante el verano de 1778. En octubre de 1779 fue trasladado al Shrewsbury , el capitán Mark Robinson , y estuvo presente en ella cuando Sir George Rodney derrotó a la flota española frente al cabo de San Vicente el 16 de enero de 1780. En el siguiente En julio, el Shrewsbury se reincorporó a la flota de Rodney en las Indias Occidentales, estuvo presentefrente a Martinica el 29 de abril de 1781 , y dirigió la furgoneta en la acción frente a Chesapeake el 5 de septiembre de 1781. Durante la batalla, la peor parte de la lucha cayó sobre Shrewsbury , que había catorce muertos y cincuenta y dos heridos, incluido el capitán Robinson, que perdió una pierna. Posteriormente, el barco regresó a las Indias Occidentales con Sir Samuel Hood , y estuvo con él en las operaciones en St. Kitts en enero de 1782, después de lo cual tuvo que ser enviado a Jamaica para su reparación. El 10 de febrero de 1783, mientras aún estaba en Jamaica, Ballard fue nombrado quinto teniente por el almirante Rowley y fue empleado activamente en diferentes barcos durante los diez años de paz. Cuando la guerra estalló nuevamente, él era un primer lugarteniente de la Reina., que llevó la bandera del contraalmirante Alan Gardner durante los últimos días de mayo y el 1 de junio de 1794. La batalla del Glorioso Primero de Junio le ganó a Ballard su rango de comandante el 5 de julio de 1794, y el 1 de agosto de 1795 avanzó aún más. al rango de post-capitán .
A principios de 1795 fue nombrado miembro de la fragata HMS Pearl , y durante los dos años siguientes se empleó continuamente en el transporte del comercio para el Báltico o para Terranova y Quebec . En marzo de 1798 acompañó al comodoro William Cornwallis a la costa de África y a Barbados , de cuya estación regresó en junio del año siguiente. En octubre llevó al General Fox a Menorca , y permaneció adscrito a la flota mediterránea durante los dos años siguientes. La Perla fue liquidada el 14 de marzo de 1802, después de una comisión de más de seis años, durante los cuales tomó, destruyó o recapturó alrededor de ochenta barcos, corsarios y mercantes y sirvió en elAsedio de Porto Ferrajo . Ballard pasó luego siete años con el mando poco atractivo de un distrito de Sea Fencibles hasta octubre de 1809 cuando fue designado al Cetro , de 74 cañones, y poco después navegó hacia las Indias Occidentales. Fue aquí donde hizo volar un amplio banderín de comodoro , y el 18 de diciembre de 1809 comandó el escuadrón que capturó las dos fragatas francesas fuertemente armadas Loire y Seine , y destruyó las baterías protectoras en Anse-la-Barque de Guadalupe. En la reducción de Guadalupe en enero y febrero de 1810 escoltó una división del ejército y comandó la brigada naval, que, sin embargo, no participó. ComodoroBallard regresó a Inglaterra con el Cetro en el mes de septiembre siguiente y estuvo durante los dos años siguientes atado a la flota en el Canal y el Golfo de Vizcaya , pero sin participar en ninguna operación activa. Su servicio en el mar se cerró con la liquidación del Cetro en enero de 1813, aunque en el curso de la antigüedad alcanzó el grado de Contralmirante el 4 de junio de 1814 y de Vicealmirante el 27 de mayo de 1825.