Atkins nació en Ross en Herefordshire . Hasta los diecinueve años fue católico, después protestante, pero no se sabe por cuánto tiempo. Hacia el solsticio de verano de 1581 estaba en Roma armado con su nuevo testamento. Por su lenguaje hacia ellos sobre el 'desorden de sus vidas' y sus denuncias contra la iglesia, fue encarcelado por un corto tiempo por la Inquisición . Tras su liberación procedió a una serie de actos que finalmente lo llevaron a la tortura y la hoguera.
Fue acusado de exclamar contra el cristianismo (occidental) tal como era entonces y en particular también contra el Papa en lugares públicos de recreo, y con un acto de sacrilegio al intentar arrojar el sacramento mientras un sacerdote lo llevaba por las calles. Se decía que pocos días después, había ido de nuevo a la basílica de San Pedro , mientras diversos señores y otros oían misa, se adelantó al altar 'y arrojó el cáliz con el vino', y se esforzó por sacar el hostia de la mano del sacerdote antes de su consagración . Siendo encarcelado por segunda vez y examinado, su respuesta fue 'que vino a propósito para reprender la maldad del Papa y su idolatría ..' Después de muchas exhortaciones de sus compatriotas para que se retractara, pero en vano, fue llevado a la hoguera con muchas torturas y quemado ante San Pedro, el 2 de agosto de 1581.