Nacido en el condado de Lewis, Missouri , Lay se mudó con sus padres al condado de Benton en 1842. Asistió a escuelas privadas y se graduó de Bethany College, Virginia (ahora en West Virginia), en 1856. Estudió derecho. Fue admitido en el colegio de abogados en 1857 y comenzó a ejercer en Jefferson City, Missouri . Fue nombrado fiscal de distrito de los Estados Unidos para el distrito occidental de Missouri por el presidente Buchanan y sirvió hasta su renuncia en 1861. Se alistó como soldado raso en la Guardia Estatal de Missouri y posteriormente fue ascendido al rango de mayor. Regresó a Missouri cuando el comando se disolvió. Se desempeñó como capitán de artillería del Ejército de los Estados Confederados . Reanudó la práctica de la abogacía en Jefferson City, Missouri. Se desempeñó como miembro de la convención constitucional estatal en 1875.
Lay fue elegido demócrata para el cuadragésimo sexto Congreso y sirvió desde el 4 de marzo de 1879 hasta su muerte en Washington, DC , el 8 de diciembre de 1879. Fue enterrado en Woodlawn Cemetery, Jefferson City, Missouri .