Walker nació en Virginia, hijo del Dr. Thomas Walker . Recibió educación privada antes de asistir al College of William and Mary , del cual se graduó en 1764. Fue vecino y compañero de clase en William and Mary de Thomas Jefferson y siguieron siendo amigos cercanos hasta las elecciones de 1804-1805. En 1768 fue elegido miembro de la American Society . [1] En 1772 reemplazó a su padre como representante de la Casa de los Burgueses . Estuvo en el Ejército Continental , sirviendo en 1777 como ayudante de campo del general George Washington , con el rango de coronel. En 1780, fue elegido delegado de laCongreso Continental . Luego estudió derecho. Cuando William Grayson murió en 1790, Walker fue designado al Senado de los Estados Unidos para servir desde el 31 de marzo al 9 de noviembre de ese año, cuando la Asamblea General de Virginia eligió un sucesor .