Nacido en el condado de Person, Carolina del Norte , Pelham se mudó con sus padres a Alabama en 1838. Allí asistió a las escuelas comunes y luego estudió derecho. En 1858, fue admitido en el colegio de abogados y comenzó a ejercer en Talladega, Alabama . Después del comienzo de la guerra civil estadounidense , Pelham ingresó al Ejército de los Estados Confederados en 1862 y se desempeñó como primer teniente de la Compañía C, Regimiento 51, Infantería de Alabama. Después de la guerra, se desempeñó como juez del décimo circuito judicial de Alabama desde 1868 hasta 1873.
Pelham fue elegido republicano para el cuadragésimo tercer Congreso (4 de marzo de 1873 - 3 de marzo de 1875). Cuando no fue reelegido en 1874, Pelham reanudó la práctica del derecho en Washington, DC . Al final de su vida, fue nombrado empleado del Departamento del Tesoro.
En 1907, se mudó a Poulan, Georgia , donde murió al año siguiente, el 18 de enero de 1908. Fue enterrado en el cementerio presbiteriano.