Su abuelo era nativo de Suiza , llegó a Carolina del Sur alrededor de 1720 y fue asesinado durante la Revolución Americana mientras defendía su casa contra un ataque de los tories. El nieto nació en las cercanías de Orangeburg, Carolina del Sur . Se graduó de la Universidad de Yale en 1804, compañero de cuarto y amigo cercano de John Caldwell Calhoun . Después de graduarse, estudió en la Facultad de Derecho de Litchfield y fue admitido en el colegio de abogados en 1808. Fue elegido miembro de la Cámara de Representantes de Carolina del Sur en 1812.
En 1830, fue elegido miembro de la Cámara de Representantes de los Estados Unidos y sirvió en el Congreso durante cuatro años, primero como jacksoniano y desde 1833 como anulador . Después de rechazar la renominación en 1834, regresó a Carolina del Sur , donde los votantes de Orangeburg lo devolvieron a la Cámara de Representantes de Carolina del Sur en 1840. Sirvió allí hasta su muerte el 1 de septiembre de 1851. Felder se retiró de la profesión legal en 1830 , y se convirtió en un próspero propietario de un molino y plantador. Nunca se casó y no tuvo hijos, aunque su hermana Eliza tiene muchos descendientes.