Colmer nació en Moss Point, Mississippi y asistió a Millsaps College . Sirvió en el ejército durante la Primera Guerra Mundial .
En 1932, Colmer fue elegido miembro de la Cámara de Representantes como demócrata del sexto distrito de Mississippi, ubicado en la costa del Golfo. Fue reelegido 19 veces. Su distrito fue renumerado como el quinto después del censo de 1960, cuando la proporción decreciente de la población estadounidense de Mississippi debido a la Gran Migración le costó un escaño en el Congreso.
Elegido originalmente como un partidario del presidente Franklin D. Roosevelt 's New Deal , Colmenarejo hizo cada vez más conservadora con el paso de los años. Se desilusionó cuando el Partido Demócrata nacional comenzó a apoyar al Movimiento de Derechos Civiles . Después de la decisión Brown v. Board of Education (1954) de la Corte Suprema de los Estados Unidos , que dictaminó que la segregación en las escuelas públicas era inconstitucional, Colmer ayudó a que los congresistas demócratas del sur firmaran el " Manifiesto del Sur " declarando su resistencia.
Colmer respaldó la lista de electores no comprometidos en 1960, los candidatos presidenciales del Partido Republicano Barry Goldwater en 1964 y Richard Nixon en 1972. Debido a su antigüedad, ascendió al puesto de presidente del Comité de Reglas , sirviendo de 1967 a 1973.
Colmer no se postuló para la reelección en 1972. Respaldó a su asistente administrativo, Trent Lott , como su sucesor, aunque Lott se postuló como republicano. Colmer sirvió más tiempo en la Cámara de Representantes de los EE. UU. Que nadie en la historia de Mississippi, excepto Jamie Whitten , quien sirvió 54 años en el Congreso desde 1941 hasta 1995. (El compañero de Mississippian John Stennis sirvió durante 41 años en el Senado de los EE. UU. Desde finales de 1947 hasta principios de 1989. )