Nacido en Mount Pleasant, Ohio , Kinsey asistió a Hopedale Academy , Harrison County, Ohio y Monmouth College , Illinois. Se convirtió en residente del condado de Muscatine, Iowa , en 1863. Estudió derecho en la Facultad de Derecho de la Universidad de Iowa en Iowa City en 1871. Fue admitido en el colegio de abogados en 1872 y comenzó a ejercer en el condado de Muscatine, Iowa , el mismo año. . Se mudó a St. Louis, Missouri, en 1875 y se dedicó a la práctica de la abogacía.
Kinsey fue elegido republicano en el 51º Congreso (4 de marzo de 1889 - 3 de marzo de 1891). Fue un candidato fracasado a la reelección en 1890 al 52º Congreso. Reanudó la práctica de la abogacía en St. Louis, Missouri . Se desempeñó como juez del tribunal de circuito de la ciudad de St. Louis en 1904-1917. Durante la Primera Guerra Mundial, fue presidente de la junta examinadora de reclutamiento en Carondelet. Reanudó el ejercicio de su profesión. [ cuando? ] Murió en St. Louis, Missouri, el 20 de junio de 1931. Fue enterrado en Sunset Hill Burial Park, condado de St. Louis, Missouri.