El clan afirma descender de Abe Hirafu y Abe Nakamaro . [1] Durante el período Kamakura, el clan sirvió como gobernadores presidentes de Ezo . El clan sirvió al clan Tokugawa durante el Período Edo. Su primer jefe de familia registrado, Andō Naotsugu era el hijo mayor de Andō Haruyoshi y nieto de Andō Ieshige, criado de Matsudaira Hirotada (padre de Tokugawa Ieyasu ).
El primer cabeza de familia fue Andō Nobushige, hermano menor de Andō Naotsugu, hijo de Andō Haruyoshi y nieto de Andō Ieshige.