El antepasado de la familia fue Péter (c. 1321 - c. 1347), el segundo hijo de Ders Szerdahelyi. Heredó el monasterio paulino en Szerdahely (hoy Kaposszerdahely ) de su hermano mayor, Miklós (el antepasado de la familia Dersffy). Sin embargo, el propio señorío de Szerdahely permaneció en manos de Miklós.
Tataranieto de Péter, György fue el primer miembro que usó el apellido de "Imreffy" ( hijo de Imre después de su padre). Sus hermanos también tomaron el apellido Imreffy.