Ulrico era hijo del conde Enrique de Pfannberg y su esposa Agnes de Plain. Fue mencionado por primera vez por su nombre en 1278, junto con su hermano mayor Herman, en un documento archivado en la Abadía de St. Paul en Lavanttal .
Después de la muerte de Herman en 1287, Ulrich heredó sus posesiones, excepto Traberg (Unterdrauburg y Dravograd ), que permaneció en manos de la viuda de Herman, Elisabeth, de soltera condesa de Heunburg, porque Ulrich se encontraba en una situación financiera difícil y no podía permitirse pagarle un pensión.
Ulrico se casó en 1287 o principios de 1288 con Margarita de Heunburg. El domingo anterior al Día de la Ascensión, confirmó en Bleiburg que su suegro, el conde Ulrico II de Heunburg, había pagado la dote de Margaret de 1000 marcos de plata y que él y Margaret renunciarían a cualquier reclamo sobre la herencia de sus suegros. Una consecuencia de este matrimonio fue que cuando la familia Heunburg se extinguió en la línea masculina en 1322, una parte significativa de sus posesiones fueron heredadas por la Casa de Pfannberg.
El abuelo de Ulrico había sido un hombre enérgico, que había alcanzado el rango de conde para su familia, y su padre, Enrique, había sido un famoso caballero con dotes de líder. Por el contrario, los cronistas apenas mencionan a Ulrico IV. Ottokar aus der Gaal menciona en su crónica en rima de Estiria que Ulrico IV participó en la rebelión contra el duque Alberto de Austria a fines de 1291 y principios de 1292 y había sido miembro de la delegación enviada al arzobispo Conrado de Salzburgo.para persuadirlo de unirse a la rebelión. No parece haberse distinguido por su valentía y, a diferencia de sus antepasados, que a menudo habían estado en guerra con el clero, Ulrico IV fue muy generoso con la iglesia y los monasterios, lo que evidentemente agravó sus dificultades financieras y lo llevó a hipotecar casi todas sus posesiones.
Ulrico IV probablemente acompañó al duque Alberto en su desafortunada campaña en Hungría en 1291. Ese mismo año estalló una rebelión en Estiria , porque el duque Alberto se negó a confirmar los privilegios de los Estados. Su suegro fue probablemente el impulsor de esta negativa, ya que el propio Alberto no jugó un papel importante en este conflicto. La rebelión colapsó en marzo de 1292, después de que Alberto capturara a Bruck an der Mur y tomara prisionero al líder rebelde Federico de Stubenberg . Ulrico IV no participó en la rebelión contra el duque Meinhard II de Carintia a finales de 1292 y principios de 1293.
El 30 de mayo de 1292 en Greiffen, su suegro, el conde Ulrich II de Heunberg, vendió una mansión llamada Rain en Rakkonik (probablemente era la mansión ahora conocida como Rainhof en Raggane, al noreste de Sankt Paul im Lavanttal ). al abad Conrad de la abadía de St. Paul y le prometió que suplicaría a Ulrich IV que permitiera esta venta, ya que Ulrich IV todavía era señor feudal de esta y muchas otras posesiones al este del río Lavant , por ejemplo, la mansión de Puhelarn en Unterpichling (que fue posteriormente adquirida por St. Paul's Abbey) y Dachberg, Mühldorf, Lindhof, Götzendorf y Hundsdorf, así como los castillos de Rabenstein , Loschental y Lavamünd.