Крилото има 40 мача за националния тим, в които е вкарал 5 гола, след които и изравнителното попадение за 2:2 във финала на Евро'76 срещу Чехословакия - мач, който Германия загуби след изпълнение на дузпи.
Две години по-рано Холценбайн спечели дузпи след сблъсък с нидерландеца Вим Янсен, от която Паул Брайтнер изравни за 1:1, преди Герд Мюлер да вкара победното попадение. Дузпата винаги е предизвиквала спорове, но Холенбайн е настоявал, че е имало контакт и не е плонжирал в наказателното поле.
Футболистът е прекарал по-голяма част от кариерата си в Айнтрахт Франкфурт, с който печели Купата на УЕФА през 1980, както и три Купи на Германия, като държи рекорда в клуба с вкарани 160 гола.
Той напуска, за да играе в САЩ през 1981, където преминава във Форт Родърдейл Страйкърс и Мемфис Американс, преди да се върне във Франкфурт и за работи в ръководството на клуба.