Prvním Rožmberkem, který vstoupil do Žižkova života, byl Jindřich III. z Rožmberka, jenž patřil k nejmocnějším lídrům opozice proti slabému králi Václavovi IV. Podle některých historiků Žižka vstoupil do jeho služeb, doloženo je však, že v roce 1408 mu vyhlásil nepřátelství a se skupinou podobných dobrodruhů proti němu v jižních Čechách bojoval.
Zachovala se Oldřichova korespondence, a to i s jeho dcerou Perchtou. Ta se nešťastně provdala za Jana z Lichtenštejna a právě ona má být legendární Bílou paní.