Proto roku 1356 nechal Karel IV. postavit na strmém výběžku Ždánovské hory hrad. Na jeho počest byl pojmenován Karlsberg (Karlova hora). Později bylo jeho jméno zkomoleno na dnešní Kašperk.
Objekt měl pověst nedobytného hradu a obranný systém dřevěných padacích mostů a příkopů byl opravdu důmyslně vymyšlen. Veškerá válečná střetnutí se mu však vyhnula a nikdo se ho nepokusil ani dobýt.
Kašperk byl neustále zastavován různým držitelům. Počátkem 17. století ho koupilo samotné město. Nepodařilo se mu však chátrající hrad uvést do původního stavu. Náklady by byly příliš vysoké a na úplnou rekonstrukci neměla městská pokladna zbytečné peníze a ani zájem. Ve 20. století se hrad dočkal rozsáhlejších oprav. Počátkem 90. let byl konečně zpřístupněn veřejnosti.
Nevelká expozice seznamuje návštěvníky s historií hradu a s těžbou zlata. Daleko zajímavější je však výstup na zpřístupněnou Východní věž s dochovaným středověkým záchodem. Při hezkém počasí z ní můžete obdivovat panorama centrální části Šumavy. Od 1. dubna má být pro veřejnost otevřena i Západní věž s dochovanou vzácnou originální helmicí.
Podle pověsti tu můžete potkat různé čarovné bytosti. Zjevení tajemné ženy Swizy je prý předzvěstí nějaké hrozné nemoci nebo pohromy. Bloudí tu také velký černý pes s ohnivýma očima a bludný rytíř.
Ke zřícenině hradu se nejlépe dostanete po zelené turistické značce přímo z Kašperských Hor. Čeká Vás 3 km náročného, ale romantického stoupání v hlubokých šumavských hvozdech. Otevřeno je v sobotu a v neděli od 10- 17 00 hodin (v pracovní dny skupiny po telefonické domluvě). Za 45 minutovou prohlídku s průvodcem dospělí zaplatí 30. Kč, studenti a důchodci 20. Kč.