Nejdříve byl pod hradem zmiňovaném již ve 13. století jen rybník a úbočím vedla cesta k hospodářskému dvoru. Na počátku 18. století však vybudoval hrabě František Stockhammer na přilehlých svazích základ jedinečné vrchnostenské zahrady. S vodními prvky, kamennými cestami, různými zastaveními, sochami a drobnými stavbami. Rozdíl mezi koncem zahrady v údolí Nedvědičky a hradem je osm desítek výškových metrů.
Pernštejnské svahy patřily dlouho mezi nejvýznamnější zahrady na Moravě. Vlivem minimální údržby však postupně ztrácely svou tvář.
