Návrší jihozápadně od hradu bylo zřejmě již v 15. století chráněné předsunutými hradbami. Jejich součást tvořil dodnes dochovaný objekt opevnění v jižní části zámeckého zahradnictví, takzvané Kuchyňské zahradě.
Právě na území mezi Kuchyňskou zahradou a zástavbou Rybářské ulice vznikla kolem roku 1800 Horská zahrada. Ve strmých svazích nad řekou Vltavou byly zřízeny dřevěné chodníky, odpočívadla a vyhlídkový pavilon. Horská zahrada se využívala k procházkám a skýtala malebné výhledy na řeku a na starobylé město.
Východní bašta opevnění byla v roce 1824 upravena na zahradní besídku s vyhlídkou. Na přání návštěvníků bylo možné zvednout šindelovou stříšku pomocí pákového mechanismu umístěného ve sklepě pod vyhlídkou. Zvednutá střecha připomínala svým tvarem slunečník, vyhlídka proto dostala jméno Paraplíčko.
Po druhé světové válce objekt opevnění postupně chátral. Rovněž Horská zahrada postrádala pravidelnou péči a zarostla náletovými dřevinami. Dlouhodobě neudržovaný svah a skalní výchozy hrozící zřícením představovaly nebezpečí pro domy v Rybářské ulici.
Národní památkový ústav proto připravil v roce 2009 dlouhodobý projekt rekonstrukce Horské zahrady. Bylo třeba stabilizovat skalní svahy, zpustlá zahrádka na baště na pátém zámeckém nádvoří čekala na nové využití. Opevnění s vyhlídkou Paraplíčko bylo vybráno pro zřízení zahradnického muzea.
Vycházka s vyhlídkou
Zrekonstruovaná zahrádka na baště se stala jednou z nejoblíbenějších vyhlídek na historické centrum Českého Krumlova a bude sloužit jako vstupní objekt do obnovované Horské zahrady.
Skalní svahy v Horské zahradě se stabilizovaly a jsou připraveny pro zřízení vycházkové stezky. Opevnění s vyhlídkou Paraplíčko je taktéž po rekonstrukci a v současnosti se zde připravuje expozice zahradnického muzea.
Zdařilé rekonstrukce jsou aktuálně k vidění na putovní výstavě Má vlast cestami proměn.