Historie Portmonea začíná v roce 1920, kdy Josef Portman zve do Litomyšle svého přítele, malíře, grafika a spisovatele Josefa Váchala a žádá ho o vyzdobení stropů a stěn dvou místností svého domu.
Díky malbám Josefa Váchala bylo Portmoneum prohlášeno za kulturní památku, ale na konci 70. let vyhořelo a nikdo nebyl schopný malby opravit.
Až v roce 1991 koupil dům Ladislav Horáček, zakladatel nakladatelství Paseka, a restaurátoři vyvinuli speciální technologii transferu olejových maleb. V roce 2015 Ladislav Horáček zemřel a osud Portmonea byl opět nejistý.
Tehdy koupil památku Pardubický kraj a na začátku roku 2019 začal připravovat celkovou rekonstrukci. Budova byla ve špatném stavebně technickém stavu, chyběly základy, praskaly zdi, staticky nevyhovovala podlaha podkroví a trámy napadli dřevokazní škůdci.
V rámci rekonstrukce proběhla celá řada prací – doplnění chybějících základů, stažení domu ocelovými lany proti rozjíždění na nestabilním podloží, sanace dřevěných prvků, statické zpevnění podlahy podkroví, odvlhčení a izolace obvodových zdí, oprava fasády, sklepa i střechy.
Zčásti nové jsou i rozvody. V interiéru je klimatizace, ventilace a soustava dataprojektorů pro videomapping.
Váchalovy nástěnné malby a nábytek byly konzervovány, vyčištěny a fixovány. Přibyla možnost projít si expozici s audioprůvodcem a vznikl nový ateliér, kde se pořádají dílny pro veřejnost. Obnovy se dočkala také zahrada.
Expozice je věnovaná malíři, grafikovi a autorovi osobitých knih Josefu Váchalovi (1884–1969), majiteli domu, sběrateli umění a tiskaři Josefu Portmanovi (1893–1968) a majiteli nakladatelství Paseka, mecenáši muzea Ladislavu Horáčkovi (1947–2015), který se zasloužil o záchranu Váchalových maleb z let 1920–1924.
Nezůstalo jen u maleb, Váchal vyřezal a omaloval Portmanovi i nábytek. Portmoneum ovlivnilo také historii Litomyšle, díky němu zde vznikla restaurátorská škola. V podkroví domu se promítá videomapping Josef Váchal – Kumštýř boha i ďábla a dokumentární film Portmoneum – Příběh neobyčejného domu.
Zdařilé rekonstrukce jsou k vidění na putovní výstavě Má vlast cestami proměn.