Da gårdarealet bag Det Gamle Elefantapotek i 1976 stod foran en sanering, kom en lille del af ejendommen i farezonen: Det gamle ishus på hjørnet af Bysøstræde og Bagstræde.
”Bygningen er i en så dårlig forfatning – bl.a. er en stor del af træværket råddent – at den ikke uden urimelige omkostninger kan bevares,” skrev arkitekten i forbindelse saneringen, Jørgen B. Rasmussen, Holte, i et brev til Holbæk Kommunes bygningsinspektorat.
Han forestillede sig det 28 kvadratmeter store ishus erstattet af to parkeringslommer. Det var ikke populært blandt mange holbækkere, der opfattede det som en vigtig del af byens kulturarv.
Det endte med, at Holbæk Kommune i 1978 overtog ishuset vederlagsfrit fra apoteker Kjeld Andersen og sørgede for at sætte i stand.
Ishuset viste sig at være i en dårligere stad end frygtet. Det meste af bindingsværket var råddent og måtte udskiftes.
Bygningen er opført mellem 1857 og 1867, fremgår det af en folder, som Holbæk Kommune udgav efter istandsættelsen. Her beskrives den som et eksempel på den slags huse, hvor man i 1600-og 1700-tallet begyndte at gemme på vinteris. Nogle gange kunne isen på grund af tæt isolering holde sig i op til to-tre år.
I 1991 forærede kommunen Ishuset som en gave til Holbæk Museum.
Under restaureringen af ishuset, måtte trafikanter, der dengang kunne køre fra Bysøstræde ud på Ahlgade, midlertidigt have omkørsel gennem det brostensbelagte Bagstræde.
