Das klassizistische Haus wurde in den Jahren 1779 bis 1782 vom letzten Fürsterzbischof Hieronymus Colloredo als sogenanntes Verweserhaus errichtet, wie sein Wappen an der Frontseite noch heute zeigt. Im Erdgeschoß des Hauses waren die Goldmühlen untergebracht, in denen aus dem Erzschlich das Gold und Silber herausgearbeitet wurde. Im Obergeschoß waren Wohnungs- und Büroräume für den Verweser (= Verwalter) des Goldbergbaues.
Später wurde das Haus von Ing. Karl Imhof, dem Bauführer des Tauerntunnels und Gründer der “Zweiten Gewerkschaft Radhausberg” bewohnt und erhielt auch den Namen Imhof-Stöckl.
Ende der 1970iger Jahre wurde das Haus so wie das ganze Ensemble der Montansiedlung Altböckstein unter Denkmalschutz gestellt und diente Wohnzwecken.
Seit 2021 wurde das Colloredohaus nach denkmalschützerischen Kriterien grundsaniert und für Urlaubsgäste bereit gemacht.