Der Kernbau entstand unter dem zweiten Salier Heinrich III. (1016/17 – 1056) in der Zeit zwischen 1039 und 1042. In der zweiten staufischen Blütezeit Goslars hatte Kaiser Friedrich I. Barbarossa noch einmal umfassende Erweiterungs- und Umbauten an dem zweigeschossigen Saalbau wie auch an der dazugehörigen Stiftskirche St. Simon und Judas vorgenommen. Die letzten baulichen und künstlerischen Umgestaltungen erfolgten schließlich in der preußischen Zeit Goslars zwischen 1866 und 1897. In diesem Zuge wurde die frühere, mittlerweile in Verfall geratene mittelalterliche Bausubstanz konserviert und teilweise rekonstruktiv ergänzt. Die Wände des sogenannten Kaisersaals ziert seit seiner malerischen Ausschmückung durch den Düsseldorfer Kunstprofessor Hermann Wislicenus (1825 – 1899) ein historisierendes Bildprogramm zur Geschichte des mittelalterlichen Kaisertums. Seit 1992 gehört die Kaiserpfalz Goslar mit der Altstadt von Goslar und dem Rammelsberg zum UNESCO Weltkulturerbe.