Mit der Gründung des Museums 1754 als "Kunst- und Naturalienkabinett" war auch die Einrichtung einer "Bibliothec" vorgesehen. Der Bestand setzte sich vorerst zusammen aus Überweisungen der Wolfenbütteler Bibliothek, vor allem aus Dubletten der Blankenburger Büchersammlung von Herzog Ludwig Rudolph (1671-1735), wurde dann aber durch gezielte Neukäufe kontinuierlich erweitert. 1764 sind 324 Bände in der Bibliothek nachgewiesen. Mit der Ausgliederung der naturhistorischen Sammlung aus dem Museum und der damit verbundenen Gründung des Naturhistorischen Museums im Jahre 1857, wurden auch die naturkundlichen Bücher der Bibliothek ausgegliedert. Diese befinden sich heute zum Großteil in der Universitätsbibliothek der Technischen Universität Braunschweig und können auch dort eingesehen werden. Ab diesem Zeitpunkt hat sich die Bibliothek als reine Kunstbibliothek weiterentwickelt und zählt heute zu einer der größten kunstwissenschaftlichen Spezialbibliotheken in Niedersachsen.
Niedersachsen Portal