Buitenzorg Palace dibangun pertama kali pada masa Gubernur Van Imhoff sebagai tempat peristirahatan. Van Imhoff seakan ingin membuat replika Istana Blenheim di Pulau Jawa. Buitenzorg yang berarti “Bebas Masalah dan Kesulitan” menjadi pondasi awal bagaimana Kota Bogor dipilih sebagai tempat peristirahatan dan kediaman Gubernur Jendral Belanda. Karena dengan tempat yang teduh dan tenteram, pemimpin bisa memutuskan keputusan terbaiknya.

Buitenzorg Palace sudah mengalami banyak sekali renovasi. Renovasi besar-besaran terjadi pada tahun 1750an karena penyerangan Ki Tapa, dan 1860an karena gempa bumi dahsyat. Replika Buitenzorg Palace tahun 1844 ini merupakan bentuk desain awal Istana Bogor yang awalnya bertingkat dua. Namun karena gempa bumi dahsyat tahun 1834, gubernur pada masa itu memerintahkan untuk merenovasi Buitenzorg Palace menjadi 1 tingkat demi keselamatan para pekerja dalam istana.