香山の庭園の建物は今から約900年前の1186年にて建てられた。元、明、清の時代には皇室が香山に離宮別院を構え、夏と秋には皇帝が狩猟や避暑のために利用した。香山寺はかつて北京西部で最も格式高い寺だった。
