ภูเขาแห่งนี้มีตำนานสืบทอดมา อย่างยาวนาน เพราะได้ถูกใช้เป็นที่พักพิงของเหล่าราชวงศ์เรื่อยมาตั้งแต่ราชวงศ์ จิน หยวน หมิง จนมาถึงราชวงศ์หลังสุดคือราชวงศ์ ชิง โดยในสมัยของ ฮองเต้เฉียนหลงฮ่อง ได้มีการก่อสร้างพระตำหนักเพื่อเป็นสถานที่ชมวิวทิวทัศน์ส่วนตัวขององค์จักรพรรดิ
ส่วน เทศกาลชมใบไม้สีแดงนั้นมีระยะเวลาไม่นานนักในแต่ละปี (2-3 อาทิตย์ เท่านั้น) ขึ้นอยู่กับสภาพอากาศของแต่ละปี จึงทำให้ในแต่ละปีมีนักท่องเที่ยวจำนวนไม่น้อยที่มาเยี่ยมเยือนที่เขาเซียน ซาน แต่พลาดโอกาสที่จะได้รับชมเทศกาลใบไม้แดงอันลือชื่อ ได้ชมเพียงกิ่งไม้แห้งๆที่หลงเหลือหลังจากหมดช่วงผลิใบลงแล้ว