ในอดีตที่นานมาแล้วเคย มีตำนานเล่าถึงเขาเก้าเส้ง หรือที่เรียกกันในภาษาพื้นเมืองว่า“หัวนายแรง” ครั้งนั้นทางเมืองนครศรีธรรมราชกำหนดบรรจุพระบรมสารีริกธาตุในเจดีย์ และจัดงานเฉลิมฉลองใหญ่โต บรรดา 12 หัวเมืองปักษ์ใต้ต่างนำเงินทองไปบรรจุในพระบรมธาตุ เมืองที่นายแรงเป็นเจ้าเมือง ก็เป็นเมืองขึ้นของนครศรีธรรมราชด้วย ประกอบกับนายแรงมีศรัทธาในพระพุทธศาสนาจึงขนเงินทองเป็นจำนวนมากถึงเก้าแสนบรรทุกเรือสำเภาพร้อมด้วยไพร่พลออกเดินทางไปเมืองนครศรีธรรมราช ภูมิทัศน์ของเขาเก้าเส้ง หรือ หัวนายแรง เป็นเขาหินมีต้นไม้เล็กน้อยก็แตกต่างจากภูเขาริมทะเลอื่นๆ ของสงขลา มีพื้นที่ติดกับทะเลอ่าวไทย โดยมีก้อนหินใหญ่ที่ตั้งเด่นอยู่ ที่ปลายสุดเป็นลักษณะสำคัญ