เกาะหนูเกาะแมว เป็นอีกสัญลักษณ์หนึ่งของแหลมสมิหลา ที่มีเรื่องเล่าต่อกันมาว่า มีพ่อค้าชาวจีนผู้หนึ่งคุมเรือสำเภาเดินทางมาค้าขายระหว่างจีนกับสงขลาเป็นประจำ วันหนึ่งพ่อค้าผู้นี้ได้ซื้อหมากับแมวลงเรือไปเมืองจีนด้วย หมากับแมวอยู่บนเรือนาน ๆ เกิดความเบื่อหน่าย จึงปรึกษาหาวิธีการที่จะกลับบ้าน หมากับแมวได้ทราบว่าพ่อค้ามีดวงแก้ววิเศษที่ทำให้ไม่จมน้ำ แมวจึงคิดอุบายโดยให้หนูไปขโมยแก้ววิเศษของพ่อค้ามา และหนูขอหนีขึ้นฝั่งไปด้วย ทั้งสามว่ายน้ำหนีลงจากเรือโดยที่หนูอมดวงแก้วเอาไว้ในปาก ขณะนั้นหนูนึกขึ้นได้ว่าถ้าถึงฝั่ง หมากับแมวคงจะแย่งเอาดวงแก้วไปจึงคิดที่จะหนี ฝ่ายแมวซึ่งว่ายตามหลังมาก็คิดเช่นกัน จึงว่ายน้ำรี่ไปหาหนู หนูตกใจว่ายน้ำหนีไม่ทันระวังตัว ดวงแก้ววิเศษที่อมไว้จึงตกลงจมหายไปในน้ำ หนูและแมวต่างก็หมดแรงจมน้ำตายกลายเป็น "เกาะหนูเกาะแมว" อยู่ที่อ่าวหน้าเมือง ส่วนหมาตะเกียกตะกายว่ายน้ำไปจนถึงฝั่งและสิ้นใจตายด้วยความเหน็ดเหนื่อย และกลายเป็นหินบริเวณ "เขาตังกวน" อยู่ริมอ่าวสงขลา ดวงแก้ววิเศษที่หล่นจากปากหนูแตกละเอียดกลายเป็น "หาดทรายแก้ว" อยู่ทางด้านเหนือของแหลมสน การเดินทาง จากอำเภอหาดใหญ่สามารถใช้บริการรถประจำทางสายหาดใหญ่-สงขลา แต่หากอยู่ในอำเภอเมืองก็มีรถสองแถวบริการไปชายหาด