“เขาสามมุก” เป็นเนินเขาเตี้ยๆ อยู่กึ่งกลางระหว่างบ้านอ่างศิลาและ หาดบางแสน ขับรถไปตามถนนเลียบริมหาด จากอ่างศิลาเป็นทางลาดขึ้นไปนั่นก็คือบริเวณที่เรียกกันว่า เขาสามมุก และเขาสามมุกเป็นที่อยู่อาศัยของฝูงลิงจำนวนมาก ส่วนศาลเจ้าแม่สามมุกตั้งอยู่บริเวณเชิงเขา และ ที่มุมหนึ่งของศาลเจ้าแม่สามมุก มีผู้เขียนถึงตำนานความรักของท่านไว้ดังนี้

   

       ..."เมื่อปลายรัชสมัยกรุงศรีอยุธยาบริเวณบางแสนและเขาสามมุข ยังไม่มีบ้านเรือนและผู้คนหนาแน่นเหมือนปัจจุบันนี้ ชื่อบางแสนและเขาสามมุขก็ยังไม่ปรากฏ จะมีก็แต่ตำบลอ่างหิน ในปัจจุบันก็คือตำบลอ่างศิลาอันเป็นชุมชนของชาวประมงริมทะเล" ณ. ตำบลอ่างหินนี่เอง (อ่างศิลา) มีเจ้าของชื่อโป๊ะ หรือที่ชาวบ้านรู้จักกันในนามว่า “กำนันบ่าย” มีลูกชายชื่อว่า “แสน” 

       ..."จากตำบลอ่างหินออกไปพอประมาณมียายหลานอาศัยกันอยู่คู่หนึ่ง ยายมีชื่อเสียงเรียงนามใดไม่ได้ปรากฏไว้ ส่วนหลานสาวนั้นมีชื่อว่า “สามมุข” อาศัยอยู่ในเมืองปลาสร้อย (จังหวัดชลบุรีในปัจจุบัน) เมื่อบิดามารดาเสียชีวิตลง ก็ได้มาอาศัยอยู่กับยายจนกระทั่งโต “สามมุข” มักจะชอบมานั่งเล่นดูหนุ่มสาวรวมทั้งเด็กที่มาเล่นว่าวในหน้าลมว่าวอยู่ริมเชิงเขาเป็นประจำ และมีเพื่อนที่คอยหยอกล้อเล่นเป็นประจำก็คือลิงป่าที่ลงมาจาก เขาสามมุก"

   

      ..."อยู่มาวันหนึ่งขณะที่ “สามมุข” กำลังนั่งเล่นอยู่ ก็ได้มีว่าวตัวหนึ่งขาดลอยลงมาตกอยู่ที่หน้าของ “สามมุข” เธอจึงเก็บว่าวตัวนั้นไว้และ มีเด็กหนุ่มชื่อแสนวิ่งตามว่าวที่ขาดลอยมาจึงได้พบกับ “สามมุข” เขาทั้งสองได้รู้จักกันและ แสนก็ได้มอบว่าวตัวนั้นไว้เป็นที่ระลึก หลังจากนั้นทั้งสองก็ได้พบปะกันเรื่อยมาจนเกิดเป็นความรัก และได้สาบานต่อหน้าขุนเขา(เขาสามมุก) ปัจจุบัน แห่งนี้ว่า “ทั้งสองจะครองรักกันชั่วนิรันดร หากใครผิดคำสาบานนี้จะกระโดดหน้าผาแห่งนี้ตายตามกัน” และแสนได้มอบแหวนวงหนึ่งให้แก่ “สามมุข” ไว้เพื่อเป็นพยาน"

   

       ..."เมื่อกำนันบ่ายซึ่งเป็นพ่อของแสน ได้ทราบเรื่องเข้าก็เกิดความไม่พอใจ แสนได้พยายามขอร้องผู้เป็นพ่อให้ไปสู่ขอ “สามมุข” แต่กำนันบ่ายก็กีดกันและ กักบริเวณแสนไว้ จึงทำให้ทั้งสองไม่ได้พบหน้ากัน หลังจากนั้นกำนันบ่ายก็ได้ไปสู่ขอลูกสาวคนทำโป๊ะให้กับแสนและ กำหนดพิธีการแต่งงานขึ้น ข่าวนี้ได้แพร่กระจายไปทั่วอ่างหิน (อ่างศิลา) จน “สามมุข” เองก็ได้รับรู้ถึงข่าวนี้ด้วย ในวันแต่งงานของแสนได้มีการจัดงานกันอย่างใหญ่โต สมเกียรติกับที่เป็นงานของกำนันบ่าย"

   

       ..."ตลอดระยะเวลาที่แขกได้ทยอยเข้ามารดน้ำสังข์อวยพรให้คู่บ่าวสาวทั้งสอง แสนได้แต่ก้มหน้านิ่งเสียใจอยู่กับตัวเองที่ไม่สามารถทำอะไรได้ จนกระทั่งแสนรู้สึกว่ามีน้ำสังข์ลดลงมาพร้อมกับแหวนวงหนึ่งตกลงมาด้วย แสนจำได้ดีว่าแหวนวงนี้เขาเป็นคนมอบให้ “สามมุข” แต่พอเงยหน้าขึ้น “สามมุข” ก็ได้วิ่งจากออกไปแล้ว แสนได้หวนคิดถึงคำสาบานที่ได้ให้กับ “สามมุข” ไว้ จึงรีบวิ่งไปที่เชิงเขาแต่ก็สายไปเสียแล้ว “สามมุข” ได้ขึ้นไปที่หน้าผานั้นแล้วทิ้งร่างที่ไร้หัวใจลงดิ่งสู่ก้นผาสิ้นชีพอยู่ริมทะเล แสนผู้ที่ให้คำสาบานไว้กับ “สามมุข” เขาจึงกระโดดลงหน้าผาตาม “สามมุข” หญิงสาวสุดที่รักไป"

   

       ..."จากเหตุการณ์ที่เกิดขึ้นทำให้ชาวบ้านที่ทราบข่าวพากันเศร้าสลดใจเป็นอย่างมาก จึงพากันสาปแช่งกำนันบ่าย ต่อมากำนันบ่ายได้นำถ้วยชามสิ่งของต่างๆ มาไว้ในถ้ำตรงหน้าผาแห่งนั้นและตั้งชื่อภูเขาลูกนี้ว่า “เขาสามมุข” และชายหาดที่ติดกันว่า “หาดบางแสน” เพื่อเป็นอนุสรณ์รักแด่คนทั้งสองจนถึงปัจจุบัน"

   

       ... ต่อมาชาวบ้านในแถบนั้นเล่าว่า "เมื่อตกดึกได้พบเห็นร่างของหญิงสาวมายืนอยู่ตรงหน้าผานั้น เป็นประจำทุกคืน” ชาวบ้านจึงได้ช่วยกันสร้างศาลนี้ขึ้นเพื่อ เป็นที่สิงสถิตและ เป็นที่เคารพสักการะแก่ชาวบ้านและชาวประมงเมื่อเวลาที่จะ ออกเรือไปหาปลามักจะมีการมาจุดประทัดบนบาน ขอให้ได้ปลากลับมาเต็มลำเรือ อย่าต้องเผชิญกับลมพายุบางครั้งเจอลมพายุกลางทะเลก็จุดธูปบน เจ้าแม่สามมุข ให้รอดปลอดภัยจากอันตรายก็สัมฤทธิ์ผลเรื่อยมา...

   

       จากนั้นเมื่อเรื่องราวความรักอันยิ่งใหญ่ของ เจ้าแม่สามมุข นั้นแพร่กระจายออกไป ก็มักมีคู่รักชายหญิง มาอธิษฐานขอให้ความรักของตนสมหวัง โดยเขียนชื่อตนกับคนรักไว้บนว่าว แล้วแขวนไว้บริเวณศาลโดยเชื่อกันว่า เจ้าแม่สามมุก จะดลบันดาลให้ทุกคู่รักสมหวัง และไม่พลัดพรากจากกันเหมือนดังในตำนาน