ตำนาน วัดเขาบันไดอิฐวัดเขาบันไดอิฐ แต่เดิมเคยเป็นสำนักสงฆ์เก่าแก่มาตั้งแต่สมัยสุโขทัย มามีฐานะเป็นวัดในสมัยกรุงศรีอยุธยา อยู่ใน ต.ไร่ส้ม อ.เมือง จ.เพชรบุรี บนเขาบันไดอิฐแห่งนี้มีถ้ำอยู่มากมาย
มีหลักฐานว่าในแผ่นดินพระบรมราชาที่ ๒ พระเชษฐาธิราช พ.ศ.๒๑๗๑ "พระศรีศิลป์" ซึ่งเป็นเชื้อสายพระเจ้าทรงธรรม ได้ถูกจับกุมและถูกเนรเทศจากอยุธยามาคุมขังอยู่ที่ถ้ำเขาบันไดอิฐแห่งนี้
เพราะคิดคดซ่องสุมผู้คน คิดแย่งชิงราชสมบัติ แต่แผนการได้รั่วไหลออกมาเสียก่อน
เมื่อ "พระศรีศิลป์" มาถูกจองจำที่นี่ก็ได้มี "หลวงมงคล" ซึ่งเป็นพระญาติทางฝ่ายมารดาของพระศรีศิลป์ คุมบ่าวไพร่ มาทำการขุดเจาะถ้ำ ทางด้านอื่นให้ทะลุติดต่อกันหลายถ้ำจนถึงถ้ำใหญ่
ที่คุมขังพระศรีศิลป์ ซึ่งมีแผ่นกระดานตีปิดปากถ้ำ และมีทหารเฝ้ายามคอยส่งอาหารและน้ำ ใส่ตะกร้าหย่อนลงไปให้
ปรากฏว่าอาหารและน้ำไม่มีใครแตะต้องคงอยู่ตามเดิม ตะโกนเรียกก็ไม่มี
เสียงขานรับ ก็คิดว่าพระศรีศิลป์สิ้นพระชนม์ไปแล้ว จึงรายงานให้ทางกรุงศรีอยุธยาทราบและมีคำสั่งให้ถมดินปิดปากถ้ำเสีย"พระศรีศิลป์" เมื่อลอบออกจากถ้ำมาได้ ก็หลบซ่อนตัว ซ่องสุมผู้คน และทหารทำการขบถต่อแผ่นดิน ตั้งตัวเป็นใหญ่อยู่ที่เพชรบุรี แต่ต่อมาได้ถูกจับตัวส่งกลับไปกรุงศรีอยุธยาและถูกสำเร็จโทษตามประวัติ ศาสตร์กล่าวว่า "พระอาจารย์แสง" เป็นพระอาจารย์ของ "พระเจ้าเสือ" สอนทางเวทย์มนต์คาถา และเหตุที่พระอาจารย์ธุดงค์มาอยู่ที่วัดเขาบันไดอิฐก็เพราะน้อยใจที่กล่าว ตักเตือน
พระเจ้าเสือไม่ให้ประพฤติในทางโหดร้ายต่อสตรีไม่ได้
พระอาจารย์แสงเห็นว่าพฤติกรรมเช่นนี้ กษัตริย์ไม่ควรทำ เพราะจะทำให้ความขลังของวิชาที่เรียนมาเสื่อมลงด้วย"พระเจ้าเสือ" พระองค์นี้มีนิสัยดุดัน ชอบหมกมุ่นในกามราคะ ชอบฆ่าสัตว์ แต่ทรงพระปรีชาสามารถในทางไสยศาสตร์ เวทย์มนต์คาถา ไพร่ฟ้าประชาชนเกรงกลัวมาก จึงขนานนามพระองค์ว่า
"พระเจ้าเสือ" (ขุนหลวงสรศักดิ์) มีบันทึกอยู่ในพงศาวดารความว่า
"พอพระทัยเสวยน้ำ จัณฑ์ และเสพสังวาสด้วยดรุณีอิตถี อายุ ๑๑-๑๒ ปี ถ้าสตรีใดโยกโคลงไปทรงพระโกรธ ลงพระอาญาถองยอดอกตายคาที่ ถ้าสตรีได้ไม่ดิ้นเสือกโคลงนิ่งอยู่ชอบอัชฌาลัย
พระราชทานบำเหน็จรางวัล ประการหนึ่ง ถ้าเสด็จไปประพาสมัชฉาชาติฉนากฉลามทางชลมารค ทรงทะเลเกาะสีชัง เขาสามมุข และประเทศใดย่อมเสวยน้ำจัณฑ์ไปพลาง ถ้าหมู่พระสนมนิกรนางไน
และมหาดเล็กชาวที่ทำให้เรือพระที่นั่งโคลงไหวไปมิได้ มีวิจารณปราศจากพระกรุณาญาณ ลุอำนาจแก่พระโทโส ดำรัสสั่งให้เอาผู้นั้นเกี่ยวเบ็ดท้างไปในทะเล ให้ปลาฉลากฉลามกินเป็นอาหาร
ประการหนึ่งปราศจากเบญจางคิกศีลมักพอพระทัย ทำอนาจารเสพสังวาสกับภรรยาขุนนาง แต่นั้นมาปรากฏเรียกว่า "พระเจ้าเสือ"
ครั้ง ที่พระเจ้าเสือเสด็จมาเยือนเมืองเพชร พระองค์โปรทราบเบ็ดโดยเรือพระที่นั่งพายในท้องที่ ต.บางตะบูน อ.บ้านแหลม กรรมการเมืองเพชรสมัยนั้นได้จัดสร้างพลับพลารับเสด็จไว้ที่บ้านคุ้งตำหนัก
และตามตำนานยังมีเรื่องเล่าต่อๆกันมาว่า พระเจ้าเสือได้ประกาศเป็นกฎหมายไม่ให้ราษฎรจับปลาที่พระองค์ทรงโปรด ปลาที่พระองค์ทรงโปรดมากคือปลาตะเพียน และปลาหมอ
นอกจากพระเจ้าเสือ จะเสด็จมาเมืองเพชร เพื่อตกปลาและคล้องช้างแล้ว พระองค์ยังมีพระประสงค์เพื่อขอร้องให้พระอาจาร์แสงกลับไปกรุงศรีอยุธยาด้วย แต่ก็ไม่สำเร็จ อาจารย์แสงไม่ยอมกลับ
พระองค์จงจนพระทัยยอมพระอาจารย์ แต่ก็โปรดฯให้บูรณะซ่อมแซมวัดเขาบันไดอิฐขึ้นใหม่ให้สวยงามหลายอย่าง วัดจึงเจริญรุ่งเรือง
และในสมัยโบราณก็ถือเป็นประเพณีและวัฒนธรรมที่ วัดจะต้องมีเกจิอาจารย์หรือพระสงฆ์ที่เชี่ยวชาญทางด้านอาคม รวมถึงเก่งทางวิปัสสนาหรือทางใน ซึ่งจะต้องมีการถ่ายทอดให้แก่ศิษย์ใกล้ชิด
เหมือนที่วัดเขาบันไดอิฐ เพราะปรากฏยืนยันเป็นหลักฐานได้ว่าวัดเขาบันไดอิฐยังมีพระอาจารย์ชื่อว่า "เหลือ" เป็นพระมีเวทย์มนต์ขลังมาก ผู้คนนับถือเยอะ เล่ากันว่าในสมัยต้นกรุงรัตนโกสินทร์
เมื่อทหารเมืองเพชรจะออกรบจะต้องมาขอผ้ายันต์และตะกรุดโทน หรือไม่ก็สักยันต์ลงกระหม่อม รดน้ำมนต์เพื่อเพิ่มความขลังให้รอดปลอดภัยกลับมา
วัดเขา บันไดอิฐยังมีประวัติและเรื่องราวอีกว่า
ในสมัยกรุงศรีอยุธยาตอนปลายระหว่าง พ.ศ.๒๒๔๐-๒๒๔๙ รัชกาลของพระพุทธเจ้าเสือ มีพระภิกษุรูปหนึ่งนามว่า "พระอาจารย์แสง" เคยบวชอยู่ที่
วัดมเหยงค์ กรุงศรีอยุธยา เป็นพระภิกษุที่มีเวทย์มนต์ขลัง เชี่ยวชาญทั้งในพุทธศาสตร์และไสยศาสตร์ การวิปัสสนากัมมัฏฐาน ซึ่งได้ธุดงค์มาพักที่วัดเขาบันไดอิฐ จ.เพชรบุรี "พระอาจารย์แสง"
จำพรรษาอยู่ ณ ที่แห่งนี้จนมรณภาพ เพราะเห็นว่าเป็นสถานที่ซึ่งสงบ วิเวก เหมาะแก่การปฏิบัติธรรม (ในสมัยรัตนโกสินทร์ สุนทรภู่ก็เคยมาเยือนที่วัดเขาบันไดอิฐ และได้ร้อยกรองถึงสถานที่นี้ไว้ใน
"นิราศเมืองเพชร")