สำหรับความลึกลับเกี่ยวกับวัดเก่าแก่แห่งนี้ ก็มีเรื่องราวเกี่ยวกับตำนานเล่าขานถึงสิ่งลี้ลับมากมาย ไม่ว่าจะเป็น ผีที่คณะแดง หรือ แม้กระทั่งผีเปรต ที่พระ เณรต่างร่ำลือกันมารุ่นสู่รุ่น เหตุที่เป็นเช่นนี้คงเพราะที่แห่งนี้เป็นวัดเก่าแก่ของเจ้านายผู้มีเชื้อสายและขุนนางผู้ใหญ่มาแต่โบราณ เป็นวัดใหญ่ที่สร้างมานานจึงมีเสนาสนะมีพระอุโบสถ วิหาร เจดีย์ หมู่กุฏิพระ พระตำหนักต่าง ๆ และเรือนไทยอันสวยงามมากมาย ซึ่งเป็นสถาปัตยกรรมยุคเก่า สภาพภายในวัดร่มครึ้มไปด้วยต้นไม้ใหญ่น้อย มองดูร่มเย็น และสงบเงียบด้วยเหตุนี้ จึงอาจเป็นสาเหตุหนึ่งที่ทำให้มีวิญญาณมาอาศัยเยอะ เพราะสถานที่สวยงามและน่าอยู่
พระสุชาติ ชาติสุโภ วัดบวรนิเวศวิหาร เล่าให้คุณสนิท ธนรักษ์ ฟังว่าสำหรับตัวท่านเองเคยได้รับการยืนยันจากน้องสาวว่า เคยเห็น พระวิญญาณของ "สมเด็จกรมหลวงวชิรญาณวงศ์ พระสังฆราชเจ้า" ที่หอสหจรมาแล้ว โดยเล่าให้ฟังว่า
เมื่อประมาณปี ๒๕๑๙ นั้น ท่านพักอยู่ที่คณะหอสหจร ได้มีน้องสาวร่วมบิดา-มารดาเดียวกันมาเยี่ยมที่กุฏิ ก็เลยนั่งสนทนากันอยู่นานถึงเรื่องต่างๆ จนกระทั่งเกือบ ๔ โมงเช้า ก่อนที่น้องสาวจะลากลับ น้องเกิดปวดท้องจึงขออนุญาตเข้าห้องน้ำ ท่านสุชาติบอกกับน้องว่า ห้องน้ำอยู่ชั้นบน ขึ้นไปเถอะ
ครั้นน้องของท่านขึ้นบันไดไปชั้นบนจะเข้าห้องน้ำ ก็สวนทางกับพระภิกษุรูปหนึ่ง ห่มครองจีวรสีกรัก น้องของพระสุชาติรีบนั่งยกมือไหว้ สังเกตุเห็นใบหน้าท่านยิ้มๆ แล้วหลีกทางไปอีกทางหนึ่ง เมื่อเธอเสร็จธุระแล้วก็กลับลงมาข้างล่างและถามพระพี่ชายว่า
"หลวงพี่ข้างบนมีพระผู้ใหญ่แก่ๆ มาพักอยู่ด้วยหรือ ?"
พระสุชาติตอบปฏิเสธว่า ไม่มีใครหรอก น้องก็ยืนยันว่า
"ก็หนูเห็นมากับตานี่นา หนูยังยกมือไหว้ท่านเลย"