แม้ว่าชื่อของ “วัดคลังทอง” จะขึ้นชื่อว่าเป็น สุดยอดแห่งความเป็นมหามงคล แต่คนยังเรียกวัดแห่งนี้ว่า “วัดโกโรโกโส” ซึ่งฟังดูแล้วจะไม่เป็นมงคล ทั้งนี้ พจนานุกรม ราชบัณฑิตยสถาน ได้ให้ความหมายว่า “โกรงเกรง, ไม่มั่นคง, เช่น กระท่อมโกโรโกโส; ต่ำต้อย เช่น คนโกโรโกโส แต่ชาวบ้านยังเรียกชื่อเดิม
ตามประวัติการสร้างวัดเล่าสืบกันมาว่า มีชาวจีนสองคน คือ “อาโกโร” และ “อาโกโส” (คนจีนแต้จิ๋วจะเรียกพี่สาวหรือน้องสาวของพ่อ เรียกว่า อาโก) ซึ่งเป็นเพื่อนกันได้ร่วมกันสร้างวัดขึ้นโดยมิได้ตั้งชื่อเสียงเรียงนาม ชาวบ้านที่รู้ว่าท่านทั้งสองสร้างวัดจึงพากันเรียกว่า “วัดอาโกโรอาโกโส” ต่อมาทางการขนานนามให้ว่า “วัดคลังทอง” แต่ชาวบ้านก็ยังนิยมเรียกกันต่อมาว่า วัดอาโกโรอาโกโส ครั้นนานวันเข้าก็หายกลายเป็น “วัดโกโรโกโส”
ส่วนอีกตำนานหนึ่ง คือ เมื่อครั้งพม่าล้อมกรุงศรีอยุธยาไว้ พระยาตากเห็นว่าท่าจะไปไม่รอดแล้ว จึงรวบรวมไพร่พลฝ่ากองทัพพม่าออกมา แล้วล่องเรือมาตามลำน้ำทางทิศตะวันออกของกรุงศรีฯ พระยาตากและไพร่พลของท่านมาหยุดแวะพักที่บริเวณหมู่บ้านแห่งหนึ่ง ท่านสังเกตเห็นมีวัดตั้งอยู่ริมคลองจึงหยุดพักที่วัดแห่งนั้น
ขณะนั้น พระยาตากมุ่งมั่นที่จะกอบกู้บ้านเมืองที่กำลังจะล่มสลายให้กลับคืนมาจงได้ ท่านจึงขึ้นไปยังวัดนั้น แล้วเข้าไปกราบขอพรจากพระพุทธรูปในพระวิหาร ขอให้กอบกู้บ้านเมืองได้สำเร็จ
ชาวบ้านในละแวกนั้น เมื่อทราบว่ามีทหารมาแวะพักจึงเข้ามาถามไถ่ เมื่อทราบความว่า พระยาตากจะรวบรวมไพร่พลเพื่อกอบกู้บ้านเมืองที่น่าจะล่มสลายในเร็ววันแล้ว ชาวบ้านก็นำเสบียงอาหารมาให้ทหารของพระยาตาก เสบียงนั้นก็เป็นพวกข้าวเม่า ที่สามารถนำติดตัวไปไหนต่อไหนได้นาน ส่วนชาวบ้านอีกกลุ่มที่อยู่ฝั่งตรงกันข้ามกับวัด ก็มาช่วยกันทำอาวุธ ช่วยกันนำไม้มาเหลาเป็นลูกธนู ไว้ต่อสู้กับข้าศึก
เมื่อได้เสบียงและอาหารพอที่จะเดินทางต่อไปแล้ว พระยาตากก็นำไพร่พลออกเดินทางต่อไป หลังจากนั้นพม่าเริ่มรู้แล้วว่าที่นี่มีการซ่องสุมกำลังกัน จึงนำทหารพม่าเข้ามาทำลายหมู่บ้านแห่งนี้ ไม่เว้นกระทั่งวัดวาอาราม แล้ววัดคลังทอง รวมทั้งหลวงพ่อดำของชาวบ้านก็ถูกทำลาย และก็ถูกปล่อยรกร้างมาตั้งแต่บัดนั้น
เวลาผ่านไปไม่นาน พระยาตากซึ่งเมื่อนั้นได้ขึ้นเป็นพระเจ้าตากสิน ได้กอบกู้เอกราชสำเร็จตามที่ขอพรไว้กับหลวงพ่อดำ แห่งวัดคลังทอง ท่านก็ไม่ลืมในน้ำใจของชาวบ้านที่เคยช่วยกองทัพของท่านไว้ พระเจ้าตากสินจึงตั้งชื่อหมู่บ้านที่ชาวบ้านนำเสบียงอาหารมาให้ว่า หมู่บ้านข้าวเม่า และหมู่บ้านที่อยู่อีกฝั่งหนึ่งของคลองได้ชื่อว่า หมู่บ้านธนู ตามที่ชาวบ้านมาช่วยเหลาธนูให้ท่าน และชื่อหมู่บ้านก็อยู่สืบต่อมาจนปัจจุบัน