宝亀元年（７７０）、大伴孔子古（おおとものくじこ）という漁夫が山中で不思議な光に霊感を得て、造仏のため小堂を建てたところ、一人の童子が現われてその念願をきき、７日間その堂に籠って仏像を作り立ち去った。

そこには目も眩ゆい金色の千手観世音の像がこのされていたので、大伴は大いに喜び、以後一切の殺生を行なわず、同じ童子に娘の生命を救われた河内国の佐太夫とともにこの粉河寺を建立し供養した。