仁徳帝（３１３〜３９９）のころ、インドから渡ってきた裸形（らぎょう）上人が那智山に籠り、大滝にうたれて苦行していたとき、御丈８寸（約２５センチ）の黄金仏の観音さまが出現し、此の地に庵室を結んで奉安した。

その後２００年ほどののち、生仏（しょうぶつ）上人が訪れて、霊木で１丈（約３メートル）の如意輪観音像を彫り、滝壷から出現した霊像を体内に納め、これを本尊とし、推古天皇の勅願により本堂が建立された。