天智２年（６２７）天皇の勅願時として建立され、義淵（ぎえん）大僧正の開基とし、稽首薫鋳造の閻浮檀金（えんぶだごん）尺二の如意輪観音の小尊像を奉じた。

のち、弘法大師がこれを胎内に納め、印度、中国、日本三国の土をもって丈六の如意輪観音を造立し開眼した。

農民に災いする大蛇を池に封じ、阿字の大石で蓋をしたという義淵法力の言い伝えをもって竜蓋寺と呼ばれる。

法師道鏡は、孝謙天皇の勅諚により七堂伽藍を完成させた。