光仁天皇の宝亀元年（７７０）に、唐から渡来した為光（いこう）上人が本山の灯明松において千手観音の像を感得し、歓喜して、和歌の浦の絶景にのぞむこの地に本堂を建立した。

本尊は為光上人作の十一面観世音で、霊像を胎内に納めて奉安されている。

楊柳水（ようりゅうすい）、清淨水（しょうじょうすい）、吉祥水（きっしょうすい）という３つの井戸があるために三井寺と言われ、後白川^[1]法皇の勅願所として伝へられ、江州の三井寺に対して紀三井寺と呼ばれている。