長岡右大臣藤原高麻呂が子孫繁栄の為に弘法大師に請い、本尊不空検索観音を与えられ、その子冬嗣が聖武天皇の勅を拜して、弘仁４年（８１３）本堂を建立した。

伝説によれば、春日明神が老翁の姿となって建立に加わり、「補陀洛（ふだらく）や南の峰に堂建てて今ぞ栄えん北の藤波」と詠んだので堂名を南円堂という。

その為に以後五攝家（近衛・九条・二条・一条・鷹司家）の帰依特に深く、子孫長久の霊像として祀られた。