創建については不明な点が多く、703年（大宝3）に元興寺の僧・弁基上人が建立したとも、また『帝王編年記』には、703年に佐伯姫善心尼が建立したとも、ほか諸説あるが、出土品や塔心礎の形状から、白鳳時代の創建であることが確かめられる。

境内には、インドで制作された高さ20mの巨大な大観音石像、全長50mの仏伝図石造レリーフなど、大石造美術が点在する。