フェノロサが天平仏の最高傑作と絶賛した、木心乾漆の十一面観音を安置する寺として有名。また、ほがらかな表情の本堂本尊の子安地蔵石仏は、安産・子授けにご利益がある丈六の石仏である。

奈良時代の妙楽寺（現在の談山神社）の別院として、藤原鎌足の長男・定慧（じょうえ）を開基として建立したと伝わる。

平安時代に興福寺の僧兵に焼かれ一時衰微したが、鎌倉時代に慶円上人が再興に尽力、三輪にあった平等院遍照院を移したのが現在の寺院である。