奈良時代には神仏習合の姿をとり、大神神社の神宮寺、大神寺（おおみわでら）として栄えた。明治の廃仏毀釈までは、大御輪寺の本堂として、若宮の大神とともに本地物十一面観音が併祀されていた。