創建については、敏達天皇13年に蘇我馬子が建立したとする説、斉明天皇元年に飛鳥川原宮を寺とした説、天武朝に建てられたという説、斉明天皇没後に天智天皇が建てたとする説など、諸説ある。伽藍配置は、中金堂の南に西金堂と塔が建つ一塔二金堂式であった。