奈良時代の賢人・吉備真備（きびのまきび）が遣唐使として派遣され、無事唐から帰国できたことに感謝し創建させたことに始まる。本尊は十一面観世音菩薩で、吉備真備が中国で窮地に立たされた際、蜘蛛によって助けられたという逸話から「クモ観音」とも呼ばれている。真備の功績の一つである「大般若経」は奈良国立博物館に保管されている。寺の東側には、万葉集の大津皇子の歌で有名な「磐余（いわれ）」の池があったといわれている。