『元享釈書』や寺の縁起によると、天平宝字4年（760）に報恩が建立し、観自在菩薩像と四天王像を安置して子嶋寺としたとされる。

そのほか寺の創建に関して諸説あるが、永観元年（983）に興福寺僧都の真興が現在地に観覚寺を建て、真言宗子島流を興した道場が直接の前身とされる。明治時代に荒廃し無住寺となるが、有志の尽力により復興をはたした。

真興が一条天皇の病気平癒祈願の功績により下賜されたと伝わる、紺綾地金銀泥絵両界曼荼羅図２幅（平安時代前期）は国宝に指定、木造十一面観音立像（平安時代前期）は重要文化財に指定されている。