『元享釈書』や寺の縁起によると、760年(天平宝字4)に報恩が建立し、観自在菩薩像と四天王像を安置して子嶋寺としたとされる。そのほか寺の創建に関して諸説あるが、983年(永観元)に興福寺僧都の真興が現在地に観覚寺を建て、真言宗子島流を興した道場が直接の前身とされる。
明治時代に荒廃し無住寺となるが、有志の尽力により復興をはたした。真興が一条天皇の病気平癒祈願の功績により下賜されたと伝わる、紺綾地金銀泥絵両界曼荼羅図2幅(平安時代前期)は国宝に指定、木造十一面観音立像(平安時代前期)は重要文化財に指定されている。