旧柳生藩の陣屋跡地。柳生藩初代藩主・柳生宗矩が寛永14年（1642）に3年の歳月をかけて完成させたと伝わります。「柳生藩日記」には坪数は1374坪（454㎡）で表は竹の枝門であったと記されています。

第3代藩主・柳生宗冬によって増築整備が行われましたが、代々柳生藩主は徳川将軍家の兵法指南役として江戸に定府していました。その後延享4年（1747）の火災によって全焼すると仮建築まま明治維新を迎え、廃藩置県により解体されました。

昭和55年（1980）にかつての屋敷跡の遺構に沿って石積みがなされ、史跡公園として整備されました。春は桜の名所としても知られています。