幕末に柳生藩の財政再建を成し遂げた家老・小山田主鈴が第10代藩主・柳生俊章から土地を賜り、嘉永元年（1848）に上棟した旧隠居宅です。大規模な石垣は、天保12年（1841）に尾張国の石工が築いたと刻まれています。

昭和39年（1964）に作家・山岡荘八が屋敷を購入し、この地で柳生宗矩を主人公にした小説『春の坂道』の構想が練られました。後に同タイトルでNHK大河ドラマにもなっています。

山岡荘八没後の昭和55年（1980）に奈良市に寄贈され、翌年から小山田主鈴と柳生藩、山岡荘八に関する資料館となりました。