柳澤家は、甲斐源氏（清和源氏義光・新羅三郎）の末裔で、なかでも甲斐武田家の流れを汲む一家で、甲斐国巨摩郡武川柳澤村（現在の山梨県北杜市武川町柳澤）を出自とします。
武田家滅亡後は徳川家に仕え、五代将軍徳川綱吉の信任を得た柳澤吉保は、宝永元年（1704）に出自の地である甲斐国を治める大名へと出世しました。
宝永6年（1709）に吉保が致仕し、嫡男柳澤吉里が家督を継ぎました。享保9年（1724）8代将軍徳川吉宗による幕府政策の一貫で、甲斐国の直轄領化に伴い吉里は大和国郡山藩主として移封され、同年8月13日に郡山に入部し、郡山藩主柳澤家初代となりました。