旧東大寺領・薬園庄の鎮守社。天平勝宝元年（749）、大仏鋳造の守護神として勧請された宇佐の八幡神が、平城京の南の薬草園があった梨原の新殿で休まれた時に勧請されたのが始まりと伝わり、『続日本紀』にも記される古社です。

もとは現在、御旅所がある魚町に鎮座していましたが、延徳3年（1491）に小田切春次（四世郡山辰巳）が砦を建設する際に材木町へ遷座したと伝わります。