寺伝によれば、奈良時代聖武天皇の御代、高僧行基菩薩全国巡錫の折りこの地に草庵を結んだことに始まる。
ついで平安時代淳和天皇の御代、この地方は大飢饉におそわれた。悪疫が流行し人民は餓死するものが多く、これに心痛した天皇の勅により、慈覚大師円仁東国巡錫の折りこの地に逗留し、この地こそ地蔵菩薩の有縁の地なりと一念救世の心願を立て、三七日の間、悪疫退散と五穀豊穣の祈祷護摩供を勤修され、一刀三礼の下に御丈三尺の地蔵菩薩を刻して祭祀された。後に大師の言上により、仁明天皇の勅願所として承和年間に開山。近郊に八ヶ寺の堂塔を建立し、寺領八十九石を与えられた。この地を御供地として他の地と区分して、別の所としたのが別所の地名の根源である。
