当神社は、別名粟嶋大明神と稱する。
社伝によると、景行天皇2年、当時21戸の村民により、少名毘古那神が漂着された粟嶋の硯浦の森に宮居を造り、鎮め祀ったのを創祀とする。
その21戸の子孫が、明神講（大頭講）として宮座を今日まで守り継いでいる。
当時の粟嶋は海中に在り、干潮時に干潟を渡って詣でた様子が、『万葉集』に読まれている。
「潮満たばいかにせむとか 方便海の 神戸渡る 海未通女ども」（1216）（境内に歌碑あり）
神社の前方、山麓の古道に沿い「幣使の隈」なる古跡あり、神功皇后が征韓の折、お産の予兆あり、凱旋まで支えられるよう当神社に祈願される。
折しも勅使が風浪のためご社参できず、此の丘より奉幣されたと伝える。
その後ご凱旋の折の船中にて、皇子を御安産、そのお喜びにより、大国主神、少名毘古那神2柱の御神像をお手づから矢の根を以て船板に彫られ、ご帰朝後お賽詣りに奉納されたと言う。
「神像彫刻船板」「陣太鼓」及び御召衣の「綾の舞衣」が現在も社宝として保存されている。
その後時代移り、亀山天皇の文永年間（1264～1275）に風浪激しい硯浦の宮居から、現在地に遷座された。
此の地は当時の浜中莊領主（京都仁和寺）からの寄進による広い社用地で莊嚴を整えたと、『仁和寺古文書』に見られる。
粟嶋大明神の御神徳は、津々浦々に広まり、中世以後更に信仰を集めた証として次の二点を記しておく。
社宝に、金幣3本があり「宝永四（1707）年豊後の国……」と刻まれている。
奉納者は現在の大分県米水津村で、ここに粟嶋神社があり、同村史による縁起概要は、「正平13（1358）年懐良親王が西征将軍として、豊後へ下向の際、暴風雨起り船覆へされんとした時、供奉の士渡辺左衛門尉、紀州の粟嶋大明神に「御船恙なく岸に着け給ひなば一宇を建立せん」と祈願したところ風雨治まり、船此の岸に着く、よって直ちに粟嶋大明神を勧請し、神社を建立したとある。
尚、昭和50年に町指定文化財となった神橋には「上州山田郡願主治郎助寛政九（1797）年丁己八月」の銘が読める。
参道正面の宮川に架かり、太鼓橋の愛稱で親しまれてきた。
累代奉仕の祠官、これに協力する宮座、村人の努力により、御神威は豊饒や海路の安全を祈る人々に語りつがれ、万葉の昔より、縁結びの神としても信仰を集めている。
