安養寺の地名はかつて当地にあった寺の名に由来するという。神奈川県立金沢文庫蔵の「求聞持秘口決」の奥書には、天福二年（一二三四）二月十二日「武州忍保安養寺」で書写したとある。
『埼玉県伝説集成』によれば、安養寺の八幡様と市ノ縄の八幡様とは元荒川と挟んで東西に祀られていて、昔この両八幡様が互いに争った。安養寺の八幡様は白旗を押し立てて攻めたのに対し、市ノ縄の八幡様は大松の枝を振りかざして立ち向かい、荒川を挟んで激戦が展開されたが、安養寺の八幡様は、市ノ縄の八幡様の大松の葉で目を刺されて負傷し、ついに敗れた。それからは、安養寺の八幡様は松の木を恨み、かつ恐れて、境内には松の木を植えなかった。一方、市ノ縄の八幡様には松の木が亭々とそびえ茂った。安養寺の八幡様の前の田を「白幡田圃」と呼ぶのは、この戦いにちなんでいると伝えられている。
当社の創建年代は明らかでないが、社蔵の『神社財産登録台帳』には「木像壱躰 奉竒進八幡御尊躰元禄十丁丑年（一六九七）十一月廾八日」との記載が見える。また『風土記稿』安養寺村の項には「八幡社 村の鎮守なり、良覚院持」とある。別当の良覚院は愛宕山と号する本山派修験で、開山の仲海が寛永六年（一六二九）に寂したという。神仏分離で廃寺となった模様で、その寺名さえも忘れられている。
明治六年に村社となった。
