創建については謎が多く明らかではありませんが、1900年以上の歴史をもつといわれる古社であり、高良玉垂宮とともに筑後・肥前地域で広まった玉垂命（たまたれのみこと）信仰の中心地のひとつです。藤大臣（とうのおとど）とも称される玉垂命は、神功皇后の三韓出兵で功績をあげたといわれています。
「吉山旧記」などによれば、天武天皇の白鳳元年（673年）に法相宗の僧安泰が玉垂宮の傍らに寺院を建立。のちに大善寺となり、中世期には三潴（みづま）荘の中心として、豊かな歴史を築きました。
盛時には3,000町の領地と45坊を有したと伝えられています。戦国期から近世初頭には衰退しましたが、初代筑後国主・田中吉政によって300石が寄進され、その後の有馬氏によっても同様の庇護を受けました。明治の神仏分離令によって大善寺が廃止されたため、多くの古文書や宝物が散逸しましたが、大善寺玉垂宮やゆかりの家々によってその歴史の一端を物語る資料が保存され続けており、中世までさかのぼる貴重な資料がまとまって存在しています。

また、日本三大火祭りのひとつ「鬼夜（おによ）」は、毎年1月7日に執り行われています。約1600年の歴史をもつ祭事で、平成6（1994）年には国の重要無形文化財に指定。巨大な6本の松明が境内で燃え盛る様子は圧巻です。また夫婦和合の神として信仰される「佐野神（さやのかみ）」や、目の神様「生目（いきめ）八幡宮」といった境内社も鎮座しています。