創建年代は不明ですが、筑紫の国造「田道の命（たじのみこと）」（考元天皇の五世孫）が祭祀の始祖であり、筑紫物部（ちくしもののべ）を率いて神々を祀ったといわれています。六ヶ嶽（直方市と鞍手町と宮若市の境）の東・亀丘に鎮座し、日本武尊（やまとたけるのみこと）を御祭神としています。“劔”という名称は、3種の神器の一つ、天叢雲剣（あめのむらくものつるぎ）にちなんだものといわれています。
天叢雲剣は、素戔嗚尊（すさのおのみこと）が八俣（やまた）の大蛇（おろち）を退治し、その尾から取り出した剣であり、後に日本武尊の手に渡り、尊を祀る神社にともに祀られ、神社の名称に使われるようになりました。物部氏にゆかりのある遠賀地域には劔という文字を使った神社が点在していています。

境内には3つの境内社があります。安産の神様として知られる宇美八幡宮を祀った境内社も。劔という社名から、災いを振り払う厄除けや、道を切り拓く開運、病気を断ち切る病気平癒などのご利益を求め訪れる人もいます。そのほか、交通安全や安産でも篤く信仰されています。

5年に1度、家内安全や五穀豊穣を願って10月に行われる「神幸祭」は約400年の歴史があり、氏子が牛車に乗る華やかな御輿（みこし）や勇壮な山笠が地域を練り歩きます。