神武天皇、木花開耶姫命（このはなのさくやびめ）、倉稲魂命（うかのみたまのみこと）を祀る神社。明治時代の文献には、小金丸村の氏神である熊野神社の摂社のひとつとして記録されています。もともと、可也山の山頂付近に熊野神社があり、それが江戸時代中期に麓の親山の場所に移ったと記されており、もとあった場所が現在の可也神社として祀られているのではないかと推察されています。現在の石祀や境内は、皇記2600（西暦1940）年を記念して整備されたものです。

この神社が建つ可也山（かやさん）は、富士山に似た優美な姿から、糸島富士、小富士などと呼ばれ、古くから崇敬を集め親しまれてきました。神武天皇は、日向の国から東征に向かう際に、国見をするためにこの山頂に立ち寄ったという言い伝えがあります。山麓一帯には古くから仏教寺院が営まれ、江戸時代の文献には、金峰山華厳寺（きんぽうさんけごんじ）や往生山明星寺（おうじょうざんみょうじょうじ）などの山号・寺名があったと記されています。これらは、すでに廃寺となり建物は残っていません。しかし、中腹の親山虚空蔵堂（おやまこくぞうどう）に安置されている木造十一面観音立像（福岡県指定有形文化財）などは、往生山明星寺にあったと伝えられ、この地に培われてきた古い歴史の一端を物語っています。