三韓征伐の際、神功皇后は懐妊のまま朝鮮半島に遠征しました。新羅（しらぎ）を討ち、百済（くだら）や高句麗（こうくり）を帰服させたあと、出産のため宇美八幡宮に向かう途中に休憩した場所が、この旅石だと伝えられています。

立ち寄った際に神功皇后が「あなわびし」（ああ寂しい）とつぶやき、それが「わびし」「たびし」「たびいし（旅石）」と呼ばれるようになったといわれています。しかし、腰かけた石にちなむなど、名前の由来は諸説あります。神功皇后はこのあと、宇美八幡宮で無事に応神天皇を出産します。