JP7617644B2

JP7617644B2 - 歩行者進行方向判定システム及び歩行者進行方向判定ソフトウェア

Info

Publication number: JP7617644B2
Application number: JP2022108415A
Authority: JP
Inventors: 秀美林; 秀昶有田; 将平 ▲高▼田; 圭史末松
Original assignee: 株式会社コンピュータサイエンス研究所
Priority date: 2022-07-05
Filing date: 2022-07-05
Publication date: 2025-01-20
Anticipated expiration: 2042-07-05
Also published as: JP2024007147A

Description

本発明は歩行者進行方向判定システム及び歩行者進行方向判定ソフトウェアに関する。詳しくは、例えば、高齢者や目の不自由な人といった歩行弱者のための、歩行者進行方向判定システム及び歩行者進行方向判定ソフトウェアに係るものである。

歩行弱者にとって、外出して道を歩き、目的地へ向かうということは、その道がどんなに単純な道であったとしても、とても難しい。

こうした歩行弱者特に目の不自由な人の歩行を支援すべく、点字ブロック、誘導鈴、点字サイン、白杖が存在し、また、盲導犬の使用や歩行訓練士による歩行訓練も行われている。

また、歩行弱者の歩行を支援するための様々な技術も提案されている。
例えば、特許文献１には、歩行者端末が、歩行者情報を含むメッセージをＩＴＳ通信部から路側機に送信し、路側機は、歩行者端末から送信されるメッセージをＩＴＳ通信部で受信すると、そのメッセージに含まれる歩行者情報を通行履歴情報として記憶部に蓄積し、制御部において、記憶部の通行履歴情報に基づいて、災害発生時の避難経路に関する経路案内情報（歩行者支援情報）、特に、高齢者などの要援護者や、危険行動が多い人物を検知して、それらの人物向けの経路案内情報を生成し、その経路案内情報を含むメッセージを、周辺の歩行者端末に送信する、という発明が記載されている。

特開２０１９－５３３７１号公報

ところで、目の不自由な人は、例えば横断歩道を渡るときには、自分が横断歩道から逸脱する方向へ歩いているのではないか、一般歩道を歩いているときでも、自分が縁石や段差へ向かって歩いているのではないか、という不安を抱えていることが多い。

特許文献１に記載の発明は、歩行者端末から収集した情報に基づいて、歩行者を支援する情報を生成できるが、目の不自由な人の上記のような不安を緩和するには不充分であった。

本発明は、以上の点に鑑みて創案されたものであり、進行するときの歩行者にとって安心安全な向きを判定できる、歩行者進行方向判定システム及び歩行者進行方向判定ソフトウェアを提供することを目的とする。

上記の目的を達成するために、本発明の歩行者進行方向判定システムは、歩行者の少なくとも前方を撮像可能な撮像部と、該撮像部が撮像して得られた撮像画像であって同撮像画像の中心点を通ると共に同撮像画像の縦方向へ延びた画像中心線を有する同撮像画像の中で、設置された物体である設置物体の境界線分であって同撮像画像の少なくとも下部の領域において、同撮像画像の縦方向に対して傾斜して延びた同境界線分を検出可能な物体検出部と、前記境界線分と前記画像中心線とが交差しているか否かを検出可能であり、かつ、同境界線分の下端よりも同境界線分の上端に近い位置を同画像中心線が通るか否かを検出可能な進行方向検出部と、該進行方向検出部が、前記境界線分と前記画像中心線とが交差していないこと、及び同境界線分の下端よりも同境界線分の上端に近い位置を同画像中心線が通ることを検出した場合、歩行者の向きが正常状態であると判定可能な進行方向判定部と、を備える。

ここで、境界線分と画像中心線とが交差しているか否かを検出可能であり、かつ、境界線分の下端よりも境界線分の上端に近い位置を画像中心線が通るか否かを検出可能な進行方向検出部によって、撮像画像の中で傾斜した境界線分を有する設置物体に対する歩行者の向きを検出できる。
また、「境界線分」は直線状の線分を意味する。

また、進行方向検出部が、境界線分と画像中心線とが交差していないこと、及び境界線分の下端よりも境界線分の上端に近い位置を画像中心線が通ることを検出した場合、歩行者の向きが正常状態であると判定可能な進行方向判定部によって、傾斜した境界線分を有する設置物体に対する歩行者の向きが、正常であるか否かを確認できる。
また、本発明において「正常状態」とは、歩行者が安心安全に進行できる方向を向いている状態であることを意味する。

また、本発明の歩行者進行方向判定システムにおいて、境界線分は、撮像画像の座標系における上端のｘ座標値が下端のｘ座標値よりも大きい左境界線分と、撮像画像の座標系における上端のｘ座標値が下端のｘ座標値よりも小さい右境界線分である構成とすることができる。

ここで、「撮像画像の座標系」は、撮像画像を長方形としたとき、左上隅を原点（０，０）とし、原点から水平右方向にｘ正軸、原点から鉛直下方向にｙ正軸を取った画像座標系である。
この場合、画像中心線が左境界線分もしくは右境界線分と交差していることを進行方向検出部が検出したときに、歩行者が、傾斜した境界線分を有する設置物体の左側もしくは右側どちらへ向いているかが判り、歩行者の向きを修正し易い。

さらに、本発明の歩行者進行方向判定システムは、設置物体に関する情報である設置物体情報を記録可能な検出物体情報記録部と、物体検出部が検出した設置物体の情報と、検出物体情報記録部が記録した設置物体情報とを照合して、設置物体を特定可能な物体特定部とを備え、進行方向検出部は、物体特定部が設置物体を横断歩道であると特定した場合、物体検出部が設置物体を検出したときに撮像画像の中に表示される、横断歩道の全体に対応した横断歩道存在領域矩形の、撮像画像の座標系における縦方向の座標値であるｙ座標値が一番小さい横方向線分の中のｘ座標値が、左境界線分との交点のｘ座標値より大きい若しくは右境界線分との交点のｘ座標値より小さい部分である横断歩道到着口線分と、画像中心線とが交差しているか否かを、さらに検出可能である構成とすることができる。

この場合、特に横断歩道に対する歩行者の向きが、正常であるか否かを確認し易くなる。

また、本発明の歩行者進行方向判定システムにおいて、進行方向検出部はさらに、物体特定部が横断歩道であると特定した設置物体とは別の設置物体を物体特定部が歩行者用信号機であると特定した場合、撮像画像の座標系における、歩行者用信号機の座標と、画像中心線との間の最短距離が所定の範囲内であるか否かを検出可能であり、進行方向判定部はさらに、進行方向検出部が、横断歩道到着口線分と画像中心線とが交差していることを検出し、かつ、歩行者用信号機の座標と、画像中心線との間の最短距離が所定の範囲内であることを検出した場合、歩行者の向きがさらに正常状態であると判定可能である構成とすることができる。

ここで、「最短距離」とは、撮像画像の座標系においてｙ座標値が同じとした場合の、ｘ座標値間の距離（差）を意味する。
また、ここで「所定の範囲」とは、「０」より大きく、かつ、横断歩道の中央を貫く仮想の中央線と歩行者用信号機の座標との間の最短距離以下の範囲を意味する。
この場合、特に横断歩道に対する歩行者の向きが正常であるか否かを、さらに精度良く確認できる。

また、本発明の歩行者進行方向判定システムは、進行方向判定部が判定した結果を告知可能な告知部を備え、進行方向判定部は、画像中心線が左境界線分と交差していることを進行方向検出部が検出した場合、歩行者の向きが第１の異常状態であると判定可能であり、画像中心線が右境界線分と交差していることを進行方向検出部が検出した場合、歩行者の向きが第２の異常状態であると判定可能であり、告知部は、進行方向判定部が第１の異常状態であると判定した場合、右への方向転換を促す情報を告知可能であり、進行方向判定部が第２の異常状態であると判定した場合、左への方向転換を促す情報を告知可能である構成とすることができる。

この場合、歩行者の向きを、さらに修正し易い。

また、本発明の歩行者進行方向判定システムにおいて、告知部は、本体と複数の振動体とを有する振動告知部であって、本体は長手方向を有し、かつ、長手方向の一方側と、この一方側とは反対側に位置する他方側とを着脱自在に連結して環状を形成可能であり、振動体は本体の一方の面に本体の長手方向へ並べて取付けられており、右への方向転換を促す情報を告知する場合に環状の本体の片方側に位置する振動体を振動可能であり、左への方向転換を促す情報を告知する場合に片方側の振動体とは反対側に位置する他方側の振動体を振動可能である振動告知部である構成とすることができる。

この場合、本体の一方側と他方側とを連結して本体を環状と成して、例えば本体の片方側が歩行者の身体の右側に配置されるように歩行者の身体に取付けることができ、また、音声による告知に比べて早く告知することができる。

また、本発明の歩行者進行方向判定システムは、進行方向判定部が判定した結果を告知可能な告知部と、出発地と目的地に関する情報に基づいて、出発地と目的地との間の経路に関する情報である経路情報を設定可能な経路情報設定部と、を備え、告知部は、経路情報設定部が設定した経路情報に基づいて方向転換を告知可能であり、進行方向判定部は、告知部が経路情報に基づいて方向転換を告知した時から所定の時間内に、進行方向検出部が境界線分と画像中心線とが交差したことを検出した場合、歩行者の向きが方向転換状態であると判定可能である構成とすることができる。

この場合、告知部が経路情報に基づいて方向転換を告知した時例えば、歩道を右折または左折するよう告知した時から所定の時間が経過するまでの間は、進行方向判定部は、歩行者の向きが正常状態であるか否かという判定ではなく、方向転換状態であると判定するので、歩行者は方向転換に集中できる。

ここで、「所定の時間」とは、一般的に歩行者が進行しながら、自身の向きを変え始めてから変え終わるまでに要する時間を意味し、例えば３～１０秒である。

また、上記の目的を達成するために、本発明の歩行者進行方向判定ソフトウェアは、進行するときの歩行者の向きを判定するための歩行者進行方向判定ソフトウェアであって、情報処理機器を、歩行者の少なくとも前方を撮像可能な撮像部が撮像して得られた撮像画像であって同撮像画像の中心点を通ると共に同撮像画像の縦方向へ延びた画像中心線を有する同撮像画像の中で、設置された物体である設置物体の境界線分であって同撮像画像の少なくとも下部の領域において、同撮像画像の縦方向に対して傾斜して延びた同境界線分を検出可能な物体検出部と、前記境界線分と前記画像中心線とが交差しているか否かを検出可能であり、かつ、同境界線分の下端よりも同境界線分の上端に近い位置を同画像中心線が通るか否かを検出可能な進行方向検出部と、該進行方向検出部が、前記境界線分と前記画像中心線とが交差していないこと、及び同境界線分の下端よりも同境界線分の上端に近い位置を同画像中心線が通ることを検出した場合、歩行者の向きが正常状態であると判定可能な進行方向判定部と、を含む手段として機能させるためのソフトウェアである。

ここで、境界線分と画像中心線とが交差しているか否かを検出可能であり、かつ、境界線分の下端よりも境界線分の上端に近い位置を画像中心線が通るか否かを検出可能な進行方向検出部によって、撮像画像の中で傾斜した境界線分を有する設置物体に対する歩行者の向きを検出できる。

また、進行方向検出部が、境界線分と画像中心線とが交差していないこと、及び境界線分の下端よりも境界線分の上端に近い位置を画像中心線が通ることを検出した場合、歩行者の向きが正常状態であると判定可能な進行方向判定部によって、傾斜した境界線分を有する設置物体に対する歩行者の向きが、正常であるか否かを確認できる。

本発明に係る歩行者進行方向判定システムは、進行するときの歩行者にとって安心安全な向きを判定できる。
本発明に係る歩行者進行方向判定ソフトウェアは、進行するときの歩行者にとって安心安全な向きを判定できる。

本発明を適用した歩行者進行方向判定システムの構成の一例を示す概略図である。本発明を適用した歩行者進行方向判定システムにおける撮像画像の第１の例を示す概略図（ａ）、及び概略図（ａ）に示す撮像画像に基づいた拡張現実撮像画像の一例を示す概略図（ｂ）である。図２（ｂ）に示す拡張現実撮像画像の次の段階の拡張現実撮像画像の一例を示す概略図（ａ）、及び概略図（ａ）に示す拡張現実撮像画像に基づいて、本発明を適用した歩行者進行方向判定システムの進行方向判定部が歩行者の向きを判定した結果を含む拡張現実撮像画像の一例を示す概略図（ｂ）である。本発明を適用した歩行者進行方向判定システムが備える振動告知部の一例を示す概略図である。本発明を適用した歩行者進行方向判定システムにおける撮像画像の第２の例を示す概略図（ａ）、及び概略図（ａ）に示す撮像画像の拡張現実撮像画像に基づいて、本発明を適用した歩行者進行方向判定システムの進行方向判定部が歩行者の向きを判定した結果を含む拡張現実撮像画像の一例を示す概略図（ｂ）である。

以下、本発明の実施の形態について図面を参照しながら説明し、本発明の理解に供する。
図１は、本発明を適用した歩行者進行方向判定システムの構成の一例を示す概略図である。

また、図２（ａ）は、本発明を適用した歩行者進行方向判定システムにおける撮像画像の第１の例を示す概略図である。また、図２（ｂ）は、図２（ａ）に示す撮像画像に基づいた拡張現実撮像画像の一例を示す概略図である。

また、図３（ａ）は、図２（ｂ）に示す拡張現実撮像画像の次の段階の拡張現実撮像画像の一例を示す概略図である。また、図３（ｂ）は、図３（ａ）に示す拡張現実撮像画像に基づいて、本発明を適用した歩行者進行方向判定システムの進行方向判定部が歩行者の向きを判定した結果を含む拡張現実撮像画像の一例を示す概略図である。

図１に示す本発明の歩行者進行方向判定システム１は、メガネ装置２と、サーバ３とを備える。
ここで、メガネ装置２は、一般的なメガネの形状を有し、サーバ３は、メガネ装置２とインターネット１４を介して通信可能である。
また、メガネ装置２は、例えば目の不自由な歩行者に装着されている。
また、メガネ装置２は、一般的な情報処理機能を有する機器である。

また、メガネ装置２は、歩行者の少なくとも前方を撮像可能な撮像カメラ４を有する。
ここで、撮像カメラ４は撮像部の一例である。

また、歩行者の少なくとも前方を撮像可能な撮像カメラ４を有すると共に、サーバ３とインターネット１４を介して通信可能であれば、必ずしもメガネ装置２でなくてもよく、例えばスマートフォンを歩行者の首から吊り下げて胸元に配置させ、歩行者の前方を撮像するようにすることもできる。
すなわち、撮像カメラ４の撮像方向が、歩行者の向いている方向である。

また、メガネ装置２は、撮像画像送信部４Ａを有する。
ここで、撮像画像送信部４Ａは、撮像カメラ４が撮像して得られた撮像画像を、インターネット１４を介してサーバ３へ送信可能である。

また、撮像画像は、撮像画像の中心点を通ると共に撮像画像の縦方向へ延びた画像中心線を有する。

一方、サーバ３は、撮像画像受信部４Ｂを有する。
ここで、撮像画像受信部４Ｂは、撮像画像送信部４Ａが送信した撮像画像を受信可能である。

また、メガネ装置２は、物体検出部５を有する。
ここで、物体検出部５は、撮像画像の中で、設置された物体である設置物体を検出可能である。

また、メガネ装置２の物体検出部５は、設置物体の境界線分も検出可能である。
また、この境界線分は、設置物体の外形に基づく線分であり、直線状の線分である。
また、物体検出部５が検出する境界線分は、撮像画像の少なくとも下部の領域において、撮像画像の縦方向に対して傾斜して延びた境界線分である。

ここで、「傾斜して延びた境界線分」とは、撮像画像の中で、傾斜して見える舗装された一般歩道の直線部分、傾斜して見える横断歩道の直線部分、傾斜して見える境界ブロックの直線部分、傾斜して見える縁石の直線部分を意味する。
また、「撮像画像の下部の領域」とは、撮像画像の下半分の領域を意味する。

また、設置物体としては、具体的には例えば、横断歩道、舗装された一般歩道、舗装された一般歩道が延びた方向へ並べられた境界ブロック、歩行者用信号機、電信柱、街灯が挙げられる。
また、通常、一般歩道の境界線分と境界ブロックの境界線分は共通する。

また、撮像画像の画像中心線は画像上に表示される。
また、撮像画像の中で検出された設置物体の箇所に、設置物体の存在を示すための矩形が表示される。
また、撮像画像の中で検出された、傾斜して延びた境界線分も、対応する設置物体の、傾斜して見える該当箇所に表示される。
そして、画像中心線や矩形や傾斜した境界線分などが表示された画像が、「拡張現実撮像画像」である。

本明細書において、このように撮像画像に基づいて画像中心線や矩形や傾斜した境界線分などが表示された画像を「拡張現実撮像画像」と表現しているが、拡張現実撮像画像と撮像画像は実質的に同じである。
従って、「拡張現実撮像画像の画像中心線」と「撮像画像の画像中心線」は互いに同義である。

図２（ｂ）に示すように、撮像画像２０の中心点である撮像画像中心点２３を通ると共に撮像画像の縦方向へ延びた画像中心線２２が、撮像画像中心点２３と共に表示される。
また、図２（ｂ）に示すように、物体検出部５が撮像画像２０の中で検出した設置物体、例えば横断歩道の複数の平行白線領域の箇所それぞれに、横断歩道断片矩形２５Ａが表示される。
そして、図３（ａ）に示すように、複数の横断歩道断片矩形２５Ａが表示された領域全体を一つの設置物体として物体検出部５が検出し、複数の横断歩道断片矩形２５Ａを包含する大きさの横断歩道存在領域矩形２５が、横断歩道断片矩形２５Ａの代わりに表示される。

また、図２（ｂ）に示すように、物体検出部５が撮像画像２０の中で検出した設置物体、例えば歩行者用信号機の箇所に、歩行者用信号機存在領域矩形２９が表示される。
また、図３（ａ）に示すように、物体検出部５が撮像画像２０の中で検出した、横断歩道の、傾斜して延びた境界線分、すなわち横断歩道左境界線分２６と横断歩道右境界線分２７が、横断歩道の傾斜した箇所に表示される。

また、矩形や直線線分などの位置は、撮像画像の座標系で示される。
すなわち、撮像画像の座標系において、撮像画像の左上隅が画像座標系の原点であり、原点から画像横方向すなわち画像右方向へ進むにつれｘ座標値が大きくなり、原点から画像縦方向すなわち画像下方向へ進むにつれｙ座標値が大きくなる。

ここで、横断歩道左境界線分２６は、撮像画像２０の座標系における上端のｘ座標値が下端のｘ座標値よりも大きい境界線分である。
また、横断歩道右境界線分２７は、撮像画像２０の座標系における上端のｘ座標値が下端のｘ座標値よりも小さい境界線分である。

このように、画像中心線２２や、横断歩道存在領域矩形２５などの矩形や、横断歩道左境界線分２６などの傾斜した直線線分が表示された画像が、拡張現実撮像画像２１である。

また、物体検出部５は、例えば次のようにして横断歩道左境界線分２６を検出する。

横断歩道存在領域矩形２５で囲まれた部分の画像をコピーして切り出し、切り出した画像を二値化する。

そして、複数の平行白線領域のラベリングの前処理を行う。
すなわち、複数の平行白線領域の枠部分で、上辺、下辺３ラインに「０」をセットし、また、左辺、右辺の３ピクセル部分を「０」にして、内部を枠部分から強制的に切り離す。
また、収縮及び膨張処理を０～２回程度行なって、１～２ピクセルの細い線分だけからできている部分などを除去する。

次に、ラベリングの前処理が行われた二値化画像にラベリング処理を施すと、分離している平行白線領域にラベルが付けられ、その領域を囲む外接矩形を求めることができる。
求めた外接矩形の中から、長さが矩形領域幅方向長さの１／３～半分程度以上で、かつｙ方向の差が２以上のものを選択抽出する。

選択抽出された矩形データは以下のように表される。
｛（ｘ１ｄ［ｉ］，ｙ１ｄ［ｉ］）－（ｘ２ｄ［ｉ］，ｙ２ｄ［ｉ］）｝
ここで、「ｉ＝０、１、・・・Ｎｄ－１」であり、「Ｎｄ」はラベル数である。
またこれらは、ｙ１ｄ［ｉ］の大きい順（画像下方から上方への順）に並んでいるように整列処理を施したものとする。

そして、左境界線分を、選択抽出された矩形データの左端データから求める。データは以下のように表される。
｛（ｘ１ｄ［ｉ］，ｙ１ｄ［ｉ］）｝
ここで、「ｉ＝０、１、・・・Ｎｄ－１」である。

また、ｘ座標値が最小である端点を探し、そのときの座標値を（ｘ０Ｌ，ｙ０Ｌ）とする。
次に、ｘ座標値が「ｘ０Ｌ」と同じ若しくは「ｘ０Ｌ」から規定範囲内であり、ｙ座標値が「ｙ０Ｌ」より小さく、次の点が「ｘ０Ｌ」よりも規定以上離れているような点の座標値を（ｘ１Ｌ，ｙ１Ｌ）とする。

（ｘ１Ｌ，ｙ１Ｌ）の点が左境界候補点列の「ｉ１Ｌ」番目である場合、「ｉ１Ｌ＋１，Ｎｄ（ラベル数）」番目の点（ｘ１ｄ［ｉ］，ｙ１ｄ［ｉ］）と（ｘ１Ｌ，ｙ１Ｌ）の点とを結んだ左境界線の方向角ｐを以下の式で算出する。
ｐ＝ａｎｇｌｅ（ｘ１Ｌ，ｙ１Ｌ，ｘ１ｄ［ｉ］，ｙ１ｄ［ｉ］）

ここで、方向角は、北を０度とした時計回り地図方向角である。撮像画像の画像中心線と北方位とが重なっている場合は方位角０度であり、東方位と重なっている場合は方位角９０度である。

そして、算出した方向角が左境界線分上の点として許容できる方向角角度範囲［ｐＬｍｉｎ，ｐＬｍａｘ］内にあるかどうかを判定し、範囲内にあった点について、平均方向角ｐ２Ｌを以下の式で算出する。
ｐ２Ｌ＝Σｐ「ｊ」／ｍＬ
ここで、『ｐ「ｊ」』は左境界線分上の点として許容できる方向角角度範囲［ｐＬｍｉｎ，ｐＬｍａｘ］内の角度であり、「ｍＬ」はその個数である。

物体検出部５は、この平均方向角ｐ２Ｌを満たす線分を、横断歩道左境界線分２６として検出する。

また、物体検出部５は、例えば次のようにして横断歩道右境界線分２７を検出する。

右境界線分を、選択抽出された矩形データの右端データから求める。データは以下のように表される。
｛（ｘ１ｄ［ｉ］，ｙ１ｄ［ｉ］）｝
ここで、「ｉ＝０、１、・・・Ｎｄ－１」である。

また、ｘ座標値が最大である端点を探し、そのときの座標値を（ｘ０Ｒ，ｙ０Ｒ）とする。
次に、ｘ座標値が「ｘ０Ｒ」と同じ若しくは「ｘ０Ｒ」から規定範囲内であり、ｙ座標値が「ｙ０Ｒ」より小さく、次の点が「ｘ０Ｒ」よりも規定以上離れているような点の座標値を（ｘ１Ｒ，ｙ１Ｒ）とする。

（ｘ１Ｒ，ｙ１Ｒ）の点が右境界候補点列の「ｉ１Ｒ」番目である場合、「ｉ１Ｒ＋１，Ｎｄ（ラベル数）」番目の点（ｘ１ｄ［ｉ］，ｙ１ｄ［ｉ］）と（ｘ１Ｒ，ｙ１Ｒ）の点とを結んだ右境界線の方向角ｐを以下の式で算出する。
ｐ＝ａｎｇｌｅ（ｘ１Ｒ，ｙ１Ｒ，ｘ１ｄ［ｉ］，ｙ１ｄ［ｉ］）

ここで、方向角は、北を０度とした時計回り地図方向角である。撮像画像の画像中心線と北方位とが重なっている場合は方位角０度であり、西方位と重なっている場合は方位角２７０度である。

そして、算出した方向角が右境界線分上の点として許容できる方向角角度範囲［ｐＲｍｉｎ，ｐＲｍａｘ］内にあるかどうかを判定し、範囲内にあった点について、平均方向角ｐ２Ｒを以下の式で算出する。
ｐ２Ｒ＝Σｐ「ｊ」／ｍＲ
ここで、『ｐ「ｊ」』は右境界線分上の点として許容できる方向角角度範囲［ｐＲｍｉｎ，ｐＲｍａｘ］内の角度であり、「ｍＲ」はその個数である。

物体検出部５は、この平均方向角ｐ２Ｒを満たす線分を、横断歩道右境界線分２７として検出する。

また、メガネ装置２は、進行方向検出部６を有する。
ここで、進行方向検出部６は、境界線分すなわち、横断歩道左境界線分２６及び横断歩道右境界線分２７と画像中心線２２とが交差しているか否かを検出可能である。
さらに、進行方向検出部６は、横断歩道左境界線分２６の下端及び横断歩道右境界線分２７の下端よりも、横断歩道左境界線分２６の上端及び横断歩道右境界線分２７の上端に近い位置を、画像中心線２２が通るか否かを検出可能である。

また、メガネ装置２は、進行方向判定部７を有する。
ここで、進行方向判定部７は、進行方向検出部６が以下の２つの要件を満たす場合、メガネ装置２を装着した歩行者の向きが「正常状態である」と判定可能である。
（１）進行方向検出部６が、横断歩道左境界線分２６及び横断歩道右境界線分２７と画像中心線２２とが交差していないことを検出したこと、及び
（２）進行方向検出部６が、横断歩道左境界線分２６の下端及び横断歩道右境界線分２７の下端よりも、横断歩道左境界線分２６の上端及び横断歩道右境界線分２７の上端に近い位置を画像中心線２２が通ることを検出したこと。

また、メガネ装置２は、告知部８を有する。
ここで、告知部８は、進行方向判定部７が判定した結果例えば、「正常状態である」という判定結果を告知可能である。
また、告知部８の告知方法としては、例えば音声による告知、振動による告知、または画像上での表示による告知の中の少なくとも一つが挙げられる。

すなわち、図３（ｂ）に示すように、画像中心線２２が、横断歩道左境界線分２６及び横断歩道右境界線分２７と交差しておらず、さらに、横断歩道左境界線分２６の下端及び横断歩道右境界線分２７の下端よりも、横断歩道左境界線分２６の上端及び横断歩道右境界線分２７の上端に近い位置を画像中心線２２が通っていて、このような状況を、進行方向検出部６が検出した場合に、進行方向判定部７は、メガネ装置２を装着した歩行者の向きが「正常状態である」と判定可能である。
そして、告知部８は、進行方向判定部７が判定した「正常状態である」という判定結果を、図３（ｂ）に示すように、拡張現実撮像画像２１上に「◎」という正常判定結果記号２４Ａを表示することで告知可能である。

また、このとき告知部８は、例えば「正しい方向へ進んでいます。」という音声によっても、進行方向判定部７が判定した「正常状態である」という判定結果を告知可能である。

また、メガネ装置２は、検出物体情報送信部５Ａを有する。
ここで、検出物体情報送信部５Ａは、物体検出部５が検出した設置物体に関する情報例えば、設置物体の少なくとも一部を囲む存在領域矩形を表示した拡張現実撮像画像２１を、インターネット１４を介してサーバ３へ送信可能である。

一方、サーバ３は、検出物体情報受信部５Ｂを有する。
ここで、検出物体情報受信部５Ｂは、メガネ装置２から送信された設置物体に関する情報を受信可能である。
すなわち、検出物体情報受信部５Ｂは、設置物体の少なくとも一部を囲む存在領域矩形を表示した拡張現実撮像画像２１を受信可能である。

また、サーバ３は、検出物体情報データベース９を有する。検出物体情報データベース９は、検出物体情報記録部の一例である。
ここで、検出物体情報データベース９は、物体検出部５が検出できる様々な物体すなわち設置物体に関する情報である設置物体情報を記録可能である。
設置物体情報は、具体的には例えば、設置物体の名称、設置物体の外観的特徴（形状、寸法、色彩など）である。

また、サーバ３は、物体特定部１０を有する。
ここで、物体特定部１０は、検出物体情報受信部５Ｂが受信した、物体検出部５が検出した設置物体の情報と、検出物体情報データベース９が記録した設置物体情報とを照合して、設置物体を特定可能である。

物体特定部１０は、具体的には例えば、物体検出部５が検出した設置物体の矩形の数値例えば縦方向の数値や横方向の数値と、検出物体情報データベース９が記録した設置物体情報例えば縦方向の数値範囲や横方向の数値範囲とを照合して設置物体を特定可能である。
ここで、矩形の縦方向の数値とは、矩形の２つの水平線分間の距離であり、また、矩形の横方向の数値とは、矩形の２つの鉛直線分間の距離であり、どちらも画像解析などによって算出された寸法数値である。

また、物体特定部１０は、例えば、物体検出部５が検出した設置物体の横断歩道断片矩形２５Ａの数値と、検出物体情報データベース９が記録した数値範囲とを照合して、設置物体を「横断歩道の白線」であると特定した場合、「横断歩道の白線」に対応する横断歩道断片矩形２５Ａが複数表示されていることに基づいて、横断歩道存在領域矩形２５が表示された設置物体を「横断歩道」であると特定できる。

また、サーバ３は、物体特定部１０が特定した設置物体に関する情報を、インターネット１４を介してメガネ装置２へ送信可能な特定物体情報送信部１０Ａを有する。

一方、メガネ装置２は、物体特定部１０が特定した設置物体に関する情報を、サーバ３から受信可能な特定物体情報受信部１０Ｂを有する。

また、進行方向検出部６は、物体特定部１０が設置物体を「横断歩道」であると特定した場合、横断歩道到着口線分２８と、画像中心線２２とが交差しているか否かを、さらに検出可能である。
ここで、横断歩道到着口線分２８は、横断歩道存在領域矩形２５の上側線分すなわち撮像画像の座標系における、横断歩道存在領域矩形２５のｙ座標値が一番小さい横方向線分の中のｘ座標値が、この横方向線分と横断歩道左境界線分２６との交点のｘ座標値より大きい若しくは、この横方向線分と横断歩道右境界線分２７との交点のｘ座標値より小さい部分である。

また、物体特定部１０が「横断歩道」であると特定した設置物体とは別の設置物体を「歩行者用信号機」であると特定した場合、進行方向検出部６はさらに、撮像画像の座標系における、歩行者用信号機の座標と、画像中心線２２との間の最短距離が所定の範囲内であるか否かを検出可能である。

また、進行方向判定部７はさらに、進行方向検出部６が以下の２つの要件を満たす場合、メガネ装置２を装着した歩行者の向きが「さらに正常状態である」と判定可能である。
（１）進行方向検出部６が、横断歩道到着口線分２８と画像中心線２２とが交差していることを検出したこと、及び
（２）進行方向検出部６が、撮像画像の座標系における、歩行者用信号機の座標と、画像中心線２２との間の最短距離が所定の範囲内であることを検出したこと。

また、画像中心線２２が横断歩道左境界線分２６と交差していることを進行方向検出部６が検出した場合、進行方向判定部７は、歩行者の向きが「第１の異常状態である」と判定可能である。
また、画像中心線２２が横断歩道右境界線分２７と交差していることを進行方向検出部６が検出した場合、進行方向判定部７は、歩行者の向きが「第２の異常状態である」と判定可能である。

また、告知部８は、進行方向判定部７が第１の異常状態であると判定した場合、右への方向転換を促す情報を告知可能である。
また、告知部８は、進行方向判定部７が第２の異常状態であると判定した場合、左への方向転換を促す情報を告知可能である。

また、本発明の歩行者進行方向判定システム１は、図４に示すような振動告知部３０を備えることができる。
すなわち、図４は、本発明を適用した歩行者進行方向判定システムが備える振動告知部の一例を示す概略図である。
ここで、振動告知部３０は、告知部８の一例であり、振動による告知方法を実現する。

振動告知部３０は、本体３１と、複数の振動体３２を有する。また、本体３１はベルト状に構成されている。

すなわち、本体３１は長手方向を有し、かつ、長手方向の一方側と、この一方側とは反対側に位置する他方側とを着脱自在に連結して環状を形成可能である。
また、複数の振動体３２は、本体３１の一方の面に本体３１の長手方向へ並べて取付けられている。

進行方向判定部７が第１の異常状態であると判定した場合、告知部８は右への方向転換を促す情報を告知可能であるが、この場合、告知部８の一例である振動告知部３０は、環状の本体３１の片方側（例えば図４において上側）に位置する振動体３２を振動可能である。
また、進行方向判定部７が第２の異常状態であると判定した場合、告知部８は左への方向転換を促す情報を告知可能であるが、この場合、振動告知部３０は、環状の本体３１の片方側の振動体３２とは反対側に位置する他方側（例えば図４において下側）の振動体３２を振動可能である。

また、メガネ装置２は、音声送信部１１を有する。
ここで、音声送信部１１は、メガネ装置２を装着した歩行者が発した音声をサーバ３へ、インターネット１４を介して送信可能である。

また、サーバ３は、音声受信部１２を有する。
ここで、音声受信部１２は、メガネ装置２から送信された音声を受信可能である。

また、サーバ３は、経路情報設定部１３を有する。
ここで、経路情報設定部１３は、音声受信部１２が受信した出発地と目的地に関する音声に基づいて、出発地と目的地との間の経路に関する情報である経路情報を設定可能である。

また、経路情報設定部１３は、経路情報を設定する場合に、適宜、地図情報などに基づいて経路情報を設定できることは勿論である。
この場合、サーバ３は、地図情報を記録可能な地図情報記録部（地図情報データベース）を有し、この地図情報データベースに記録された地図情報に基づいて経路情報を設定したり、サーバ３とは別のサーバと、インターネットを介して通信しながら、別のサーバが有する地図情報データベースに記録された地図情報に基づいて経路情報を設定したりできる。

経路情報設定部１３は例えば、音声受信部１２が受信した「〇△公園から小倉駅の海側まで」という音声に基づいて、「〇△公園」を出発地とし、「小倉駅の海側」を目的地とする、歩行者が進行するための経路情報を設定する。

また、経路情報設定部１３は、必ずしも音声受信部１２が受信した音声に基づいて経路情報を設定しなくてもよい。
出発地と目的地が判るのであれば、経路情報設定部１３は例えば、文字や画像に基づいて経路情報を設定することもできる。
この場合、メガネ装置２は、文字や画像をサーバ３へ送信できる機能例えば電子メール機能を有することができる。

また、サーバ３は、経路情報送信部１３Ａを有する。
ここで、経路情報送信部１３Ａは、経路情報設定部１３が設定した経路情報をメガネ装置２へ、インターネット１４を介して送信可能である。

一方、メガネ装置２は、経路情報受信部１３Ｂを有する。
ここで、経路情報受信部１３Ｂは、サーバ３から送信された経路情報を受信可能である。

また、告知部８は、経路情報受信部１３Ｂが受信した経路情報を告知可能である。
また、告知部８は、経路情報設定部１３が設定した経路情報に基づいて方向転換を告知可能である。

また、進行方向判定部７は、告知部８が経路情報に基づいて方向転換を告知した時から所定の時間内例えば８秒以内に、進行方向検出部６が例えば横断歩道右境界線分２７と画像中心線２２とが交差したことを検出した場合、歩行者の向きが方向転換状態であると判定可能である。

本発明の歩行者進行方向判定システム１は、必ずしも検出物体情報データベース９すなわち検出物体情報記録部を備えていなくてもよく、また、必ずしも物体特定部１０を備えていなくてもよく、さらには本発明の歩行者進行方向判定システム１において、進行方向検出部６は、必ずしも横断歩道到着口線分２８と画像中心線２２とが交差しているか否かを検出可能でなくてもよい。

しかし、本発明の歩行者進行方向判定システム１が、検出物体情報データベース９と物体特定部１０とを備えて、設置物体を横断歩道であると特定し、進行方向検出部６が、横断歩道到着口線分２８と画像中心線２２とが交差しているか否かを検出可能であれば、特に横断歩道に対する歩行者の向きが、正常であるか否かを確認し易くなるので好ましい。

また、本発明の歩行者進行方向判定システム１において、進行方向検出部６は、必ずしも撮像画像の座標系における歩行者用信号機の座標と画像中心線２２との間の最短距離が所定の範囲内であるか否かを検出可能でなくてもよい。
また、本発明の歩行者進行方向判定システム１において、進行方向判定部７は、必ずしも進行方向検出部６が、横断歩道到着口線分２８と画像中心線２２とが交差していることを検出し、かつ、歩行者用信号機の座標と、画像中心線２２との間の最短距離が所定の範囲内であることを検出した場合、歩行者の向きがさらに正常状態であると判定可能でなくてもよい。

しかし、進行方向検出部６が、横断歩道到着口線分２８と画像中心線２２とが交差しているか否かを検出可能であることに加え、歩行者用信号機の座標と画像中心線２２との間の最短距離が所定の範囲内であるか否かを検出可能であり、進行方向検出部６が、横断歩道到着口線分２８と画像中心線２２とが交差していることと、歩行者用信号機の座標と、画像中心線２２との間の最短距離が所定の範囲内であることを検出した場合に、進行方向判定部７が、歩行者の向きがさらに正常状態であると判定可能であれば、特に横断歩道に対する歩行者の向きが正常であるか否かを、さらに精度良く確認できるので好ましい。

また、本発明の歩行者進行方向判定システム１において、進行方向判定部７は必ずしも、画像中心線２２が横断歩道左境界線分２６と交差していることを進行方向検出部６が検出した場合、歩行者の向きが「第１の異常状態である」と判定可能でなくてもよく、また、画像中心線２２が横断歩道右境界線分２７と交差していることを進行方向検出部６が検出した場合、歩行者の向きが「第２の異常状態である」と判定可能でなくてもよい。
そして、本発明の歩行者進行方向判定システム１において、告知部８は必ずしも、進行方向判定部７が第１の異常状態であると判定した場合、右への方向転換を促す情報を告知可能でなくてもよく、また、進行方向判定部７が第２の異常状態であると判定した場合、左への方向転換を促す情報を告知可能でなくてもよい。

しかし、進行方向判定部７が、第１の異常状態及び第２の異常状態であると判定可能であり、進行方向判定部７が第１の異常状態であると判定した場合、告知部８が右への方向転換を促す情報を告知可能であり、進行方向判定部７が第２の異常状態であると判定した場合、告知部８が左への方向転換を促す情報を告知可能であれば、このような構成ではない場合よりも、歩行者の向きを、さらに修正し易いので好ましい。

また、本発明の歩行者進行方向判定システム１は、必ずしも経路情報設定部１３を備えていなくてもよく、また、告知部８は、必ずしも経路情報設定部１３が設定した経路情報に基づいて方向転換を告知可能でなくてもよく、さらには、進行方向判定部７は、必ずしも告知部８が経路情報に基づいて方向転換を告知した時から所定の時間内に、進行方向検出部６が、横断歩道左境界線分２６または横断歩道右境界線分２７と画像中心線２２とが交差したことを検出した場合、歩行者の向きが方向転換状態であると判定可能でなくてもよい。

しかし、本発明の歩行者進行方向判定システム１が経路情報設定部１３を備え、告知部８が経路情報に基づいて方向転換を告知した時から所定の時間内に、進行方向検出部６が、横断歩道左境界線分２６または横断歩道右境界線分２７と画像中心線２２とが交差したことを検出した場合、進行方向判定部７が、歩行者の向きが方向転換状態であると判定可能であれば、この所定の時間が経過するまでの間は、進行方向判定部７は、歩行者の向きが正常状態であるか否かという判定ではなく、方向転換状態であると判定するので、歩行者は方向転換に集中でき、好ましい。

また、このような歩行者進行方向判定システム１を実行するための本発明の歩行者進行方向判定ソフトウェアは、情報処理機器を、前述のような機能を有するメガネ装置２として機能させるためのソフトウェアである。

また、図１に示す例は一例であり、メガネ装置２及びサーバ３それぞれが有する機能は、これに限定されるものではない。
例えば、サーバ３が、物体検出部５と、進行方向検出部６と、進行方向判定部７とを有することもでき、この場合、歩行者進行方向判定システム１を実行するための本発明の歩行者進行方向判定ソフトウェアは、情報処理機器を、メガネ装置２と同様の機能を有するサーバとして機能させることができる。

また、サーバ３が、物体検出部５と、進行方向検出部６と、進行方向判定部７とを有する場合、サーバ３の撮像画像受信部４Ｂが受信した撮像画像に基づいて、物体検出部５と、進行方向検出部６と、進行方向判定部７とが処理を行う。

次に、本発明の歩行者進行方向判定システムを利用した、歩行者の進行方向を判定する流れの一例について説明する。

歩行者は、歩道上での歩行を開始するにあたり、自分が歩行する予定の経路を設定するために必要な情報をサーバ３へ送信する。
すなわち、歩行者は、歩道上での歩行を開始する現在時点で自分が位置する場所の情報である出発地の情報と、目的地の情報を声に出して言うことで、メガネ装置２の音声送信部１１が出発地と目的地に関する音声をサーバ３へ、インターネット１４を介して送信する。

例えば、歩行者が「〇△公園」で遊んだ後、帰宅するために小倉駅まで徒歩で移動しようとする場合、歩行者は、自身が進行する経路を設定するために、「〇△公園から小倉駅の海側まで」という経路の情報を声に出す。

そして、メガネ装置２の音声送信部１１は、「〇△公園から小倉駅の海側まで」という音声をサーバ３へ、インターネット１４を介して送信する。
一方、サーバ３の音声受信部１２は、メガネ装置２から送信された「〇△公園から小倉駅の海側まで」という音声を受信する。

すると、サーバ３の経路情報設定部１３は、音声受信部１２が受信した「〇△公園から小倉駅の海側まで」という音声に基づいて、「〇△公園」を出発地とし、「小倉駅の海側」を目的地とする、歩行者が進行するための経路情報を設定する。

また、サーバ３の経路情報送信部１３Ａは、経路情報設定部１３が設定した「〇△公園から小倉駅の海側まで」という経路情報をメガネ装置２へ、インターネット１４を介して送信する。
一方、メガネ装置２の経路情報受信部１３Ｂは、サーバ３から送信された経路情報を受信する。

そして、メガネ装置２の告知部８は、経路情報受信部１３Ｂが受信した「〇△公園から小倉駅の海側まで」という経路情報を、歩行者へ告知する。

また、歩行者は、例えば〇△公園から出ていき、点字ブロックを頼りに〇△公園の目の前の交差点に立つ。
このとき、メガネ装置２の撮像カメラ４は、歩行者の前方を撮像しており、撮像カメラ４が撮像して得られた撮像画像の第１の例を図２（ａ）に示す。
また、メガネ装置２の物体検出部５が、図２（ａ）に示す撮像画像２０の中で設置物体を検出したときの拡張現実撮像画像２１の一例を、図２（ｂ）、図３（ａ）及び図３（ｂ）に示す。

また、設定された経路情報は、〇△公園の目の前の交差点の横断歩道を渡る内容となっている。

また、メガネ装置２の物体検出部５が、撮像画像２０の中で設置物体を検出する。
また、メガネ装置２の物体検出部５が、設置物体の、傾斜して延びた境界線分も検出する。
そして、物体検出部５が設置物体や境界線分を検出すると、検出された設置物体の箇所や、対応する設置物体の、傾斜して見える該当箇所に、矩形や境界線分が表示される。

また、図２（ｂ）、図３（ａ）及び図３（ｂ）に示すように、拡張現実撮像画像２１には、拡張現実撮像画像２１の中心点である撮像画像中心点２３を通ると共に撮像画像の縦方向へ延びた画像中心線２２が表示されている。
ここで、拡張現実撮像画像２１は、撮像画像２０に基づいて画面上に線や矩形が表示されたものであるから、拡張現実撮像画像２１の中心点と撮像画像２０の中心点は同じである。

また、図２（ｂ）に示すように、物体検出部５が検出した設置物体である、横断歩道の複数の平行白線領域それぞれに、横断歩道断片矩形２５Ａが表示される。
そして、物体検出部５は、複数の横断歩道断片矩形２５Ａが表示された領域全体を一つの設置物体として検出し、図３（ａ）に示すように、複数の横断歩道断片矩形２５Ａを包含する大きさの横断歩道存在領域矩形２５が、横断歩道断片矩形２５Ａの代わりに表示される。

また、図２（ｂ）に示すように、物体検出部５が検出した設置物体である、歩行者用信号機に、歩行者用信号機存在領域矩形２９が表示される。
また、図３（ａ）に示すように、物体検出部５が検出した、横断歩道の、傾斜して延びた境界線分である、横断歩道左境界線分２６と横断歩道右境界線分２７が、横断歩道の傾斜した箇所に表示される。

そして、進行方向検出部６が、横断歩道左境界線分２６及び横断歩道右境界線分２７と、画像中心線２２とが交差しているか否かを検出する。
また、進行方向検出部６が、横断歩道左境界線分２６の下端及び横断歩道右境界線分２７の下端よりも、横断歩道左境界線分２６の上端及び横断歩道右境界線分２７の上端に近い位置を、画像中心線２２が通るか否かについても検出する。

図２（ｂ）、図３（ａ）及び図３（ｂ）に示すように、画像中心線２２は、横断歩道左境界線分２６及び横断歩道右境界線分２７どちらとも交差していないので、進行方向検出部６は、横断歩道左境界線分２６及び横断歩道右境界線分２７と画像中心線２２とが交差していないことを検出する。
また、図２（ｂ）、図３（ａ）及び図３（ｂ）に示すように、画像中心線２２は、横断歩道左境界線分２６の下端及び横断歩道右境界線分２７の下端よりも、横断歩道左境界線分２６の上端及び横断歩道右境界線分２７の上端に近い位置を通っているので、進行方向検出部６は、画像中心線２２がその位置を通ることを検出する。

そして、進行方向判定部７が、メガネ装置２を装着した歩行者の向きは「正常状態である」と判定する。
さらに、告知部８が、進行方向判定部７によって判定された「正常状態である」という判定結果を、歩行者に対して、拡張現実撮像画像２１上に判定結果記号を表示して告知したり、例えば「正しい方向へ進んでいます。」という音声によって告知したりする。

このように、本発明の歩行者進行方向判定システム１は、撮像画像２０の中の設置物体を特定しなくても、設置物体の、傾斜して延びた境界線分を検出できれば、歩行者の向きを判定できる。

また、このような進行方向の判定処理とは別に、検出物体情報送信部５Ａが、設置物体の少なくとも一部を囲む存在領域矩形を表示した拡張現実撮像画像２１を、インターネット１４を介してサーバ３へ送信する。

一方、このような拡張現実撮像画像２１を受信したサーバ３において、物体特定部１０が、物体検出部５によって検出された設置物体の情報と、検出物体情報データベース９が記録した設置物体情報とを照合して、設置物体を特定する。

また、物体特定部１０が、横断歩道存在領域矩形２５が表示された設置物体を「横断歩道」であると特定し、特定物体情報送信部１０Ａが、特定された設置物体に関する情報をメガネ装置２へ送信する。
従って、告知部８が、進行方向判定部７によって判定された「正常状態である」という判定結果を音声によって告知するときに、例えば「横断歩道を正しい方向へ進んでいます。」というように、特定された設置物体の内容を加えて告知する。

また、物体特定部１０が設置物体を「横断歩道」であると特定しているので、進行方向検出部６は、横断歩道到着口線分２８と画像中心線２２とが交差しているか否かも検出する。

また、物体特定部１０が、歩行者用信号機存在領域矩形２９が表示された設置物体すなわち、物体特定部１０が「横断歩道」であると特定した設置物体とは別の設置物体を「歩行者用信号機」であると特定し、特定物体情報送信部１０Ａが、特定された設置物体に関する情報をメガネ装置２へ送信する。
また、進行方向検出部６がさらに、撮像画像の座標系における、歩行者用信号機の座標すなわち「歩行者用信号機」であると特定された、検出された設置物体の座標と、画像中心線２２との間の最短距離が所定の範囲内すなわち、「０」より大きく、かつ、横断歩道の中央を貫く仮想の中央線と歩行者用信号機の座標との間の最短距離以下の範囲内であるか否かを検出する。

図２（ｂ）、図３（ａ）及び図３（ｂ）に示すように、画像中心線２２は、横断歩道到着口線分２８と交差しており、また、画像中心線２２は、横断歩道の中央付近を通っているので、進行方向検出部６は、横断歩道到着口線分２８と画像中心線２２とが交差していること、及び、撮像画像の座標系における、歩行者用信号機の座標と、画像中心線２２との間の最短距離が所定の範囲内であることを検出する。

従ってこの場合、進行方向判定部７は、メガネ装置２を装着した歩行者の向きが「さらに正常状態である」と判定する。
そして、告知部８が、進行方向判定部７によって判定された「さらに正常状態である」という判定結果を、歩行者に対して、図３（ｂ）に示すように、拡張現実撮像画像２１上に「◎」のような正常判定結果記号２４を表示して告知したり、例えば「充分に正しい方向へ進んでいます。」という音声によって告知したりする。

また、例えば、図２（ｂ）、図３（ａ）及び図３（ｂ）に示す画像中心線２２が、もう少し右側へ位置して歩行者用信号機存在領域矩形２９と交差した場合、画像中心線２２は、横断歩道到着口線分２８と交差しているものの、歩行者用信号機の座標と画像中心線２２との間の最短距離が「０」であるため所定の範囲内ではない。
従ってこの場合、進行方向判定部７は「さらに正常状態である」とは判定しないので、告知部８は、拡張現実撮像画像２１上に、例えば「〇」のような判定結果記号を表示して告知したり、「ある程度正しい方向へ進んでいます。」という音声によって告知したりする。

一方、「〇△公園」を出発地とし、「小倉駅の海側」を目的地とする、歩行者が進行するための経路情報を設定し、歩行者が〇△公園から出ていき、点字ブロックを頼りに〇△公園の目の前の交差点に立ったとき、横断歩道に対して斜め方向を向いて立つ場合も想定される。

図５（ａ）は、本発明を適用した歩行者進行方向判定システムにおける撮像画像の第２の例を示す概略図である。
また、図５（ｂ）は、図５（ａ）に示す撮像画像の拡張現実撮像画像に基づいて、本発明を適用した歩行者進行方向判定システムの進行方向判定部が歩行者の向きを判定した結果を含む拡張現実撮像画像の一例を示す概略図である。

歩行者が、横断歩道に対して斜め方向を向いて立ったとき、メガネ装置２の撮像カメラ４が撮像して得られた撮像画像の第２の例が図５（ａ）に示されている。
また、メガネ装置２の物体検出部５が、図５（ａ）に示す撮像画像４０の中で設置物体を検出したときの拡張現実撮像画像４１の一例を、図５（ｂ）に示す。

また、メガネ装置２の物体検出部５が、撮像画像４０の中で設置物体を検出する。
また、メガネ装置２の物体検出部５が、設置物体の、傾斜して延びた境界線分も検出する。
そして、物体検出部５が設置物体や境界線分を検出すると、検出された設置物体の箇所や、対応する設置物体の、傾斜して見える該当箇所に、矩形や境界線分が表示される。

また、図５（ｂ）に示すように、拡張現実撮像画像４１には、拡張現実撮像画像４１の中心点である撮像画像中心点４３を通ると共に撮像画像の縦方向へ延びた画像中心線４２が表示されている。
ここで、拡張現実撮像画像４１の中心点と撮像画像４０の中心点は同じである。

また、物体検出部５は、複数の横断歩道断片矩形（図示せず。）が表示された領域全体を一つの設置物体として検出し、複数の横断歩道断片矩形（図示せず。）を包含する大きさの横断歩道存在領域矩形４５が、図５（ｂ）に示すように、横断歩道断片矩形（図示せず。）の代わりに表示される。

また、図５（ｂ）に示すように、物体検出部５が検出した設置物体である、歩行者用信号機に、歩行者用信号機存在領域矩形４９が表示される。
また、図５（ｂ）に示すように、物体検出部５が検出した、横断歩道の、傾斜して延びた境界線分である、横断歩道右境界線分４７が、横断歩道の傾斜した箇所に表示される。
ここで、物体検出部５は、横断歩道左境界線分を検出していない。

そして、進行方向検出部６が、横断歩道右境界線分４７と、画像中心線４２とが交差しているか否かを検出する。
また、進行方向検出部６が、横断歩道右境界線分４７の下端よりも、横断歩道右境界線分４７の上端に近い位置を、画像中心線４２が通るか否かについても検出する。

図５（ｂ）に示すように、画像中心線４２は、横断歩道右境界線分４７と交差しているので、進行方向検出部６は、横断歩道右境界線分４７と画像中心線４２とが交差していることを検出する。

また、図５（ｂ）に示すように、画像中心線４２は、横断歩道右境界線分４７の上端よりも、横断歩道右境界線分４７の下端に近い位置を通っている、すなわち、画像中心線４２は、横断歩道右境界線分４７の下端よりも、横断歩道右境界線分４７の上端に近い位置を通っていない。
従って、進行方向検出部６は、横断歩道右境界線分４７の下端よりも、横断歩道右境界線分４７の上端に近い位置を、画像中心線４２が通らないことを検出する。

そして、この場合、進行方向判定部７は、メガネ措置２を装着した歩行者の向きが「正常状態ではない」と判定するのであるが、画像中心線４２が横断歩道右境界線分４７と交差していることを進行方向検出部６が検出するので、進行方向判定部７は、歩行者の向きが「第２の異常状態である」と判定する。

また、告知部８が、進行方向判定部７によって判定された「第２の異常状態である」という判定結果を、歩行者に対して、図５（ｂ）に示すように、拡張現実撮像画像４１上に「×」のような異常判定結果記号４４を表示して告知する。
また、進行方向判定部７が、歩行者の向きは「第２の異常状態である」と判定した場合、さらに、告知部８は、左への方向転換を促す情報、例えば「右方向へ進んでいます。もう少し左へ向いてください。」という音声によって告知する。
そしてさらには、この場合、歩行者の腰にベルト状に巻かれて環状を成した本体３１を有する振動告知部３０が、環状の本体３１の片方側すなわち、歩行者の左脇腹に位置する振動体３２を振動させ、左への方向転換を促す情報を告知する。

一方、画像中心線が横断歩道左境界線分と交差していることを、進行方向検出部６が検出した場合、進行方向判定部７は、歩行者の向きが「第１の異常状態である」と判定する。

また、この場合、告知部８は、右への方向転換を促す情報、例えば「左方向へ進んでいます。もう少し右へ向いてください。」という音声によって告知する。
そしてさらには、この場合、歩行者の腰にベルト状に巻かれて環状を成した本体３１を有する振動告知部３０が、環状の本体３１の片方側とは反対側すなわち、歩行者の右脇腹に位置する振動体３２を振動させ、右への方向転換を促す情報を告知する。

また、このような進行方向の判定処理とは別に、検出物体情報送信部５Ａが、設置物体の少なくとも一部を囲む存在領域矩形を表示した拡張現実撮像画像４１を、インターネット１４を介してサーバ３へ送信する。

また、物体特定部１０が、横断歩道存在領域矩形４５が表示された設置物体を「横断歩道」であると特定し、特定物体情報送信部１０Ａが、特定された設置物体に関する情報をメガネ装置２へ送信する。
従って、告知部８が、進行方向判定部７によって判定された「第２の異常状態である」という判定結果を音声によって告知するときに、例えば「横断歩道を右方向へ進んでいます。」というように、特定された設置物体の内容を加えて告知する。

また、物体特定部１０が設置物体を「横断歩道」であると特定しているので、進行方向検出部６は、横断歩道到着口線分４８と画像中心線４２とが交差しているか否かも検出する。

また、物体特定部１０が、歩行者用信号機存在領域矩形４９が表示された設置物体すなわち、物体特定部１０が「横断歩道」であると特定した設置物体とは別の設置物体を「歩行者用信号機」であると特定し、特定物体情報送信部１０Ａが、特定された設置物体に関する情報をメガネ装置２へ送信する。
また、進行方向検出部６がさらに、撮像画像の座標系における、歩行者用信号機の座標と、画像中心線４２との間の最短距離が所定の範囲内であるか否かを検出する。

図５（ｂ）に示すように、画像中心線４２は、横断歩道到着口線分４８と交差しておらず、また、画像中心線４２は、横断歩道右境界線分４７と交差しており、しかも横断歩道右境界線分４７の上端よりも、横断歩道右境界線分４７の下端に近い位置を通っている。
従って、進行方向検出部６は、横断歩道到着口線分４８と画像中心線４２とが交差していないことを検出し、歩行者用信号機の座標と、画像中心線４２との間の最短距離が所定の範囲内ではないことを検出する。

また一方、歩行者は、自身が進行する経路を設定するために、「〇△公園から△△ビルまで」という経路の情報を声に出して、サーバ３の経路情報設定部１３が、「〇△公園」を出発地とし、「△△ビル」を目的地とする経路情報を設定する変形例も想定される。
そして、設定された経路情報は、〇△公園の目の前の交差点の横断歩道を渡らずに、右方向へ進む内容となっている。

この場合、歩行者が〇△公園から出た直後は、図２（ａ）に示すように横断歩道が延びた方向と略同じ方向へ、歩行者が向いている。
そして、歩行者に対し、告知部８は、経路情報設定部１３が設定した経路情報に基づいて、右方向への方向転換を告知する。

右方向への方向転換の告知を受けた歩行者は、右方向へ進行すべく、身体を右方向へ向けて進行を始める。
このとき、歩行者の前方の撮像画像は、図２（ａ）に示すようなものから、図５（ａ）に示すようなものへと変わる。

また、メガネ装置２の物体検出部５が、横断歩道左境界線分及び横断歩道右境界線分を検出する。
また、進行方向検出部６が、横断歩道左境界線分及び横断歩道右境界線分と画像中心線とが交差しているか否かを検出する。

従って、歩行者が身体を右方向へ向けて進行を始めると、画像中心線は横断歩道右境界線分と交差することになり、進行方向検出部６が、横断歩道右境界線分と画像中心線とが交差していることを検出する。

そして、進行方向判定部７は、告知部８が経路情報に基づいて右方向への方向転換を告知した時から所定の時間内例えば８秒以内に、進行方向検出部６が境界線分例えば横断歩道右境界線分と画像中心線とが交差したことを検出した場合、歩行者の向きが方向転換状態であると判定する。

歩行者が右方向への方向転換を告知された時から例えば８秒が経過するまでの間は、進行方向判定部は、画像中心線と横断歩道右境界線分などの境界線分とが交差しても、歩行者の向きが正常状態であるか否かという判定ではなく、方向転換状態であると判定するので、歩行者は方向転換に集中できる。

横断歩道の手前で右方向への方向転換を終えた歩行者は、経路情報に従って、車道に沿った一般歩道を進行していく。
そして、メガネ装置２の物体検出部５が、設置物体の境界線分であって傾斜して延びた境界線分すなわち、車道と一般歩道との間の、傾斜して見える縁石の直線部分や、歩道と敷地との間の、傾斜して見える境界ブロックの直線部分を、一般歩道左境界線分及び一般歩道右境界線分として検出する。

さらに、進行方向検出部６が、一般歩道左境界線分及び一般歩道右境界線分と、画像中心線とが交差しているか否かを検出する。
また、進行方向検出部６が、一般歩道左境界線分の下端及び一般歩道右境界線分の下端よりも、一般歩道左境界線分の上端及び一般歩道右境界線分の上端に近い位置を、画像中心線が通るか否かについても検出する。

そして、進行方向検出部６が、一般歩道左境界線分及び一般歩道右境界線分と画像中心線とが交差していないことを検出し、さらに、一般歩道左境界線分の下端及び一般歩道右境界線分の下端よりも、一般歩道左境界線分の上端及び一般歩道右境界線分の上端に近い位置を、画像中心線が通ることを検出すると、進行方向判定部７が、歩行者の向きは「正常状態である」と判定する。

以上のように、本発明の歩行者進行方向判定システム１は進行方向検出部６を備え、進行方向検出部６は、境界線分すなわち、横断歩道左境界線分２６及び横断歩道右境界線分２７と画像中心線２２とが交差しているか否かを検出可能であり、さらに、横断歩道左境界線分２６の下端及び横断歩道右境界線分２７の下端よりも、横断歩道左境界線分２６の上端及び横断歩道右境界線分２７の上端に近い位置を、画像中心線２２が通るか否かを検出可能であるので、撮像画像の中で傾斜した境界線分を有する設置物体に対する歩行者の向きを検出できる。

また、本発明の歩行者進行方向判定システム１は進行方向判定部７を備え、進行方向判定部７は、進行方向検出部６が、横断歩道左境界線分２６及び横断歩道右境界線分２７と画像中心線２２とが交差していないことを検出し、かつ、進行方向検出部６が、横断歩道左境界線分２６の下端及び横断歩道右境界線分２７の下端よりも、横断歩道左境界線分２６の上端及び横断歩道右境界線分２７の上端に近い位置を画像中心線２２が通ることを検出した場合、歩行者の向きが「正常状態である」と判定可能であるので、傾斜した境界線分を有する設置物体に対する歩行者の向きが、正常であるか否かを確認できる。

従って、本発明の歩行者進行方向判定システム１は、進行するときの歩行者にとって安心安全な向きを判定できる。

また、本発明の歩行者進行方向判定ソフトウェアは、情報処理機器を、本発明の歩行者進行方向判定システム１が備える進行方向検出部６及び進行方向判定部７と同様の機能を有するメガネ装置２として機能させることができる。

従って、本発明の歩行者進行方向判定ソフトウェアは、進行するときの歩行者にとって安心安全な向きを判定できる。

１歩行者進行方向判定システム
２メガネ装置
３サーバ
４撮像カメラ
４Ａ撮像画像送信部
４Ｂ撮像画像受信部
５物体検出部
５Ａ検出物体情報送信部
５Ｂ検出物体情報受信部
６進行方向検出部
７進行方向判定部
８告知部
９検出物体情報データベース
１０物体特定部
１０Ａ特定物体情報送信部
１０Ｂ特定物体情報受信部
１１音声送信部
１２音声受信部
１３経路情報設定部
１３Ａ経路情報送信部
１３Ａ経路情報受信部
１４インターネット
２０撮像画像
２１拡張現実撮像画像
２２画像中心線
２３撮像画像中心点
２４正常判定結果記号
２５横断歩道存在領域矩形
２５Ａ横断歩道断片矩形
２６横断歩道左境界線分
２７横断歩道右境界線分
２８横断歩道到着口線分
２９歩行者用信号機存在領域矩形
３０振動告知部
３１本体
３２振動体
４０撮像画像
４１拡張現実撮像画像
４２画像中心線
４３撮像画像中心点
４４異常判定結果記号
４５横断歩道存在領域矩形
４７横断歩道右境界線分
４８横断歩道到着口線分
４９歩行者用信号機存在領域矩形

Claims

歩行者の少なくとも前方を撮像可能な撮像部と、
該撮像部が撮像して得られた撮像画像であって同撮像画像の中心点を通ると共に同撮像画像の縦方向へ延びた画像中心線を有する同撮像画像の中で、設置された物体である設置物体の境界線分であって同撮像画像の少なくとも下部の領域において、同撮像画像の縦方向に対して傾斜して延びた同境界線分を検出可能な物体検出部と、
前記境界線分と前記画像中心線とが交差しているか否かを検出可能であり、かつ、同境界線分の下端よりも同境界線分の上端に近い位置を同画像中心線が通るか否かを検出可能な進行方向検出部と、
該進行方向検出部が、前記境界線分と前記画像中心線とが交差していないこと、及び同境界線分の下端よりも同境界線分の上端に近い位置を同画像中心線が通ることを検出した場合、歩行者の向きが正常状態であると判定可能な進行方向判定部と、を備える
歩行者進行方向判定システム。
前記境界線分は、前記撮像画像の座標系における上端のｘ座標値が下端のｘ座標値よりも大きい左境界線分と、同撮像画像の座標系における上端のｘ座標値が下端のｘ座標値よりも小さい右境界線分である
請求項１に記載の歩行者進行方向判定システム。
前記設置物体に関する情報である設置物体情報を記録可能な検出物体情報記録部と、
前記物体検出部が検出した設置物体の情報と、前記検出物体情報記録部が記録した前記設置物体情報とを照合して、同設置物体を特定可能な物体特定部とを備え、
前記進行方向検出部は、前記物体特定部が前記設置物体を横断歩道であると特定した場合、前記物体検出部が前記設置物体を検出したときに前記撮像画像の中に表示される、同横断歩道の全体に対応した横断歩道存在領域矩形の、同撮像画像の座標系における縦方向の座標値であり画像下方向へ進むにつれ大きくなるｙ座標値が一番小さい横方向線分の中のｘ座標値が、前記左境界線分との交点のｘ座標値より大きい若しくは前記右境界線分との交点のｘ座標値より小さい部分である横断歩道到着口線分と、前記画像中心線とが交差しているか否かを、さらに検出可能である
請求項２に記載の歩行者進行方向判定システム。
前記進行方向検出部はさらに、前記物体特定部が横断歩道であると特定した設置物体とは別の設置物体を同物体特定部が歩行者用信号機であると特定した場合、前記撮像画像の座標系における、同歩行者用信号機の座標と、前記画像中心線との間の最短距離が所定の範囲内であるか否かを検出可能であり、
前記進行方向判定部はさらに、前記進行方向検出部が、前記横断歩道到着口線分と前記画像中心線とが交差していることを検出し、かつ、前記歩行者用信号機の座標と、前記画像中心線との間の最短距離が所定の範囲内であることを検出した場合、歩行者の向きがさらに正常状態であると判定可能である
請求項３に記載の歩行者進行方向判定システム。
前記進行方向判定部が判定した結果を告知可能な告知部を備え、
前記進行方向判定部は、前記画像中心線が前記左境界線分と交差していることを前記進行方向検出部が検出した場合、歩行者の向きが第１の異常状態であると判定可能であり、同画像中心線が前記右境界線分と交差していることを同進行方向検出部が検出した場合、歩行者の向きが第２の異常状態であると判定可能であり、
前記告知部は、前記進行方向判定部が第１の異常状態であると判定した場合、右への方向転換を促す情報を告知可能であり、同進行方向判定部が第２の異常状態であると判定した場合、左への方向転換を促す情報を告知可能である
請求項２に記載の歩行者進行方向判定システム。
前記告知部は、本体と複数の振動体とを有する振動告知部であって、同本体は長手方向を有し、かつ、長手方向の一方側と、この一方側とは反対側に位置する他方側とを着脱自在に連結して環状を形成可能であり、同振動体は同本体の一方の面に同本体の長手方向へ並べて取付けられており、右への方向転換を促す情報を告知する場合に環状の同本体の片方側に位置する振動体を振動可能であり、左への方向転換を促す情報を告知する場合に片方側の振動体とは反対側に位置する他方側の振動体を振動可能である前記振動告知部である
請求項５に記載の歩行者進行方向判定システム。
前記進行方向判定部が判定した結果を告知可能な告知部と、
出発地と目的地に関する情報に基づいて、出発地と目的地との間の経路に関する情報である経路情報を設定可能な経路情報設定部と、を備え、
前記告知部は、前記経路情報設定部が設定した経路情報に基づいて方向転換を告知可能であり、
前記進行方向判定部は、前記告知部が前記経路情報に基づいて方向転換を告知した時から所定の時間内に、前記進行方向検出部が前記境界線分と前記画像中心線とが交差したことを検出した場合、歩行者の向きが方向転換状態であると判定可能である
請求項１に記載の歩行者進行方向判定システム。
進行するときの歩行者の向きを判定するための歩行者進行方向判定ソフトウェアであって、
情報処理機器を、
歩行者の少なくとも前方を撮像可能な撮像部が撮像して得られた撮像画像であって同撮像画像の中心点を通ると共に同撮像画像の縦方向へ延びた画像中心線を有する同撮像画像の中で、設置された物体である設置物体の境界線分であって同撮像画像の少なくとも下部の領域において、同撮像画像の縦方向に対して傾斜して延びた同境界線分を検出可能な物体検出部と、
前記境界線分と前記画像中心線とが交差しているか否かを検出可能であり、かつ、同境界線分の下端よりも同境界線分の上端に近い位置を同画像中心線が通るか否かを検出可能な進行方向検出部と、
該進行方向検出部が、前記境界線分と前記画像中心線とが交差していないこと、及び同境界線分の下端よりも同境界線分の上端に近い位置を同画像中心線が通ることを検出した場合、歩行者の向きが正常状態であると判定可能な進行方向判定部と、
を含む手段として機能させるための歩行者進行方向判定ソフトウェア。