JP7523055B2 - 端末装置、ナビゲーション方法、および、ナビゲーションプログラム - Google Patents

Description

本開示は、端末装置、ナビゲーション方法、および、ナビゲーションプログラムに関する。

特許文献１には、カメラ及びカメラの撮像画像を表示するための表示器を備えた、ナビゲーション機能付きの携帯端末が記載されている。当該携帯端末は、当該携帯端末の現在位置を検出するための第１検出手段と、カメラの向きを検出するための第２検出手段と、目的地を設定するための設定手段と、設定手段によって設定された目的地と、第１検出手段によって検出された現在位置とに基づいて、現在位置から目的地までの経路に関する情報をサーバから取得する取得手段と、取得手段によって取得した経路に関する情報ならびに第２検出手段によって検出されたカメラの向きに基づいて、カメラの撮像画像上での進むべき方向を算出する算出手段と、カメラの撮像画像に算出手段によって算出された進むべき方向を示す指標を付加して表示器に表示させる手段と、を備える。

特開２００６－１９４６６５号公報

本開示は、ユーザを適切にナビゲートすることができる、端末装置、ナビゲーション方法、および、ナビゲーションプログラムを提供する。

本開示は、ナビゲーションを実行可能な端末装置であって、プロセッサと、画面と、カメラと、メモリと、を備え、前記プロセッサは、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させ、前記端末装置のユーザが前記ナビゲーションのルート上の昇降手段を使用していることを検知したときに、前記画面に、昇降中であることを示す情報を表示させ、前記ナビゲーション用オブジェクトを非表示にする、端末装置を提供する。
また、本開示は、ナビゲーションを実行可能な端末装置であって、プロセッサと、画面と、カメラと、メモリと、を備え、前記プロセッサは、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させ、床面から所定の高さにあるナビゲーション開始位置に向けられた前記端末装置の、前記床面に対する相対位置を算出し、前記ナビゲーション用オブジェクトを、前記画面に表示された前記床面から所定の高さになるように表示させる、端末装置を提供する。
また、本開示は、ナビゲーションを実行可能な端末装置であって、プロセッサと、画面と、カメラと、メモリと、を備え、前記プロセッサは、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させ、ナビゲーション機能の実行中に前記カメラによって平面を検出したときに、前記平面が床面に相当するか否かを判定し、前記平面が床面に相当する場合、前記端末装置の、前記平面に対する相対位置を算出し、前記ナビゲーション用オブジェクトの高さを、前記平面に対する前記カメラの高さに対して一定の高さの範囲内に収まるように変更する、端末装置を提供する。
また、本開示は、ナビゲーションを実行可能な端末装置であって、プロセッサと、画面と、カメラと、メモリと、を備え、前記プロセッサは、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させ、前記カメラによる撮像画像から特徴点情報を抽出して前記メモリに保存し、所定のタイミングで、前記特徴点情報を前記メモリから取得し、取得した前記特徴点情報に基づいて、前記ナビゲーション用オブジェクトの前記画面への表示位置を調整する、端末装置を提供する。

また、本開示は、ナビゲーションを実行可能な端末装置による、ナビゲーション方法であって、前記端末装置は、プロセッサと、画面と、カメラを備え、前記プロセッサが、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させるステップと、前記プロセッサが、前記端末装置のユーザが前記ナビゲーションのルート上の昇降手段を使用していることを検知したときに、前記画面に、昇降中であることを示す情報を表示させ、前記ナビゲーション用オブジェクトを非表示にするステップと、を有する、ナビゲーション方法を提供する。
また、本開示は、端末装置による、ナビゲーション方法であって、前記端末装置は、プロセッサと、画面と、カメラを備え、前記プロセッサが、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させるステップと、前記プロセッサが、床面から所定の高さにあるナビゲーション開始位置に向けられた前記端末装置の、前記床面に対する相対位置を算出し、前記ナビゲーション用オブジェクトを、前記画面に表示された前記床面から所定の高さになるように表示させるステップと、を有する、ナビゲーション方法を提供する。
また、本開示は、端末装置による、ナビゲーション方法であって、前記端末装置は、プロセッサと、画面と、カメラを備え、前記プロセッサが、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させるステップと、前記プロセッサが、ナビゲーション機能の実行中に前記カメラによって平面を検出したときに、前記平面が床面に相当するか否かを判定するステップと、前記平面が床面に相当する場合、前記端末装置の、前記平面に対する相対位置を算出し、前記ナビゲーション用オブジェクトの高さを、前記平面に対する前記カメラの高さに対して一定の高さの範囲内に収まるように変更するステップと、を有する、ナビゲーション方法を提供する。
また、本開示は、端末装置による、ナビゲーション方法であって、前記端末装置は、プロセッサと、画面と、カメラと、メモリを備え、前記プロセッサが、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させるステップと、前記プロセッサが、前記カメラによる撮像画像から特徴点情報を抽出して前記メモリに保存し、前記プロセッサが、所定のタイミングで、前記メモリから前記特徴点情報を取得し、取得した前記特徴点情報に基づいて、前記ナビゲーション用オブジェクトの前記画面への表示位置を調整するステップと、を有する、ナビゲーション方法を提供する。

また、本開示は、ナビゲーションプログラムであって、プロセッサと、画面と、カメラを備え、ナビゲーションを実行可能な端末装置に、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させる機能と、前記端末装置のユーザが前記ナビゲーションのルート上の昇降手段を使用していることを検知したときに、前記画面に、昇降中であることを示す情報を表示させ、前記ナビゲーション用オブジェクトを非表示にする機能と、を実行させる、ナビゲーションプログラムを提供する。
また、本開示は、ナビゲーションプログラムであって、プロセッサと、画面と、カメラを備えた端末装置に、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させる機能と、床面から所定の高さにあるナビゲーション開始位置に向けられた前記端末装置の、前記床面に対する相対位置を算出し、前記ナビゲーション用オブジェクトを、前記画面に表示された前記床面から所定の高さになるように表示させる機能と、を実行させる、ナビゲーションプログラムを提供する。
また、本開示は、ナビゲーションプログラムであって、プロセッサと、画面と、カメラを備えた端末装置に、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させる機能と、ナビゲーション機能の実行中に前記カメラによって平面を検出したときに、前記平面が床面に相当するか否かを判定する機能と、前記平面が床面に相当する場合、前記端末装置の、前記平面に対する相対位置を算出し、前記ナビゲーション用オブジェクトの高さを、前記平面に対する前記カメラの高さに対して一定の高さの範囲内に収まるように変更する機能と、を実行させる、ナビゲーションプログラムを提供する。
また、本開示は、ナビゲーションプログラムであって、プロセッサと、画面と、カメラと、メモリを備えた端末装置に、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させる機能と、前記カメラによる撮像画像から特徴点情報を抽出して前記メモリに保存する機能と、前記プロセッサが、所定のタイミングで、前記メモリから前記特徴点情報を取得し、取得した前記特徴点情報に基づいて、前記ナビゲーション用オブジェクトの前記画面への表示位置を調整する機能と、を実行させる、ナビゲーションプログラムを提供する。

本開示によれば、ユーザを適切にナビゲートすることができる。

本開示の実施形態に係る端末装置１００を例示する概念図 端末装置１００のシステム構成例を示す概念図 本開示の実施形態に係る端末装置１００を用いた、ＡＲナビゲーションの開始方法を示す概念図 端末装置１００が電子看板１０からＩＤを取得する際の、ディスプレイ１０６による表示例 ディスプレイ１０６による、目的地リスト２０４の表示例 端末装置１００の初期高さ検出を行う際の、ディスプレイ１０６による表示例 端末装置１００の現在の高さおよび向きが特定された際の、ディスプレイ１０６による表示例 ＡＲナビゲーション開始時の、ディスプレイ１０６による表示例 端末装置１００のカメラ１０３を電子看板１０に向けていたユーザが、１８０度反転した際の、ディスプレイ１０６による表示例 上下移動注意喚起の第１態様における、ディスプレイ１０６による表示例 上下移動注意喚起の第２態様における、ディスプレイ１０６による表示例 上下移動注意喚起の第３態様における、ディスプレイ１０６による表示例 端末装置１００の、ＡＲ空間における向き補正を示す概念図であり、（ａ）補正前、（ｂ）補正後 ＡＲナビゲーション終了時の、ディスプレイ１０６による表示例 初期高さ検出を行う際の、端末装置１００の内部処理例を示すブロック図 高さ補正処理を行う際の、端末装置１００の内部処理例を示すブロック図 高さ補正処理の第２の態様を行う際の、端末装置１００の内部処理例を示すブロック図 上下移動注意喚起を行う際の、端末装置１００の内部処理例を示すブロック図 上下移動補正の第１態様（向きの補正）を行う際の、端末装置１００の内部処理例を示すブロック図 上下移動補正の第２態様（位置の補正）を行う際の、端末装置１００の内部処理例を示すブロック図

（本開示に至る経緯）
ＧＰＳ等の位置特定システムを用いて、人や車両などを目的地へと誘導するナビゲーションシステムが公知である。かかるナビゲーションシステムは、宇宙にある人工衛星から送出される電波を機器側で受信して、機器の現在位置を算出し、機器のユーザ（人、車両等）を目的地へと誘導（ナビゲート）する。

しかし、例えば駅の構内や地下街等のように、現在位置を特定するための電波が機器に届きにくい、あるいは電波が届かない場所が存在する。このような場所においては、従来のナビゲーションシステムでは、機器を携行するユーザを正しく誘導することはできなかった。

そこで、以下の実施の形態では、現在位置を特定するための電波が届きにくい、あるいは届かないような屋内等においても、ユーザを適切にナビゲートすることができる、端末装置、ナビゲーション方法、および、ナビゲーションプログラムの実施形態を説明する。

以下、適宜図面を参照しながら、本開示に係る端末装置、ナビゲーション方法、および、ナビゲーションプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、本開示の実施形態に係る端末装置１００を例示する概念図である。図２は、端末装置１００のシステム構成例を示す概念図である。

端末装置１００は、ユーザと共に移動可能な装置あり、例えばスマートフォンやタブレット端末、ノートパソコン、ヘッドマウントディスプレイ等であってよい。本例においては、例示として、端末装置１００はスマートフォンであるという前提で、下記の説明を行う。

本例における端末装置１００は、プロセッサ１０１、メモリ１０２、カメラ１０３、加速度センサ１０４、気圧センサ１０５、ディスプレイ１０６、ネットワークインタフェース１０７を備える。

プロセッサ１０１は、例えばＣＰＵまたはＦＰＧＡを用いて構成され、メモリ１０２と協働して、端末装置１００における各種の処理および制御を行う。具体的には、プロセッサ１０１は、メモリ１０２に保持されたプログラムを参照し、そのプログラムを実行することにより、端末装置１００が備える各種の機能を実現する。なお、スマートフォンである端末装置１００についてのプログラムは、スマートフォンアプリであってよい。

メモリ１０２は、例えばプロセッサ１０１の処理を実行する際に用いられるワークメモリとしてのＲＡＭと、プロセッサ１０１の処理を規定したプログラムを格納するＲＯＭとを有する。ＲＡＭには、プロセッサ１０１により生成あるいは取得されたデータが一時的に保存される。ＲＯＭには、プロセッサ１０１の処理を規定するプログラムが書き込まれている。なお、スマートフォンである端末装置１００に各種の機能を実行させるためのプログラムデータおよび、当該プログラムが用いるデータが、メモリ１０２に保存されていてよい。

メモリ１０２にはさらに、後述のＡＲナビゲーションデータを保存してよい。ＡＲナビゲーションデータは、メモリ１０２内に予め記憶されていてよく、サーバ２０等から当該ＡＲナビゲーションデータをダウンロードして、メモリ１０２内に記憶してもよい。

カメラ１０３は、端末装置１００の所望の撮像範囲に含まれる被写体（人物、建物、景色等）を撮像する撮像用のカメラであってよい。また、カメラ１０３は、バーコードや二次元コード等の識別コードを読み取り可能なものであってよい。端末装置１００を用いてユーザにナビゲーションを行う時、端末装置１００は、カメラ１０３が撮像した画像に、後述のナビゲーション用ＡＲオブジェクトを重畳して、ディスプレイ１０６に表示してもよい（ＡＲナビゲーション）。

加速度センサ１０４は、端末装置１００の加速度を検出する。加速度センサ１０４が測定するものの中には重力加速度も含まれてよく、人の動きや振動、衝撃等を、加速度センサ１０４によって検知することができる。例えば、加速度センサ１０４は、Ｘ軸、Ｙ軸、Ｚ軸の３軸加速度センサであってよい。より精密なセンサ情報を取得するために、加速度センサ１０４は、加速度だけでなく角速度も検知可能な６軸センサであってもよい。

気圧センサ１０５は、端末装置１００の周辺の気圧を検出する。この気圧センサ１０５で周囲の気圧を測定することにより、端末装置１００の現在位置の高さを、端末装置１００は取得することができる。

ディスプレイ１０６は、端末装置１００のユーザに情報を表示する。ディスプレイ１０６は、ユーザが指やスタイラスなどを用いてタッチすることにより情報を入力する入力機能と、情報を表示する表示機能とを併せ持つタッチパネルディスプレイであってよい。端末装置１００が例えばノートパソコンであった場合は、ディスプレイ１０６は、キーボードやマウスなどの入力手段と、液晶モニタ等の表示手段の双方に相当してよい。ディスプレイ１０６や、ノートパソコンの液晶モニタ等の表示手段を、「画面」と表現することがある。

ネットワークインタフェース１０７は、端末装置１００の外部との通信を行うためのインタフェースである。例えば、端末装置１００がスマートフォンである場合、図２に示されているように、端末装置１００は基地局ＢＳを経由して、サーバ２０等の外部装置と通信を行うことができる。この時のネットワークは、モバイルネットワークやｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉｆｉであってよい。ただし、これら以外のネットワークインタフェースを排除する意図はない。

端末装置１００がのノートＰＣ等である場合、ネットワークインタフェース１０７は、例えば有線ＬＡＮアダプタや無線ＬＡＮアダプタなどであってよい。また、通信回線は例えば、ＩＰネットワークであってよい。

端末装置１００が備える上記の各構成要素は、全て必須であるとは限らず、一部の構成要素はなくてもよい。逆に、端末装置１００は他の構成要素を備えていてよい。例えば、端末装置１００は、近接センサ、周囲光センサなどの、種々のセンサを備えていてよい。

図３は、本開示の実施形態に係る端末装置１００を用いた、ＡＲナビゲーションの開始方法を示す概念図である。本開示におけるナビゲーション（ユーザの誘導）には、ＡＲ（Augmented Reality：拡張現実）技術が用いられる。カメラ１０３が撮像した画像に、ＡＲオブジェクト（例えば、目的地へ向けた進行方向を示す矢印等）を重畳させて、端末装置１００の画面（ディスプレイ１０６）に表示させる。

ここで上述のように、本開示におけるナビゲーションは、ＧＰＳ等の位置特定システム用の電波を受信するのが困難、あるいは受信することができない、駅の構内等での実施を前提としている。位置特定システム用の電波を受信できず、位置特定システムに基づく端末装置１００の現在位置および現在の向きが特定できない場合であっても、ＡＲナビゲーションの開始地点に対する端末装置１００の最初の高さおよび向きを決定するために、例えば、ＬｉｎｋＲａｙ（登録商標）が用いられる。

ＬｉｎｋＲａｙ（登録商標）は、ＬＥＤ（Light Emitting Diode）光源を高速点滅させることによって発信される可視光の信号（具体的には、発信対象の情報又はデータが重畳された信号）を、スマートフォンやタブレット端末等に搭載されたカメラ１０３と、専用のアプリケーションとを用いて高速受信するサービスの名称である。専用のアプリケーションは、端末装置１００において実行可能に予めインストールされ、メモリ１０２に記憶されてよい。ＬｉｎｋＲａｙ（登録商標）によれば、ユーザが端末装置１００をＬｉｎｋＲａｙ（登録商標）のサービス対象であるＬＥＤ光源にかざすことで、端末装置１００は、ＬＥＤ光源から発信された情報又はデータを取得できる。

図３に例示されているように、例えば駅構内の壁や柱などに、光源デバイスとして、電子看板１０が配置されている。電子看板１０は、床面ＦＬに対してほぼ垂直に配置されている。電子看板１０にはマーク１１が表示されている。端末装置１００のユーザは、電子看板１０に、端末装置１００のカメラ１０３を向ける。すると、上述のＬｉｎｋＲａｙ（登録商標）技術により、端末装置１００は電子看板１０から、可視光の信号を受信する。この可視光の信号には、識別情報であるＩＤが含まれている。識別情報であるＩＤは、光源デバイス（電子看板１０等）毎に異なる。説明の便宜上、図３に示されている電子看板１０のＩＤを、１１１１１１であるとする。サーバ２０から端末装置１００への情報のダウンロードについては後述する。

図４は、端末装置１００が電子看板１０からＩＤを取得する際の、ディスプレイ１０６による表示例である。画面（ディスプレイ１０６）には、マーク２０１と、ダウンロード進捗表示バー２０２と、矩形枠２０３とが表示されている。マーク２０１は、図１におけるマーク１１と同様であるので、説明を省略する。ダウンロード進捗表示バー２０２は、電子看板１０からのＩＤの取得の進捗をユーザに提示する。矩形枠２０３は、ユーザが端末装置１００をマーク２０１に対して正しく位置合わせするために表示された、位置合わせ用フレームである。なお、ＩＤ取得のためのマーク２０１を端末装置１００が検知済みであることを、矩形枠２０３の色を黄色に変える、等の手段によってユーザに示してもよい。

ＩＤを取得した端末装置１００は、上述の識別情報（ＩＤ）を、図示を省略するＬｉｎｋＲａｙプラットフォーム（サーバ）に送信する。ＬｉｎｋＲａｙプラットフォーム（サーバ）から、ＵＲＬ等のコンテンツ先情報が端末装置１００へと送信される。このコンテンツ先情報には例えば、電子看板１０の位置をナビゲーションの開始位置とする、１つまたは複数の目的地をそれぞれ示す、複数種類の情報が含まれてよい。

図５は、ディスプレイ１０６による、目的地リスト２０４の表示例である。この目的地リスト２０４を表示するための情報は、上述のコンテンツ先情報に含まれていてよい。また、電子看板１０のＩＤに基づいてコンテンツ先情報を取得しているので、目的地リスト２０４に含まれる目的地は、いずれも、電子看板１０が設置されている位置をナビゲーションの開始位置とした場合の目的地であってよい。ユーザは、端末装置１００のディスプレイ１０６（タッチパネルディスプレイ）をタップして、これから向かいたい目的地を選択する。すると、端末装置１００は、取得済みのコンテンツ先情報に基づいて、サーバ２０から、指定コンテンツを受信（ダウンロード）する。説明の便宜上、ユーザは「〇〇〇センター１Ｆ」を、ＡＲナビゲーションの目的地として選択した、という前提で説明する。

（サーバ２０から端末装置１００にダウンロードされるコンテンツ）
端末装置１００は、光源デバイス（電子看板１０等）毎に異なる識別情報であるＩＤに基づいて、指定コンテンツをサーバ２０からダウンロードすることができる。当該ダウンロードされるコンテンツ（以下、ＤＬコンテンツと表現することがある）には、例えば、以下のような情報が含まれていてよい。
・ＩＤで特定された光源デバイス（電子看板１０等）における、起点情報（マーク２０１等）を示す特徴量データ（ＤＡＴＡ１）。
・ＩＤで特定された光源デバイス（電子看板１０等）における、起点情報（マーク２０１等）の設置高さや設置方向を示す位置情報データ（ＤＡＴＡ２）。
・ＩＤで特定された光源デバイス（電子看板１０等）から目的地までのＡＲナビゲーションデータ（ＤＡＴＡ３）。

（コンテンツ取得ための他の実施例）
ＬｉｎｋＲａｙ（登録商標）を用いた、ＡＲナビゲーションデータの取得について説明した。しかし例えば、ナビゲーション開始地点となる壁や柱等の固定位置に、二次元コードなどの、上述のＩＤに代替する情報を配置することにより、端末装置１００は上述と同様に、所望のＡＲナビゲーションデータをサーバ２０から取得することができる。その他、ナビゲーション開始地点となる壁や柱等の固定位置に、上述のもの以外の近距離通信を用いて情報あるいはデータの送受信を行う近接通信機器（情報通信機器の一例）を接地してよい。近距離通信は、例えばビーコン端末であってよい。ビーコン端末は、例えば通信規格であるＢＬＥ（Bluetooth（登録商標） Low Energy）を用いて、上述のＩＤに相当する情報を含む信号を発信する。ビーコン端末は、ＩＤに相当する情報を含む信号を、数秒に１回、自端末の設置位置を起点として半径数十センチメートルから数十メートルの範囲に発信する。

（端末装置１００の初期高さ検出）
図６は、端末装置１００の初期高さ検出を行う際の、ディスプレイ１０６による表示例である。目的選択（図５参照）に続いて、ユーザは、端末装置１００のカメラ１０３を、再びマーク２０１に向ける（図６参照）。すると端末装置１００は、カメラ１０３によってマーク２０１（起点情報）を取得（本例の場合はマークを撮像）し、撮像画像におけるマーク２０１の形状の歪みに基づいて、端末装置１００の、床面ＦＬ（図３参照）に対する相対位置を算出する。この相対位置は、電子看板１０に表示されたマーク２０１の位置を利用して算出することができる。マーク２０１は、床面ＦＬから所定の高さに表示される。マーク２０１が表示されている位置を、ＡＲナビゲーション開始位置とする。このＡＲナビゲーション開始位置（マーク２０１が表示されている位置）と、床面ＦＬとの間の位置関係は事前に定まっている。一方、端末装置１００は、撮像画像におけるマーク２０１の形状の歪みに基づいて、マーク２０１が表示されている位置とカメラ１０３との間の相対位置関係を特定することができる。そのため、端末装置１００は、床面ＦＬとの位置関係が固定されたＡＲナビゲーション開始位置と、上述のマーク２０１の形状の歪みから、端末装置１００の現在の（床面ＦＬからの）高さ、および向きを算出することができる。

なお、上記の例では、端末装置１００の、床面ＦＬ（図３参照）に対する相対位置を算出するための起点となる情報（起点情報）として、マーク２０１を用いた。しかし、起点情報は、マーク２０１以外の情報であってもよい。例えば、ナビゲーション開始位置に配置された物体の形状、模様、当該物体に配置された識別コード等も、端末装置１００の床面ＦＬに対する相対位置を算出するための起点情報となり得る。

図１５は、上記の初期高さ検出を行う際の、端末装置１００の内部処理例を示すブロック図である。図中、「画面」はディスプレイ１０６に、「カメラ」はカメラ１０３に、「６軸センサ」は加速度センサ１０４に、「サーバ」はサーバ２０に、それぞれ対応する。「ＡＲエンジン」は、プロセッサ１０１内に実装されていてよい。また、ＡＲエンジン用のチップ等が端末装置１００内に実装されており、これがプロセッサ１０１の一部であってもよい。上述の対応関係は、図１５～図２０について同様であるため、図１６～図２０については、上述の対応関係についての説明を省略する。

サーバ２０から取得したＤＬコンテンツには、マーク高さ情報（ＤＡＴＡ２に含まれる）と、マーク特徴量情報（ＤＡＴＡ１に含まれる）が含まれていてよい。カメラが取得した画像情報に基づいて、ＡＲエンジンがルート描画を行う。このルート描画は、カメラが取得した画像情報に、ナビゲーション用ＡＲオブジェクト(例えば図９の参照符号２０７)を重畳させる処理であってよい。ナビゲーション用ＡＲオブジェクトは、ＤＬコンテンツに含まれるＡＲナビゲーションデータ（ＤＡＴＡ３に含まれる）に基づいて、ＡＲエンジンによって生成されてよい。

ナビゲーション用ＡＲオブジェクトを、画面（ディスプレイ１０６）の、例えば床面ＦＬから所定の高さに表示するために、端末装置１００は、端末装置１００の高さを検出する。当該高さの検出を行うために、ＡＲエンジンが垂直面検出を行う。カメラが撮像した画像情報から垂直面を検出し、サーバ２０から取得されたマーク特徴量に基づいて、垂直面内にあるマーク２０１の位置を、ＡＲエンジンが特定する。端末装置１００は、サーバ２０から取得されたマーク高さ情報を用いて、画像情報から特定されたマーク２０１の位置が、床面ＦＬからどの程度の高さにあるかを、算出することができる。また、端末装置１００は例えばユーザが把持して動かしているので、端末装置１００が備える６軸センサ等の手段によって、端末装置１００の移動量を算出し、上述のマーク２０１の高さに端末装置１００の移動量を加味して、端末装置１００の現在の高さを検出する。以上のようにして、端末装置１００の初期高さを検出することができる。なお、端末装置１００の高さを基準にして、画像内の床面ＦＬから所定の高さにナビゲーション用ＡＲオブジェクトを重畳させる処理を、ＡＲエンジンがルート描画処理にて行う。

図７は、端末装置１００の現在の高さおよび向きが特定された際の、ディスプレイ１０６による表示例である。画面（ディスプレイ１０６）の上部には、選択された目的地である「〇〇〇センター１Ｆ」の文字列を含んだ、目的地ボックス２０５が表示される。また、画面の中央には、ＡＲナビゲーションの開始を示すメッセージ画像２０６が表示される。ユーザが端末装置１００をゆっくり振ると、端末装置１００の振動を加速度センサ１０４が検知して、ＡＲナビゲーションが開始される。

図８は、ＡＲナビゲーション開始時の、ディスプレイ１０６による表示例である。目的地ボックス２０５には、ＡＲナビゲーションの目的地である「〇〇〇センター１Ｆ」までの距離「２１７ｍ」と、徒歩の場合に想定される、到着までにかかる予測時間「３分」が表示されている。なお、目的地ボックス２０５に表示される情報は、図９以降も同様であるため、以後説明を省略する。

ディスプレイ１０６の画面中央付近に、ナビゲーション用ＡＲオブジェクト２０７が表示されている。本例においては、ナビゲーション用ＡＲオブジェクト２０７は、幅のある線（図９以降参照）や矢印で構成されている。ただし、ナビゲーション用ＡＲオブジェクト２０７の形状は、前述の態様には限定されない。ナビゲーション用ＡＲオブジェクト２０７は、カメラ１０３が撮像した画像に重畳して表示される。

（高さ補正処理）
図９は、端末装置１００のカメラ１０３を電子看板１０に向けていたユーザが、１８０度反転した際の、ディスプレイ１０６による表示例である。端末装置１００は、ナビゲーション用ＡＲオブジェクト２０７を、画面に表示された床面ＦＬから所定の高さｈになるように表示させる。なお、ｈ＝０であってもよい。

上述の、マーク２０１を用いた端末装置１００の初期高さ検出とは異なり、ＡＲナビゲーションを開始した後は、マーク２０１を高さの基準として用いて、ナビゲーション用ＡＲオブジェクト２０７の表示高さを調整することはできない。端末装置１００は、初期位置から別の位置へと動いているからである。ＡＲナビゲーションの開始後においては、カメラが撮像した画像に含まれる平面を基準にして、ナビゲーション用ＡＲオブジェクト２０７の表示高さを補正する。

ＡＲナビゲーションの実行中に、カメラ１０３が撮像した画像に基づいて、端末装置１００が備えるＡＲエンジンが平面を検出する。この平面は水平面であってよいが、厳密な水平面でなくともよく緩やかな斜面等であってもよい。このような平面の検出アルゴリズムは、既存技術を用いてよい。本開示では一例として、カメラ１０３が撮像した画像に含まれる特徴点を利用する。特徴点とは、撮像されている画像内で他の部分と比べて際立った特徴がある部分である。端末装置１００の移動に伴い、この部分が平面的に移動していれば平面の一部であると推定できる。特徴点の直感的な例としては、壁や床の模様や汚れ等であるが、必ずしも肉眼で認識可能な部分である必要はない。特徴点の検出や追跡の手順は画像認識の分野で既知であるため、詳細な説明は省略する。

ここで、カメラ１０３の撮像画像に写りこむ水平面は１つの面だけとは限らない。図９に示されているように、床面ＦＬの他に、例えば長椅子等であってよい物体ＯＢＪが、水平面（この例においては座面）を有していることがある。従って、端末装置１００は、ＡＲエンジンが検出した平面の中から、床面ＦＬに相当する面を特定する、床面特定処理を行う。すなわち、プロセッサ１０１が、検出された平面が床面に相当するか否かを判定する。この判定により、画像中の床面ＦＬは、床面に相当すると判定され、画像中の物体ＯＢＪの上面は、床面には相当しない判定される。なお、ある平面が床面に相当するか否かの判定基準として、例えば所定の面積以上の平面を床面であると判定してよく、それ以外の既存技術の判定基準が用いられてもよい。

端末装置１００は、平面が床面ＦＬに相当する場合、端末装置１００の前記平面に対する相対位置を、撮像画像に基づいて算出する。端末装置１００は、この相対位置に基づいて、ナビゲーション用ＡＲオブジェクトを、画面（ディスプレイ１０６）に表示された平面から所定の高さｈになるように表示させる。

図１６は、上記の高さ補正処理を行う際の、端末装置１００の内部処理例を示すブロック図である。図１５と同様の部分については、説明を省略する。図１６の右側に示されているように、カメラが撮像した画像情報に基づいて、ＡＲエンジンが平面（例えば水平面）を検出する。端末装置１００は、検出された平面の中から、床面に相当する平面を特定する。端末装置１００は、床面に相当すると特定された平面についての情報と、ルート描画を行うＡＲエンジンにおける、現在のルート高さ（ナビゲーション用ＡＲオブジェクトの表示高さ）を示す情報から、高さ補正量を算出する。そしてＡＲエンジンは、ルート描画処理において、算出済みの高さ補正量に基づいて、ナビゲーション用ＡＲオブジェクトの表示高さを補正する。

（高さ補正処理の第２の態様）
ここで、ナビゲーション用ＡＲオブジェクトの表示高さ補正についての、第２の態様を説明する。第２の態様においては、高さの閾値を用いる。

例えば端末装置１００がスマートフォンであった場合、ユーザは当該スマートフォンを手で把持し、歩きながら目的地へと向かう。すると、端末装置１００が備えるカメラの高さ（カメラ視点の高さ）が、床面ＦＬから１０ｃｍの高さである、ということはほぼあり得ない。ユーザが、端末装置１００で床面ＦＬをなでるような姿勢で、目的地へ向かうのは不自然だからである。すなわち、ユーザが端末装置１００を携行して移動することを想定すると、床面ＦＬからみたカメラ１０３の高さは、所定の高さ範囲内に収まると考えられる。逆に、カメラ１０３の高さからみた床面ＦＬの高さも、所定の高さ範囲内に収まると考えられる。

そこで、高さ補正処理の第２の態様においては、端末装置１００（プロセッサ１０１）は、ナビゲーション用ＡＲオブジェクト２０７の高さが、カメラ１０３の高さに対して一定の高さの範囲内に収まるように、ナビゲーション用ＡＲオブジェクト２０７の高さを変更してよい。

図１７は、上記の高さ補正処理の第２の態様を行う際の、端末装置１００の内部処理例を示すブロック図である。図１５や図１６と同様の部分については、説明を省略する。図１６に示したブロック図との相違点は、高さ補正量算出処理において、サーバ２０から高さ閾値情報（一定の高さの範囲を示す情報）を取得し、この高さ閾値情報も用いて、高さ補正量を算出している点である。なお、高さ閾値情報は、上述のＤＬコンテンツに含まれていてよく、端末装置１００がサーバ２０から別途取得してもよく、端末装置１００のメモリ１０２内に予め記憶されていてもよい。

（ＡＲ空間固定）
次に、カメラ１０３の撮像画像から抽出した特徴点の扱いについて説明する。端末装置１００は、カメラ１０３が撮像した撮像画像から特徴点を抽出して画像認識を行ってよい。抽出された特徴点情報を記憶手段に保持しておけば、次に同じルートでＡＲナビゲーションを行う際に、その特徴点情報を、ナビゲーションの目印として用いることができる。そこで、端末装置１００（プロセッサ１０１）は、カメラ１０３による撮像画像から特徴点情報を抽出してメモリ１０２に保存しておき、所定のタイミングで、当該特徴点情報を出力する。特徴点情報の出力は、特徴点情報を含んだファイルを出力することであってよく、当該ファイルには、その特徴点の、ＡＲ空間における位置（座標系における座標値など）を示す情報が含まれていてよい。また、特徴点情報の出力は、前述のような特徴点情報を、サーバ２０へアップロードすることであってもよい。

出力された特徴点情報は、次に同じルートでＡＲナビゲーションを行う際の第２の端末装置（上記端末装置１００と同じ端末装置であっても、別の端末装置であってもよい）によってダウンロード（取得）される。第２の端末装置は、取得した特徴点情報に基づいて、ナビゲーション用ＡＲオブジェクト２０７の、画面（ディスプレイ１０６等）への表示位置を調整する。すなわち、端末装置１００は、取得済みの特徴点情報に相当する特徴点を、カメラ１０３の撮像画像の中から探す（マッチング処理）。取得済みの特徴点情報に相当する特徴点が発見されたら、端末装置１００は当該発見された特徴点のＡＲ空間における座標値（位置）を、出力済みの特徴点情報が示す上述の座標値とする。すなわち、端末装置１００は、当該発見された特徴点の位置を、出力済みの特徴点情報に基づいて特定し、ナビゲーション中の誤差を減らすことができる。

なお、ＡＲ空間における端末装置１００の位置と、現実空間における端末装置１００の位置との間に誤差が少ないのは、ＡＲナビゲーションを開始したナビゲーション開始位置付近（上記の例では、電子看板１０の付近）である。つまり、ナビゲーション開始位置に近い領域から、より遠い領域に向けて、徐々に特徴点情報を保存していくことが考えられる。そのため、端末装置１００（プロセッサ１０１）が当該特徴点情報を出力する、前記の所定のタイミングは、ナビゲーション開始位置から所定の距離、前記ナビゲーション用ＡＲオブジェクト２０７の表示に基づいて端末装置１００を移動させた後であってよい。この所定の距離は、そのナビゲーションルートに沿ったＡＲナビゲーションが行われるたびに増加してもよい。

なお、特徴点情報についての保存データ量の削減の観点から、保存および出力される特徴点情報は、ナビゲーション開始位置の周辺にある特徴点情報のみに限定されてよい。この場合、保存および出力された特徴点情報は、同じナビゲーション開始位置（例えば、同じ電子看板１０）からスタートする、別の目的地へのＡＲナビゲーションにも、利用することができる。

また、保存および出力される特徴点情報は、違うナビゲーション開始位置からスタートするＡＲナビゲーションにおいても、利用することができる。仮に、ＡＲナビゲーションによるナビゲーションルートが２つ、ルートＡとルートＢが存在したとする。ルートＡとルートＢとで、一部、共通する経路がある場合は、当該共通する経路に存在する特徴点についての特徴点情報は、ルートＡによるＡＲナビゲーションと、ルートＢによるＡＲナビゲーションとで共用されてよい。

（上下移動注意喚起の第１態様）
図１０は、上下移動注意喚起の第１態様における、ディスプレイ１０６による表示例である。駅構内等においてユーザをナビゲートする際、ユーザは平面上を移動するとは限らず、ユーザは昇降手段を用いることがある。例えば、ナビゲーション開始位置が駅の１階にあり、目的地が駅の３階にある場合などである。昇降手段は、典型的には、階段、エスカレータ、エレベータ等である。ここで、画像の特徴点に基づいて現在位置を推定する仕組みでは、昇降手段が使われた場合の高さの変化を正確に追跡することは難しい。階段の場合は、段差の境界や影を特徴点として誤認して誤った平面を推定してしまったり、エレベータやエスカレータの場合は、エレベータ室内の壁や床またはエスカレータの段などの特徴点は見かけ上移動しないため、移動が発生したこと自体を認識することができなかったりするためである。

本開示においては、端末装置１００がＡＲナビゲーションのルート上に昇降手段（階段、エスカレータ、エレベータ等）を検知した場合、画面（ディスプレイ１０６）に、昇降手段の使用を促す情報を表示させる。この情報表示によって、端末装置１００のユーザに対して、上下移動についての注意喚起を行うことができる。

図１０は、端末装置１００がＡＲナビゲーションのルート上に昇降手段を検知した際の、ディスプレイ１０６による表示例を示している。画面（ディスプレイ１０６）には、下り階段が表示されている。この時点においては、ナビゲーション用ＡＲオブジェクト２０７は、ＤＬコンテンツ内に含まれるＡＲナビゲーションデータ（ＤＡＴＡ３）に基づいて、下り階段に沿うように重畳表示されてよい。昇降手段の使用を促す情報は、階段やエスカレータ等に沿うように表示されるナビゲーション用ＡＲオブジェクト２０７であってよく、また、「階段を下ってください」等のメッセージ情報や、前記メッセージ情報を含んだ矩形ボックス等であってよい。

（上下移動注意喚起の第２態様）
図１１は、上下移動注意喚起の第２態様における、ディスプレイ１０６による表示例である。端末装置１００（プロセッサ１０１）は、端末装置１００のユーザが昇降手段を使用していることを検知したときに、画面（ディスプレイ１０６）に、昇降中であることを示す情報２１０を表示させ、ナビゲーション用ＡＲオブジェクト２０７を非表示にする。なお、昇降中であることを示す情報２１０と、上述の昇降手段の使用を促す情報は、同じ情報であってもよい。

ここで上述のように、本開示におけるナビゲーションは、ＧＰＳ等の位置特定システム用の電波を受信するのが困難、あるいは受信することができない、駅の構内等での実施を前提としている。また、本開示におけるナビゲーションは、カメラ１０３による撮像画像に基づいて端末装置１００の現在位置を特定するものである。そのため、端末装置１００を携行したユーザが前方向だけでなく上下方向に移動した場合、画面（ディスプレイ１０６）に表示されるナビゲーション用ＡＲオブジェクト２０７の表示位置に、誤差が生じる恐れがある。そこで、端末装置１００のユーザが昇降手段を使用する際には、誤差が生じ得るナビゲーション用ＡＲオブジェクト２０７を画面（ディスプレイ１０６）から非表示にし、代わりに、昇降中であることを示す情報２１０を表示させる。

（上下移動注意喚起の第３態様）
図１２は、上下移動注意喚起の第３態様における、ディスプレイ１０６による表示例である。端末装置１００（プロセッサ１０１）は、端末装置１００のユーザが昇降手段の使用を終了したことを検知したときに、上述の昇降中であることを示す情報２１０を非表示にし、ナビゲーション用ＡＲオブジェクト２０７を再び表示させる。そして、再表示されたナビゲーション用ＡＲオブジェクト２０７を用いて、ＡＲナビゲーションが継続される。

図１８は、上下移動注意喚起を行う際の、端末装置１００の内部処理例を示すブロック図である。図１５～図１７と同様の部分については、説明を省略する。図中、「気圧センサ」は気圧センサ１０５に対応する。

ＡＲエンジンは、カメラが撮像した撮像画像に基づいて、端末装置１００の移動量を検出する。この移動量は例えば、撮像画像から抽出された特徴点の、画像内における移動距離に基づいて算出してよい。端末装置１００は、サーバ２０から取得したルート情報（ＤＡＴＡ３に含まれていてよい）と、検出した端末装置１００の移動量とに基づいて、端末装置１００の現在地を算出する。

また、位置補正量算出処理において、端末装置１００（のプロセッサ１０１）は、各種の情報に基づいて、ナビゲーション用ＡＲオブジェクト２０７の位置補正量を算出する。上記の各種情報は、気圧センサから取得した気圧情報、６軸センサから取得した端末装置１００の移動量情報、算出済の端末装置１００の現在地情報、および、サーバ２０から取得した上下移動始点情報（ＤＡＴＡ３に含まれ得る）および上下移動高さ情報（ＤＡＴＡ３に含まれ得る）等であってよい。

ＡＲエンジンは、算出された位置補正量に基づいてナビゲーション用ＡＲオブジェクト２０７の位置を補正し、ルート描画を行う（図１０参照）。つまり、端末装置１００は、カメラからの撮像画像に重畳して、位置補正済みのナビゲーション用ＡＲオブジェクト２０７を、画面（ディスプレイ１０６）に表示させる。階段などの昇降手段の始点（上下移動始点情報）および高さ（上下移動高さ情報）を加味して、ナビゲーション用ＡＲオブジェクト２０７の位置を補正したので、図１０に示されているように、ナビゲーション用ＡＲオブジェクト２０７は階段などの昇降手段に沿うように表示される。

さらに、端末装置１００が、ＡＲナビゲーションのルート上に昇降手段を検知した場合、端末装置１００のユーザが昇降手段を使用していることを検知した場合、または、端末装置１００のユーザが昇降手段の使用を終了したことを検知した場合には、上述の上下移動注意喚起（第１態様、第２態様または第３態様）に係る表示を行う。第２態様においては、ルート描画処理に係るナビゲーション用ＡＲオブジェクト２０７は非表示となる。第３態様においては、注意喚起描画処理に係る、昇降中であることを示す情報２１０は非表示となる。

（昇降手段の検知、昇降中であることの検知、昇降後であることの検知）
端末装置１００は、気圧センサからの気圧情報や、６軸センサからの端末装置１００の移動量情報に基づいて、端末装置１００の上下方向の移動を検知することができる。端末装置１００の上下方向の一定距離以上の移動を端末装置１００が検知した場合、端末装置１００のユーザが昇降手段を使用している（昇降中である）と判定してよい。この場合、端末装置１００は、昇降中であることを示す情報２１０を画面（ディスプレイ１０６）に表示させ、ナビゲーション用ＡＲオブジェクト２０７を非表示にする。

上記とは逆に、上下方向に移動していた端末装置１００が上下方向に移動しなくなったことを端末装置１００が検知した場合、端末装置１００は、端末装置１００のユーザが昇降手段の使用を終了した（昇降後である）と判定してよい。この場合、端末装置１００は、昇降中であることを示す情報２１０を画面（ディスプレイ１０６）から非表示にし、ナビゲーション用ＡＲオブジェクト２０７を再び表示させる。

現在地算出処理によって算出された現在地が、ルート情報に含まれている昇降手段がある位置（上下移動始点情報により特定可能）の手前の、所定距離内にある場合、端末装置１００がＡＲナビゲーションのルート上に昇降手段を検知したと判定してよい。この場合、端末装置１００は、昇降手段の使用を促す情報を画面に表示させる。

現在地算出処理によって算出された現在地が、ルート情報に含まれている昇降手段がある位置（上下移動始点情報により特定可能）と重なっているならば、端末装置１００は、端末装置１００のユーザが昇降手段を使用している（昇降中である）と判定してよい。この場合、端末装置１００は、昇降中であることを示す情報２１０を表示させ、ナビゲーション用ＡＲオブジェクト２０７を非表示にする。

現在地算出処理によって算出された現在地が、ルート情報に含まれている昇降手段がある位置（図１８においては図示を省略する、サーバから取得した、ＤＡＴＡ３に含まれ得る上下移動終点情報により特定可能）の後ろにある場合、端末装置１００は、端末装置１００のユーザが昇降手段の使用を終了した（昇降後である）と判定してよい。この場合、端末装置１００は、昇降中であることを示す情報２１０を画面（ディスプレイ１０６）から非表示にし、ナビゲーション用ＡＲオブジェクト２０７を再び表示させる。

（上下移動補正の第１態様）
上述のように、本開示におけるナビゲーションは、ＧＰＳ等の位置特定システム用の電波を受信するのが困難、あるいは受信することができない、駅の構内等での実施を前提としている。また、本開示におけるナビゲーションは、カメラ１０３による撮像画像に基づいて端末装置１００の現在位置を特定するものである。そのため、端末装置１００が移動するにつれて、端末装置１００の実際の位置や向きと、ＡＲ空間上の位置や向きとの間に、誤差が生じ、この誤差が徐々に大きくなる可能性がある。

端末装置１００を携行するユーザが、階段やエスカレータ等を使用している場合、この階段やエスカレータの向き（進行方向）は予め定まっている。階段やエスカレータの向き情報が、ＤＬコンテンツ内のＡＲナビゲーションデータ（ＤＡＴＡ３）に含まれていてよい。そこで、端末装置１００（のプロセッサ１０１）は、端末装置１００のユーザが昇降手段を使用していることを検知したときに、昇降手段を使用した場合に想定される所定の進行方向に基づいて、端末装置１００のＡＲ空間における向きを補正する。

図１３は、端末装置１００の、ＡＲ空間における向き補正を示す概念図であり、（ａ）補正前、（ｂ）補正後である。

ＡＲナビゲーションデータには、階段ＳＴを示すデータが含まれている。例えば、階段ＳＴの向きを示す向き情報が、ＡＲナビゲーションデータに含まれていてよい。また、階段ＳＴについての上下移動始点情報と、上下移動終点情報とが、ＡＲナビゲーションデータに含まれていてもよい。階段ＳＴについての上下移動始点情報と上下移動終点情報から、階段ＳＴの向き情報を算出することも可能である。階段ＳＴの向きは、端末装置１００のユーザが階段ＳＴを使用した場合に想定される進行方向に相当する。

図１３（ａ）および（ｂ）に示した白抜きの矢印は、階段ＳＴ上を歩行中のユーザが携行している端末装置１００の、ＡＲ空間上の向きを示している。この向きは、端末がＡＲ空間上で正しい移動方向だと認識している向き（この例では、階段ＳＴのＡＲ空間内での向き）である。図１３（ａ）の時点では、端末装置１００のＡＲ空間上の向きが、階段ＳＴの向きに対して斜め方向にずれている。

そこで、階段ＳＴ上を移動中の端末装置１００は、端末装置１００を携行するユーザが階段ＳＴを使用した場合に想定される所定の進行方向に、端末装置１００のＡＲ空間における向きを補正する。この補正処理後を示す図１３（ｂ）の時点では、端末装置１００のＡＲ空間上の向きが、階段ＳＴの向きに基づいて、適切に補正されている。

図１９は、上下移動補正の第１態様（向きの補正）を行う際の、端末装置１００の内部処理例を示すブロック図である。図１５～図１８と同様の部分については、説明を省略する。一般的に上下移動が発生する場合、上下移動が終了した直後の移動方向（上り切った直後の進行方向、あるいは、下り切った直後の進行方向）は限定されている。例えば、エレベータの場合は、エレベータの扉から出る移動方向にしか移動は発生し得ない。また、階段やエスカレータの場合も、移動方向は階段等を斜めに登った場合等の幅方向のずれはあるものの限定されている。そこで、本態様では、この性質を利用し、６軸センサや気圧センサ等を用いて上下移動の終了を検知した場合に、既知である昇降手段の向きに基づいて、端末装置１００のＡＲ座標空間上の向きを補正する。これにより、端末装置１００の実際の向きと、ＡＲ空間上の向きとの間にあった誤差は減少し、ＡＲナビゲーションを適切に継続することができる。なお、上下移動の終了の検知には、画像とは異なるセンサ（６軸センサ、気圧計、ジャイロセンサ、加速度センサ等）を用いるとよい。上述したとおり、画像を利用した移動の検知では、階段等での特徴点の誤認識が発生したり、エレベータおよびエスカレータで移動自体が検知できなかったりするためである。

（上下移動補正の第２態様）
上記の、上下移動補正の第１態様と同様に、ＧＰＳ等の位置特定システムではなく、カメラ１０３による撮像画像に基づいて端末装置１００の現在位置を特定するＡＲナビゲーションにおいては、端末装置１００が移動するにつれて、端末装置１００の実際の位置と、ＡＲ空間上の位置との間に誤差が生じ、この誤差が徐々に大きくなる可能性がある。

端末装置１００を携行するユーザが、階段、エスカレータまたはエレベータ等を使用した場合、この階段、エスカレータまたはエレベータの出口の位置や高さは予め定まっている。これらの昇降手段の終点（位置）情報や高さ情報は、ＤＬコンテンツ内のＡＲナビゲーションデータ（ＤＡＴＡ３）に含まれていてよい。そこで、端末装置１００（のプロセッサ１０１）は、端末装置１００のユーザが昇降手段の使用を終了したことを検知したときに、端末装置１００のＡＲ空間における現在位置を、所定の箇所を示す座標値に基づいて補正する。なお、所定の箇所は、より具体的には、昇降手段の終点（階段、エスカレータ、エレベータ等の出口）であってよい。所定の箇所を示す座標値は、絶対座標による座標値であってよい。

図２０は、上下移動補正の第２態様（位置の補正）を行う際の、端末装置１００の内部処理例を示すブロック図である。図１５～図１９と同様の部分については、説明を省略する。一般的に上下移動が発生する場合、上下移動が終了した直後の位置（上り切った場所、あるいは、下り切った場所）は限定されている。例えば、エレベータの場合は、高さ方向の位置、水平方向の位置ともにエレベータの扉から出る位置に限定される。また、階段やエスカレータの場合も、高さは階段等を登り切った高さであることが確定しており、水平方向の位置も階段等の幅方向のずれはあるものの限定されている。そこで、本態様では、この性質を利用し、６軸センサや気圧センサ等を用いて上下移動の終了を検知した場合に、既知である昇降手段の位置に基づいて、端末装置１００のＡＲ座標空間上の現在位置を補正する。これにより、端末装置１００の実際の位置と、ＡＲ空間上の位置との間にあった誤差は減少し、ＡＲナビゲーションを適切に継続することができる。なお、階段等のように幅方向のズレが発生し得る場合、水平方向の座標のみ上下移動を開始した時点での座標を流用するか、階段等の幅のうちの任意の位置（例えば階段の中央付近）の座標を水平方向の座標として用いることが考えられる。なお、上下移動の終了の検知には、画像とは異なるセンサ（６軸センサ、気圧計、ジャイロセンサ、加速度センサ等）を用いるとよい。上述したとおり、画像を利用した移動の検知では、階段等での特徴点の誤認識が発生したり、エレベータおよびエスカレータで移動自体が検知できなかったりするためである。

図１４は、ＡＲナビゲーション終了時の、ディスプレイ１０６による表示例である。画面（ディスプレイ１０６）には、目的地周辺に到着したことを示すメッセージ２１１が表示される。

（変形例）
上述では、電子看板１０から送信された光信号１２（図３参照）をカメラ１０３で受信し、ＩＤを取得する例を説明した。しかし、端末装置１００は、他の方法でＩＤを取得してもよい。例えば、電子看板１０に代えて、二次元コードが印刷されたポスターが所定の場所に設置されてもよい。そして、端末装置１００は、カメラ１０３で二次元コードを読み取り、その二次元コードからＩＤを取得してもよい。この場合、ポスターに所定のマーク１１が印刷されてよい。また、光信号１２を用いる場合であっても、その信号の発信源は電子看板の形態である必要はなく、例えば、照明器具などであってもよい。また、この光信号１２を発する照明器具をバックライトとしマーク１１を印刷したカバーあるいはポスターで覆った看板であってもよい。すなわち、本開示においてカメラ１０３を向ける対象は、任意の設置物でよい。また、ナビゲーション開始時における端末装置１００の位置については照明器具から取得し、ナビゲーション開始時における端末装置１００の向きは電子看板から取得するなど、それぞれの情報を別々の設置物を用いて取得してもよい。

また、上述では、電子看板１０から送信する情報はＩＤのみであり、他の情報はＩＤを用いてサーバ２０から取得していたが、電子看板１０自体に情報（上述のＤＬコンテンツなど）を記憶しておき、無線通信等によって全ての情報または一部の情報を端末装置１００へ送信してもよい。

また、上述では、屋内向けのナビゲーションを目的としたシステムとして本開示の説明を行ったが、屋外のナビゲーションに用いても構わない。また、屋外と屋内の両方を移動するルートなどに本開示を応用する場合、ＧＰＳ等の屋外でのみ取得可能な情報を用いて計算した位置および方位を用いて、現在位置を修正してもよい。また、本開示の一部または全部を歩行者向けのＡＲナビゲーションのみならず、２次元表示のカーナビゲーションシステムなど他のナビゲーションシステムへ応用することも可能である。

また、上述では、ＤＡＴＡ２として取得する設置高さの情報は、マーク１１の正確な高さであってよいし、電子看板１０の大まかな高さであってもよい。前者の場合はマーク１１の位置を正確に計測する必要があるため、電子看板１０の設置が煩雑になる一方、その高さをそのまま端末装置１００の高さとして利用することができる。後者の場合は、電子看板１０の設置の手間が軽減される一方、端末装置１００の初期の高さとしての正確性は落ちるが、上述の通り、本開示では床面ＦＬを検知して表示の高さを随時調整するため、ナビゲーションの見た目には大きな支障はない。

以上のように、前記プロセッサは、前記端末装置のユーザが前記昇降手段を使用していることを検知したときに、前記画面に、昇降中であることを示す情報を表示させ、前記ナビゲーション用オブジェクトを非表示にする。これにより、端末装置が昇降手段を使用する際に、誤差が生じ得るナビゲーション用オブジェクト以外の手段によって、ナビゲーションを継続することができる。

前記プロセッサは、前記端末装置のユーザが前記昇降手段を使用していることを検知したときに、前記昇降手段を使用した場合に想定される所定の進行方向に基づいて、前記端末装置の空間における向きを補正する。これにより、固定位置に存在する昇降手段を利用して、端末装置の向きについての誤差を補正することができる。

前記プロセッサは、前記端末装置のユーザが前記昇降手段の使用を終了したことを検知したときに、前記昇降中であることを示す情報を非表示にし、前記ナビゲーション用オブジェクトを表示させる。これにより、昇降手段から降りた後も、ナビゲーションを継続することができる。

前記プロセッサは、前記端末装置のユーザが前記昇降手段の使用を終了したことを検知したときに、前記端末装置の空間における現在位置を、所定の箇所を示す座標値に基づいて補正する。これにより、固定位置に存在する昇降手段を利用して、端末装置の現在位置についての誤差を補正することができる。

前記プロセッサは、床面から所定の高さにあるナビゲーション開始位置に向けられた前記端末装置の、前記床面に対する相対位置を算出し、前記ナビゲーション用オブジェクトを、前記画面に表示された前記床面から所定の高さになるように表示させる。これにより、固定位置であるナビゲーション開始位置を基準にして、所定の高さにナビゲーション用オブジェクトを重畳表示することができる。

前記プロセッサは、前記カメラが取得した、前記ナビゲーション開始位置に配置された起点情報に基づいて、前記端末装置の、前記床面に対する相対位置を算出する。また、前記起点情報が、物体の形状、模様、マーク、および識別コードのうちのいずれかであってよい。これにより、カメラから取得可能な種々の起点情報に基づいて、所定の高さにナビゲーション用オブジェクトを重畳表示することができる。

前記プロセッサは、ナビゲーション機能の実行中に前記カメラによって平面を検出したときに、前記平面が床面に相当するか否かを判定し、前記平面が床面に相当する場合、前記端末装置の、前記平面に対する相対位置を算出し、前記ナビゲーション用オブジェクトを、前記画面に表示された前記平面から所定の高さになるように表示させる。これにより、ナビゲーション中においても、カメラの撮像画像に含まれる水平面等の平面に基づいて、ナビゲーション用オブジェクトを一定の高さに表示することができる。

前記プロセッサは、前記ナビゲーション用オブジェクトの高さが、前記カメラの高さに対して一定の高さの範囲内に収まるように、前記ナビゲーション用オブジェクトの高さを変更する。これにより、ユーザが端末装置を携行していることを前提にして、不自然な高さにナビゲーション用オブジェクトが表示されることを防止することができる。

前記プロセッサは、前記カメラによる撮像画像から特徴点情報を抽出して前記メモリに保存し、所定のタイミングで、前記特徴点情報を出力する。これにより、抽出した特徴点情報を目印にして、次回以降のナビゲーションを、より誤差の少ないものにすることができる。

前記所定のタイミングは、ナビゲーション開始位置から所定の距離、前記ナビゲーション用オブジェクトの表示に基づいて前記端末装置を移動させた後であってよい。これにより、ナビゲーション開始位置から徐々に遠くまで、特徴点情報を活用可能な領域を広げていくことができる。

前記プロセッサは、前記特徴点情報をファイル出力するか、サーバにアップロードする。これにより、最初のナビゲーションを実行した端末装置とは異なる端末装置も、保存された特徴点情報を活用することができる。

前記プロセッサは、出力された前記特徴点情報を取得し、取得した前記特徴点情報に基づいて、前記ナビゲーション用オブジェクトの前記画面への表示位置を調整する。これにより、異なる端末装置が行ったナビゲーションにおいて保存された特徴点情報を活用することができる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、ユーザを適切にナビゲートすることができる、端末装置、ナビゲーション方法、および、ナビゲーションプログラムとして有用である。

１０ 電子看板
１１ マーク
２０ サーバ
１００ 端末装置
１０１ プロセッサ
１０２ メモリ
１０３ カメラ
１０４ 加速度センサ
１０５ 気圧センサ
１０６ ディスプレイ
１０７ ネットワークインタフェース
２０１ マーク
２０２ ダウンロード進捗表示バー
２０３ 矩形枠
２０４ 目的地リスト
２０５ 目的地ボックス
２０６ メッセージ画像
２０７ ナビゲーション用ＡＲオブジェクト
ＢＳ 基地局
ＦＬ 床面
ＳＴ 階段

Claims (20)

1. ナビゲーションを実行可能な端末装置であって、
   プロセッサと、画面と、カメラと、メモリと、を備え、
   前記プロセッサは、
   前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させ、
   前記端末装置のユーザが前記ナビゲーションのルート上の昇降手段を使用していることを検知したときに、前記画面に、昇降中であることを示す情報を表示させ、前記ナビゲーション用オブジェクトを非表示にする、
   端末装置。
2. 前記プロセッサは、前記ナビゲーションのルート上に昇降手段を検知した場合、前記画面に、前記昇降手段の使用を促す情報を表示させる、
   請求項１に記載の端末装置。
3. 前記プロセッサは、前記端末装置のユーザが前記昇降手段を使用していることを検知したときに、前記昇降手段を使用した場合に想定される所定の進行方向に基づいて、前記端末装置の空間における向きを補正する、
   請求項１に記載の端末装置。
4. 前記プロセッサは、前記端末装置のユーザが前記昇降手段の使用を終了したことを検知したときに、前記昇降中であることを示す情報を非表示にし、前記ナビゲーション用オブジェクトを表示させる、
   請求項１から請求項３のいずれか一項に記載の端末装置。
5. 前記プロセッサは、前記端末装置のユーザが前記昇降手段の使用を終了したことを検知したときに、前記端末装置の空間における現在位置を、所定の箇所を示す座標値に基づいて補正する、
   請求項１から請求項４のいずれか１項に記載の端末装置。
6. ナビゲーションを実行可能な端末装置であって、
   プロセッサと、画面と、カメラと、メモリと、を備え、
   前記プロセッサは、
   前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させ、
   床面から所定の高さにあるナビゲーション開始位置に向けられた前記端末装置の、前記床面に対する相対位置を算出し、前記ナビゲーション用オブジェクトを、前記画面に表示された前記床面から所定の高さになるように表示させる、
   端末装置。
7. 前記プロセッサは、前記カメラが取得した、前記ナビゲーション開始位置に配置された起点情報に基づいて、前記端末装置の、前記床面に対する相対位置を算出する、
   請求項６に記載の端末装置。
8. 前記起点情報が、物体の形状、模様、マーク、および識別コードのうちのいずれかである、請求項７に記載の端末装置。
9. ナビゲーションを実行可能な端末装置であって、
   プロセッサと、画面と、カメラと、メモリと、を備え、
   前記プロセッサは、
   前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させ、
   ナビゲーション機能の実行中に前記カメラによって平面を検出したときに、前記平面が床面に相当するか否かを判定し、
   前記平面が床面に相当する場合、前記端末装置の、前記平面に対する相対位置を算出し、前記ナビゲーション用オブジェクトの高さを、前記平面に対する前記カメラの高さに対して一定の高さの範囲内に収まるように変更する、
   端末装置。
10. ナビゲーションを実行可能な端末装置であって、
    プロセッサと、画面と、カメラと、メモリと、を備え、
    前記プロセッサは、
    前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させ、
    前記カメラによる撮像画像から特徴点情報を抽出して前記メモリに保存し、
    所定のタイミングで、前記特徴点情報を前記メモリから取得し、取得した前記特徴点情報に基づいて、前記ナビゲーション用オブジェクトの前記画面への表示位置を調整する、
    端末装置。
11. 前記所定のタイミングは、ナビゲーション開始位置から所定の距離、前記ナビゲーション用オブジェクトの表示に基づいて前記端末装置を移動させた後である、
    請求項１０に記載の端末装置。
12. 前記プロセッサは、前記特徴点情報をファイル出力するか、サーバにアップロードする、請求項１０または請求項１１に記載の端末装置。
13. ナビゲーションを実行可能な端末装置による、ナビゲーション方法であって、
    前記端末装置は、プロセッサと、画面と、カメラを備え、
    前記プロセッサが、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させるステップと、
    前記プロセッサが、前記端末装置のユーザが前記ナビゲーションのルート上の昇降手段を使用していることを検知したときに、前記画面に、昇降中であることを示す情報を表示させ、前記ナビゲーション用オブジェクトを非表示にするステップと、
    を有する、
    ナビゲーション方法。
14. 端末装置による、ナビゲーション方法であって、
    前記端末装置は、プロセッサと、画面と、カメラを備え、
    前記プロセッサが、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させるステップと、
    前記プロセッサが、床面から所定の高さにあるナビゲーション開始位置に向けられた前記端末装置の、前記床面に対する相対位置を算出し、前記ナビゲーション用オブジェクトを、前記画面に表示された前記床面から所定の高さになるように表示させるステップと、
    を有する、
    ナビゲーション方法。
15. 端末装置による、ナビゲーション方法であって、
    前記端末装置は、プロセッサと、画面と、カメラを備え、
    前記プロセッサが、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させるステップと、
    前記プロセッサが、ナビゲーション機能の実行中に前記カメラによって平面を検出したときに、前記平面が床面に相当するか否かを判定するステップと、
    前記平面が床面に相当する場合、前記端末装置の、前記平面に対する相対位置を算出し、前記ナビゲーション用オブジェクトの高さを、前記平面に対する前記カメラの高さに対して一定の高さの範囲内に収まるように変更するステップと、
    を有する、
    ナビゲーション方法。
16. 端末装置による、ナビゲーション方法であって、
    前記端末装置は、プロセッサと、画面と、カメラと、メモリを備え、
    前記プロセッサが、前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させるステップと、
    前記プロセッサが、前記カメラによる撮像画像から特徴点情報を抽出して前記メモリに保存し、
    前記プロセッサが、所定のタイミングで、前記メモリから前記特徴点情報を取得し、取得した前記特徴点情報に基づいて、前記ナビゲーション用オブジェクトの前記画面への表示位置を調整するステップと、
    を有する、
    ナビゲーション方法。
17. ナビゲーションプログラムであって、
    プロセッサと、画面と、カメラを備え、ナビゲーションを実行可能な端末装置に、
    前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させる機能と、
    前記端末装置のユーザが前記ナビゲーションのルート上の昇降手段を使用していることを検知したときに、前記画面に、昇降中であることを示す情報を表示させ、前記ナビゲーション用オブジェクトを非表示にする機能と、
    を実行させる、
    ナビゲーションプログラム。
18. ナビゲーションプログラムであって、
    プロセッサと、画面と、カメラを備えた端末装置に、
    前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させる機能と、
    床面から所定の高さにあるナビゲーション開始位置に向けられた前記端末装置の、前記床面に対する相対位置を算出し、前記ナビゲーション用オブジェクトを、前記画面に表示された前記床面から所定の高さになるように表示させる機能と、
    を実行させる、
    ナビゲーションプログラム。
19. ナビゲーションプログラムであって、
    プロセッサと、画面と、カメラを備えた端末装置に、
    前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させる機能と、
    ナビゲーション機能の実行中に前記カメラによって平面を検出したときに、前記平面が床面に相当するか否かを判定する機能と、
    前記平面が床面に相当する場合、前記端末装置の、前記平面に対する相対位置を算出し、前記ナビゲーション用オブジェクトの高さを、前記平面に対する前記カメラの高さに対して一定の高さの範囲内に収まるように変更する機能と、
    を実行させる、
    ナビゲーションプログラム。
20. ナビゲーションプログラムであって、
    プロセッサと、画面と、カメラと、メモリを備えた端末装置に、
    前記画面に、前記カメラが撮像した画像と、ナビゲーション用オブジェクトとを重畳表示させる機能と、
    前記カメラによる撮像画像から特徴点情報を抽出して前記メモリに保存する機能と、
    前記プロセッサが、所定のタイミングで、前記メモリから前記特徴点情報を取得し、取得した前記特徴点情報に基づいて、前記ナビゲーション用オブジェクトの前記画面への表示位置を調整する機能と、
    を実行させる、
    ナビゲーションプログラム。

Images