JP7225762B2

JP7225762B2 - 自己位置推定装置、自己位置推定方法及びプログラム

Info

Publication number: JP7225762B2
Application number: JP2018235533A
Authority: JP
Inventors: 将司上田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2018-12-17
Filing date: 2018-12-17
Publication date: 2023-02-21
Anticipated expiration: 2038-12-17
Also published as: JP2020098114A

Description

本発明は、例えば人体に装着して移動履歴を取得するような装置に好適な自己位置推定装置、自己位置推定方法及びプログラムに関する。

画像を用いて、ある環境におけるデバイスの自己位置推定を行なう技術としては、ビジュアルＳＬＡＭ（ＶｉｓｕａｌＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ）が広く知られている。

ビジュアルＳＬＡＭの身近な利用例として、電機系各社が販売するロボット掃除機が挙げられる。例えば、移動ロボットが搭載する光学式走行距離センサ・システムで、移動体本体の下方の追跡表面の画像をカメラにより撮影するようにした技術が提案されている。（例えば、特許文献１）

特開２０１８－５００６２４号公報

ビジュアルＳＬＡＭには、画像中の特徴点を利用する方法と、画像中の輝度・深度情報を利用する方法の、大きく２つの方法がある。
画像中の特徴点を利用する方法は、計算が画像中で疎に配置される特徴点周りのみでよく少量で済むという利点がある一方、画像が激しく動いており、ブレが大きいようなシーンは特徴点が算出できないという課題がある。
一方、輝度・深度情報を利用する方法は、特徴点を算出しなくてよいため、ブレに強いという利点がある一方、特徴点を利用する方法と比べて画面の広い領域を密に使用するため計算量が重いという課題がある。

上記特許文献１に記載された技術は、基本的に平滑な路面上を移動するロボットに適用されるため、撮影される画像にブレがなく、画像中の特徴点抽出が可能であり、画像中の特徴点を利用する方法を使用している。そのため、例えば人体に装着してテニスやバスケットボール等の球技におけるプレーヤの移動履歴を解析する装置など、激しい体動を伴う移動体を対象とした装置に、上記特許文献１に記載された技術を適用しようとしても、得られる画像にブレを生じる可能性がきわめて高く、画像中の特徴点抽出ができないという課題がある。

一方、激しい体動を伴う移動体を対象とした装置において、輝度・深度情報を利用する方法を適用すると、上述したように計算量が重いという課題が発生する。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、移動に際し、激しい体動を伴う動きを含む移動体の自己位置を、適切な計算量で正確に推定することが可能な自己位置推定装置、自己位置推定方法及びプログラムを提供することにある。

本発明の一態様は、移動体の動きに関する動き情報を取得する第１の取得手段と、上記第１の取得手段が上記動き情報を取得しているときに、上記移動体に備えられた撮像装置により撮影した画像情報を取得する第２の取得手段と、上記動き情報が所定の閾値以下か否かに基づいて、上記移動体の動きが激しいか否かを判定する判定手段と、上記画像情報に基づいた自己位置を推定するための処理を実行することにより、上記移動体の自己位置を推定する上記画像の特徴点を用いる推定処理と、上記画像の輝度・深度情報を用いる推定処理とを有する自己位置推定手段と、上記判定手段での判定結果に応じて、上記画像の特徴点を用いる推定処理と上記画像の輝度・深度情報を用いる推定処理とを切り換えるよう制御する制御手段と、を備え、上記制御手段は、上記判定手段により上記移動体の動きが激しいと判定され、且つ、上記移動体の自己位置を推定する直前の処理が上記画像の特徴点を用いる推定処理である場合、上記画像の特徴点を用いる推定処理で得た情報を上記画像の輝度・深度情報を用いる推定処理で利用する情報に変換するとともに、上記画像の輝度・深度情報を用いる推定処理に切り換えるよう制御する。

本発明によれば、移動に際し、激しい体動を伴う動きを含む移動体の自己位置を、適切な計算量で正確に推定することが可能となる。

本発明の一実施形態に係るポジションレコーダの電子回路の機能構成を示すブロック図。同実施形態に係る自己位置推定と運動軌跡の推定、及び記録に関する全体的な処理内容を示すフローチャート。同実施形態に係る動きの激しさの推定処理の詳細を示すサブルーチンのフローチャート。同実施形態に係る画像からの運動軌跡の推定処理の詳細を示すサブルーチンのフローチャート。同実施形態に係る特徴点情報と輝度・深度情報との変換の概念を説明する図。

以下、本発明を、スポーツやレジャーでプレーヤ自身の身体に装着して、自己位置の移動軌跡を記録することが可能なポジションレコーダ１０に適用した場合の一実施形態について、図面を参照して説明する。

図１は、ポジションレコーダ１０の電子回路の機能構成を示すブロック図である。
バスＢに対して、プロセッサ１１、画像処理部１２、慣性センサ部１３、メモリインタフェイス（Ｉ／Ｆ）１４、無線通信部１５及びキー入力／インジケータ部１６が接続される。

プロセッサ１１は、電源投入状態に関係なく現在の時刻情報を計時し続けるＲＴＣ（ＲｅａｌＴｉｍｅＣｌｏｃｋ）１１Ａを内部に備えたＣＰＵと、ＣＰＵのワークメモリとなるＲＡＭ、ＣＰＵが実行する動作プログラムや固定データ等を不揮発記憶するＲＯＭとを備える。プロセッサ１１は、ポジションレコーダ１０全体の動作制御を実行する。

画像処理部１２は、プロセッサ１１の制御の下に画像処理演算を実行する専用のＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）で構成される。画像処理部１２は、プロセッサ１１からの撮影に関する制御信号を仲介して撮像部１７による一定時間周期での撮影動作を実行させ、得られた画像データに対して、３次元特徴点情報の抽出処理と、輝度・深度情報の抽出処理とのいずれか一方を実行することで、撮影方向の３次元情報を取得する。

撮像部１７は、光学系レンズ部、例えばＣＭＯＳイメージセンサによる個体撮像素子、Ａ／Ｄ変換回路等を備え、プロセッサ１１の制御の下に一定時間周期で画像を撮影し、得たデジタル値の画像データを画像処理部１２へ出力する。

慣性センサ部１３は、３軸加速度センサと３軸ジャイロセンサとを有し、ポジションレコーダ１０に与えられる挙動に応じた各３軸に対応した加速度と角速度を取得する。

メモリインタフェイス１４は、ポジションレコーダ１０が備えるカードスロットＣＳにメモリカード１８が装着された状態で、バスＢを介してプロセッサ１１から送られてくるデータを随時メモリカード１８に記録させる。

メモリカード１８に記録されるデータとしては、例えばＲＴＣ１１Ａの計時する、撮影を行なった時刻情報と、３次元特徴点情報、あるいは輝度・深度情報、及びその前のタイミングでデータを記録してから今回のタイミングでデータを記録するまでの間に特徴点情報あるいは輝度・深度情報により算出された、位置推定に伴う移動軌跡データを含む。

無線通信部１５は、例えば近距離無線通信規格の１つであるＢｌｕｅｔｏｏｔｈ（登録商標）ＬＥ（ＬｏｗＥｎｅｒｇｙ）規格に準拠し、予めポジションレコーダ１０とペアリング設定されている外部機器（図示せず）とアンテナ１９を介して無線接続して、データの送受信を実行する。

キー入力／インジケータ部１６は、電源の投入／切断を操作する電源キーと、動作状態を点灯／消灯により表示するインジケータランプとを有する。

次に本実施形態の動作について説明する。
図２は、ポジションレコーダ１０で電源投入以後に周期的に実行する、自己位置推定と運動軌跡の推定、及び記録に関する全体的な処理内容を示す。図２の処理は、主としてプロセッサ１１が予め記憶している動作プログラムに基づいて実行する。

処理当初にプロセッサ１１は、慣性センサ部１３の出力を取得し、取得した慣性センサ部１３の出力から現時点でのポジションレコーダ１０の動きが激しいか否かを推定する（ステップＳ１０１）。

図３は、プロセッサ１１による動きの激しさの推定処理の詳細を示すサブルーチンのフローチャートである。プロセッサ１１は、まず慣性センサ部１３が有する加速度センサから得られる加速度の分散値が、予め設定された同分散値の閾値ＡｃｃＶａｒＴＨより小さいか否かを判断する（ステップＳ２０１）。

加速度センサの分散値が、予め設定された閾値ＡｃｃＶａｒＴＨより小さいと判断した場合（ステップＳ２０１のＹｅｓ）、プロセッサ１１は次に、慣性センサ部１３のジャイロセンサから得られる角速度が、予め設定された同角速度の閾値ＧｙｒＴＨより小さいか否かを判断する（ステップＳ２０２）。

ジャイロセンサから得られる角速度が、予め設定された閾値ＧｙｒＴＨより小さいと判断した場合（ステップＳ２０２のＹｅｓ）、プロセッサ１１は以後の処理で現時点でのポジションレコーダ１０の動きは「激しくない」ものとして処理を実行することを推定結果とし（ステップＳ２０３）、以上で一旦図３の処理を終了して、図２の処理に戻る。

また、ステップＳ２０１において、加速度センサの分散値が予め設定された閾値ＡｃｃＶａｒＴＨ以上であると判断した場合（ステップＳ２０１のＮｏ）、またはステップＳ２０２において、ジャイロセンサから得られる角速度が、予め設定された閾値ＧｙｒＴＨ以上であると判断した場合（ステップＳ２０２のＮｏ）、いずれもプロセッサ１１は以後の処理で現時点でのポジションレコーダ１０の動きは「激しい」ものとして処理を実行することを推定結果とし（ステップＳ２０４）、以上で一旦図３の処理を終了して、図２の処理に戻る。

図２においてプロセッサ１１は、撮像部１７により撮影させた画像データから、ポジションレコーダ１０を装着しているユーザの現在の自己位置を推定し、合わせてそれら自己位置を連結して運動軌跡を推定する処理を画像処理部１２に実行させる（ステップＳ１０２）。

図４は、主としてプロセッサ１１の制御の下に画像処理部１２が実行する、画像からの運動軌跡の推定処理の詳細を示すサブルーチンのフローチャートである。処理当初にプロセッサ１１は、直前のステップＳ１０１によりポジションレコーダ１０の動きが「激しい」と推定したか否かを判断する（ステップＳ３０１）。

「激しい」と推定したと判断した場合（ステップＳ３０１のＹｅｓ）、画像データの特徴点情報にブレを生じている可能性が高く、特徴点情報を使用した現在の自己位置の推定を行なうことが困難であるものとして、プロセッサ１１はその前の周期タイミングでは、自己位置の推定に輝度・深度情報を利用したか否かを判断する（ステップＳ３０２）。

その前の周期タイミングで、自己位置の推定に輝度・深度情報ではなく、特徴点情報を利用したと判断した場合（ステップＳ３０２のＮｏ）、そのままでは自己位置の推定処理を実行することができないため、プロセッサ１１は、画像処理部１２によりその前のタイミングで得た特徴点情報を、輝度・深度情報に変換する処理を実行させる（ステップＳ３０３）。

図５は、３次元の特徴点の位置の情報と輝度・深度の情報との相互間の変換概念を説明する図である。図５（Ａ）は、ポジションレコーダ１０の撮像部１７により画像を撮影した場合に、３次元空間中の特徴点の位置のデータが、２次元の撮影画像ＩＭとして取得される過程を例示している。特徴点の位置の抽出に関しては、画像の３原色成分及び輝度に応じて、エッジ検出、輪郭抽出等の画像処理を行なうことにより画像中の特徴点を抽出し、それらの２次元座標の位置と距離（深度）の情報とを取得する。

こうして取得した特徴点の位置に関し、図５（Ｂ）に示すように既知である特徴点の３次元情報を深度に変換し、それら特徴点の深度に基づいて、次の周期タイミングで取得した画像中の軌跡の初期値を算出し、繰り返し処理により測光誤差（ｐｈｏｔｏｍｅｔｒｉｃｅｒｒｏｒ）が小さくなるよう、画像全体の深度を推定、更新することで、図５（Ｃ）に示すような輝度・深度情報を取得する。

ステップＳ３０２において、その前の周期タイミングで自己位置の推定に輝度・深度情報を利用したと判断した場合（ステップＳ３０２のＹｅｓ）、及びステップＳ３０３において、３次元特徴点情報を、輝度・深度情報に変換する処理を実行した後、画像処理部１２は、プロセッサ１１の制御の下に、輝度・深度情報を利用したポジションレコーダ１０の位置と姿勢を推定する演算処理を実行する（ステップＳ３０４）。

輝度／深度情報を用いて画像から自己位置と姿勢と推定する技術に関しては、例えば“ＬＳＤ－ＳＬＡＭ：Ｌａｒｇｅ－ＳｃａｌｅＤｉｒｅｃｔｍｏｎｏｃｕｌａｒＳＬＡＭ，ＪａｋｏｂＥｎｇｅｌ，ｅｔａｌ，ＥＣＣＶ２０１４.”に代表されるような手法により、画像処理部１２が演算処理を実行し、以上で図４のサブルーチンを終えて、図２の処理に戻る。

またステップＳ３０１において、ポジションレコーダ１０の動きが「激しくない」と推定したと判断した場合（ステップＳ３０１のＮｏ）、画像データの特徴点情報はブレを生じていない可能性が高いものとして、プロセッサ１１はその前の周期タイミングでは、自己位置の推定に特徴点情報を利用したか否かを判断する（ステップＳ３０５）。

その前の周期タイミングで、自己位置の推定に特徴点情報ではなく、輝度・深度情報を利用したと判断した場合（ステップＳ３０５のＮｏ）、そのままでは特徴点情報による自己位置の推定処理を実行することができないため、プロセッサ１１は、画像処理部１２によりその前のタイミングで得た輝度・深度情報を、特徴点情報に変換する処理を実行させる（ステップＳ３０６）。

図５（Ｃ）に示すような１つ前の周期タイミングで得た輝度・深度情報に対し、画像処理部１２は輝度・深度情報を利用する手法を用いて、現在の周期タイミングでの画像の深度情報と運動軌跡とを推定する。次に現在の周期タイミングで実際に取得した画像データから、図５（Ｄ）に示すように２次元の特徴点の位置を抽出し、対応する位置で推定した深度情報を付与することで、図５（Ａ）に示すような３次元の特徴点情報とする。

ステップＳ３０５において、その前の周期タイミングで自己位置の推定に特徴点情報を利用したと判断した場合（ステップＳ３０５のＹｅｓ）、及びステップＳ３０６において、輝度・深度情報を３次元特徴点情報に変換する処理を実行した後、画像処理部１２は、プロセッサ１１の制御の下に、特徴点情報を利用したポジションレコーダ１０の位置と姿勢を推定する演算処理を実行する（ステップＳ３０７）。

特徴点情報を用いて画像から自己位置と姿勢と推定する技術に関しては、例えば“ＯＲＢ－ＳＬＡＭ：ａＶｉｒｓａｔｉｌｅａｎｄＡｃｃｕｒａｔｅＭｏｎｏｃｕｌａｒＳＬＡＭＳｙｓｔｅｍ，ＲａｕｌＭｕｒ－Ａｒｔａｌ，ｅｔａｌ，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓＯｎＲｏｂｏｔｉｃｓ，１８Ｓｅｐ２０１５．”に代表されるような手法により、画像処理部１２が演算処理を実行し、以上で図４のサブルーチンを終えて、図２の処理に戻る。

図２においては、ステップＳ１０２において、画像データから現在の自己位置の推定と複数の自己位置を連結した運動軌跡の推定とを実行した後、プロセッサ１１が、画像データから算出した自己位置及び運動軌跡の情報と、慣性センサ部１３から取得した加速度及び角速度の情報を統合して、メモリインタフェイス１４によりメモリカード１８に記録する（ステップＳ１０３）。

この統合処理に際してプロセッサ１１は、例えば｛位置、速度、姿勢｝を状態空間として定義し、｛画像からの運動軌跡｝を誤差を有する観測値として、｛慣性センサの加速度、角速度｝をシステム更新する、無限インパルス応答フィルタの一種であるカルマンフィルタを用いることで実現できる。

その後にプロセッサ１１は、キー入力／インジケータ部１６の電源キーの操作があったか否かにより、自己位置の推定処理を終了するか否かを判断する（ステップＳ１０４）。

電源キーの操作がなく、自己位置の推定処理を終了しないと判断した場合（ステップＳ１０４のＹｅｓ）、プロセッサ１１はステップＳ１０１からの処理に戻り、次の周期タイミングで以上と同様の処理を繰り返し実行する。

こうしてステップＳ１０１～Ｓ１０４の処理を繰り返し実行し、ポジションレコーダ１０を装着したユーザの移動に伴う自己位置の推定結果と運動軌跡の推定結果、及び慣性センサ部１３の出力を統合して記録する処理を続行する過程で、ユーザによる電源キーの操作があり、自己位置の推定処理を終了すると判断した場合（ステップＳ１０４のＹｅｓ）、プロセッサ１１はその時点でメモリインタフェイス１４を介してメモリカード１８に記憶させている一連の記録内容を、取り纏めて所定のデータファイル化して更新記録させた上で（ステップＳ１０５）、図２の処理を終了する。

なお、本実施形態では、ポジションレコーダ１０で電源投入以後に周期的に実行する、撮像部１７による画像の撮影と、慣性センサ部１３による動きの検出とを行なうと同時に、それらの動作で取得される各種情報から自己位置推定と運動軌跡の推定、及び記録をリアルタイムで実行するものとして説明したが、必要な情報の取得及び当該情報の記録を終えた後の任意のタイミングで、自己位置の推定を含む行動解析処理を実行しても良いし、記録されている当該情報を別の装置へ転送し、別の装置で当該処理を実行しても良い。

また、本実施形態では、画像データから算出した自己位置及び運動軌跡の情報と、慣性センサ部１３から取得した加速度及び角速度の情報を統合処理して記録したが、画像データから算出した自己位置及び運動軌跡の情報のみを記録しても良い。

以上詳述した如く本実施形態によれば、移動に際し、激しい体動を伴う動きを含む移動体の自己位置を、適切な計算量で正確に推定することが可能となる。

また本実施形態では、移動体自体から撮影する画像を用い、動きの状況から特徴点情報を用いた演算と、輝度・深度情報を用いた演算とを択一的に選択して自己位置を推定するものとしたので、処理を行なう回路の計算量を軽減しながら、自己位置を正確に推定できる。

その場合、上記移動体の動きが大きいと判定した場合は、画像情報中の輝度情報による明暗の深度を用いる演算を実行させ、移動体の動きが大きくないと判定した場合は、特徴点情報を用いる演算を実行させるものとしたので、自己位置の推定精度を維持しながら、可能であれば処理を行なう回路の計算量を軽減できる。

特に本実施形態では、移動体の動きの大きさを検出するために、加速度センサとジャイロセンサとを含む慣性センサ部１３とを用いるものとしたので、比較的簡易な構成ながら移動体の動きの急激な変化にも追従して状況を正確に判定できる。

加えて本実施形態では、時系列に沿った自己位置の推定結果を連結することで、移動体の移動軌跡を合わせて推定できるものとした。

なお、本実施形態は、スポーツやレジャーでプレーヤ自身の身体に装着して、自己位置の移動軌跡を記録することが可能な専用の装置に適用した場合の一実施形態について説明したが、本発明はこれに限らず、例えばスマートフォンなどの携帯情報端末で、データ処理演算の一部をアプリケーションプログラムとして搭載するなど、他の機器にも同様に適用することが可能となる。

また、本実施形態では、慣性センサ部１３の出力結果に基づいて、ポジションレコーダ１０の動きが激しいか否かを推定したが、ポジションレコーダ１０を装着している人物や物体の鉛直下方向を撮影するカメラを別途設けたり、撮像部１７を全天周／半天周カメラとして構成し、撮影した上記鉛直下方向の画像を解析して、上記鉛直下方向がフラットな面か、凹凸を有する面かを判定し、凹凸を有する面の場合はポジションレコーダ１０の動きが激しい、フラットな面の場合は動きが激しくないと推定するようにしても良い。

その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
移動体の動きに関する動き情報を取得する第１の取得手段と、
撮影した画像情報を取得する第２の取得手段と、
上記動き情報に基づいて、上記移動体の動きの大きさを判定する判定手段と、
上記画像情報に基づいて、上記移動体の自己位置を推定する自己位置推定手段と、
上記判定手段での判定結果に応じて、上記自己位置推定手段で上記画像情報を用いる処理内容を切り換える制御手段と、
を備える自己位置推定装置。
［請求項２］
上記自己位置推定手段は、上記画像情報の特徴点を用いる演算と、上記画像情報の輝度・深度情報を用いる演算のいずれかにより、上記移動体の自己位置を推定する、請求項１記載の自己位置推定装置。
［請求項３］
上記制御手段は、上記判定手段により上記移動体の動きが大きいと判定した場合は、上記自己位置推定手段で上記画像情報の輝度・深度情報を用いる演算を実行させ、上記判定手段により上記移動体の動きが大きくないと判定した場合は、上記自己位置推定手段で上記画像情報の特徴点を用いる演算を実行させる、請求項２記載の自己位置推定装置。
［請求項４］
上記動き情報は、移動体の加速度の分散の情報と角速度の情報とを含み、
上記判定手段は、移動体の加速度の分散の情報と角速度の情報の少なくとも一方が、それぞれ予め設定した閾値より大きい場合に、上記移動体の動きが大きいと判定する、
請求項１乃至３いずれか記載の自己位置推定装置。
［請求項５］
上記自己位置推定手段で推定した上記移動体の自己位置の時系列上の履歴から上記移動体の移動軌跡を推定する軌跡推定手段をさらに備える、請求項１乃至４いずれか記載の自己位置推定装置。
［請求項６］
移動体の動きに関する動き情報を取得する第１の取得部と、撮影した画像情報を取得する第２の取得部とを備えた装置での自己位置推定方法であって、
上記動き情報に基づいて、上記移動体の動きの大きさを判定する判定工程と、
上記画像情報に基づいて、上記移動体の自己位置を推定する自己位置推定工程と、
上記判定工程での判定結果に応じて、上記自己位置推定工程で上記画像情報を用いる処理内容を切り換える制御工程と、
を有する自己位置推定方法。
［請求項７］
移動体の動きに関する動き情報を取得する第１の取得部と、撮影した画像情報を取得する第２の取得部とを備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
上記動き情報に基づいて、上記移動体の動きの大きさを判定する判定手段、
上記画像情報に基づいて、上記移動体の自己位置を推定する自己位置推定手段、
上記判定手段での判定結果に応じて、上記自己位置推定手段で上記画像情報を用いる処理内容を切り換える制御手段、
として機能させるプログラム。

１０…ポジションレコーダ
１１…プロセッサ
１１Ａ…ＲＴＣ
１２…画像処理部
１３…慣性センサ部
１４…メモリインタフェイス（Ｉ／Ｆ）
１５…無線通信部
１６…キー入力／インジケータ部
１７…撮像部
１８…メモリカード
１９…アンテナ
Ｂ…バス
ＣＳ…カードスロット

Claims

移動体の動きに関する動き情報を取得する第１の取得手段と、
上記第１の取得手段が上記動き情報を取得しているときに、上記移動体に備えられた撮像装置により撮影した画像情報を取得する第２の取得手段と、
上記動き情報が所定の閾値以下か否かに基づいて、上記移動体の動きが激しいか否かを判定する判定手段と、
上記画像情報に基づいた自己位置を推定するための処理を実行することにより、上記移動体の自己位置を推定する上記画像の特徴点を用いる推定処理と、上記画像の輝度・深度情報を用いる推定処理とを有する自己位置推定手段と、
上記判定手段での判定結果に応じて、上記画像の特徴点を用いる推定処理と上記画像の輝度・深度情報を用いる推定処理とを切り換えるよう制御する制御手段と、を備え、
上記制御手段は、上記判定手段により上記移動体の動きが激しいと判定され、且つ、上記移動体の自己位置を推定する直前の処理が上記画像の特徴点を用いる推定処理である場合、上記画像の特徴点を用いる推定処理で得た情報を上記画像の輝度・深度情報を用いる推定処理で利用する情報に変換するとともに、上記画像の輝度・深度情報を用いる推定処理に切り換えるよう制御する、
ことを特徴とする自己位置推定装置。
上記制御手段は、上記判定手段により上記移動体の動きが激しくないと判定され、且つ、上記移動体の自己位置を推定する直前の処理が上記画像の輝度・深度を用いる推定処理である場合、上記画像の輝度・深度を用いる推定処理で得た情報を上記画像の特徴点を用いる推定処理で利用する情報に変換するとともに、上記画像の特徴点を用いる推定処理に切り換えるよう制御することを特徴とする、請求項１記載の自己位置推定装置。
上記動き情報は、移動体の加速度の分散の情報と角速度の情報とを含み、
上記判定手段は、移動体の加速度の分散の情報と角速度の情報の少なくとも一方が、それぞれ予め設定した閾値以下か否かに基づいて、上記移動体の動きが激しいか否かを判定することを特徴とする、
請求項１又は２記載の自己位置推定装置。
上記自己位置推定手段で推定した上記移動体の自己位置の時系列上の履歴から上記移動体の移動軌跡を推定する軌跡推定手段をさらに備えることを特徴とする、請求項１乃至３いずれか記載の自己位置推定装置。
移動体の動きに関する動き情報を取得する第１の取得部と、上記第１の取得部が上記動き情報を取得しているときに、上記移動体に備えられた撮像装置により撮影した画像情報を取得する第２の取得部とを備えた装置での自己位置推定方法であって、
上記動き情報が所定の閾値以下か否かに基づいて、上記移動体の動きが激しいか否かを判定する判定工程と、
上記画像情報に基づいた自己位置を推定するための処理を実行することにより、上記移動体の自己位置を推定する上記画像の特徴点を用いる推定処理と、上記画像の輝度・深度情報を用いる推定処理とを有する自己位置推定工程と、
上記判定工程での判定結果に応じて、上記画像の特徴点を用いる推定処理と上記画像の輝度・深度情報を用いる推定処理とを切り換えるよう制御する制御工程と、を含み、
上記制御工程は、上記判定工程により上記移動体の動きが激しいと判定され、且つ、上記移動体の自己位置を推定する直前の処理が上記画像の特徴点を用いる推定処理である場合、上記画像の特徴点を用いる推定処理で得た情報を上記画像の輝度・深度情報を用いる推定処理で利用する情報に変換するとともに、上記画像の輝度・深度情報を用いる推定処理に切り換えるよう制御する、
ことを特徴とする自己位置推定方法。
移動体の動きに関する動き情報を取得する第１の取得部と、上記第１の取得部が上記動き情報を取得しているときに、上記移動体に備えられた撮像装置により撮影した画像情報を取得する第２の取得部とを備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記コンピュータを、
上記動き情報が所定の閾値以下か否かに基づいて、上記移動体の動きが激しいか否かを判定する判定手段、
上記画像情報に基づいた自己位置を推定するための処理を実行することにより、上記移動体の自己位置を推定する上記画像の特徴点を用いる推定処理と、上記画像の輝度・深度情報を用いる推定処理とを有する自己位置推定手段、
上記判定手段での判定結果に応じて、上記画像の特徴点を用いる推定処理と上記画像の輝度・深度情報を用いる推定処理とを切り換えるよう制御する制御手段、として機能させ、
上記制御手段は、上記判定手段により上記移動体の動きが激しいと判定され、且つ、上記移動体の自己位置を推定する直前の処理が上記画像の特徴点を用いる推定処理である場合、上記画像の特徴点を用いる推定処理で得た情報を上記画像の輝度・深度情報を用いる推定処理で利用する情報に変換するとともに、上記画像の輝度・深度情報を用いる推定処理に切り換えるよう制御する、
ためのプログラム。