JP7736076B2

JP7736076B2 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP7736076B2
Application number: JP2023553782A
Authority: JP
Inventors: 雅也藤若
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2021-10-12
Filing date: 2021-10-12
Publication date: 2025-09-09
Anticipated expiration: 2041-10-12
Also published as: US20240412402A1; JPWO2023062706A1; WO2023062706A1

Description

本発明は、対象物の位置及び姿勢の少なくとも何れかを算出する情報処理装置、情報処理方法、及びプログラムに関する。

従来、対象物を画角に含む撮像画像を解析することによって、当該対象物の実空間上での位置及び姿勢を推定する技術が知られている。

例えば、非特許文献１には、事前に生成した対象物の３次元点群データを２次元に投影して得られる２次元データと、対象物を画角に含む撮像画像と比較することによって、当該対象物の位置及び姿勢を推定する技術が開示されている。

Martin A.Fischler、Robert C. Bolles著、"Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography"、１９８１年６月１日

非特許文献１の技術は、位置（ｘ，ｙ，ｚ）及び姿勢（ロール、ピッチ、ヨー）の６軸の空間を探索する必要があるため、探索空間が膨大になり、計算コストや計算時間が増大するという課題があった。

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、計算コストや計算時間を抑制しつつ、対象物の位置及び姿勢の少なくとも何れかを好適に推定することのできる技術を提供することである。

本発明の一側面に係る情報処理装置は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている。

本発明の一側面に係る情報処理装置は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する第１のマッチング手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照した第２のマッチング処理を実行する第２のマッチング手段と、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている。

本発明の一側面に係る情報処理方法は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得することと、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得すること、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成することと、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出することとを含む。

本発明の一側面に係る情報処理方法は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得することと、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得することと、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照した第１のマッチング処理を実行することと、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照した第２のマッチング処理を実行することと、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出することとを含む。

本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記コンピュータを、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段ととして機能させるプログラム。

本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記コンピュータを、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する第１のマッチング手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照した第２のマッチング処理を実行する第２のマッチング手段と、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段ととして機能させるプログラム。

本発明の一態様によれば、計算コストや計算時間を抑制しつつ、対象物の位置及び姿勢の少なくとも何れかを好適に推定することができる。

本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。本発明の例示的実施形態１に係る情報処理方法の流れを示すフロー図である。本発明の例示的実施形態１に係る情報処理システムの構成を示すブロック図である。本発明の例示的実施形態２に係る情報処理装置の構成を示すブロック図である。本発明の例示的実施形態２に係る情報処理方法の流れを示すフロー図である。本発明の例示的実施形態２に係る情報処理システムの構成を示すブロック図である。本発明の例示的実施形態３に係る情報処理システムの構成を示すブロック図である。本発明の例示的実施形態３において、対象物であるトラックのベッセルを撮像するカメラ及びカメラの位置を示す図である。本発明の例示的実施形態３に係るＲＧＢ画像位置推定部が対象物の３次元空間における位置及び姿勢を算出する方法を示す図である。本発明の例示的実施形態３に係る情報処理装置が実行する処理の流れを示すフローチャートである。本発明の例示的実施形態３に係る情報処理装置が実行する各処理において参照及び生成される画像の例を示す図である。本発明の例示的実施形態４に係る情報処理システムの構成を示すブロック図である。本発明の例示的実施形態５に係る情報処理システムの構成を示すブロック図である。本発明の例示的実施形態５に係る情報処理装置が実行する処理の流れを示すフローチャートである。本発明の例示的実施形態６に係る情報処理システムの構成を示すブロック図である。本発明の各例示的実施形態における情報処理装置及び情報処理システムのハードウェア構成の一例を示すブロック図である。

〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。

（情報処理装置１の構成）
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、本例示的実施形態に係る情報処理装置１の構成を示すブロック図である。

情報処理装置１は、対象物をセンシング範囲に含む深度センサによって得られた深度情報と、対象物を画角に含む撮像センサによって得られた撮像画像とを参照し、対象物の位置及び姿勢の少なくとも何れかを算出する装置である。

対象物の一例として、ダンプトラックのベッセル（荷台）、及びエッジによって囲まれる内部に物を収納可能な箱などが挙げられるが、これらに限定されない。

情報処理装置１は、１又は複数のＡＧＶ（Automatic Guided Vehicle）、建設機械、自動運転車両、及び監視システム等に広く適用可能である。例えば、情報処理装置１は、バックホーが掘削した土砂をダンプトラックのベッセルに積み込む作業現場において、ダンプトラックのベッセルを対象物として位置及び姿勢の少なくとも何れかを算出し、算出した位置及び姿勢の少なくとも何れかを参照して、ベッセルに土砂を積み込むシステムに用いることができる。

深度センサの例としては、複数のカメラを備え、カメラ間の視差によって対象物までの距離（深度）を特定するステレオカメラ、又は、レーザーを使って対象物までの距離（深度）を測定するＬｉＤＡＲ（Light Detection And Ranging）等が挙げられるが、これらに限定されるものではない。また、深度情報の例としては、ステレオカメラによって取得された深度を表す深度画像、又はＬｉＤＡＲによって取得された各点の座標を示す座標データ等が挙げられるが、これらは本例示的実施形態を限定するものではない。なお、ＬｉＤＡＲによって取得された座標データを変換することによって画像の形式で奥行を表現することもできる。

本例示的実施形態において、対象物の位置とは、対象物の３次元空間における位置であり、対象物の並進位置を含む概念である。また、対象物の姿勢とは、対象物の３次元空間における姿勢であり、対象物の向きを含む概念である。ただし、対象物の位置及び姿勢を具体的にどのようなパラメータによって表現するかは、本例示的実施形態を限定するものではない。

一例として、対象物の位置及び姿勢を、それぞれ当該対象物の重心位置（ｘ、ｙ、ｚ）及び当該対象物の向き（ロール、ピッチ、ヨー）によって表現することができる。この場合、（ｘ、ｙ、ｚ、ロール、ピッチ、ヨー）の６つのパラメータによって当該対象物の位置及び姿勢が表現される。

図１に示すように、情報処理装置１は、深度情報取得部１１、撮像画像取得部１２、生成部１３、及び算出部１４を備えている。深度情報取得部１１、撮像画像取得部１２、生成部１３、及び算出部１４は、本例示的実施形態においてそれぞれ深度情報取得手段、撮像画像取得手段、生成手段、及び算出手段を実現する構成である。

深度情報取得部１１は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する。深度情報取得部１１は、取得した深度情報を、生成部１３に供給する。

撮像画像取得部１２は、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。撮像画像取得部１２は、取得した撮像画像を、算出部１４に供給する。

生成部１３は、深度情報取得部１１から供給された深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。一例として、生成部１３は、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。生成部１３は、生成した１又は複数の候補解を算出部１４に供給する。

ここで、第１の特徴点抽出処理とは、深度情報を参照し、当該深度情報に含まれる１又は複数の特徴点を抽出する処理である。第１の特徴点抽出処理の例として、エッジ抽出フィルタを用いた対象物のエッジ抽出処理が挙げられる。この構成よれば、深度情報に対してエッジ抽出処理を実行することができるので、情報処理装置１は対象物の特徴点を好適に抽出することができる。

また、対象物に関する３次元モデルとは、対象物の３次元空間における大きさ及び形状を表現するデータを含むモデルであり、一例として対象物に含まれる各点を表す点データの集合である３次元データが挙げられる。

算出部１４は、撮像画像取得部１２から供給された撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルとを参照し、生成部１３が生成した１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。一例として、算出部１４は、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、生成部１３が生成した１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

ここで、第２の特徴点抽出処理とは、撮像画像を参照し、当該撮像画像に含まれる１又は複数の特徴点を抽出する処理である。第２の特徴点抽出処理の例として、エッジ抽出フィルタを用いた対象物のエッジ抽出処理が挙げられる。この構成よれば、撮像画像に対してエッジ抽出処理を実行することができるので、情報処理装置１は対象物の特徴点を好適に抽出することができる。

また、第２の特徴点抽出処理において用いられるエッジ抽出フィルタは、第１の特徴点抽出処理において用いられるエッジ抽出フィルタと同じであってもよいし、第１の特徴点抽出処理において用いられるエッジ抽出フィルタとは異なるエッジ抽出フィルタであってもよい。例えば、第２の特徴点抽出処理において用いられるエッジ抽出フィルタは、第１の特徴点抽出処理において用いられるエッジ抽出フィルタとは異なるフィルタ係数を有するフィルタであってもよい。

以上のように、本例示的実施形態に係る情報処理装置１においては、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得部１１と、対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得部１２と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成部１３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルとを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出部１４と、を備える構成が採用されている。

より具体的に言えば、本例示的実施形態に係る情報処理装置１においては、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得部１１と、対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得部１２と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成部１３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出部１４と、を備える構成が採用されている。

このため、本例示的実施形態に係る情報処理装置１によれば、撮像画像に比べて情報量が少ない深度情報を参照して得られた第１の２次元データを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成するので、撮像画像を参照して得られた第２の２次元データを参照する場合に比べて、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を計算コストや計算時間を抑制して導出することができる。

また、本例示的実施形態に係る情報処理装置１によれば、深度情報に比べて情報量が多い撮像画像を参照して得られた第２の２次元データを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。そのため、本例示的実施形態に係る情報処理装置１によれば、深度情報を参照して得られた第１の２次元データと比べて、より高精度に、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出することができる。また、本例示的実施形態に係る情報処理装置１によれば、１又は複数の候補解を用いることにより、候補解を用いない場合に比べて、計算コストや計算時間を抑制することができる。

したがって、本例示的実施形態に係る情報処理装置１によれば、計算コストや計算時間を抑制しつつ、対象物の位置及び姿勢の少なくとも何れかを好適に推定することができる。

（情報処理方法Ｓ１の流れ）
本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、本例示的実施形態に係る情報処理方法Ｓ１の流れを示すフロー図である。

（ステップＳ１１）
ステップＳ１１において、深度情報取得部１１は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する。深度情報取得部１１は、取得した深度情報を生成部１３に供給する。

（ステップＳ１２）
ステップＳ１２において、撮像画像取得部１２は、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。撮像画像取得部１２は、取得した撮像画像を算出部１４に供給する。

（ステップＳ１３）
ステップＳ１３において、生成部１３は、ステップＳ１１において深度情報取得部１１から供給された深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。一例として、生成部１３は、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。生成部１３は、生成した１又は複数の候補解を算出部１４に供給する。

（ステップＳ１４）
ステップＳ１４において、算出部１４は、ステップＳ１２において撮像画像取得部１２から供給された撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データを算出する。また、算出部１４は、第２の２次元データと、３次元モデルとを参照し、ステップＳ１３において生成部１３から供給された１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。一例として、算出部１４は、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、生成部１３から供給された１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

以上のように、本例示的実施形態に係る情報処理方法Ｓ１においては、ステップＳ１１において、深度情報取得部１１が、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得し、ステップＳ１２において、撮像画像取得部１２が、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。また、本例示的実施形態に係る情報処理方法Ｓ１においては、ステップＳ１３において、生成部１３が、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。また、本例示的実施形態に係る情報処理方法Ｓ１においては、ステップＳ１４において、算出部１４が、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルとを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

より具体的に言えば、本例示的実施形態に係る情報処理方法Ｓ１においては、ステップＳ１１において、深度情報取得部１１が、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得し、ステップＳ１２において、撮像画像取得部１２が、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。また、本例示的実施形態に係る情報処理方法Ｓ１においては、ステップＳ１３において、生成部１３が、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。また、本例示的実施形態に係る情報処理方法Ｓ１においては、ステップＳ１４において、算出部１４が、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

したがって、本例示的実施形態に係る情報処理方法Ｓ１によれば、情報処理装置１と同様の効果を奏する。

（情報処理システム１０の構成）
本例示的実施形態に係る情報処理システム１０の構成について、図３を参照して説明する。図３は、本例示的実施形態に係る情報処理システム１０の構成を示すブロック図である。

図３に示すように、情報処理システム１０は、深度情報取得部１１、撮像画像取得部１２、生成部１３、及び算出部１４を備えている。また、図３に示すように、情報処理システム１０では、深度情報取得部１１、撮像画像取得部１２、生成部１３、及び算出部１４は、ネットワークＮを介して互いに通信可能に接続されている。

ネットワークＮの具体的構成は本実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらのネットワークの組み合わせを用いることができる。

深度情報取得部１１は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する。深度情報取得部１１は、取得した深度情報を、ネットワークＮを介して生成部１３に出力する。

撮像画像取得部１２は、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。撮像画像取得部１２は、取得した撮像画像を、ネットワークＮを介して算出部１４に出力する。

生成部１３は、深度情報取得部１１から出力された深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。一例として、生成部１３は、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。生成部１３は、生成した１又は複数の候補解を、ネットワークＮを介して算出部１４に出力する。

算出部１４は、撮像画像取得部１２から出力された撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルとを参照し、生成部１３から出力された１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。一例として、算出部１４は、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、生成部１３が生成した１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

以上のように、本例示的実施形態に係る情報処理システム１０においては、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得部１１と、対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得部１２と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成部１３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルとを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出部１４と、を備える構成が採用されている。

より具体的に言えば、本例示的実施形態に係る情報処理システム１０においては、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得部１１と、対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得部１２と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成部１３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出部１４と、を備える構成が採用されている。

したがって、本例示的実施形態に係る情報処理システム１０によれば、情報処理装置１と同様の効果を奏する。

〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

（情報処理装置２の構成）
本例示的実施形態に係る情報処理装置２の構成について、図４を参照して説明する。図４は、本例示的実施形態に係る情報処理装置２の構成を示すブロック図である。

情報処理装置２は、対象物をセンシング範囲に含む深度センサによって得られた深度情報と、対象物を画角に含む撮像センサによって得られた撮像画像とを参照し、対象物の位置及び姿勢の少なくとも何れかを算出する装置である。対象物、深度情報、及び対象物の位置及び姿勢については、上述した実施形態において説明した通りである。

図４に示すように、情報処理装置２は、深度情報取得部１１、撮像画像取得部１２、第１のマッチング部２３、第２のマッチング部２４、及び算出部２５を備えている。深度情報取得部１１、撮像画像取得部１２、第１のマッチング部２３、第２のマッチング部２４、及び算出部２５は、本例示的実施形態においてそれぞれ深度情報取得手段、撮像画像取得手段、第１のマッチング手段、第２のマッチング手段、及び算出手段を実現する構成である。

深度情報取得部１１は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する。深度情報取得部１１は、取得した深度情報を、第１のマッチング部２３に供給する。

撮像画像取得部１２は、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。撮像画像取得部１２は、取得した撮像画像を、第２のマッチング部２４に供給する。

第１のマッチング部２３は、深度情報取得部１１から供給された深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する。一例として、第１のマッチング部２３は、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行する。第１の特徴点抽出処理については、上述した実施形態において説明した通りである。

第１のマッチング処理とは、第１の２次元データと、対象物に関する３次元モデルとを参照し、第１の２次元データに含まれる対象物の位置と、３次元モデルが示す対象物の位置とがマッチするかどうかを判定する処理である。第１のマッチング部２３は、第１のマッチング処理の結果を、算出部２５に供給する。

第２のマッチング部２４は、撮像画像取得部１２から供給された撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、３次元モデルとを参照した第２のマッチング処理を実行する。一例として、第２のマッチング部２４は、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行する。第２の特徴点抽出処理については、上述した実施形態において説明した通りである。

第２のマッチング処理とは、第２の２次元データと、対象物に関する３次元モデルとを参照し、第２の２次元データに含まれる対象物の位置と、３次元モデルが示す対象物の位置とがマッチするかどうかを判定する処理である。第２のマッチング部２４は、第２のマッチング処理の結果を、算出部２５に供給する。

算出部２５は、第１のマッチング部２３から供給された第１のマッチング処理の結果と、第２のマッチング部２４から供給された第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

以上のように、本例示的実施形態に係る情報処理装置２においては、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得部１１と、対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得部１２と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する第１のマッチング部２３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルとを参照した第２のマッチング処理を実行する第２のマッチング部２４と、第１のマッチング処理の結果と、第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出部２５と、を備える構成が採用されている。

より具体的に言えば、本例示的実施形態に係る情報処理装置２においては、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得部１１と、対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得部１２と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行する第１のマッチング部２３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データを参照した第２のマッチング処理を実行する第２のマッチング部２４と、第１のマッチング処理の結果と、第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出部２５と、を備える構成が採用されている。

このため、本例示的実施形態に係る情報処理装置２によれば、撮像画像に比べて情報量が少ない深度情報を参照して得られた第１の２次元データを参照した第１のマッチング処理の結果と、深度情報に比べて情報量が多い撮像画像を参照して得られた第２の２次元データを参照した第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

したがって、本例示的実施形態に係る情報処理装置２によれば、撮像画像に比べて情報量が少ない深度情報を参照した第１のマッチング処理の結果を参照した対象物の３次元空間における位置及び姿勢の少なくとも何れかを、計算コストや計算時間を抑制して導出することができる。

一方、本例示的実施形態に係る情報処理装置２によれば、深度情報に比べて情報量が多い撮像画像を参照した第２のマッチング処理の結果を参照した対象物の３次元空間における位置及び姿勢の少なくとも何れかを、より高精度に算出することができる。すなわち、本例示的実施形態に係る情報処理装置２によれば、計算コストや計算時間を抑制しつつ、対象物の位置及び姿勢の少なくとも何れかを好適に推定することができる。

（情報処理方法Ｓ２の流れ）
本例示的実施形態に係る情報処理方法Ｓ２の流れについて、図５を参照して説明する。図５は、本例示的実施形態に係る情報処理方法Ｓ２の流れを示すフロー図である。

（ステップＳ１１）
ステップＳ１１において、深度情報取得部１１は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する。深度情報取得部１１は、取得した深度情報を第１のマッチング部２３に供給する。

（ステップＳ１２）
ステップＳ１２において、撮像画像取得部１２は、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。撮像画像取得部１２は、取得した撮像画像を第２のマッチング部２４に供給する。

（ステップＳ２３）
ステップＳ２３において、第１のマッチング部２３は、ステップＳ１１において深度情報取得部１１から供給された深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する。一例として、第１のマッチング部２３は、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行する。第１のマッチング部２３は、第１のマッチング処理の結果を、算出部２５に供給する。

（ステップＳ２４）
ステップＳ２４において、第２のマッチング部２４は、ステップＳ１２において撮像画像取得部１２から供給された撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、３次元モデルとを参照した第２のマッチング処理を実行する。一例として、第２のマッチング部２４は、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行する。第２のマッチング部２４は、第２のマッチング処理の結果を、算出部２５に供給する。

（ステップＳ２５）
ステップＳ２５において、算出部２５は、ステップＳ２３において第１のマッチング部２３から供給された第１のマッチング処理の結果と、ステップＳ２４において第２のマッチング部２４から供給された第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

以上のように、本例示的実施形態に係る情報処理方法Ｓ２においては、ステップＳ１１において、深度情報取得部１１が、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得し、ステップＳ１２において、撮像画像取得部１２が、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。また、本例示的実施形態に係る情報処理方法Ｓ２においては、ステップＳ２３において、第１のマッチング部２３が、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照した第１のマッチング処理を実行し、ステップＳ２４において、第２のマッチング部２４が、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルとを参照した第２のマッチング処理を実行する。また、本例示的実施形態に係る情報処理方法Ｓ２においては、ステップＳ２５において、算出部２５が、第１のマッチング処理の結果と、第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

より具体的に言えば、本例示的実施形態に係る情報処理方法Ｓ２においては、ステップＳ１１において、深度情報取得部１１が、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得し、ステップＳ１２において、撮像画像取得部１２が、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。また、本例示的実施形態に係る情報処理方法Ｓ２においては、ステップＳ２３において、第１のマッチング部２３が、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行し、ステップＳ２４において、第２のマッチング部２４が、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行する。また、本例示的実施形態に係る情報処理方法Ｓ２においては、ステップＳ２５において、算出部２５が、第１のマッチング処理の結果と、第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

したがって、本例示的実施形態に係る情報処理方法Ｓ２によれば、情報処理装置２と同様の効果を奏する。

（情報処理システム２０の構成）
本例示的実施形態に係る情報処理システム２０の構成について、図６を参照して説明する。図６は、本例示的実施形態に係る情報処理システム２０の構成を示すブロック図である。

図６に示すように、情報処理システム２０は、深度情報取得部１１、撮像画像取得部１２、第１のマッチング部２３、第２のマッチング部２４、及び算出部２５を備えている。また、図６に示すように、情報処理システム２０では、深度情報取得部１１、撮像画像取得部１２、第１のマッチング部２３、第２のマッチング部２４、及び算出部２５は、ネットワークＮを介して互いに通信可能に接続されている。ネットワークＮについては、上述した実施形態において説明した通りである。

深度情報取得部１１は、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する。深度情報取得部１１は、取得した深度情報を、ネットワークＮを介して第１のマッチング部２３に出力する。

撮像画像取得部１２は、対象物を画角に含む撮像センサによって得られた撮像画像を取得する。撮像画像取得部１２は、取得した撮像画像を、ネットワークＮを介して第２のマッチング部２４に出力する。

第１のマッチング部２３は、深度情報取得部１１から出力された深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する。一例として、第１のマッチング部２３は、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行する。第１のマッチング部２３は、第１のマッチング処理の結果を、ネットワークＮを介して算出部２５に出力する。

第２のマッチング部２４は、撮像画像取得部１２から出力された撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、３次元モデルとを参照した第２のマッチング処理を実行する。一例として、第２のマッチング部２４は、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行する。第２のマッチング部２４は、第２のマッチング処理の結果を、ネットワークＮを介して算出部２５に出力する。

算出部２５は、第１のマッチング部２３から出力された第１のマッチング処理の結果と、第２のマッチング部２４から出力された第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

以上のように、本例示的実施形態に係る情報処理システム２０においては、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得部１１と、対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得部１２と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する第１のマッチング部２３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、対象物に関する３次元モデルとを参照した第２のマッチング処理を実行する第２のマッチング部２４と、第１のマッチング処理の結果と、第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出部２５と、を備えている。

より具体的に言えば、本例示的実施形態に係る情報処理システム２０においては、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得部１１と、対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得部１２と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行する第１のマッチング部２３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行する第２のマッチング部２４と、第１のマッチング処理の結果と、第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出部２５と、を備えている。

したがって、本例示的実施形態に係る情報処理システム２０によれば、情報処理装置２と同様の効果を奏する。

〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、上述した例示的実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。

（情報処理システム１００の構成）
本例示的実施形態に係る情報処理システム１００の構成について、図７を参照して説明する。図７は、本例示的実施形態に係る情報処理システム１００の構成を示すブロック図である。

図７に示すように、情報処理システム１００は、情報処理装置３、深度センサ４、及びＲＧＢ（Red、Green、Blue）カメラ５を含んで構成される。情報処理システム１００において、情報処理装置３は、深度センサ４によって得られた対象物をセンシング範囲に含む深度情報を取得し、ＲＧＢカメラ５によって得られた対象物を画角に含む撮像情報を取得する。そして、情報処理装置３は、取得した深度情報及び撮像情報を参照し、対象物の位置及び姿勢の少なくとも何れかを算出する。対象物、深度情報、及び対象物の位置及び姿勢については、上述した実施形態において説明した通りである。

深度センサ４は、センシング範囲に含まれる物体までの距離を示す深度情報を出力するセンサである。深度センサ４の例は、上述した実施形態において説明した通り、複数のカメラを備えるステレオカメラ及びＬｉＤＡＲが挙げられるが、これらに限定されるものではない。深度情報の例も、上述した実施形態において説明した通り、深度を表す深度画像、及び各点の座標を示す座標データ等が挙げられるが、これらに限定されるものではない。

ＲＧＢカメラ５は、画角に含まれる物体を撮像する撮像センサを備え、当該物体を画角に含む撮像データを出力するカメラである。情報処理システム１００では、ＲＧＢカメラ５に限定されず、多値画像を出力するカメラを含む構成であればよく、例えば、ＲＧＢカメラ５に替えて、撮像した物体を白と黒の諧調で表現する白黒画像を出力するモノクロカメラを含む構成であってもよい。

（情報処理装置３の構成）
図７に示すように、情報処理装置３は、制御部３１、出力部３２、及び記憶部３３を備えている。

出力部３２は、後述する制御部３１から供給されるデータを出力するデバイスである。出力部３２がデータを出力する一例として、図示しないネットワークに出力部３２を接続し、当該ネットワークを介して通信可能な他の装置にデータを出力する構成が挙げられる。出力部３２がデータを出力する他の例として、図示しないディスプレイ（例えば、表示パネルなど）に出力部３２を接続し、当該ディスプレイに表示する画像を示すデータを出力する構成が挙げられる。これらは、本例示的実施形態を限定するものではない。

記憶部３３は、後述する制御部３１が参照する各種のデータが格納されている。一例として、記憶部３３には、対象物に関する３次元モデルである３Ｄモデル３３１が格納されている。３Ｄモデル３３１は、３Ｄモデリングで使われるメッシュやサーフェスにより定義されてもよいし、対象物のエッジ（輪郭）に関するデータを明示的に含むモデルであってもよいし、対象物の画像における特徴を示すテクスチャが定義されていてもよい。３Ｄモデル３３１が対象物のエッジ（輪郭）に関するデータを明示的に含む構成により、３Ｄモデル３３１に対してエッジ抽出処理を実行することができるので、情報処理装置３は対象物の特徴点を好適に抽出することができる。また、３Ｄモデル３３１は、対象物の頂点に関するデータを含んでいてもよい。対象物に関する３次元モデルについては、上述した実施形態において説明した通りである。

（制御部３１）
制御部３１は、情報処理装置３の各構成要素を制御する。一例として、記憶部３３からデータを取得したり、出力部３２にデータを出力したりする。

また、制御部３１は、図７に示すように、深度情報取得部３１１、深度画像特徴点抽出部３１２、深度画像位置推定部３１３、ＲＧＢ画像取得部３１４、ＲＧＢ画像特徴点抽出部３１５、及びＲＧＢ画像位置推定部３１６としても機能する。深度情報取得部３１１、深度画像位置推定部３１３、ＲＧＢ画像取得部３１４、及びＲＧＢ画像位置推定部３１６は、本例示的実施形態においてそれぞれ深度情報取得手段、生成手段、撮像画像取得手段、及び算出手段を実現する構成である。

深度情報取得部３１１は、対象物をセンシング範囲に含む深度センサ４によって得られた深度情報を取得する。また、深度情報取得部３１１は、対象物がセンシング範囲に存在しない場合であっても、センシング範囲に関する深度情報であって、深度センサ４によって得られた深度情報を取得する。深度情報取得部３１１は、取得した深度情報を深度画像特徴点抽出部３１２に供給する。

深度画像特徴点抽出部３１２は、深度情報取得部３１１から供給された深度情報を参照した第１の特徴点抽出処理を実行し、第１の２次元データを生成する。深度画像特徴点抽出部３１２は、生成した第１の２次元データを、深度画像位置推定部３１３に供給する。第１の特徴点抽出処理については、上述した実施形態において説明した通りである。深度画像特徴点抽出部３１２が実行する処理の一例については、参照する図面を替えて後述する。

深度画像位置推定部３１３は、深度画像特徴点抽出部３１２から供給された第１の２次元データと、記憶部３３に格納されている３Ｄモデル３３１とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。深度画像位置推定部３１３は、生成した１又は複数の候補解を、ＲＧＢ画像位置推定部３１６に供給する。深度画像位置推定部３１３が実行する処理の一例については、参照する図面を替えて後述する。

ＲＧＢ画像取得部３１４は、対象物を画角に含むＲＧＢカメラ５によって得られたＲＧＢ画像（撮像画像）を取得する。ＲＧＢ画像取得部３１４は、取得したＲＧＢ画像をＲＧＢ画像特徴点抽出部３１５に供給する。

ＲＧＢ画像特徴点抽出部３１５は、ＲＧＢ画像取得部３１４が供給したＲＧＢ画像を参照した第２の特徴点抽出処理を実行し、第２の２次元データを生成する。ＲＧＢ画像特徴点抽出部３１５は、生成した第２の２次元データを、ＲＧＢ画像位置推定部３１６に供給する。第２の特徴点抽出処理については、上述した実施形態において説明した通りである。ＲＧＢ画像特徴点抽出部３１５が実行する処理の一例については、参照する図面を替えて後述する。

ＲＧＢ画像位置推定部３１６は、ＲＧＢ画像特徴点抽出部３１５から供給された第２の２次元データと、記憶部３３に格納されている３Ｄモデル３３１とを参照し、深度画像位置推定部３１３から供給された１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。ＲＧＢ画像位置推定部３１６は、算出した対象物の３次元空間における位置及び姿勢の少なくとも何れかを、出力部３２に供給する。ＲＧＢ画像位置推定部３１６が実行する処理の一例については、後述する。

（対象物の３次元空間における位置及び姿勢を算出する方法例）
ＲＧＢ画像位置推定部３１６が対象物の３次元空間における位置及び姿勢を算出する方法の一例について、図８及び図９を用いて説明する。図８は、本例示的実施形態において、対象物であるトラックのベッセルＲＴを撮像するカメラＣＡ１及びカメラＣＡ２の位置を示す図である。図９は、本例示的実施形態に係るＲＧＢ画像位置推定部３１６が対象物の３次元空間における位置及び姿勢を算出する方法を示す図である。

例えば、図８に示すカメラＣＡ１を用いて対象物ＲＴを撮像した場合、カメラＣＡ１が出力する画像は図９に示す画像Ｐ１である。ＲＧＢ画像位置推定部３１６は、画像Ｐ１に含まれる対象物ＲＴの位置を、位置パラメータに基づき３Ｄモデルを移動及び回転させることにより、グローバル座標上における対象物ＲＴの座標（対象物ＲＴの３次元空間における位置及び姿勢）を算出する。

ここで、位置パラメータとは、対象物ＲＴが取り得る位置及び姿勢を表現したものである。位置パラメータの例については、参照する図面を替えて後述する。

他の例として、図８に示すカメラＣＡ２を用いて対象物ＲＴを撮像した場合、カメラＣＡ２が出力する画像は図９に示す画像Ｐ２である。ＲＧＢ画像位置推定部３１６は、画像Ｐ２に含まれる対象物ＲＴの位置を、位置パラメータに基づき３Ｄモデルを移動及び回転させることにより、グローバル座標上における対象物ＲＴの座標（対象物ＲＴの３次元空間における位置及び姿勢）を算出する。

（情報処理装置３が実行する処理の流れ）
情報処理装置３が実行する処理の流れについて、図１０及び図１１を用いて説明する。図１０は、本例示的実施形態に係る情報処理装置３が実行する処理の流れを示すフローチャートである。図１１は、本例示的実施形態に係る情報処理装置３が実行する各処理において参照及び生成される画像の例を示す図である。図１１に示す例では、対象物として、ダンプトラックのベッセルを例に挙げて説明する。図１１におけるベッセルの３Ｄモデル画像Ｐ１１は、対象物であるベッセルの３Ｄモデルを示す画像である。図１１に示すように、ベッセルの３Ｄモデルは、ベッセルのエッジに関するデータを含んでいる。

（ステップＳ３１）
ステップＳ３１において、情報処理装置３は、３Ｄモデル３３１を取得する。情報処理装置３は、取得した３Ｄモデル３３１を、記憶部３３に格納する。

（ステップＳ３２）
ステップＳ３２において、深度画像位置推定部３１３は、評価対象である、対象物の位置パラメータの集合を取得する。

上述したように、位置パラメータとは、対象物が取り得る位置及び姿勢を表現したものである。図１１に示す例において、ベッセルが取り得る位置及び姿勢の集合（位置パラメータの集合）をベッセルの３Ｄモデル画像Ｐ１１に適用し、２次元化した画像が画像Ｐ１２である。画像Ｐ１２は、「モデルエッジ」とも称する。

（ステップＳ３３）
ステップＳ３３において、深度画像位置推定部３１３は、ベッセルの位置及び姿勢を示す位置パラメータの集合のうち、未評価の位置パラメータを１つ選択する。図１１に示す例では、深度画像位置推定部３１３は、画像Ｐ１２に含まれる複数の２次元化したベッセルのうち、未評価のベッセルに適用された位置パラメータを選択する。

（ステップＳ３４）
ステップＳ３４において、深度画像位置推定部３１３は、選択した位置パラメータに基づいて、記憶部３３に格納されている３Ｄモデル３３１を移動及び回転させる。

（ステップＳ３５）
ステップＳ３５において、深度画像位置推定部３１３は、移動及び回転させた３Ｄモデル３３１を２次元空間に写像し、写像画像を生成する。深度画像位置推定部３１３によって生成された写像画像は、３Ｄモデル３３１の深度情報を示す画像であることを特徴とする。

（ステップＳ３６）
ステップＳ３６において、深度画像位置推定部３１３は、写像画像における対象物の輪郭（エッジ）を抽出する。一例として、深度画像位置推定部３１３は、写像画像に対して第１の特徴点抽出処理を適用することによって対象物の特徴点である輪郭を抽出し、当該輪郭を示す第３の２次元データを生成する。深度画像位置推定部３１３が生成した第３の２次元データを、「テンプレートデータ」とも称する。

（ステップＳ３７）
ステップＳ３７において、深度情報取得部３１１は、対象物をセンシング範囲に含む深度センサ４によって得られた深度情報を取得する。そして、深度情報取得部３１１は、取得した深度情報を、深度画像特徴点抽出部３１２に供給する。

深度画像特徴点抽出部３１２は、深度情報取得部３１１から供給された深度情報を参照し、深度画像を生成する。一例として、深度画像特徴点抽出部３１２は、対象物をセンシング範囲に含む深度情報と、対象物がセンシング範囲に含まれていない深度情報とを取得し、対象物を含む深度画像及び対象物が存在しない場合の深度画像を生成する。

図１１に示す例では、深度画像特徴点抽出部３１２は、対象物ＲＴをセンシング範囲に含む深度画像である認識対象の深度画像Ｐ１４と、対象物ＲＴがセンシング範囲に存在しない場合の深度画像である背景深度画像Ｐ１３とを生成する。

（ステップＳ３８）
ステップＳ３８において、深度画像特徴点抽出部３１２は、深度画像を参照し、対象物の輪郭を抽出する。深度画像特徴点抽出部３１２が対象物の輪郭を抽出して得られるデータは第１の２次元データであり、「深度エッジ」又は「検索データ」とも称する。

図１１に示す例では、深度画像特徴点抽出部３１２はまず、認識対象の深度画像Ｐ１４と背景深度画像Ｐ１３との差分を算出し、差分情報である差分画像Ｐ１５を生成する。

次に、深度画像特徴点抽出部３１２は、生成した差分情報を参照して第１の特徴点抽出処理を実行し、差分画像に含まれる１又は複数の特徴点を抽出する。この構成によれば、情報処理装置３は、深度情報に含まれる対象物及び対象物の特徴点の抽出処理を、情報量の少ない深度情報を参照して行うので、計算コストや計算時間を抑制することができる。

図１１に示す例では、深度画像特徴点抽出部３１２は、差分画像Ｐ１５にエッジ抽出フィルタを用いて、差分画像からエッジＯＬ２を抽出した画像Ｐ１６を生成する。画像Ｐ１６が、第１の２次元データ（深度エッジ又は検索データ）である。深度画像特徴点抽出部３１２は、第１の２次元データを、深度画像位置推定部３１３に供給する。

ここで、深度画像特徴点抽出部３１２は、差分情報に対して２値化処理を適用して得られた２値化後の差分情報を参照して、第１の特徴点抽出処理を実行してもよい。この構成によれば、情報処理装置３は、情報量の少ない２値化処理を適用して得られた２値化後の差分情報を参照するので、計算コストや計算時間を抑制することができる。

ステップＳ３７及びステップＳ３８の処理は、深度画像特徴点抽出部３１２が実行する処理の一例である。

なお、ステップＳ３７及びステップＳ３８は、ステップＳ３１～ステップＳ３６と並行して実行されてもよいし、ステップＳ３１～ステップＳ３６の前に実行されてもよいし、ステップＳ３１～ステップＳ３６の後に実行されてもよい。

（ステップＳ３９）
ステップＳ３９において、深度画像位置推定部３１３は、ステップＳ３６において抽出したテンプレートデータ（第３の２次元データ）と、ステップＳ３８において深度画像特徴点抽出部３１２から供給された検索データ（第１の２次元データ）とをマッチングさせ、マッチング誤差を算出する。一例として、深度画像位置推定部３１３は、第３の２次元データと第１の２次元データとを参照したテンプレートマッチング処理により、マッチング誤差を算出する。

ここで、テンプレートマッチング処理の一例として、Chamfer Matchingが挙げられるがこれは本実施形態を限定するものではない。深度画像位置推定部３１３は、他の例として、マッチング誤差の算出にＰｎＰ（Perspective n Point）、ＩＣＰ（Interactive Closest Point）、及びＤＣＭ（Directional Chamfer Matching）を用いる方法も挙げられるが、これらに限定されない。

図１１に示す例では、検索データである画像Ｐ１６と、当該画像Ｐ１６に対して適用されるテンプレートデータである輪郭ＯＬ１とが重畳している画像を、画像Ｐ１７として示している。深度画像位置推定部３１３は、画像Ｐ１６に含まれるエッジＯＬ２と、輪郭ＯＬ１との誤差を、マッチング誤差として算出する。深度画像位置推定部３１３が算出した誤差を、深度情報を用いたマッチング誤差であることを示すため、「マッチング誤差（深度）」とも称する。

（ステップＳ４０）
ステップＳ４０において、深度画像位置推定部３１３は、未評価の位置パラメータが存在するか否かを判定する。

ステップＳ４０において、未評価の位置パラメータが存在すると判定された場合（ステップＳ４０：はい）、深度画像位置推定部３１３は、ステップＳ３３の処理に戻る。

（ステップＳ４１）
ステップＳ４０において、未評価の位置パラメータが存在しないと判定された場合（ステップＳ４０：いいえ）、ステップＳ４１において、深度画像位置推定部３１３は、マッチング誤差（深度が）所定の閾値以下であり、誤差の小さい位置パラメータを最大Ｎ個を選択し、Ｎ個の候補解とする。ここで、深度画像位置推定部３１３は、相対的に誤差の小さい位置パラメータＮ個を選択し、Ｎ個の候補解としてもよい。この構成によれば、情報処理装置３は、ＲＧＢ画像に比べて情報量の少ない深度情報を参照して得られる第１の２次元データを参照したテンプレートマッチング処理により１又は複数の候補解を生成するので、計算コストや計算時間を抑制することができる。深度画像位置推定部３１３は、Ｎ個の候補解を、ＲＧＢ画像位置推定部３１６に供給する。

以上のステップＳ３２～ステップＳ３６及びステップＳ３９～ステップＳ４１は、深度画像位置推定部３１３が実行する処理の一例である。

（ステップＳ４２）
ステップＳ４２において、ＲＧＢ画像位置推定部３１６は、深度画像位置推定部３１３からＮ個の位置パラメータである候補解を取得すると、当該候補解を、評価対象の位置パラメータとして用いる。

（ステップＳ４３）
ステップＳ４３において、ＲＧＢ画像位置推定部３１６は、Ｎ個の位置パラメータのうち、未評価の位置パラメータを１つ選択する。

（ステップＳ４４）
ステップＳ４４において、ＲＧＢ画像位置推定部３１６は、選択した位置パラメータに基づいて、記憶部３３に格納されている３Ｄモデル３３１を移動及び回転させる。

（ステップＳ４５）
ステップＳ４５において、ＲＧＢ画像位置推定部３１６は、移動及び回転させた３Ｄモデル３３１を２次元空間に写像し、写像画像を生成する。ＲＧＢ画像位置推定部３１６によって生成された写像画像は、３Ｄモデル３３１のテクスチャ情報を含む画像であることを特徴とする。

（ステップＳ４６）
ステップＳ４６において、ＲＧＢ画像位置推定部３１６は、写像画像における対象物の輪郭を抽出する。一例として、ＲＧＢ画像位置推定部３１６は、写像画像に対して第２の特徴点抽出処理を適用することによって対象物の輪郭（エッジ）を抽出し、当該輪郭を示す第４の２次元データを生成する。ＲＧＢ画像位置推定部３１６が抽出する輪郭は、矩形状の輪郭であってもよい。ＲＧＢ画像位置推定部３１６が生成した第４の２次元データを、「テンプレートデータ」とも称する。

（ステップＳ４７）
ステップＳ４７において、ＲＧＢ画像取得部３１４は、ＲＧＢカメラ５によって得られた対象物を画角に含むＲＧＢ画像を取得する。ＲＧＢ画像取得部３１４は、取得したＲＧＢ画像をＲＧＢ画像特徴点抽出部３１５に供給する。

（ステップＳ４８）
ステップＳ４８において、ＲＧＢ画像特徴点抽出部３１５は、ＲＧＢ画像取得部３１４から供給されたＲＧＢ画像を参照し、第２の特徴点抽出処理を実行し、第２の２次元データを生成する。

図１１に示す例では、ＲＧＢ画像特徴点抽出部３１５は、ＲＧＢ画像Ｐ１８に含まれる対象物の矩形状の輪郭を特徴点として抽出している。矩形状を抽出する方法の一例としては既知の手法を用いればよい。ＲＧＢ画像特徴点抽出部３１５は、抽出した輪郭ＯＬ４を含む画像Ｐ１９を、第２の２次元データとして生成する。ＲＧＢ画像特徴点抽出部３１５が生成した画像Ｐ１９は、「ＲＧＢエッジ」又は「検索データ」とも称する。ＲＧＢ画像特徴点抽出部３１５は、生成した第２の２次元データを、ＲＧＢ画像位置推定部３１６に供給する。

ステップＳ４８の処理は、ＲＧＢ画像特徴点抽出部３１５が実行する処理の一例である。

なお、ステップＳ４７及びステップＳ４８は、ステップＳ４２～ステップＳ４６と並行して実行されてもよいし、ステップＳ４２～ステップＳ４６の前に実行されてもよいし、ステップＳ４２～ステップＳ４６の後に実行されてもよい。

（ステップＳ４９）
ステップＳ４９において、ＲＧＢ画像位置推定部３１６は、ステップＳ４６において抽出したテンプレートデータ（第４の２次元データ）と、ステップＳ４８においてＲＧＢ画像特徴点抽出部３１５から供給された検索データ（第２の２次元データ）とをマッチングさせ、マッチング誤差を算出する。一例として、ＲＧＢ画像位置推定部３１６は、第４の２次元データと第２の２次元データとを参照したテンプレートマッチング処理により、マッチング誤差を算出する。ここで、テンプレートマッチング処理の一例として、Chamfer Matchingが挙げられるがこれは本実施形態を限定するものではない。ＲＧＢ画像位置推定部３１６は、他の例として、マッチング誤差の算出にＰｎＰ、ＩＣＰ、及びＤＣＭを用いる方法も挙げられるが、これらに限定されない。

図１１に示す例では、検索データである画像Ｐ１９と、当該画像Ｐ１９に対して適用されるテンプレートデータである輪郭ＯＬ３とが重畳している画像を、画像Ｐ２０として示している。ＲＧＢ画像位置推定部３１６は、画像Ｐ１９に含まれる輪郭ＯＬ４と、輪郭ＯＬ３との誤差を、マッチング誤差として算出する。ＲＧＢ画像位置推定部３１６が算出した誤差を、ＲＧＢ画像（イメージ）を用いたマッチング誤差であることを示すため、「マッチング誤差（イメージ）」とも称する。

（ステップＳ５０）
ステップＳ５０において、ＲＧＢ画像位置推定部３１６は、未評価の位置パラメータが存在するか否かを判定する。

ステップＳ５０において、未評価の位置パラメータが存在すると判定された場合（ステップＳ５０：はい）、ＲＧＢ画像位置推定部３１６は、ステップＳ４３の処理に戻る。

（ステップＳ５１）
ステップＳ５１は、ＲＧＢ画像位置推定部３１６は、それぞれの位置パラメータに対して算出したマッチング誤差（深度）及びマッチング誤差（イメージ）から、総合誤差を算出し、最も総合誤差の小さい位置パラメータを選択する。換言すると、ＲＧＢ画像位置推定部３１６は、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。この構成によれば、情報処理装置３は、深度情報に比べて情報量の多いＲＧＢ画像を参照して得られる第２の２次元データを参照したテンプレートマッチング処理により対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出するので、対象物の位置及び姿勢の少なくとも何れかを好適に推定することができる。ＲＧＢ画像位置推定部３１６は、選択したパラメータを、出力部３２に供給する。

一例として、ＲＧＢ画像位置推定部３１６は、総合誤差eを以下の数式（１）を用いて算出することができるがこれは本例示的実施形態を限定するものではない。
e=wd*ed+wi*ei・・・（１）
数式（１）における各変数は、以下を表している。
wd：重み付けパラメータ
wi：重み付けパラメータ
ed：マッチング誤差（深度）
ei：マッチング誤差（イメージ）
すなわち、ＲＧＢ画像位置推定部３１６は、総合誤差eとして、ステップＳ３９において深度画像位置推定部３１３が算出したマッチング誤差（深度）edと重み付パラメータwdとの積、及びステップＳ４９においてＲＧＢ画像位置推定部３１６が算出したマッチング誤差（イメージ）eiと重み付パラメータwiとの積の和を用いる。

また、他の例として、ＲＧＢ画像位置推定部３１６は、総合誤差eを以下の数式（２）を用いても算出することができる。
e=βd*exp(αd*ed)+ βi*exp(αi*ei)・・・（２）
数式（２）における各変数は、以下を表している。
βd：重み付パラメータ
βi：重み付パラメータ
αd：パラメータ
αi：パラメータ
ed：マッチング誤差（深度）
ei：マッチング誤差（イメージ）
すなわち、ＲＧＢ画像位置推定部３１６はまず、ステップＳ３９において深度画像位置推定部３１３が算出したマッチング誤差（深度）edとパラメータαdとの積のexponentialを算出する。続いて、ＲＧＢ画像位置推定部３１６は、算出した値と重み付パラメータβdとの積（値ｄ）を算出する。

次に、ＲＧＢ画像位置推定部３１６は、ステップＳ４９においてＲＧＢ画像位置推定部３１６が算出したマッチング誤差（イメージ）eiとパラメータαiとの積のexponentialを算出する。続いて、ＲＧＢ画像位置推定部３１６は、算出した値と重み付パラメータβiとの積（値ｉ）を算出する。

そして、ＲＧＢ画像位置推定部３１６は、総合誤差eとして、値ｄと値ｉとの和を用いる。

ここで、ＲＧＢ画像位置推定部３１６は、ＲＧＢ画像又は第２の２次元データに対して、Ｎ個の候補解が示す位置から所定の距離以上離れたデータ（換言すれば、所定の距離以上離れたことを表すデータ）を削除するデータ削除処理を適用してもよい。この場合、ＲＧＢ画像位置推定部３１６は、データ削除処理後の撮像画像又は第２の２次元データを参照し、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出してもよい。この構成によれば、情報処理装置３は、対象物以外のデータを処理せずに対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出するので、計算コストや計算時間を抑制することができる。

以上のステップＳ４９～ステップＳ５１は、ＲＧＢ画像位置推定部３１６が実行する処理の一例である。

また、図１０に示すフローチャートにおいて、情報処理装置３は、ステップＳ３７～ステップＳ３９と、ステップＳ４７～ステップＳ４９とを実行する順番を入れ替え、さらに、ステップＳ３２～ステップＳ３６、及びステップＳ３９～ステップＳ４１の処理を深度画像位置推定部３１３に替えてＲＧＢ画像位置推定部３１６が実行し、ステップＳ４２～ステップＳ４６、ステップＳ４９～ステップＳ５１の処理をＲＧＢ画像位置推定部３１６に替えて深度画像位置推定部３１３が実行する構成であってもよい。

換言すると、ステップＳ４７において、ＲＧＢ画像取得部３１４が対象物を画角に含むＲＧＢカメラ５によって得られた撮像画像を取得し、ステップＳ３９において、ＲＧＢ画像位置推定部３１６が撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、３次元モデルとを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する。

次に、ステップＳ３７において、深度情報取得部３１１が対象物をセンシング範囲に含む深度センサ４によって得られた深度情報を取得し、ステップＳ４９において、深度画像位置推定部３１３が深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、３次元モデルとを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。

この構成によっても、情報処理装置３は、上述した情報処理装置１とほぼ同様の効果を奏する。

以上のように、本例示的実施形態に係る情報処理システム１００においては、情報処理装置３は、対象物をセンシング範囲に含む深度センサ４によって得られた深度情報を取得する深度情報取得部３１１と、対象物を画角に含むＲＧＢカメラ５によって得られたＲＧＢ画像を取得するＲＧＢ画像取得部３１４と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３Ｄモデル３３１とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する深度画像位置推定部３１３と、ＲＧＢ画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、３Ｄモデル３３１とを参照し、１又は複数の候補解を用いて、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出するＲＧＢ画像位置推定部３１６と、を備えている。

したがって、本例示的実施形態に係る情報処理システム１００によれば、情報処理装置３は、上述した情報処理装置１と同様の効果を奏する。

〔例示的実施形態４〕
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、上述した例示的実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。

（情報処理システム１００Ａの構成）
本例示的実施形態に係る情報処理システム１００Ａの構成について、図１２を参照して説明する。図１２は、本例示的実施形態に係る情報処理システム１００Ａの構成を示すブロック図である。

図１２に示すように、情報処理システム１００Ａは、情報処理装置３Ａ、深度センサ４、ＲＧＢカメラ５、及び端末装置６を含んで構成される。深度センサ４及びＲＧＢカメラ５については、上述した実施形態において説明した通りである。

情報処理システム１００Ａにおいて、端末装置６は、深度センサ４によって得られた、対象物をセンシング範囲に含む深度情報を取得し、ＲＧＢカメラ５によって得られた、対象物を画角に含む撮像情報を取得する。そして、情報処理システム１００Ａにおいて、情報処理装置３Ａは、端末装置６が取得した深度情報及び撮像情報を参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。対象物、深度情報、及び対象物の位置及び姿勢については、上述した実施形態において説明した通りである。

（端末装置６の構成）
図１２に示すように、端末装置６は、深度情報取得部３１１及びＲＧＢ画像取得部３１４を備えている。

深度情報取得部３１１は、対象物をセンシング範囲に含む深度センサ４によって得られた深度情報を取得する。また、深度情報取得部３１１は、対象物がセンシング範囲に存在しない場合であっても、センシング範囲に関する深度情報であって、深度センサ４によって得られた深度情報を取得する。深度情報取得部３１１は、取得した深度情報を情報処理装置３Ａに出力する。

ＲＧＢ画像取得部３１４は、対象物を画角に含むＲＧＢカメラ５によって得られたＲＧＢ画像（撮像画像）を取得する。ＲＧＢ画像取得部３１４は、取得したＲＧＢ画像を情報処理装置３Ａに出力する。

（情報処理装置３Ａの構成）
図１２に示すように、情報処理装置３Ａは、制御部３１Ａ、出力部３２、及び記憶部３３を備えている。出力部３２及び記憶部３３については、上述した実施形態において説明した通りである。

制御部３１Ａは、情報処理装置３Ａの各構成要素を制御する。制御部３１Ａは、図１２に示すように、深度画像特徴点抽出部３１２、深度画像位置推定部３１３、ＲＧＢ画像特徴点抽出部３１５、及びＲＧＢ画像位置推定部３１６としても機能する。深度画像位置推定部３１３及びＲＧＢ画像位置推定部３１６については、上述した実施形態において説明した通りである。

深度画像特徴点抽出部３１２は、端末装置６から出力された深度情報を参照した第１の特徴点抽出処理を実行し、第１の２次元データを生成する。深度画像特徴点抽出部３１２は、生成した第１の２次元データを、深度画像位置推定部３１３に供給する。深度画像特徴点抽出部３１２が実行する処理の一例については、上述した実施形態において説明した通りである。

ＲＧＢ画像特徴点抽出部３１５は、端末装置６から出力されたＲＧＢ画像を参照した第２の特徴点抽出処理を実行し、第２の２次元データを生成する。ＲＧＢ画像特徴点抽出部３１５は、生成した第２の２次元データを、ＲＧＢ画像位置推定部３１６に供給する。ＲＧＢ画像特徴点抽出部３１５が実行する処理の一例については、上述した実施形態において説明した通りである。

以上のように、本例示的実施形態に係る情報処理システム１００Ａにおいては、端末装置６が深度情報及びＲＧＢ画像を取得し、取得した深度情報及びＲＧＢ画像を情報処理装置３Ａに出力する。情報処理装置３Ａは、端末装置６から出力された深度情報及びＲＧＢ画像を参照し、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。したがって、本例示的実施形態に係る情報処理システム１００Ａにおいては、情報処理装置３Ａは、深度センサ４及びＲＧＢカメラ５から直接、深度情報及びＲＧＢ画像を取得する必要がないため、深度センサ４及びＲＧＢカメラ５と物理的に離れた位置に配置されるサーバなどによって実現することができる。

〔例示的実施形態５〕
本発明の第５の例示的実施形態について、図面を参照して詳細に説明する。なお、上述した例示的実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。

（情報処理システム１００Ｂの構成）
本例示的実施形態に係る情報処理システム１００Ｂの構成について、図１３を参照して説明する。図１３は、本例示的実施形態に係る情報処理システム１００Ｂの構成を示すブロック図である。

図１３に示すように、情報処理システム１００Ｂは、情報処理装置３Ｂ、深度センサ４、及びＲＧＢカメラ５を含んで構成される。深度センサ４及びＲＧＢカメラ５については、上述した実施形態において説明した通りである。

情報処理システム１００Ｂにおいて、情報処理装置３Ｂは、情報処理装置３と同様、深度センサ４によって得られた対象物をセンシング範囲に含む深度情報を取得し、ＲＧＢカメラ５によって得られた対象物を画角に含む撮像情報を取得する。そして、情報処理装置３Ｂは、取得した深度情報及び撮像情報を参照し、対象物の位置及び姿勢の少なくとも何れかを算出する。対象物、深度情報、及び対象物の位置及び姿勢については、上述した実施形態において説明した通りである。

（情報処理装置３Ｂの構成）
図１３に示すように、情報処理装置３Ｂは、制御部３１Ｂ、出力部３２、及び記憶部３３を備えている。出力部３２及び記憶部３３については、上述した実施形態において説明した通りである。

制御部３１Ｂは、情報処理装置３Ｂの各構成要素を制御する。制御部３１Ｂは、図１３に示すように、深度情報取得部３１１、深度画像特徴点抽出部３１２、深度画像位置推定部３１３、ＲＧＢ画像取得部３１４、ＲＧＢ画像特徴点抽出部３１５、ＲＧＢ画像位置推定部３１６、及び統合判定部３１７としても機能する。深度情報取得部３１１、深度画像特徴点抽出部３１２、ＲＧＢ画像取得部３１４、及びＲＧＢ画像特徴点抽出部３１５については、上述した実施形態において説明した通りである。

深度情報取得部３１１、深度画像位置推定部３１３、ＲＧＢ画像取得部３１４、ＲＧＢ画像位置推定部３１６、及び統合判定部３１７は、本例示的実施形態においてそれぞれ深度情報取得手段、第１のマッチング手段、撮像画像取得手段、第２のマッチング手段、及び算出手段を実現する構成である。

深度画像位置推定部３１３は、深度画像特徴点抽出部３１２から供給された第１の２次元データと、記憶部３３に格納されている３Ｄモデル３３１とを参照した第１のマッチング処理を実行する。第１の２次元データ及び第１のマッチング処理については、上述した実施形態において説明した通りである。深度画像位置推定部３１３は、第１のマッチング処理の結果を、統合判定部３１７に供給する。

また、深度画像位置推定部３１３は、記憶部３３に格納されている３Ｄモデル３３１を移動及び回転させた画像を、ＲＧＢ画像位置推定部３１６に供給する。

ＲＧＢ画像位置推定部３１６は、ＲＧＢ画像特徴点抽出部３１５から供給された第２の２次元データと、記憶部３３に格納されている３Ｄモデル３３１とを参照した第２のマッチング処理を実行する。第２の２次元データ及び第２のマッチング処理については、上述した実施形態において説明した通りである。ＲＧＢ画像位置推定部３１６は、第２のマッチング処理の結果を、統合判定部３１７に供給する。

統合判定部３１７は、深度画像位置推定部３１３から供給された第１のマッチング処理の結果と、ＲＧＢ画像位置推定部３１６から供給された第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。統合判定部３１７が対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する方法の一例は、上述したＲＧＢ画像位置推定部３１６が対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する方法の一例と同じであるため、説明を省略する。

（情報処理装置３Ｂが実行する処理の流れ）
情報処理装置３Ｂが実行する処理の流れについて、図１４を用いて説明する。図１４は、本例示的実施形態に係る情報処理装置３Ｂが実行する処理の流れを示すフローチャートである。

（ステップＳ３１）
ステップＳ３１において、情報処理装置３Ｂは、３Ｄモデル３３１を取得する。情報処理装置３Ｂは、取得した３Ｄモデル３３１を、記憶部３３に格納する。

（ステップＳ３２）
ステップＳ３２において、深度画像位置推定部３１３は、評価対象である、対象物の位置パラメータの集合を取得する。位置パラメータについては、上述した通りである。

（ステップＳ３３）
ステップＳ３３において、深度画像位置推定部３１３は、ベッセルの位置及び姿勢を示す位置パラメータの集合のうち、未評価の位置パラメータを１つ選択する。

（ステップＳ６０）
ステップＳ６０において、深度画像位置推定部３１３は、選択した位置パラメータに基づいて、記憶部３３に格納されている３Ｄモデル３３１を移動及び回転させる。深度画像位置推定部３１３は、移動及び回転させた３Ｄモデル３３１を、ＲＧＢ画像位置推定部３１６に供給する。

（ステップＳ３５）
ステップＳ３５において、深度画像位置推定部３１３は、移動及び回転させた３Ｄモデル３３１を２次元空間に写像し、写像画像を生成する。

一例として、上述した実施形態と同様、深度画像特徴点抽出部３１２はまず、対象物をセンシング範囲に含む深度情報と、対象物がセンシング範囲に含まれていない深度情報とを参照し、差分情報である差分画像を生成する。差分画像の一例は、上述した図１１における差分画像Ｐ１５に示す通りである。

次に、深度画像特徴点抽出部３１２は、生成した差分情報を参照して第１の特徴点抽出処理を実行し、差分画像に含まれる１又は複数の特徴点（輪郭、エッジなど）を抽出する。深度画像特徴点抽出部３１２が１又は複数の特徴点を抽出した画像の一例は、上述した図１１における画像Ｐ１６に示す通りである。

ここで、上述した実施形態と同様、深度画像特徴点抽出部３１２は、差分情報に対して２値化処理を適用して得られた２値化後の差分情報を参照して、第１の特徴点抽出処理を実行してもよい。この構成によれば、情報処理装置３Ｂは、情報量の少ない２値化処理を適用して得られた２値化後の差分情報を参照するので、計算コストや計算時間を抑制することができる。

なお、ステップＳ３７及びステップＳ３８は、ステップＳ３１～ステップＳ３３、ステップＳ６０、ステップＳ３５、ステップＳ３６と並行して実行されてもよいし、ステップＳ３１～ステップＳ３３、ステップＳ６０、ステップＳ３５、ステップＳ３６の前に実行されてもよいし、ステップＳ３１～ステップＳ３３、ステップＳ６０、ステップＳ３５、ステップＳ３６の後に実行されてもよい。

（ステップＳ３９）
ステップＳ３９において、深度画像位置推定部３１３は、ステップＳ３６において抽出したテンプレートデータ（第３の２次元データ）と、ステップＳ３８において深度画像特徴点抽出部３１２から供給された検索データ（第１の２次元データ）との第１のマッチング処理を実行し、マッチング誤差（深度）を算出する。一例として、深度画像位置推定部３１３は、第３の２次元データと第１の２次元データとを参照したテンプレートマッチング処理により、マッチング誤差（深度）を算出する。深度画像位置推定部３１３は、算出したマッチング誤差（深度）を、統合判定部３１７に供給する。

ここで、上述した実施形態と同様、テンプレートマッチング処理の一例としてChamfer Matchingが挙げられ、マッチング誤差の算出にＰｎＰ、ＩＣＰ、及びＤＣＭを用いる方法も挙げられるが、これらに限定されない。

ステップＳ３９において、深度画像位置推定部３１３が実行する第１のマッチング処理の一例は、上述した図１１における画像Ｐ１７を用いて説明した通りである。

（ステップＳ６１）
ステップＳ６１において、ＲＧＢ画像位置推定部３１６は、深度画像位置推定部３１３から供給された移動及び回転させた３Ｄモデル３３１を２次元空間に写像し、写像画像を生成する。

（ステップＳ６２）
ステップＳ６２において、ＲＧＢ画像位置推定部３１６は、写像画像における対象物の輪郭を抽出する。一例として、ＲＧＢ画像位置推定部３１６は、写像画像に対して第２の特徴点抽出処理を適用することによって対象物の輪郭（エッジ）を抽出し、当該輪郭を示す第４の２次元データを生成する。ＲＧＢ画像位置推定部３１６が生成した第４の２次元データを、「テンプレートデータ」とも称する。

（ステップＳ４８）
ステップＳ４８において、ＲＧＢ画像特徴点抽出部３１５は、ＲＧＢ画像取得部３１４から供給されたＲＧＢ画像を参照し、第２の特徴点抽出処理を実行し、第２の２次元データを生成する。ＲＧＢ画像特徴点抽出部３１５が生成した第２の２次元データは、「ＲＧＢエッジ」又は「検索データ」とも称する。第２の２次元データの一例は、上述した図１１における画像Ｐ１９に示す通りである。

なお、ステップＳ４７及びステップＳ４８は、ステップＳ６１及びステップＳ６２と並行して実行されてもよいし、ステップＳ６１及びステップＳ６２の前に実行されてもよいし、ステップＳ６１及びステップＳ６２の後に実行されてもよい。

（ステップＳ６３）
ステップＳ６３において、ＲＧＢ画像位置推定部３１６は、ステップＳ６２において抽出したテンプレートデータ（第４の２次元データ）と、ステップＳ４８においてＲＧＢ画像特徴点抽出部３１５から供給された検索データ（第２の２次元データ）との第２のマッチング処理を実行し、マッチング誤差（イメージ）を算出する。一例として、ＲＧＢ画像位置推定部３１６は、第４の２次元データと第２の２次元データとを参照したテンプレートマッチング処理により、マッチング誤差を算出する。ＲＧＢ画像位置推定部３１６は、算出したマッチング誤差（イメージ）を、統合判定部３１７に供給する。

ステップＳ６３において、ＲＧＢ画像位置推定部３１６が実行する第２のマッチング処理の一例は、上述した図１１における画像Ｐ２０を用いて説明した通りである。

ここで、ステップＳ６３は、ステップＳ３９と並行して実行されてもよいし、ステップＳ３９の前に実行されてもよいし、ステップＳ３９の後に実行されてもよい。

（ステップＳ６４）
ステップＳ６４において、統合判定部３１７は、ステップＳ３９において深度画像位置推定部３１３から供給されたマッチング誤差（深度）と、ステップＳ６３においてＲＧＢ画像位置推定部３１６から供給されたマッチング誤差（イメージ）とを参照して、統合誤差を算出する。

上述した実施形態においてＲＧＢ画像位置推定部３１６が総合誤差を算出した方法と同様に、統合判定部３１７が統合誤差を算出する一例として、統合誤差eを以下の数式（３）を用いて算出する方法が挙げられるが、これは本例示的実施形態を限定するものではない。
e=wd*ed+wi*ei・・・（３）
数式（３）における各変数は、以下を表している。
wd：重み付けパラメータ
wi：重み付けパラメータ
ed：マッチング誤差（深度）
ei：マッチング誤差（イメージ）
すなわち、統合判定部３１７は、統合誤差eとして、ステップＳ３９において深度画像位置推定部３１３が算出したマッチング誤差（深度）edと重み付パラメータwdとの積、及びステップＳ６３においてＲＧＢ画像位置推定部３１６が算出したマッチング誤差（イメージ）eiと重み付パラメータwiとの積の和を用いる。

また、他の例として、統合判定部３１７は、統合誤差eを以下の数式（４）を用いても算出することができる。
e=βd*exp(αd*ed)+ βi*exp(αi*ei)・・・（４）
数式（４）における各変数は、以下を表している。
βd：重み付パラメータ
βi：重み付パラメータ
αd：パラメータ
αi：パラメータ
ed：マッチング誤差（深度）
ei：マッチング誤差（イメージ）
すなわち、統合判定部３１７はまず、ステップＳ３９において深度画像位置推定部３１３が算出したマッチング誤差（深度）edとパラメータαdとの積のexponentialを算出する。続いて、統合判定部３１７は、算出した値と重み付パラメータβdとの積（値ｄ）を算出する。

次に、統合判定部３１７は、ステップＳ６３においてＲＧＢ画像位置推定部３１６が算出したマッチング誤差（イメージ）eiとパラメータαiとの積のexponentialを算出する。続いて、統合判定部３１７は、算出した値と重み付パラメータβiとの積（値ｉ）を算出する。

そして、統合判定部３１７は、統合誤差eとして、値ｄと値ｉとの和を用いる。

（ステップＳ６５）
ステップＳ６５において、統合判定部３１７は、未評価の位置パラメータが存在するか否かを判定する。

ステップＳ６５において、未評価の位置パラメータが存在すると判定された場合（ステップＳ６５：はい）、情報処理装置３Ｂの処理はステップＳ３３に戻る。

（ステップＳ６６）
ステップＳ６５において、未評価の位置パラメータが存在しないと判定された場合（ステップＳ６５：いいえ）、統合判定部３１７は、統合誤差が最小となる位置パラメータを選択する。換言すると、統合判定部３１７は、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。統合判定部３１７は、選択した位置パラメータを、出力部３２に出力する。

以上のように、本例示的実施形態に係る情報処理システム１００Ｂにおいては、情報処理装置３Ｂは、対象物をセンシング範囲に含む深度センサ４によって得られた深度情報を取得する深度情報取得部３１１と、対象物を画角に含むＲＧＢカメラ５によって得られた撮像画像を取得するＲＧＢ画像取得部３１４と、深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、対象物に関する３Ｄモデル３３１とを参照した第１のマッチング処理を実行する深度画像位置推定部３１３と、撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、３Ｄモデル３３１とを参照した第２のマッチング処理を実行するＲＧＢ画像位置推定部３１６と、第１のマッチング処理の結果と、第２のマッチング処理の結果とを参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する統合判定部３１７とを備える。

したがって、本例示的実施形態に係る情報処理システム１００Ｂにおいては、情報処理装置３Ｂは、位置パラメータ１つにつき、３Ｄモデル３３１を移動及び回転させる処理を１回だけ実行すればいいので、計算コストや計算時間を抑制することができる。

また、本例示的実施形態に係る情報処理システム１００Ｂにおいては、情報処理装置３Ｂは、情報量が少ないため処理が速い第１のマッチング処理において、マッチング誤差が大きい場合、第２のマッチング処理の実行をしなくてもよい。したがって、本例示的実施形態に係る情報処理システム１００Ｂにおいては、情報処理装置３Ｂは、計算コストや計算時間を抑制することができる。

〔例示的実施形態６〕
本発明の第６の例示的実施形態について、図面を参照して詳細に説明する。なお、上述した例示的実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。

（情報処理システム１００Ｃの構成）
本例示的実施形態に係る情報処理システム１００Ｃの構成について、図１５を参照して説明する。図１５は、本例示的実施形態に係る情報処理システム１００Ｃの構成を示すブロック図である。

図１５に示すように、情報処理システム１００Ｃは、情報処理装置３Ｃ、深度センサ４、ＲＧＢカメラ５、及び端末装置６Ｃを含んで構成される。深度センサ４及びＲＧＢカメラ５については、上述した実施形態において説明した通りである。

情報処理システム１００Ｃにおいて、端末装置６Ｃは、深度センサ４によって得られた対象物をセンシング範囲に含む深度情報を取得し、ＲＧＢカメラ５によって得られた対象物を画角に含む撮像情報を取得する。そして、情報処理システム１００Ｃにおいて、情報処理装置３Ｃは、端末装置６Ｃが取得した深度情報及び撮像情報を参照して、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。対象物、深度情報、及び対象物の位置及び姿勢については、上述した実施形態において説明した通りである。

（端末装置６Ｃの構成）
図１５に示すように、端末装置６Ｃは、深度情報取得部３１１及びＲＧＢ画像取得部３１４を備えている。

深度情報取得部３１１は、対象物をセンシング範囲に含む深度センサ４によって得られた深度情報を取得する。また、深度情報取得部３１１は、対象物がセンシング範囲に存在しない場合であっても、センシング範囲に関する深度情報であって、深度センサ４によって得られた深度情報を取得する。深度情報取得部３１１は、取得した深度情報を情報処理装置３Ｃに出力する。

ＲＧＢ画像取得部３１４は、対象物を画角に含むＲＧＢカメラ５によって得られたＲＧＢ画像（撮像画像）を取得する。ＲＧＢ画像取得部３１４は、取得したＲＧＢ画像を情報処理装置３Ｃに出力する。

（情報処理装置３Ｃの構成）
図１５に示すように、情報処理装置３Ｃは、制御部３１Ｃ、出力部３２、及び記憶部３３を備えている。出力部３２及び記憶部３３については、上述した実施形態において説明した通りである。

制御部３１Ｃは、情報処理装置３Ｃの各構成要素を制御する。制御部３１Ｃは、図１５に示すように、深度画像特徴点抽出部３１２、深度画像位置推定部３１３、ＲＧＢ画像特徴点抽出部３１５、ＲＧＢ画像位置推定部３１６、及び統合判定部３１７としても機能する。深度画像位置推定部３１３、ＲＧＢ画像位置推定部３１６、及び統合判定部３１７については、上述した実施形態において説明した通りである。

深度画像特徴点抽出部３１２は、端末装置６Ｃから出力された深度情報を参照した第１の特徴点抽出処理を実行し、第１の２次元データを生成する。深度画像特徴点抽出部３１２は、生成した第１の２次元データを、深度画像位置推定部３１３に供給する。深度画像特徴点抽出部３１２が実行する処理の一例については、上述した実施形態において説明した通りである。

ＲＧＢ画像特徴点抽出部３１５は、端末装置６Ｃから出力されたＲＧＢ画像を参照した第２の特徴点抽出処理を実行し、第２の２次元データを生成する。ＲＧＢ画像特徴点抽出部３１５は、生成した第２の２次元データを、ＲＧＢ画像位置推定部３１６に供給する。ＲＧＢ画像特徴点抽出部３１５が実行する処理の一例については、上述した実施形態において説明した通りである。

以上のように、本例示的実施形態に係る情報処理システム１００Ｃにおいては、端末装置６Ｃが深度情報及びＲＧＢ画像を取得し、取得した深度情報及びＲＧＢ画像を情報処理装置３Ｃに出力する。情報処理装置３Ｃは、端末装置６Ｃから出力された深度情報及びＲＧＢ画像を参照し、対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する。したがって、本例示的実施形態に係る情報処理システム１００Ｃにおいては、情報処理装置３Ｃは、深度センサ４及びＲＧＢカメラ５から直接、深度情報及びＲＧＢ画像を取得する必要がないため、深度センサ４及びＲＧＢカメラ５と物理的に離れた位置に配置されるサーバなどによって実現することができる。

〔ソフトウェアによる実現例〕
情報処理装置１、２、３、３Ａ、３Ｂ、３Ｃ、及び情報処理システム１０、２０、１００、１００Ａ、１００Ｂ、１００Ｃの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１、２、３、３Ａ、３Ｂ、３Ｃ、及び情報処理システム１０、２０、１００、１００Ａ、１００Ｂ、１００Ｃは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１６に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１、２、３、３Ａ、３Ｂ、３Ｃ、及び情報処理システム１０、２０、１００、１００Ａ、１００Ｂ、１００Ｃとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１、２、３、３Ａ、３Ｂ、３Ｃ、及び情報処理システム１０、２０、１００、１００Ａ、１００Ｂ、１００Ｃの各機能が実現される。

プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。

なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。

〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。

（付記１）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている情報処理装置。

（付記２）
前記第１の特徴点抽出処理及び前記第２の特徴点抽出処理は、エッジ抽出処理を含み、前記３次元モデルは、前記対象物のエッジに関するデータを含んでいる付記１に記載の情報処理装置。

（付記３）
前記深度情報取得手段は、前記対象物が前記センシング範囲に存在しない場合であっても前記センシング範囲に関する深度情報を取得し、前記第１の特徴点抽出処理は、前記対象物が前記センシング範囲に存在する場合の深度情報と、前記対象物が前記センシング範囲に存在しない場合の深度情報との差分情報を参照した特徴点抽出処理である付記１又は２に記載の情報処理装置。

（付記４）
前記第１の特徴点抽出処理は、前記差分情報に対して２値化処理を適用して得られた２値化後の差分情報を参照した特徴点抽出処理である付記３に記載の情報処理装置。

（付記５）
前記算出手段は、前記撮像画像又は前記第２の２次元データに対して、前記１又は複数の候補解が示す位置から所定の距離以上離れたことを表すデータを削除するデータ削除処理を適用し、前記データ削除処理後の前記撮像画像又は前記第２の２次元データを参照し、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する付記１から４の何れか１項に記載の情報処理装置。

（付記６）
前記生成手段は、前記第３の２次元データと、前記第１の２次元データとを参照したテンプレートマッチング処理により、前記１又は複数の候補解を生成する付記１から５の何れか１項に記載の情報処理装置。

（付記７）
前記算出手段は、前記第４の２次元データと、前記第２の２次元データとを参照したテンプレートマッチング処理により、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する付記１から６の何れか１項に記載の情報処理装置。

（付記８）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行する第１のマッチング手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行する第２のマッチング手段と、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている情報処理装置。

（付記９）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得することと、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得することと、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成することと、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出することとを含む情報処理方法。

（付記１０）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得することと、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得することと、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行することと、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行することと、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出することとを含む情報処理方法。

（付記１１）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている情報処理システム。

（付記１２）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行する第１のマッチング手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行する第２のマッチング手段と、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている情報処理システム。

（付記１３）
コンピュータを付記１～８の何れか一に記載の情報処理装置として動作させるためのプログラムであって、前記コンピュータを前記各手段として機能させる、ことを特徴とするプログラム。

（付記１４）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている情報処理装置。

（付記１５）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する第１のマッチング手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照した第２のマッチング処理を実行する第２のマッチング手段と、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている情報処理装置。

（付記１６）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得することと、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得すること、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成することと、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出することとを含む情報処理方法。

（付記１７）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得することと、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得することと、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照した第１のマッチング処理を実行することと、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照した第２のマッチング処理を実行することと、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出することとを含む情報処理方法。

（付記１８）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている情報処理システム。

（付記１９）
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する第１のマッチング手段と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照した第２のマッチング処理を実行する第２のマッチング手段と、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段とを備えている情報処理システム。

（付記２０）
コンピュータを付記１４また１５に記載の情報処理装置として動作させるためのプログラムであって、前記コンピュータを前記各手段として機能させる、ことを特徴とするプログラム。

〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。

少なくとも１つのプロセッサを備え、前記プロセッサは、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得処理と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得処理と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成処理と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出処理とを実行する情報処理装置。

なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記深度情報取得処理と、前記撮像画像取得処理と、前記生成処理と、前記算出処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

また、少なくとも１つのプロセッサを備え、前記プロセッサは、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得処理と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得処理と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第１の特徴点抽出処理により得られた第３の２次元データとを参照した第１のマッチング処理を実行する第１のマッチング処理と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記対象物に関する３次元モデルを２次元空間に写像し、第２の特徴点抽出処理により得られた第４の２次元データとを参照した第２のマッチング処理を実行する第２のマッチング処理と、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出処理とを実行する情報処理装置。

なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記深度情報取得処理と、前記撮像画像取得処理と、前記第１のマッチング処理と、前記第２のマッチング処理と、前記算出処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

また、少なくとも１つのプロセッサを備え、前記プロセッサは、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得処理と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得処理と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成処理と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出処理とを実行する情報処理装置。

また、少なくとも１つのプロセッサを備え、前記プロセッサは、対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得処理と、前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得処理と、前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照した第１のマッチング処理を実行する第１のマッチング処理と、前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照した第２のマッチング処理を実行する第２のマッチング処理と、前記第１のマッチング処理の結果と、前記第２のマッチング処理の結果とを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出処理とを実行する情報処理装置。

１、２、３、３Ａ、３Ｂ、３Ｃ情報処理装置
４深度センサ
５ＲＧＢカメラ
６、６Ｃ端末装置
１０、２０、１００、１００Ａ、１００Ｂ、１００Ｃ情報処理システム
１１、３１１深度情報取得部
１２撮像画像取得部
１３生成部
１４、２５算出部
２３第１のマッチング部
２４第２のマッチング部
３１、３１Ａ、３１Ｂ、３１Ｃ制御部
３２出力部
３３記憶部
３１２深度画像特徴点抽出部
３１３深度画像位置推定部
３１４ＲＧＢ画像取得部
３１５ＲＧＢ画像特徴点抽出部
３１６ＲＧＢ画像位置推定部
３１７統合判定部

Claims

対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、
前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、
前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成手段と、
前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段と、を備え、
前記算出手段は、
前記撮像画像又は前記第２の２次元データに対して、前記１又は複数の候補解が示す位置から所定の距離以上離れたことを表すデータを削除するデータ削除処理を適用し、
前記データ削除処理後の前記撮像画像又は前記第２の２次元データを参照し、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する、
情報処理装置。
前記第１の特徴点抽出処理及び前記第２の特徴点抽出処理は、エッジ抽出処理を含み、
前記３次元モデルは、前記対象物のエッジに関するデータを含んでいる
請求項１に記載の情報処理装置。
前記深度情報取得手段は、前記対象物が前記センシング範囲に存在しない場合であっても前記センシング範囲に関する深度情報を取得し、
前記第１の特徴点抽出処理は、
前記対象物が前記センシング範囲に存在する場合の深度情報と、前記対象物が前記センシング範囲に存在しない場合の深度情報との差分情報を参照した特徴点抽出処理である請求項１又は２に記載の情報処理装置。
前記第１の特徴点抽出処理は、前記差分情報に対して２値化処理を適用して得られた２値化後の差分情報を参照した特徴点抽出処理である
請求項３に記載の情報処理装置。
１又は複数のプロセッサが、
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得することと、
前記対象物を画角に含む撮像センサによって得られた撮像画像を取得すること、
前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成することと、
前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出することと
を含み、
前記算出することは、
前記撮像画像又は前記第２の２次元データに対して、前記１又は複数の候補解が示す位置から所定の距離以上離れたことを表すデータを削除するデータ削除処理を適用し、
前記データ削除処理後の前記撮像画像又は前記第２の２次元データを参照し、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する、
情報処理方法。
コンピュータを情報処理装置として機能させるプログラムであって、
前記コンピュータを、
対象物をセンシング範囲に含む深度センサによって得られた深度情報を取得する深度情報取得手段と、
前記対象物を画角に含む撮像センサによって得られた撮像画像を取得する撮像画像取得手段と、
前記深度情報を参照した第１の特徴点抽出処理により得られた第１の２次元データと、前記対象物に関する３次元モデルとを参照して、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかに関する１又は複数の候補解を生成する生成手段と、
前記撮像画像を参照した第２の特徴点抽出処理により得られた第２の２次元データと、前記３次元モデルとを参照し、前記１又は複数の候補解を用いて、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する算出手段と
として機能させ、
前記算出手段は、
前記撮像画像又は前記第２の２次元データに対して、前記１又は複数の候補解が示す位置から所定の距離以上離れたことを表すデータを削除するデータ削除処理を適用し、
前記データ削除処理後の前記撮像画像又は前記第２の２次元データを参照し、前記対象物の３次元空間における位置及び姿勢の少なくとも何れかを算出する、
プログラム。