JP6867766B2 - 情報処理装置およびその制御方法、プログラム - Google Patents

Description

本発明は、撮像画像に基づいて物体の三次元形状を求める技術に関する。

プロジェクタから対象物体にパターン光を投影し、その反射光をカメラによって観測することで、対象物体面上における投影座標と撮像座標の対応関係を取得する技術は、アクティブステレオによる三次元計測に必要な技術として知られている。アクティブステレオの手法の一つに非周期的なパターン画像（ランダムドットなど）を投影した対象物体をカメラで撮像し、パターン画像と撮像画像との間で対応画素を探索することにより、投影座標と撮像座標の対応関係を求めるという手法がある。このような対応画素の探索では、パターン画像と撮像画像との間で、注目画素とその近傍画素（以降、窓）の輝度差などの値が所定の条件（最小、極小など）を満たす画素を探索（以降、対応点探索）することが行われる。

対応点探索では、正方形の窓を用いて対応点を探索するのが一般的である。しかし、投影されたパターン画像は、対象物体の形状やカメラの視点位置姿勢などによって変形するため、撮像画像から見たパターン画像は歪んでしまう。一般的な対応点探索ではこのような歪みが考慮されないため、対応点の探索の精度が低くなるという問題がある。また、プロジェクタとカメラの基線長が長いほどパターン画像と撮像画像との間の歪みは大きくなるため、投影されたパターン画像の歪みはより重大な問題となる。

このような問題を解決するために、歪みを考慮し対応点を探索する手法として、非特許文献１では対応点だけでなく対象物体の法線に相当するパラメタも同時推定する手法が用いられている。特許部件１によれば、対象物体の法線パラメタに応じて窓を歪ませた上で輝度差などの値を計算することで、高精度に投影座標と撮像座標の対応関係を求めることが出来る。

Michael Bleyer et al., Patch Match Stereo - Stereo Matching with Slanted Support Windows, British Machine Vision Conference 2011.

しかしながら、非特許文献１の手法では対応点だけでなく、窓の歪み方も同時に推定しているため、推定するパラメタが増え、探索範囲が膨大になる。したがって、計算コストが高くなるという問題がある。

本発明は上記問題に鑑みてなされたものであり、計算コストを抑えつつ、高精度に三次元形状を計測できる装置及び方法を提供することを目的とする。

上記目的を達成するための本発明の一態様による情報処理装置は、以下の構成を備える。すなわち、
既知の幾何形状を少なくとも一つ以上有する第１のパターン画像が投影された状態を撮像した撮像画像において、前記第１のパターン画像における前記幾何形状に対応する領域の、前記幾何形状からの幾何学的な歪みを表す写像を算出する算出手段と、
第２のパターン画像における注目画素とその周囲の近傍画素から構成される注目領域と、前記第２のパターン画像が投影された状態を撮像した撮像画像における領域を前記写像に基づいて変換することにより得られた対応領域と、の対比により、前記第２のパターン画像と前記撮像画像との対応点を探索する探索手段と、を備え、
前記対応領域は、前記第２のパターン画像が投影された状態を撮像した撮像画像における対応画素の周囲に、当該対応画素について前記写像に基づいて前記周囲の近傍画素の位置が変換されて配置された領域である。

本発明によれば、撮像画像上でパターン画像が歪んで見えてしまう場合でも、低い計算コストで高精度に三次元形状を計測できる。

第１の実施形態の情報処理装置の構成例を示すブロック図。 第１の実施形態で用いる窓形状算出用パターン画像と対応点探索用パターン画像を示す図。 第１の実施形態で用いる窓形状算出用パターン画像を球に投影した例を示す図。 第１の実施形態で用いる窓形状算出用パターン画像の正方形を撮像画像中から検出する処理を説明する図。 第１の実施形態の歪み算出部の写像パラメタを算出する処理を説明する図。 第１の実施形態の対応探索部の処理を説明する図。 第１の実施形態の情報処理装置による計測処理を説明するフローチャート。 変形例１で用いる窓形状算出用パターン画像と対応点探索用パターン画像とを混合したパターン画像を示す図。 変形例２で用いる窓形状算出用パターン画像を示す図。 第２の実施形態の情報処理装置の構成例を示すブロック図。 第２の実施形態の情報処理装置による計測処理を説明するフローチャート。 情報処理装置のハードウエア構成例を示すブロック図。

以下、本発明にかかる実施形態について、添付の図面を参照して詳細に説明する。

＜第１の実施形態＞
第１の実施形態において説明する情報処理装置は、対象物体にパターン光を投影し、その反射光を観測することで対象物体の三次元形状を計測する三次元計測器である。パターン光の投影とは、所定のパターン画像を投影することである。第１の実施形態では、撮像画像上のパターン画像の歪みを算出するための第１のパターン画像と、投影座標と撮像座標の対応関係を求めるための第２のパターン画像の二種類のパターン画像が用いられる。以下では、第１のパターン画像を窓形状算出用パターン画像、第２のパターン画像を対応点探索用パターン画像と称する。第１の実施形態の情報処理装置は、窓形状算出用パターン画像を投影した状態で撮像された撮像画像から歪みを検出し、検出された歪が考慮された窓と対応点探索用パターン画像を利用して対応点探索を行うことにより高精度な三次元座標を算出する。

［装置の構成］
図１は、第１の実施形態の情報処理装置１００を備える三次元計測装置１０００の構成例を示すブロック図である。投影装置１は、窓形状算出用パターン画像と対応点探索用パターン画像を対象物体に投影する。これらのパターン光は、対象物体の表面で反射し、撮像装置２によって撮像される。撮像装置２が撮像した画像（撮像画像）は、情報処理装置１００に送られる。情報処理装置１００は、撮像装置２からの撮像画像に基づいて対象物体の三次元座標を算出する。また、情報処理装置１００は、投影装置１および撮像装置２の動作を制御する。投影装置１と撮像装置２はお互いの座標系を一致させるための校正が予め行われており、校正データが情報処理装置１００内に保存されている。

情報処理装置１００は、投影制御部１０１、画像入力部１０２、歪み算出部１０３、対応探索部１０４、座標算出部１０５を備える。投影制御部１０１は、投影装置１を制御し、窓形状算出用パターン画像と対応点探索用パターン画像を順番に投影させるとともに、画像入力部１０２に制御信号を出力する。画像入力部１０２は、投影制御部１０１から入力された制御信号のタイミングに合わせて撮像装置２を制御し、各パターン画像が投影された状態で撮像された撮像画像を受け取る。また、画像入力部１０２は、窓形状算出用パターン画像が投影された状態で得られた撮像画像を歪み算出部１０３に出力し、対応点探索用パターン画像が投影された状態で得られた撮像画像を対応探索部１０４に出力する。

歪み算出部１０３は、窓形状算出用パターン画像と画像入力部１０２から入力された撮像画像とを比較して撮像画像中の各画素がどのように写像されているか（歪み）を表す歪みパラメタを算出し、対応探索部１０４に出力する。対応探索部１０４は、歪み算出部１０３から入力された歪みパラメタに基づいて画像入力部１０２から入力された撮像画像に歪みを考慮した窓を生成し、対応点探索用パターン画像と撮像画像との間で対応点探索を行う。対応探索部１０４は、得られた投影装置１の投影座標と撮像装置２の撮像座標との対応関係を座標算出部１０５に出力する。座標算出部１０５は、対応探索部１０４から入力された投影座標と画像座標の対応関係と、予め求められた投影装置１と撮像装置２の校正データとに基づいて、対象物体の表面の三次元座標を算出する。

図１２は、図１に示した各機能部を実現する情報処理装置１００のハードウエア構成例を示す図である。図１２において、ＣＰＵ１６１は１つまたは複数のコンピュータ（プロセッサー）を含み、ＲＯＭ１６２またはＲＡＭ１６３に格納されたプログラムを実行することで、情報処理装置１００の各種処理を実行する。ＲＯＭ１６２は読み出し専用の不揮発性メモリであり、ＲＡＭ１６３は随時書き込みが可能な揮発性メモリである。ＲＡＭ１６３はＣＰＵ１６１の作業メモリとしても機能する。二次記憶装置１６４は、例えばハードディスクなどで構成される。二次記憶装置１６４には、プログラム１７１、パターン画像１７２、校正データ１７３が格納されている。プログラム１７１は、例えば図７のフローチャートにより後述する処理をＣＰＵ１６１に実行させるためのプログラムを含む。パターン画像１７２は、たとえば、窓形状算出用パターン画像と対応点探索用パターン画像を含む。校正データは、投影装置１と撮像装置２はお互いの座標系を一致させるためのデータである。表示部１６５は、ＣＰＵ１６１の制御下で各種表示を行う。キーボード１６６、ポインティングデバイス１６７はユーザからの指示を受け付けるための指示入力部である。インターフェース１６８は、投影装置１と撮像措置２を情報処理装置１００と接続する。上述した各構成は、バス１６９と接続される。図１に示した各機能部はＣＰＵ１６１がプログラムを実行することにより実現されてもよいし、専用のハードウエアにより実現されてもよい。

［計測処理］
図７のフローチャートにより第１の実施形態の情報処理装置１００による計測処理を説明する。

三次元計測装置１０００が起動されると、ステップＳ１１において初期化処理が実行される。初期化処理には、投影装置１や撮像装置２の起動、投影装置１と撮像装置２の校正データを作業メモリに読み込む処理、窓形状算出用パターン画像と対応点探索用パターン画像を作業メモリに読み込む処理などが含まれる。

ステップＳ１２では、投影制御部１０１が、投影装置１に窓形状算出用パターン画像を投影させるとともに、画像入力部１０２に制御信号を送る。本実施形態で用いられる窓形状算出用パターン画像は、図２（ａ）に示されるように、正方形が規則的に並んだパターンである。図２（ａ）において、パターン画像における白部分１１は光を投影することを表しており、黒部分１２は光を投影しないことを表している。投影制御部１０１からの制御信号の受信に応じて、画像入力部１０２は、撮像装置２に撮像を実行させ、撮像画像を入力する。こうして入力された撮像画像は、窓形状算出用パターン画像が投影された状態で撮像された画像である。画像入力部１０２は、撮像装置２から入力された撮像画像を歪み算出部１０３に出力する。

ステップＳ１３では、投影制御部１０１が、投影装置１に対応点探索用パターン画像を投影させるとともに、画像入力部１０２に制御信号を送る。本実施形態で用いられる対応点探索用パターン画像は、たとえば、図２（ｂ）に示すように、ドットがランダムに並んだ非周期的な画像である。対応点探索用パターン画像は、同じ特徴を持つ局所領域が一つの探索方向に２つ以上現れない画像であることが望ましい。投影制御部１０１からの制御信号の受信に応じて、画像入力部１０２は、撮像装置２に画像を撮像させる。こうして、画像入力部１０２は、対象物体に対応点探索用パターン画像が投影された状態で撮像された撮像画像を撮像装置２から入力し、対応探索部１０４に出力する。

ステップＳ１４では、歪み算出部１０３が、画像入力部１０２から入力された撮像画像から窓形状算出用パターン画像における正方形に対応する領域を検出し、検出した領域が正方形と比較してどのように写像されているか（歪み）をパラメタ化する。歪みとは、窓形状算出用パターン画像における局所領域（本例では正方形の領域）が撮像画像中において平行四辺形などに歪むことを指している。例えば、図２（ａ）に示した窓形状算出用パターン画像を投影装置１により球に投影し、撮像装置２により撮像すると、図３（ｂ）に示すような撮像画像が得られる。この撮像画像を拡大して見ると、図３（ａ）のようにパターン画像が歪んでいることが分かる。

このような、撮像画像における、窓形状算出用パターン画像の局所領域に対応する領域の幾何学的な歪みをパラメタ化するため、歪み算出部１０３は、まず撮像画像（図４（ａ））から窓形状算出用パターン画像における白線を検出する。例えば、歪み算出部１０３は、撮像画像の輝度に応じて線上画素（の候補画素）かどうかの二値を判定し、およそ縦方向、横方向に連続する候補画素の集合を縦線、横線として検出する（図４（ｂ）の線２１）。そして、歪み算出部１０３は、隣り合う縦方向の二線と横方向の二線で囲まれる領域を、窓形状算出用パターン画像中の正方領域に対応する領域（図４（ｃ）の領域２３）として検出する。例えば、歪み算出部１０３は、縦線にも横線にも含まれている点を線の交点（図４（ｂ）の交点２２）として求め、縦方向、横方向に隣り合う交点が同一の縦線、横線上にあるかどうかを判定する。歪み算出部１０３は、隣り合う交点が同一の縦線、横線上にあると判定された交点により囲まれた領域を、窓形状算出用パターン画像中の正方形に対応する領域として検出する。

次に、歪み算出部１０３は、窓形状算出用パターン画像中の正方形に対応する、撮像画像中のすべての領域の歪みをパラメタ化する。パラメタ化する方法は様々ありどのような表現が用いられてもよい。例えば、２次元の線形変換としてパラメタ化する方法が挙げられる。変換前の座標を（ｕ，ｖ）、変換後の座標を（ｘ，ｙ）とすると２次元の線形変換は次の数１に示す式で表わされる。

数１において、ｆは写像を表し、ａ，ｂ，ｃ，ｄはｆを表現する線形変換を示すパラメタである。窓形状算出用パターン画像中の正方形と撮像画像から検出した領域との対応関係からこれらのパラメタを求める。一つの点（図５における（０，０））を基準とすれば点または線分の対応関係（図５における（０，１）と（ｘ１，ｙ１）、（１，１）と（ｘ２，ｙ２）、（１，０）と（ｘ３，ｙ３））が得られる。この対応関係から解析的にパラメタを求めてもよいし、最小二乗法のような方法で最適なパラメタ求めてもよい。検出した領域内の画素はこのようにして求めたパラメタでパターン画像が歪んでいるものとする。

一連の処理を撮像画像中のすべての領域で行うことで、撮像画像の各画素について写像ｆが決定される。窓形状算出用パターン画像中の正方形に対応する撮像画像中の領域が検出されない、できない領域が発生する場合もあるが、そのような領域では写像ｆを単位行列としてもよいし、近傍画素における写像ｆの線形和をとるなどして補間してもよい。歪み算出部１０３は、求めた歪みパラメタ（画素ごとのｆ）を対応探索部１０４に出力する。

ステップＳ１５では、対応探索部１０４が、歪み算出部１０３から入力された歪みパラメタに基づき窓を生成し、対応点探索用パターン画像と画像入力部１０２から入力された撮像画像との間で対応点探索を行う。対応点探索では、対応点探索用パターン画像と撮像画像との間で注目画素とその近傍画素（例えば、注目画素の周囲８画素）における輝度差などに基づいたコストが条件を満たす（最小、極小など）点をエピポーラ方向に探索し、対応点を求める。一般的には互いに正方形の窓を注目領域としてコストを計算するが、本実施形態ではパターン画像が投影されている画素に対してパターン画像の歪みｆを考慮したコスト計算を行い、対応点を探索する。対応点探索用パターン画像の輝度をＩ、撮像画像の輝度をＪ、注目画素をｐ、注目画素ｐの近傍画素をｑ、注目画素ｐと近傍画素ｑの集合をＷｐ、注目画素ｐに対応する画素をｒ、対応画素ｒにおける写像をｆｒとする。対応領域は、対応点探索用パターン画像の投影を含む撮像画像において、対応画素ｒの周囲に、当該対応画素ｒについて算出された写像ｆｒに基づいて周囲の近傍画素の位置が変換されて配置された領域である。対応領域と注目領域の間のコストを算出するためのコスト関数Ｃは、例えば次のように設定される。

パターン画像の歪み方を考慮した対応点探索の例を図６に示す。図６（ａ）に示される対応点探索用パターン画像おける白丸３１は注目画素ｐ、白枠３２は注目画素ｐとその近傍画素が形成される注目領域（窓）、白線３３はエピポーラ線である。図６（ｂ）に示される撮像画像おける白丸３４は対応画素ｒである。白枠３５は、対応画素ｒにおける写像（ｆｒ）により示される歪みを考慮した対応領域（窓）であり、対応画素ｒとその近傍画素で形成される。対応点探索では、エピポーラ線（白線３３）に沿って注目画素ｐ（白丸３１）を動かし、注目画素ｐの各位置において注目領域と対応領域とを対比する。注目領域と対応領域について数２のコスト関数により算出されるコストが所定の条件を満たす（最小、極小など）注目画素ｐを対応点として求める。撮像画像上に歪みを考慮した窓を生成することで、参照画素がサブピクセル値を取る場合があるが、そのような場合にはバイリニア補間をするなどして輝度を求め、コストを計算すればよい。この処理を撮像画像上のすべての画素において行うことで、対応点（ｐとｒのペア）が画素数分だけ得られる。得られたすべての投影座標と撮像座標の対応関係（画素数分のｐとｒのペア）を座標算出部１０５に出力する。

ステップＳ１６では、座標算出部１０５が、対応探索部１０４から入力された投影座標と撮像座標との対応関係と予め求められた投影装置１と撮像装置２の校正データから、三角測量を行う。こうして、対象物体の表面の三次元座標（対応点数分の（Ｘ，Ｙ，Ｚ）座標）を算出し、処理を終了する。

なお、ステップの順は必ずしも図７のフローチャートに示した順である必要はなく、適宜入れ替えてもよいし、並列処理してもよい。

以上のように、第１の実施形態によれば、投影パターン画像が撮像画像中でどのように歪むかを考慮して窓を生成し、対応点探索を行うことにより、三次元座標を高精度に算出することができる。

［変形例１］
上記実施形態では、ステップＳ１２で窓形状算出用パターン画像を投影し、テップＳ１３において対応点探索用パターン画像を投影し、これらパターン画像の投影を含む撮像画像が別々に取得されるが、これに限られるものではない。たとえば、図８に示すように窓形状算出用パターン画像（図８（ａ））と対応点探索用パターン画像（図８（ｂ））を混合したパターン画像（図８（ｃ））を投影し、これを撮像して歪みを示すパラメタの取得と対応点の探索に用いるようにしてもよい。あるいは、各パターン画像を投影する光の波長を変え、それら波長に対応した撮像装置を用いることで、これらパターン画像を同時に投影するようにしてもよい。たとえば、第１の波長の光（例えば赤色）で窓形状算出用パターンを投影するとともに、第２の波長の光（例えば緑色）で対応点探索用パターンを投影した状態で、カラー画像の撮像を行う。得られた撮像画像から赤色の線を検出することで歪みを示すパラメタを算出し、緑色の点を検出して探索の対象とする。以上のように、変形例１の構成によれば、一度の投影、撮像で計測が可能となるため、動きのある対象物体であっても、三次元座標を高精度に算出することができる。

［変形例２］
ステップＳ１２やステップＳ１３において投影されるパターン画像の一例として図２を示したが、パターン画像はこれらに限られるものではない。特に窓形状算出用パターン画像は、図２に示したように既知の幾何形状（正方形）が規則的に並んでいる必要はなく、既知の幾何形状が少なくとも一つ以上あればよい。例えば図９に示すように、異なる種類の既知の幾何形状として正三角形４１と正方形４２が並んでいるようなパターン画像でもよい。ただし、歪みパラメタを各画素において求めるため、窓形状算出用パターン画像中に既知形状がまんべんなく存在していることが望ましい。

なお、歪みパラメタを求めるため、撮像画像から既知の幾何形状（以下、既知形状ともにう）を検出する必要がある。例えば、既知形状の検出には、
・撮像画像にSobelフィルタといったエッジ検出フィルタを適用し手エッジを検出し、連結して一周しているエッジを既知形状として検出する方法、
・既知形状をテンプレートとして、LBP（Local Binary Pattern）やSIFT（Scale-Invariant Feature Transform）といった画像特徴量を用いてマッチングを取ることで既知形状を検出する方法、が挙げられる。

なお、異なる複数種類の既知形状を、窓形状算出用パターン画像における分割領域に種類ごとに存在させることにより、対応探索部１０４は、各画素の歪みパラメタとともに各画素がパターン画像中のおよそどの部分と対応しているかを把握できる。例えば、図９の場合、撮像画像中の正三角形４１はパターン画像の上部、正方形４２はパターン画像の下部と対応している。そのため、対応探索部１０４は、正三角形４１内の画素であれば撮像画像の上部に、正方形４２内の画素であれば撮像画像の下部に存在していることを把握できる。その結果、対応探索部１０４は、たとえば、図６（ａ）に示した探索範囲をエピポーラ線の上半分などのように限定することができ、三次元座標を高速、高精度に算出することができる。

［変形例３］
ステップＳ１２やステップＳ１３において、投影するパターン画像は二値に限る必要はなく、階調や色調を持たせたパターン画像でもよい。たとえば、窓形状算出用パターンとして、階調や色調が異なる、既知の幾何形状が並んでいる画像を用いることができる。階調や色調が異なる複数の既知の幾何形状を撮像画像における輝度や色相などを特徴として検出すればよい。このようにすることで、変形例２と同様に、各画素の歪みパラメタとともにパターン画像中のおよそどの部分と対応しているかが分かるため、対応探索部１０４の探索範囲を限定することができる。したがって、三次元座標を高速、高精度に算出することができる。

［変形例４］
ステップＳ１５では、ステップＳ１４で求められた歪みパラメタを初期値として、非特許文献１と同様に対応点と窓の歪み方を同時に推定してもよい（数２におけるｆｒに相当するパラメタも同時に推定する）。すなわち、対応探索部１０４は、歪み算出部１０３により算出された写像を初期値として、対応画素ｒの更新に応じて写像ｆｒを更新する。この際、第１の実施形態のように、窓算出用パターン画像の局所領域に対応する、対応点探索用パターン画像の領域内の全探索により写像を探索してもよいし、Graph Cut、Belief Propagation、PatchMatchといったアルゴリズムを用いて写像を探索してもよい。このようにすることで、ある程度正しい歪みパラメタを初期値とすることができるため、写像の探索コストを抑えることができる。したがって、三次元座標を高速、高精度に算出することができる。

＜第２の実施形態＞
第１の実施形態では投影装置と撮像装置が１台ずつの構成だったが、第２の実施形態では、対象物体にパターン光を投影し、その反射光を２台の撮像装置によって観測することで対象物体の三次元形状を計測する構成を説明する。第２の実施形態の情報処理装置は、窓形状算出用パターン画像から算出した歪みを考慮した窓を生成し、２台の撮像装置から得られた撮像画像間の対応点探索を行うことで高精度な三次元座標を算出する。２台の撮像装置を用いることで、投影したパターン画像がボケる、相互反射などでパターン画像が崩れる、といった光学的な影響による精度の低下を抑えることができる。

［装置の構成］
図１０は、第２の実施形態の情報処理装置１００を備える三次元計測装置１０００の構成例を示すブロック図である。第１の実施形態とは、撮像装置が１台追加され、第１の撮像装置２と第２の撮像装置３を有している点が異なる。第１の撮像装置２と第２の撮像装置３は、投影装置１によりパターン画像が投影された状態で、異なる位置から撮像を行う。なお、投影装置１、第１の撮像装置２、第２の撮像装置３は各々の座標系を一致させるための校正が予め行われており、校正データが情報処理装置１００内に保存されている。なお、情報処理装置１００のハードウエア構成は第１の実施形態（図１２）と同様である。

情報処理装置１００は、投影制御部１０１、画像入力部１０２、歪み算出部１０３、対応探索部１０４、座標算出部１０５を備える。投影制御部１０１は、投影装置１を制御して、窓形状算出用パターン画像と対応点探索用パターン画像を混合したパターン画像（以下、混合パターン画像）を投影させるとともに、画像入力部１０２に制御信号を出力する。混合パターン画像の一例を図８（ｃ）に示す。なお、第１実施形態と同様に、窓形状算出用パターン画像（図８（ａ））と対応点探索用パターン画像（図８（ｂ））を順次に個別に投影し、撮像するようにしてもよい。画像入力部１０２は、投影制御部１０１から入力された制御信号のタイミングに合わせて、第１の撮像装置２、および、第２の撮像装置３を制御し、撮像を実行させ、それぞれから混合パターン画像が投影された撮像画像を受け取る。画像入力部１０２は、混合パターン画像が投影された２枚の撮像画像を歪み算出部１０３に出力する。

歪み算出部１０３は、混合パターン画像内に含まれる窓形状算出用パターン画像と画像入力部１０２から入力された２枚の撮像画像とに基づいて、それぞれの撮像画像中の各画素がどのように写像されているかを示す歪みパラメタを算出する。歪み算出部１０３は、算出された２枚の撮像画像の歪みパラメタを対応探索部１０４に出力する。対応探索部１０４は、歪み算出部１０３から入力された歪みパラメタに基づき、歪みを考慮した窓を生成し、画像入力部１０２から入力された２枚の撮像画像同士の間で対応点探索を行う。対応探索部１０４は、対応点探索により得られた、第１の撮像装置２の撮像座標と第２の撮像装置３の撮像座標との関係を、座標算出部１０５に出力する。座標算出部１０５は、対応探索部１０４から入力された撮像座標の対応関係と予め求められた第１の撮像装置２と第２の撮像装置３の校正データから、三次元座標を算出する。

［計測処理］
図１１のフローチャートにより第２の実施形態の情報処理装置１００による計測処理を説明する。

三次元計測装置２０００が起動されると、ステップＳ２１において初期化処理が実行される。初期化処理には、投影装置１、第１の撮像装置２と第２の撮像装置３の起動処理、投影装置１、第１の撮像装置２、および、第２の撮像装置３の校正データを作業メモリに読み込む処理、混合パターン画像を読み込む処理などが含まれる。

ステップＳ２２では、投影制御部１０１が、投影装置１に混合パターン画像を投影させるとともに、画像入力部１０２に制御信号を送る。制御信号を受けた画像入力部１０２は、第１の撮像装置２と第２の撮像装置３に、対象物体に混合パターン画像が投影された画像を撮像させる。画像入力部１０２は、入力された２枚の撮像画像を歪み算出部１０３に出力する。

ステップＳ２３では、歪み算出部１０３が、画像入力部１０２から入力された２枚の撮像画像のそれぞれについて、窓形状算出用パターン画像における正方形の領域が、撮像画像へどのように写像されているかを示す歪みパラメタを算出する。歪みパラメタを求める処理は第１の実施形態（Ｓ１４）と同様である。求めたそれぞれの歪みパラメタ（画素ごとのｆ）と２枚の撮像画像を対応探索部１０４に出力する。

ステップＳ２４では、対応探索部１０４が、歪み算出部１０３から入力された歪みパラメタに基づき、２枚の撮像画像のそれぞれにおいて窓を生成し、２枚の撮像画像同士の間で対応点探索を行う。第１の実施形態と同様、対応点探索用パターン画像が投影されている画素に対してパターン画像の歪みｆを考慮したコスト計算を行い、対応点を探索する。第１の撮像装置２の撮像画像の輝度をＩ、第２の撮像装置３の撮像画像の輝度をＪ、注目画素をｐ、注目画素ｐにおける写像をｆｐ、注目画素ｐの近傍画素をｑ（例えば、注目画素ｐの周囲８画素）、注目画素ｐと近傍画素ｑの集合をＷｐとする。また、注目画素ｐに対応する画素をｒ、対応画素ｒにおける写像をｆｒとする。例えばコスト関数Ｃは次の数３により算出される。

コスト関数を用いた対応点探索処理は第１の実施形態と同様である。すなわち、対応探索部１０４は、エピポーラ線に沿って注目画素を動かし、数３のコスト関数が所定条件を満たす（最小、極小など）注目画素ｐを求める。このように、２つの撮像画像について対応点の探索を行うと、ボケや相互反射が起きてパターン画像が崩れてしまっても撮像画像同士では同様の見えとなるため、好適に対応点探索を行うことができる。対応探索部１０４は、得られたすべての撮像座標同士の対応関係（画素数分のｐとｒのペア）を座標算出部１０５に出力する。

ステップＳ２５では、座標算出部１０５が、対応探索部１０４から入力された撮像座標同士の対応関係と、第１の撮像装置２と第２の撮像装置３の予め求められた校正データとから、三角測量により三次元座標（対応点数分の（Ｘ，Ｙ，Ｚ）座標）を算出する。そして本処理を終了する。

以上のように第２の実施形態によれば、投影パターン画像がそれぞれの撮像画像中でどのように歪むかを考慮して窓を生成し、対応点探索がる。また、第２の実施形態によれば、２台の撮像装置を利用することで、ボケや相互反射などの光学的な影響による精度の低下が抑えられるため、三次元座標を高精度に算出することができる。

［変形例５］
ステップＳ２４において、第１の撮像装置２と第２の撮像装置３の対応関係だけでなく、第１の実施形態のように、投影装置と第１の撮像装置２、投影装置と第２の撮像装置３の対応関係を求めてもよい。このようにすることで、遮蔽などによって三次元座標を計測できない部分を減らすことができる。

［変形例６］
第２の実施形態では投影装置を１台、撮像装置を２台としたが、投影装置および撮像装置の第数はこれに限られるものではなく、投影装置と撮像装置が各々何台あってもよい。ステップＳ２３では、投影装置、撮像装置それぞれペアを決めて歪みを求めればよい。また、ステップＳ２４では、それぞれペアのコストを計算して対応関係を求めてもよいし、Multi-view Stereoのようにすべてのコストを統合して対応関係を求めてもよい。このようにすることで、遮蔽などによって計測できない部分を減らし、より確実に対象物体全体を計測することができる。

＜実施形態の効果＞
第１の実施形態によれば、投影パターン画像が撮像画像中でどのように歪むかを考慮して窓を生成し、対応点探索を行うことにより、三次元座標を高精度に算出することができる。
第２の実施形態によれば、第１の実施形態の効果に加え、２台のカメラを利用することで、ボケや相互反射などの光学的な影響による精度の低下を抑えることにより、三次元座標を高精度に算出することができる。

＜定義＞
投影制御部１０１が持つパターン画像は、第１の実施形態や変形例１、２、３で説明したように、歪みを考慮した窓形状を生成し対応点探索を行うことができれば、どのようなパターン画像でもよい。
また、対応探索部１０４は、第１の実施形態や変形例４で説明したように、対応点を求めることができれば、どのようなアルゴリズムを用いてもよい。

また、投影装置１や撮像装置２は第２の実施形態や変形例６で説明したように、それぞれ１台に限る必要はなく、複数台あってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０００：三次元計測装置、１：投影装置、２：撮像装置、１００：情報処理装置、１０１：投影制御部、１０２：画像入力部、１０３：歪み算出部、１０４：対応探索部、１０５：座標算出部

Claims (13)

1. 既知の幾何形状を少なくとも一つ以上有する第１のパターン画像が投影された状態を撮像した撮像画像において、前記第１のパターン画像における前記幾何形状に対応する領域の、前記幾何形状からの幾何学的な歪みを表す写像を算出する算出手段と、
   第２のパターン画像における注目画素とその周囲の近傍画素から構成される注目領域と、前記第２のパターン画像が投影された状態を撮像した撮像画像における領域を前記写像に基づいて変換することにより得られた対応領域と、の対比により、前記第２のパターン画像と前記撮像画像との対応点を探索する探索手段と、を備え、
   前記対応領域は、前記第２のパターン画像が投影された状態を撮像した撮像画像における対応画素の周囲に、当該対応画素について前記写像に基づいて前記周囲の近傍画素の位置が変換されて配置された領域であることを特徴とする情報処理装置。
2. 前記探索手段は、前記対応領域の点に対応するエピポーラ線に沿って前記注目領域を探索することを特徴とする請求項１に記載の情報処理装置。
3. 前記探索手段は、前記算出手段により算出された写像を初期値として、前記対応画素の更新に応じて写像を更新することを特徴とする請求項１に記載の情報処理装置。
4. 前記第１のパターン画像が投影された状態を撮像した撮像画像と、前記第２のパターン画像が投影された状態を撮像した撮像画像を、別々の撮像画像として取得する取得手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第１のパターン画像と前記第２のパターン画像とを混合したパターン画像が投影された状態を撮像した撮像画像を取得する取得手段を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記第２のパターン画像は、非周期的なパターンを有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第１のパターン画像は、階調または色調が異なる、既知の幾何形状が並んでいる画像であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記第１のパターン画像は、前記幾何形状が規則的に並んでいるパターン画像であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記探索手段により探索された前記対応点に基づいて、対象物体の表面の三次元座標を算出する座標算出手段を更に備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 投影手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 撮像手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 情報処理装置の制御方法であって、
    既知の幾何形状を少なくとも一つ以上有する第１のパターン画像が投影された状態を撮像した撮像画像において、前記第１のパターン画像における前記幾何形状に対応する領域の、前記幾何形状からの幾何学的な歪みを表す写像を算出する工程と、
    第２のパターン画像における注目画素とその周囲の近傍画素から構成される注目領域と、前記第２のパターン画像が投影された状態を撮像した撮像画像における領域を前記写像に基づいて変換することにより得られた対応領域と、の対比により、前記第２のパターン画像と前記撮像画像との対応点を探索する探索工程と、を有し、
    前記対応領域は、前記第２のパターン画像が投影された状態を撮像した撮像画像における対応画素の周囲に、当該対応画素について前記写像に基づいて前記周囲の近傍画素の位置が変換されて配置された領域であることを特徴とする情報処理装置の制御方法。
13. コンピュータに、請求項１２に記載の情報処理装置の制御方法の各工程を実行させるためのプログラム。

Images