JP5457976B2 - ３次元形状取得装置および３次元形状取得プログラム - Google Patents

Description

本発明は、複数の画像から高い精度で奥行き情報を生成する３次元形状取得装置および３次元形状取得プログラムの技術に関する。

従来、異なる２点の位置からある被写体を撮影し、一方の画像の各画素に対応するもう一方の画素との位置の差を求めることで、奥行き情報を取得する技術が提案されており、その一つとして、位相限定相関法を用いた奥行き推定法がある。

ここで、位相限定相関法を用いた奥行き推定法について図１０〜図１２を参照して説明する。
図１０に示すように、位相限定相関法は、２つの画像をそれぞれフーリエ変換（ＦＦＴ）して位相成分を取り出し、これらを合成したものに逆フーリエ変換（ＩＦＦＴ）を施すことにより、位相相関関数を求める。そして、この位相相関関数のピークの中心からのずれ量が２つの画像の平行移動量を示している。

位相限定相関法を用いた奥行き推定法では、２つの画像の一部分をブロック（以下、「ブロック画像」という。）として切り出し、ブロック画像内の位相情報を抽出して、２つのブロック画像の平行移動量を求めるために、ブロック処理をするのが一般的である。
図１１に示すように、ブロック処理は、２つの画像からそれぞれ所定の大きさのブロック画像を切り出し、２つのブロック画像を入力として位相限定相関法を行うことにより、２つのブロック画像の平行移動量を求めるものである。
図１２に示すように、最終的に得られる位相相関関数のピークの中心からのずれ量が２つの画像の平行移動量となる。なお、この位相相関関数の表示は、入力される両画像の一致点の多さとその平行移動量を示すものであり、一致点が少なすぎるとピークがあいまいとなる。

また、２次元のブロック画像の代わりに１次元のブロックを用いて高速に奥行き情報を取得する技術も提案されている（例えば、非特許文献１参照）。

柴原琢磨、沼徳仁、長嶋聖、青木孝文、中島寛、小林孝次著、「一次元位相限定相関法に基づくステレオ画像の高精度サブピクセル対応付け手法」 電子情報通信学会論文誌D,Vol. J91-D, No. 9, pp. 2343-2356, September 2008

しかし、２つの画像から切り出したブロック画像において奥行きに不連続な部分が存在したり、奥行きが連続であっても奥行きが大きく異なる部分が存在したりする場合に、これらのブロック画像を用いて位相限定相関法を行うと、手前の位相成分と奥の位相成分とがブロック画像内で混合してしまうため、奥行き計測の精度が低下するという問題がある。
すなわち、異なる位置から被写体を撮影し、それら２つの画像から切り出した２つのブロック画像内に被写体と背景が映っている場合を例にとると、近いところは大きくずれ遠いところは小さくずれるため、例えば、被写体が５ピクセルずれており、背景が２ピクセルずれているということとなる。そして、これらのブロック画像をそのまま用いて位相限定相関法を行うと、図１２に示す位相相関関数のピークがあいまいとなり、平均移動量を精度良く求めることができない。結果として奥行き計測の精度が低下してしまうという問題がある。

本発明は、以上のような問題点に鑑みてなされたものであり、複数の画像から高い精度で奥行き情報を生成する３次元形状取得装置および３次元形状取得プログラムを提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の３次元形状取得装置は、異なる位置から撮影した被写体の画像である基準画像と参照画像とを入力として前記被写体の奥行き情報を生成する３次元形状取得装置であって、ブロック画像切出手段と、対象領域抽出手段と、色置換手段と、視差計測手段と、３次元座標位置生成手段と、を備える構成とした。

かかる構成において、３次元形状取得装置は、ブロック画像切出手段によって、入力される前記基準画像および前記参照画像から視差計測に用いる所定の大きさの画像であるブロック画像を、それぞれ基準ブロック画像および参照ブロック画像として予め定めたピクセル数ごとに順次ずらして切り出す。これによって、入力される画像から視差を計測するためのブロック画像が切り出される。

そして、３次元形状取得装置は、対象領域抽出手段によって、視差計測のための対象領域を抽出するために前記基準ブロック画像における所定の位置の色を基準色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出する。

そして、３次元形状取得装置は、色置換手段によって、前記基準ブロック画像における前記基準色を、前記対象領域の背景をマスクする色である置換色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記対象領域に含まれない画素の色を前記置換色で置き換える。これによって、背景がマスクされて視差計測手段における位相成分の混合を抑制できる。

また、３次元形状取得装置は、視差計測手段によって、前記色置換手段から入力される前記基準ブロック画像と前記参照ブロック画像とから、位相限定相関法により視差を計測する。

そして、３次元形状取得装置は、３次元座標位置生成手段によって、前記視差計測手段が計測した前記視差から３次元座標位置を生成する。

また、請求項２に記載の３次元形状取得装置は、請求項１に記載の３次元形状取得装置において、対象領域抽出手段が、前記基準ブロック画像の中央画素の色を基準色とする構成とした。これによって、基準ブロック画像の中央画素の色を基準として対象領域が抽出される。

そして、請求項３に記載の３次元形状取得装置は、請求項１または請求項２に記載の３次元形状取得装置において、ブロック画像切出手段が、動画像における連続する複数のフレームの画像から視差計測に用いる所定の大きさの画像であるブロック画像を切り出す構成とした。これによって、連続するそれぞれのフレームに対応する奥行き情報を生成することで動的な奥行き情報を生成することができる。

また、請求項４に記載の３次元形状取得装置は、異なる位置から撮影した被写体の画像である基準画像と参照画像とを入力として前記被写体の奥行き情報を生成する３次元形状取得装置であって、視差推定手段と、ブロック画像切出手段と、対象領域抽出手段と、色置換手段と、視差計測手段と、３次元座標位置生成手段と、を備える構成とした。

かかる構成において、３次元形状取得装置は、視差推定手段によって、入力される前記基準画像と前記参照画像とから、一方の画像の各画素に対応するもう一方の画像の画素の平行移動量を表した視差画像である基準視差画像および参照視差画像を生成する。これによって、基準画像および参照画像に対応する奥行き情報を予め取得できる。

そして、３次元形状取得装置は、ブロック画像切出手段によって、前記基準画像、前記参照画像、前記基準視差画像および前記参照視差画像から視差計測に用いる所定の大きさの画像であるブロック画像を、それぞれ基準ブロック画像、参照ブロック画像、基準視差ブロック画像および参照視差ブロック画像として切り出す。これによって、入力される画像から視差を計測するためのブロック画像が切り出される。

そして、３次元形状取得装置は、対象領域抽出手段によって、視差計測のための対象領域を抽出するために前記基準視差ブロック画像における所定の色を基準色として特定し、前記基準視差ブロック画像および前記参照視差ブロック画像において前記基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出し、前記基準視差ブロック画像および前記参照視差ブロック画像において抽出される前記対象領域に基づいて、それぞれ前記基準ブロック画像および前記参照ブロック画像において対象領域を抽出する。これによって、ブロック画像内に類似した色の画素の塊が大きくまとまっていないことで対象領域が十分確保できず、正確な奥行き情報を得るための位相情報を十分取得することができない場合にも、奥行きが類似する画素が十分まとまっていれば、それらの画素を対象領域とすることができる。

また、３次元形状取得装置は、色置換手段によって、前記基準ブロック画像における所定の色を置換色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記対象領域に含まれない画素の色を前記置換色で置き換える。これによって、背景がマスクされて視差計測手段における位相成分の混合を抑制できる。

そして、３次元形状取得装置は、視差計測手段によって、前記色置換手段から出力される、前記基準ブロック画像と前記参照ブロック画像とから位相限定相関法により視差を計測する。

そして、３次元形状取得装置は、３次元座標位置生成手段によって、前記視差計測手段が計測した前記視差から３次元座標位置を生成する。

また、請求項５に記載の３次元形状取得装置は、請求項４に記載の３次元形状取得装置において、ブロック画像切出手段が、切出位置算出手段によって、基準ブロック画像の位置に前記基準視差ブロック画像の中央画素の値を加算して、前記参照ブロック画像および前記参照視差ブロック画像の切出位置を算出する構成とした。これによって、基準ブロック画像における対象領域と参照ブロック画像における対象領域とが大きくずれている場合にも、互いの対象領域がある程度重なるように参照ブロック画像が切り出される。

そして、３次元形状取得装置は、視差計測手段によって、前記色置換手段から入力される前記基準ブロック画像と前記参照ブロック画像とから、位相限定相関法により視差を計測し、計測した視差と、前記基準視差ブロック画像の中央画素の値とを加算する。これによって、被写体の３次元形状を取得するために必要な視差を求める。

また、請求項６に記載の３次元形状取得装置は、請求項４または請求項５に記載の３次元形状取得装置において、対象領域抽出手段が、前記基準視差ブロック画像の中央画素の色を基準色とする構成とした。これによって、基準視差ブロック画像の中央画素の色を基準として対象領域が抽出される。

そして、請求項７に記載の３次元形状取得装置は、請求項４から請求項６のいずれか一項に記載の３次元形状取得装置において、視差推定手段が、動画像における連続する複数のフレームの画像から前記基準視差画像および前記参照視差画像を生成する構成とした。
また、ブロック画像切出手段が、動画像における連続する複数のフレームの画像から視差計測に用いる所定の大きさの画像であるブロック画像を切り出す構成とした。これによって、連続するそれぞれのフレームに対応する奥行き情報を生成することで動的な奥行き情報を生成することができる。

また、請求項８に記載の３次元形状取得プログラムは、異なる位置から撮影した被写体の画像である基準画像と参照画像とを入力として前記被写体の奥行き情報を生成する３次元形状取得装置を制御するために、前記３次元形状取得装置のコンピュータを、ブロック画像切出手段、対象領域抽出手段、色置換手段、視差計測手段、３次元座標位置生成手段、として機能させる構成とした。

かかる構成において、３次元形状取得プログラムは、ブロック画像切出手段によって、入力される前記基準画像および前記参照画像から視差計測に用いる所定の大きさの画像であるブロック画像を、それぞれ基準ブロック画像および参照ブロック画像として予め定めたピクセル数ごとに順次ずらして切り出す。これによって、入力される画像から視差を計測するためのブロック画像が切り出される。

そして、３次元形状取得プログラムは、対象領域抽出手段によって、視差計測のための対象領域を抽出するために前記基準ブロック画像における所定の位置の色を基準色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出する。

そして、３次元形状取得プログラムは、色置換手段によって、前記基準ブロック画像における前記基準色を、前記対象領域の背景をマスクする色である置換色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記対象領域に含まれない画素の色を前記置換色で置き換える。これによって、背景がマスクされて視差計測手段における位相成分の混合を抑制できる。

また、３次元形状取得プログラムは、視差計測手段によって、前記色置換手段から入力される前記基準ブロック画像と前記参照ブロック画像とから、位相限定相関法により視差を計測する。

そして、３次元形状取得プログラムは、３次元座標位置生成手段によって、前記視差計測手段が計測した前記視差から３次元座標位置を生成する。

また、請求項９に記載の３次元形状取得プログラムは、異なる位置から撮影した被写体の画像である基準画像と参照画像とを入力として前記被写体の奥行き情報を生成する３次元形状取得装置を制御するために、前記３次元形状取得装置のコンピュータを、視差推定手段、ブロック画像切出手段、対象領域抽出手段、色置換手段、視差計測手段、３次元座標位置生成手段、として機能させる構成とした。

かかる構成において、３次元形状取得プログラムは、視差推定手段によって、入力される前記基準画像と前記参照画像とから、一方の画像の各画素に対応するもう一方の画像の画素の平行移動量を表した視差画像である基準視差画像および参照視差画像を生成する。これによって、基準画像および参照画像に対応する奥行き情報を予め取得できる。

そして、３次元形状取得プログラムは、ブロック画像切出手段によって、前記基準画像、前記参照画像、前記基準視差画像および前記参照視差画像から視差計測に用いる所定の大きさの画像であるブロック画像を、それぞれ基準ブロック画像、参照ブロック画像、基準視差ブロック画像および参照視差ブロック画像として切り出す。これによって、入力される画像から視差を計測するためのブロック画像が切り出される。

そして、３次元形状取得プログラムは、対象領域抽出手段によって、視差計測のための対象領域を抽出するために前記基準視差ブロック画像における所定の色を基準色として特定し、前記基準視差ブロック画像および前記参照視差ブロック画像において前記基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出し、前記基準視差ブロック画像および前記参照視差ブロック画像において抽出される前記対象領域に基づいて、それぞれ前記基準ブロック画像および前記参照ブロック画像において対象領域を抽出する。これによって、ブロック画像内に類似した色の画素の塊が大きくまとまっていないことで対象領域が十分確保できず、正確な奥行き情報を得るための位相情報を十分取得することができない場合にも、奥行きが類似する画素が十分まとまっていれば、それらの画素を対象領域とすることができる。

また、３次元形状取得プログラムは、色置換手段によって、前記基準ブロック画像における所定の色を置換色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記対象領域に含まれない画素の色を前記置換色で置き換える。これによって、背景がマスクされて視差計測手段における位相成分の混合を抑制できる。

そして、３次元形状取得プログラムは、視差計測手段によって、前記色置換手段から出力される、前記基準ブロック画像と前記参照ブロック画像とから位相限定相関法により視差を計測する。

そして、３次元形状取得プログラムは、３次元座標位置生成手段によって、前記視差計測手段が計測した前記視差から３次元座標位置を生成する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，２，８に記載の発明によれば、ブロック画像内の奥行きが不連続である部分や奥行きが大きく異なる部分が置換色で置き換えられているため、平均移動量を精度良く求めることができ、高い精度で３次元座標位置を生成できる。

請求項３，７に記載の発明によれば、これによって、連続するそれぞれのフレームに対応する奥行き情報を生成することで動的な奥行き情報を生成することができる。

請求項４，６，９に記載の発明によれば、ブロック画像内に類似した色の画素の塊が大きくまとまっていないことで正確な奥行き情報を得るために位相情報を十分取得することができない場合にも、奥行きが類似する画素が十分まとまっていれば、平均移動量を精度良く求めることができ、高い精度で３次元座標位置を生成できる。

請求項５に記載の発明によれば、基準ブロック画像における対象領域と参照ブロック画像における対象領域とが大きくずれている場合にも、互いの対象領域がある程度重なるように参照ブロック画像が切り出されるため、視差計測手段において、十分な位相情報を取得することができる。

本発明の第１実施形態に係る３次元形状取得装置の構成を示すブロック構成図である。 本発明の実施形態に係る３次元形状取得装置において、基準画像と参照画像を説明するための平面図である。 本発明の第１実施形態に係る３次元形状取得装置のブロック画像切出手段、対象領域抽出手段および色置換手段における処理の一例を模式的に示した図である。 本発明の第１実施形態に係る３次元形状取得装置の動作を示すフローチャートである。 本発明の第２実施形態に係る３次元形状取得装置の構成を示すブロック構成図である。 本発明の第２実施形態に係る３次元形状取得装置のブロック画像切出手段、対象領域抽出手段および色置換手段における処理の一例を模式的に示した図である。 本発明の第２実施形態に係る３次元形状取得装置の切出位置算出手段による作用効果を説明するための図であり、（ａ）は、切出位置算出手段を用いない場合を説明する図である。（ｂ）は、切出位置算出手段を用いる場合を説明する図である。（ｃ）は、基準ブロック画像と参照ブロック画像を重ね合わせたときの対象領域の位置を示す図である。 本発明の第２実施形態に係る３次元形状取得装置の動作を示すフローチャートである。 本発明の第２実施形態に係る３次元形状取得装置の動作におけるブロック画像切出処理のフローチャートである。 従来技術の位相限定相関法の概念を示した図である。 従来技術の位相限定相関法のブロック処理を説明する図である。 従来技術の位相限定相関法による処理の結果の一例を示す図である。

＜第１実施形態＞
以下、本発明の第１実施形態について、図１〜図４を参照して説明する。
図１に示すように、３次元形状取得装置１は、基準画像３０と参照画像３１とを入力として、それらについて正確な位相成分を取得するための前処理を行い、その後、位相限定相関法を用いて３次元座標位置６０を得るものである。
基準画像３０とは、位相限定相関法によって視差を求める際、基準となる画像である。この画像から切り出したブロック画像である基準ブロック画像を基準として、参照画像３１から切り出したブロック画像である参照ブロック画像との平行移動量を求めることになる。

ここで、基準画像３０と参照画像３１は、図２に示すように、異なる位置からカメラ（カメラ３２、カメラ３３）により撮影された画像である。カメラ３２およびカメラ３３は、被写体３４が写るように設置する。このとき、カメラ３２およびカメラ３３は、カメラの光軸が平行になるように設置する。高さも同じである方が好ましい。なお、ここでは、カメラ３２で撮影された画像が基準画像３０であり、カメラ３３で撮影された画像が参照画像３１であるが、逆でもよい。

ところで、カメラ３２およびカメラ３３は、設置しただけで完全な平行になることは困難である。そのため、以下の従来技術により、平行化画像を取得する。被写体付近に既知の模様が描画されたパターンを置き、両カメラで撮影してカメラの位置や姿勢、焦点距離、レンズ歪曲率等をカメラキャリブレーション手法により取得する。例えば、ＴｓａｉやＺｈａｎｇのキャリブレーション法がある。
取得した内部パラメータ行列Ａが、例えば、式（１）であるとする。

ここで、Ｆは、式（２）で表される。ａは、式（３）で表される。なお、ｆは焦点距離、Ｃ_ｕ，Ｃ_ｖはそれぞれ画像座標によるｘ方向，ｙ方向の中心画素の位置、Δ_ｘ，Δ_ｙはそれぞれｘ方向，ｙ方向の撮像素子の間隔である。

Ｒを世界座標からカメラ座標への３×３回転行列とすると、画像中の点Ｐ_Ｃは、式（４）で平行画像化することが可能である。

ただし、Ｐｃ_ｒｅｃｔは平行画像化後の点の位置、Ａ_ｒｅｃｔは平行化した後の内部パラメータ行列、Ｒ_ｒｅｃｔは平行化した後の回転行列である。なお、Ｒ^-1，Ａ^-1はそれぞれ行列Ｒ，Ａの逆行列である。Ａ_ｒｅｃｔは、カメラ３２の内部パラメータ行列とカメラ３３の内部パラメータ行列の平均値とすることが一般的である。詳細は、参考文献（ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｃｍｕ．ｅｄｕ／~ｒｇｗ／ＴｓａｉＣｏｄｅ．ｈｔｍｌ，ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｍｉｃｏｓｏｆｔ．ｃｏｍ／ｅｎ−ｕｓ／ｕｍ／ｐｅｏｐｌｅ／ｚｈａｎｇ／ｃａｌｉｂ／）に譲る。

２台のカメラ３２，３３で撮影された画像それぞれについて、すべての画素について、上記の変換を行うことで、平行化画像を取得することができる。

図１に戻って、３次元形状取得装置１の構成の説明をする。
［３次元形状取得装置１の構成］
３次元形状取得装置１は、ブロック画像切出手段１１（基準ブロック画像切出部１１ａ，参照ブロック画像切出部１１ｂ）と、対象領域抽出手段１２（基準ブロック画像対象領域抽出部１２ａ，参照ブロック画像対象領域抽出部１２ｂ）と、色置換手段１３（基準ブロック画像色置換部１３ａ，参照ブロック画像色置換部１３ｂ）と、視差計測手段１４と、３次元座標位置生成手段１５とを備えている。

ブロック画像切出手段１１は、入力された画像からブロック画像を切り出し、それらのブロック画像を対象領域抽出手段１２へ出力するものである。なお、基準ブロック画像切出部１１ａは、基準画像３０から基準ブロック画像を切り出すものであり、参照ブロック画像切出部１１ｂは、参照画像３１から参照ブロック画像を切り出すものである。

このブロック画像切出手段１１は、例えば、図３に示すように、基準画像３０と参照画像３１の左上座標から一定の大きさの画像を切り出す。そして、後記する一連の処理が行われた後、ブロック画像切出手段１１は、前回切り出したブロック画像から１ピクセル分横にずらして、次のブロック画像を切り出す。例えば、ブロック画像のサイズが６４×６４ピクセルの場合、次のブロック画像のうち、６４×６３ピクセルは重ねて切り出すことになる。ただし、これはピクセル単位の奥行き情報を取得する場合であり、切り出す間隔をあけることで、荒い奥行き情報を速く取得することができる。４ピクセルごとに切り出す処理を行う場合には、次のブロック画像は、６４×６０ピクセルが重なる計算になる。

図３に示すように、基準ブロック画像切出部１１ａは、入力された基準画像３０から基準ブロック画像３５ａを切り出す。参照ブロック画像切出部１１ｂは、入力された参照画像３１から参照ブロック画像３５ｂを切り出す。基準画像３０および参照画像３１のそれぞれから切り出された基準ブロック画像３５ａおよび参照ブロック画像３５ｂの大きさと基準画像３０および参照画像３１に対する位置は同じものとする。
ブロック画像の大きさは、２つのブロック画像の重なる部分がある程度確保できる所定の大きさとする。例えば、６４ピクセル×６４ピクセルとする。この大きさでは、ずれが大きすぎて平行移動量を求めることができないときは、例えば、１２８ピクセル×１２８ピクセル、２５６ピクセル×２５６ピクセルとしてもよい。
なお、図３に示すものは、画像の左上からブロック画像を切り出しているが、この処理は、画像の左上の画素から走査状に右下の画素まで繰り返し行うことになる。

対象領域抽出手段１２は、視差計測のための対象領域を抽出するものである。この対象領域抽出手段１２は、基準ブロック画像対象領域抽出部１２ａと、参照ブロック画像対象領域抽出部１２ｂとを備える。
基準ブロック画像対象領域抽出部１２ａは、基準ブロック画像切出部１１ａが切り出した基準ブロック画像から視差計測のための対象領域を抽出するために所定の位置の色を基準色として特定し、基準ブロック画像において、基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出するものである。また、基準ブロック画像対象領域抽出部１２ａは、特定した基準色を参照ブロック画像対象領域抽出部１２ｂへ出力する。基準色は、例えば、基準ブロック画像の中央画素の色とする。基準色に所定の範囲内で類似とは、視差計測の際に十分な位相情報を得られるような対象領域になるよう予め設定する。例えば、ＲＧＢ値がそれぞれ２５６階調のとき基準色とのＲＧＢ値の差がそれぞれ±１６の範囲内とする。

参照ブロック画像対象領域抽出部１２ｂは、参照ブロック画像切出部１１ｂが切り出した参照ブロック画像と、基準ブロック画像対象領域抽出部１２ａが特定した基準色とから、参照ブロック画像において、基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出するものである。ここでの所定の範囲内で類似する色は、基準ブロック画像と同じとする。

例えば図３に示すように、基準ブロック画像対象領域抽出部１２ａは、基準ブロック画像３６ａの中央画素３８の色を基準色として特定し、基準ブロック画像３６ａにおいて、基準色に所定の範囲内で類似する色を持つ画素を対象領域３９ａとして抽出する。
また、参照ブロック画像対象領域抽出部１２ｂは、基準ブロック画像３６ａの中央画素３８の色である基準色から、参照ブロック画像３６ｂにおいて、基準色に所定の範囲内で類似する色を持つ画素を対象領域３９ｂとして抽出する。

色置換手段１３は、対象領域の背景をマスクするものである。この色置換手段１３は、基準ブロック画像色置換部１３ａと、参照ブロック画像色置換部１３ｂとを備える。
基準ブロック画像色置換部１３ａは、基準ブロック画像対象領域抽出部１２ａが出力した基準ブロック画像における所定の色を置換色として特定し、基準ブロック画像において、対象領域に含まれない画素の色を置換色で置き換えるものである。また、基準ブロック画像色置換部１３ａは、置換色を参照ブロック画像色置換部１３ｂへ出力する。置換色は、例えば、基準ブロック画像対象領域抽出部１２ａが特定した基準色、あるいは、その基準色に所定の範囲内で類似する色の平均色とする。

参照ブロック画像色置換部１３ｂは、参照ブロック画像において、対象領域に含まれない画素の色を基準ブロック画像色置換部１３ａが特定した置換色で置き換えるものである。
例えば図３に示すように、基準ブロック画像色置換部１３ａは、基準ブロック画像３７ａにおける中央画素３８の色を置換色として特定し、基準ブロック画像３７ａにおいて、対象領域３９ａに含まれない画素（網掛部）の色を置換色で置き換える。また、参照ブロック画像色置換部１３ｂは、参照ブロック画像３７ｂにおいて、対象領域３９ｂに含まれない画素（網掛部）の色を置換色で置き換える。
これにより、ブロック画像内の奥行きが不連続である部分や奥行きが対象領域と大きく異なる部分の画素の色が置換色に置き換えられ（背景がマスクされ）、視差計測手段１４における位相情報の混合を抑制できる。

視差計測手段１４は、色置換手段１３による処理が施された基準ブロック画像および参照ブロック画像を入力として、それらの画像の輝度情報または色情報を用いて、位相限定相関法によりブロック処理を行い、２つのブロック画像の平行移動量を出力するものである。色置換手段１３によってブロック画像内の奥行きが不連続である部分や奥行きが大きく異なる部分が置換色で置き換えられることで、位相相関関数のピークが明確に現れるため、視差計測手段１４によって平均移動量を精度良く求めることができる。

３次元座標位置生成手段１５は、視差計測手段１４から入力される２つのブロック画像の平行移動量と、撮影固有値記憶手段２１に記憶された撮影固有値とを入力として、三角測量の原理より、次式（５）を用いて３次元座標位置を生成するものである。ここで、ｚは３次元座標位置、Ｂはカメラ３２とカメラ３３の光学主点間の距離、ｆは焦点距離、ｄは２つのブロック画像の平行移動量、ｐは撮影面における画素ピッチの距離である。Ｂやｆは、カメラを設置する際のキャリブレーションから得ることができる。ｐはカメラの仕様であるため、既知である。

記憶部２０の撮影固有値記憶手段２１は、カメラの光学主点間の距離Ｂ、焦点距離ｆおよび撮影面における画素ピッチの距離ｐを記憶するものである。これらは、３次元座標位置生成手段１５によって参照される。なお、記憶部２０は、３次元形状取得装置１の外部に設けられていてもよい。

［３次元形状取得装置１の動作］
次に、３次元形状取得装置１の動作について、図４を参照して説明する。ここでは、基準画像および参照画像が連続する動画として入力されたこととして説明する。

図４に示すように、ステップＳ１０において、ブロック画像切出手段１１は、基準画像３０および参照画像３１を取得する。
ステップＳ１１において、基準ブロック画像切出部１１ａは、基準画像３０から基準ブロック画像を順次切り出す。参照ブロック画像切出部１１ｂは、参照画像３１から参照ブロック画像を順次切り出す。
ステップＳ１２において、基準ブロック画像対象領域抽出部１２ａは、基準ブロック画像切出部１１ａが切り出した基準ブロック画像から所定の位置の色を基準色として特定し、基準ブロック画像において、基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出し、特定した基準色を参照ブロック画像対象領域抽出部１２ｂへ出力する。また、参照ブロック画像対象領域抽出部１２ｂは、参照ブロック画像において、基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出する。

ステップＳ１３において、基準ブロック画像色置換部１３ａは、基準ブロック画像対象領域抽出部１２ａが出力した基準ブロック画像における所定の色を置換色として特定し、基準ブロック画像において、対象領域に含まれない画素の色を置換色で置き換え、特定した置換色を参照ブロック画像色置換部１３ｂへ出力する。参照ブロック画像色置換部１３ｂは、参照ブロック画像において、対象領域に含まれない画素の色を置換色で置き換える。

ステップＳ１４において、視差計測手段１４は、色置換手段１３による処理が施された基準ブロック画像および参照ブロック画像の視差を求める。
ステップＳ１５において、３次元座標位置生成手段１５は、視差計測手段１４から入力される値と撮影固有値記憶手段２１に記憶された撮影固有値とを入力として、３次元座標位置６０を生成する。
ステップＳ１６において、ブロック画像切出手段１１は、ステップＳ１０において取得した基準画像３０および参照画像３１の全画素について処理が終了したか否かを判定する。全画素について処理が終了していないと判定した場合は（ステップＳ１６・Ｎｏ）、ブロック画像切出手段１１（基準ブロック画像切出部１１ａ，参照ブロック画像切出部１１ｂ）は、次のブロック画像を切り出す（ステップＳ１１）。

全画素について処理が終了したと判定した場合は（ステップＳ１６・Ｙｅｓ）、ステップＳ１７において、ブロック画像切出手段１１は、動画像におけるすべてのフレームについて処理が終了したか否かを判定する。すべてのフレームについて処理が終了していないと判定した場合は（ステップＳ１７・Ｎｏ）、ブロック画像切出手段１１は、次の画像を取得する（ステップＳ１０）。
すべてのフレームについて処理が終了したと判定した場合は（ステップＳ１７・Ｙｅｓ）、処理部１０は、３次元形状取得処理を終了する。

以上の動作によって、３次元形状取得装置１は、ブロック画像内の奥行きが不連続である部分や奥行きが大きく異なる部分が置換色で置き換えられているため、平均移動量を精度良く求めることができ、高い精度で３次元座標位置を生成できる。

＜第２実施形態＞
次に、本発明の第２実施形態について、図５〜図９を参照して説明する。
第１実施形態では、対象領域を、基準ブロック画像の中央画素の色に類似する範囲に基づいて抽出したが、第２実施形態では、対象領域を、奥行き（視差）に基づいて抽出する。また、付加的な機能として、参照ブロック画像の切り出し方法を工夫することで、視差計測の精度を上げている。
［３次元形状取得装置１Ａの構成］
図５に示すように、３次元形状取得装置１Ａは、ブロック画像切出手段１１Ａと、対象領域抽出手段１２Ａと、視差計測手段１４Ａと、視差推定手段１６とを備えている。なお、第１実施形態の構成と同一の構成には同一の符号を付して、重複した説明は省略する。

まず、視差推定手段１６について、説明する。
視差推定手段１６は、従来の手法により、おおよその平行移動量（視差）を推定するものである。ここでは、例えば、視差推定手段１６は、入力される基準画像３０と参照画像３１から、既存の対応点探索手法（例えば、ブロックマッチング法やBelief Propagation法）を用いて、基準画像３０の画素に対応する参照画像３１の画素との平行移動量を輝度または色で表示した基準視差画像４０を生成する。また、視差推定手段１６は、入力される基準画像３０と参照画像３１から、既存の対応点探索手法を用いて、参照画像３１の画素に対応する基準画像３０の画素との平行移動量を輝度または色で表示した参照視差画像４１を生成する。なお、基準視差画像４０および参照視差画像４１は、例えば、明るい部分は平行移動量が多く、暗い部分は平行移動量が少ないことを示す。

ブロック画像切出手段１１Ａは、基準画像、参照画像、基準視差画像および参照視差画像からそれぞれ基準ブロック画像、参照ブロック画像、基準視差ブロック画像および参照視差ブロック画像として切り出すものである。このブロック画像切出手段１１Ａは、基準ブロック画像切出部１１Ａａと、参照ブロック画像切出部１１Ａｂと、基準視差ブロック画像切出部１１Ａｃと、参照視差ブロック画像切出部１１Ａｄと、切出位置算出手段１７とを備える。

基準ブロック画像切出部１１Ａａは、基準画像３０から基準ブロック画像を切り出すものである。また、基準ブロック画像切出部１１Ａａは、切出位置算出手段１７に、基準ブロック画像の切出位置情報を出力するものである。
参照ブロック画像切出部１１Ａｂは、参照画像３１と、後記する切出位置算出手段１７が算出した切出位置情報とから参照ブロック画像を切り出すものである。
基準視差ブロック画像切出部１１Ａｃは、基準視差画像４０から、基準ブロック画像と同じ位置、大きさのブロック画像である基準視差ブロック画像を切り出すものである。また、基準視差ブロック画像切出部１１Ａｃは、切出位置算出手段１７および視差計測手段１４Ａに、基準視差ブロック画像の中央画素の値を出力するものである。
参照視差ブロック画像切出部１１Ａｄは、参照視差画像４１と、後記する切出位置算出手段１７が算出した切出位置情報とから、参照ブロック画像と同じ位置、大きさのブロック画像である参照視差ブロック画像を切り出すものである。

切出位置算出手段１７は、基準ブロック画像の切出位置のｘ座標に、基準視差ブロック画像の中央画素の値を加算して、参照ブロック画像および参照視差ブロック画像の切出位置を算出するものである。また、切出位置算出手段１７は、参照ブロック画像切出部１１Ａｂおよび参照視差ブロック画像切出部１１Ａｄに、算出した切出位置情報を出力する。

すなわち、ブロック画像切出手段１１Ａにおいて、基準ブロック画像と基準視差ブロック画像は、同じ位置、大きさで切り出される。基準視差ブロック画像の中央画素の値は、基準ブロック画像の中央画素と、その画素に対応する参照ブロック画像における画素との間の平行移動量を示すものである。基準ブロック画像の中央画素の位置のｘ座標に、この平行移動量を加算し、算出された値を参照ブロック画像の中央画素の位置とする。
例えば図６に示すように、基準画像３０から基準ブロック画像３５ａが切り出される。また、基準視差画像４０から基準視差ブロック画像４５ｃが切り出される。そして、基準ブロック画像３５ａの中央画素の位置のｘ座標に、基準視差ブロック画像４５ｃの中央画素の値を加算し、これを参照ブロック画像３５ｂおよび参照視差ブロック画像４５ｄの中央画素の位置とする。

このような切り出し方法を用いる理由を、図７を参照して説明する。
図７（ａ）に示すように、基準視差ブロック画像の中央画素の値を用いずに、基準ブロック画像５０ａおよび参照ブロック画像５０ｂを、それぞれ基準画像および参照画像に対して同じ位置から切り出すと、対象領域５２ｂが参照ブロック画像５０ｂから外れてしまうことがある。この場合、視差計測手段１４Ａ（図５参照）において対象領域の十分な位相情報を取得できず、視差計測の精度が落ちることとなる。

一方、図７（ｂ）に示すように、基準ブロック画像５１ａの中央画素の位置のｘ座標に、基準視差ブロック画像の中央画素の値を加算して、参照ブロック画像５１ｂの中央画素の位置として参照ブロック画像５１ｂを切り出すと、対象領域５３ｂは、参照ブロック画像５１ｂから外れずに切り出される。ｄ２は、前記した基準視差ブロック画像の中央画素の値となる。このような切り出し方法により、基準ブロック画像５１ａと参照ブロック画像５１ｂとにおいて、対象領域５２ａ，５３ｂの全体が現れるため、後記する視差計測手段１４Ａ（図５参照）において対象領域の十分な位相情報を取得することができ、視差計測の精度を上げることができる。
なお、基準視差画像および参照視差画像は、従来手法により、おおよその視差を推定したものであるため、このような切り出し方法によると、図７（ｃ）に示すように、対象領域５３ａ，５３ｂのそれぞれ基準ブロック画像５１ａ，参照ブロック画像５１ｂに対する位置が僅かにずれて切り出されることがある。このずれをｄ１とする。視差計測手段１４Ａは、このずれであるｄ１を計測し、ｄ２を加算することにより、被写体の３次元形状を取得するために必要な元の視差Ｄを求めることになる。

図５に戻って説明を続ける。
対象領域抽出手段１２Ａは、視差計測のための対象領域を抽出するものである。この対象領域抽出手段１２Ａは、基準ブロック画像対象領域抽出部１２Ａａと、参照ブロック画像対象領域抽出部１２Ａｂと、基準視差ブロック画像対象領域抽出部１２Ａｃと、参照視差ブロック画像対象領域抽出部１２Ａｄとを備える。

基準視差ブロック画像対象領域抽出部１２Ａｃは、基準視差ブロック画像切出部１１Ａｃが切り出した基準視差ブロック画像から所定の位置の色または輝度を基準色として特定し、基準視差ブロック画像において、基準色に所定の範囲内で類似する色または輝度を持つ画素を対象領域として抽出するものである。また、基準視差ブロック画像対象領域抽出部１２Ａｃは、特定した基準色を参照視差ブロック画像対象領域抽出部１２Ａｄへ出力する。基準色は、例えば、基準視差ブロック画像の中央画素の視差量を表した色または輝度とする。
参照視差ブロック画像対象領域抽出部１２Ａｄは、参照視差ブロック画像切出部１１Ａｄが切り出した参照視差ブロック画像と、基準視差ブロック画像対象領域抽出部１２Ａｃが特定した基準色とから、参照視差ブロック画像において、基準色に所定の範囲内で類似する色または輝度を持つ画素を対象領域として抽出するものである。ここでの所定の範囲内で類似する色または輝度は、基準視差ブロック画像と同じとする。

基準ブロック画像対象領域抽出部１２Ａａは、基準視差ブロック画像に対する対象領域の位置と同じ位置に、基準ブロック画像切出部１１Ａａが切り出した基準ブロック画像において、対象領域を抽出する。
参照ブロック画像対象領域抽出部１２Ａｂは、参照視差ブロック画像に対する対象領域の位置と同じ位置に、参照ブロック画像切出部１１Ａｂが切り出した参照ブロック画像において、対象領域を抽出する。

例えば図６に示すように、基準視差ブロック画像対象領域抽出部１２Ａｃは、基準視差ブロック画像４６ｃの中央画素４８の色を基準色として特定し、基準視差ブロック画像４６ｃにおいて、基準色に所定の範囲内で類似する色を持つ画素を対象領域４９ｃとして抽出する。
また、基準ブロック画像対象領域抽出部１２Ａａは、基準視差ブロック画像４６ｃに対する対象領域４９ｃの位置と同じ位置に、基準ブロック画像３６ａにおいて、対象領域３９ａを抽出する。

参照視差ブロック画像対象領域抽出部１２Ａｄは、参照視差ブロック画像４６ｄと、基準視差ブロック画像対象領域抽出部１２Ａｃが特定した基準色とから、参照視差ブロック画像４６ｄにおいて、基準色に所定の範囲内で類似する色を持つ画素を対象領域４９ｄとして抽出する。
また、参照ブロック画像対象領域抽出部１２Ａｂは、参照視差ブロック画像４６ｄに対する対象領域４９ｄの位置と同じ位置に、参照ブロック画像３６ｂにおいて、対象領域３９ｂを抽出する。
このように、視差画像から対象領域を決定することにより、ブロック画像内に類似した色の画素の塊が大きくまとまっていないために正確な奥行き情報を得るために位相情報を十分取得することができない場合にも、奥行きが類似する画素が十分まとまっていれば、平均移動量を精度良く求めることができ、高い精度で３次元座標位置を生成できる。

その後、第１実施形態と同様に、基準ブロック画像色置換部１３ａは、基準ブロック画像３７ａにおける中央画素３８の色、あるいは、基準色に所定の範囲内で類似する色の平均色を置換色として特定し、基準ブロック画像３７ａにおいて、対象領域３９ａに含まれない画素（網掛部）の色を置換色で置き換える。
また、参照ブロック画像色置換部１３ｂは、参照ブロック画像３７ｂにおいて、対象領域３９ｂに含まれない画素（網掛部）の色を基準ブロック画像色置換部１３ａが特定した置換色で置き換える。

視差計測手段１４Ａは、色置換手段１３から入力される基準ブロック画像と参照ブロック画像とから位相限定相関法により視差を計測し、計測した視差に、参照ブロック画像の切出位置を算出する際に用いた基準視差ブロック画像の中央画素の値を加算するものである。これにより、被写体の３次元形状を取得するために必要な視差を求めることができる。

［３次元形状取得装置１Ａの動作］
次に、３次元形状取得装置１Ａの３次元形状取得処理について、図８を参照して説明する。ここでは、第１実施形態と同様に、基準画像および参照画像が連続する動画が入力されたこととして説明する。

図８に示すように、ステップＳ２０において、ブロック画像切出手段１１Ａは、基準画像３０および参照画像３１を取得する。
ステップＳ２１において、視差推定手段１６は、基準画像３０と参照画像３１とから、基準視差画像４０および参照視差画像４１を生成する。
ステップＳ２２において、ブロック画像切出手段１１Ａは、ブロック画像の切出処理を行う。なお、このステップにおける処理は後に詳述する。

ステップＳ２３において、基準視差ブロック画像対象領域抽出部１２Ａｃは、基準視差ブロック画像から基準色として特定し、基準視差ブロック画像において、基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出する。また、基準視差ブロック画像対象領域抽出部１２Ａｃは、特定した基準色を参照視差ブロック画像対象領域抽出部１２Ａｄへ出力する。さらに、基準ブロック画像対象領域抽出部１２Ａａは、基準視差ブロック画像に対する対象領域の位置と同じ位置に、基準ブロック画像において、対象領域を抽出する。
また、参照視差ブロック画像対象領域抽出部１２Ａｄは、参照視差ブロック画像と、基準視差ブロック画像対象領域抽出部１２Ａｃが特定した基準色とから、参照視差ブロック画像において、基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出する。さらに、参照ブロック画像対象領域抽出部１２Ａｂは、参照視差ブロック画像に対する対象領域の位置と同じ位置に、参照ブロック画像において、対象領域を抽出する。

ステップＳ２４において、基準ブロック画像色置換部１３ａは、基準ブロック画像対象領域抽出部１２Ａａが出力した基準ブロック画像における所定の色を置換色として特定し、基準ブロック画像において、対象領域に含まれない画素の色を置換色で置き換え、特定した置換色を参照ブロック画像色置換部１３ｂへ出力する。参照ブロック画像色置換部１３ｂは、参照ブロック画像対象領域抽出部１２Ａｂが出力した参照ブロック画像において、対象領域に含まれない画素の色を置換色で置き換える。

ステップＳ２５において、視差計測手段１４Ａは、色置換手段１３から入力される基準ブロック画像と参照ブロック画像とから位相限定相関法により視差を計測し、計測した視差に、参照ブロック画像の切出位置を算出する際に用いた基準視差ブロック画像の中央画素の値を加算する。
ステップＳ２６からステップＳ２８は、図４のステップＳ１５からステップＳ１７と同様であるため、説明を省略する。

［ブロック画像切出手段１１Ａにおけるブロック画像切出処理］
次に、ブロック画像切出手段１１Ａにおけるブロック画像切出処理について、図９を参照して説明する。
図９に示すように、ステップＳ２２１において、基準ブロック画像切出部１１Ａａは、基準画像３０から基準ブロック画像を切り出す。また、基準ブロック画像切出部１１Ａａは、切出位置算出手段１７に、基準ブロック画像の切出位置情報を出力する。
ステップＳ２２２において、基準視差ブロック画像切出部１１Ａｃは、基準視差画像４０から、基準ブロック画像と同じ位置、大きさのブロック画像である基準視差ブロック画像を切り出す。

ステップＳ２２３において、基準視差ブロック画像切出部１１Ａｃは、基準視差ブロック画像の中央画素の値を取得する。また、基準視差ブロック画像切出部１１Ａｃは、切出位置算出手段１７に、基準視差ブロック画像の中央画素の値を出力する。
ステップＳ２２４において、切出位置算出手段１７は、基準視差ブロック画像の中央画素の値と、基準ブロック画像の切出位置情報とを加算して、参照ブロック画像および参照視差ブロック画像の切出位置を算出する。また、切出位置算出手段１７は、参照ブロック画像切出部１１Ａｂおよび参照視差ブロック画像切出部１１Ａｄに、算出した切出位置情報を出力する。

ステップＳ２２５において、参照ブロック画像切出部１１Ａｂは、参照画像３１と、切出位置算出手段１７が算出した切出位置情報とから参照ブロック画像を切り出す。
ステップＳ２２６において、参照視差ブロック画像切出部１１Ａｄは、参照視差画像４１と、切出位置算出手段１７が算出した切出位置情報とから、参照ブロック画像と同じ位置、大きさのブロック画像である参照視差ブロック画像を切り出す。
以上で、ブロック画像切出手段１１Ａは、ブロック画像切出処理を終了する。
なお、趣旨が同じであれば、必ずしもこの順序で動作させる必要はない。

以上の３次元形状取得処理によって、３次元形状取得装置１Ａは、ブロック画像内に類似した色の画素の塊が大きくまとまっていないために位相情報が十分取得することができない場合にも、奥行きが類似する画素が十分まとまっていれば、平均移動量を精度良く求めることができ、高い精度で３次元座標位置を生成できる。
また、参照ブロック画像を切り出す際に視差画像を用いることで、視差計測の精度を上げることができる。

＜変形例＞
以上、本発明の実施形態に係る３次元形状取得装置の構成および動作について説明したが、本発明はこれらの実施形態に限定されるものではない。
例えば、第２実施形態において、ブロック画像切出手段１１Ａにおいて、切出位置算出手段１７により、参照ブロック画像の切出位置を算出しているが、必ずしもこの切り出し方による必要はなく、第１実施形態のように、参照ブロック画像も、基準ブロック画像と同じ位置から切り出してもよい。この場合は、視差計測手段１４Ａは、色置換手段１３から入力される基準ブロック画像と参照ブロック画像とから位相限定相関法により視差を計測するが、計測した視差に、参照ブロック画像の切出位置を算出する際に用いた基準視差ブロック画像の中央画素の値を加算する必要はない。

また、本実施形態では、光軸が平行に設置されたカメラからの画像を入力とすることを前提としたが、平行化画像に変換された画像を入力として用いれば、カメラの設置方向は平行でなくてもよい。

また、ブロック画像切出手段において、ブロック画像を切り出すサイズを可変とするようにしたが、ブロック画像を切り出すサイズは固定にしておき、入力された画像の解像度は一定にして画像のサイズを変更した画像の組をいくつか用意し、その画像のサイズの組ごとに階層的に平行移動量を求めてもよい。

また、第１実施形態において、ＲＧＢ値がそれぞれ２５６階調のとき基準色とのＲＧＢ値の差がそれぞれ±１６の範囲内を、基準色に所定の範囲内で類似する色としたが、他にも、ＲＧＢ空間の色ベクトルの内積値が所定の範囲内であるものでもよい。ＨＳＶ空間など各種色空間において、所定の範囲内としてもよい。さらに、Ｍｅａｎ Ｓｈｉｆｔ法などの統計処理を用いて所定の範囲内としてもよい。

また、本実施形態では、画像の全画素についてブロック画像を切り出すようにしているが、必ずしもすべての画素について行う必要はなく、所定の間隔ごとに行うことで解像度の低い３次元形状を速く生成することができる。さらに、動画についても、必ずしもすべてのフレームについて行う必要はない。

また、３台以上のカメラを用いる場合は、２台のペアを複数組み、各ペアの取得結果を統合することにより、より精度の高い奥行き情報を生成することができる。
例えば、複数の視差推定結果が出た場合に、それらのメディアン値（小さい値から順番に並べて、中央に位置する値をとる手法）を最終結果とする手段や位相相関関数のピークが高い推定結果を最終的な視差値とすることなどが考えられる。

さらに、ブロック画像切出手段において、２次元のブロック画像を切り出したが、１次元のブロックを用いることも可能である。これにより、処理時間を短縮することができる。

１ ３次元形状取得装置
１Ａ ３次元形状取得装置
１１ ブロック画像切出手段
１１Ａ ブロック画像切出手段
１２ 対象領域抽出手段
１２Ａ 対象領域抽出手段
１３ 色置換手段
１４ 視差計測手段
１４Ａ 視差計測手段
１５ ３次元座標位置生成手段
１６ 視差推定手段
１７ 切出位置算出手段
３０ 基準画像
３１ 参照画像
３５ａ，３６ａ，３７ａ 基準ブロック画像
３５ｂ，３６ｂ，３７ｂ 参照ブロック画像
４０ 基準視差画像
４１ 参照視差画像
４５ｃ，４６ｃ 基準視差ブロック画像
４５ｄ，４６ｄ 参照視差ブロック画像
６０ ３次元座標位置

Claims (9)

1. 異なる位置から撮影した被写体の画像である基準画像と参照画像とを入力として前記被写体の奥行き情報を生成する３次元形状取得装置であって、
   入力される前記基準画像および前記参照画像から視差計測に用いる所定の大きさの画像であるブロック画像を、それぞれ基準ブロック画像および参照ブロック画像として予め定めたピクセル数ごとに順次ずらして切り出すブロック画像切出手段と、
   視差計測のための対象領域を抽出するために前記基準ブロック画像における所定の位置の色を基準色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出する対象領域抽出手段と、
   前記基準ブロック画像における前記基準色を、前記対象領域の背景をマスクする色である置換色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記対象領域に含まれない画素の色を前記置換色で置き換える色置換手段と、
   前記色置換手段から入力される前記基準ブロック画像と前記参照ブロック画像とから、位相限定相関法により視差を計測する視差計測手段と、
   前記視差計測手段が計測した前記視差から３次元座標位置を生成する３次元座標位置生成手段と、
   を備えることを特徴とする３次元形状取得装置。
2. 前記対象領域抽出手段は、前記基準ブロック画像の中央画素の色を基準色とする
   ことを特徴とする請求項１に記載の３次元形状取得装置。
3. 前記ブロック画像切出手段は、動画像における連続する複数のフレームの画像から視差計測に用いる所定の大きさの画像であるブロック画像を切り出す
   ことを特徴とする請求項１または請求項２に記載の３次元形状取得装置。
4. 異なる位置から撮影した被写体の画像である基準画像と参照画像とを入力として前記被写体の奥行き情報を生成する３次元形状取得装置であって、
   入力される前記基準画像と前記参照画像とから、一方の画像の各画素に対応するもう一方の画像の画素の平行移動量を表した視差画像である基準視差画像および参照視差画像を生成する視差推定手段と、
   前記基準画像、前記参照画像、前記基準視差画像および前記参照視差画像から視差計測に用いる所定の大きさの画像であるブロック画像を、それぞれ基準ブロック画像、参照ブロック画像、基準視差ブロック画像および参照視差ブロック画像として切り出すブロック画像切出手段と、
   視差計測のための対象領域を抽出するために前記基準視差ブロック画像における所定の色を基準色として特定し、前記基準視差ブロック画像および前記参照視差ブロック画像において前記基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出し、前記基準視差ブロック画像および前記参照視差ブロック画像において抽出される前記対象領域に基づいて、それぞれ前記基準ブロック画像および前記参照ブロック画像において対象領域を抽出する対象領域抽出手段と、
   前記基準ブロック画像における所定の色を、前記対象領域の背景をマスクする色である置換色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記対象領域に含まれない画素の色を前記置換色で置き換える色置換手段と、
   前記色置換手段から入力される前記基準ブロック画像と前記参照ブロック画像とから、位相限定相関法により視差を計測する視差計測手段と、
   前記視差計測手段が計測した前記視差から３次元座標位置を生成する３次元座標位置生成手段と、
   を備えることを特徴とする３次元形状取得装置。
5. 前記ブロック画像切出手段は、基準ブロック画像の位置に前記基準視差ブロック画像の中央画素の値を加算して、前記参照ブロック画像および前記参照視差ブロック画像の切出位置を算出する切出位置算出手段を備え、
   前記視差計測手段は、前記色置換手段から入力される前記基準ブロック画像と前記参照ブロック画像とから位相限定相関法により視差を計測し、計測した視差に、前記参照ブロック画像および前記参照視差ブロック画像の切出位置を算出する際に用いた前記基準視差ブロック画像の中央画素の値を加算する
   ことを特徴とする請求項４に記載の３次元形状取得装置。
6. 前記対象領域抽出手段は、前記基準視差ブロック画像の中央画素の色を基準色とする
   ことを特徴とする請求項４または請求項５に記載の３次元形状取得装置。
7. 前記視差推定手段は、動画像における連続する複数のフレームの画像から前記基準視差画像および前記参照視差画像を生成し、
   前記ブロック画像切出手段は、動画像における連続する複数のフレームの画像から視差計測に用いる所定の大きさの画像であるブロック画像を切り出す
   ことを特徴とする請求項４から請求項６のいずれか一項に記載の３次元形状取得装置。
8. 異なる位置から撮影した被写体の画像である基準画像と参照画像とを入力として前記被写体の奥行き情報を生成する３次元形状取得装置を制御するために、前記３次元形状取得装置のコンピュータを、
   入力される前記基準画像および前記参照画像から視差計測に用いる所定の大きさの画像であるブロック画像を、それぞれ基準ブロック画像および参照ブロック画像として予め定めたピクセル数ごとに順次ずらして切り出すブロック画像切出手段、
   視差計測のための対象領域を抽出するために前記基準ブロック画像における所定の位置の色を基準色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出する対象領域抽出手段、
   前記基準ブロック画像における前記基準色を、前記対象領域の背景をマスクする色である置換色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記対象領域に含まれない画素の色を前記置換色で置き換える色置換手段、
   前記色置換手段から入力される前記基準ブロック画像と前記参照ブロック画像とから、位相限定相関法により視差を計測する視差計測手段、
   前記視差計測手段が計測した前記視差から３次元座標位置を生成する３次元座標位置生成手段、
   として機能させるための３次元形状取得プログラム。
9. 異なる位置から撮影した被写体の画像である基準画像と参照画像とを入力として前記被写体の奥行き情報を生成する３次元形状取得装置を制御するために、前記３次元形状取得装置のコンピュータを、
   入力される前記基準画像と前記参照画像とから、一方の画像の各画素に対応するもう一方の画像の画素の平行移動量を表した視差画像である基準視差画像および参照視差画像を生成する視差推定手段、
   前記基準画像、前記参照画像、前記基準視差画像および前記参照視差画像から視差計測に用いる所定の大きさの画像であるブロック画像を、それぞれ基準ブロック画像、参照ブロック画像、基準視差ブロック画像および参照視差ブロック画像として切り出すブロック画像切出手段、
   視差計測のための対象領域を抽出するために前記基準視差ブロック画像における所定の色を基準色として特定し、前記基準視差ブロック画像および前記参照視差ブロック画像において前記基準色に所定の範囲内で類似する色を持つ画素を対象領域として抽出し、前記基準視差ブロック画像および前記参照視差ブロック画像において抽出される前記対象領域に基づいて、それぞれ前記基準ブロック画像および前記参照ブロック画像において対象領域を抽出する対象領域抽出手段、
   前記基準ブロック画像における所定の色を、前記対象領域の背景をマスクする色である置換色として特定し、前記基準ブロック画像および前記参照ブロック画像において、前記対象領域に含まれない画素の色を前記置換色で置き換える色置換手段、
   前記色置換手段から入力される前記基準ブロック画像と前記参照ブロック画像とから、位相限定相関法により視差を計測する視差計測手段、
   前記視差計測手段が計測した前記視差から３次元座標位置を生成する３次元座標位置生成手段、
   として機能させるための３次元形状取得プログラム。