JP4136652B2 - 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び電子機器 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び電子機器に関する。
【０００２】
【従来の技術】
現在、デジタルカメラの普及は急速に進んでおり、デジタルカメラを利用したアプリケーションの開発も盛んである。この例としては「画像のパノラマ合成」「画像の歪補正」「三次元形状の算出」「ロボットの自律移動」「車両の自動運転」等が挙げられる。この中でも「三次元形状の算出」は、電子商取引のために商品の三次元情報を提供したいというようなニーズが存在することから、その進展が期待されている。
【０００３】
【特許文献１】
特開平１１−１３６５７５号公報
【０００４】
【特許文献２】
特開平１１−３０６３６３号公報
【０００５】
【特許文献３】
特開２０００−１１５６３９号公報
【０００６】
【特許文献４】
特開２０００−１３４５３７号公報
【０００７】
【特許文献５】
特開２０００−２２８７４８号公報
【０００８】
【特許文献６】
特開２００１−９２９４４号公報
【０００９】
【特許文献７】
特開２００１−１４８０２５号公報
【００１０】
【特許文献８】
特開２００１−３２５０６９号公報
【００１１】
【非特許文献１】
Ｑ．−Ｔ．Ｌｕｏｎｇ，Ｏ．Ｄ．Ｆａｕｇｅｒａｓ「Ｄｅｔｅｒｍｉｎｉｎｇ ｔｈｅ Ｆｕｎｄａｍｅｎｔａｌ Ｍａｔｒｉｘ ｗｉｔｈ Ｐｌａｎｅｓ：Ｉｎｓｔａｂｉｌｉｔｙ ａｎｄ Ｎｅｗ Ａｌｇｏｒｉｔｈｍｓ」Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐ４８９−４９４，１９９３
【００１２】
【非特許文献２】
芋生周作，浪江宏宗，安田明生著「ＲＴＫ−ＧＰＳによる船体の三次元姿勢測定：３−Ｄｉｍｅｎｓｉｏｎａｌ Ａｔｉｔｕｄｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ａ Ｓｈｉｐ ｂｙ ＲＴＫ−ＧＰＳ Ｐｏｓｉｔｉｏｎｉｎｇ」東京商船大学
【００１３】
【非特許文献３】
浪江宏宗著「ＤＧＰＳ及びＲＴＫ−ＧＰＳの実用化に関する研究」東京商船大学
【００１４】
【非特許文献４】
徐剛，辻三郎著「三次元ビジョン」共立出版，第３章
【００１５】
【非特許文献５】
岡谷貴之，出口光一郎著「３次元向きセンサを取り付けたカメラを用いた投票によるカメラの並進運動の推定」ヒューマンインタフェース コンピュータビジョンとイメージメディア，２００１／９／１３
【００１６】
【非特許文献６】
Ｒｉｃｈａｒｄ Ｉ．Ｈａｒｔｌｅｙ，Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＡｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，ｖｏｌ．６８，Ｎｏ．２，Ｎｏｖｅｍｂｅｒ，ｐｐ１４６−１５７，１９９７
【００１７】
【非特許文献７】
森尻智昭，小野寺康浩，金谷健一著「２画像からの平面の３次元運動の計算」情報処理学会研究報告，９４−ＣＶ−９０，１９９４
【００１８】
【非特許文献８】
徐剛，辻三郎著「三次元ビジョン」共立出版，第６章
【００１９】
【非特許文献９】
金谷健一著「画像理解」司巧社，第４章
【００２０】
【発明が解決しようとする課題】
デジタルカメラ等の撮像装置により撮像された画像を使用して被写体の三次元形状を算出するためには、一般的に「Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ」という手法が使用される。しかし、この手法では、被写体形状が平面形状に近いと遠近差が小さいため算出精度が低下する（非特許文献１）という。そのため、この手法では、被写体形状が紙や平板のような平面形状である場合には、被写体の三次元形状を精度よく算出することができないという問題がある。
【００２１】
被写体形状が平面形状である場合には、特許文献７に記載されているように、射影変換行列を算出して被写体の三次元形状を算出することができる。しかし、この手法では逆に、被写体形状が立体形状である場合には、被写体の三次元形状を精度よく算出することができないという問題がある。
【００２２】
したがって、本発明は、被写体形状が平面形状である場合にも立体形状である場合にも、被写体の三次元形状を精度よく算出することを課題とする。
【００２３】
【課題を解決するための手段】
本発明の画像処理装置は、撮像装置により撮像された画像について画像処理を実行して三次元形状を算出する画像処理装置であって、2 箇所の視点から撮像された画像上の４点以上の対応点の位置情報から射影変換行列を算出する変換行列算出手段と、前記射影変換行列算出手段により算出された射影変換行列により前記画像の被写体の形状判定に用いる値を抽出する奥行抽出手段と、前記形状判定に用いる値から前記画像の被写体が平面形状であるか立体形状であるかを判定する形状判定手段を備え、前記奥行抽出手段は、互いに異なる組合せの対応点から算出された２つの射影変換行列の差をもって前記形状判定に用いる値とし、平面形状である場合は、前記画像について平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、前記画像について立体形状用の画像処理を実行して三次元形状を算出することを特徴とする。
【００３４】
本発明の画像処理装置又は画像形成方法は、前記画像の被写体が平面形状であるか立体形状であるかを判定して、平面形状である場合は、前記画像について平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、前記画像について立体形状用の画像処理を実行して三次元形状を算出するため、被写体形状が平面形状である場合にも立体形状である場合にも、被写体形状の判定のおかげで、被写体の三次元形状を精度よく算出することができる。
【００３５】
本発明の他の局面における発明の画像処理装置又は画像形成方法は、前記画像の被写体の形状判定に用いる値を抽出して、前記形状判定に用いる値から前記画像の被写体が平面形状であるか立体形状であるかを判定して、平面形状である場合は、前記画像について平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、立体形状用の画像処理を実行して三次元形状を算出するため、被写体形状が平面形状である場合にも立体形状である場合にも、形状判定に用いる値の抽出を介した被写体形状の判定のおかげで、被写体の三次元形状を精度よく算出することができる。
【００３６】
本発明の他の局面における発明の画像処理装置又は画像形成方法は、前記画像の被写体の三次元形状を概算して、前記三次元形状から前記画像の被写体の形状判定に用いる値を抽出して、前記形状判定に用いる値から前記画像の被写体が平面形状であるか立体形状であるかを判定して、平面形状である場合は、前記画像について平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、前記画像について立体形状用の画像処理を実行して三次元形状を算出するため、被写体形状が平面形状である場合にも立体形状である場合にも、被写体の三次元形状の概算を介した被写体の形状判定に用いる値の抽出を介した被写体形状の判定のおかげで、被写体の三次元形状を精度よく算出することができる。
【００３７】
【発明の実施の形態】
本発明の実施の形態について説明する。
【００３８】
図１は、撮像装置１０１と画像処理装置１０２を表す。撮像装置１０１は、画像を撮像する装置であり、画像処理装置１０２は、その画像について画像処理を実行して三次元形状を算出する装置である。撮像装置１０１は、ここではデジタルカメラであり、画像処理装置１０２は、ここではパソコンであるとする。両者の間での画像の授受は、両者をコードで接続するなどして実行する。
【００３９】
図２は、撮像装置１０１のハードウェア構成を表す。被写体の画像は、固定レンズ２０１・ズームレンズ２０２・絞り機構２０３・シャッタ２０４・フォーカスレンズ２０５を通して、撮像素子２０６に形成される。撮像素子２０６からの画像信号は、ＣＤＳ回路２０７（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）でサンプリングされて、Ａ／Ｄ変換器２０８でデジタル信号化される。この際のタイミングは、ＴＧ２１１（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）により生成される。撮像素子２０６からの画像信号はその後、ＩＰＰ２０９（Ｉｍａｇｅ Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）でアパーチャ補正や圧縮等の画像処理が実行されて、画像バッファメモリ２１０で一時的に保存される。各ユニットの動作は、ＭＰＵ２１２により制御される。画像バッファメモリ２１０で保存された画像信号は、最終的に外部通信機器２２１により外部機器に転送される。
【００４０】
図３は、画像処理装置１０２のハードウェア構成を表す。ＣＰＵ３０１は、各種の処理や制御を実行する。ＳＤＲＡＭ３０２は、ＣＰＵ３０１の作業領域として利用されると共に、各種の処理プログラムや制御プログラムの固定情報の記録領域として利用される。外部Ｉ／Ｆ３２１は、インターネット等の電気通信回線や外部機器と接続するためのインタフェースであり、表示Ｉ／Ｆ３２２は、ディスプレイ等の表示装置と接続するためのインタフェースであり、入力Ｉ／Ｆ３２３は、キーボードやマウス等の入力装置と接続するためのインターフェースである。撮像装置１０１からの画像信号や、各種の処理プログラムや制御プログラムは、ＣＤ−ＲＷドライブ等の記録装置３１１や外部Ｉ／Ｆ３２１を介してＳＤＲＡＭ２０２にロードされる。この際、ＨＤＤ３１２に一旦セーブしてＳＤＲＡＭ３０２に適宜ロードしてもよい。
【００４１】
図４は、画像処理装置１０２の機能ブロックを表す。画像処理装置１０２は、形状判定部４０１と、第１処理部４０２と、第２処理部４０３と、記録部４０４を備える。これらの機能ブロックにより画像処理装置１０２は、撮像装置１０１により撮像された画像について画像処理を実行して三次元形状を算出する。
【００４２】
形状判定部４０１は、この画像の被写体が平面形状であるか立体形状であるかを自動的に判定する。例えば、この画像の被写体の奥行を抽出して、この奥行からこの画像の被写体が平面形状であるか立体形状であるかを自動的に判定する。これについては第１実施例として後述する。例えば、この画像の被写体の三次元形状を概算して、この三次元形状からこの画像の被写体の奥行を抽出して、この奥行からこの画像の被写体が平面形状であるか立体形状であるかを自動的に判定する。これについては第２実施例として後述する。
【００４３】
第１処理部４０２は、形状判定部４０１によりこの画像の被写体が平面形状であると判定された場合に、この画像について平面形状用の画像処理を実行して三次元形状を算出する。この詳細については後述することにする。第２処理部４０３は、形状判定部４０１によりこの画像の被写体が立体形状であると判定された場合に、この画像について立体形状用の画像処理を実行して三次元形状を算出する。この詳細については後述することにする。記録部４０４は、画像や判定結果や算出結果等を記録する。
【００４４】
このように、画像処理装置１０２は、上記の画像の被写体が平面形状であるか立体形状であるかを自動的に判定して、平面形状である場合は、上記の画像について平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、上記の画像について立体形状用の画像処理を実行して三次元形状を算出するため、被写体形状が平面形状である場合にも立体形状である場合にも、被写体形状の判定のおかげで、被写体の三次元形状を精度よく算出することができる。
【００４５】
（１）第１実施例
図５は、第１実施例の画像処理装置１０２の機能ブロックを表す。第１実施例の画像形成装置１０２は、図４の形状判定部４０１を奥行抽出部５０１と形状判定部５０２により構成したものである。これらの機能ブロックにより第１実施例の画像処理装置１０２は、撮像装置１０１により撮像された画像について画像処理を実行して三次元形状を算出する。
【００４６】
奥行抽出部５０１は、この画像の被写体の奥行を自動的に抽出して、形状判定部５０２は、この奥行からこの画像の被写体が平面形状であるか立体形状であるかを自動的に判定する。ここでは、２箇所以上の視点から撮像された画像の射影変換により「被写体奥行」を抽出して、抽出された被写体奥行の閾値処理により「被写体形状」を判定するものとする。
【００４７】
なお、この「被写体奥行」とは、図６のように、被写体を正面方向（被写体の概形を直方体で置き換えたときの最大面）から見たときの被写体の厚みのことを意味する。被写体奥行が小さいことは被写体形状が平面形状であることを、被写体奥行が大きいことは被写体形状が立体形状であることを意味する。
【００４８】
さて、射影変換行列は、２箇所の視点から撮像された画像上の４点以上の対応点の位置情報から算出することができる。ただし、被写体形状が平面形状であることが射影変換を行う上での前提となるため、被写体形状が立体形状である場合には射影変換を行うことができず、射影変換行列を精度よく算出することができない。別の見方をすると、互いに異なる組み合わせの対応点から射影変換行列Ｂ１と射影変換行列Ｂ２を算出した場合、被写体形状が平面形状から離れるほどＢ１とＢ２の差が広がることになる。すなわち、Ｂ１とＢ２の差をもって被写体奥行とすることができる。よってここでは、奥行抽出部５０１は、２箇所以上の視点から撮像された画像の射影変換により被写体奥行（Ｂ１とＢ２の差）を抽出して、形状判定部５０２は、抽出された被写体奥行（Ｂ１とＢ２の差）の閾値処理により被写体形状を判定するものとする。
【００４９】
なお、この「２箇所以上の視点から撮像された画像」は、同一の撮像装置１０１により撮像された画像同士でも、別個の撮像装置１０１により撮像された画像同士でもよい。
【００５０】
図７は、第１実施例の画像処理装置１０２に係るフローチャートである。
【００５１】
Ｓ７０１では、２箇所以上の視点から撮像された画像をメモリに記録する。
【００５２】
Ｓ７０２では、１枚目の画像から特徴点を検出する。具体的には、▲１▼各画素を中心位置にして特徴点検出ブロックを作成し、各特徴点検出ブロック内の輝度値分布（又はＲＧＢ値分布）を検出して、▲２▼画像を領域分割し、各領域内で輝度値分布の差が顕著である特徴点検出ブロックを検出して、▲３▼この特徴点検出ブロックの中心位置（特徴点）の位置情報と輝度値分布をメモリに記録する。
【００５３】
Ｓ７０３では、２枚目の画像から特徴点の対応点を検出する。具体的には、▲１▼各画素を中心位置にして対応点検出ブロックを作成し、各対応点検出ブロック内の輝度値分布を検出して、▲２▼この輝度値分布と各特徴点の輝度値分布（Ｓ７０２でメモリに記録した輝度値分布）とのマッチング行い、▲３▼一致度が最良である対応点検出ブロックの中心位置（対応点）の位置情報をメモリに記録する。一致度が閾値より良い対応点検出ブロックが存在しない場合には、その特徴点をメモリから消去する。
【００５４】
Ｓ７０４では、各対応点の正否を判断する。具体的には、▲１▼各特徴点から縦横５ピクセルの画素を中心位置にして特徴点検出ブロックを作成して、▲２▼各対応点から縦横５ピクセルの画素を中心位置にして対応点検出ブロックを作成して、▲３▼この特徴点検出ブロックとこの対応点検出ブロックとのマッチングを行い、▲４▼一致度が閾値より悪い場合には、間違えて検出されたものと判断し、その対応点をメモリから消去する。一致度に応じて対応点の順位付けをして、メモリに記録しておいてもよい。
【００５５】
Ｓ７０５では、任意に選択した４点以上の対応点の位置情報から射影変換行列Ｂ１を算出する。Ｓ７０６では、任意に選択した４点以上の対応点の位置情報から射影変換行列Ｂ２を算出する。Ｓ７０７では、Ｂ１とＢ２の差の閾値処理を行う。なお、Ｓ７０５で選択する対応点とＳ７０６で選択する対応点を別個のものとするために、Ｓ７０５とＳ７０６との間で、Ｓ７０５で選択された対応点をメモリから消去する。
【００５６】
Ｂ１とＢ２の差が閾値以下である場合には、Ｓ７０８にて、上記の画像について平面形状用の画像処理を実行して三次元形状を算出する。Ｂ１とＢ２の差が閾値以下でない場合には、Ｓ７０９にて、上記の画像について平面形状用の画像処理を実行して三次元形状を算出する。いずれの場合もＳ７１０にて、三次元形状の算出結果をメモリに記録する。
【００５７】
（２）第２実施例
図８は、第２実施例の画像処理装置１０２の機能ブロックを表す。第２実施例の画像形成装置１０２は、図４の形状判定部４０１を三次元形状概算部８０１と奥行抽出部８０２と形状判定部８０３により構成したものである。これらの機能ブロックにより第１実施例の画像処理装置１０２は、撮像装置１０１により撮像された画像について画像処理を実行して三次元形状を算出する。
【００５８】
三次元形状概算部８０１は、この画像の被写体の大まかな三次元形状を自動的に概算して、奥行抽出部８０２は、この三次元形状からこの画像の被写体の奥行を自動的に抽出して、形状判定部８０３は、この奥行からこの画像の被写体が平面形状であるか立体形状であるかを自動的に判定する。ここでは、後述する手法により「被写体の三次元形状」を概算して、概算された被写体の三次元形状の点群データにより「被写体奥行」を抽出して、抽出された被写体奥行の閾値処理により「被写体形状」を判定するものとする。
【００５９】
被写体の大まかな三次元形状を概算する手法としては、▲１▼因子分解法を使用して概算する手法、▲２▼対応点からオプティカルフローを算出して概算する手法、▲３▼被写体の輪郭を抽出して概算する手法、▲４▼被写体にパタン光を照射して三角測定により概算する手法、▲５▼被写体からの反射光の強度比を測定して概算する手法、▲６▼焦点距離の違いによる画像ボケを利用して概算する手法等が挙げられる。よってここでは、三次元形状概算部８０１は、いずれかの手法により被写体の三次元形状を概算するものとする。
【００６０】
なお、手法▲４▼や手法▲５▼により被写体の三次元形状を概算する場合には、被写体に光を照射するための光照射装置を撮像装置１０１に設置してもよい。
【００６１】
以下の例のように、概算された被写体の三次元形状を利用すれば、被写体奥行を抽出することができる。まず、概算された被写体の三次元形状から、この三次元形状を構成する点群データを抽出する。次に、５点以上の点群データを平面方程式「ａｘ＋ｂｙ＋ｃｚ＝ｄ」に代入して、４個の定数「ａ，ｂ，ｃ，ｄ」を算出する。５点以上の点群データを代入して４個の定数を算出するため、定数解が一意に決定されず分布を持つ。そこで、最小二乗法を使用して、各点群データと平面方程式との距離の二乗和が最小になるようにして、定数解を決定することにする。ここで、被写体形状が平面形状であれば、点群データは平面をなすのであるから、この最小二乗和は小さい値になるはずであるが、被写体形状が立体形状であれば、点群データは平面をなさないのであるから、この最小二乗和は大きい値になるはずである。すなわち、この最小二乗和をもって被写体奥行とすることができる。よってここでは、奥行抽出部８０２は、概算された被写体の三次元形状の点群データにより被写体奥行（各点群データと平面方程式との距離の二乗和の最小値）を抽出するものとする。
【００６２】
以下の例のように、抽出された被写体奥行を利用すれば、被写体形状を判定することができる。抽出された被写体奥行Ｄの一定閾値Ｊによる閾値処理により、被写体形状を判定することは可能である。しかし、厳密に言えば、被写体奥行が小さくても被写体サイズも小さければ、被写体形状が立体形状である場合もあるし、被写体奥行が大きくても被写体サイズも大きければ、被写体形状が平面形状である場合もある。よってここでは、形状判断部８０３は、抽出された被写体奥行Ｄと被写体サイズＳとの商Ｄ／Ｓの一定閾値Ｊによる閾値処理により、被写体形状を判定するものとする。
【００６３】
なお、被写体サイズは、概算された三次元形状を利用して算出するようにしてもよい。例えば、この三次元形状を構成する点群データのうちで最も離れたもの同士の距離を算出して、この距離をもって被写体サイズとする。また、手法▲３▼のように被写体の輪郭を抽出する場合は、被写体サイズは、この輪郭線を利用して算出するようにしてもよい。
【００６４】
図９は、第２実施例の画像処理装置１０２に係るフローチャートである。
【００６５】
Ｓ９０１では、撮像された画像をメモリに記録する。
【００６６】
Ｓ９０２では、被写体の三次元形状を概算する。Ｓ９０３では、被写体奥行を抽出する。Ｓ９０４では、被写体形状を判定する。ここでは、上述した手法により被写体の三次元形状を概算して、概算された被写体の三次元形状の点群データにより被写体奥行Ｄ（各点群データと平面方程式との距離の二乗和の最小値）を抽出して、抽出された被写体奥行Ｄと被写体サイズＳとの商Ｄ／Ｓの一定閾値Ｊによる閾値処理により被写体形状を判定する。
【００６７】
Ｄ／ＳがＪ以下である場合（平面形状である場合）には、Ｓ９０５にて、上記の画像について平面形状用の画像処理を実行して三次元形状を算出する。Ｄ／ＳがＪ以下でない場合（立体形状である場合）には、Ｓ９０６にて、上記の画像について平面形状用の画像処理を実行して三次元形状を算出する。いずれの場合もＳ９０７にて、三次元形状の算出結果をメモリに記録する。
【００６８】
（３）第３実施例
図１０は、第３実施例の撮像装置１０１のハードウェア構成を表す。第３実施例の撮像装置１０１は、図２の構成要素に加えて、当該撮像装置１０１の姿勢を算出するための物理量（ここでは重力加速度と地磁気）を検出する検出装置１００１を備える。図２により説明したように、画像バッファメモリ２１０で保存された画像信号は、最終的に外部通信機器２２１により外部機器に転送されるが、ここでは、画像バッファメモリ２１０で保存された画像信号は、その前にＭＰＵ２１２内の記憶部２１５に記憶される。
【００６９】
以上のような「撮像動作」は電源スイッチ２１３がＯＮの状態で撮像スイッチ２１４が押されると開始されるのであるが、これと同時に、以下のような「検出動作」も開始される。すなわち、重力加速度と地磁気（詳細にはこれらのＸ成分とＹ成分とＺ成分）が、三軸加速度センサ１００２と三軸磁気センサ１００３でそれぞれ電圧信号として検出されて、Ａ／Ｄ変換器１００４でデジタル信号化されて、ＭＰＵ２１２内の記憶部２１５に画像信号に添付されて記憶される。重力加速度信号と地磁気信号が添付された画像信号は、最終的に外部通信機器２２１により外部機器に転送される。
【００７０】
なお、三軸磁気センサ１００３に代えて「三軸角速度センサ」を使用してもよい。また、三軸磁気センサ１００３と共に「三軸角速度センサ」を使用してもよい。その他にも、三軸重力センサと三軸磁気センサ１００３に代えて「水平センサ」を使用してもよい。検出装置１００１に使用するセンサは、撮像装置１０１の姿勢を算出するための物理量（ここでは重力加速度と地磁気）を検出することができれば、どのようなセンサでも構わない。例えば、撮像装置１０１が巨大である場合には「ＧＰＳセンサ」を使用する（研究例は非特許文献２や非特許文献３）ことも考えられる。
【００７１】
図１１は、第３実施例の画像処理装置１０２の機能ブロックを表す。第３実施例の画像形成装置１０２は、図８の三次元形状概算部８０１を対応点検出部１１０１と姿勢算出部１１０２と並進成分算出部１１０３と三次元形状概算部１１０４により構成したものである。これらの機能ブロックにより第３実施例の画像処理装置１０２は、撮像装置１０１により撮像された画像について画像処理を実行して三次元形状を算出する。
【００７２】
対応点検出部１１０１は、撮像装置１０１により撮像された画像から対応点を検出する。画像から対応点を検出する手法としては、ブロックマッチング（理論的詳細は非特許文献４）が挙げられる。ブロックマッチングでは、２箇所以上の視点から撮像された画像を使用して、輝度値分布やＲＧＢ値分布により、１枚目の画像から特徴点を検出して、輝度値分布やＲＧＢ値分布のマッチング（相互相関の最大化）により、２枚目の画像から特徴点の対応点を検出する。
【００７３】
姿勢算出部１１０２は、検出装置１００１により検出された物理量（ここでは重力加速度と地磁気）から撮像装置１０１の姿勢を算出する。撮像装置１０１の姿勢は、ワールド座標系（図１２のＸＹＺ座標系：地面に固定された座標系）に対する撮像装置座標系（図１３のｘｙｚ座標系：撮像装置１０１に固定された座標系）の向きにより表現される。ワールド座標系に対する撮像装置座標系の向きは、式（１）のような、ワールド座標系を回転して撮像装置座標系にするための回転行列Ｒにより表現される。Ｒは、▲１▼Ｚ軸回りに角度γだけ回転して、▲２▼Ｘ軸回りに角度αだけ回転して、▲３▼Ｙ軸回りに角度βだけ回転することを意味する。
【００７４】
【数１】

さて、ここでは計算の便宜上、地磁気の伏角は無視することにする。これにより、ワールド座標系における重力加速度ｇと地磁気ｍは、式（２）のように表現できる。また、撮像装置座標系における重力加速度Ｇと地磁気Ｍは、式（３）のように表現される。
【００７５】
【数２】

【００７６】
【数３】

ここで、ｇとＧとの間には式（４）のような関係式が成立して、ｍとＭとの間には式（５）のような関係式が成立する。
【００７７】
【数４】

【００７８】
【数５】

式（４）からは、角度αが式（６）のように導出されて、角度γが式（７）のように導出される。式（５）からは、角度βが式（８）のように導出される。
【００７９】
【数６】

【００８０】
【数７】

【００８１】
【数８】

ここで、重力加速度以外の加速度（慣性力加速度）や地磁気以外の磁気は無視できるとすると、三軸加速度センサ１００２で検出される加速度は重力加速度Ｇとなり、三軸磁気センサ１００３で検出される磁気は地磁気Ｍとなる。よって、姿勢算出部１１０２は、検出装置１００１により検出された重力加速度Ｇと地磁気Ｍを、式（６）と式（７）と式（８）に代入して、角度αと角度βと角度γを算出する。こうして、撮像装置１０１の姿勢が算出されたことになる。
【００８２】
並進成分算出部１１０３は、上記の対応点と上記の姿勢から撮像装置１０１の並進成分を算出する。ここで、この「並進成分」とは、図１４のように、対応点検出の際に使用された画像に関して、１枚目の画像を撮像した際の光学中心から２枚目の画像を撮像した際の光学中心までのベクトル成分ｂのことを意味する。
【００８３】
さて、図１４中のオブジェクトに関して対応点検出が実行されたとする場合、１枚目の画像と２枚目の画像を撮像した際の光学中心からオブジェクトまでのベクトル成分をそれぞれＰとＰ’とすると、ＰとＰ’とｂとは同一平面上にあるため、ＰとＰ’とｂとのスカラ３重積（平行六面体の体積にあたる）は０になる。正確には、ＰとＰ’との座標系が異なるため、１枚目の画像を撮像した際から２枚目の画像を撮像した際までの撮像装置１０１の姿勢の変化ＲをＰ’に掛けて、ＰとＲＰ’とｂとのスカラ３重積「Ｐ・ＲＰ’×ｂ」が０になる。よって、並進成分算出部１１０３は、上記の対応点と上記の姿勢を、このスカラ３重積の式に代入して、撮像装置１０１の並進成分を算出する。
【００８４】
なお、必要となるのは並進成分の向きであるから、算出すべき変数は最低２個であり、必要となる対応点は最低２点である。そのため、３点以上の対応点検出を実行した場合には、相互相関の高い対応点のみを使用してもいいし、最小二乗法を使用してもいいし、多数の並進成分を導出して並進成分群を投票空間に投影して最適な並進成分を算出（研究例は非特許文献５）してもいい。
【００８５】
三次元形状概算部１１０４は、上記の対応点と上記の姿勢と上記の並進成分から、撮像装置１０１により撮像された画像の被写体の三次元形状を概算する。対応点と姿勢と並進成分から被写体の三次元形状を概算する手法としては、三角測定原理により概算する手法が代表例として挙げられる。加えて、三角測定の精度向上のための対策（研究例は非特許文献６）を実行してもいい。
【００８６】
このように、第３実施例の画像処理装置１０２は、検出装置１００１により検出された物理量（ここでは重力加速度と地磁気）から算出される撮像装置１０１の姿勢に基づいて、上記の画像の被写体の三次元形状を概算する。
【００８７】
図１５は、第３実施例の画像処理装置１０２に係るフローチャートである。
【００８８】
Ｓ１５０１では、２箇所以上の視点から撮像された画像と共に、これらの画像を撮像した際に検出された重力加速度と地磁気をメモリに記録する。
【００８９】
Ｓ１５０２では、１枚目の画像から特徴点を検出する。具体的には、▲１▼各画素を中心位置にして特徴点検出ブロックを作成し、各特徴点検出ブロック内の輝度値分布（又はＲＧＢ値分布）を検出して、▲２▼画像を領域分割し、各領域内で輝度値分布の差が顕著である特徴点検出ブロックを検出して、▲３▼この特徴点検出ブロックの中心位置（特徴点）の位置情報と輝度値分布をメモリに記録する。
【００９０】
Ｓ１５０３では、２枚目の画像から特徴点の対応点を検出する。具体的には、▲１▼各画素を中心位置にして対応点検出ブロックを作成し、各対応点検出ブロック内の輝度値分布を検出して、▲２▼この輝度値分布と各特徴点の輝度値分布（Ｓ１５０２でメモリに記録した輝度値分布）とのマッチング行い、▲３▼一致度が最良である対応点検出ブロックの中心位置（対応点）の位置情報をメモリに記録する。一致度が閾値より良い対応点検出ブロックが存在しない場合には、その特徴点をメモリから消去する。
【００９１】
Ｓ１５０４では、各対応点の正否を判断する。具体的には、▲１▼各特徴点から縦横５ピクセルの画素を中心位置にして特徴点検出ブロックを作成して、▲２▼各対応点から縦横５ピクセルの画素を中心位置にして対応点検出ブロックを作成して、▲３▼この特徴点検出ブロックとこの対応点検出ブロックとのマッチングを行い、▲４▼一致度が閾値より悪い場合には、間違えて検出されたものと判断し、その対応点をメモリから消去する。一致度に応じて対応点の順位付けをして、メモリに記録しておいてもよい。
【００９２】
Ｓ１５０５では、１枚目の画像を撮像した際に検出された重力加速度と地磁気から、１枚目の画像を撮像した際の撮像装置１０１の姿勢を算出して、２枚目の画像を撮像した際に検出された重力加速度と地磁気から、２枚目の画像を撮像した際の撮像装置１０１の姿勢を算出する。
【００９３】
Ｓ１５０６では、上記の画像と上記の姿勢から、１枚目の画像を撮像した際から２枚目の画像を撮像した際までの撮像装置１０１の並進成分を算出する。
【００９４】
Ｓ１５０７では、上記の画像と上記の姿勢と上記の並進成分から、撮像装置１０１により撮像された画像の被写体の三次元形状を概算する。Ｓ１５０８では、被写体奥行を抽出する。Ｓ１５０９では、被写体形状を判定する。ここでは、三角測定原理により被写体の三次元形状を概算して、概算された被写体の三次元形状の点群データにより被写体奥行Ｄ（各点群データと平面方程式との距離の二乗和の最小値）を抽出して、抽出された被写体奥行Ｄと被写体サイズＳとの商Ｄ／Ｓの一定閾値Ｊによる閾値処理により被写体形状を判定する。
【００９５】
Ｄ／ＳがＪ以下である場合（平面形状である場合）には、Ｓ１５１０にて、上記の画像について平面形状用の画像処理を実行して三次元形状を算出する。Ｄ／ＳがＪ以下でない場合（立体形状である場合）には、Ｓ１５１１にて、上記の画像について平面形状用の画像処理を実行して三次元形状を算出する。いずれの場合もＳ１５１２にて、三次元形状の算出結果をメモリに記録する。
【００９６】
（第１処理部４０２）
上述のように、第１処理部４０２は、上記の画像の被写体が平面形状であると判定された場合に、上記の画像について平面形状用の画像処理（平面形状の三次元形状を算出するのに適した画像処理）を実行して三次元形状を算出する。この具体例としてここでは、２箇所以上の視点から撮像された画像の射影変換により撮像装置１０１の姿勢と並進成分を算出して、これらに基づいて三角測定原理等により三次元形状を算出する場合について説明する。
【００９７】
被写体形状が平面形状である場合には、２箇所以上の視点から撮像された画像から射影変換行列Ｂを算出することにより、撮像装置１０１の姿勢と並進成分を算出することができる。１枚目の画像の特徴点の位置を（ｕ，ｖ）として、２枚目の画像の対応点の位置を（Ｕ，Ｖ）とすると、射影変換は式（９）のように表現される。式（９）の未知数ｂ１からｂ８を式（１０）のようにまとめたものが射影変換行列Ｂである。
【００９８】
【数９】

【００９９】
【数１０】

この射影変換行列Ｂは、２箇所以上の視点から撮像された画像の４点以上の対応点の位置情報から算出することができる。５点以上の対応点検出を実行した場合には、相互相関の高い対応点のみを使用してもいいし、最小二乗法を使用してもいい。
【０１００】
この射影変換行列Ｂは、撮像装置座標系で表現されているので、式（１１）のような撮像装置内部行列Ａによる変換式（１２）を使用して、撮像装置座標系で表現された射影変換行列Ｂをワールド座標系で表現された射影変換行列Ｈに変換する。ただし、ｚは焦点距離であり、ｕ０とｖ０は画面中心であり、ｋｕとｋｖは画素密度である。
【０１０１】
【数１１】

【０１０２】
【数１２】

この射影変換行列Ｈと姿勢Ｒと並進成分ｂとの間には式（１３）のような関係式（理論的詳細は非特許文献７）が成立する。ただし、ｓはスケール調整ための定数であり、ｎは被写体平面の法線ベクトルである。
【０１０３】
【数１３】

よってここでは、第１処理部４０２は、２箇所以上の視点から撮像された画像から射影変換行列Ｂや射影変換行列Ｈを算出することにより、撮像装置１０１の姿勢Ｒと並進成分ｂを算出して、これらに基づいて三角測定原理等により三次元形状を算出するものとする。
【０１０４】
（第２処理部４０３）
上述のように、第２処理部４０３は、上記の画像の被写体が立体形状であると判定された場合に、上記の画像について立体形状用の画像処理（立体形状の三次元形状を算出するのに適した画像処理）を実行して三次元形状を算出する。この具体例としてここでは、２箇所以上の視点から撮像された画像に関しての８点アルゴリズム（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎの一種。理論的詳細は非特許文献８や非特許文献９）により撮像装置１０１の姿勢と並進成分を算出して、これらに基づいて三角測定原理等により三次元形状を算出する場合について説明する。
【０１０５】
被写体形状が立体形状である場合には、２箇所以上の視点から撮像された画像に関しての８点アルゴリズムにより、撮像装置１０１の姿勢と並進成分を算出することができる。８点アルゴリズムでは、上述したＰとＰ’とｂとの間の関係式「Ｐ・ＲＰ’×ｂ＝０」を使用して、姿勢Ｒと並進成分ｂを、２箇所以上の視点から撮像された画像の８点以上の対応点の位置情報から算出する。
【０１０６】
具体的には、３次行列Ｅ（＝ｂ×Ｒ）を上記の関係式に代入して、３次行列Ｅの各成分を算出する。よって、算出すべき変数は９個であり、必要となる対応点は９点である。しかし、並進成分に関して、必要となるのは並進成分の向きであるから、算出すべき変数は１個少ない最低８個であり、必要となる対応点は１点少ない最低８点である。そのため、９点以上の対応点検出を実行した場合には、相互相関の高い対応点のみを使用してもいいし、最小二乗法を使用してもいい。
【０１０７】
よってここでは、第２処理部４０３は、２箇所以上の視点から撮像された画像から８点アルゴリズムにより３次行列Ｅを算出することにより、撮像装置１０１の姿勢Ｒと並進成分ｂを算出して、これらに基づいて三角測定原理等により三次元形状を算出するものとする。
【０１０８】
（変形例）
第１処理部４０２の変形例としては、▲１▼上記の画像の被写体が平面形状であるか立体形状であるかを再判定して、▲２▼平面形状であると再判断された場合は、上記の画像について平面形状用の画像処理を実行して三次元形状を算出して、▲３▼立体形状であると再判断された場合は、上記の画像について立体形状用の画像処理を実行して三次元形状を算出するようにしてもいい。なお、▲１▼▲２▼▲３▼を実行する機能ブロックを、それぞれ再形状判断部・再第１処理部・再第２処理部と呼ぶ。
【０１０９】
第３実施例に関しては、再形状判定部は、▲１▼撮像装置１０１により撮像された画像から対応点を再検出して、▲２▼この対応点等から被写体の三次元形状を再概算して、▲３▼この三次元形状から被写体奥行を再抽出して、▲４▼この被写体奥行から被写体形状を再判定するようにしてもよい。このようにする理由としては例えば、図１６のように、１平面からしか対応点を検出できなかったために、実際は立体形状であるのに平面形状であると誤判定される場合があることが挙げられる。
【０１１０】
したがって、対応点再検出は、より対応点を検出しやすい手法で実行することが望ましい。このような手法としては、姿勢と並進成分からエピポーラ拘束条件を算出して、エピポーラ線を撮像面に投影して、エピポーラ線上で対応点再検出を実行することで、相互相関の閾値を低下させる手法が挙げられる。エピポーラ拘束条件とは、上述したＰとＰ’とｂとの間の関係式「Ｐ・ＲＰ’×ｂ＝０」に姿勢Ｒと並進成分ｂを代入した関係式である。エピポーラ線とは、この関係式に特徴点（ｕ，ｖ）と焦点距離ｚを代入して算出される、対応点（Ｕ，Ｖ）を変数とする直線方程式「ａＵ＋ｂＹ＋ｃ＝０」である。このエピポーラ線上で対応点再検出を実行するようにすれば、対応点を検出しやすくなる。具体的に言えば、相互相関の閾値を低下させて、より多くの対応点をより誤対応なく検出することができる。
【０１１１】
なお、平面形状であると再判定された場合は、直ちに三次元形状を算出するようにしてもいいし、平面形状であるか立体形状であるかの再判定を何度もループしてもよい。上述した第３実施例に関する具体例で言うと、対応点再検出を何度もループすることになる。このループを終了する手法としては、各対応点再検出で検出された各対応点とエピポーラ線との距離の和を算出しておいて、今回の和Ｌ（ｎ）と前回の和Ｌ（ｎ−１）との差が閾値以下になったら、今回でループを終了するという手法が挙げられる。ループが終了したら、三次元形状を算出するようにする。
【０１１２】
（変形例）
図１の画像処理装置１０２は、本発明に係る「画像処理装置」の実施の形態の例であり、図１の画像処理装置１０２により実行される画像処理方法は、本発明に係る「画像処理方法」の実施の形態の例である。この画像処理方法をコンピュータに実行させる画像処理プログラムは、本発明に係る「画像処理プログラム」の実施の形態の例であり、この画像処理方法をコンピュータに実行させる画像処理プログラムが記録された記録媒体（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、スマートメディア等）は、本発明に係る「記録媒体」の実施の形態の例である。
【０１１３】
図１の撮像装置１０１と画像処理装置１０２は、個別の電子機器ではなく一体の電子機器でもよい。このような電子機器の例としては、カメラ付き携帯電話機や、カメラ付きノート型パソコンや、カメラ付きＰＤＡや、画像処理機能付きのデジタルカメラが挙げられる。
【０１１４】
【発明の効果】
このように、本発明は、被写体形状が平面形状である場合にも立体形状である場合にも、被写体の三次元形状を精度よく算出することを可能にする。
【図面の簡単な説明】
【図１】撮像装置と画像処理装置を表す。
【図２】撮像装置のハードウェア構成を表す。
【図３】画像処理装置のハードウェア構成を表す。
【図４】画像処理装置の機能ブロックを表す。
【図５】第１実施例の画像処理装置の機能ブロックを表す。
【図６】被写体奥行について説明するための図である。
【図７】第１実施例の画像処理装置に係るフローチャートである。
【図８】第２実施例の画像処理装置の機能ブロックを表す。
【図９】第２実施例の画像処理装置に係るフローチャートである。
【図１０】第３実施例の撮像装置のハードウェア構成を表す。
【図１１】第３実施例の画像処理装置の機能ブロックを表す。
【図１２】ワールド座標系を表す。
【図１３】撮像装置座標系を表す。
【図１４】並進成分について説明するための図である。
【図１５】第３実施例の画像処理装置に係るフローチャートである。
【図１６】第１処理部の変形例について説明するための図である。
【符号の説明】
１０１ 撮像装置
１０２ 画像処理装置
４０１ 形状判定部
４０２ 第１処理部
４０３ 第２処理部
４０４ 記録部
５０１ 奥行抽出部
５０２ 形状判定部
８０１ 三次元形状概算部
８０２ 奥行抽出部
８０３ 形状判定部
１００１ 検出装置
１１０１ 対応点検出部
１１０２ 姿勢算出部
１１０３ 並進成分算出部
１１０４ 三次元形状概算部

Claims (9)

1. 撮像装置により撮像された画像について画像処理を実行して三次元形状を算出する画像処理装置であって、
   2 箇所の視点から撮像された画像上の４点以上の対応点の位置情報から射影変換行列を算出する変換行列算出手段と、
   前記射影変換行列算出手段により算出された射影変換行列により前記画像の被写体の形状判定に用いる値を抽出する奥行抽出手段と、
   前記形状判定に用いる値から前記画像の被写体が平面形状であるか立体形状であるかを判定する形状判定手段を備え、
   前記奥行抽出手段は、互いに異なる組合せの対応点から算出された２つの射影変換行列の差をもって前記形状判定に用いる値とし、
   平面形状である場合は、前記画像について平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、前記画像について立体形状用の画像処理を実行して三次元形状を算出することを特徴とする画像処理装置。
2. 撮像装置により撮像された画像について画像処理を実行して三次元形状を算出する画像処理装置であって、
   前記画像の被写体の三次元形状を概算する三次元形状概算手段と、
   前記三次元形状を構成する点群データを抽出し、複数の前記点群データと平面方程式との距離の二乗和の最小値を前記画像の被写体の形状判定に用いる値として抽出する奥行抽出手段と、
   前記形状判定に用いる値から前記画像の被写体が平面形状であるか立体形状であるかを判定する形状判定手段を備え、
   平面形状である場合は、平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、立体形状用の画像処理を実行して三次元形状を算出することを特徴とする画像処理装置。
3. 前記撮像装置は、当該撮像装置の姿勢を算出するための物理量を検出する検出装置を備え、前記三次元形状概算手段は、前記物理量から算出される当該撮像装置の姿勢に基づいて、前記画像の被写体の三次元形状を概算することを特徴とする請求項２に記載の画像処理装置。
4. 撮像装置により撮像された画像について画像処理を実行して三次元形状を算出する画像処理方法であって、
   2 箇所の視点から撮像された画像上の４点以上の対応点の位置情報から射影変換行列を算出する変換行列算出段階と、
   前記射影変換行列算出手段により算出された射影変換行列により前記画像の被写体の形状判定に用いる値を抽出する奥行抽出段階と、
   前記形状判定に用いる値から前記画像の被写体が平面形状であるか立体形状であるかを判定する形状判定段階を備え、
   前記奥行抽出段階は、互いに異なる組合せの対応点から算出された２つの射影変換行列の差をもって前記形状判定に用いる値とし、
   平面形状である場合は、前記画像について平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、前記画像について立体形状用の画像処理を実行して三次元形状を算出することを特徴とする画像処理方法。
5. 撮像装置により撮像された画像について画像処理を実行して三次元形状を算出する画像処理方法であって、
   前記画像の被写体の三次元形状を概算する三次元形状概算段階と、
   前記三次元形状を構成する点群データを抽出し、複数の前記点群データと平面方程式との距離の二乗和の最小値を前記画像の被写体の形状判定に用いる値として抽出する奥行抽出段階と、
   前記形状判定に用いる値から前記画像の被写体が平面形状であるか立体形状であるかを判定する形状判定段階を備え、
   平面形状である場合は、平面形状用の画像処理を実行して三次元形状を算出して、立体形状である場合は、立体形状用の画像処理を実行して三次元形状を算出することを特徴とする画像処理方法。
6. 前記撮像装置は、当該撮像装置の姿勢を算出するための物理量を検出する検出装置を備え、前記三次元形状概算段階は、前記物理量から算出される当該撮像装置の姿勢に基づいて、前記画像の被写体の三次元形状を概算することを特徴とする請求項５に記載の画像処理方法。
7. 請求項４乃至６のいずれか１項に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
8. 請求項４乃至６のいずれか１項に記載の画像処理方法をコンピュータに実行させる画像処理プログラムが記録された記録媒体。
9. 請求項１乃至３のいずれか１項に記載の撮像装置と画像処理装置を備える電子機器。

Images