JP7018566B2

JP7018566B2 - 撮像装置、画像処理方法及びプログラム

Info

Publication number: JP7018566B2
Application number: JP2018075716A
Authority: JP
Inventors: 健夫吾妻; 信彦若井; 一生登; 智佐藤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-04-28
Filing date: 2018-04-10
Publication date: 2022-02-14
Anticipated expiration: 2038-04-10
Also published as: US20180316907A1; JP2018189636A; US10728525B2; CN108801209A

Description

本開示は、撮像装置、画像処理方法及びプログラムに関する。

例えば、特許文献１及び２に開示されるように、魚眼レンズを備えた撮像装置を用いて、目標物を測位する技術が知られている。魚眼レンズを用いた測位では、広い範囲の測距が行えるというメリットがある。一方、魚眼レンズの視野角は概略１８０度ないしそれ以上と広いため、カメラの視野に他のカメラが入る可能性がある。より厳密には、カメラの視野に他のカメラのレンズ中心、もしくは光学中心が入る可能性がある。このレンズ中心ないし光学中心は、ステレオ測距におけるエピ極と呼ばれる点である。着目カメラから見てエピ極を通る線上では、視差が距離よらず一定となり、ステレオ測距が行えない。また、エピ極と完全に一致しない場合であっても、エピ極に近い方向については、距離の変化に対する視差の変化が少なくなり、測距精度が低下する。

２つの撮像装置を備える２眼の魚眼カメラの場合、上記エピ極ではステレオ測距が行えない。しかしながら、３つ以上の撮像装置を備える３眼以上の魚眼カメラの場合には、それぞれがカメラのペアで構成される複数のステレオペアを選択できるため、あるステレオペアではエピ極のためにステレオ測距が行えない場合にも、別のステレオペアではステレオ測距を行える。例えば、ステレオ測距を行うカメラのペアの組み合わせは、３眼の場合に_３Ｃ_２＝３通りあり、４眼の場合には_４Ｃ_２＝６通りある。これらのうち、着目カメラを基準にしてこれを含むカメラペアの組み合わせを考えると、３眼の場合２通り、４眼の場合３通りとなる。複数のステレオ測距を行うと、基準カメラは同じであっても他方のカメラが異なるため、その結果としてそれぞれのエピ極が異なる。そのため、１つのカメラペアのステレオ測距でエピ極のためにステレオ測距が行えない計測点、及び、エピ極に近いために測距精度が得にくい計測点についても、他のカメラペアのステレオ測距によって、計測点の３次元位置を取得することができる。

以上のような複眼魚眼カメラにおける複数のステレオ測距値に対し、もっとも高精度な測距値の選択又は複数の測距値の統合よって、高精度な測距値を得ることが可能である。このような測距値を得る方法について、特許文献１では、個々のカメラの光軸を平行に配置し、エピ極で視差がゼロになるようにしたうえで、視差の大きさに基づいて重みづけ加算を行い、目標点の３次元位置情報を計算している。また、特許文献２では、視線方向の奥行きの逆数を重み付け加算し、この重み付け加算値の逆数として視線方向の奥行きを計算している。

特開２０１５－１３３６９１号公報特許第５０１１５２８号公報

C. Zach、T. Pock及びH. Bischof、「A duality based approach for realtime TV-L1 optical flow」、In Proceedings of the 29th DAGM conference on Pattern recognition、2007年、p214-223 M. Werlberger、T. Pock及びH. Bischof、「Motion estimation with nonlocal total variation regularization」、IEEE Conference on Computer Vision and Pattern Recognition（CVPR）、2010年6月13－18日、p.2464-2471 松山隆司、ほか編、「コンピュータビジョン」、株式会社新技術コミュニケーションズ、ｐ１２３～１３７

しかしながら、特許文献１及び２に記載されるような従来の構成は、距離測定誤差を定性的に減少させるものの、距離測定誤差の原因となる画像のノイズ成分の分散等の統計量については考慮されていないため、重み付け加算によって確率統計的に距離測定誤差を最小化することができないという課題を有していた。

本開示は、画像のノイズ分布を考慮した距離測定誤差の低減を可能にする撮像装置、画像処理方法及びプログラムを提供する。

本開示の一態様に係る撮像装置は、複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する撮像装置であって、少なくとも３つのカメラを有し、前記カメラそれぞれにより画像を撮影する撮像部と、前記カメラそれぞれのカメラパラメタを記憶するカメラパラメタ記憶部と、処理回路とを備え、前記処理回路は、前記画像及び前記カメラパラメタを取得し、前記画像から複数の画像のペアを抽出し、前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、重み付け加算値を適用した前記計測点の位置情報を出力する。

本開示の一態様に係る画像処理方法は、複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する画像処理方法であって、（ａ１）少なくとも３つのカメラそれぞれにより撮影された像を取得し、（ａ２）前記カメラそれぞれのカメラパラメタを取得し、（ａ３）前記画像から複数の画像のペアを抽出し、（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力し、処理（ａ１）～（ａ６）少なくとも１つは、プロセッサにより実行される。

本開示の一態様に係るプログラムは、（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、（ａ２）前記カメラそれぞれのカメラパラメタを取得し、（ａ３）前記画像から複数の画像のペアを抽出し、（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力することを、コンピュータに実行させる。

なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ－ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等の不揮発性の記録媒体を含む。

本開示の技術によれば、画像のノイズ分布を考慮した距離測定誤差の低減が可能になる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

実施の形態に係る撮像装置の構成を示すブロック図実施の形態に係る撮像部の一例の構成を示す模式図実施の形態に係る撮像部の別の一例の構成を示す模式図実施の形態に係る撮像部における画像中の位置による被写体像の形、大きさ及び向きの違いの例を示す模式図従来の技術の撮像装置の構成例を示す模式図実施の形態に係る撮像装置の変形例の構成を示すブロック図コンピュータによって構成した画像処理部を備えた実施の形態に係る撮像装置の構成を示すブロック図実施の形態に係る撮像装置の画像処理部の動作の流れの一例を示すフローチャート実施の形態に係る撮像装置の設置の例を示す模式図図８Ａの撮像装置による撮像状況の例を示す模式図実施の形態に係る撮像装置の例を示す模式図図９Ａの撮像装置による撮像画像の例を示す模式図実施の形態に係る撮像部のカメラ画像における遮蔽情報の例を示す模式図実施の形態に係る撮像部の画像ペアにおける遮蔽領域の例を示す模式図４眼カメラと計測点との位置関係を示す説明図三角測量と見込み角対応長との関係を示す説明図見込み角対応長と測距誤差の分散との関係を示す図４眼カメラにより撮影された４眼画像の一例を示す図評価画像の一例を示す図測距誤差である相対ＲＭＳ誤差の評価領域を説明する図測距誤差である相対ＲＭＳ誤差の比較図カメラの座標系とカメラの外部パラメタの例の図実施の形態に係る補完画像の例を示す模式図実施の形態に係る選択位置統合情報の例を示す模式図実施の形態に係る障害物検出部から出力される合成画像の例を示す模式図

本発明者らは、２つのカメラからなるステレオカメラで撮影された２つの画像を用いたステレオ測距における測距精度の向上を検討してきた。そして、本発明者らは、「背景技術」で挙げた特許文献１及び２に記載される技術について、ステレオ測距での距離測定誤差を検討した。特許文献１及び２に記載される技術は、距離測定誤差を定性的に減少させるものの、距離測定誤差の原因となるカメラ画像のノイズ成分の影響を考慮していない。そこで、本発明者らは、カメラ画像のノイズ成分の影響を考慮することによる測距精度の改善を検討した。そして、本発明者らは、ステレオ測距での距離測定処理において、カメラ画像のノイズ成分の分散等の統計量を用いて距離測定結果を重み付けすることによって、確率統計的に距離測定誤差を低減することが可能であることを見出した。そこで、本発明者らは、測距精度の改善のために、以下に記載されるような技術を見出した。

具体的には、本開示の一態様に係る撮像装置は、複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する撮像装置であって、少なくとも３つのカメラを有し、前記カメラそれぞれにより画像を撮影する撮像部と、前記カメラそれぞれのカメラパラメタを記憶するカメラパラメタ記憶部と、処理回路とを備え、前記処理回路は、前記画像及び前記カメラパラメタを取得し、前記画像から複数の画像のペアを抽出し、前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、重み付け加算値を適用した前記計測点の位置情報を出力する。

上記態様において、カメラのペアの見込み角対応長及び見込角が小さくなるほど、ステレオ視の測距精度が低下する。また、見込み角対応長及び見込角は、カメラのペアの視野の中央よりも端の位置に対するステレオ視の際、小さくなる。このような見込み角対応長及び見込角を用いた３次元位置を特定する情報の重み付け加算値は、３次元位置に起因する測距精度のばらつきの影響を低減した値となり得る。カメラ画像のノイズ分布による距離測定誤差への影響は、距離測定誤差の分散に反映され得る。さらに、距離測定誤差の分散は、見込み角対応長及び見込角と対応付けられ得る。このような見込み角対応長又は見込角を用いた３次元位置を特定する情報の重み付け加算値は、カメラの画像のノイズ成分の分布に起因する測距精度のばらつきの影響も低減する。よって、距離測定誤差の低減が可能になる。

また、本開示の一態様に係る撮像装置において、前記処理回路は、前記重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定してもよい。上記態様によれば、重み付け加算値の分散を最小化することによって、重み付け加算値は、カメラの画像のノイズ分布に起因する測距精度のばらつきの影響を、確率統計的に低減することができる。よって、安定した距離測定誤差の低減が可能になる。

また、本開示の一態様に係る撮像装置において、前記少なくとも３つのカメラそれぞれの視野角は、１８０度以上であってもよい。上記態様によれば、撮像装置は、広範囲な撮像が可能である。

また、本開示の一態様に係る撮像装置において、前記処理回路は、前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いてもよい。上記態様において、見込み角対応長の２乗は、距離測定誤差の分散と反比例関係にあり、距離測定誤差と高い相関を有する。さらに、正規化された見込み角対応長の２乗は、０～１の間の値をとり、且つその総和が１である。よって、正規化された見込み角対応長の２乗は、見込み角対応長の２乗の総和に依存せず、重みとして効果的に機能する。

また、本開示の一態様に係る撮像装置において、前記処理回路は、前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いてもよい。上記態様において、見込み角の２乗は、距離測定誤差の分散と反比例関係にあり、距離測定誤差と高い相関を有する。さらに、正規化された見込み角の２乗は、０～１の間の値をとり、且つその総和が１である。よって、正規化された見込み角の２乗は、見込み角の２乗の総和に依存せず、重みとして効果的に機能する。

また、本開示の一態様に係る撮像装置において、前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、前記処理回路は、前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完してもよい。上記態様によれば、カメラの視野全体にわたって被写体が映し出されることが可能になる。例えば、撮像装置が、周囲の監視などに用いられる場合、周囲全体にわたる漏れのない監視を行うことができる。

本開示の一態様に係る画像処理方法は、複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する画像処理方法であって、（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、（ａ２）前記カメラそれぞれのカメラパラメタを取得し、（ａ３）前記画像から複数の画像のペアを抽出し、（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力し、処理（ａ１）～（ａ６）少なくとも１つは、プロセッサにより実行される。上記態様によれば、本開示の一態様に係る撮像装置と同様の効果が得られる。

また、本開示の一態様に係る画像処理方法は、重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定してもよい。

また、本開示の一態様に係る画像処理方法において、前記少なくとも３つのカメラそれぞれの視野角は、１８０度以上であってもよい。

また、本開示の一態様に係る画像処理方法は、前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いてもよい。

また、本開示の一態様に係る画像処理方法は、前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いてもよい。

また、本開示の一態様に係る画像処理方法において、前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、前記画像処理方法はさらに、（ｂ１）前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完してもよい。

本開示の一態様に係るプログラムは、（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、（ａ２）前記カメラそれぞれのカメラパラメタを取得し、（ａ３）前記画像から複数の画像のペアを抽出し、（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力することを、コンピュータに実行させる。上記態様によれば、本開示の一態様に係る撮像装置と同様の効果が得られる。

また、本開示の一態様に係るプログラムは、重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定してもよい。

また、本開示の一態様に係るプログラムは、前記重み付け加算では、前記見込み角対応長の２乗をその総和で正規化したものを用いてもよい。

また、本開示の一態様に係るプログラムは、前記重み付け加算では、前記見込み角の２乗をその総和で正規化したものを用いてもよい。

また、本開示の一態様に係るプログラムにおいて、前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、前記プログラムはさらに、（ｂ１）前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完させてもよい。

なお、上記の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。

以下、実施の形態に係る撮像装置等を、図面を参照しながら説明する。なお、以下で説明される実施の形態は、包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、並びにステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。

［実施の形態］
以下において、実施の形態に係る撮像装置１を説明する。本実施の形態では、撮像装置１が、自動車の車載用として用いられ、障害物を検知するように構成された例を説明する。なお、撮像装置１は、車載される場合、自動車の周囲の監視、自動車の運転支援等の用途で用いられてもよい。また、撮像装置１は、いかなる対象物に搭載されてもよい。例えば、撮像装置１は、自動車以外の車両、船舶、飛行体又はロボット等の移動体に搭載されてもよい。自動車以外の車両は、トラック、バス、二輪車、搬送車、鉄道、建設機械、荷役機械等であってもよい。飛行体は、航空機、ドローン等であってもよい。

図１並びに図２Ａ及び図２Ｂを参照して、撮像装置１の構成を説明する。なお、図１は、実施の形態に係る撮像装置１の機能的な構成の一例を示す。図２Ａ及び図２Ｂはそれぞれ、撮像装置１が備える撮像部１００の異なる２つの構造例示す。図１に示されるように、撮像装置１は、撮像部１００と、画像処理部１１０と、障害物検出部１２０と、ディスプレイ１３０とを備える。

撮像部１００は、３つ以上のカメラを備えている。３つ以上のカメラのそれぞれは魚眼レンズを有する。限定するものではないが、本実施の形態では、撮像部１００は、４つのカメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄを備える。４つのカメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄは、一体化されてもよく、分離して配置されてもよい。画像処理部１１０は、カメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄのそれぞれが撮影した画像を取得し、処理する。画像処理部１１０は、位置算出部１１１と、位置選択統合部１１２と、画像補完部１１３と、カメラパラメタ記憶部１１４とを備える。なお、４つのカメラを区別するために添え字ａ～ｄを用いるが、以下では、これらを特に区別しない場合には、添え字を利用せず「カメラ１０１」と記述する場合がある。

図２Ａ及び図２Ｂを参照すると、撮像装置１の撮像部１００の構成例が示されている。図２Ａは、４つのカメラ１０１が一体として固定された構成の撮像部１００の例を示す。図２Ａにおいて、撮像部１００は、（ａ）の正面図、（ｂ）の側面図、及び、（ｃ）の断面図で示されている。上記断面図は、撮像部１００の２つのカメラ１０１の２つのレンズの中心を通る断面で、撮像部１００を切断した図である。図２Ａにおいて、４つのカメラ１０１は、それぞれのレンズの中心が正方形の頂点に位置するように配置されている。図２Ｂは、３つのカメラ１０１が一体として固定された構成の撮像部１００の別の例を示す。図２Ｂにおいて、撮像部１００は、（ａ）の正面図、及び、（ｂ）の側面図で示されている。図２Ｂにおいて、３つのカメラ１０１は、それぞれのレンズの中心が正三角形の頂点に位置するように配置されている。

図２Ａにおける撮像部１００の例では、各カメラ１０１のレンズは、魚眼レンズであり、その直径は概ね同じである。図２Ａにおける４つのカメラ１０１のそれぞれの光軸は互いに平行であり、且つ、隣り合う２つのレンズと近接して配置されている。したがって、隣接する２つのカメラの光軸間の距離、つまりレンズの中心間の距離は、レンズの直径に概ね一致する。各カメラ１０１の視野は、隣り合うカメラ１０１の視野と重なる。

図２Ｂにおける撮像部１００の例では、各カメラ１０１のレンズは、魚眼レンズであり、その直径は概ね同じである。図２Ｂにおける３つのカメラ１０１のそれぞれの光軸は互いに平行であり、且つ、隣り合う２つのレンズと近接して配置されている。したがって、隣接する２つのカメラの光軸間の距離、つまりレンズの中心間の距離は、レンズの直径に概ね一致する。各カメラ１０１の視野は、隣り合うカメラ１０１の視野と重なる。なお、本実施の形態では、撮像部１００は、図２Ａに示す例の構成を有する。

また、図２Ａ及び図２Ｂに示されるように、隣接するカメラ１０１の光軸間の距離は基線長と呼ばれ、撮像部１００において、各カメラ１０１の光軸上に撮像素子が設けられている。撮像素子は、カメラ１０１のレンズを通って入射する光を受光して、受光した光から像を形成する構成を有するものであればよく、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサであってもよい。

なお、上述の撮像装置１は、少なくとも撮像部１００及び画像処理部１１０を含む構成であってもよい。障害物検出部１２０及びディスプレイ１３０は、撮像装置１の外部に設けられた機器に含まれもよい。外部に設けられた機器は、例えばＰＣ（パーソナルコンピュータ）とそのディスプレイとを含み、これらを用いて障害物検出部１２０及びディスプレイ１３０を実現してもよい。画像処理部１１０と障害物検出部１２０とは、有線通信を介して接続されていてもよいし、無線通信を介して接続されていてもよい。また、画像処理部１１０及び障害物検出部１２０は、１対１で直接的に接続されていてもよいし、インターネット等の通信ネットワークを介して間接的に接続されていてもよい。

上述した撮像部１００におけるカメラ１０１の構成は、本発明者らの以下の知見に基づいている。具体的には、ステレオ視（Stereo vision）における、３次元位置の推定誤差の原因の１つとして、視差推定における量子化誤差がある。量子化誤差とは、実際には実数値である視差を、１画素精度で推定することにより生じる誤差である。この量子化誤差の大きさは一定と考えることができるため、視差が大きいほど、つまり、視差ベクトルの長さが長いほど、量子化誤差の影響は低くなり、３次元位置の精度は高くなる。そのため、ステレオ視のペアとなる複数のカメラは、視差が大きくなるよう、カメラ間の距離である基線長が十分な長さになるように配置するのが一般的である。

ここで、「視差」とは、２つの異なる点Ａ及び点Ｂ、例えば、２つの異なる位置にあるカメラ、から同一の対象点Ｏを観察した場合、同一の対象点の方向又は位置の差である。視差は、例えば、点Ａ及び対象点Ｏを含む線分と点Ｂ及び対象点Ｏを含む線分とがなす角度（∠ＡＯＢ）で表現してもよい。本明細書においては、３次元空間での対象点の方向の差も、２次元投影像での対象点の位置の差も、区別せず視差と呼ぶ。

一方、魚眼レンズを有するカメラで撮影した被写体像は、大きく歪むため、視野内での被写体の３次元位置によって、言い換えると、画像中の被写体の位置によって、被写体像の形、及び／又は、大きさ、及び／又は向きが異なる。魚眼レンズを有するあるカメラＣＣＤが被写体を撮影した画像ＩＩＤと、魚眼レンズを有する他のカメラＣＣＥが被写体を撮影した画像ＩＩＥとをステレオ視に用いる場合、カメラＣＣＤ及びＣＣＥの間の被写体に対する視差が大きいほど、画像ＩＩＤにおける被写体像の形と画像ＩＩＥにおける被写体像の形とが異なる度合が増し、画像ＩＩＤにおける被写体像の大きさと画像ＩＩＥにおける被写体像の大きさとが異なる度合が増し、画像ＩＩＤにおける被写体像の向きと画像ＩＩＥにおける被写体像の向きとが異なる度合が増す。そのため、画像ＩＩＤにおける被写体位置と画像ＩＩＥにおける被写体位置との間の視差推定が困難になる。

このような例として、図３には、被写体とカメラとの距離を一定（距離１ｍ）とした状態で、カメラの向きを０度、４５度、９０度に変更して撮影した被写体像の例が示されている。なお、カメラの向き０度は、カメラの光軸が被写体に向いている場合のカメラの向きである。図３によれば、画像中の位置の違いにより、被写体像の見え方、つまり、被写体像の形、大きさ又は向きが違っていることが分かる。これは、魚眼レンズによる歪み方が被写体及びカメラを含む直線と光軸とがなす角度によって異なるためである。図３のカメラの向き０度（被写体及びカメラを含む直線と光軸とがなす角度が０度）の画像と、図３のカメラの向き９０度（被写体及びカメラを含む直線と光軸とがなす角度が９０度）の画像との間では、視差推定が困難であることが類推できる。このような２つの画像中の被写体像の形、大きさ及び向きの違いは、カメラ間の基線長が長いほど、及び、被写体と撮像装置との距離が近いほど顕著になる。そのため、特に被写体と撮像装置との距離を一定以上に保てない場合、基線長を短くとることでこの影響を低減することができる。

そこで本実施の形態では、被写体が撮像装置１の近くにある場合であっても、複数の魚眼カメラ間の視差が大きくなり過ぎないようにするために、図２Ａ及び図２Ｂに示されるように、複数の魚眼レンズを有するカメラ１０１の光軸が互いに平行で、且つ、複数の魚眼レンズを近接して配置した撮像部１００を用いる。これにより、推定した視差の誤差を低減できるという効果が期待できる。さらに、実数精度の視差推定手法を用いることで、視差推定における量子化誤差の問題が低減するという効果も期待できる。

しかしながら、視野角が１８０度ある魚眼レンズを有するカメラを複数個、例えば、第１カメラと第２カメラとを、近接して配置すると、第１カメラのレンズ又は本体が、第２カメラで撮像した画像に映り込む。つまり、第１カメラがなければ第２カメラが撮像できる第１カメラの背部の被写体は、第２カメラに対して第１カメラのレンズ又は本体で遮蔽されるので、第２カメラで撮像した画像に含まれないという別の問題が発生する。例えば、図４に示されるような３つ以上の魚眼カメラＣ１～Ｃ３を用いる従来の撮像装置では、２つのカメラ間、例えば、魚眼カメラＣ１と魚眼カメラＣ２との基線長が長いため、魚眼カメラＣ２のレンズ又は本体が魚眼カメラＣ１の視野に映り込む場合であっても、魚眼カメラＣ２のレンズ又は本体が魚眼カメラＣ１の視野に映り込む領域が魚眼カメラＣ１の視野に占める割合は小さい。これに対し、図２Ａ及び図２Ｂのように複数のカメラ１０１を近接させると、複数のカメラ１０１に含まれるあるカメラ、例えばカメラ１０１ａの視野において、複数のカメラ１０１に含まれる他のカメラ、例えばカメラ１０１ｂのレンズによって遮蔽される領域が広くなる。さらに、被写体上の点の３次元位置の算出には、２つのカメラがそれぞれ撮像した画像を用いるため、被写体上の点がカメラ１０１ａの視野において遮蔽される領域とカメラ１０１ｂの視野において遮蔽される領域との少なくとも一方に含まれると、カメラ１０１ａが撮像した画像とカメラ１０１ｂが撮像した画像とを用いて、その被写体上の点の３次元位置を算出できない。つまり、カメラ１０１ａで撮像した画像において３次元位置を算出できない領域は、被写体に含まれる領域であってカメラ１０１ａの視野において遮蔽される領域と、被写体に含まれる領域であってカメラ１０１ｂの視野において遮蔽される領域とをあわせた領域になる。

上記問題に対し、本発明者らは、魚眼レンズを有するカメラを含む撮像装置であって、魚眼レンズを有するカメラが被写体を撮像した画像に含まれる撮像装置の部分が撮像された領域である遮蔽領域を、撮像装置の部分がなければ魚眼レンズを有するカメラが本来撮像した「被写体の部分」の画像を生成し、生成した画像で遮蔽領域を補い、生成した画像に対応する「被写体の部分」の３次元位置を、算出する技術を完成させるに至った。これにより、遮蔽のない画像と当該画像に対応する３次元位置とを取得することができる。なお、画像中の遮蔽領域の情報は、複数のレンズの物理的な配置関係、及び各レンズの仕様に基づいて、事前に取得しておくことができる。

なお、本明細書では、魚眼レンズの視野角は、概ね１８０度、又はそれ以上であるとしており、これらを「概ね１８０度以上」と記述している。概ね１８０度は、１８０度以下の角度、例えば１６０度から１８０度の角度を含む。また、１８０度以上とは、例えば１８０度以上２３０度以下の角度を含む。

図１を参照すると、撮像装置１は、撮像部１００で各カメラ１０１の視野に含まれる画像を撮影し、画像処理部１１０で撮影した画像における遮蔽領域を補った画像と、当該画像内の被写体の３次元位置とを生成する。障害物検出部１２０は、撮像部１００の視野内の画像と当該画像内の被写体の３次元位置とに基づいて合成画像を生成し、ディスプレイ１３０に表示する。

撮像部１００は、４つのカメラ１０１ａ～１０１ｄを含み、４つのカメラ１０１ａ～１０１ｄの各々は視野角が概ね１８０度の魚眼レンズを有する。４つのカメラ１０１ａ～１０１ｄは、図２Ａのように配置される。４つのカメラ１０１ａ～１０１ｄの各々は、視野内の画像を撮影して画像を出力する（以降、この画像をカメラ画像とも呼ぶ）。すなわち、４つのカメラ１０１ａ～１０１ｄは４つのカメラ画像（つまり、画像データ）を出力する。隣り合う２つのカメラ１０１の光軸間の距離は、２つのカメラ１０１のレンズ直径の和より小さいようにしてもよい。一般的に、２つのカメラの光軸間の距離が小さくなるに従い、一方のカメラのカメラ画像に他方のカメラのレンズがより広く映るので、一方のカメラのカメラ画像に他方のカメラの背部にある物体がより広く遮蔽される。一般的に、２つのカメラのレンズの直径が大きくなるに従い、一方のカメラのカメラ画像に他方のカメラのレンズがより広く映るので、一方のカメラのカメラ画像に他方のカメラの背部にある物体がより広く遮蔽される。

本開示の技術では、２つのカメラの光軸間の距離が、２つのカメラ１０１のレンズの直径の和よりも小さくても、一方のカメラのカメラ画像に他方のカメラの背部にある物体が遮蔽されていない画像と当該物体の３次元位置とを取得することができる。

隣り合う２つのカメラ１０１の光軸間の距離は、２つのカメラ１０１のレンズ直径の平均と概ね同じであるとしてもよい。一般的に、２つのカメラの光軸間の距離が小さくなるほど、一方のカメラのカメラ画像に他方のカメラがより広く映り、一方のカメラのカメラ画像において他方のカメラの背部にある物体が遮蔽される領域が増える。２つのカメラを最も近づけた場合、すなわち、２つのカメラのレンズが接した場合、２つのカメラの光軸間の距離は２つのカメラのレンズ直径の平均と概ね同じになる。この時、一方のカメラのカメラ画像において、他のカメラの背部にある物体が遮蔽される領域と、他方のカメラのカメラ画像において、一方のカメラの背部にある物体が遮蔽される領域との和が最大になる。すなわち、一方のカメラのカメラ画像及び他方のカメラのカメラ画像のそれぞれにおいて、３次元位置を取得できない領域が最大になる。

一方、本開示の技術では、２つのカメラの光軸間の距離は２つのカメラのレンズ直径の平均と概ね同じであっても、一方のカメラのカメラ画像において、他のカメラの背部にある物体が遮蔽される領域がない画像と当該物体の３次元位置とを取得することができる。言い換えると、２つのカメラの光軸間の距離が２つのカメラのレンズ直径の平均と概ね同じとき、本開示の技術の効果が最も高くなる。

図１に示すように、画像処理部１１０は、位置算出部１１１、位置選択統合部１１２、画像補完部１１３及びカメラパラメタ記憶部１１４を含む。カメラパラメタ記憶部１１４は、４つのカメラ１０１の各々についてカメラパラメタを予め記憶する。カメラパラメタは外部パラメタ、内部パラメタ、及び遮蔽情報を含む。外部パラメタは、カメラの位置及び向きなどの、カメラの物理的な配置に関する情報を含む。内部パラメタは、レンズの歪及び焦点距離などの、カメラの特性に関する情報を含む。遮蔽情報は、カメラ画像において、被写体の部分が撮像された領域ではなく撮像装置１の部分が撮像された領域を示す情報を含む。すなわち、遮蔽情報は、カメラの視野の一部が撮像装置１の部分によって遮蔽された結果、当該カメラのカメラ画像において、被写体の部分の画像がない領域を示す情報を含む。例えば、遮蔽情報は、各カメラ１０１で撮影した場合の各カメラ１０１のカメラ画像に含まれる遮蔽領域を示す情報を含む。遮蔽情報は、各カメラ１０１のカメラ画像において、撮像装置１に含まれる部分を撮像した画素値を有する画素を特定する情報であってもよい。

位置算出部１１１は、４つのカメラ１０１から出力された４つのカメラ画像（つまり、画像データ）を取得して、４つのカメラ画像のうちから２つのカメラ画像を１ペアとして６ペアの組み合わせを抽出する。また、位置算出部１１１は、カメラパラメタ記憶部１１４から４つのカメラ１０１それぞれのカメラパラメタを読み出す。位置算出部１１１は、推定した６ペアのカメラ画像間の視差と、カメラパラメタに含まれる外部パラメタ及び内部パラメタとに基づいて、カメラ画像内の被写体の３次元位置を算出し、位置情報として出力する。なお、被写体は、カメラ画像全体の領域であってもよい。

位置算出部１１１は、カメラパラメタに基づいて位置情報を生成する。位置情報の各々は，３次元空間内の１つの点ＰＰｎの位置を特定する情報と、４つのカメラ１０１に含まれる第１カメラが点ＰＰｎを含む被写体を撮像して得たカメラ画像ＩＩＩに含まれる画素ＰＬＩＰｎの位置を特定する情報と、４つのカメラ１０１に含まれる第２カメラが点ＰＰｎを含む被写体を撮像して得たカメラ画像ＩＩＪに含まれる画素ＰＬＪＰｎの位置を特定する情報とを含む。画素ＰＬＩＰｎは第１カメラが点ＰＰｎを撮像した画像が観察されると推定される画素であり、画素ＰＬＪＰｎは第２カメラが点ＰＰｎを撮像した画像が観察されると推定される画素である。この推定の方法については後述する。つまり、複数の位置情報の各々は、３次元空間内の１つの点ＰＰｎに関する３次元位置情報と、点ＰＰｎに対応する２つの画素ＰＬＩＰｎ及びＰＬＪＰｎに関する画素ペア情報とを含む。

画素ペア情報で特定される２つの画素に含まれる画素ＰＬＩＰｎは、カメラペア（つまり、カメラのペア）に含まれる第１カメラが撮像したカメラ画像ＩＩＩにおいて、点ＰＰｎに対応する点に位置する。画素ペア情報で特定される２つの画素に含まれる画素ＰＬＪＰｎは、カメラペアに含まれる第２カメラが撮像したカメラ画像ＩＩＪにおいて、点ＰＰｎに対応する点に位置する。点ＰＰｎに関する３次元位置情報は、２つの画素ＰＬＩＰｎ及びＰＬＪＰｎの位置を特定する情報である位置情報に基づいて決定され、２つの画素ＰＬＩＰｎ及びＰＬＪＰｎはそれぞれ、異なる第１カメラ及び第２カメラのカメラ画像ＩＩＩ及びカメラ画像ＩＩＪに含まれる。

位置選択統合部１１２は、位置算出部１１１が出力した位置情報を取得し、且つ、カメラパラメタ記憶部１１４から各カメラ１０１のカメラパラメタを読み出す。位置選択統合部１１２は、カメラパラメタに含まれる遮蔽情報に基づいて、位置情報から、画素ペア情報で特定される２つの画素の双方が遮蔽領域に含まれない位置情報の少なくとも一部を選択し、選択された位置情報を、各カメラペアのカメラ画像の間で統合し、統合結果を選択位置統合情報として出力する。選択位置統合情報は、複数の位置情報から、所定の位置情報を除外して生成され、所定の位置情報の各々は所定の画素ペア情報を含み、所定の画素ペア情報で特定される２つの画素の少なくも一方は遮蔽領域に含まれるとしてもよい。選択位置統合情報には、画素ペア情報が含まれ、画素ペア情報で特定される２つの画素のそれぞれは、２つの画素のそれぞれが含まれるカメラ画像において遮蔽領域に含まれず、当該２つのカメラ画像の間で互いに対応する点に位置する。つまり、画素ペア情報で特定される２つの画素を用いて、被写体上の点を特定できる。

画像補完部１１３は、カメラ画像と、位置選択統合部１１２から出力された選択位置統合情報とを取得する。画像補完部１１３は、少なくとも１つのカメラ画像の遮蔽領域について、他のカメラ画像の非遮蔽領域と選択位置統合情報とに基づいて、遮蔽領域の画像を当該他のカメラ画像に基づいて補完画像を生成する。そして、画像補完部１１３は、生成した補完画像と上記選択位置統合情報とを出力する。

画像補完部１１３は、選択位置統合情報に含まれる画素ペア情報によって特定される２つの画素のうちの少なくとも一方の選択画素の画素値を使用して、当該２つの画素が含まれないカメラ画像において、遮蔽領域に含まれ且つ選択画素に対応する対象画素の画素値を決定する。対象画素と選択画素とは互いに対応する対応点に位置する。なお、対象画素と選択画素とが対応点に位置するか否かは、カメラパラメタと選択画素に対応する３次元位置情報とに基づいて決定されてもよい。

障害物検出部１２０は、補完画像と選択位置統合情報とを取得し、選択位置統合情報に基づいて障害物等の３次元物体を検出する。さらに、障害物検出部１２０は、検出した３次元物体の位置に対応する補完画像上の領域に、注視領域を示す枠を重畳合成した合成画像を出力する。

ディスプレイ１３０は、合成画像を取得して、表示する。ディスプレイ１３０は、液晶パネル、有機又は無機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルによって構成されてよい。

図１の画像処理部１１０及び障害物検出部１２０を構成する各構成要素は、電子回路又は集積回路等のハードウェアで実現されてもよいし、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。

なお、図５に示すように、画像処理部１１０は、位置算出部１１１、位置選択統合部１１２、画像補完部１１３及びカメラパラメタ記憶部１１４に加えて、カメラパラメタ取得部１１５を含んでもよい。カメラパラメタ取得部１１５は、カメラパラメタ記憶部１１４からカメラ１０１のカメラパラメタを取得し、位置算出部１１１、位置選択統合部１１２及び画像補完部１１３に出力する。

なお、画像処理部１１０は、カメラパラメタ記憶部１１４を含まず、例えば、クラウドサーバ等の外部の装置が、カメラパラメタ記憶部１１４を含んでもよい。この場合、カメラパラメタ記憶部１１４が、無線及び有線の通信手段で、カメラパラメタ取得部１１５と接続されてもよい。そして、カメラパラメタ取得部１１５が、カメラパラメタ記憶部１１４に記憶された情報、例えばカメラパラメタを取得してもよい。カメラパラメタ取得部１１５は、カメラパラメタ記憶部１１４から、複数のカメラ１０１の位置情報、複数のカメラ１０１の焦点距離、複数のカメラ１０１のカメラ画像におけるどの画素が遮蔽領域に含まれるかを示す情報を含む遮蔽情報を含むカメラパラメタを取得してもよい。

図５の例では、位置算出部１１１、位置選択統合部１１２及び画像補完部１１３は、カメラパラメタ取得部１１５を介して、カメラパラメタ記憶部１１４と情報をやりとりし、例えば、カメラパラメタ記憶部１１４に格納された情報を読み出す等をしてもよい。位置算出部１１１は、カメラパラメタ取得部１１５を介して、カメラパラメタ記憶部１１４から４つのカメラ１０１のカメラパラメタを読み出してもよい。位置選択統合部１１２は、位置算出部１１１が出力した位置情報を得て、カメラパラメタ取得部１１５を介して、カメラパラメタ記憶部１１４からカメラパラメタを読み出してもよい。

図６を参照すると、実施の形態に係る撮像装置１のハードウェア構成の一例が示されている。撮像装置１は、撮像部１００と、画像処理部１１０及び障害物検出部１２０に対応するコンピュータ３００と、ディスプレイ１３０とを備える。撮像装置１において、撮像部１００は、その視野内の画像を撮影してカメラ画像として出力し、コンピュータ３００は、出力されたカメラ画像を取得して、補完画像と選択位置統合情報とを算出し、さらに、合成画像を生成して出力する。ディスプレイ１３０は、コンピュータ３００で生成された合成画像を表示する。３つ以上のカメラ１０１ａ、１０１ｂ、１０１ｃ・・・は撮像部１００に対応する。

コンピュータ３００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３０３、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）３０４、ビデオ入力インタフェース（Ｉ／Ｆ）３０５及びビデオカード３０６を含む。コンピュータ３００を動作させるプログラムは、ＲＯＭ３０２又はＨＤＤ３０４に予め保持されている。プログラムは、プロセッサであるＣＰＵ３０１によって、ＲＯＭ３０２又はＨＤＤ３０４からＲＡＭ３０３に読み出されて展開される。ＣＰＵ３０１は、ＲＡＭ３０３に展開されたプログラム中のコード化された各命令を実行する。ビデオ入力Ｉ／Ｆ３０５は、プログラムの実行に応じて、撮像部１００で撮影されたカメラ画像を、ＲＡＭ３０３へ取り込む。ビデオカード３０６は、プログラムの実行に応じて生成された画像を処理してディスプレイ１３０に出力し、ディスプレイ１３０がその画像を表示する。上述したように、コンピュータ３００は画像処理部１１０及び障害物検出部１２０に対応する。カメラパラメタ記憶部１１４は、ＲＯＭ３０２、ＲＡＭ３０３又はＨＤＤ３０４に対応する。

なお、コンピュータプログラムは、半導体であるＲＯＭ３０２又はＨＤＤ３０４に限らず、例えばＣＤ－ＲＯＭ等の記録媒体に格納されていてもよい。また、コンピュータプログラムは、有線ネットワーク、無線ネットワーク又は放送等を介して伝送され、コンピュータ３００のＲＡＭ３０３に取り込まれてもよい。

以下、実施の形態に係る撮像装置１の動作を、図７を用いて説明する。なお、図７は、実施の形態に係る撮像装置１の画像処理部１１０及び障害物検出部１２０の動作の一例を表すフローチャートである。図７において、ステップＳ４０１～Ｓ４０５の５つの処理は、図６のコンピュータ３００で実行される。

なお、図７の各ステップの処理は、図５の画像処理部１１０及び障害物検出部１２０に含まれる各構成要素で実行してもよい。すなわち、カメラパラメタ記憶部１１４及びカメラパラメタ取得部１１５によるカメラパラメタ読み出しのステップＳ４０１の処理と、位置算出部１１１による位置算出のステップＳ４０２の処理と、位置選択統合部１１２による位置選択統合のステップＳ４０３の処理と、画像補完部１１３による画像補完のステップＳ４０４の処理と、障害物検出部１２０による合成画像生成のステップＳ４０５の処理とが、実行されてもよい。

これに限定するものではないが、本実施の形態では、撮像装置１が自動車に設置される例を説明する。具体的には、撮像装置１は、自動車の後方のカメラ画像と当該カメラ画像に対応する３次元位置とを取得して障害物を検出し、その結果を自動車内に設置したディスプレイに表示し、それにより、利用者であるドライバに車体後方の状況を提示する。

図８Ａを参照すると、実施の形態に係る撮像装置１の自動車への設置の例を示す平面図が示されている。撮像部１００は、カメラ１０１の光軸が概ね自動車が後方に直進する方向に一致するように、車体後部に車体後方に向けて設置される。画像処理部１１０、障害物検出部１２０及びディスプレイ１３０はそれぞれ、ドライバから見える車室内設置される。また、図８Ｂを参照すると、自動車に搭載された撮像装置１による撮影が行われている状況の例が、平面図で示されている。これに限定されるものではないが、撮像部１００の４つのカメラ１０１ａ～１０１ｄは、互いに同期して一定時間間隔で、画像を撮像して出力する。

図９Ａを参照すると、撮像部１００の４つのカメラ１０１ａ～１０１ｄの配置の例が、正面図の（ａ）及び背面図の（ｂ）により示されている。また、図９Ｂを参照すると、図８Ａの撮像部１００の設置状況、及び、図８Ｂの撮影状況において、図９Ａの４つのカメラ１０１ａ～１０１ｄで撮影されるカメラ画像の例が示されている。各カメラ画像の左右両端に接する円弧の内側が、視野角１８０度の視野内の被写体を表している。本実施の形態において、カメラ１０１ａ～１０１ｄはそれぞれ、魚眼レンズを有し、それぞれの投影モデルは等距離射影モデルであるとする。また、カメラ１０１ａ～１０１ｄ、及び、ビデオ入力Ｉ／Ｆ３０５は、横１２８０画素、縦９６０画素のカラー画像を、それぞれ撮影し、取得できるものとする。なお、上述は、カメラの投影モデル及びカメラ画像の画素数を限定するものではなく、他の投影モデル及び画素数でもよい。前述したように、本開示では、カメラ画像間での被写体像の形、大きさ及び向きの違いによる視差推定の誤差を低減するために、複数のカメラ１０１が近接して配置される。本実施の形態では、図９Ａに示すカメラ１０１ａ～１０１ｄの最短の基線長を０．０１５ｍとした。このように構成した撮像部１００で撮影された４つのカメラ画像の例が、図９Ｂに示される。図中の４つのカメラ画像中の被写体は、それぞれの形、大きさ及び向きは、概ね同じであることがわかる。その一方で、カメラ１０１ａ～１０１ｄを近接して配置したため、全てのカメラ画像において、視野の端に、隣接するカメラのレンズが映り込み、その背部の被写体が遮蔽されていることがわかる。なお、これらの遮蔽された領域は、図９Ｂ中の「隣接するカメラのレンズによる遮蔽」の部分で示された領域である。

コンピュータ３００は、撮像部１００の動作と並行して、予め定められたプログラムを実行することで、図７のステップＳ４０１～Ｓ４０５の処理を行う。以降、コンピュータ３００で実行されるステップＳ４０１～Ｓ４０５の詳細な処理を、図１及び図９Ａ～図２１を用いて説明する。

ステップＳ４０１では、位置算出部１１１は、カメラパラメタ記憶部１１４から、カメラパラメタ記憶部１１４に予め記憶された各カメラ１０１ａ～１０１ｄの内部パラメタ、外部パラメタ及び遮蔽情報を含むカメラパラメタを読み出す。ステップＳ４０１の処理は、図５に示すカメラパラメタ取得部１１５が実行してもよい。カメラの外部パラメタ｛Ｍｑ，ｒ｝と３次元座標との関係、及び、カメラの内部パラメタ（ｆ，ｋ）と３次元座標と画素座標との関係をそれぞれ、下記の式１及び式２に示す。なお、式１において、ｒ＝１，・・・，４である。

上記の式１における外部パラメタ｛Ｍｑ，ｒ｝は、２つのカメラｑ及びｒの各カメラ座標系の位置関係を表す行列の集まりである。行列Ｍｑ，ｒは、カメラｑのカメラ座標系の３次元位置（ｘｑ，ｙｑ，ｚｑ）をカメラｒのカメラ座標系の３次元位置（ｘｒ，ｙｒ，ｚｒ）に変換する４×４の行列を表している。内部パラメタのｆは焦点距離、ｋは撮像素子上での画素サイズである。上記の式２は、カメラ座標系の３次元位置（ｘ，ｙ，ｚ）とカメラ画像の画素座標（ｕ，ｖ）との関係を表している。これら外部パラメタ｛Ｍｑ，ｒ｝及び内部パラメタ（ｆ，ｋ）は、一般的にカメラ校正方法と呼ばれる広く知られた手法によってあらかじめ求めておく。なお、上記の式２では、レンズの投影モデルが等距離射影の場合の内部パラメタを用いたが、適用される投影モデルはこれに限定されるものではなく、立体射影及び等立体角射影等の他の投影モデルであってもよい。

ここで、４つのカメラ１０１ａ～１０１ｄの遮蔽情報の例を、図１０に示す。遮蔽情報とは、カメラ画像において、レンズ又はカメラ本体が映り込み、レンズ又はカメラ本体がその背部の被写体を遮蔽している領域を示す情報である。本実施の形態では、遮蔽情報は、カメラ画像の各画素が、「被写体領域」、「遮蔽領域」及び「視野外領域」の３つのいずれであるかを表す。例えば、カメラ画像Ｉの画素座標（ｕ，ｖ）の遮蔽情報をＯ（ｕ，ｖ）のように表す。図１０は、各画素の３つの状態に関して、被写体領域は白色（つまり、無着色無模様）、遮蔽領域は斜線、視野外領域は黒色で、それぞれ表した図である。この遮蔽情報は、事前にカメラ１０１で画像を撮影して、各画素がどの領域に属するかを、人手で判定することで作成することができる。本実施の形態では、撮像装置１は、図９Ｂの遮蔽領域を含むカメラ画像から、遮蔽領域のない画像と当該画像に対応する３次元位置とを算出する。

次に、ステップＳ４０２では、位置算出部１１１は、撮像部１００のカメラ１０１ａ～１０１ｄで撮影された複数のカメラ画像（つまり、画像データ）を取得する。そして、位置算出部１１１は、取得した複数のカメラ画像のうちから、複数の「カメラ画像のペア」を抽出する。複数の「カメラ画像のペア」の各々は２つのカメラ画像を含む。例えば、カメラ１０１ａ～１０１ｄによる４つのカメラ画像からは、６つの「カメラ画像のペア」が抽出される。さらに、位置算出部１１１は、各「カメラ画像のペア」に含まれるカメラ画像において、ステップＳ４０１で読み出したカメラパラメタを用いて、ステレオ視によりカメラ画像中の複数点の３次元位置を算出する。ステレオ視では、互いに異なる視点に位置し且つ視野が重複するように配置された２つのカメラで撮影された２つのカメラ画像、のそれぞれに含まれる点であってかつ互いに対応する点の組、すなわち、対応点の組を求め、求めた対応点の組と予め求めておいたカメラの位置及び向き等のカメラパラメタとを用いて、対応点の組に対する被写体上の点の３次元座標が計算される。

以下、ステップＳ４０２の処理の詳細を説明する。カメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄで撮影した４つのカメラ画像をそれぞれ、カメラ画像Ｉａ、Ｉｂ、Ｉｃ及びＩｄとする。これらから、２つのカメラ画像からなる６つの画像のペア（Ｉａ，Ｉｂ）、（Ｉａ，Ｉｃ）、（Ｉａ，Ｉｄ）、（Ｉｂ，Ｉｃ）、（Ｉｂ，Ｉｄ）及び（Ｉｃ，Ｉｄ）が抽出される。以下において、画像のペアのことを、画像ペアとも呼ぶ。そして、各画像ペアに対して、ペア内の２つのカメラ画像のそれぞれに含まれる点であってかつ互いに対応する点の組、すなわち、対応点の組が、複数検出される。例えば、カメラ１０１ａが被写体上の点をカメラ画像Ｉａに含まれる点ＰＩａとして撮像し、カメラ１０１ｂが当該点をカメラ画像Ｉｂに含まれる点ＰＩｂとして撮像した場合、点ＰＩａと点ＰＩｂとは対応点の組である。点ＰＩａと点ＰＩｂとは互いに対応する点、又は、互いに対応する対応点、又は、点ＰＩａは点ＰＩｂに対応すると表現してもよい。対応点の組を画素の組で表現してもよい。例えば、点ＰＩａ及びＰＩｂの対応点の組を、点ＰＩａにおける画素と点ＰＩｂにおける画素との組で表現してもよい。対応点の組を画素座標の組で表現してもよい。例えば、点ＰＩａ及びＰＩｂの対応点の組を、点ＰＩａにおける画像座標と点ＰＩｂにおける画像座標との組で表現してもよい。例えば、画像ペア（Ｉａ，Ｉｂ）の場合、カメラ画像Ｉａ上の各々の画素について、カメラ画像Ｉｂ上の対応する画素が検出される。つまり、カメラ画像Ｉａ上の画素座標（ｕａｎ，ｖａｎ）に対応するカメラ画像Ｉｂ上画素座標（ｕｂｎ，ｖｂｎ）が検出される。ここで、ｎ＝１，・・・，Ｎａ、Ｎａはカメラ画像Ｉａ上の画素数である。カメラ画像Ｉａの画素座標（ｕａｎ，ｖａｎ）と、カメラ画像Ｉｂの画素座標（ｕｂｎ，ｖｂｎ）とが互いに対応する場合、画素座標（ｕａｎ，ｖａｎ）における画素の画素値ｉａ（ｕａｎ，ｖａｎ）と画素座標（ｕｂｎ，ｖｂｎ）における画素値ｉｂ（ｕｂｎ，ｖｂｎ）とが等しい。これを輝度拘束と呼ぶ。

また、ある１つの被写体は、カメラ画像中の複数の隣接する画素を占めることから、カメラ画像Ｉａの画素座標（ｕａｎ，ｖａｎ）に隣接する画素で特定される点に対応するカメラ画像Ｉｂに含まれる点は、カメラ画像Ｉｂの画素座標（ｕｂｎ，ｖｂｎ）の近くにある可能性が高い。これを滑らかさ拘束と呼ぶ。カメラ画像Ｉａ及びＩｂのそれぞれに含まれる点であってかつ互いに対応する点の組、すなわち、対応点の組は、上述した輝度拘束と滑らかさ拘束との２つの条件を最もよく満たす画素座標（ｕａｎ，ｖａｎ）及び（ｕｂｎ，ｖｂｎ）の組の集まりを推定することで、得ることができる。なお、カメラ画像Ｉａ上の画素座標と、このカメラ画像Ｉａ上の画素座標に対応するカメラ画像Ｉｂ上の画素座標との組み合わせ情報を画素ペア情報と呼んでもよい。

２つのカメラ画像間の対応する画素座標を実数精度で算出する対応点探索手法及び動き推定手法は、前述で挙げた非特許文献１及び非特許文献２などに詳しく記載されている。これらの手法は、既知な従来技術であるため、詳細な説明を省略する。例えば、非特許文献１には、オプティカルフロー拘束のＬ１ノルムとトータルバリエーションとの重み付け和からなる画像全体についてのエネルギー評価関数を定義し、これを最小化するフロー（視差もしくは動きベクトル）を画像中の全画素について求める方法が記載されている。非特許文献２には、非特許文献１におけるトータルバリエーションを、対応点の組に含まれる対応点間の色の差と対応点の組に含まれる対応点間の画素座標値との差で重み付けする方法が記載されている。

次に、各対応点の組について、カメラ画像Ｉａ及びＩｂそれぞれの対応点の画素座標（ｕａｎ，ｖａｎ）及び（ｕｂｎ，ｖｂｎ）と、予め求めたおいたカメラ１０１ａ及び１０１ｂの外部パラメタＭｂ，ａ及び内部パラメタｆａ，ｋａ，ｆｂ，ｋｂとを用いて、下記の式３に示す連立方程式を解くことで、対応点の組に対する被写体上の点の３次元位置（ｘａｎ，ｙａｎ，ｚａｎ）が算出される。本実施の形態では、３次元位置は、カメラ１０１ａの視点座標系（カメラ座標系とも呼ぶ）の座標値とするが、カメラ１０１ｂの視点座標系が適用されてもよい。なお、ｆａ及びｋａはそれぞれ、カメラ１０１ａの焦点距離及び単位画素サイズであり、ｆｂ及びｋｂはそれぞれ、カメラ１０１ｂの焦点距離及び単位画素サイズである。また、他の５つの画像ペアに対しても同様に、３次元位置の算出が行われる。

なお、２つのカメラ画像の対応点の組と２つのカメラ位置とから対応点の組に対する被写体上の点の３次元位置を算出する２眼ステレオ手法、及び、２つの３次元座標系間での座標値の変換は、前述で挙げた非特許文献３などに詳しく記載されている。これらの手法は、既知な従来技術であるため、詳細な説明を省略する。例えば、非特許文献３には、１２３－１３７頁の第８章ステレオ視において、ステレオ視による対応付けの詳細が記載され、３９頁には２つの３次元座標系間での座標値の変換に関して記載されている。

以上のステップＳ４０２の詳細な処理により、位置算出部１１１は、６つの画像ペアのそれぞれについて、「対応点の組で特定される複数の対応点の位置、及び対応点の組に対する被写体上の点の３次元位置」を複数算出し、これらを位置情報として出力する。例えば、２つのカメラ画像Ｉｑ及びＩｒについて、２つのカメラ画像Ｉｑ及びＩｒ間のＮｑ個の「対応点の組で特定される複数の対応点、及び対応点の組に対する被写体上の点」の位置情報を｛Ｐｑ，ｒ，ｎ｝（ｎ＝１，・・・，Ｎｑ）とする。そして、Ｎｑ個の位置情報Ｐｑ，ｒ，ｎの集まりであるＰｑ，ｒが下記の式４のように表される。また、ｍ個の画像ペアである画像ペア１～画像ペアｍが存在する場合、｛（画像ペア１に関する全ての『「対応点の組で特定される複数の対応点、及び対応点の組に対する被写体上の点」の位置情報』），・・・，（画像ペアｍに関する全ての『「対応点の組で特定される複数の対応点、及び対応点の組に対する被写体上の点」の位置情報』｝である位置情報をＰtotalと表す。本実施の形態では、４つのカメラのそれぞれで撮像したカメラ画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄを前提としているので、Ｐtotal＝｛Ｐａ，ｂ、Ｐａ，ｃ、Ｐａ，ｄ、Ｐｂ，ｃ、Ｐｂ，ｄ、Ｐｃ，ｄ｝である。

位置情報は、対応点の組で特定される２つの対応点のそれぞれの画素を特定する画素ペア情報と、画素ペア情報で特定された画素のペアに対応する被写体上の点の３次元位置とを含む情報としてもよい。画素ペア情報は、２つのカメラ画像間で対応する２つの画素の画素座標を含んでもよい。このように、ステップＳ４０２では、位置算出部１１１は、カメラ１０１で撮影された複数の画像のうちの２つの画像とカメラパラメタとから、ステレオ視によって被写体上の点の３次元位置を算出し、位置情報として出力する。

次に、ステップＳ４０３では、位置選択統合部１１２は、ステップＳ４０１で読み出した遮蔽情報と、ステップＳ４０２で算出した位置情報Ｐtotalとを取得し、位置情報Ｐtotal＝｛Ｐａ，ｂ、Ｐａ，ｃ、Ｐａ，ｄ、Ｐｂ，ｃ、Ｐｂ，ｄ、Ｐｃ，ｄ｝から、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝を生成する。具体的には、位置選択統合部１１２は、位置情報Ｐtotalに含まれる全ての対応点の組に対して、以下の選択統合処理を繰り返す。

位置選択統合部１１２は、２つのカメラ画像、例えばカメラ画像Ｉａ及びＩｂのペアについて、位置情報Ｐtotalに含まれる位置情報Ｐａ，ｂ，ｎから、カメラ画像Ｉａでの対応点の座標値（ｕａｎ，ｖａｎ）と、カメラ画像Ｉｂでの対応点の座標値（ｕｂｎ，ｖｂｎ）とを読み出す。そして、位置選択統合部１１２は、カメラ画像Ｉａの遮蔽情報Ｏａと、カメラ画像Ｉｂの遮蔽情報Ｏｂとから、カメラ画像Ｉａにおける座標値（ｕａｎ，ｖａｎ）を有する対応点の遮蔽情報である遮蔽情報Ｏａ（ｕａｎ，ｖａｎ）及びカメラ画像Ｉｂにおける座標値（ｕｂｎ，ｖｂｎ）を有する対応点の遮蔽情報である遮蔽情報Ｏｂ（ｕｂｎ，ｖｂｎ）を読み出す。遮蔽情報Ｏａ（ｕａｎ，ｖａｎ）が「被写体領域」であることを示し、かつ、遮蔽情報Ｏｂ（ｕｂｎ，ｖｂｎ）が「被写体領域」であることを示す場合、位置選択統合部１１２は、当該位置情報Ｐａ，ｂ，ｎを選択する。一方、遮蔽情報Ｏａ（ｕａｎ，ｖａｎ）と遮蔽情報Ｏｂ（ｕｂｎ，ｖｂｎ）との少なくも一方が「遮蔽領域」又は「視野外領域」であることを示す場合、位置選択統合部１１２は、当該位置情報Ｐａ，ｂ，ｎを選択しない。

位置選択統合部１１２は、この選択操作を、２つのカメラ画像Ｉａ及びＩｂのペアの全ての位置情報Ｐａ，ｂ，ｎ（ｎ＝１，・・・，Ｎａ）に対して行い、選択した位置情報の集合を選択位置統合情報Ｐ’ａ，ｂとする。

さらに、位置選択統合部１１２は、この選択操作を、２つのカメラ画像Ｉａ及びＩｂのペア以外の全てのカメラ画像のペアの位置情報に含まれる全対応点の組に対しても行う。つまりＰａ，ｃからＰ’ａ，ｃを生成し、Ｐａ，ｄからＰ’ａ，ｄを生成し、Ｐｂ，ｃからＰ’ｂ，ｃを生成し、Ｐｂ，ｄからＰ’ｂ，ｄを生成し、Ｐｃ，ｄからＰ’ｃ，ｄを生成する。これにより、位置選択統合部１１２は、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝を生成する。

選択位置統合情報は、複数の位置情報から、所定の位置情報を除外して生成されてもよい。この場合、除外される所定の位置情報の各々は、所定の画素ペア情報を含み、当該所定の画素ペア情報で特定される画素の少なくも一方が遮断領域に含まれるとしてもよい。

図１１参照すると、画像ペア（Ｉａ，Ｉｂ）、（Ｉａ，Ｉｃ）、（Ｉａ，Ｉｄ）、（Ｉｂ，Ｉｃ）、（Ｉｂ，Ｉｄ）及び（Ｉｃ，Ｉｄ）にそれぞれ対応する位置情報Ｐａ，ｂ、Ｐａ，ｃ、Ｐａ，ｄ、Ｐｂ，ｃ、Ｐｂ，ｄ及びＰｃ，ｄと遮蔽情報との関係の概念図が示されている。例えば、「カメラ１０１ａ－１０１ｂ」の図では、カメラ１０１ａ及び１０１ｂの２つのカメラ画像Ｉａ及びＩｂから算出した位置情報Ｐａ，ｂを基に、カメラ１０１ａのカメラ画像Ｉａの各々画素が含まれる領域が図化されている。具体的には、「視野外領域」である領域は黒色で表され、「遮蔽領域」である領域は斜線で表され、「被写体領域」である領域は白色（つまり、無着色無模様）で表される。図１０のカメラ１０１ａのカメラ画像Ｉａの右上領域、及び、カメラ１０１ｂのカメラ画像Ｉｂの左上領域がそれぞれ、遮蔽領域であるのに対し、位置情報に基づくと、カメラ１０１ａでの遮蔽領域とカメラ１０１ｂでの遮蔽領域との両方において３次元位置を計測できない。そのため、図１１の「カメラ１０１ａ－１０１ｂ」では、右上及び左上の領域に遮蔽領域が生じる。これに対し、他のカメラのペア、つまり画像ペアでは、遮蔽領域の場所が異なる。例えば、「カメラ１０１ａ－１０１ｃ」では、左上の領域が遮蔽領域ではなく、「カメラ１０１ｂ－１０１ｄ」では、右上の領域が遮蔽領域ではない。したがって、複数の画像ペアから算出した位置情報から、遮蔽されていない被写体領域、すなわち図１０中の白色の領域を、選択して集めることで、遮蔽領域のない位置情報を得ることができる。この考え方で、遮蔽されていない領域（白色領域）を集めたものが、ステップＳ４０３で選択された選択位置統合情報Ｐ’totalに対応する。例えば、当該４つのカメラのそれぞれで撮像したカメラ画像Ｉａ、Ｉｂ、Ｉｃ及びＩｄに関するＰ’totalはＰ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝である。例えば、Ｐ’ａ，ｂは図１１の「カメラ１０１ａ－１０１ｂ」における遮蔽されていない領域（白色領域）の位置情報、つまり、選択された対応点の組で特定される２つの対応点のそれぞれの画素を特定する画素ペア情報と、画素ペア情報で特定された画素のペアに対応する被写体上の点の３次元位置とを含む情報である。

各カメラの上記の遮蔽されていない領域（白色領域）について考えると、レンズによる遮蔽の影響を受けない領域では、複数の選択位置統合情報が得られる。例えば、カメラ１０１ａに着目しこれを基準カメラとすると、カメラ１０１ａ－１０１ｂ、１０１ａ－１０１ｃ及び１０１ａ－１０１ｄの３つのカメラペアのそれぞれに対するカメラ画像のペアに基づいた位置情報が得られる。これら３つの位置情報の統合について、以下に説明する。

ここで、図１２を参照すると、４つのカメラ１０１ａ～１０１ｄで被写体の位置情報を得る場合を説明する図が示されている。図１２において、４つのカメラについては図９Ａと同一の符号を付しており、計測点１５１が設定されている。カメラ１０１ａを基準カメラとする場合、カメラ１０１ａ－１０１ｂ、１０１ａ－１０１ｃ及び１０１ａ－１０１ｄのペアでそれぞれ、計測点１５１の位置情報である３次元位置の情報が取得される。カメラのペアから位置情報を取得する場合、カメラの間の距離である基線長が位置情報の誤差に影響することが知られている。視野角が魚眼レンズと比べて狭い一般的なカメラのペアによって位置情報を取得する場合、撮影される画像内で基線長は実用上ほぼ一定とみなすことができる。しかしながら、魚眼レンズを用いたカメラのペアによって位置情報を取得する場合、撮影される画像内で、基線長のみかけの長さの変化が大きい。この基線長のみかけの長さは、２つのカメラのレンズから被写体に至る２つの視線が形成する見込み角の大きさに対応し且つ相関する。このため、本明細書では、基線長のみかけの長さのことを、見込み角対応長と呼ぶ。見込み角対応長に関する説明は、後述する。そして、一方のカメラから見た他方のカメラの方向（つまり、基線方向）とカメラ画像内での他方のカメラの位置とに応じて、見込み角対応長が変化し、変化する見込み角対応長に応じて取得する位置情報の誤差が変化する。この点について特許文献１及び特許文献２では、複数の位置情報を統合するためにそれぞれ異なる重み付け加算を行っている。これらの重み付け加算により、それぞれ定性的に位置情報の誤差を低減することができるが、ここでは重み付け加算した統合結果の位置情報の誤差を、取得時の誤差要因を考慮して最小化する方法について説明する。

以下では、位置情報の誤差としてカメラの光学中心から画素の方向の奥行き（ｄｅｐｔｈ）についての誤差について述べる。位置情報を取得する際、これに用いる各カメラは予めキャリブレーションされており、カメラによって撮影されるカメラ画像の画素座標（ｕ，ｖ）と被写体位置からカメラの光学中心への光線の入射角との関係、すなわち、画素座標（ｕ，ｖ）を通る光線の３次元空間についての式は既知である。そのため、奥行き（ｄｅｐｔｈ）と位置情報（Ｘ，Ｙ，Ｚ）とはカメラパラメタを用いて相互に変換が可能である。

カメラによって撮影されたカメラ画像には、暗電流、ショットノイズ等のノイズが含まれる。これらのノイズはガウス分布でモデル化される。

ステレオ測距時には、対応点の画素値が等しいことを前提として計算するが、ノイズを含む画像間で対応付け、すなわち視差推定を行うと、視差推定値に誤差が生じる。視差の誤差は、下記の式５に示す様にノイズの大きさとエピポーラ線に沿う方向の輝度勾配との比に比例する。

上記の式５において、Δｕは視差の誤差であり、εは画素値のノイズであり、∂Ｉ／∂ｎはエピポーラ線方向の画素値の勾配つまり輝度勾配である。ここで、魚眼レンズの射影モデルとして等距離射影を仮定すると、視差推定結果の角度誤差ΔΦも、下記の式６に示すようにノイズの大きさとエピポーラ線に沿う方向の輝度勾配との比に比例する。また、式５及び式６において、ノイズεは、下記の式７のように示される。すなわち、ノイズεは、平均０、分散σ^２の正規分布に従う。

次に、２つのカメラ（カメラ１及びカメラ２）による三角測量における見込み角対応長と角度誤差との関係について、図１３を用いて説明する。図１３において、投影中心１６１は、２つのカメラの片方のカメラ１の投影中心であり、投影中心１６２は他方のカメラ２の投影中心である。計測点１６３は、カメラ１及び２を用いて三角測量を行う対象点である。視線１６４は、カメラ１から計測点１６３を見た視線であり、視線１６５は、カメラ２から計測点１６３を見た視線である。基線長１６６は、カメラ１とカメラ２との間の実際の距離である。見込み角対応長１６７は、計測点１６３からカメラ１及び２を見たときのカメラ間の見掛けの距離に相当し、計測点１６３からの見かけの基線長でもある。

視線１６４及び１６５それぞれの方向の直線１６４ａ及び１６５ａは、計測点１６３において、角度Φの内角を形成する。角度Φは、カメラ１及び２から計測点１６３を見た場合の見込み角でもある。見込み角Φの二等分線である直線１６８に垂直な線分のうちで、カメラ２の投影中心１６２に一方の端点を有し且つ直線１６４ａ上に他方の端点を有する線分１６７ａの長さが、見込み角対応長１６７となる。カメラ２の投影中心１６２から二等分線１６８に下ろした垂線が直線１６４ａと交差する点と、投影中心１６２との距離が、見込み角対応長１６７ともいえる。直線１６８は、線分１６７ａの垂直二等分線となる。また、見込み角対応長は、線分１６７ａに平行である線分１６９ａの長さであってもよい。線分１６９ａは、カメラ１の投影中心１６１に一方の端点を有し且つ直線１６５ａ上に他方の端点を有する。線分１６９ａの長さである見込み角対応長１６９も、計測点１６３からカメラ１及び２を見たときのカメラ間の見掛けの距離に相当する。

見込み角対応長１６７は、見込み角Φを中心角とする扇形におけるカメラ２の投影中心１６２を通る弦の長さでもある。見込み角対応長１６９は、見込み角Φを中心角とする扇形におけるカメラ１の投影中心１６１を通る弦の長さでもある。このように、見込み角対応長は、カメラ１又は２の投影中心１６１又は１６２における、中心角Φの扇形の弦方向での見込み角Φの内側領域の幅である。見込み角Φの内側領域は、視線１６４及び１６５の内側領域である。

また、見込み角対応長は、見込み角対応長１６７及び１６９に限定されない。例えば、見込み角対応長は、見込み角Φを中心角とする扇形のいずれの弦であってもよい。例えば、見込み角対応長は、線分１６７ａ及び１６９ａに平行であり且つ両端を直線１６４ａ及び１６５ａ上に有するいかなる線分の長さであってもよい。このような見込み角対応長に対応する線分は、線分１６７ａ及び１６９ａの間に位置してもよい。

また、見込み角対応長は、直線１６４ａ及び１６５ａの内角である見込み角Φで代用されてもよい。見込み角Φは、見込み角対応長と同様の挙動を有し相関する。これにより、見込み角Φの変化は、見込み角対応長の変化を示すことができ、見込み角対応長の変化と１対１で対応する。具体的には、見込み角Φが大きくなれば、見込み角対応長が長くなり、見込み角Φが小さくなれば、見込み角対応長が短くなる。見込み角Φと、計測点１６３と投影中心１６１又は１６２との距離とにより、見込み角対応長の算出が可能である。

キャリブレーションされたカメラでは、上記の式２の関係からカメラ画像中の座標値からカメラの視線方向（つまり、視線方向のベクトル）を計算できる。ここで、カメラｉの視点座標系における計測点の座標（ｘ，ｙ，ｚ）＝（Ｘｉ，Ｙｉ，Ｚｉ）とする。そして、式２において、カメラ１の視点座標系における計測点の座標（ｘ，ｙ，ｚ）＝（Ｘ１，Ｙ１，Ｚ１）、カメラ１が当該計測点を含む被写体を撮影したカメラ画像における計測点の画像の座標を（ｕ，ｖ）＝（ｘ１，ｙ１）、カメラ２が当該計測点を含む被写体を撮影したカメラ画像における計測点の画像の座標を（ｕ，ｖ）＝（ｘ２，ｙ２）とすると、（ｘ１，ｙ１）から（Ｘ１，Ｙ１，Ｚ１）への視線ベクトル（ａ１，ｂ１，ｃ１）は以下のように求められる。カメラ１の画像中における計測点（Ｘ１，Ｙ１，Ｚ１）の方位角をφ１とすると、ｔａｎφ１＝ｙ１／ｘ１より、φ１＝ｔａｎ^－１（ｙ１／ｘ１）であり、撮像面からの仰角をθ１とすると、式２よりθ１＝ｋ１・（ｘ１^２＋ｙ１^２）^１／２／ｆ１である。また、ｔａｎθ１＝（Ｘ１^２＋Ｙ１^２）^１／２／Ｚ１である。これらの関係から、視線ベクトル（ａ１，ｂ１，ｃ１）は下記の式８のようになる。

また、（ｘ２，ｙ２）から（Ｘ２，Ｙ２，Ｚ２）への視線ベクトル（ａ２，ｂ２，ｃ２）は、以下のように求められる。ここで、（Ｘ２，Ｙ２，Ｚ２）は、カメラ２の視点座標系における計測点の座標である（なお、（Ｘｉ，Ｙｉ，Ｚｉ）と（Ｘ２，Ｙ２，Ｚ２）とは物理的には同じ点を示し、座標系が異なっている。）。

カメラ２の画像中における計測点（Ｘ２，Ｙ２，Ｚ２）の方位角をφ２、撮像面からの仰角をθ２とすると、カメラ１の場合と同様にして求めた視線ベクトルにカメラ２の座標系からからカメラ１の座標系への変換行列Ｍ２１の回転成分（式１のｒ００～ｒ２２で示される成分）をかけることにより、視線ベクトル（ａ２，ｂ２，ｃ２）は、下記の式９のようになる。

以上のように、視線方向のベクトルと、カメラの位置及び姿勢を表す外部パラメタとによって、カメラの投影中心と被写体とを結ぶ視線方向の直線を３次元空間中で一意に求められる。そのため、カメラ１及びカメラ２の画像中の座標値から、２つの視線１６４及び１６５の方向の直線１６４ａ及び１６５ａの交点として、計測点１６３の３次元位置が計算される。

なお、上記の２つの視線方向の直線１６４ａ及び１６５ａは、カメラ画像間の対応付けの誤差及び量子化誤差により、厳密には交差しないことが生じうる。そのため、実際の計測点１６３の位置計算では、計測点１６３の３次元位置を２直線１６４ａ及び１６５ａから等距離にある点として求められることがある。なお、直線１６４ａ及び１６５ａから等距離にある点は、２直線１６４ａ及び１６５ａに共通な垂線を考え、各直線についての垂線の足の中点であってもよい。又は、計測点１６３の３次元位置を、片方のカメラを基準に考え、その投影中心から当該カメラの視線方向上の垂線の足の位置として求めてもよい。なお、２つの直線上の点間の距離を最小化する点の組は、両者が共有する垂線の脚になることについては後述する。

上記２つの視線１６４及び１６５の方向から、計測点１６３から見た２つのカメラ１及び２の角度Φは、下記の式１０から求められる。なお、カメラ１から（ａ１，ｂ１，ｃ１）へ向かうベクトルは、視線１６４の方向ベクトルつまり視線ベクトルであり、カメラ２から（ａ２，ｂ２，ｃ２）へ向かうベクトルは、視線１６５の視線ベクトルである。

見込み角対応長ｄ_ｅｆｆの条件で３角測量による測距をおこなうと、見込み角対応長の片方の位置（片方のカメラの視点に相当）から頂点（被写体位置に相当）までの距離ｄｅｐｔｈは、下記の式１１のように示される。例えば、図１３において、計測点１６３とカメラ２の投影中心１６２との距離が、距離ｄｅｐｔｈに相当する。そして、視点位置から見た角度Φに誤差ΔΦが重畳されると、距離ｄｅｐｔｈの誤差ｅｒｒ_depthは、下記の式１２のように示される。

上記式１２において、距離ｄｅｐｔｈの誤差ｅｒｒ_depthは、ノイズ（確率変数ε）の分数式で示されており、誤差ｅｒｒ_depthの分散を解析的に表すことはできないが、数値的に評価することは可能である。図１４はその一例である。図１４は、カメラから１ｍの位置、すなわち、着目カメラを覆う半径１ｍの半球上に位置する被写体について、σ＝１、∂Ｉ／∂ｎ＝５０、比例定数α＝０．０３の場合の、距離ｄｅｐｔｈの誤差の分散を示す。なお、σ＝１は、８ビットの画像においてＰＳＮＲ＝２０ｌｏｇ（２５５／１）＝４８．１ｄＢであることを意味する。図１４において、距離ｄｅｐｔｈの誤差の分散は、見込み角対応長ｄ_ｅｆｆのほぼ２乗に反比例している。

平均、分散の異なる確率変数（すなわち、誤差をともなう数値、ここでは距離ｄｅｐｔｈの取得値）に対しては、それらの重み付け加算についても平均及び分散を計算することができる。４眼カメラの場合、着目カメラを含むステレオペア（つまり、カメラのペア）は前述のように３通りになることから、３つの測距値が得られる。３通りの測距データの誤差ｘｉを、下記の式１３に示すような確率変数とみなすと、下記の式１４に示すように、３つの確率変数ｘ_１、ｘ_２及びｘ_３の重み付け和が求まる。なお、μｉは、複数の対応点における誤差ｘｉの平均であり、σｉ^２は、複数の対応点における誤差ｘｉの分散である。

重み付け加算値の分散を最小化するように重みα、β及びγを決めることで、個々の測距精度を上回る精度の測距値を得ることができる。その様なα、β及びγの値は、簡単のため誤差の平均μ_１、μ_２及びμ_３をそれぞれ０とすると、下記の式１５に示す関係から、下記の式１６に示すかたちで求まる。

図１４に示した関係から、３つのステレオペアにおける距離ｄｅｐｔｈの誤差の分散すなわち、σ_１ ^２、σ_２ ^２及びσ_３ ^２はそれぞれ、対応するステレオペアの見込み角対応長ｄ_ｅｆｆ１、ｄ_ｅｆｆ２及びｄ_ｅｆｆ３の約２乗に反比例する。この関係と式１６の結果とから、重み付け統合時の係数つまり重みα、β及びγの値は、個々のステレオペアによる測距時の見込み角対応長ｄ_ｅｆｆ１、ｄ_ｅｆｆ２及びｄ_ｅｆｆ３を用いて下記の式１７のように表される。

なお、式１１及び図１３より、図１３の計測点１６３から見たカメラ１及び２の角度（見込み角）Φは、見込み角対応長ｄ_ｅｆｆと比例関係にあるので、式１７に示した重みα、β及びγの値は、下記の式１８としても同じ効果が得られ、本開示に含まれる。

以上のことから、複数のカメラの中の着目するカメラｑについて、その画素座標値と位置情報との組を、着目カメラ視点における選択位置統合情報として下記の式１９のように表す。

着目カメラｑは、２×２＝４眼の場合、図１２に示されるように、左下（ＬＬ）視点、右下（ＬＲ）視点、左上（ＵＬ）視点、右上（ＵＲ）のいずれかである。着目カメラｑについて、例えば、ｑがカメラ１０１ａ（左下視点）の場合、下記の式２０又は式２１のように、複数の位置情報に含まれる誤差の分散に応じた重み付け加算を行うことにより、位置情報の誤差の分散を最小化した対応点の３次元位置を得ることができる。なお、重み付け加算の重みα、β及びγにおいて、式２０では、誤差の分散の代わりに、見込み角対応長の２乗が用いられ、式２１では、誤差の分散の代わりに、見込み角の２乗が用いられている。つまり、式２０及び式２１では、画像のノイズレベル及びステレオ視による３次元位置の誤差の分散を用いずに、これらに対応する見込み角対応長及び見込み角を用いて、重み付け加算がされている。

式２０及び式２１において、（ｘ_ａｎ，ｙ_ａｎ，ｚ_ａｎ）は計測点の３次元位置であり、カメラ１０１ａが当該計測点を撮像した画像はカメラ１０１ａのカメラ画像における画素座標（ｕａｎ，ｖａｎ）で観察されることを意味する。また、（ｘ_{（ａ－ｂ）ｎ}，ｙ_{（ａ－ｂ）ｎ}，ｚ_{（ａ－ｂ）ｎ}）は、上記の式４において、ｑをカメラ１０１ａに対応するａとし、ｒをカメラ１０１ｂに対応するｂとしたものである。つまり、（ｘ_{（ａ－ｂ）ｎ}，ｙ_{（ａ－ｂ）ｎ}，ｚ_{（ａ－ｂ）ｎ}）は、カメラ１０１ａ及び１０１ｂの２つのカメラ画像間で、ステレオ視によって求められる３次元位置を示す。（ｘ_{（ａ－ｃ）ｎ}，ｙ_{（ａ－ｃ）ｎ}，ｚ_{（ａ－ｃ）ｎ}）についても同様に、上記の式４において、ｑをカメラ１０１ａに対応するａとし、ｒをカメラ１０１ｃに対応するｃとしたものである。（ｘ_{（ａ－ｄ）ｎ}，ｙ_{（ａ－ｄ）ｎ}，ｚ_{（ａ－ｄ）ｎ}）についても同様に、上記の式４において、ｑをカメラ１０１ａに対応するａとし、ｒをカメラ１０１ｄに対応するｄとしたものである。（ｘ_{（ａ－ｃ）ｎ}，ｙ_{（ａ－ｃ）ｎ}，ｚ_{（ａ－ｃ）ｎ}）は、カメラ１０１ａ及び１０１ｃの２つのカメラ画像間のステレオ視による３次元位置を示す。（ｘ_{（ａ－ｄ）ｎ}，ｙ_{（ａ－ｄ）ｎ}，ｚ_{（ａ－ｄ）ｎ}）は、カメラ１０１ａ及び１０１ｄの２つのカメラ画像間のステレオ視による３次元位置を示す。

さらに、式２０のｄ_{ｅｆｆ，（ａ－ｂ）ｎ}は、カメラ１０１ａ及びカメラ１０１ｂで位置（ｘ_{（ａ－ｂ）ｎ}，ｙ_{（ａ－ｂ）ｎ}，ｚ_{（ａ－ｂ）ｎ}）を三角測量する場合の見込み角対応長である。同様に、ｄ_{ｅｆｆ，（ａ－ｃ）ｎ}は、カメラ１０１ａ及びカメラ１０１ｃで位置（ｘ_{（ａ－ｃ）ｎ}，ｙ_{（ａ－ｃ）ｎ}，ｚ_{（ａ－ｃ）ｎ}）を三角測量する場合の見込み角対応長であり、ｄ_{ｅｆｆ，（ａ－ｄ）ｎ}は、カメラ１０１ａ及びカメラ１０１ｄで位置（ｘ_{（ａ－ｄ）ｎ}，ｙ_{（ａ－ｄ）ｎ}，ｚ_{（ａ－ｄ）ｎ}）を三角測量する場合の見込み角対応長である。

また、式２１のΦ_{（ａ－ｂ）ｎ}は、カメラ１０１ａ及びカメラ１０１ｂで位置（ｘ_{（ａ－ｂ）ｎ}，ｙ_{（ａ－ｂ）ｎ}，ｚ_{（ａ－ｂ）ｎ}）を三角測量する場合の見込み角である。同様に、Φ_{（ａ－ｃ）ｎ}は、カメラ１０１ａ及びカメラ１０１ｃで、位置（ｘ_{（ａ－ｃ）ｎ}，ｙ_{（ａ－ｃ）ｎ}，ｚ_{（ａ－ｃ）ｎ}）を三角測量する場合の見込み角であり、Φ_{（ａ－ｄ）ｎ}は、カメラ１０１ａ及びカメラ１０１ｄで、位置（ｘ_{（ａ－ｄ）ｎ}，ｙ_{（ａ－ｄ）ｎ}，ｚ_{（ａ－ｄ）ｎ}）を三角測量する場合の見込み角である。

式２０又は式２１によって、カメラ１０１ａにおける画素座標（ｕａｎ，ｖａｎ）に対応する３次元座標（ｘ_ａｎ，ｙ_ａｎ，ｚ_ａｎ）が、カメラ１０１ａを基準としてカメラ１０１ａ～１０１ｄによって形成される３つのカメラペア１０１ａ－１０１ｂ、１０１ａ－１０１ｃ及び１０１ａ－１０１ｄの画像ペア（Ｉａ，Ｉｂ）、（Ｉａ，Ｉｃ）及び（Ｉａ，Ｉｄ）それぞれにおけるステレオ視による３次元位置を用いて算出される。

式２０では、（ｘ_ａｎ，ｙ_ａｎ，ｚ_ａｎ）を算出するために、カメラペアのカメラ画像のペアに基づく３次元座標の座標値に見込み角対応長を用いた重み付け値が加味されている。例えば、カメラ画像ペアＩａ及びＩｂに基づく３次元座標のｘ座標値に見込み角対応長を用いた重み付け値が積算され、カメラ画像ペアＩａ及びＩｃに基づく３次元座標のｘ座標値に見込み角対応長を用いた重み付け値が積算され、カメラ画像ペアＩａ及びＩｄに基づく３次元座標のｘ座標値に見込み角対応長を用いた重み付け値が積算され、この３つの積算値が加算されてｘ_ａｎが算出される。加味される重みは、上記の式１７に示すように、各見込み角対応長の２乗を見込み角対応長の２乗の総和で除算したもの、つまり、（見込み角対応長の２乗）／（見込み角対応長の２乗の総和）である。このような重みは、見込み角対応長の２乗が正規化されたものであり、重みの総和が１となる。

式２１では、（ｘ_ａｎ，ｙ_ａｎ，ｚ_ａｎ）を算出するために、カメラペアのカメラ画像のペアに基づく３次元座標の座標値に、見込み角を用いた重み付け値が加味されている。例えば、カメラ画像ペアＩａ及びＩｂに基づく３次元座標のｘ座標値に見込み角を用いた重み付け値が積算され、カメラ画像ペアＩａ及びＩｃに基づく３次元座標のｘ座標値に見込み角を用いた重み付け値が積算され、カメラ画像ペアＩａ及びＩｄに基づく３次元座標のｘ座標値に見込み角を用いた重み付け値が積算され、この３つの積算値が加算されてｘ_ａｎが算出される。加味される重みは、上記の式１８に示すように、各見込み角の２乗を見込み角の２乗の総和で除算したもの、つまり、（見込み角の２乗）／（見込み角の２乗の総和）である。このような重みは、見込み角の２乗が正規化されたものであり、重みの総和が１となる。

図１５～図１７に上記方法で位置情報を統合した場合の一例を示す。図１５は、４眼の魚眼レンズを有する撮像部１００によるステレオ画像の一例である。図１５は、カメラ１０１ａ～１０１ｂのカメラ画像を示す。図１６は、位置情報の統合に用いたカメラ１０１ａのカメラ画像であり、カメラ画像中のポール位置がフレーム毎に異なる様に配置されている。図１６は、６つのフレームのカメラ画像を示し、６つのフレームの間では、被写体のうちのポールと撮像部１００との距離がそれぞれ異なっている。具体的には、フレーム１からフレーム６に向かうに従って、上記距離が大きくなる。図１７は、評価画像中で位置統合の評価を行った場所を示す図である。図１７では、それぞれのフレームで白い領域（つまり、無着色無模様領域）、すなわちポールの領域について、ＣＧ作成時に用意したポールの３次元位置と三角測量によって計算されたポールの３次元位置との差異から、位置情報の統合方法の比較を行うことができる。図１７のフレーム１～６はそれぞれ、図１６のフレーム１～６に対応する。

ここで、位置情報の誤差の評価は、着目視点のカメラ（ここではカメラ１０１ａ）の各画素から見た位置情報で示される位置までの奥行き値、ｄｅｐｔｈａを用いて行う。奥行き値ｄｅｐｔｈａｎと位置情報（ｘ_ａｎ，ｙ_ａｎ，ｚ_ａｎ）との関係は、下記の式２２で表される。

なお、式１３～式１７による上記の説明では、すべてのステレオペア、つまり画像ペアで遮蔽が生じていない場合の統合方法を示した。しかしながら、１組のステレオペアで遮蔽が生じている場合には、残りの２組のステレオペアによる測距値の重み付け統合を行うことにより、統合値が、選択位置統合情報として出力される。また、２組のステレオペアで遮蔽が生じている場合には、残りの１組のステレオペアによる測距値が、選択位置統合値として出力される。これにより、遮蔽の影響を受けずに測距値を選択統合できる。

図１８を参照すると、上記の奥行き値ｄｅｐｔｈａの相対測距誤差（相対ＲＭＳ誤差とも呼ばれる）が比較して示されている。図１８における相対ＲＭＳ誤差は、図１６に示す６フレームのカメラ画像それぞれについて、図１７でポールの領域である評価領域における測距誤差から計算されている。図１８の結果から、同じ被写体であっても三角測量するカメラペアに応じて測距精度が異なることがわかる。特許文献１及び２に開示されている統合方法によって、測距誤差は低減されているが、３つのステレオペアのうちで最良のステレオペア（１０１ａ－１０１ｂ）による測距誤差を下回ることはできていない。これに対し、見込み角対応長の－２乗で重み付けを行う本実施の形態の統合方法では、最良のステレオペア（１０１ａ－１０１ｂ）による測距誤差を下回る測距誤差で位置情報を統合できている。

このように、ステップＳ４０３では、位置選択統合部１１２は、遮蔽情報に基づいて、遮蔽されていない領域の位置情報を選択し、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝を生成し、さらに選択した位置情報を見込み角対応長に基づいて重みづけ加算して、着目カメラ視点における選択位置統合情報Ｐ”ｑを生成する。

次に、ステップＳ４０４では、画像補完部１１３は、撮像部１００のカメラ１０１ａ～１０１ｄで撮影された複数のカメラ画像と、ステップＳ４０１で読み出された遮蔽情報、並びに、カメラ１０１ａ～１０１ｄの内部パラメタ及び外部パラメタと、ステップＳ４０３で生成された選択位置統合情報Ｐ’totalと、着目カメラ視点における選択位置統合情報Ｐ”ｑとを取得する。さらに、画像補完部１１３は、カメラ画像の遮蔽領域の画素の画素値を、選択位置統合情報に基づいて、他の画像の画素の画素値に基づく値で置き換えることで補完画像を生成し、補完画像と着目カメラ視点における選択位置統合情報Ｐ”ｑとを出力する。

以下、ステップＳ４０４の処理の詳細を説明する。本実施の形態では、画像Ｉａにおける遮蔽領域の画素の画素値を、他の３つの画像Ｉｂ、Ｉｃ及びＩｄと、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝とを用いて補完する場合を説明する。

ステップＳ４０４では、画像補完部１１３は、最初に、選択位置統合情報Ｐ’totalの全位置情報について、画像Ｉａ上の画素座標（ｕａ，ｖａ）を算出する。選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝を用いて算出される画像Ｉａ上の画素座標には、遮蔽情報を対応付けることができる。

画像Ｉａ上の画素座標を算出する方法は以下の通りである。選択位置統合情報Ｐ’totalに含まれ且つカメラ１０１ｂ、１０１ｃ及び１０１ｄに対応するカメラｑの座標系の３次元位置（ｘｑ，ｙｑ，ｚｑ）と、カメラ１０１ａ及びカメラｑの外部パラメタＭｑ，ａとを用いて、カメラ１０１ａの座標系で、画像Ｉａの各画素に映し出される被写体の３次元位置（ｘａ，ｙａ，ｚａ）を算出する。カメラ１０１ａ及び１０１ｂの場合に関して、各カメラの座標系ＸａＹａＺａ及びＸｂＹｂＺｂと、カメラの外部パラメタＭａ，ｂとの関係を図１９に示す。そして、３次元位置（ｘａ，ｙａ，ｚａ）とカメラ１０１ａの内部パラメタ（ｆ，ｋ）と用いて、下記の式２３に基づき、カメラ１０１ａの画素座標（ｕａ，ｖａ）を算出することができ、これによりカメラ１０１ａの視点での遮蔽領域における距離値を生成することができ、着目視点での選択位置統合情報Ｐ”ａに遮蔽領域（ｕａ，ｖａ）における距離値の情報を追加する。

以上述べた方法により、カメラ１０１ａの遮蔽領域における距離画像を生成できるのは、以下の理由による。つまり、ステップＳ４０３に関して上述したように、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝に含まれる３次元位置では、ステレオカメラペアの双方の画像中で「被写体領域」に写っているものだけが選択されている。そのため、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝に含まれる３次元位置のうち、カメラ１０１ａの「遮蔽領域」の画素位置に（ｕａ，ｖａ）が算出される３次元位置は、カメラ１０１ａを含まないカメラペアにより算出された３次元位置になる。

なお、上記の説明では簡単のために３次元位置からカメラ１０１ａの２次元画像への投影による方法について説明したが、カメラ１０１ａの遮蔽領域中の同一画素に選択位置統合情報Ｐ’totalに含まれる３次元位置が複数回投影される場合には、被写体領域において行った見込角対応長を用いた重み付け加算による高精度化を行ってもよい。

次に、ステップＳ４０４では、画像補完部１１３は、画像Ｉａの全ての画素のうち、遮蔽情報Ｏａ（ｕ，ｖ）が「遮蔽領域」である画素の座標（ｕ，ｖ）を抽出する。これを遮蔽画素ｏａｊ＝（ｕａｊ，ｖａｊ）と呼ぶ。次に、画像補完部１１３は、各遮蔽画素について、先に求めた選択位置統合情報Ｐ’totalから、カメラ１０１ａの画素座標（ｕａ，ｖａ）と、遮蔽画素の画素座標（ｕａｊ，ｖａｊ）との画像上での距離が最も近い対応点の位置情報を選択する。そして、画像補完部１１３は、選択した対応点で対応付けられる２つの画像Ｉｑ及びＩｒに関して、画像Ｉｑ及びＩｒ上での対応点の画素値ｉｑ（ｕｑｎ，ｖｑｎ）及びｉｒ（ｕｒｎ，ｖｒｎ）から対応点の画素値を算出し、この画素値を、画素座標（ｕａｊ，ｖａｊ）である画像Ｉａの遮蔽画素の画素値として設定する。２つの画像Ｉｑ及びＩｒ上の対応点の画素値ｉｑ（ｕｑｎ，ｖｑｎ）及びｉｒ（ｕｒｎ，ｖｒｎ）から、１つの画素値を算出する手法として、ここでは平均画素値を用いるものとする。さらに、画像補完部１１３は、上述の処理を遮蔽画素のすべてに繰り返し、画像Ｉａの遮蔽領域の全ての画素を新たな画素値に設定する。上記した画像補完のステップＳ４０４の詳細な動作により、補完画像が生成される。なお、遮蔽領域に含まれない画素の画素値は、変更することなく使用すればよい。

図２０Ａ及び図２０Ｂはそれぞれ、補完画像及び着目カメラ視点における選択位置統合情報Ｐ”ｑの例を示す。図２０Ａは、図９Ａ中の「カメラ１０１ａ」のカメラ画像のうち、隣接するレンズ等により遮蔽される遮蔽領域を、選択位置統合情報を用いて、他の画像の画素値で置き換えて生成した画像である。図９Ｂの各カメラ画像では、右端の車両の多くの部分が遮蔽されているのに対し、図２０Ａの補完画像では、車両が遮蔽されていない。また、図２０Ｂは、カメラ１０１ａの視点における選択位置統合情報Ｐ”ａの情報から、画像Ｉａでの画素座標値と、各画素座標値に対応する３次元点とカメラ１０１ａとの距離に比例する輝度値とを算出し、濃淡画像として表した図である。

このように、ステップＳ４０４では、画像補完部１１３は、基準画像上の遮蔽領域の画素について、選択位置統合情報Ｐ’total＝｛Ｐ’ａ，ｂ、Ｐ’ａ，ｃ、Ｐ’ａ，ｄ、Ｐ’ｂ，ｃ、Ｐ’ｂ，ｄ、Ｐ’ｃ，ｄ｝と他の画像とに基づいて、画素値を決定し、遮蔽領域を補完した補完画像を生成する。

最後に、ステップＳ４０５では、障害物検出部１２０は、補完画像と選択位置統合情報とを取得し、選択位置統合情報に基づいて障害物等の３次元物体を検出し、検出した３次元物体の位置に対応する補完画像上の領域に、注視領域を示す枠を重畳合成して合成画像として出力する。

本実施の形態において、選択位置統合情報に基づいて障害物を検出する手法として、選択位置統合情報の被写体の各３次元位置（ｘａ，ｙａ，ｚａ）とカメラ１０１ａとの距離ｄが、予め定められた距離ｄｔｈよりも小さい場合に、障害物上の点として検出する手法を用いる。さらに、障害物として検出された点の集まりの外接矩形が、補完画像に重畳され、合成画像として出力され、ディスプレイ１３０に表示される。

このように、ステップＳ４０５では、障害物検出部１２０は、予め定めた閾値よりも近い位置に障害物等の３次元物体が存在する場合に、補完画像の対応する領域に注意を喚起する図形を重畳した合成画像を生成し、ディスプレイ１３０に出力する。

以上のコンピュータ３００で実行されるステップＳ４０１～Ｓ４０５の処理によって、撮像部１００で撮像された４つのカメラ画像から、画像処理部１１０では１つの補完画像と着目カメラ視点における選択位置統合情報とが生成され、障害物検出部１２０では１つの合成画像が生成され、それぞれ出力される。さらに、撮像部１００及びコンピュータ３００は、上記の動作を繰り返してもよい。

ステップＳ４０５によって生成される合成画像の例を、図２１に示す。図２１から、自動車の車体後方のカメラに近い場所にある障害物（この例では、歩行者及び停止車両）に注意を喚起する枠が表示されるため、接触する可能性が高い障害物の存在を運転者が容易に認知できる。特に、従来技術による魚眼のカメラを用いた３次元位置算出方法では、カメラ本体によって遮蔽されるために画像及び画像に対応する３次元位置を取得できない領域についても、本実施の形態の撮像装置１は、例えば１８０度内の遮蔽のない画像と当該画像に対応する３次元位置とを取得できる。例えば、図９Ｂにおける「カメラ１０１ａ」の画像中の右側の車両は、その一部の領域がレンズにより遮蔽されている。しかしながら、撮像装置１は、図２０Ａのように、１８０度内の遮蔽領域のない画像と当該画像に対応する３次元位置とを取得することができる。さらに、撮像装置１は、図２１のように遮蔽領域のない合成画像を表示できる。

上述したように、カメラ画像のノイズは、カメラ画像間の対応点のマッチング際のマッチング誤差の原因となり得る。そして、マッチング誤差は、三角測量時の角度誤差を生じさせ、カメラによるステレオ視で特定される３次元位置に誤差を生む。実施の形態に係る撮像装置１は、ノイズの分布をもとに、ステレオ視における３次元位置の誤差の分散を推定し、この分散を最小化する様に複数のステレオペア（つまり、カメラのペア）で測定された誤差を含む３次元位置を、見込み角対応長又は見込み角を用いた重みで重み付け加算することにより３次元位置の誤差を最小化することができる。画像のノイズレベルは、信号が一様なところでは画像から推定することができるが、信号が変化している場合には推定が困難になる。これに対して、見込み角対応長及び見込み角は、キャリブレーションされたカメラでは画素座標とカメラから見た視線方向との対応付けができているため、ステレオマッチングによる画像間の対応付けから一意に計算することが容易にできる。

［その他］
以上、本開示の１つ以上の態様に係る撮像装置等について、実施の形態に基づいて説明したが、本開示は、実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つ以上の態様の範囲内に含まれてもよい。

例えば、実施の形態に係る撮像装置１において、撮像部１００は４つのカメラ１０１ａ～１０１ｄで構成されるものとしたが、カメラの数量は４つに限定されるものではない。あるカメラの画像に含まれる他のカメラによる遮蔽を補うためには、少なくとも３つのカメラがあればよく、３つ以上のいかなる数量のカメラが設けられてもよい。

実施の形態に係る撮像装置１において、撮像装置１に含まれる複数のカメラのうちの１つのカメラに含まれる画素の画素値が、当該１つのカメラの部分を撮像した値を示す場合も、当該画素が遮蔽領域に含まれるとしてもよい。

実施の形態に係る撮像装置１において、複数のカメラ画像のペアの入力を受けて、ステップＳ４０２～Ｓ４０４までの処理を順次行うとしたが、ステップＳ４０２～Ｓ４０４の処理が１度に取り扱うデータ量を、カメラ画像のペア毎に限定するものではなく、カメラ画像中の一部の領域ごと、又は、画素ごとに、ステップＳ４０２～Ｓ４０４の処理を繰り返してもよい。

実施の形態に係る撮像装置１において、ステップＳ４０４で、遮蔽領域に含まれる画素の画素値を他の画像の画素値から補完する方法として、遮蔽領域に含まれる画素の最近傍の対応点の画素の画素値を用いるとしたが、この方法に限定するものではない。選択位置統合情報に含まれる対応点の情報を用いて、遮蔽領域に含まれない画像の画素の画素値に基づいて、遮蔽領域の画素の画素値を設定する方法であれば、どのような方法であってもよい。例えば、遮蔽領域の画素とある一定距離以内の複数の対応点に基づいて、遮蔽領域に含まれない画像上の複数の画素とそれらの画素値とを参照して画素値を重みづけ加算する、などの方法を用いてもよい。

実施の形態に係る撮像装置１において、ステップＳ４０２で、複数の画素について対応点を検出して３次元位置を算出したのち、ステップＳ４０３で、複数の画素のうち遮蔽領域に含まれない画素を選択する手順とした。しかしながら、遮蔽領域に含まれない画素を選択するための手順は上記に限定されるものではなく、結果として遮蔽領域に含まれない画素を選択することができれば、どのような手順であってもよい。例えば、画素の位置座標を算出したのちに、遮蔽領域に含まれない画素を選択する手順の代わりに、遮蔽情報を用いて遮蔽領域に含まれない画素を選択し、その後、選択した画素について対応点の検出とその３次元位置の算出とを行ってもよい。この手順は、実施の形態で説明した手順に比べて、対応点の検出及び３次元位置の算出が行われる画素の数が少ないため、計算量を削減できるという効果がある。

実施の形態に係る撮像装置１は、自動車に搭載されていたが、搭載対象は、これに限定されない。撮像装置１は、複数のカメラで被写体とその被写体の３次元位置とを計測するいかなる用途に適用されてもよい。例えば、撮像装置１は、自動車以外のいかなる移動体に搭載されてもよく、監視カメラのような固定された対象物に搭載されてもよい。

また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。

例えば、上記実施の形態に係る撮像装置に含まれる各構成要素は典型的には集積回路であるＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、図６に示す様にＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記構成要素の一部又は全部は、脱着可能なＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。

本開示の画像処理方法は、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、２つの直線上の点間の距離を最小化する点の組は、両者が共有する垂線の脚になることについて、以下に説明する。２つの直線のうちの直線１を、

とし、２つの直線のうちの直線２を、

とする。ここで、（Ｘ_１，Ｙ_１，Ｚ_１）はカメラ１の位置であり、（Ｘ_２，Ｙ_２，Ｚ_２）はカメラ２の位置である。（ａ_１，ｂ_１，ｃ_１）及び（ａ_２，ｂ_２，ｃ_２）はそれぞれ、カメラ１及びカメラ２の視線ベクトルを示す単位方向ベクトルとする。ｓはカメラ１からの距離を表し、ｔはカメラ２からの距離を表す。

なお、単位方向ベクトル（ａ_１，ｂ_１，ｃ_１）及び（ａ_２，ｂ_２，ｃ_２）はそれぞれ、あらかじめカメラ１及びカメラ２をキャリブレーションしておくことにより、カメラ１及びカメラ２の画像中の任意の画素座標値（ｘ，ｙ）について一意にそれらの値が決まる様にしておく（すなわち、どの画素がどの方向に対応するか、事前に校正しておく）。

そして、直線１上の点は、（Ｘ_１＋ｓａ_１，Ｙ_１＋ｓｂ_１，Ｚ_１＋ｓｃ_１）と表され、直線２上の点は、（Ｘ_２＋ｔａ_２，Ｙ_２＋ｔｂ_２，Ｚ_２＋ｔｃ_２）と表される。さらに、直線１上の点と直線２上の点との距離の２乗Ｊは、

となる。

視差推定が誤差なく正しく行われている場合には、直線１と直線２とは通常１点で交差するが、視差推定に誤差が含まれると、両者が交差しない場合が起こりえる。その様な場合も含めて、上記Ｊを最小化するｓ及びｔを求めることにより、カメラ１及びカメラ２からの距離を求めることができる。

上記Ｊを最小にするｓ及びｔは、

より、

を解くことによって、

として求めることができる。なお、上式中の逆行列は、（ａ_１，ｂ_１，ｃ_１）＝（ａ_２，ｂ_２，ｃ_２）、すなわち２直線が平行な場合を除き、計算することができる。また、２直線が平行な場合、被写体が無限遠にあると考え、ｓ＝∞、ｔ＝∞と考えればよい。

以上のようにして求めたｓ及びｔについて、カメラ１を基準に考えるとｓがカメラ１の位置（Ｘ_１，Ｙ_１，Ｚ_１）からの距離を表し、一方、カメラ２を基準に考えるとｔがカメラ２の位置（Ｘ_２，Ｙ_２，Ｚ_２）からの距離を表す。

なお、カメラ１及びカメラ２のどちらかのカメラを基準カメラとして考えるのではなく、上記２点の中点である

を２直線の交点と考えてもよい。

なお、Ｊを最小にする点の組（Ｘ_１＋ｓａ_１，Ｙ_１＋ｓｂ_１，Ｚ_１＋ｓｃ_１），（Ｘ_２＋ｔａ_２，Ｙ_２＋ｔｂ_２，Ｚ_２＋ｔｃ_２）の意味について考える。点（Ｘ_１＋ｓａ_１，Ｙ_１＋ｓｂ_１，Ｚ_１＋ｓｃ_１）は直線１上の点の中で、直線２に最も近い点である。点（Ｘ_２＋ｔａ_２，Ｙ_２＋ｔｂ_２，Ｚ_２＋ｔｃ_２）は直線２上の点の中で点（Ｘ_１＋ｓａ_１，Ｙ_１＋ｓｂ_１，Ｚ_１＋ｓｃ_１）に最も近い点、すなわち、点（Ｘ_１＋ｓａ_１，Ｙ_１＋ｓｂ_１，Ｚ_１＋ｓｃ_１）から直線２に降ろした垂線の足である。一方、点（Ｘ_２＋ｔａ_２，Ｙ_２＋ｔｂ_２，Ｚ_２＋ｔｃ_２）は直線２上の点の中で、直線１に最も近い点である。点（Ｘ_１＋ｓａ_１，Ｙ_１＋ｓｂ_１，Ｚ_１＋ｓｃ_１）は直線１上の点の中で点（Ｘ_２＋ｔａ_２，Ｙ_２＋ｔｂ_２，Ｚ_２＋ｔｃ_２）に最も近い点、すなわち、点（Ｘ_２＋ｔａ_２，Ｙ_２＋ｔｂ_２，Ｚ_２＋ｔｃ_２）から直線１に降ろした垂線の足である。

以上のことから、上記Ｊを最小にするｓ及びｔによって決まる２点（Ｘ_１＋ｓａ_１，Ｙ_１＋ｓｂ_１，Ｚ_１＋ｓｃ_１）及び（Ｘ_２＋ｔａ_２，Ｙ_２＋ｔｂ_２，Ｚ_２＋ｔｃ_２）を通る直線は、直線１及び直線２の双方に垂直な直線、すなわち、直線１及び直線２について共通の垂線になっている。

本開示に係る撮像装置等は、３眼以上のいかなる複眼カメラに有用である。

１撮像装置
１００撮像部
１０１，１０１ａ～１０１ｄカメラ
１１０画像処理部
１１１位置算出部
１１２位置選択統合部
１１３画像補完部
１１４カメラパラメタ記憶部
１１５カメラパラメタ取得部
１２０障害物検出部
１３０ディスプレイ

Claims

複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する撮像装置であって、
少なくとも３つのカメラを有し、前記カメラそれぞれにより画像を撮影する撮像部と、
前記カメラそれぞれのカメラパラメタを記憶するカメラパラメタ記憶部と、
処理回路とを備え、
前記処理回路は、
前記画像及び前記カメラパラメタを取得し、
前記画像から複数の画像のペアを抽出し、
前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
重み付け加算値を適用した前記計測点の位置情報を出力し、
前記重み付け加算では、
前記重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定する、
撮像装置。
前記少なくとも３つのカメラそれぞれの視野角は、１８０度以上である
請求項１に記載の撮像装置。
複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する撮像装置であって、
少なくとも３つのカメラを有し、前記カメラそれぞれにより画像を撮影する撮像部と、
前記カメラそれぞれのカメラパラメタを記憶するカメラパラメタ記憶部と、
処理回路とを備え、
前記処理回路は、
前記画像及び前記カメラパラメタを取得し、
前記画像から複数の画像のペアを抽出し、
前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
重み付け加算値を適用した前記計測点の位置情報を出力し、
前記重み付け加算では、
前記見込み角対応長の２乗をその総和で正規化したものを用いる、
撮像装置。
複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する撮像装置であって、
少なくとも３つのカメラを有し、前記カメラそれぞれにより画像を撮影する撮像部と、
前記カメラそれぞれのカメラパラメタを記憶するカメラパラメタ記憶部と、
処理回路とを備え、
前記処理回路は、
前記画像及び前記カメラパラメタを取得し、
前記画像から複数の画像のペアを抽出し、
前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
重み付け加算値を適用した前記計測点の位置情報を出力し、
前記重み付け加算では、
前記見込み角の２乗をその総和で正規化したものを用いる、
撮像装置。
前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、
前記処理回路は、前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完する
請求項１～４のいずれか一項に記載の撮像装置。
複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する画像処理方法であって、
（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、
（ａ２）前記カメラそれぞれのカメラパラメタを取得し、
（ａ３）前記画像から複数の画像のペアを抽出し、
（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対
応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力し、
処理（ａ１）～（ａ６）少なくとも１つは、プロセッサにより実行され、
前記重み付け加算では、
重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定する、
画像処理方法。
前記少なくとも３つのカメラそれぞれの視野角は、１８０度以上である
請求項６に記載の画像処理方法。
複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する画像処理方法であって、
（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、
（ａ２）前記カメラそれぞれのカメラパラメタを取得し、
（ａ３）前記画像から複数の画像のペアを抽出し、
（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対
応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力し、
処理（ａ１）～（ａ６）少なくとも１つは、プロセッサにより実行され、
前記重み付け加算では、
前記見込み角対応長の２乗をその総和で正規化したものを用いる、
画像処理方法。
複数の画像から被写体の３次元位置を算出し、前記複数の画像及び前記３次元位置の情報を出力する画像処理方法であって、
（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、
（ａ２）前記カメラそれぞれのカメラパラメタを取得し、
（ａ３）前記画像から複数の画像のペアを抽出し、
（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対
応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力し、
処理（ａ１）～（ａ６）少なくとも１つは、プロセッサにより実行され、
前記重み付け加算では、
前記見込み角の２乗をその総和で正規化したものを用いる
画像処理方法。
請求項６～９のいずれか一項に記載の画像処理方法において、
前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、
前記画像処理方法はさらに、
（ｂ１）前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完する
画像処理方法。
（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、
（ａ２）前記カメラそれぞれのカメラパラメタを取得し、
（ａ３）前記画像から複数の画像のペアを抽出し、
（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力すること
を、コンピュータに実行させ、
前記重み付け加算では、
重み付け加算値の分散を最小化するように、前記画像のペアそれぞれの前記３次元位置を特定する情報に付与する重みを決定する、
プログラム。
（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、
（ａ２）前記カメラそれぞれのカメラパラメタを取得し、
（ａ３）前記画像から複数の画像のペアを抽出し、
（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力すること
を、コンピュータに実行させ、
前記重み付け加算では、
前記見込み角対応長の２乗をその総和で正規化したものを用いる
プログラム。
（ａ１）少なくとも３つのカメラそれぞれにより撮影された画像を取得し、
（ａ２）前記カメラそれぞれのカメラパラメタを取得し、
（ａ３）前記画像から複数の画像のペアを抽出し、
（ａ４）前記複数の画像のペアと前記カメラパラメタとから、前記画像のペアそれぞれについて、前記画像のペアにそれぞれ含まれる画素のペアに対する計測点の３次元位置を特定する情報と前記画素のペアそれぞれの画素の位置を特定する情報とを含む位置情報を算出し、
（ａ５）前記位置情報及び前記カメラパラメタに基づき、前記画像のペアそれぞれに対応する前記カメラのペアにおける前記３次元位置に対する見込み角対応長又は見込角を用いた情報で、前記画像のペアそれぞれの前記３次元位置を特定する情報を重み付け加算し、
（ａ６）重み付け加算値を適用した前記計測点の位置情報を出力すること
を、コンピュータに実行させ、
前記重み付け加算では、
前記見込み角の２乗をその総和で正規化したものを用いる
プログラム。
請求項１１～１３のいずれか一項に記載のプログラムにおいて、
前記カメラパラメタは、前記画像における被写体の投影が遮蔽された遮蔽領域及び被写体が投影される非遮蔽領域に関する遮蔽情報を含み、
前記プログラムはさらに、
（ｂ１）前記画像のうちの第１画像における前記遮蔽領域の画素値を、他の前記画像の前記非遮蔽領域の画素値に基づき、補完させる
プログラム。