JP5980294B2 - データ処理装置、撮像装置、およびデータ処理方法 - Google Patents

Description

本発明は、データ処理装置、撮像装置、およびデータ処理方法に関する。

撮影画像から距離情報や動き情報の分布を表す距離画像や動き画像を取得または算出する手法が提案されている。ここで撮影画像から取得される距離情報や動き情報はエラーを含んでいる場合が多い。例えば、２画像間の対応関係をテンプレートマッチング技術によって取得することによって、距離情報や動き情報を求める場合、画像中のオブジェクトの境界で大きなエラーが発生する場合がある。このようなエラーは、一つのテンプレート内に距離や動きが異なるオブジェクトを含んでいる場合に発生する。得られる距離情報や動き情報は、それぞれのオブジェクトの距離や動きの中間的な値を持つ間違った情報となることが多い。エラーを有する領域の大きさはテンプレートのサイズに依存する。もちろんテンプレートマッチング技術以外の手法によって距離情報や動き情報を求める場合でも、オブジェクト境界において似たようなエラーが発生しうる。

エラーを含む距離画像や動き画像の各画素の情報を補正する手法として、次のようなものがある。

特許文献１では、各画素の距離情報の信頼度を算出して、その信頼度を利用して距離情報を補正している。距離情報の信頼度は、より具体的には、撮影画像における輝度値の大きさ、輝度変化の大きさ、周波数特性、または動き情報に基づいて算出される。そのため、テクスチャがない箇所や動きが大きな箇所の信頼度を小さくすることができる。しかしながら、オブジェクト境界の各オブジェクトにテクスチャがあり動きが小さい場合には、オブジェクト境界においても信頼度が大きく算出されてしまう。すなわち、特許文献１の手法では、オブジェクト境界を考慮せずに信頼度を算出している。

特許文献２では、次のように距離情報の補正が行われる。まず、撮影画像の画素値または距離画像のデプス値に基づいてクラスタリングを行って、画素を複数のクラスに分類する。各クラスの画素値統計量（平均値等）と補正対象画素およびその周辺の画素値とを用いて、補正対象画素のクラスを判定する。そして、補正対象画素のデプス値をクラスの代表デプス値（クラス内のデプス値の平均値等）に置き換える。このような処理によって、画素値の空間的連続性を考慮した補正が行える。しかし、クラス内のデプス値にエラーが含まれる場合には、クラスの代表デプス値が正しいデプス値からずれてしまい、十分な補正ができない。

非特許文献１では、距離情報および撮影画像の輝度情報並びにそれらから導出される信頼度情報を用いて、重み付きクロスバイラテラルフィルタにより、距離画像を補正している。すなわち、補正対象画素の距離値や輝度値との差が大きい周辺画素は、信頼できないとして補正処理に用いられない。しかしながら、このようにして算出される信頼度は、距離情報そのものの信頼度ではなく、画素間の相対的な信頼度に過ぎない。またこの手法では、エラーを含む補正対象画素は、周辺のエラーを含まない画素との距離差が大きくなるため、周辺のエラーを含まない正しい距離情報が補正処理に用いられないことになってしまう。

特開２０１３−２３９１１９号公報 特開２０１２−０７８９４２号公報

松尾琢也、外２名、「重み付きクロスバイラテラルフィルタによる奥行き推定精度の向上」、映像情報メディア学会誌 Ｖｏｌ．６６，Ｎｏ．１１，ｐｐ．Ｊ４３４〜Ｊ４４３（２０１２）

以上のように、いずれの先行技術においても、オブジェクト境界においてエラーを含む情報を精度良く補正することができない。これは、それぞれの画素がどの程度信頼できるか（どの程度エラーを含むか）を正しく評価できていないためである。補正を適切に行うためには、オブジェクトの境界に起因するエラーを含む情報がどの程度信頼できるかを表す情報そのものの信頼度を取得する必要がある。

本発明の目的は、オブジェクトの境界に起因するエラーを持った画素を低い信頼度にし、その他の正しい画素を高い信頼度とする信頼度情報を生成するデータ処理装置を提供することである。

本発明の第一の態様は、第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を取得するデータ処理装置であって、
信頼度を取得しようとする前記第二の画像データの第三の画素に対応する前記第一の画像データの第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度取得部と、
前記類似度と、前記第三の画素の画素値と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの画素値と、から前記第三の画素の画素値に対する信頼度を取得する信頼度取得部と、を備え、
前記信頼度取得部は、前記類似度と前記複数の第四の画素それぞれの画素値とから前記第三の画素において正しいと推定される画素値を求めて、前記推定される画素値と前記第三の画素の画素値とを比較することにより、前記第三の画素の画素値に対する信頼度を取得することを特徴とする。

本発明の第二の態様は、第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す信頼度データを算出するデータ処理装置であって、
前記第一の画像データと前記第二の画像データに基づいて前記第二の画像データを補正し、補正後の第二の画像データを生成する補正部と、
補正前の前記第二の画像データと前記補正後の第二の画像データとを比較して、前記信頼度を取得する信頼度取得部と、
を備えることを特徴とする。
本発明の第三の態様は、カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を取得するデータ処理装
置であって、
信頼度を取得しようとする前記距離画像の第三の画素に対応する前記カラー画像の第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度取得部と、
前記類似度と、前記第三の画素の距離情報と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの距離情報と、から前記第三の画素の距離情報に対する信頼度を取得する信頼度取得部と、を備え、
前記信頼度取得部は、前記類似度と前記複数の第四の画素それぞれの距離情報とから前記第三の画素において正しいと推定される距離情報を求めて、前記推定される距離情報と前記第三の画素の距離情報とを比較することにより、前記第三の画素の距離情報に対する信頼度を取得することを特徴とする。
本発明の第四の態様は、カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を表す信頼度データを算出するデータ処理装置であって、
前記カラー画像のデータと前記距離画像のデータに基づいて前記距離画像のデータを補正し、補正後の距離画像のデータを生成する補正部と、
補正前の前記距離画像のデータと前記補正後の距離画像のデータとを比較して、前記信頼度を取得する信頼度取得部と、
を備えることを特徴とする。

本発明の第五の態様は、第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を取得するデータ処理方法であって、
信頼度を取得しようとする前記第二の画像データの第三の画素に対応する前記第一の画像データの第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度ステップと、
前記類似度と、前記第三の画素の画素値と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの画素値と、から前記第三の画素の画素値に対する信頼度を取得する信頼度取得ステップと、を含み、
前記信頼度取得ステップでは、前記類似度と前記複数の第四の画素それぞれの画素値とから前記第三の画素において正しいと推定される画素値を求めて、前記推定される画素値と前記第三の画素の画素値とを比較することにより、前記第三の画素の画素値に対する信頼度を取得する
ことを特徴とする。

本発明の第六の態様は、第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す信頼度データを算出するデータ処理方法であって、
前記第一の画像データと前記第二の画像データに基づいて前記第二の画像データを補正し、補正後の第二の画像データを生成する補正ステップと、
補正前の前記第二の画像データと前記補正後の第二の画像データとを比較して、前記信頼度を取得する信頼度ステップと、
を含むことを特徴とする。
本発明の第七の態様は、カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を取得するデータ処理方法であって、
信頼度を取得しようとする前記距離画像の第三の画素に対応する前記カラー画像の第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度ステップと、
前記類似度と、前記第三の画素の距離情報と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの距離情報と、から前記第三の画素の距離情報に対する信頼度を取得する信頼度取得ステップと、を含み、
前記信頼度取得ステップでは、前記類似度と前記複数の第四の画素それぞれの距離情報とから前記第三の画素において正しいと推定される距離情報を求めて、前記推定される距離情報と前記第三の画素の距離情報とを比較することにより、前記第三の画素の距離情報に対する信頼度を取得する
ことを特徴とする。
本発明の第八の態様は、カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を表す信頼度データを算出するデータ処理方法であって、
前記カラー画像のデータと前記距離画像のデータに基づいて前記距離画像のデータを補正し、補正後の距離画像のデータを生成する補正ステップと、
補正前の前記距離画像のデータと前記補正後の距離画像のデータとを比較して、前記信頼度を取得する信頼度ステップと、
を含むことを特徴とする。

本発明によれば、エラー持った情報の信頼度を正しく設定することが可能となる。

実施形態１に係るデータ処理装置を含む撮像装置の一例を示すブロック図。 実施形態１に係る撮像処理方法およびデータ処理方法のフローチャート。 実施形態１における信頼度算出および画像補正を説明する図。 実施形態１における距離画像データに含まれるエラーを説明する図。 実施形態１における信頼度算出を説明する図。 実施形態１において繰り返し処理を行う場合の信頼度算出を説明する図。 実施形態１の変形例に係る信頼度算出および画像補正を説明する図。 実施形態２におけるデータ処理装置の一例を示すブロック図。 実施形態３における距離画像データに含まれるエラーを説明する図。 実施形態３における信頼度算出を説明する図。

本発明の実施形態を、図面を用いて詳細に説明するが、本発明は各実施形態の構成に限らない。また、各実施形態を適宜組み合わせてもよい。

（実施形態１）
図１は、本発明の実施形態１に係る撮像装置の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、データ処理装置１３、記憶部１４、入力部１５、表示部１６を有している。図２Ａは、撮影処理から撮影画像の出力・記録処理までを表すフローチャートである。図２Ａのフローチャートも参照しつつ、撮像装置１の各構成について説明する。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する。イメージセンサは、カラーフィルタを有してもよいし、カラーフィルタを有しなくてもよいし、また、三板式であってもよい。撮像装置１は、撮像素子１１の各画素の信号を取得することによって撮影処理Ｓ２０を行う。

データ処理装置１３は、信号処理部１３０、メモリ１３１、距離マップ生成部１３２、信頼度データ算出部１３３、距離マップ補正部１３４を有している。信号処理部１３０は、画像処理Ｓ２１を行う機能部である。画像処理Ｓ２１には、撮像素子１１から出力されるアナログ信号のＡＤ変換、ノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理などが含まれる。信号処理部１３０から
出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離情報の算出、距離画像データの生成）などに使用される。

距離マップ生成部１３２は、距離生成処理Ｓ２２を行う機能部である。距離マップ生成部１３２は、信号処理部１３０から出力される撮影画像のデジタル画像データ（以下、単に撮影画像データとも称する）を取得し、その撮影画像データから被写体の距離情報を表す距離マップを生成する。距離マップは複数の距離情報からなるデータであり、画素値として距離値を有する画像と考えられるので、以下では距離画像または距離画像データとも称する。被写体の距離情報を取得する方法は、撮影条件を変えて撮影したぼけ方の異なる撮影画像データを用いる方法（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法：ＤＦＤ法）や、視差の異なる撮影画像データを用いる方法（ステレオ法）が挙げられる。その他にもＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ法やＤｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓの方法が挙げられる。距離マップ生成部１３２で生成された距離画像データは、記憶部１４に格納、またはメモリ１３１に一時的に格納され、後段の処理に利用される。

距離情報は、フォーカス位置からの相対距離であってもよいし、撮影時の撮像装置からの絶対距離であってもよい。２つの画像から距離情報を求める場合、フォーカス位置からの相対距離は、２画像のフォーカス位置の中間位置から被写体までの相対的な距離でもよいし、どちらか１画像のフォーカス位置から被写体までの相対的な距離でもよい。また、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量や視差量など実空間の距離に換算できる量で表されてもよい。

信頼度データ算出部１３３は、距離マップ生成部１３２で生成された距離マップの各画素値（距離値）に対する信頼度を表す信頼度データを算出する機能を有する。信頼度データとは、距離マップの各画素の距離情報が正しい値であるかの指標となる情報である。なお、信頼度データ算出部１３３は、距離マップの全ての画素について信頼度を求める必要はなく、一部の画素についてのみ信頼度を求めてもよい。信頼度データ算出部１３３は、図３に示すように、輝度値の類似度を計算する類似度取得部１３３１と、類似度を用いて周辺画素の統計量、さらに統計量から信頼度データを計算する信頼度取得部１３３２とを含む。信頼度取得部１３３２は、統計量を計算する統計量取得部１３３３と、統計量を信頼度に変換する変換部１３３４を含む。

距離マップ補正部１３４は、取得された撮影画像データと、距離マップ生成部１３２で生成された距離画像データと、信頼度データ算出部１３３で生成された信頼度情報を用いて、距離画像データの各画素の距離情報を補正する機能を有する。

信頼度データ算出部１３３及び距離マップ補正部１３４が行う処理は、図２Ａにおけるデータ処理Ｓ２３に対応する。データ処理Ｓ２３の詳細は後述する。

記憶部１４は、撮影画像データ、距離画像データ、信頼度情報データ、補正後距離画像データ、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えば、記憶部１４はフラッシュメモリなどを含むことが好ましい。入力部１５はユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えば、入力部１５はダイヤル、ボタン、スイッチ、タッチパネルなどを含むことができる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。出力・記録処理Ｓ２４は、撮影画像データ、距離画像データ、信頼度画像データ、補正後距離画像デ
ータなどの記憶部１４への記録処理や、これらのデータの表示部１６への表示処理が含まれる。

制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御、記憶部１４や入力部１５や表示部１６の制御などがある。

次に、距離画像データ上に現れる主なエラーについて説明する。１つ目は、距離情報が大きく変化する箇所（オブジェクト境界部とよぶ）において生じるエラーである。この種のエラーは、前側と後側に物体があって、その物体同士が重なる境界付近に現れる。ＤＦＤ法などの画像の類似度から距離を算出するような手法を用いた場合には、オブジェクト境界部では、距離算出時に前側と後側の情報が混ざるために、算出された距離情報の誤差が大きくなる。

２つ目は、距離情報が取得できないエラー（データ欠損）である。このエラーが生じる原因は、距離取得方法に依って異なる。ステレオ法を例に挙げると、被写体に模様（テクスチャ）がない領域や、暗い領域、また視差の違いにより片側から見えない領域（オクルージョン領域）などが原因である。またこの種のエラーは連続した複数の画素を含む領域で発生することが多い。

３つ目は、距離情報にノイズが発生して生じるエラーである。ノイズが発生すると、同じ距離にある物体でも、その物体内の距離情報がばらつく。

以下、データ処理Ｓ２３についてより詳細に説明する。本実施形態のデータ処理Ｓ２３では、上記エラーの内、主に１つ目の距離境界部（オブジェクト境界部）におけるエラーの有無を評価した信頼度を算出し、当該信頼度を基に距離画像データを補正する。以下、データ処理Ｓ２３について、図面を参照しながら、より詳細に説明する。図２Ｂは、データ処理Ｓ２３のより詳細なフローチャートである。図３は、信頼度データ算出部１３３および距離マップ補正部１３４の機能ブロックをデータの流れとともに示した図である。図４Ａ〜図４Ｃは処理データの例を示す図である。

ステップＳ３０において、信頼度データ算出部１３３は、撮影画像データ４１（第一の画像データ）および距離画像データ４２（第二の画像データ）を取得する。図４Ａは撮影画像データ４１の例を示し、図４Ｂは距離画像データ４２の例を示す。撮影画像データ４１と距離画像データ４２は、略同一視点の画像である。例えば、距離画像データ４２は、異なる撮影条件の複数の撮影画像データから算出される距離情報を含む画像データであり、撮影画像データ４１は距離情報算出の基となった複数の撮影画像データのいずれかまたはそれらを合成した画像データである。撮影画像データ４１は、モノクロ画像（輝度画像）であってもよいし、カラー画像であってもよい。

前述したように、距離画像データ４２はオブジェクト境界部においてエラーを含んでいる。距離画像データ４２のオブジェクト境界部（図４ＢにおけるＡ−Ａ’部分）の距離情報は、図４Ｃに示すようにオブジェクト境界付近において後側のオブジェクト（背景）の距離情報が前側のオブジェクト（人体）の距離情報の影響を受けてエラーを含む。より具体的には、後側オブジェクトの距離情報が実際よりも近く算出されてしまうエラーを含む。このエラーは距離マップ生成処理時に発生したものである。前側オブジェクトによるエラーの影響は、オブジェクト境界から離れるにしたがって徐々に小さくなる。距離情報が正しい距離値から異なっている領域をエラー領域と定義すると、本実施形態では、オブジェクト境界から所定範囲内にある後側オブジェクトの領域がエラー領域となる。信頼度デ
ータ算出部１３３は、図４Ｄに示すように、エラー領域を正しく抽出する信頼度情報を得る処理を行う。より具体的には、信頼度データ算出部１３３は、エラー領域において低信頼度（図４Ｄでは黒で表示）、それ以外の領域では高信頼度（図４Ｄでは白で表示）である信頼度情報を取得可能な処理を行う。

ステップＳ３１において、類似度取得部１３３１が、信頼度の算出対象画素（着目画素）に対応する撮影画像中の画素（第一の画素）の画素値と、その周辺領域内の複数の画素（複数の第二の画素）の画素値の類似度Ｓを計算する。例えば、撮影画像がモノクロの輝度画像であれば、類似度Ｓは以下のように輝度差として計算される。

Ｓは類似度（値が小さいほど類似度が高く、値が大きいほど類似度が低い）、Ｉは撮影画像の輝度値を表し、ｐは信頼度算出対象画素の位置、ｑは信頼度算出対象画素ｐの周辺画素の位置である。

また撮影画像がカラー画像であれば、類似度Ｓは、以下のように色差のユークリッド距離として計算される。

Ｒ、Ｇ、Ｂはそれぞれ赤、緑、青のカラーチャンネルを表す。類似度算出手法は上記記載した距離計算だけではなく、マンハッタン距離等、どのような手法を用いても構わない。また、カラー画像からＣＩＥＬａｂ色空間やＹＵＶ色空間など、他の色空間に変換し、上記類似度計算を行ってもよい。

類似度取得部１３３１は、さらに、類似度Ｓから統計量計算（Ｓ３２）で使用する重みＷを算出する。重みＷは、０から１の間の値をとり、類似度Ｓが高いほど１に近く、類似度Ｓが低いほど０に近いように決定される。つまり、重みＷは、上記式１、２において類似度Ｓの値が０の場合には１となり、類似度Ｓの値が大きくなるに従って、０に近づくように設定される。また、類似度Ｓに閾値Ｕを設け、以下のように重みＷを決定してもよい。

式３によれば、閾値Ｕよりも類似度Ｓが小さい（類似している）周辺画素の重みＷが１に決定され、それ以外の周辺画素の重みＷを０に決定される。なお、このようにして類似度Ｓと重みＷは関連付けられるため、類似度Ｓと重みＷは同一視することもできる。

次にステップＳ３２において、統計量取得部１３３３が、信頼度算出対象画素に対応する距離画像データ４２中の画素（第三の画素）の統計量Ｔを計算する。統計量Ｔは、距離画像データ４２中の距離値が推定される真値からどれだけ離れているかを評価する値である。統計量Ｔは、算出対象画素（第三の画素）とその周辺画素（複数の第四の画素）の距離値および撮影画像における類似度Ｓを基に、対象画素において正しいと推定される距離値と実際の距離値の差に相当する値として計算される。この際、統計量Ｔは、上記で求めた重みＷを重みとして対象画素の距離値や周辺画素の距離値に対して重み付け平均処理を行って算出される。重みＷを式３のように決定すれば、周辺画素のうち、撮影画像において画素値が類似する画素（同じオブジェクトの画素）の距離値のみを用いて統計量Ｔが算
出される。

統計量Ｔは、例えば、以下のような周辺画素の距離値の重み付き平均値と対象画素の距離値との差の絶対値として求めることができる。

Ｔは統計量、Ｄは距離値、Ｑは周辺画素範囲（画素ｑの集合）を表す。周辺画素範囲Ｑは、広すぎると輝度（色）が類似している距離情報は値が近いという前提が崩れ、新たなエラーを生む可能性がある。また演算量も増えるという問題もある。一方、周辺画素範囲Ｑが狭すぎると、エラー領域における統計量Ｔの計算において周辺画素範囲Ｑ内に含まれる正しい距離を持った画素が少なくなり、適切にステップＳ３３の信頼度計算が行えなくなる可能性が生じる。したがって、周辺画素範囲Ｑの大きさは、オブジェクト境界において生じるエラー領域の大きさを基にあらかじめ決定しておくことが望ましい。例えば、距離算出においてテンプレートマッチングを採用する場合、エラー領域の大きさはテンプレートマッチングにおけるウィンドウサイズによって決まる。例えば、周辺画素範囲Ｑの大きさはウィンドウサイズの２倍程度とすることが考えられる。

式４の右辺の絶対値内の第１項は、撮影画像における類似度を重みとして、周辺画素の距離値から求められた対象画素において正しいと推定される距離値とみなすことができる。したがって、式４は、対象画素にいて正しいと推定される距離値と実際の距離値との差に相当する値である。なお、上述したように統計量Ｔは、対象画素の距離情報が真値からどれだけ離れているかを撮影画像における類似度を考慮しつつ評価することができれば、必ずしも式４にによって算出される必要はない。例えば、以下の式５に従って、統計量Ｔが計算されてもよい。

式５にしたがうと、統計量Ｔは、補正対象距離Ｄ（ｐ）と周辺画素距離Ｄ（ｑ）の差の絶対値の重み付き平均値として求められる。このような算出方法によっても、統計量Ｔは、対象画素において正しいと推定される距離値と実際の距離値の差を表すといえる。

また統計量Ｔは、式４あるいは式５において、対象画素ｐと周辺画素ｑの画素間の空間的な距離｜ｐ−ｑ｜に応じて、ある分散を持ったガウス分布等で表される重みをさらに付加するなど、その他の計算式に従って求めることもできる。また、重み計算（Ｓ３１）と統計量計算（Ｓ３２）の一部はフィルタ処理によって同時に実現しても構わない。重みＷが式３のように１または０で表現される場合には、重みＷが１となっている画素のみを選択して、統計量Ｔを計算しても構わない。

次にステップＳ３３において、変換部１３３４が、信頼度Ｃの計算を行う。信頼度Ｃは前述の統計量Ｔに応じて決定される。例えば式４にしたがって統計量Ｔを算出した場合には、統計量Ｔが大きい場合により信頼できないと判断され、統計量Ｔが小さい場合にはより信頼できると判断される。当然、統計量Ｔの算出方法に依って、統計量Ｔから信頼度Ｃの求め方は異なる場合があるが、例えば以下の変換式を採用することができる。

Ｔｍｉｎは統計量Ｔの値の最小値、Ｔｍａｘは統計量Ｔの値の最大値を表す。統計量ＴがＴｍａｘの場合に信頼度Ｃは１となり、統計量ＴがＴｍｉｎの場合に０となり、統計量Ｔが０と１の間では信頼度Ｃは連続的に変化する。

あるいは信頼度Ｃは、統計量Ｔと閾値との比較に基づいて二値で表してもよい。すなわち、信頼できる信頼度が１、信頼できない信頼度が０であるとし、以下のように信頼度Ｃを二値で求めてもよい。

Ｌは閾値を表す。つまり、統計量Ｔが式４によって求められている場合は、周辺画素距離の重み付き平均値と補正対象距離との差の絶対値と、閾値Ｌとの比較によって信頼度が決定される。具体的には、統計量Ｔが閾値よりも大きければ距離値は信頼できないと判定され、閾値以下であれば距離値が信頼できると判定される。

図５Ａ〜図５Ｃは、取得した距離画像データにおける距離値Ｄ、ステップＳ３２において求められる統計量Ｔ、ステップＳ３３において求められる信頼度Ｃの例をそれぞれ示す図である。これらの図はいずれも、図４ＢのＡ−Ａ’断面部分の値を示す。図５Ａでは、図４ＢのＡ−Ａ’断面における補正前の距離値を点線で示し、周辺画素距離の重み付き平均距離値を実線で示している。周辺画素距離の重み付き平均値は、輝度画像における類似度Ｓに基づく重みＷを用いて算出されるため、オブジェクトが異なる領域間で距離値が平均化されることはない。ただし、異なるオブジェクト間では異なる輝度分布（色分布）を持っており、異なるオブジェクト領域は類似していないことを仮定している。図５Ａにおいて、点Ａ１はオブジェクト境界であり、点Ａ２は補正前距離値と重み付き平均値が同値となる点、点Ａ３はエラー領域とエラーでない領域の境界を表している。

図５Ｂは、図４ＢのＡ−Ａ’断面における統計量Ｔを示している。ここでの統計量Ｔは、補正前距離（図５Ａの点線）と周辺画素距離の重み付き平均値（図５Ａの実線）の差の絶対値、つまり式４にしたがって求められるものとする。点Ａ４は、点Ａ３における統計量Ｔ（Ａ３）と同値の統計量を持つ点を表している。図５Ｂを見ると、式７の閾値Ｌを点Ａ３における統計量Ｔ（Ａ３）の値に設定すると、Ａ１〜Ａ４の領域で信頼度が０になり、その他の領域では信頼度が１となる。すなわち、閾値Ｌを点Ａ３における統計量Ｔ（Ａ３）に設定することで、図５Ｃに示すような信頼度Ｃが得られる。Ａ１〜Ａ４の領域はエラー領域であるので、この領域についての信頼度は正しく算出できていることが分かる。閾値Ｌを統計量Ｔ（Ａ３）の値より大きな値に設定すると、低信頼度の領域はより狭い領域となってしまう。また閾値Ｌを統計量Ｔ（Ａ３）の値より小さな値に設定すると、より広い領域を低信頼度とすることができるが、点Ａ３付近のエラー領域ではない部分も低信頼度とされてしまう。このようなことを考慮に入れると、式７の閾値Ｌには、点Ａ３における統計量Ｔ（Ａ３）を用いることが好ましい。

ただし、閾値Ｌは必ずしも点Ａ３における統計量Ｔ（Ａ３）にしなけらばならないというわけではない。閾値Ｌの値を統計量Ｔ（Ａ３）より大きくしても小さくしても、それに応じた効果が得られるため、状況に応じて閾値Ｌを決定すればよい。

また、撮影画像に含まれる前景と後景のオブジェクトの距離差によって、エラー領域と非エラー領域の境界（点Ａ３）における統計量Ｔ（Ａ３）の具体的な値は変化する。例えば、オブジェクトの距離差がより小さい場合は、距離差が大きい場合と比較して、点Ａ３における統計量Ｔ（Ａ３）の値は小さくなる。したがって、信頼度計算処理において、信頼できる距離情報を信頼度なしと判定されることを避けるためには、オブジェクト間の距離差が最大の場合の点Ａ３での統計量Ｔの値をあらかじめ求めておき、その値を閾値Ｌとして採用すればよい。最大の距離差とは、例えば８ビットで距離相当の情報が表現されていれば、０に相当する距離と２５５に相当する距離との差である。また、点Ａ３の位置、すなわち、エラー領域と非エラー領域の境界がオブジェクト境界からどれだけの画素数離れているかは、距離マップの算出方法に基づいてあらかじめ推定できる。例えば、テンプレートマッチングを用いる場合には、オブジェクト境界からウィンドウサイズの大きさと等しい画素数離れた位置がエラー領域と非エラー領域の境界となると推定できる。

このように閾値Ｌを決定した場合は、オブジェクト間の距離差が小さい境界領域では信頼度なしと判定される領域は小さくはなるが、信頼できる領域を信頼度なしと誤判定してしまうことはない。以上のように、閾値Ｌは所望のケースに合わせて、計算やシミュレーション等によって、事前に決めておけばよい。

なお、閾値Ｌとしてあらかじめ定められた値を用いるのではなく、閾値Ｌを動的に変更してもよい。上述したように、エラー領域と非エラー領域の境界における統計量の値は、主に前景オブジェクトと後景オブジェクトの距離差によって決まる。したがって、信頼度算出対象画素の周辺における距離の最大値と最小値の差に基づいて、閾値Ｌを決定してもよい。このようにすれば、より適切な信頼度の算出が可能となる。

上記の手法によって信頼度の取得（すなわち、エラー領域を判定）が行えるものの、信頼できない情報であるにも関わらず信頼度ありとなってしまっている領域（図５Ｃの点Ａ４から点Ａ３までの領域）が残ってしまっている。信頼度算出の精度を改善するためには、信頼度取得処理（統計量計算処理Ｓ３２および信頼度計算処理Ｓ３３）を繰り返すとよい。繰り返す場合のフローチャートを図２Ｃに示す。信頼度計算処理Ｓ３３後に判定処理Ｓ４０が含まれるが、それ以外の処理は基本的に図２Ｂと同様である。ただし、二回目以降の処理の場合には、直前の処理で算出した信頼度を暫定信頼度として用いる。例えば、統計量Ｔ_ｉ＋１の算出時に信頼度Ｃ_ｉを暫定信頼度として利用するとすると、統計量の算出式として以下の式８を採用可能である。

ここで、添字ｉによってｉ回目（ｉは１以上の整数）の処理において算出される値であることを示す。重みＷ（および類似度Ｓ）および距離値Ｄは、繰り返し回数によらず同一の値を取る。

本実施形態においては、上述のように、信頼度なしと判定された画素の信頼度の算出結果は正しいと想定される。したがって、前回の繰り返し処理までに信頼度なしと判定された画素については、再度の計算を行うことなく信頼度なしとすればよい。すなわち、Ｃ_ｉ（ｐ）＝０である画素ｐについては、Ｃ_ｉ＋１（ｐ）＝０とすればよい。これにより計算量を削減できるだけでなく、信頼できない画素を誤って信頼できるとする誤検出を防止できる。

周辺画素の信頼度Ｃを重みとして追加することによる影響を図６Ａ〜図６Ｃを参照して説明する。図６Ａ〜図６Ｃは、図５Ａ〜図５Ｃと同様にそれぞれ距離値Ｄ、統計量Ｔ，信頼度Ｃを表す。ここでは、図６Ａに示す点Ａ１から点Ａ４までの領域が低信頼度であり、その他の領域は高信頼度であるとする。図６Ａにおける実線は、この信頼度も重みとして用いた周辺画素距離の重み付き平均値（式８の絶対値内の第１項）である。図５Ａと比較して、既に算出した信頼度なし領域の距離値は重み付き平均値の算出に使用されないため、重み付き平均値は正しい値により近づいた値となっている。重み付き平均値が真値により近づいているため、式８により算出される統計量Ｔは図６Ｂに示すように、エラー領域においては図５Ｂよりも大きな値となる。したがって、前述したように点Ａ３における統計量Ｔの値を閾値Ｌとした場合に、図６Ｃに示すように、より広い領域（点Ａ１から点Ａ４’の領域）で信頼度なしとすることができる。上記の処理を繰り返していくことで、信頼度無しと判定される領域とエラー領域とをより精度良く一致させることができる。繰り返し処理における閾値Ｌは、上述したように計算やシミュレーション等によって複数の値を事前に決めておくことができる。このような条件であれば、繰り返し処理の回数を重ねるごとに閾値を小さくすることが望ましい。また判定処理Ｓ７０における繰り返し終了の判定は、事前に定められた回数に達したか否かの判定、新たに信頼度なし判定された画素が所定数以下であるか否かの判定、信頼度ありの領域における統計量の分散が所定値以下であるか否かの判定などが挙げられる。また、統計量の値によって、補正処理後に残存するエラーがおおよそ算出できるため、それを基に繰り返し処理を行うか否かを判定してもよい。

なお、式８は繰り返し処理の２回目以降に使用するだけではなく、最初の算出処理（繰り返し処理を行わない場合を含む）にも式４の代わりに採用可能である。その場合には、あらかじめ上述した手法とは異なる何らかの手法で暫定信頼度を算出する必要がある。その方法は特に限定されない。例えば、距離マップ生成部１３２が距離情報を算出する際に得られる信頼度を暫定信頼度として用いることができる。例えば、距離マップ生成部１３２は、撮影画像において被写体が有するテクスチャの度合いや、輝度値などに基づいて、信頼度を算出できる。より具体的には、テクスチャが少ない領域や、輝度が低い領域における距離情報は、信頼度が低いと判定できる。

また、上記の信頼度算出方法は、オブジェクト境界におけるエラー以外のエラーを評価するためにも用いることができる。例えば、距離算出時にある程度の大きさの領域に発生するエラーを評価するために用いることができる。本手法によって、同一オブジェクト内で大きなエラーが発生している領域の信頼度も判定することが可能である。

次に、ステップＳ３４において、ステップＳ３３で算出された信頼度を用いて、距離マップ補正部１３４が距離マップを補正する。補正処理は例えば一例として、以下のようなフィルタ処理が挙げられる。

式９において、Ｄは補正前の距離値、Ｄ’は補正後の距離値である。Ｉは撮影画像データ内の画素の輝度値または色情報である。ｐは距離画像データ内の補正対象画素の位置、ｑは補正対象画素ｐの周辺画素の位置である。Ｇはガウス関数（σ_ｓ、σ_ｒは分散値）で、Ｇ_σｓおよびＧ_σｒは異なるガウス関数でもよいし、同じガウス関数でもよい。Ｑ’は計算範囲（画素ｑの集合）であり、Ｓが大きいと、周辺画素ｑの個数も大きくなる。Ｃは最終的に得られた信頼度を表す。Ｔｈは、信頼度Ｃが高い場合には１、信頼度Ｃが低い場
合には０に設定される。例えば、信頼度Ｃが０以上１以下の数値範囲をとる場合、信頼度Ｃが０．５以上のときにＴｈは１に設定され、Ｃが０．５未満の場合にＴｈは０に設定されるようにする。なお、Ｃが０と１の２値の値しかとらない場合には、Ｔｈ（Ｃ）はＣと置換してもよい（すなわちＴｈ（Ｃ）＝Ｃとしてよい）。

本実施形態によれば、距離画像データに正しい信頼度を設定することができる。また、正しい信頼度情報に基づいて距離情報の補正処理を行うことにより、より高精度な距離画像データに補正可能という効果がある。

（実施形態１の変形例）
上記の式８の第一項と式９の形は非常に類似している。式９が補正後の距離情報であるので、式８（および式４）によって定義される統計量Ｔは補正後の距離情報と補正前の距離情報との差の絶対値と考えることができる。したがって、実施形態１における信頼度算出処理は、図７に示すような処理によっても実現可能である。すなわち、まず類似度取得部１３３１が、撮影画像中での着目画素ｐとその周辺画素ｑとの類似度Ｓを算出する（式１）。距離マップ補正部１３４が、算出された類似度Ｓに基づく重みＷ（例えば、Ｇ_σｓ（｜ｐ−ｑ｜）×Ｇ_σｒ（Ｓ））を用いて距離画像における周辺画素ｑの距離値Ｄを用いて着目画素ｐの距離値得の補正を行う（式９）。そして、統計量取得部１３３３が、着目画素ｐにおける補正前の距離値Ｄと補正後の距離値Ｄ’の差の絶対値を、統計量Ｔとして算出する（式８に相当）。最後に、変換部１３３４が、統計量Ｔを信頼度Ｃに変換する（式６または式７）。

なお、距離画像の補正処理は、特定の計算方法に限定されるものではない。距離画像の補正処理は、撮影画像における類似度と周辺画素の距離情報とを考慮して推定される着目画素における距離情報の真値との差を小さくするような補正処理であれば、上記で示した補正以外にも任意の補正処理を採用することができる。つまり、何らかの手段を用いて補正した距離情報と補正前の距離情報を比較することで、距離情報に対する信頼度を設定してもよい。前述の繰り返し処理を行った場合には補正した距離情報が得られ、その後信頼度が求まる。つまり、補正が十分であれば、その段階で終了判定することができるため、繰り返し回数の判断を補正結果で行うことができる。

上述したように、信頼度算出処理を繰り返す場合には、前回の処理で求められた信頼度情報を用いて距離画像の補正を行えばよい。なお、前回の処理までで信頼できないと判定された画素については、統計量の値にかかわらず信頼度なしと決定できる。繰り返し処理終了の判定の具体例として、例えば、事前に定められた回数に達したか否かの判定、距離画像の補正処理による補正量の最大値が所定値以下となった否かの判定、新たに信頼度なし判定された画素が所定数以下であるか否かの判定、などが挙げられる。

実施形態１の方法では統計量の算出処理と距離画像の補正処理が異なる内容であったが、本変形例の方法では、これら２つの計算の主要部分を共通化できるため、同一の演算回路を用いた実装が可能であり、コストの削減を図れる。また、統計量算出の際に距離画像の補正を行っているので、信頼度情報の算出後に、改めて距離画像の補正を行う必要がない点でも計算量の削減が図れる。

（実施形態２）
実施形態１では、撮影画像データと距離画像データを使用し、信頼度情報データの生成、距離情報の補正を行っていた。それに対して、本実施形態では、撮影画像データと距離画像データ以外を用いて、信頼度情報の生成及び補正処理が行えることを示す。図８は、本実施形態のデータ処理装置を表す。フローチャートは実施形態１のフローチャートと同じである。本実施形態の画像処理方法を、実施形態１と異なる点を中心に説明する。

データ処理装置８１は、第一画像データ入力部８１０、第二画像データ入力部８１１、信頼度データ算出部８１２、第二画像データ補正部８１３を有している。第一画像データ入力部８１０には、基準となるべき画像データ（第一画像データ）が入力される。第一画像データは、輝度画像データであってよく、それ以外にも例えば、既に補正された距離画像データや原理的にオブジェクトエッジ付近でエラーが発生しないような手法で得られた距離画像データなどであってもよい。第一画像データは、その他にも、赤外光や偏光等の情報でもよい。また、第一画像データとして輝度画像等を取得する場合には、図１のように撮像装置にデータ処理装置８１を含ませることができる。また、第一画像データが距離画像データ等の場合には、距離画像データ等を生成するためのデータ生成部をデータ処理装置８１が含んでもよい。仮に第一画像データが距離画像データであるとすると、式１のＩは距離値（オブジェクト境界において誤差を含まない）に相当する。

第二画像データ入力部８１１は、信頼度の算出対象となる画像データ（第二画像データ）が入力される。第二画像データは、第一画像データと略同一視点の画像データであり、異なる情報を表す画像データであることが好ましい。第二画像データは、オブジェクト境界においてエラーを含むような画像データである。第一画像データと第二画像データは、異なる算出方法で算出された同一内容の情報を表すデータであってもよい。また、第一画像データと第二画像データは必ずしも同一画角である必要はなく、第二画像データが第一画像データに含まれていればよい。すなわち、第一画像データの画角は、第二画像データの画角と等しくてもよいし、それより大きい画角であってもよい。

第二画像データの距離画像データ以外の例として、動きデータ（Ｏｐｔｉｃａｌ Ｆｌｏｗ）が挙げられる。動きデータは被写体（時にはカメラの動きも含む）の動きを表すデータである。例えば、動きデータは、横方向（ｘ方向）と縦方向（ｙ方向）の速度を各画素についてデータとして保持している。被写体の動き情報は、一般的に、ある時間間隔で輝度画像を二枚撮影し、その二枚の画像のテンプレートマッチングによって、尤もらしい対応位置を計算し、その移動量と撮影時間間隔から縦・横方向それぞれの速度を算出することができる。このようにして計算される速度は、テンプレートマッチングのウィンドウ内に複数の異なる速度の画素が混在している場合、これら複数の速度が混ざって中間的な速度が得られてしまう。つまり、異なる速度で移動しているオブジェクトの境界では、算出される動き情報（速度）はエラーを有することになる。第二画像データが動きデータであるとすると、式４におけるＤは横方向の速度値及び縦方向の速度値に相当する。

第二画像データは、赤外画像や偏光画像であってもよい。赤外画像や偏光画像は、レンズの色収差の影響や特殊なセンサ構造により、ＲＧＢ画像よりも低解像度である場合がある。この場合もオブジェクト境界部にエラーが発生していると考えることができる。

ここで挙げた例のように、第二画像データは、異なるオブジェクト同士の境界部にエラーを持つようなデータであればよい。また、第一画像データに対して、第二画像データが小さいサイズ（少ないデータ量）である場合に、拡大（データ補間）処理を行うことがある。その場合、やはり、拡大処理によってオブジェクトの境界付近でエラーが発生する。このような拡大処理後の画像データを第二画像データとして用いることもできる。例えば、前述の赤外画像や偏光画像を取得するためのイメージセンサは、特定の画素にのみ赤外用のカラーフィルタや偏光フィルタを有する場合がある。この場合、取得される赤外画像や偏光画像は、ＲＧＢ画像と比較して小さいサイズとなるため、拡大処理が施されることがある。第二画像データは、データ処理装置８１とは別の装置が生成してデータ処理装置８１に入力されてもよいし、データ処理装置８１が第一画像データやその他の情報から生成してもよい。

以上のように、第二画像データにエラーがあり、第一画像データが補正に対する基準となるデータであれば、その後の重み計算Ｓ３１、統計量計算Ｓ３２、信頼度計算Ｓ３３、補正処理Ｓ３４は実施形態１と同様に計算できる。データに依っては、補正対象データが複数になることはあるがそれぞれ基本的な処理は変わらない。例えば、動きデータの場合には横方向の動きデータの補正処理と縦方向のデータの補正処理は独立に同様の手法を用いて行われる。

本実施形態によれば、距離画像データに限られず、エラーを持った種々のデータに対して信頼度を設定することができる。また、この信頼度を基に補正処理を行うことにより、より高精度なデータに補正することが可能となるという効果がある。

（実施形態３）
実施形態１では、図４Ｃに示すように、オブジェクト境界部のエラーが徐々に変化していた。本実施形態では、図９のように、オブジェクト境界部の一方のオブジェクトにおける距離値が、他方のオブジェクトにおける距離値と略同一となるようなエラーを含む画像（第二画像）を対象として、信頼度の算出および情報の補正を行う。本実施形態では、オブジェクト境界において、後景オブジェクトの距離値が前景オブジェクトの距離値として算出されるようなエラーを含む距離画像を対象とする。なお、距離画像がどのようなエラーを有するかは、距離画像の算出方法によって決定される。

本実施形態における処理は、実施形態１と同様に、図２Ａ〜図２Ｃのフローチャートに示すとおりである。図２Ｂを参照して、実施形態１と異なる点を中心に、本実施形態のデータ処理方法を説明する。また本実施形態では、輝度情報と距離情報を処理の対象とする例を説明するが、実施形態２で説明したように他のデータについても同様の計算が可能である。

類似度計算処理Ｓ３１は実施形態１と同等である。統計量計算処理Ｓ３２において、例えば以下のように、周辺画素距離の重み付き平均値と補正対象画素の距離の差を統計量Ｔとする。

図１０Ａの実線が式１０における第一項の周辺画素距離の重み付き平均値を表し、図１０Ｂが式１０によって求められる統計量Ｔを表している。もちろん統計量Ｔは必ずしも式１０によって求められる必要はない。また統計量Ｔは、式８のようにあらかじめ算出した信頼度情報を用いて計算してもよい。図１０Ａおよび図１０Ｂにおいて、点Ｂ１はオブジェクト境界、点Ｂ２はエラー領域とエラーでない領域の境界を表している。輝度画像の類似度を基に重みが決定されているため、点Ｂ１を跨いで、距離が平均化されることはない。

信頼度計算処理Ｓ３３において、信頼度Ｃは前述の統計量に応じて、決定される。上述したように、本実施形態では前景オブジェクトの距離値が後景オブジェクトの距離値として算出される距離画像を対象としているので、例えば、式１０のような統計量Ｔを算出した場合には、統計量Ｔの正負によって信頼度を決定できる。信頼できることを表す信頼度を１、信頼できないことを表す信頼度が０であるとした場合、式１１のように統計量Ｔの符号から信頼度Ｃを判断してもよい。

このような算出手法によって、点Ｂ１から点Ｂ２の範囲の距離値を信頼できないものと判定することができる。なお、式１１では統計量Ｔの正負によって信頼度を判定しているが、エラー領域以外でも、周辺画素の重み付き平均距離値と補正対象画素の距離値は、ノイズなどによっても異なる場合があり、その場合式１０の値は正にも負にもなりうる。このような場合にエラーが含まれない画素を信頼できないと誤判定しないように、Ｔ＜ａ（ａ＜０）の時にＣ（ｐ）＝０とするようにしてもよい。

本実施形態によれば、オブジェクト境界部におけるエラーの形状に合わせた統計量及び信頼度計算を行うことにより、正しい信頼度を設定することができることが可能となる。

なお、具体的な信頼度の算出手法は、信頼度算出対象画像におけるエラーの発生の仕方によって適宜変更する必要がある。例えば、前景オブジェクトの距離値が後景オブジェクトの距離値として算出されるエラーを含む距離画像であれば、式１０による統計量Ｔが正の時に信頼できないと判定すべきである。

（その他の実施例）
上述した本発明のデータ処理装置及び方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。例えば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて上記画像処理方法を実行するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて上記画像処理方法を実行するようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置などに内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３３ 信頼度データ算出部
１３３１ 類似度取得部
１３３２ 信頼度取得部

Claims (39)

1. 第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を取得するデータ処理装置であって、
   信頼度を取得しようとする前記第二の画像データの第三の画素に対応する前記第一の画像データの第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度取得部と、
   前記類似度と、前記第三の画素の画素値と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの画素値と、から前記第三の画素の画素値に対する信頼度を取得する信頼度取得部と、を備え、
   前記信頼度取得部は、前記類似度と前記複数の第四の画素それぞれの画素値とから前記第三の画素において正しいと推定される画素値を求めて、前記推定される画素値と前記第三の画素の画素値とを比較することにより、前記第三の画素の画素値に対する信頼度を取得する
   ことを特徴とするデータ処理装置。
2. 前記信頼度取得部は、前記類似度を重みとして、前記複数の第四の画素のそれぞれの画素値または当該画素値に基づいて得られる値に対する重み付け平均処理を行って、前記信頼度を取得する、
   請求項１に記載のデータ処理装置。
3. 前記信頼度取得部は、前記類似度と、前記複数の第四の画素のぞれぞれの画素値と、前記第三の画素の画素値に基づいて、前記第三の画素において正しいと推定される画素値と実際の画素値の差に相当する値を求め、この値に基づいて前記信頼度を取得する、
   請求項１または２に記載のデータ処理装置。
4. 前記信頼度取得部は、下記の式で算出される値に基づいて前記信頼度を算出する、
   請求項１から３のいずれか１項に記載のデータ処理装置。
   

   

   ここで、ｐは前記第三の画素、ｑは前記第四の画素、Ｑは前記第四の画素の集合、Ｗ（ｑ）は前記第四の画素に対応する前記第二の画素における類似度、Ｄ（ｑ）は前記第四の画素の画素値、Ｄ（ｐ）は前記第三の画素の画素値である。
5. 前記信頼度取得部は、前記式Ａで算出された値の絶対値が閾値より大きい場合には、前記信頼度として信頼度が低いことを示す値を取得し、前記式Ａで算出された値の絶対値が前記閾値以下の場合には、前記信頼度として信頼度が高いことを示す値を取得する、
   請求項４に記載のデータ処理装置。
6. 前記信頼度取得部は、下記の式で算出される値に基づいて前記信頼度を算出する、
   請求項１から３のいずれか１項に記載のデータ処理装置。
   

   

   ここで、ｐは前記第三の画素、ｑは前記第四の画素、Ｑは前記第四の画素の集合、Ｗ（ｑ）は前記第四の画素に対応する前記第二の画素における類似度、Ｄ（ｑ）は前記第四の画素の画素値、Ｄ（ｐ）は前記第三の画素の画素値である。
7. 前記信頼度取得部は、前記式Ｂで算出された値が閾値より大きい場合には、前記信頼度として信頼度が低いことを示す値を取得し、前記式Ｂで算出された値の絶対値が前記閾値以下の場合には、前記信頼度として信頼度が高いことを示す値を取得する、
   請求項６に記載のデータ処理装置。
8. 前記信頼度取得部は、前記第三の画素の画素値と前記複数の第四の画素それぞれの画素値の暫定信頼度をさらに用いて、前記信頼度を取得する、
   請求項１から７のいずれか１項に記載のデータ処理装置。
9. 前記信頼度取得部は、前記信頼度の取得処理を繰り返し実行し、
   前記暫定信頼度は、直前の繰り返し処理によって取得された信頼度である、
   請求項８に記載のデータ処理装置。
10. 前記信頼度取得部は、繰り返し処理における最初の信頼度の取得処理では、前記取得処理とは異なる方法によってあらかじめ求められた信頼度を前記暫定信頼度として用いる、
    請求項９に記載のデータ処理装置。
11. 前記信頼度取得部は、前記繰り返し処理の繰り返し回数を、前記信頼度の結果に基づいて決定する、
    請求項９または１０に記載のデータ処理装置。
12. 前記信頼度取得部は、下記の式で算出される値に基づいて前記信頼度を算出する、
    請求項８から１１のいずれか１項に記載のデータ処理装置。
    

    

    ここで、ｐは前記第三の画素、ｑは前記第四の画素、Ｑは前記第四の画素の集合、Ｗ（ｑ）は前記第四の画素に対応する前記第二の画素における類似度、Ｄ（ｑ）は前記第四の画素の画素値、Ｄ（ｐ）は前記第三の画素の画素値、Ｃ（ｑ）は前記第四の画素の画素値に対する暫定信頼度を示す値である。
13. 前記信頼度取得部は、前記式Ｃで算出された値の絶対値が閾値より大きい場合には、前記信頼度として信頼度が低いことを示す値を取得し、前記式Ｃで算出された値の絶対値が前記閾値以下の場合には、前記信頼度として信頼度が低いことを示す値を取得する、
    請求項１２に記載のデータ処理装置。
14. 前記信頼度取得部は、前記信頼度の取得処理を繰り返し実行し、
    繰り返し回数が多いほど、前記閾値を小さく設定する、
    請求項１３に記載のデータ処理装置。
15. 前記閾値は、オブジェクト境界から所定の画素数だけ離れた位置だけ離れた画素における式Ａ、式Ｂまたは式Ｃの値に設定される、
    請求項５、７、１３、１４のいずれか１項に記載のデータ処理装置。
16. 前記信頼度取得部は、前記取得処理とは異なる方法によってあらかじめ求められた信頼度を前記暫定信頼度として用いる、
    請求項８に記載のデータ処理装置。
17. 前記暫定信頼度は、被写体が有するテクスチャの度合いに基づいて算出される、
    請求項１６に記載のデータ処理装置。
18. 前記類似度は０または１の値である、
    請求項１から１７のいずれか１項に記載のデータ処理装置。
19. 前記第二の画像データの前記周辺領域の大きさは、オブジェクト境界において前記第二の画像データの画素値がエラーを含む領域の大きさよりも大きい、
    請求項１から１８のいずれか１項に記載のデータ処理装置。
20. 前記信頼度取得部は、前記式Ａまたは式Ｃで算出された値が負の場合には、前記信頼度として信頼度が低いことを示す値を取得し、前記式Ａまたは式Ｃで算出された値が正の場合には、前記信頼度として信頼度が高いことを示す値を取得する、
    請求項４または１２に記載のデータ処理装置。
21. 前記信頼度取得部にて取得された信頼度を用いて、第二の画像データを補正する補正部をさらに有する、
    請求項１から２０のいずれか１項に記載のデータ処理装置。
22. 第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す信頼度データを算出するデータ処理装置であって、
    前記第一の画像データと前記第二の画像データに基づいて前記第二の画像データを補正
    し、補正後の第二の画像データを生成する補正部と、
    補正前の前記第二の画像データと前記補正後の第二の画像データとを比較して、前記信頼度を取得する信頼度取得部と、
    を備えることを特徴とするデータ処理装置。
23. 前記補正部が、暫定信頼度をさらに用いて、前記第二の画像データを補正する、
    請求項２２に記載のデータ処理装置。
24. 前記補正部および前記信頼度取得部による処理を繰り返し実行し、
    前記補正部は、最初の処理においてはあらかじめ求められた信頼度を暫定信頼度として用い、２回目以降の処理においては前記信頼度取得部によって直前に取得された信頼度を暫定信頼度として用いる、
    請求項２３に記載のデータ処理装置。
25. 前記繰り返し処理の繰り返し回数を前記補正部による第二の画像データの補正結果に従って決定する、
    請求項２４に記載のデータ処理装置。
26. 前記第一の画像データおよび前記第二の画像データは、略同一視点の異なる情報を表す画像データであり、
    前記第一の画像データの画角は、前記第二の画像データの画角と等しいかそれ以上である、
    請求項１から２５のいずれか１項に記載のデータ処理装置。
27. 前記第二の画像データは、オブジェクト境界においてエラーを含む画像データである、
    請求項１から２６のいずれか１項に記載のデータ処理装置。
28. 前記第一の画像データが、画素値として輝度または色情報を有する画像データであり、前記第二の画像データが、画素値として距離情報を有する画像データである、
    請求項１から２７のいずれか１項に記載のデータ処理装置。
29. 前記第一の画像データが、画素値として輝度または色情報を有する画像データであり、前記第二の画像データが、画素値として動き情報を有する画像データである、
    請求項１から２７のいずれか１項に記載のデータ処理装置。
30. 前記第一の画像データが、画素値として距離情報を有する画像データであり、
    前記第二の画像データが、画素値として動き情報を有する画像データである、
    請求項１から２７のいずれか１項に記載のデータ処理装置。
31. 前記類似度取得部は、前記第一の画素と前記複数の第二の画素それぞれの輝度差または色差に基づいて複数の第二の画素それぞれにおける類似度を取得する、
    請求項２８または２９に記載のデータ処理装置。
32. カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を取得するデータ処理装置であって、
    信頼度を取得しようとする前記距離画像の第三の画素に対応する前記カラー画像の第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度取得部と、
    前記類似度と、前記第三の画素の距離情報と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの距離情報と、から前記
    第三の画素の距離情報に対する信頼度を取得する信頼度取得部と、を備え、
    前記信頼度取得部は、前記類似度と前記複数の第四の画素それぞれの距離情報とから前記第三の画素において正しいと推定される距離情報を求めて、前記推定される距離情報と前記第三の画素の距離情報とを比較することにより、前記第三の画素の距離情報に対する信頼度を取得する
    ことを特徴とするデータ処理装置。
33. カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を表す信頼度データを算出するデータ処理装置であって、
    前記カラー画像のデータと前記距離画像のデータに基づいて前記距離画像のデータを補正し、補正後の距離画像のデータを生成する補正部と、
    補正前の前記距離画像のデータと前記補正後の距離画像のデータとを比較して、前記信頼度を取得する信頼度取得部と、
    を備えることを特徴とするデータ処理装置。
34. 撮像素子と、
    請求項１から３３のいずれか１項に記載のデータ処理装置と、
    を有する撮像装置。
35. 第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を取得するデータ処理方法であって、
    信頼度を取得しようとする前記第二の画像データの第三の画素に対応する前記第一の画像データの第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度ステップと、
    前記類似度と、前記第三の画素の画素値と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの画素値と、から前記第三の画素の画素値に対する信頼度を取得する信頼度取得ステップと、を含み、
    前記信頼度取得ステップでは、前記類似度と前記複数の第四の画素それぞれの画素値とから前記第三の画素において正しいと推定される画素値を求めて、前記推定される画素値と前記第三の画素の画素値とを比較することにより、前記第三の画素の画素値に対する信頼度を取得する
    ことを特徴とするデータ処理方法。
36. 第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す信頼度データを算出するデータ処理方法であって、
    前記第一の画像データと前記第二の画像データに基づいて前記第二の画像データを補正し、補正後の第二の画像データを生成する補正ステップと、
    補正前の前記第二の画像データと前記補正後の第二の画像データとを比較して、前記信頼度を取得する信頼度ステップと、
    を含むことを特徴とするデータ処理方法。
37. カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を取得するデータ処理方法であって、
    信頼度を取得しようとする前記距離画像の第三の画素に対応する前記カラー画像の第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度ステップと、
    前記類似度と、前記第三の画素の距離情報と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの距離情報と、から前記第三の画素の距離情報に対する信頼度を取得する信頼度取得ステップと、を含み、
    前記信頼度取得ステップでは、前記類似度と前記複数の第四の画素それぞれの距離情報とから前記第三の画素において正しいと推定される距離情報を求めて、前記推定される距離情報と前記第三の画素の距離情報とを比較することにより、前記第三の画素の距離情報に対する信頼度を取得する
    ことを特徴とするデータ処理方法。
38. カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を表す信頼度データを算出するデータ処理方法であって、
    前記カラー画像のデータと前記距離画像のデータに基づいて前記距離画像のデータを補正し、補正後の距離画像のデータを生成する補正ステップと、
    補正前の前記距離画像のデータと前記補正後の距離画像のデータとを比較して、前記信頼度を取得する信頼度ステップと、
    を含むことを特徴とするデータ処理方法。
39. 請求項３５から３８のいずれか１項に記載のデータ処理方法をコンピュータに実行させることを特徴とするプログラム。

Images