JP4537597B2

JP4537597B2 - Parallax measuring device

Info

Publication number: JP4537597B2
Application number: JP2001046048A
Authority: JP
Inventors: 有紀徳橋; 義信田中
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2001-02-22
Filing date: 2001-02-22
Publication date: 2010-09-01
Anticipated expiration: 2021-02-22
Also published as: JP2002247604A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像の視差量を測定する視差量測定装置に関するものである。
【０００２】
【従来の技術】
従来から、ステレオ画像の視差量を測定する技術は様々な応用分野がある。例えば、特開平７−１２０２５５号公報に記載されているように、複数のカメラで前方視野を撮影し、その視差量から奥行き情報を得るステレオ距離計測が古くから知られている。このステレオ距離計測では、特定場所の奥行きを測定する場合もあれば、視差全体を細かく分割し、その各々について奥行きを測定する場合もある。
【０００３】
また、娯楽用あるいは業務用の立体映像表示の分野では、測定した視差情報を片方の映像に付加して伝送することで伝送量を減らすという使い方もある。さらに、例えば特開平９−３２２１９９号公報や特開平４−３６０３９４号公報に記載されているように、映像の視差量を監視しておいて、それが観察者にとって良好な視差になるように映像やカメラ設定を補正したり、特開平１１−３５５８０８号公報に記載されているように表示条件を切り替えたりする使い方もある。このような使い方の場合、画面内の詳細な視差分布を測定することもあるが、特定箇所の視差量や、視差の最頻値や最大値などの統計量を用いることもある。
【０００４】
上記の視差量を測定する方法としては、従来からブロックマッチング方法がよく利用されている。この方法では、例えば左右（ＬＲ）の２枚の画像の視差を測定する場合には、例えば図１５に示すようにＬ画像の画面をＭ×Ｎ画素のいくつかの測定ブロックに分割、またはＬ画像の画面上で何箇所かの測定ブロックを指定して、各測定ブロックに対してＲ画像の画面上から対応する場所すなわち最も類似した場所を探し出し、その両者の位置ずれ量に基づいて視差量を測定している。
【０００５】
ここで、対応する場所を探索するにあたっては、例えば図１６に示すように、Ｌ画像上の測定ブロックの座標を（ＸＬ，ＹＬ）として、まずＲ画像上にＬ画像と同じ座標でＭ×Ｎ画素のブロックＢを設定し、ブロックＡとブロックＢとの間で下記の式に従って画素同士の輝度差（絶対値）の総和（以後、差分絶対値和と呼ぶ）を演算する。
【０００６】
【数１】

【０００７】
上記のブロックＡ，Ｂ間の差分絶対値和Ｓは、ブロックＢがブロックＡに対応する場所で最小となるので、ブロックＢをずらしながら、つまりΔＸ，ΔＹの値を適度な範囲内で変えながら差分絶対値和Ｓを演算して、それが最小となる場所を探し出す。このようにして、差分絶対値和Ｓが最小となるブロックＢの場所を探したら、そのブロックＢの場所とブロックＡの場所とのずれ量ΔＸ，ΔＹをブロックＡに対応する視差量として演算する。
【０００８】
【発明が解決しようとする課題】
ところが、通常のブロックマッチング方法では、例えばブロック内に明確な輝度変化が十分にない場合には、至る所に類似箇所が存在して、わずかなノイズや画像の違いで正しくマッチングできなくなる場合がある。また、画像にノイズが多い場合や、オクルージョンや視差の大きく異なるオブジェクトがブロック内に含まれている場合には、ブロックの一部にしか対応場所が存在しなかったり、逆に対応する場所が複数存在したり、といった現象が起こってマッチングエラーとなり易い。このようなマッチングエラーが発生すると、測定結果に異常値が含まれることになり、前述の距離測定に大きな誤差がでたり、表示条件の補正や変更が不適切なものになる。
【０００９】
上記のマッチングエラーの発生を避けるために、異常な情報を除外したり何らかの補間処理を施して、悪影響を及ぼさないようにする方法も知られている。例えば、ブロック内に明確な輝度変化が十分にない場合の対策として、例えば特開平７−１２０２５５号公報には、エッジの有無つまり明確な輝度変化の有無をチェックしてエラーマッチングの可能性が高いか否かを判定し、可能性が高い場所を予め除外することが開示されている。
【００１０】
しかし、画像にノイズが多い場合や、オクルージョンや視差の大きく異なるオブジェクトがブロック内に含まれている場合には、エラーマッチングを検出するのは困難である。例えば、特開平７−１２０２５５号公報や特開平４−２０３９０８号公報には、マッチング結果の差分絶対値和を利用してエラーマッチングを検出する方法が開示されているが、差分絶対値和は、輝度、コントラスト、エッジの多少、ノイズなど画像の性質に左右されるうえ、正しくても最小値が十分小さくならないことも多く、エラーマッチングと正しいマッチングとの切り分けを必ずしも明確にできない。
【００１１】
例えば、ブロック内に前景オブジェクトと背景オブジェクトとがある場合には、一般には前景と背景との画像情報が邪魔しあって差分絶対値和の最小値は大きくなるが、前景か背景のどちらかが優位になって正しくマッチングすることもある。逆に、エラーマッチングであっても差分絶対値和の最小値がさほど大きくならないこともある。
【００１２】
このため、最適な閾値を決めるのは難しく、例えば閾値を低くすればエラーマッチングの検出精度は上がるが、測定データの多くが無駄になったり、再測定の手間が増えたりする。特に、視差の統計量や全体の傾向を短時間に得たいような用途では、測定データは有効に利用して、再測定は避けたい。そのためには、エラーマッチングと正しいマッチングとを明確に切り分ける必要がある。
【００１３】
したがって、係る点に鑑みてなされた本発明の目的は、視差測定に際してのエラーマッチングと正しいマッチングとを明確に切り分けて検出でき、視差の統計量などを計算する際に、エラーマッチングの影響を減らすことができる視差量測定装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成する請求項１に係る視差量測定装置の発明は、第１の画像および第２の画像からなるステレオ画像の上記第１の画像上に所定の測定ブロックを設定する測定ブロック設定手段と、
上記第２の画像上で上記測定ブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記測定ブロックの視差量を測定する上層マッチング手段と、
上記測定ブロックを複数のサブブロックに分割し、上記第２の画像上で上記各サブブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記各サブブロックの視差量を測定する下層マッチング手段と、
該下層マッチング手段で得られた上記各サブブロックの視差量と上記上層マッチング手段で得られた上記測定ブロックの視差量とを比較する視差量比較手段と、
該視差量比較手段での比較結果に基づいて上記上層マッチング手段でのマッチングがエラーか否かを判定するエラー判定手段と、
を有することを特徴とするものである。
【００１５】
請求項１に係る視差量測定装置によると、下層マッチング手段で得られた各サブブロックの視差量と上層マッチング手段で得られた測定ブロックの視差量とを比較して、上層マッチング手段でのマッチングがエラーか否かを判定するようにしたので、視差の統計量などを計算する際に、エラーマッチングの測定ブロックを除外することができ、エラーマッチングの影響を減らすことができる。
【００１６】
請求項２に係る発明は、第１の画像および第２の画像からなるステレオ画像の上記第１の画像上に所定の測定ブロックを設定する測定ブロック設定手段と、
上記第２の画像上で上記測定ブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記測定ブロックの視差量を測定する上層マッチング手段と、
上記測定ブロックを複数のサブブロックに分割し、上記第２の画像上で上記各サブブロックと対応する領域とのマッチングを行って、両画像の座標の違いから上記各サブブロックの視差量を測定する下層マッチング手段と、
該下層マッチング手段で得られた上記各サブブロックの視差量と上記上層マッチング手段で得られた上記測定ブロックの視差量とを比較する視差量比較手段と、
該視差量比較手段での比較結果に基づいて上記下層マッチング手段での各サブブロックのマッチングがエラーか否かを判定するエラー判定手段と、
を有することを特徴とするものである。
【００１７】
請求項２に係る視差量測定装置によると、下層マッチング手段で得られた視差量と上層マッチング手段で得られた視差量とを比較して、下層マッチング手段での各サブブロックのマッチングがエラーか否かを判定するようにしたので、結果的に上層マッチング手段での測定ブロックのマッチングに信頼性に応じた重み付けを行うことができ、視差の統計量などを計算する際にエラーマッチングの影響を減らすことができる。
【００１８】
請求項３に係る発明は、請求項１または２に記載の視差量測定装置において、上記下層マッチング手段は、上記第１の画像上のサブブロックと対応する上記第２の画像上の領域との類似性を演算するサブブロック類似性演算手段と、上記第１の画像上の各サブブロックについて、上記サブブロック類似性演算手段での演算結果に基づいて類似性がもっとも高くなる上記第２の画像上の領域の位置および類似性を示す値を検出する手段とを含み、
上記上層マッチング手段は、上記サブブロック類似性演算手段での各サブブロックの類似性の演算結果を加算する加算手段と、該加算手段での加算結果に基づいて上記測定ブロックと対応する上記第２の画像上の領域との類似性がもっとも高くなる上記第２の画像上の領域の位置および類似性を示す値を検出する手段とを含むことを特徴とするものである。
【００１９】
請求項３に係る視差量測定装置によると、サブブロック類似性演算手段での各サブブロックの類似性の演算結果を加算手段で加算して、第２の画像上で測定ブロックと対応する領域の類似性を示す値を求めるようにしたので、上層マッチング手段の回路規模を縮小でき、処理時間も短縮することが可能となる。
【００２０】
【発明の実施の形態】
以下、本発明による視差量測定装置の実施の形態について、図１〜図１３を参照して説明する。
【００２１】
（第１実施の形態）
図１〜図５は第１実施の形態を示すもので、図１は全体の要部の回路構成を示すブロック図、図２は図１に示す視差測定部の要部の回路構成を示すブロック図、図３（ａ）および（ｂ）はエラーマッチング判定の原理を説明するための図、図４は視差量測定動作の概要を示すフローチャート、図５（ａ）および（ｂ）はマッチング演算処理の変形例を説明するための図である。
【００２２】
本実施の形態の視差量測定装置は、図１に示すように、ステレオ画像を構成する左右（ＬＲ）の画像１，２の一方、ここではＬ画像１を測定ブロック設定部３に、他方のＲ画像２を探索範囲／参照ブロック設定部４にそれぞれ供給する。測定ブロック設定部３では、予め設定した座標に基づいてＬ画像１上に所定数の測定ブロックを設定し、各測定ブロックの画像データをメモリに読み込むなどして基準データ５として順次出力する。また、探索範囲／参照ブロック設定部４では、Ｒ画像２上に測定ブロックと同じ座標（Ｘ，Ｙ）を中心とする探索範囲と、その探索範囲内で測定ブロックと同じ大きさの参照ブロックとを設定し、各参照ブロック内の画像データをメモリに読み込むなどして参照データ６として順次出力する。
【００２３】
基準データ５および参照データ６は、視差測定部９にそれぞれ供給し、ここでマッチング演算処理を行って各測定ブロックの視差量７を測定して出力すると共に、その視差量７を測定した際のマッチングがエラーマッチングであったか否かを判定して、その判定結果を表わすエラーコード８を出力する。
【００２４】
視差測定部９は、図２に示すように、上層マッチング部９Ａ、下層マッチング部９Ｂ、階層間比較回路９１６、およびエラー判定回路９１７を有している。
【００２５】
上層マッチング部９Ａは、従来と同様に測定ブロックのマッチング演算処理を行うもので、第１差分絶対値和演算回路９０１と第１最小値検出回路９０２とを有しており、第１差分絶対値和演算回路９０１において従来のブロックマッチングと同様に基準データ５と参照データ６との差分絶対値和を演算して最小値検出回路９０２に供給し、最小値検出回路９０２において差分絶対値和の演算結果をそれまでの最小値と比較して、大きければその値を捨て、小さければ最小値を入れ替えて、視差量ΔＸ１，ΔＹ１に現在のシフト量（参照データを切り出した座標Ｘ＋ΔＸ，Ｙ＋ΔＹと、探索範囲の中心座標Ｘ，Ｙとの差）を代入する。
【００２６】
また、下層マッチング部９Ｂは、測定ブロックをｎ個（本実施の形態では、ｎ＝４）に分割したサブブロックを設定し、その各々のサブブロックについてマッチング演算処理を行うもので、第１〜第４サブブロックの各々に対応する第２−１〜２−４差分絶対値和演算回路９０３〜９０６と、第２−１〜２−４最小値検出回路９０７〜９１０とを有しており、各サブブロックについて対応する第２−ｎ差分絶対値和演算回路および第２−ｎ最小値検出回路により、上述した上層マッチング部９Ａでのマッチング演算処理と同様のマッチング演算処理を行って視差量を測定する。
【００２７】
各測定ブロックについて、上記の一連の作業を参照ブロックのシフト量、つまり参照データを切り出す位置を変えて繰り返すことで、当該測定ブロックおよびその各サブブロックに対応する領域を探索して、測定ブロックに対する第１視差量９１１（ΔＸ１，ΔＹ１）、第１サブブロックに対する第２−１視差量９１２（ΔＸ２１，ΔＹ２１）、第２サブブロックに対する第２−２視差量９１３（ΔＸ２２，ΔＹ２２）、第３サブブロックに対する第２−３視差量９１４（ΔＸ２３，ΔＹ２３）、および第４サブブロックに対する第２−４視差量９１５（ΔＸ２４，ΔＹ２４）を決定し、第１視差量９１１を測定ブロックの視差量７（ＤｉｓＸ，ＤｉｓＹ）として出力すると共に、階層間比較回路９１６に供給し、第２−１〜２−４視差量９１２〜９１５を階層間比較回路９１６に供給する。
【００２８】
階層間比較回路９１６では、測定ブロック（上層マッチング部９Ａ）に対する第１視差量９１１と第１〜第４サブブロック（下層マッチング部９Ｂ）に対する第２−１〜２−４視差量９１２〜９１５とをそれぞれ比較して、それらの比較結果をエラー判定回路９１７に供給する。
【００２９】
エラー判定回路９１７では、階層間比較回路９１６での比較結果に基づいて、第２−１〜２−４視差量９１２〜９１５の少なくとも一つが、第１視差量９１１とほぼ等しい（差が規定値以内）ときは、ＯＫを意味するエラーコード８を出力し、第２−１〜２−４視差量９１２〜９１５のいずれもが第１視差量９１１と大きく異なるときは、ＮＧを意味するエラーコード８を出力する。これにより、エラーコード８がＮＧのときは、当該測定ブロックの視差量を無効として使用しないようにする。
【００３０】
次に、図３（ａ）および（ｂ）を参照してエラー判定の原理について説明する。図３（ａ）は、測定ブロックＭＢ内に異なる視差を持つ二つのオブジェクトＯＢ１，ＯＢ２が在る様子を示している。このような場合、オブジェクトＯＢ１に対応する領域とオブジェクトＯＢ２に対応する領域は異なるため、うまく対応場所を見つけられずにマッチングエラーとなることもあるが、どちらかのオブジェクトの情報が優位に働いてマッチングに成功することもある。
【００３１】
ここで、図３（ｂ）に示すように測定ブロックＭＢを縦横各々２分してなる第１〜第４サブブロックＳＢ１〜ＳＢ４を考えると、サブブロックＳＢ１とＳＢ３にはオブジェクトＯＢ１の情報が多く含まれ、サブブロックＳＢ２とＳＢ４にはオブジェクトＯＢ２の情報が多く含まれることになる。もし、サブブロックＳＢ１のマッチング結果と測定ブロックＭＢのマッチング結果とが等しければ、オブジェクトＯＢ１に対応する正しいマッチング結果を示していると考えられる。
【００３２】
図４は、上述した本実施の形態による視差量測定動作の概要を示すフローチャートである。先ず、ステレオ画像の一方の画像に対して測定ブロックを設定して（ステップＳ１）、他方の画像の探索範囲で測定ブロックのマッチング演算を行って第１視差量ΔＸ１，ΔＹ１を測定する（ステップＳ２）と共に、その測定ブロックに対して４個のサブブロックを設定して（ステップＳ３）、同様のマッチング演算を行って各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）を測定する（ステップＳ４）。
【００３３】
その後、測定ブロックに対する視差量と各サブブロックに対する視差量とをそれぞれ比較する階層間比較を行って、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ５）。ここで、判定結果がＹＥＳの場合には上層すなわち測定ブロックの第１視差量ΔＸ１，ΔＹ１についてＯＫと判定し（ステップＳ６）、ＮＯの場合には第１視差量ΔＸ１，ΔＹ１についてＮＧと判定して（ステップＳ７）、第１視差量ΔＸ１，ΔＹ１とエラーの判定結果とを出力する（ステップＳ８）。
【００３４】
なお、本実施の形態において、上層マッチング部９Ａでの第１差分絶対値和の演算処理は、測定ブロックＭＢの全ての画素を対象とすることもできるが、例えば図５（ａ）に示すように、基準データや参照データを１画素ずつ間引いて行い、下層マッチング部９Ｂでの第２差分絶対値和の演算処理では、図５（ｂ）に示すように間引かないようにすることもできる。このようにすれば、第１および第２差分絶対値和演算回路での計算量を等しくできるので、回路規模を同じにすることができる。
【００３５】
また、サブブロックの数は、４つに限らず、２つ以上の任意の数とすることができる。さらに、測定ブロックのサイズ（画素数）は、例えば図５では１２×１２の偶数としたが、奇数とすることもできる。なお、測定ブロックサイズを奇数とする場合には、サブブロックは隣接するサブブロック同士が１ラインずつ重なるように設定すればよい。さらに、マッチング演算処理では、対応領域を１画素または複数画素ずつ飛び越して探索することもできる。このようにすれば、視差測定の分解能は落ちるが、回路規模の縮小や計算時間の短縮を図ることができる。また、入力する画像に対して解像度（画素数）削減やスムージングなどの前処理を行って、測定時間や回路規模を縮小したり、ノイズの影響を減らしたりすることもできる。さらに、下層マッチング部９Ｂを一対の差分絶対値和演算回路と最小値検出回路とで構成し、これを各サブブロックで順次使用してそれぞれの視差量を演算したり、あるいは上層マッチング部９Ａの一対の差分絶対値和演算回路と最小値検出回路とを共用して、各サブブロックの視差量を演算するよう構成することもできる。さらにまた、マッチングは、差分絶対値和に限らず、左右ブロックの類似性を示すものであれば、例えば相互相関のような他の演算量を用いることもできる。上記の各変形例は、後述の実施の形態にも適宜適用することができる。
【００３６】
（第２実施の形態）
図６および図７は第２実施の形態を示すもので、図６は視差測定部の要部の回路構成を示すブロック図、図７は視差量測定動作の概要を示すフローチャートである。本実施の形態は、視差測定部９の構成が第１実施の形態と異なるものである。すなわち、第１実施の形態では上層マッチング部９Ａに第１差分絶対値和演算回路９０１を設けて測定ブロックの差分絶対値和を演算するようにしたが、本実施の形態では、図６に示すように第１差分絶対値和演算回路９０１に代えて加算回路９２０を設け、この加算回路９２０において下層マッチング部９Ｂの第２−１〜２−４差分絶対値和演算回路９０３〜９０６の出力を加算して、測定ブロックの差分絶対値和を演算するようにしたものである。
【００３７】
図６において、下層マッチング部９Ｂでは、第１実施の形態と同様に、第２−１〜２−４差分絶対値和演算回路９０３〜９０６でサブブロックの差分絶対値和を演算し、それらを対応する第２−１〜２−４最小値検出回路９０７〜９１０に供給してそれまでの最小値と比較し、小さければ最小値と視差量ΔＸ２ｎ，ΔＹ２ｎとを更新する。本実施の形態では、第２−１〜２−４差分絶対値和演算回路９０３〜９０６でそれぞれ演算される差分絶対値和を上層マッチング部９Ａの加算回路９２０にも供給する。
【００３８】
加算回路９２０では、入力される差分絶対値和の和を演算し、これを測定ブロックに対する第１差分絶対値和とする。この第１差分絶対値和は、第１実施の形態と同様に第１最小値検出回路９０２に供給して、それまでの最小値と比較し、小さければ最小値と視差量ΔＸ１，ΔＹ１とを更新する。
【００３９】
各測定ブロックについて、上記の一連の作業を参照データを切り出す位置を変えて繰り返し、当該測定ブロックおよびその各サブブロックに対するマッチング演算処理が終了したら、第１実施の形態と同様に、上層マッチング部９Ａでの第１視差量９１１（ΔＸ１，ΔＹ１）を測定ブロックの視差量７（ＤｉｓＸ，ＤｉｓＹ）として出力すると共に、階層間比較回路９１６において、測定ブロック（上層マッチング部９Ａ）に対する第１視差量９１１と第１〜第４サブブロック（下層マッチング部９Ｂ）に対する第２−１〜２−４視差量９１２〜９１５とをそれぞれ比較して、第２−１〜２−４視差量９１２〜９１５の少なくとも一つが、第１視差量９１１とほぼ等しい（差が規定値以内）ときは、エラー判定回路９１７からＯＫを意味するエラーコード８を出力し、第２−１〜２−４視差量９１２〜９１５のいずれもが第１視差量９１１と大きく異なるときは、エラー判定回路９１７からＮＧを意味するエラーコード８を出力する。
【００４０】
図７は、第２実施の形態による視差量測定動作の概要を示すフローチャートである。先ず、ステレオ画像の一方の画像に対する測定ブロックの設定（ステップＳ１１）およびサブブロックの設定（ステップＳ１２）が終了したら、サブブロックに対する参照データを設定して（ステップＳ１３）、サブブロックのマッチング演算処理を行い、各サブブロックの差分絶対値和を算出する（ステップＳ１４）と共に、その最小値を検出して各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）を更新する（ステップＳ１５）。
【００４１】
ステップＳ１４で算出される各サブブロックの差分絶対値和は、加算することで測定ブロックの差分絶対値和を算出し（ステップＳ１６）、その差分絶対値和の最小値を検出して測定ブロックに対する第１視差量ΔＸ１，ΔＹ１を更新する（ステップＳ１７）。
【００４２】
上記のステップＳ１３からステップＳ１７までの処理は、ステップＳ１８においてサブブロックのマッチング演算が終了するまで繰り返し、マッチング演算が終了したら、測定ブロックに対する第１視差量ΔＸ１，ΔＹ１と各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎとをそれぞれ比較する階層間比較を行って、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ１９）。ここで、判定結果がＹＥＳの場合には上層すなわち測定ブロックの第１視差量ΔＸ１，ΔＹ１についてＯＫと判定し（ステップＳ２０）、ＮＯの場合には第１視差量ΔＸ１，ΔＹ１についてＮＧと判定して（ステップＳ２１）、第１視差量ΔＸ１，ΔＹ１とエラーの判定結果とを出力する（ステップＳ２２）。
【００４３】
本実施の形態によれば、第１差分絶対値和演算回路を用いることなく、第２−１〜２−４差分絶対値和演算回路９０３〜９０６から出力される各サブブロックの差分絶対値和を加算回路９２０で加算して測定ブロックに対する第１差分絶対値和を得るようにしたので、第１実施の形態に比べ回路規模を縮小できると共に、処理時間も短くできる。
【００４４】
なお、本実施の形態において、ブロック内の画素や探索範囲を間引く場合には、上層および下層の間引きが等しくなる。
【００４５】
（第３実施の形態）
図８〜図１０は第３実施の形態を示すもので、図８は全体の要部の回路構成を示すブロック図、図９は図８に示す視差測定部の要部の回路構成を示すブロック図、図１０は視差量測定動作の概要を示すフローチャートである。
【００４６】
本実施の形態の視差量測定装置は、図８に示すように、測定ブロック設定部３からの基準データ５および探索範囲／参照ブロック設定部４からの参照データ６に基づいて、視差測定部９から４つのサブブロックの視差量７０１〜７０４と、その各々のエラーコード８０１〜８０４とを出力するようにしたものである。
【００４７】
視差測定部９は、図９に示すように、上層マッチング部９Ａ、下層マッチング部９Ｂ、および第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４を有している。
【００４８】
本実施の形態では、上層マッチング部９Ａおよび下層マッチング部９Ｂを第２実施の形態と同様に構成して、上層マッチング部９Ａで測定ブロックに対する第１視差量９１１を演算し、下層マッチング部９Ｂで各サブブロックに対する第２−１〜２−４視差量９１２〜９１５を演算する。第１視差量９１１は第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４に供給し、第２−１〜２−４視差量９１２〜９１５は視差量７０１〜７０４として出力すると共に、対応する第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４に供給する。
【００４９】
第２−１〜２−４階層間比較／エラー判定回路９２１〜９２４では、第２−１〜２−４視差量９１２〜９１５（下層マッチング部９Ａの結果）と第１視差量９１１（上層マッチング部９Ｂの結果）とをそれぞれ比較し、両者の差が規定範囲内であればＯＫを、両者の差が規定範囲外であればＮＧを意味するエラーコード８０１〜８０４を出力する。
【００５０】
図１０は、第３実施の形態による視差量測定動作の概要を示すフローチャートである。本実施の形態では、ステップＳ１１〜Ｓ１８で図７で説明したと同様の処理を行って、測定ブロックに対する第１視差量ΔＸ１，ΔＹ１と各サブブロックに対する第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）とを求めたら、第１視差量ΔＸ１，ΔＹ１と第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎ（ｎ＝１〜４）とをそれぞれ階層間比較して、｜ΔＸ２ｎ−ΔＸ１｜≦ａｘおよび｜ΔＹ２ｎ−ΔＹ１｜≦ａｙ（ａｘ，ａｙは規定値）であるか否かを判定する（ステップＳ２３）。ここで、判定結果がＹＥＳの第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎについては対応するエラーコードの内容をＯＫとし（ステップＳ２４）、ＮＯの第２−ｎ視差量ΔＸ２ｎ，ΔＹ２ｎについては対応するエラーコードの内容をＮＧとして（ステップＳ２５）、４つのサブブロックの視差量７０１〜７０４と、その各々のエラーコード８０１〜８０４とを出力する（ステップＳ２６）。
【００５１】
本実施の形態によれば、画像全体について視差の統計量を求める場合、各測定ブロックが全体に及ぼす影響の大きさを第１，第２実施の形態の場合よりも小さくできる。すなわち、第１，第２実施の形態の場合には、各測定ブロックの影響度は１か０となるが、本実施の形態では４，３，２，１，０の影響度を取り得ることになる。したがって、例えば４個のサブブロックが同じ視差を持っている場合には測定ブロックの影響度は４になるが、前景と背景との境界上にあるような測定ブロックでは、どちらにマッチングしても影響度は小さくなる。このような境界上の測定ブロックの視差測定結果は、測定ブロック内の一部に対しては正解だが、他の部分に対してはエラーである。
【００５２】
また、第１，第２実施の形態の場合、全くのエラーマッチングであっても、一つのサブブロックの結果が測定ブロックの視差結果とたまたま一致してしまうと、測定ブロック全体のマッチングがＯＫと判定されてエラーを検出し損ね、影響度が大きくなることが懸念されるが、本実施の形態では一致したサブブロックのみがマッチングＯＫと判定されるので、測定ブロックの影響度は低くなる。このように、本実施の形態では、サブブロックの信頼性によって各測定ブロックを重み付けすることができるので、一カ所のエラーが全体に及ぼす影響を軽減することができる。
【００５３】
なお、本実施の形態では、上層マッチング部９Ａを第２実施の形態と同様に加算回路９２０を用いて構成したが、第１実施の形態と同様に第１差分絶対値和演算回路を用いて構成することもできる。
【００５４】
（第４実施の形態）
図１１および図１２は第４実施の形態を示すもので、図１１は視差測定部の要部の回路構成を示すブロック図、図１２は図１１に示す特徴チェック部の構成を示すブロック図である。
【００５５】
図１１に示すように、本実施の形態では、第１実施の形態において、視差測定部９の上層マッチング部９Ａに測定ブロック内の特徴（明確な輝度変化）の有無をチェックする特徴チェック部１０を設けると共に、下層マッチング部９Ｂにも各サブブロックに対応して当該サブブロック内の特徴の有無をチャックする特徴チェック部１０を設ける。
【００５６】
各特徴チェック部１０は、図１２に示すように、エッジ抽出フィルタ１００１、二値化回路１００２、合計回路１００３および比較判定回路１００４を有し、基準データ５をエッジ抽出フィルタ１００１にかけてエッジを抽出し、その出力を二値化回路１００２で適正な閾値で二値化して、合計回路１００３で対応するブロックにおける二値化画像のエッジの画素数を合計し、その合計値を比較判定回路１００４において規定値と比較して、合計値が規定値よりも小さいときは当該ブロック内に特徴がないとしてＮＧを意味するエラーコードを出力し、合計値が規定値よりも大きいときは当該ブロック内に特徴があるとしてＯＫを意味するエラーコードを出力するように構成する。
【００５７】
上層マッチング部９Ａの特徴チェック部１０から出力される第１エラーコードおよび下層マッチング部９Ｂの各サブブロックに対応する特徴チェック部１０から出力される第２−１〜２−４エラーコードは階層間比較回路９１６に供給し、ここで例えば第２−１〜２−４エラーコードがＮＧのときは、当該ＮＧのサブブロックに対応する視差量と測定ブロックに対する第１視差量との比較を省略あるいはその比較結果を無視し、第1エラーコードがＮＧのときは、第２−１〜２−４エラーコードに拘わらず、エラー判定回路９１７でＮＧと判定される比較結果をエラー判定回路９１７に出力する。
【００５８】
このように構成すれば、測定ブロックに対する第１視差量と、各サブブロックに対する第２−１〜２−４視差量との階層間比較に基づいてエラーマッチングを判定する場合に比べて、より確実にエラーマッチングを減らすことができる。
【００５９】
このような特徴チェック部１０は、上記の第２実施の形態や第３実施の形態、あるいは後述する第５実施の形態において、マッチングを行って所定ブロックの視差量を求めるマッチング演算処理部にも有効に適用することができる。
【００６０】
なお、図１１では、特徴チェック部１０を対応するマッチング演算処理部に対して並列的に設けたが、マッチング処理の前に特徴チェックを行い、その結果がＮＧのときは対応するマッチング処理を省略するように構成することもできる。このように構成すれば、特徴の少ない画像を扱う場合に、演算時間を短縮することができる。
【００６１】
（第５実施の形態）
図１３は、第５実施の形態における視差測定部の要部の回路構成を示すブロック図である。本実施の形態は、第２実施の形態の４つのサブブロックから成る一つの測定ブロックを第３実施の形態のサブブロックの一つとする３層構成として、第２層の４ブロックの視差量をそれぞれ測定し、その各視差量に対応するブロックでのマッチングエラーを、当該ブロックの視差量とその上下層のブロックの視差量との階層間比較に基づいて判定するようにしたものである。
【００６２】
図１３では、図面を簡略化するため、第１層マッチング部９Ｃと、第１層ブロックの４個の第２層ブロックのうちの１個に対応する第２層マッチング部９Ｄ−１と、１６個の第３層ブロックのうちの１個の第２層ブロックに対応する４個の第３層ブロックからなる第３層マッチング部９Ｅ−１と、第２層マッチング部９Ｄ−１に対応する第２−１上位階層間比較／エラー判定回路９３０と、第３層マッチング部９Ｅ−１に対応する第２−１下位階層間比較回路９３１と、第２−１下位階層間比較回路９３１に対応するエラー判定回路９３２と、第２−１上位階層間比較／エラー判定回路９３０およびエラー判定回路９３２に対応する最終エラー判定回路９３３とを図示している。
【００６３】
第３層マッチング部９Ｅ−１は、４個の第３層ブロックの各々に対応する第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８と、その各々の最小値を検出する第３−１−１〜３−１−４最小値検出回路９３９〜９４２とを有している。第２層マッチング部９Ｄ−１は、対応する第３層マッチング部９Ｅ−１の第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８からの出力を加算する第２−１加算回路９４４と、その最小値を検出する第２−１最小値検出回路９４５とを有している。第１層マッチング部９Ｃは、第２層マッチング部９Ｄ−１を含む４個の第２層マッチング部の第２−１〜２−４加算回路からの出力を加算する第１加算回路９４６と、その最小値を検出する第１最小値検出回路９４７とを有している。
【００６４】
本実施の形態では、先ず、第２実施の形態と同様に、第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８で第３層の対応する各ブロックの差分絶対値和を演算し、第３−１−１〜３−１−４最小値検出回路９３９〜９４２で差分絶対値和の演算結果をそれまでの最小値とそれぞれ比較して、小さければ対応する最小値と第３−１−１〜３−１−４視差量９５１〜９５４（ΔＸ３１１，ΔＹ３１１〜ΔＸ３１４，ΔＹ３１４）とを更新する。
【００６５】
また、第２−１加算回路９４４で第３−１−１〜３−１−４差分絶対値和演算回路９３５〜９３８の出力を加算して第２層の１個のブロックの差分絶対値和を得、第２−１最小値検出回路９４５でそれまでの最小値と比較して、小さければ最小値と第２−１視差量９５５（ΔＸ２１，ΔＹ２１）とを更新し、この第２−１最小値検出回路９４５での第２−１視差量９５５を第２層の当該ブロックにおける視差量７０１（ＤｉｓＸ１，ＤｉｓＹ１）として出力する。
【００６６】
さらに、第１加算回路９４６で第２−１加算回路９４４の出力、図示しない第２−２〜２−４加算回路の出力とを加算して第１層ブロックの差分絶対値和を得、第１最小値検出回路９３１でそれまでの最小値と比較して、小さければ最小値と第１視差量９５６（ΔＸ１，ΔＹ１）とを更新する。
【００６７】
第２−１下位階層間比較回路９３１では、第２層の第２−１視差量９５５と第３層の第３−１−１〜３−１−４視差量９５１〜９５４とをそれぞれ比較し、第３−１−１〜３−１−４視差量９５１〜９５４のいずれか一つが第２−１視差量９５５とほぼ等しい（差が規定値以内）ときは、エラー判定回路９３２からＯＫを意味するエラーコード８１１を出力する。これに対し、第３−１−１〜３−１−４視差量９５１〜９５４のいずれもが第２−１視差量９５５と大きく異なるときは、エラー判定回路９３２からＮＧを意味するエラーコード８１１を出力する。
【００６８】
一方、第２−１上位階層間比較／エラー判定回路９３０では、第２層の第２−１視差量９５５と第１層の第１視差量９５６とを比較して、両者がほぼ等しい（差が規定値以内）のときは、ＯＫを意味するエラーコード８１２を出力する。これに対し、両者が大きく異なるときは、ＮＧを意味するエラーコード８１２を出力する。最終エラー判定回路９３３では、エラーコード８１１およびエラーコード８１２のどちらかがＯＫのときは、ＯＫを意味するエラーコード８０１を出力する。
【００６９】
本実施の形態によれば、ブロックを３層構造として、下位の第２層と第３層との階層間比較に基づいてエラーマッチングを判定すると共に、上位の第１層と第２層との階層間比較に基づてエラーマッチングを判定して、いずれかがＯＫならＯＫと判定するようにしたので、画像の特徴が少ないときや下位のブロックサイズをかなり小さくした場合に、下層のブロックでは特徴チェックでエラーと判定されたり、上位との比較がうまくいかない場合があっても、上位の層との比較によってエラー判定を確実に行うことができる。したがって、視差が複雑であったり、種々の空間周波数が存在する場合にも、エラーマッチングを確実に判定することができる。
【００７０】
なお、本実施の形態では、ブロックを３階層としたが、さらに多くの階層を設定することもできる。
【００７１】
図１４は、本発明に係る視差量測定装置の応用例を示すもので、頭部装着型表示装置（ＨＭＤ）に適用した場合を示している。このＨＭＤは、映像表示コントローラ１３、ＨＭＤユニット１４、前処理部１５、評価量演算部１６、評価部１７、および制御信号出力部１８と、上記実施の形態で説明した測定ブロック設定部３、探索範囲／参照ブロック設定部４および視差測定部９からなる視差量測定装置とを有している。
【００７２】
図１４において、ステレオ映像信号は映像表示コントローラ１３に入力し、該映像表示コントローラ１３による制御のもとにＨＭＤユニット１４に表示する。ここで、ステレオ映像信号は、例えばゲーム機やビデオあるいはコンピュータなどの映像信号で、左右映像がフィールド毎に交互に伝送されるものであっても良いし、左右映像が１フィールド内に含まれているものであってもよい。
【００７３】
ＨＭＤユニット１４は、ユーザーの左右の目に対応する２つの表示部を含み、左目用の表示部には左映像を、右目用の表示部には右映像をそれぞれ表示することにより、ユーザーは立体的なステレオ映像を見ることができるようになっている。また、映像表示コントローラ１３により左右どちらかの映像のみを左右両方の表示部に表示するように制御することにより、ユーザーは通常の２Ｄ映像を見ることができるようになっている。なお、入力映像がステレオ映像でなく通常の２Ｄ映像の場合には、入力映像信号をそのまま左右両方の表示部に表示することにより、ユーザーは通常の２Ｄ映像を見ることができるようになっている。このような表示の切替は、映像表示コントローラ１３に切替スイッチを設けてユーザーが手動で切り替える場合もあれば、自動的に映像信号の種類を検出して切り替える場合もある。
【００７４】
ステレオ映像信号は前処理部１５にも入力し、ここで特定のタイミングで左右画像を各々のメモリに格納して、解像度変換、スムージングなど視差測定のための前処理を施す。その後、上記実施の形態で説明したと同様に、左画像上に複数の測定ブロックを設定し、各ブロックに対して右画像上から対応する部分を探索して視差測定部９で画像の視差を測定する。
【００７５】
視差測定部９から出力される視差量７およびエラーコード８は評価量演算部１６に入力し、ここで１画面分の測定ブロックに対する視差測定の結果を統合して、評価量を算出する。例えば、画面内の視差量の統計量（最大値や最頻値、あるいは平均値など）を演算した後、所定の規則に従って当該画像に対する評価値を与え、その評価値をそれまでの評価値に加算する。ここで、画像の評価値は、例えば視差の最大値に係数をかけて二乗したり、統計量に応じたランク付けを行う表を参照する等の所定の規則に従って求める。なお、統計量を演算する際には、エラーコード８を参照して、ＮＧを示すコードであればそのときの視差量は無視する。
【００７６】
評価量演算部１６で累積された評価値は、評価部１７で規定値と比較し、規定値を超えた場合には、制御信号出力部１８から映像表示コントローラ１３へ表示切替の指示信号を送出して、映像表示コントローラ１３において強制的に画像表示をステレオ映像表示から２Ｄ映像表示に切り替える。
【００７７】
このような制御を行うＨＭＤの利点について説明する。一般に、ステレオ映像は、視差量が大きすぎると見づらくなったり、立体感が損なわれたりするので、表示装置にあった適切な視差で見ることが望ましいが、特定の表示装置に最適化して作られた映像の視差は、別の表示装置では不適切になることがある。また、近年２Ｄ映像やゲーム映像をステレオ映像に変換する装置がいくつかあるが、設定が不適切だと大きな視差量の映像が連続して表示される場合もある。そこで、映像に含まれる視差量を監視し、大きな視差量が続く場合には、映像の設定が不適切である可能性が高いため、例えばステレオ表示を２Ｄ表示に切り替えることにより、ユーザーが気づかないまま不適切に表示された映像を見続けるのを避けることができる。
【００７８】
なお、上記の応用例では、累積された評価値が規定値を超えた場合に、制御信号出力部１８から映像表示コントローラ１３へ表示切替の指示信号を送出するようにしたが、表示の切替指示に換えて視差設定を確認するようユーザーに促すメッセージを表示させる信号を出力することもできる。また、例えば視差量の最頻値が適度な値になるように映像表示を制御することもできる。この場合には、映像信号の読み出し位置を左右でずらし、左右の映像表示を互いに逆方向にシフトさせればよい。また、評価量演算の際、エラー箇所の視差は無視するようにしたが、エラー箇所が多数の場合には評価量に特定の値を充てるようにすることもできる。
【００７９】
【発明の効果】
以上のように、本発明によれば、第１の画像に設定した測定ブロックを複数のサブブロックに分割し、測定ブロックおよび各サブブロックの各々について第２の画像上でマッチングを行ってそれぞれ視差量を求め、測定ブロックの視差量と各サブブロックの視差量との比較に基づいて、測定ブロックのマッチングがエラーか否か、あるいは各サブブロックのマッチングがエラーか否かを判定するようにしたので、視差測定に際してのエラーマッチングと正しいマッチングとを明確に切り分けて検出でき、視差の統計量などを計算する際に、エラーマッチングの影響を減らすことができる。
【図面の簡単な説明】
【図１】本発明による視差量測定装置の第１実施の形態の全体の要部の回路構成を示すブロック図である。
【図２】図１に示す視差測定部の要部の回路構成を示すブロック図である。
【図３】第１実施の形態によるエラーマッチング判定の原理を説明するための図である。
【図４】第１実施の形態による視差量測定動作の概要を示すフローチャートである。
【図５】第１実施の形態におけるマッチング演算処理の変形例を説明するための図である。
【図６】本発明による視差量測定装置の第２実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図７】第２実施の形態による視差量測定動作の概要を示すフローチャートである。
【図８】本発明による視差量測定装置の第３実施の形態の全体の要部の回路構成を示すブロック図である。
【図９】図８に示す視差測定部の要部の回路構成を示すブロック図である。
【図１０】第３実施の形態による視差量測定動作の概要を示すフローチャートである。
【図１１】本発明による視差量測定装置の第４実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図１２】図１１に示す特徴チェック部の構成を示すブロック図である。
【図１３】本発明による視差量測定装置の第５実施の形態における視差測定部の要部の回路構成を示すブロック図である。
【図１４】本発明に係る視差量測定装置を頭部装着型表示装置に適用した例を示すブロック図である。
【図１５】ブロックマッチングによる視差量測定方法を説明するための図である。
【図１６】同じく、ブロックマッチングによる視差量測定方法を説明するための図である。
【符号の説明】
３測定ブロック設定部
４探索範囲／参照ブロック設定部
９視差測定部
９Ａ上層マッチング部
９Ｂ下層マッチング部
９Ｃ第１層マッチング部
９Ｄ−１第２層マッチング部
９Ｅ−１第３層マッチング部
１０特徴チェック部
９０１，９０３〜９０６，９３５〜９３８差分絶対値和演算回路
９０２，９０７〜９１０，９３９〜９４２，９４５，９４７最小値検出回路
９１６階層間比較回路
９１７エラー判定回路
９２０，９４４，９４６加算回路
９２１〜９２４階層間比較／エラー判定回路
９３０上位階層間比較／エラー判定回路
９３１下位階層間比較回路
９３２エラー判定回路
９３３最終エラー判定回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a parallax amount measuring apparatus that measures a parallax amount of a stereo image.
[0002]
[Prior art]
Conventionally, a technique for measuring the parallax amount of a stereo image has various application fields. For example, as described in Japanese Patent Laid-Open No. 7-120255, stereo distance measurement has been known for a long time to capture a front view with a plurality of cameras and obtain depth information from the amount of parallax. In this stereo distance measurement, the depth of a specific place may be measured, or the entire parallax may be divided finely and the depth may be measured for each of them.
[0003]
Also, in the field of entertainment or professional stereoscopic video display, there is a usage in which the amount of transmission is reduced by adding measured parallax information to one video and transmitting it. Furthermore, as described in, for example, JP-A-9-322199 and JP-A-4-360394, the amount of parallax of the image is monitored and the image is set so that the parallax is good for the observer. There is also a method of correcting the camera settings and switching the display conditions as described in JP-A-11-355808. In such a usage, a detailed parallax distribution in the screen may be measured, but a parallax amount at a specific location or a statistic such as a mode value or a maximum value of the parallax may be used.
[0004]
As a method for measuring the above-described parallax amount, a block matching method has been often used. In this method, for example, when measuring the parallax between two left and right (LR) images, the screen of the L image is divided into several measurement blocks of M × N pixels as shown in FIG. Specify several measurement blocks on the image screen, find the corresponding location on the R image screen for each measurement block, that is, the most similar location, and the amount of parallax based on the amount of positional deviation between them Is measuring.
[0005]
Here, in searching for a corresponding place, for example, as shown in FIG. 16, the coordinates of the measurement block on the L image are set to (XL, YL), and first, M × N with the same coordinates as the L image on the R image. A block B of pixels is set, and a sum of luminance differences (absolute values) between pixels (hereinafter referred to as a difference absolute value sum) is calculated between the blocks A and B according to the following formula.
[0006]
[Expression 1]

[0007]
Since the difference absolute value sum S between the blocks A and B becomes the minimum at the place where the block B corresponds to the block A, the block B is shifted, that is, the values of ΔX and ΔY are changed within an appropriate range. The sum of absolute differences S is calculated to find a place where it is the minimum. In this way, when the location of the block B where the sum of absolute differences S is minimum is found, the deviation amounts ΔX and ΔY between the location of the block B and the location of the block A are calculated as the parallax amounts corresponding to the block A. .
[0008]
[Problems to be solved by the invention]
However, in the normal block matching method, for example, when there is not enough clear luminance change in the block, there are places where there are similar parts everywhere, and matching may be impossible due to slight noise or image differences. . Also, if the image contains a lot of noise, or if the block contains objects with greatly different occlusions or parallax, there is a corresponding location only in part of the block, or conversely, there are multiple corresponding locations. It is easy for matching errors to occur. When such a matching error occurs, an abnormal value is included in the measurement result, and a large error occurs in the above-described distance measurement, or correction or change of the display condition becomes inappropriate.
[0009]
In order to avoid the occurrence of the above-mentioned matching error, a method is also known in which abnormal information is excluded or some interpolation processing is performed so as not to adversely affect the information. For example, as a countermeasure when there is not enough clear luminance change in a block, for example, Japanese Patent Application Laid-Open No. 7-120255 has a high possibility of error matching by checking the presence or absence of an edge, that is, the presence or absence of a clear luminance change. It is disclosed that a place where a possibility is high is excluded in advance.
[0010]
However, it is difficult to detect error matching when the image is noisy or when an object with greatly different occlusion or parallax is included in the block. For example, Japanese Patent Application Laid-Open No. 7-120255 and Japanese Patent Application Laid-Open No. 4-203908 disclose a method of detecting error matching using a difference absolute value sum of matching results. In addition to being influenced by image properties such as brightness, contrast, edge level, and noise, the minimum value is often not sufficiently small even if it is correct, and it is not always possible to clearly distinguish between error matching and correct matching.
[0011]
For example, if there are foreground and background objects in the block, generally the image information of the foreground and background interferes and the minimum value of the sum of absolute differences increases, but either the foreground or the background Sometimes it becomes dominant and matches correctly. On the other hand, even in error matching, the minimum value of the sum of absolute differences may not be so large.
[0012]
For this reason, it is difficult to determine the optimum threshold value. For example, if the threshold value is lowered, the accuracy of error matching detection increases, but much of the measurement data is wasted and the re-measurement time is increased. In particular, in applications where it is desired to obtain parallax statistics and overall trends in a short time, it is desirable to use measurement data effectively and avoid re-measurement. For this purpose, it is necessary to clearly distinguish between error matching and correct matching.
[0013]
Accordingly, an object of the present invention made in view of such a point is that error matching and correct matching in parallax measurement can be clearly separated and detected, and the influence of error matching is reduced when calculating parallax statistics and the like. An object of the present invention is to provide a parallax amount measuring apparatus capable of performing the above.
[0014]
[Means for Solving the Problems]
The invention of the parallax amount measuring apparatus according to claim 1 which achieves the above object is a measurement block setting means for setting a predetermined measurement block on the first image of the stereo image composed of the first image and the second image. When,
Upper layer matching means for performing matching between the measurement block and the corresponding region on the second image, and measuring the parallax amount of the measurement block from the difference in coordinates between the two images;
The measurement block is divided into a plurality of sub-blocks, and each sub-block is matched with the corresponding area on the second image, and the amount of parallax of each sub-block is measured from the difference in coordinates between the two images. Lower layer matching means,
A parallax amount comparison unit that compares the parallax amount of each sub-block obtained by the lower layer matching unit with the parallax amount of the measurement block obtained by the upper layer matching unit;
An error determination means for determining whether or not the matching in the upper layer matching means is an error based on the comparison result in the parallax amount comparison means;
It is characterized by having.
[0015]
According to the parallax amount measuring apparatus according to claim 1, the parallax amount of each sub-block obtained by the lower layer matching means is compared with the parallax amount of the measurement block obtained by the upper layer matching means, and matching by the upper layer matching means is performed. Therefore, it is possible to exclude error matching measurement blocks and reduce the influence of error matching when calculating statistics of parallax and the like.
[0016]
The invention according to claim 2 is a measurement block setting means for setting a predetermined measurement block on the first image of the stereo image composed of the first image and the second image,
Upper layer matching means for performing matching between the measurement block and the corresponding region on the second image, and measuring the parallax amount of the measurement block from the difference in coordinates between the two images;
The measurement block is divided into a plurality of sub-blocks, and each sub-block is matched with the corresponding area on the second image, and the amount of parallax of each sub-block is measured from the difference in coordinates between the two images. Lower layer matching means,
A parallax amount comparison unit that compares the parallax amount of each sub-block obtained by the lower layer matching unit with the parallax amount of the measurement block obtained by the upper layer matching unit;
An error determination unit that determines whether or not matching of each sub-block in the lower layer matching unit is an error based on a comparison result in the parallax amount comparison unit;
It is characterized by having.
[0017]
According to the parallax amount measuring apparatus according to claim 2, the parallax amount obtained by the lower layer matching means is compared with the parallax amount obtained by the upper layer matching means, and the matching of each sub-block by the lower layer matching means is an error. As a result, weighting according to the reliability can be applied to the matching of the measurement block in the upper layer matching means, and the effect of error matching is calculated when calculating the disparity statistics, etc. Can be reduced.
[0018]
According to a third aspect of the present invention, in the parallax amount measuring apparatus according to the first or second aspect, the lower layer matching unit is configured to connect the sub-block on the first image and the region on the second image corresponding to the sub-block on the first image. Subblock similarity calculating means for calculating similarity and the second image having the highest similarity for each subblock on the first image based on the calculation result of the subblock similarity calculating means Detecting a value indicating the position and similarity of the upper region,
The upper layer matching means includes an addition means for adding similarity calculation results of the sub-blocks in the sub-block similarity calculation means, and the second corresponding to the measurement block based on the addition results in the addition means. And a means for detecting a value indicating the position and similarity of the region on the second image that has the highest similarity to the region on the second image.
[0019]
According to the parallax amount measuring apparatus according to claim 3, the calculation result of the similarity of each sub-block in the sub-block similarity calculation unit is added by the addition unit, and the region corresponding to the measurement block on the second image is calculated. Since the value indicating the similarity is obtained, the circuit scale of the upper layer matching means can be reduced, and the processing time can be shortened.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of a parallax amount measuring apparatus according to the present invention will be described with reference to FIGS.
[0021]
(First embodiment)
1 to 5 show the first embodiment. FIG. 1 is a block diagram showing the circuit configuration of the main part of the whole, and FIG. 2 is a block diagram showing the circuit configuration of the main part of the parallax measurement unit shown in FIG. FIGS. 3A and 3B are diagrams for explaining the principle of error matching determination, FIG. 4 is a flowchart showing an outline of a parallax amount measurement operation, and FIGS. 5A and 5B are matching calculation processes. It is a figure for demonstrating the modification of.
[0022]
As shown in FIG. 1, the parallax amount measuring apparatus according to the present embodiment has one of left and right (LR)

images

1 and 2 constituting a stereo image, in this case, L image 1 as a measurement block setting unit 3 and the other. The R image 2 is supplied to the search range / reference block setting unit 4. The measurement block setting unit 3 sets a predetermined number of measurement blocks on the L image 1 based on preset coordinates, and sequentially outputs image data of each measurement block to the memory as reference data 5. In the search range / reference block setting unit 4, a search range centered on the same coordinates (X, Y) as the measurement block on the R image 2 and a reference block having the same size as the measurement block within the search range And the image data in each reference block is sequentially output as reference data 6 by reading into the memory.
[0023]
The reference data 5 and the reference data 6 are respectively supplied to the parallax measuring unit 9, where the matching calculation processing is performed to measure and output the parallax amount 7 of each measurement block, and the parallax amount 7 is measured. It is determined whether or not the matching is error matching, and an error code 8 representing the determination result is output.
[0024]
As illustrated in FIG. 2, the parallax measurement unit 9 includes an upper layer matching unit 9A, a lower layer matching unit 9B, an inter-layer comparison circuit 916, and an error determination circuit 917.
[0025]
The upper layer matching unit 9A performs matching calculation processing of the measurement block as in the conventional case, and includes a first difference absolute value sum calculation circuit 901 and a first minimum value detection circuit 902, and the first difference absolute value. The sum calculation circuit 901 calculates the sum of absolute differences between the reference data 5 and the reference data 6 and supplies the sum to the minimum value detection circuit 902 in the same manner as conventional block matching, and the minimum value detection circuit 902 calculates the sum of absolute differences. Compare the result with the previous minimum value, discard the value if it is large, replace the minimum value if it is small, and search for the current shift amount (coordinates X + ΔX, Y + ΔY from which the reference data is cut out) and the parallax amount ΔX1, ΔY1 The difference between the center coordinates X and Y of the range is substituted.
[0026]
Further, the lower layer matching unit 9B sets sub blocks obtained by dividing the measurement block into n (in this embodiment, n = 4), and performs a matching calculation process on each of the sub blocks. 2-1 to 2-4 difference absolute value sum operation circuits 903 to 906 and 2-1 to 2-4 minimum value detection circuits 907 to 910 corresponding to each of the fourth sub-blocks, The matching calculation process similar to the matching calculation process in the upper layer matching unit 9A described above is performed by the corresponding 2-n difference absolute value sum calculation circuit and the 2-n minimum value detection circuit corresponding to each sub-block, thereby calculating the parallax amount. taking measurement.
[0027]
For each measurement block, the above-described series of operations are repeated while changing the reference block shift amount, that is, the position where the reference data is cut out, to search the measurement block and the area corresponding to each sub-block, and to the measurement block. First parallax amount 911 (ΔX1, ΔY1), 2-1 parallax amount 912 (ΔX21, ΔY21) for the first sub-block, 2-2 parallax amount 913 (ΔX22, ΔY22) for the second sub-block, third sub A second-third parallax amount 914 (ΔX23, ΔY23) for the block and a second-fourth parallax amount 915 (ΔX24, ΔY24) for the fourth sub-block are determined, and the first parallax amount 911 is determined as the parallax amount 7 ( DisX, DisY) and output to the inter-layer comparison circuit 916, and the 2-1st to 2nd-4th parallax amounts 912 to 15 and supplies the hierarchy between the comparison circuit 916.
[0028]
In the inter-layer comparison circuit 916, the first parallax amount 911 for the measurement block (upper layer matching unit 9A), the first 2-1 to 2-4 parallax amounts 912 to 915 for the first to fourth sub-blocks (lower layer matching unit 9B), Are compared, and the comparison result is supplied to the error determination circuit 917.
[0029]
In the error determination circuit 917, based on the comparison result in the inter-layer comparison circuit 916, at least one of the 2-1 to 2-4 parallax amounts 912 to 915 is substantially equal to the first parallax amount 911 (the difference is a specified value). Error code 8 indicating OK, and when any of the 2-1 to 2-4 parallax amounts 912 to 915 is significantly different from the first parallax amount 911, an error code indicating NG 8 is output. Thus, when the error code 8 is NG, the parallax amount of the measurement block is invalidated and not used.
[0030]
Next, the principle of error determination will be described with reference to FIGS. 3 (a) and 3 (b). FIG. 3A shows a state where two objects OB1 and OB2 having different parallax exist in the measurement block MB. In such a case, since the area corresponding to the object OB1 and the area corresponding to the object OB2 are different, there may be a matching error because the corresponding location cannot be found well, but the information of either object works preferentially. Matching may be successful.
[0031]
Here, as shown in FIG. 3B, considering the first to fourth sub-blocks SB1 to SB4 obtained by dividing the measurement block MB into two vertically and horizontally, there is much information on the object OB1 in the sub-blocks SB1 and SB3. In other words, the sub-blocks SB2 and SB4 contain a lot of information on the object OB2. If the matching result of the sub-block SB1 is equal to the matching result of the measurement block MB, it is considered that the correct matching result corresponding to the object OB1 is indicated.
[0032]
FIG. 4 is a flowchart showing an outline of the parallax amount measurement operation according to the above-described embodiment. First, a measurement block is set for one of the stereo images (step S1), and the first parallax amount ΔX1, ΔY1 is measured by performing a matching calculation of the measurement block in the search range of the other image (step S2). ) And four sub-blocks are set for the measurement block (step S3), and the same matching calculation is performed to obtain the second-n parallax amounts ΔX2n and ΔY2n (n = 1 to 4) for each sub-block. Is measured (step S4).
[0033]
Thereafter, an inter-layer comparison is performed to compare the amount of parallax for the measurement block with the amount of parallax for each sub-block, and | ΔX2n−ΔX1 | ≦ ax and | ΔY2n−ΔY1 | ≦ ay (ax and ay are specified values) It is determined whether or not there is (step S5). Here, when the determination result is YES, it is determined that the first parallax amounts ΔX1 and ΔY1 of the upper layer, that is, the measurement block are OK (step S6), and when NO, the first parallax amounts ΔX1 and ΔY1 are determined as NG. (Step S7), the first parallax amounts ΔX1, ΔY1 and the error determination result are output (Step S8).
[0034]
In the present embodiment, the calculation processing of the first sum of absolute differences in the upper layer matching unit 9A can be performed on all the pixels of the measurement block MB. For example, as shown in FIG. In addition, the reference data and the reference data are thinned out pixel by pixel, and the second difference absolute value sum calculation process in the lower layer matching unit 9B can be made not to be thinned out as shown in FIG. 5B. . In this way, the amount of calculation in the first and second difference absolute value sum operation circuits can be made equal, so that the circuit scale can be made the same.
[0035]
Further, the number of sub-blocks is not limited to four, and can be any number of two or more. Furthermore, the size (number of pixels) of the measurement block is, for example, an even number of 12 × 12 in FIG. 5, but may be an odd number. When the measurement block size is an odd number, the sub-blocks may be set so that adjacent sub-blocks overlap each other by one line. Further, in the matching calculation process, the corresponding area can be searched by skipping one pixel or a plurality of pixels. In this way, the resolution of parallax measurement is reduced, but the circuit scale can be reduced and the calculation time can be reduced. In addition, preprocessing such as resolution (number of pixels) reduction and smoothing may be performed on the input image to reduce the measurement time and the circuit scale, and to reduce the influence of noise. Further, the lower layer matching unit 9B is composed of a pair of difference absolute value sum calculation circuits and a minimum value detection circuit, which are used sequentially in each sub-block to calculate the respective parallax amounts, or the upper layer matching unit 9A A pair of absolute difference sum calculation circuits and a minimum value detection circuit may be shared to calculate the amount of parallax of each sub-block. Furthermore, the matching is not limited to the sum of absolute differences, and other calculation amounts such as cross-correlation can be used as long as they show the similarity between the left and right blocks. Each of the above modifications can be applied as appropriate to the embodiments described later.
[0036]
(Second Embodiment)
6 and 7 show the second embodiment. FIG. 6 is a block diagram showing a circuit configuration of a main part of the parallax measuring unit, and FIG. 7 is a flowchart showing an outline of the parallax amount measuring operation. In the present embodiment, the configuration of the parallax measuring unit 9 is different from that of the first embodiment. That is, in the first embodiment, the first difference absolute value sum calculation circuit 901 is provided in the upper layer matching unit 9A to calculate the difference absolute value sum of the measurement block. However, in this embodiment, as shown in FIG. As described above, an adder circuit 920 is provided in place of the first difference absolute value sum operation circuit 901. In the adder circuit 920, the outputs of the 2-1 to 2-4 difference absolute value sum operation circuits 903 to 906 of the lower layer matching unit 9B are provided. Addition is performed to calculate the sum of absolute differences of the measurement blocks.
[0037]
In FIG. 6, in the lower layer matching unit 9B, as in the first embodiment, the difference absolute value sums of the sub blocks are calculated by the 2-1 to 2-4 difference absolute value sum calculation circuits 903 to 906, and these are calculated. The data is supplied to the corresponding 2-1 to 2-4 minimum value detection circuits 907 to 910 and compared with the previous minimum value, and if it is smaller, the minimum value and the parallax amounts ΔX2n and ΔY2n are updated. In the present embodiment, the sum of absolute differences calculated by the second to 2-4th difference absolute value sum calculation circuits 903 to 906 is also supplied to the addition circuit 920 of the upper layer matching unit 9A.
[0038]
The adder circuit 920 calculates the sum of the input sum of absolute differences and sets this as the first sum of absolute differences for the measurement block. This first difference absolute value sum is supplied to the first minimum value detection circuit 902 in the same manner as in the first embodiment, and compared with the previous minimum value. If it is smaller, the minimum value and the parallax amounts ΔX1, ΔY1 are obtained. Update.
[0039]
For each measurement block, the above-described series of operations are repeated while changing the position where the reference data is cut out, and when the matching calculation processing for the measurement block and its sub-blocks is completed, the upper layer matching unit 9A is the same as in the first embodiment. The first parallax amount 911 (ΔX1, ΔY1) is output as the parallax amount 7 (DisX, DisY) of the measurement block, and the first parallax amount 911 for the measurement block (upper layer matching unit 9A) is output in the inter-layer comparison circuit 916. And 2-1 to 2-4 parallax amounts 912 to 915 for the first to fourth sub-blocks (lower layer matching unit 9B) are compared, respectively, and at least the 2-1 to 2-4 parallax amounts 912 to 915 are compared. When one is substantially equal to the first parallax amount 911 (difference is within a specified value), the error determination circuit 917 indicates an error indicating OK. If any of the 2-1 to 2-4 parallax amounts 912 to 915 is significantly different from the first parallax amount 911, the error determination circuit 917 outputs an error code 8 meaning NG. .
[0040]
FIG. 7 is a flowchart showing an outline of the parallax amount measurement operation according to the second embodiment. First, when the measurement block setting (step S11) and sub-block setting (step S12) for one of the stereo images is completed, reference data for the sub-block is set (step S13), and sub-block matching calculation processing is performed. And calculating the sum of absolute differences of each sub-block (step S14), and detecting the minimum value to update the second-n parallax amounts ΔX2n and ΔY2n (n = 1 to 4) for each sub-block. (Step S15).
[0041]
The difference absolute value sum of each sub-block calculated in step S14 is added to calculate the difference absolute value sum of the measurement block (step S16), and the minimum value of the difference absolute value sum is detected to detect the sum of the difference absolute values. The first parallax amounts ΔX1, ΔY1 are updated (step S17).
[0042]
The processing from step S13 to step S17 is repeated until the sub-block matching calculation ends in step S18. When the matching calculation ends, the first parallax amounts ΔX1 and ΔY1 for the measurement block and the second 2-second for each sub-block are processed. An inter-layer comparison is performed to compare the n parallax amounts ΔX2n and ΔY2n, respectively, to determine whether or not | ΔX2n−ΔX1 | ≦ ax and | ΔY2n−ΔY1 | ≦ ay (ax and ay are specified values) ( Step S19). Here, when the determination result is YES, the first parallax amounts ΔX1 and ΔY1 of the upper layer, that is, the measurement block are determined to be OK (step S20), and when the determination result is NO, the first parallax amounts ΔX1 and ΔY1 are determined to be NG. (Step S21), the first parallax amounts ΔX1, ΔY1 and the error determination result are output (Step S22).
[0043]
According to the present embodiment, the difference absolute value sum of each sub-block output from the 2-1 to 2-4 difference absolute value sum calculation circuits 903 to 906 without using the first difference absolute value sum calculation circuit. Is added by the adder circuit 920 to obtain the first sum of absolute differences for the measurement block, so that the circuit scale can be reduced and the processing time can be shortened as compared with the first embodiment.
[0044]
In the present embodiment, when thinning out pixels and search ranges in a block, the upper layer and the lower layer are thinned out equally.
[0045]
(Third embodiment)
8 to 10 show a third embodiment. FIG. 8 is a block diagram showing the circuit configuration of the main part of the whole, and FIG. 9 is a block diagram showing the circuit configuration of the main part of the parallax measurement unit shown in FIG. FIG. 10 and FIG. 10 are flowcharts showing an outline of the parallax amount measurement operation.
[0046]
As shown in FIG. 8, the parallax amount measuring apparatus according to the present embodiment is based on the reference data 5 from the measurement block setting unit 3 and the reference data 6 from the search range / reference block setting unit 4. 4 to output the parallax amounts 701 to 704 of the four sub-blocks and their error codes 801 to 804, respectively.
[0047]
As illustrated in FIG. 9, the parallax measurement unit 9 includes an upper layer matching unit 9A, a lower layer matching unit 9B, and 2-1 to 2-4 inter-layer comparison / error determination circuits 921 to 924.
[0048]
In the present embodiment, the upper layer matching unit 9A and the lower layer matching unit 9B are configured in the same manner as in the second embodiment, the upper layer matching unit 9A calculates the first parallax amount 911 for the measurement block, and the lower layer matching unit 9B The 2-1 to 2-4 parallax amounts 912 to 915 for each sub-block are calculated. The first parallax amount 911 is supplied to the 2-1 to 2-4 inter-layer comparison / error determination circuits 921 to 924, and the 2-1 to 2-4 parallax amounts 912 to 915 are output as the parallax amounts 701 to 704. At the same time, the data is supplied to the corresponding comparison / error determination circuits 921 to 924 between the 2-1 to 2-4 layers.
[0049]
In the 2-1 to 2-4 layer comparison / error determination circuits 921 to 924, the 2-1 to 2-4 parallax amounts 912 to 915 (results of the lower layer matching unit 9A) and the first parallax amount 911 (upper layer matching) Part 9B), and if the difference between the two is within the specified range, OK is output, and if the difference between the two is outside the specified range, error codes 801 to 804 indicating NG are output.
[0050]
FIG. 10 is a flowchart showing an outline of the parallax amount measurement operation according to the third embodiment. In the present embodiment, processing similar to that described in FIG. 7 is performed in steps S11 to S18, and the first parallax amounts ΔX1, ΔY1 for the measurement block and the second n-parallax amounts ΔX2n, ΔY2n (n for each sub-block) = 1 to 4), the first parallax amounts ΔX1 and ΔY1 and the second-n parallax amounts ΔX2n and ΔY2n (n = 1 to 4) are compared between the hierarchies, and | ΔX2n−ΔX1 | ≦ ax It is determined whether or not | ΔY2n−ΔY1 | ≦ ay (ax and ay are defined values) (step S23). Here, the content of the corresponding error code is OK for the second-n parallax amounts ΔX2n, ΔY2n for which the determination result is YES (step S24), and the corresponding error code for the second 2-n parallax amounts ΔX2n, ΔY2n for NO. Is set to NG (step S25), and the parallax amounts 701 to 704 of the four sub-blocks and their respective error codes 801 to 804 are output (step S26).
[0051]
According to the present embodiment, when obtaining the parallax statistic for the entire image, the magnitude of the influence of each measurement block on the entire image can be made smaller than in the first and second embodiments. That is, in the case of the first and second embodiments, the influence degree of each measurement block is 1 or 0, but in this embodiment, the influence degree can be 4, 3, 2, 1, 0. become. Therefore, for example, if four sub-blocks have the same parallax, the influence of the measurement block is 4, but in the measurement block that is on the boundary between the foreground and the background, it does not match either The degree of influence is small. The parallax measurement result of the measurement block on such a boundary is correct for a part in the measurement block, but is an error for the other part.
[0052]
In the case of the first and second embodiments, even if the error matching is completely performed, if the result of one sub-block happens to coincide with the parallax result of the measurement block, the matching of the entire measurement block is OK. Although it is feared that an error is not detected and the influence is increased, the influence is increased. However, in the present embodiment, only the matched sub-block is determined to be a matching OK, so the influence of the measurement block is low. As described above, in this embodiment, each measurement block can be weighted according to the reliability of the sub-blocks, so that the influence of one error on the whole can be reduced.
[0053]
In the present embodiment, the upper layer matching unit 9A is configured using the adder circuit 920 as in the second embodiment. However, as in the first embodiment, the first difference absolute value sum calculating circuit is used. It can also be configured.
[0054]
(Fourth embodiment)
11 and 12 show the fourth embodiment. FIG. 11 is a block diagram showing the circuit configuration of the main part of the parallax measurement unit, and FIG. 12 is a block diagram showing the configuration of the feature check unit shown in FIG. is there.
[0055]
As shown in FIG. 11, in the present embodiment, in the first embodiment, a feature check unit 10 that checks the upper layer matching unit 9A of the parallax measurement unit 9 for the presence of a feature (clear luminance change) in the measurement block. In addition, the lower layer matching unit 9B is also provided with a feature check unit 10 that chucks the presence or absence of a feature in the sub-block corresponding to each sub-block.
[0056]
As shown in FIG. 12, each feature check unit 10 has an edge extraction filter 1001, a binarization circuit 1002, a summation circuit 1003, and a comparison / determination circuit 1004, and extracts the edges by applying the reference data 5 to the edge extraction filter 1001. The binarization circuit 1002 binarizes the output with an appropriate threshold, the summation circuit 1003 sums the number of pixels of the edge of the binarized image in the corresponding block, and the total value is defined by the comparison determination circuit 1004 When the total value is smaller than the specified value, an error code indicating NG is output as no feature is found in the block, and when the total value is larger than the specified value, the feature is found in the block. It is configured to output an error code indicating OK as there is.
[0057]
The first error code output from the feature check unit 10 of the upper layer matching unit 9A and the second to 1-2-4 error codes output from the feature check unit 10 corresponding to each sub-block of the lower layer matching unit 9B are between layers. For example, when the error codes 2-1 to 2-4 are NG, the comparison between the parallax amount corresponding to the NG sub-block and the first parallax amount for the measurement block is omitted. If the comparison result is ignored and the first error code is NG, the comparison result determined as NG by the error determination circuit 917 is output to the error determination circuit 917 regardless of the 2-1 to 2-4 error codes. To do.
[0058]
If comprised in this way, compared with the case where an error matching is determined based on the comparison between the hierarchies of the 1st parallax amount with respect to a measurement block, and the 2-1 to 2-4 parallax amount with respect to each subblock, it is more reliable. Error matching can be reduced.
[0059]
Such a feature check unit 10 is also used in the matching calculation processing unit for performing the matching to obtain the parallax amount of the predetermined block in the second embodiment, the third embodiment, or the fifth embodiment described later. It can be applied effectively.
[0060]
In FIG. 11, the feature check unit 10 is provided in parallel to the corresponding matching calculation processing unit. However, the feature check is performed before the matching process, and the corresponding matching process is omitted when the result is NG. It can also be configured to. If comprised in this way, when handling an image with few features, calculation time can be shortened.
[0061]
(Fifth embodiment)
FIG. 13 is a block diagram illustrating a circuit configuration of a main part of the parallax measurement unit according to the fifth embodiment. In this embodiment, a three-layer configuration in which one measurement block including the four sub-blocks of the second embodiment is one of the sub-blocks of the third embodiment, and the amount of parallax of the four blocks of the second layer is set. Each measurement is performed, and a matching error in a block corresponding to each parallax amount is determined based on comparison between the parallax amount of the block and the parallax amount of the upper and lower layer blocks.
[0062]
In FIG. 13, in order to simplify the drawing, the first layer matching unit 9C, the second layer matching unit 9D-1 corresponding to one of the four second layer blocks of the first layer block, and 16 A third layer matching unit 9E-1 composed of four third layer blocks corresponding to one second layer block among the third layer blocks and a second layer matching unit 9D-1 corresponding to the second layer matching unit 9D-1 2-1 Corresponds to the upper layer comparison / error determination circuit 930, the 2-1 lower layer comparison circuit 931 corresponding to the third layer matching unit 9E-1, and the 2-1 lower layer comparison circuit 931. An error determination circuit 932 and a final error determination circuit 933 corresponding to the 2-1 upper layer comparison / error determination circuit 930 and the error determination circuit 932 are illustrated.
[0063]
The third layer matching unit 9E-1 includes third 3-1-1 to 3-4 difference absolute value sum operation circuits 935 to 938 corresponding to each of the four third layer blocks, and minimum values thereof. 3-1 to 3-1-4 minimum value detection circuits 939 to 942 for detecting. The second layer matching unit 9D-1 adds the outputs from the third 3-1-1 to 3-1-4 difference absolute value sum operation circuits 935 to 938 of the corresponding third layer matching unit 9E-1. -1 addition circuit 944 and a 2-1 minimum value detection circuit 945 for detecting the minimum value thereof. The first layer matching unit 9C includes a first addition circuit 946 that adds outputs from the 2-1 to 2-4 addition circuits of the four second layer matching units including the second layer matching unit 9D-1. And a first minimum value detection circuit 947 for detecting the minimum value.
[0064]
In the present embodiment, first, similarly to the second embodiment, the absolute difference of each block corresponding to the third layer is calculated by the 3-1-1 to 3-1-1 difference absolute value sum calculation circuits 935 to 938. The sum of values is calculated, and the 3-1-1 to 3-1-4 minimum value detection circuits 939 to 942 compare the calculation result of the sum of absolute differences with the minimum value so far. The value and the 3-1-1 to 3-1-4 parallax amounts 951 to 954 (ΔX311, ΔY311 to ΔX314, ΔY314) are updated.
[0065]
Further, the second-1-1 addition circuit 944 adds the outputs of the 3-1-1 to 3-1-1 difference absolute value sum calculation circuits 935 to 938 to add the difference absolute value of one block of the second layer. The 2-1 minimum value detection circuit 945 updates the minimum value and the 2-1 parallax amount 955 (ΔX21, ΔY21) if it is smaller than the previous minimum value, and this 2-1 The 2-1 parallax amount 955 in the minimum value detection circuit 945 is output as the parallax amount 701 (DisX1, DisY1) in the block of the second layer.
[0066]
Further, the first addition circuit 946 adds the output of the 2-1 addition circuit 944 and the output of the 2-2 to 2-4 addition circuit (not shown) to obtain the sum of absolute differences of the first layer block. The 1 minimum value detection circuit 931 updates the minimum value and the first parallax amount 956 (ΔX1, ΔY1) if the minimum value is smaller than the previous minimum value.
[0067]
The 2-1 sub-hierarchical comparison circuit 931 compares the 2-1 parallax amount 955 of the second layer and the 3-1-1-3-1-4 parallax amounts 951 to 954 of the third layer, respectively. When any one of the 3-1-1 to 3-1-1 parallax amounts 951 to 954 is substantially equal to the 2-1 parallax amount 955 (the difference is within a specified value), the error determination circuit 932 determines that OK. The meaning error code 811 is output. On the other hand, when any of the 3-1-1 to 3-1-4 parallax amounts 951 to 954 is significantly different from the 2-1 parallax amount 955, an error code 811 indicating NG from the error determination circuit 932 is obtained. Is output.
[0068]
On the other hand, the 2-1 upper layer comparison / error determination circuit 930 compares the 2-1 parallax amount 955 of the second layer with the first parallax amount 956 of the first layer, and both are substantially equal (difference) Is within the specified value), an error code 812 indicating OK is output. On the other hand, when both are greatly different, an error code 812 indicating NG is output. The final error determination circuit 933 outputs an error code 801 indicating OK when either the error code 811 or the error code 812 is OK.
[0069]
According to the present embodiment, the block has a three-layer structure, and error matching is determined based on the comparison between the lower second layer and the third layer, and the upper first layer and the second layer are compared. Error matching is determined based on comparison between layers, and if any is OK, it is determined that it is OK. Therefore, when the image features are small or the lower block size is considerably small, Even if there is a case where an error is determined by the feature check or the comparison with the upper layer is not successful, the error determination can be reliably performed by comparison with the upper layer. Therefore, error matching can be reliably determined even when the parallax is complicated or various spatial frequencies exist.
[0070]
In the present embodiment, the block has three hierarchies, but more hierarchies can be set.
[0071]
FIG. 14 shows an application example of the parallax amount measuring device according to the present invention, and shows a case where the device is applied to a head-mounted display device (HMD). The HMD includes the video display controller 13, the HMD unit 14, the preprocessing unit 15, the evaluation amount calculation unit 16, the evaluation unit 17, and the control signal output unit 18, the measurement block setting unit 3 described in the above embodiment, the search A parallax amount measuring device including a range / reference block setting unit 4 and a parallax measuring unit 9.
[0072]
In FIG. 14, the stereo video signal is input to the video display controller 13 and displayed on the HMD unit 14 under the control of the video display controller 13. Here, the stereo video signal is a video signal of, for example, a game machine, a video, or a computer, and the left and right images may be alternately transmitted for each field, and the left and right images are included in one field. It may be.
[0073]
The HMD unit 14 includes two display units corresponding to the left and right eyes of the user. The left image is displayed on the display unit for the left eye and the right image is displayed on the display unit for the right eye. You can see typical stereo images. Further, by controlling the video display controller 13 to display only the left or right video on both the left and right display units, the user can view a normal 2D video. When the input video is not a stereo video but a normal 2D video, the user can view the normal 2D video by directly displaying the input video signal on both the left and right display units. . Such display switching may be performed manually by the user by providing a switching switch in the video display controller 13 or may be performed by automatically detecting the type of the video signal.
[0074]
The stereo video signal is also input to the preprocessing unit 15, where the left and right images are stored in the respective memories at a specific timing, and preprocessing for parallax measurement such as resolution conversion and smoothing is performed. Thereafter, in the same manner as described in the above embodiment, a plurality of measurement blocks are set on the left image, a corresponding portion is searched from the right image for each block, and the parallax measurement unit 9 determines the parallax of the image. taking measurement.
[0075]
The parallax amount 7 and the error code 8 output from the parallax measurement unit 9 are input to the evaluation amount calculation unit 16, and the evaluation amount is calculated by integrating the parallax measurement results for the measurement blocks for one screen. For example, after calculating a statistic of the amount of parallax in the screen (maximum value, mode value, average value, etc.), an evaluation value for the image is given according to a predetermined rule, and the evaluation value is used as the previous evaluation value. to add. Here, the evaluation value of the image is obtained according to a predetermined rule such as, for example, squaring by multiplying the maximum value of parallax by a coefficient, or referring to a table for ranking according to a statistic. When calculating the statistics, the error code 8 is referred to, and if the code indicates NG, the parallax amount at that time is ignored.
[0076]
The evaluation value accumulated by the evaluation amount calculation unit 16 is compared with a specified value by the evaluation unit 17, and if the specified value exceeds the specified value, a display switching instruction signal is sent from the control signal output unit 18 to the video display controller 13. Then, the image display controller 13 forcibly switches the image display from the stereo image display to the 2D image display.
[0077]
The advantages of the HMD that performs such control will be described. In general, stereo images are difficult to see if the amount of parallax is too large, or the stereoscopic effect is impaired, so it is desirable to view with appropriate parallax that suits the display device, but it is made optimized for a specific display device. The parallax of the recorded video may be inappropriate for another display device. In recent years, there are some devices that convert 2D video and game video into stereo video. If the setting is inappropriate, video with a large amount of parallax may be displayed continuously. Therefore, when the amount of parallax included in the video is monitored and there is a large amount of parallax, the setting of the video is likely to be inappropriate. For example, the user does not notice by switching from stereo display to 2D display. It is possible to avoid continuing to view the improperly displayed video.
[0078]
In the application example described above, when the accumulated evaluation value exceeds the specified value, a display switching instruction signal is sent from the control signal output unit 18 to the video display controller 13. Alternatively, a signal for displaying a message prompting the user to confirm the parallax setting can be output. Also, for example, video display can be controlled so that the mode value of the parallax amount is an appropriate value. In this case, the video signal readout position may be shifted left and right, and the left and right video displays may be shifted in opposite directions. Further, the parallax at the error location is ignored in the evaluation amount calculation. However, when there are a large number of error locations, a specific value can be assigned to the evaluation amount.
[0079]
【The invention's effect】
As described above, according to the present invention, the measurement block set in the first image is divided into a plurality of sub-blocks, and each of the measurement block and each of the sub-blocks is matched on the second image, and each parallax is obtained. The amount is calculated, and based on the comparison between the parallax amount of the measurement block and the parallax amount of each sub-block, it is determined whether the matching of the measurement block is an error or whether the matching of each sub-block is an error Therefore, error matching and correct matching in parallax measurement can be clearly separated and detected, and the influence of error matching can be reduced when calculating parallax statistics and the like.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a circuit configuration of a main part of an entire parallax amount measuring apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a circuit configuration of a main part of the parallax measurement unit illustrated in FIG. 1;
FIG. 3 is a diagram for explaining the principle of error matching determination according to the first embodiment;
FIG. 4 is a flowchart showing an outline of a parallax amount measurement operation according to the first embodiment;
FIG. 5 is a diagram for explaining a modification of the matching calculation process in the first embodiment.
FIG. 6 is a block diagram showing a circuit configuration of a main part of a parallax measuring unit in a second embodiment of the parallax amount measuring apparatus according to the present invention.
FIG. 7 is a flowchart showing an outline of a parallax amount measurement operation according to the second embodiment.
FIG. 8 is a block diagram showing a circuit configuration of a main part of the entire third embodiment of a parallax amount measuring apparatus according to the present invention.
9 is a block diagram illustrating a circuit configuration of a main part of the parallax measurement unit illustrated in FIG. 8;
FIG. 10 is a flowchart showing an outline of a parallax amount measurement operation according to a third embodiment.
FIG. 11 is a block diagram showing a circuit configuration of a main part of a parallax measuring unit in a fourth embodiment of a parallax amount measuring apparatus according to the present invention.
12 is a block diagram illustrating a configuration of a feature check unit illustrated in FIG. 11;
FIG. 13 is a block diagram showing a circuit configuration of a main part of a parallax measuring unit in a fifth embodiment of a parallax amount measuring apparatus according to the present invention.
FIG. 14 is a block diagram showing an example in which the parallax amount measuring device according to the present invention is applied to a head-mounted display device.
FIG. 15 is a diagram for explaining a parallax amount measurement method using block matching;
FIG. 16 is also a diagram for explaining a parallax amount measurement method using block matching.
[Explanation of symbols]
3 Measurement block setting section
4 Search range / reference block setting section
9 Parallax measurement unit
9A Upper layer matching section
9B Lower layer matching section
9C 1st layer matching section
9D-1 Second layer matching section
9E-1 3rd layer matching section
10 Feature check section
901, 903-906, 935-938 Difference absolute value sum calculation circuit
902, 907 to 910, 939 to 942, 945, 947 Minimum value detection circuit
916 Inter-layer comparison circuit
917 Error judgment circuit
920, 944, 946 addition circuit
921-924 Inter-layer comparison / error determination circuit
930 Upper layer comparison / error judgment circuit
931 Comparison circuit between lower layers
932 Error judgment circuit
933 Final error judgment circuit

Claims

Measurement block setting means for setting a predetermined measurement block on the first image of the stereo image composed of the first image and the second image;
Upper layer matching means for performing matching between the measurement block and the corresponding region on the second image, and measuring the parallax amount of the measurement block from the difference in coordinates between the two images;
The measurement block is divided into a plurality of sub-blocks, and each sub-block is matched with the corresponding area on the second image, and the amount of parallax of each sub-block is measured from the difference in coordinates between the two images. Lower layer matching means,
A parallax amount comparison unit that compares the parallax amount of each sub-block obtained by the lower layer matching unit with the parallax amount of the measurement block obtained by the upper layer matching unit;
An error determination means for determining whether or not the matching in the upper layer matching means is an error based on the comparison result in the parallax amount comparison means;
A parallax amount measuring apparatus characterized by comprising:

Measurement block setting means for setting a predetermined measurement block on the first image of the stereo image composed of the first image and the second image;
Upper layer matching means for performing matching between the measurement block and the corresponding region on the second image, and measuring the parallax amount of the measurement block from the difference in coordinates between the two images;
The measurement block is divided into a plurality of sub-blocks, and each sub-block is matched with the corresponding area on the second image, and the amount of parallax of each sub-block is measured from the difference in coordinates between the two images. Lower layer matching means,
A parallax amount comparison unit that compares the parallax amount of each sub-block obtained by the lower layer matching unit with the parallax amount of the measurement block obtained by the upper layer matching unit;
An error determination unit that determines whether or not matching of each sub-block in the lower layer matching unit is an error based on a comparison result in the parallax amount comparison unit;
A parallax amount measuring apparatus characterized by comprising:

In the parallax amount measuring apparatus according to claim 1 or 2,
The lower layer matching means includes sub-block similarity calculating means for calculating the similarity between the sub-block on the first image and the corresponding area on the second image, and each sub-block on the first image. A block for detecting a position indicating a position of the region on the second image and a value indicating similarity that are most similar based on a calculation result of the sub-block similarity calculation unit;
The upper layer matching means includes an addition means for adding similarity calculation results of the sub-blocks in the sub-block similarity calculation means, and the second corresponding to the measurement block based on the addition results in the addition means. And a means for detecting a value indicating the position and similarity of the region on the second image where the similarity with the region on the image is the highest.