JP5865726B2 - 映像表示装置 - Google Patents

Description

本発明は撮像された映像を補正する技術に関する。

近年、自動車にカメラを装備し、自動車の周囲の画像を車内のディスプレイに表示することで自動車を運転するうえでの安全確認に活用したり、或は映像から障害物などを検知し、運転者への注意喚起や自動車の動きの制御に使われたりするものが登場している。自動車の周囲の環境は、昼夜などの時間帯の違い、天候の違いなどにより常時変化するため、カメラで撮影される映像の明るさや色あいなどの映像内容も変化する。一方、車内に表示される映像は自動車の周囲がどんな環境であっても常に視認しやすい映像の表示が求められることは言うまでもない。

一般的なカメラの機能として、撮影環境の明るさなどに応じてコントラスト補正を行う機能は備えているが、これに加えて表示装置の機能として、例えば、特許文献１に示されるように、夜間/夕方/雨天/降雪などの画質補正モードを設けるとともに、各モード用の画質補正テーブルを備えることで周囲の環境に応じた表示を実現するようなものや、特許文献２に示されるように、カメラの制御値と撮影された画素値から周囲の環境を推定して路面の車線検出を行うようなものが考えられている。

特開２００４−３１２３０１号 特開２００８−２８９５７号

特許文献１に記載の技術では、夜間や昼間などの大まかな表示モードの変更はできるものの、時々刻々と変化する周囲環境への対応については述べられておらず、モードの切り替えも運転者が行う必要がある。また、特許文献２に記載の技術では、カメラで撮影された映像の照度を基準として、周囲環境を推定して映像補正することで車線検出などの精度を向上するに過ぎず、表示のための好適な処理については述べられていない。

本発明は、上記課題を鑑みてなされたものであり、その目的は、撮影環境に応じたより好適な映像表示を可能とすることにある。

前記課題を解決するために、本発明の一実施の形態では、例えば、入力される映像の信号成分を分析する映像分析部と、映像の分析結果に基づき撮影された環境を推定する環境推定部と、推定された環境に基づき入力される映像の補正を行う画質補正部とを備え、環境推定部における環境推定結果に応じて、画質補正部が入力映像の画質を補正するように構成する。

撮影環境に応じたより好適な映像表示が可能となる。

本発明の実施例１の構成の一例を示す図である。 本発明の実施例１の映像解析部の一例を示す図である。 本発明の実施例１の画質補正部の一例を示す図である。 映像の輝度ヒストグラムの一例である。 映像の輝度ヒストグラムの一例である。 映像の輝度ヒストグラムの一例である。 映像の輝度ヒストグラムの一例である。 映像のヒストグラム分布に偏りがある一例である。 画質補正を施した映像のヒストグラムの一例である。 映像のエッジ量のヒストグラムの一例である。 映像のエッジ量のヒストグラムの一例である。 映像のエッジ量のヒストグラムの一例である。 本発明の実施例２の構成の一例を示す図である。 本発明の実施例３の構成の一例を示す図である。 本発明の実施例４の構成の一例を示す図である。 本発明の実施例５の構成の一例を示す図である。

以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。また、実施形態を説明するための図において、同一機能の部分には原則として同一の符号を付し、その繰り返しの説明は省略する。

まず、本発明の実施例１の構成について図１から図３を用いて説明する。

図１は本発明の実施例１のシステム全体構成を示す図である。１００は本発明の実施例１のシステムを搭載する車両、１は映像分析部、２は環境推定部、３は画質制御部、４は画質補正部、５は画像合成部、６は映像処理装置、７は表示装置、８はカメラ部である。カメラ部８で撮影された映像９は映像分析部１で映像の成分を分析し、分析情報１０として環境推定部２へ入力する。環境推定部２は分析情報１０を元に撮影された環境を推定し、環境情報１１として画質制御部３へ入力する。画質制御部３では環境情報１１を元に画質の制御値１２を出力し、画質補正部４で映像９の補正を行う。画像合成部５は画質が補正された映像１３と、例えばナビゲーション画像やＯＳＤ表示などのグラフィック映像を合成して出力し、表示部７で表示を行う。

図２に映像分析部１の構成例を示す。１ａは輝度成分分析部、１ｂは色成分分析部、１ｃは輪郭成分分析部である。本構成例では輝度成分、色成分、輪郭成分の３種類の分析を行う構成としているが、これに限ったわけではなく、最低１種類の映像成分を分析するように構成すれば良い。図３に画質補正部４の構成例を示す。４ａはノイズ低減部、４ｂは輝度補正部、４ｃは輪郭補正部、４ｄは色補正部である。本構成例でも４種類の画質補正機能により構成しているが特にこれに限ったわけではない。

次に上記構成の動作の一例を図４から図６を用いて説明する。図４は映像の１フレーム分の輝度成分の一例を示している。横軸は輝度レベル、縦軸は各輝度レベルの分布度数を示している。表示部７の表示可能な輝度レベル、つまりダイナミックレンジは、横軸の最低輝度レベルから最高輝度レベルの範囲であるとする。表示部７に視認性が高く見やすい映像を表示するためには、前述のダイナミックレンジの全体を利用するのが望ましい。つまり、表示される映像が図１の斜線で示すような映像の成分であることが理想的である。

一方、輝度成分に偏りがある一例を図５(a)に示す。図５(a)の例では、最高輝度レベルの輝度が低い方向にあり、映像成分全体のレベルも低い方向に偏っている。このような映像を表示すると全体的に暗く、視認性も悪い表示となってしまう。

逆に図５(b)に示すように最低輝度レベルの輝度が高い方向に、映像全体のレベルも高い方向に偏っていると、表示した映像は明るいものの、全体として白っぽい映像となり視認性の悪い映像となる。

そこで、上述した本発明の映像分析部１は、映像の最高輝度レベル、最低輝度レベル、平均輝度レベルを検出する。環境推定部２は、この最高輝度レベル、最低輝度レベル、平均輝度レベルなどを用いて、車両外の環境の判定を行う。

例えば、図５(a)の例では、映像の最高輝度レベルと閾値Ｓ１（最高輝度レベルによる暗環境判定用の閾値）を比較し、最高輝度レベルが閾値Ｓ１よりも低い場合に、「暗環境」と判定すればよい。また、別の判定処理例として、例えば、図５(a)の例において、映像の平均輝度レベルと閾値Ｓ２（平均輝度レベルによる暗環境判定用の閾値）を比較し、平均輝度レベルが閾値Ｓ２よりも低い場合に、「暗環境」と判定してもよい。さらに、別の判定処理例として、例えば、図５(a)の例において、上述の２例の判定基準を組み合わせて、最高輝度レベルが閾値Ｓ１よりも低く、かつ映像の平均輝度レベルが閾値Ｓ２よりも低い場合に、「暗環境」と判定してもよい。

環境推定部２が上述のように「暗環境」と判定した場合、画質制御部３の制御により、画質補正部４は、図４に示す分布により近づくようにダイナミックレンジ全体に映像成分が広げる補正を行う。

次に、例えば、図５(ｂ)の例では、映像の最低輝度レベルと閾値Ｓ３（最低輝度レベルによる明環境判定用の閾値）を比較し、最低輝度レベルが閾値Ｓ３よりも高い場合に、「明環境」と判定すればよい。また、別の判定処理例として、例えば、図５(ｂ)の例において、映像の平均輝度レベルと閾値Ｓ４（平均輝度レベルによる明環境判定用の閾値）を比較し、平均輝度レベルが閾値Ｓ４よりも高い場合に、「明環境」と判定してもよい。さらに、別の判定処理例として、例えば、図５(ｂ)の例において、上述の２例の判定基準を組み合わせて、最低輝度レベルが閾値Ｓ３よりも高く、かつ映像の平均輝度レベルが閾値Ｓ４よりも高い場合に、「明環境」と判定してもよい。

環境推定部２が上述のように「明環境」と判定した場合、画質制御部３の制御により、画質補正部４は、図４に示す分布により近づくようにダイナミックレンジ全体に映像成分が広げる補正を行う。

また、例えば、図６のように、映像の最高輝度レベルが閾値Ｓ１以上であり、映像の最低輝度レベルが閾値Ｓ３以下である場合や、平均輝度レベルが閾値Ｓ２以上閾値Ｓ４以下の場合など、上述の「明環境」でも「暗環境」でもないと判定された場合は、画質補正を行わないように構成しても良い。このような映像分布の場合は、映像の視認性はさほど悪くないと考えられるため、画像補正処理をＯＦＦとすることで、映像処理装置の動作の省電力化が図れる。

以上の判定制御及び画質補正制御は、例えば映像の毎フレーム行えばよい。上述の制御によれば、時々刻々と撮影された映像が変化した場合にも、必要に応じて撮像時よりも広いダイナミックレンジを使った映像表示が可能となり、視認性の良好な映像表示が可能になる。

なお、上述の説明において、図５(a)の例において、最低輝度レベルと閾値Ｓ３による判定及び平均輝度レベルとＳ４による判定の説明は省略した。しかし、図５(a)と図５(ｂ)を比較すれば明らかなように、図５(a)における最低輝度レベルは閾値Ｓ３以下であり、平均輝度レベルは閾値Ｓ４以下であるため、「明環境」とは判定されない。

また、上述の説明において、図５(b)の例において、最高輝度レベルと閾値Ｓ１による判定及び平均輝度レベルとＳ２による判定の説明は省略した。しかし、図５(a)と図５(ｂ)を比較すれば明らかなように、図５(ｂ)における最高輝度レベルは閾値Ｓ1以上であり、平均輝度レベルは閾値Ｓ２以上であるため、「暗環境」とは判定されない。

なお、上述の一例で、環境推定部３では「暗環境」「明環境」の推定を行うように説明したが、輝度レベルを判定する値を複数設けることで細分化し、例えば「夜間」「朝夕」「昼間（曇天）」「昼間（晴天）」のように推定してもよい。例えば、「夜間」と判定した場合に、上述の「暗環境」と同様な処理を行うこうに構成しても良い。また、「昼間（晴天）」と判定した場合は、上述の「明環境」と同様な処理を行うこうに構成しても良い。また、「昼間（曇天）」と判定した場合は、上述の画質補正を行わないように構成しても良い。また、「朝夕」と判定した場合は、後述の色補正を行うように構成しても良い。

また、映像分析部１は、環境の推定のために、映像の最高輝度レベル、最低輝度レベル、平均輝度レベルを検出して、環境の推定に使用するものとして説明した。ここで、他の例として、輝度ヒストグラムとして検出して、する場合の一例を図７、図８を用いて説明する。図７は入力される映像９の輝度ヒストグラムの一例であり、横軸は輝度レベル、縦軸は各輝度レベルの分布度数を示している。このように映像分析部１で映像ヒストグラムを検出した場合、環境推定部２は例えばヒストグラムの重心と所定値を基準に、上述の実施例と同様な環境の推定を行うとともに、画質制御部３を介して画質補正部４で映像９の補正を行う。補正後の映像の輝度ヒストグラム例を図８に示す。

画質補正部４では、ヒストグラムの重心が輝度の高い方向に補正するとともに、図７に示した度数が所定値よりも大きな輝度レベルの領域を拡張するように補正を加える。輝度ヒストグラムの度数が大きな輝度レベルは画面中を占める面積も大きいので、その領域の輝度差を大きくするよう制御することで、視認性の高い映像表示が可能となる。

次に映像分析部１における色成分分析部１ｂの動作例を説明する。色成分分析部１ｂは、映像の色成分のうち色相、彩度のうち少なくとも一方をヒストグラム情報として検出する。環境推定部２では、色相の赤色成分が所定値よりも大きかった場合に「朝夕」であると判定するとともに、画質制御部３を介して画質補正部４において映像９の補正を行う。例えば、朝夕の映像に赤みがかった映像の赤成分のレベルを下げるとともに、前述した輝度情報での補正と併用することで、昼間と同様に視認性の良好な映像表示が実現できる。また、彩度情報は、所定の彩度よりも低かった場合に、彩度を高くするように制御を行う。例えば、自動車の周囲の映像は道路などが多く色成分が少ないのに対して、人、車などの物体は色成分が多いので、彩度を高くするように補正することで注意すべき物体の視認性を向上させることができる。

次に図９から図１１を用いて映像分析部１における輪郭成分分析部１ｃの動作例を説明する。まず図９において横軸はエッジ成分（輪郭成分）の振幅レベル、縦軸はそれぞれのレベルにおける度数分布を示している。映像成分において、比較的エッジの振幅レベルが小さい領域は映像中のノイズ成分、比較的エッジの振幅レベルが大きい領域は映像中の物体の輪郭である場合が多い。本実施例では、図１０に示すようにエッジの振幅レベルが所定値よりも小さい領域に対してエッジ振幅を下げるように画質制御部３を介して画質補正部４で映像９の画質補正を行う。この処理は画質補正部４におけるノイズ低減部４ａにて行う。これによりノイズ成分を抑制し、注視すべき物体の視認性を向上することができる。

また、上記制御に加えエッジの振幅レベルが所定値よりも大きな領域に対してエッジの振幅を大きくするように制御してもよい。この処理は画質補正部４における輪郭補正部４ｃで行う。この処理によればノイズを抑制し、さらに注視すべき物体の輪郭が鮮明にできるので視認性の高い表示が可能となる。この制御は、ノイズの抑制は行わず、所定値よりも大きな領域に対してエッジの振幅を大きくする制御のみを行っても良い。

以上説明した本発明の実施例１に係る映像処理技術によれば、毎フレームの映像の分析に基づき、環境を推定したうえで画質を補正することができるので、時々刻々と変化する撮影環境に応じてより好適な映像の表示を実現できる。すなわち、撮影環境に応じたより好適な映像表示が可能となる。

実施例２について図１２を用いて説明する。実施例１では、１つの映像入力に対する構成例と動作を説明したが、本実施例では２つの映像入力の場合の構成例を示している。

１２００は本発明の実施例２のシステムを搭載する車両、８ｂはカメラ部、３ｂは画質制御部、４ｂは画質補正部である。カメラ部８からの映像９が接続される映像分析部１、環境推定部２、画質制御部３、画質補正部４の動作は実施例１と同一であるため、ここでの説明は省略する。

なお、カメラ部８及びカメラ部８ｂの、車両における設置方向は様々な例が考えられる。一方を車両の前方を撮像する方向に設置し、他方を車両の後方を撮像する方向に設置してもよい。この場合フロントビューカメラと、リアビューカメラとして用いることができる。また、他の構成例としては、両者をともに車両の前方(必要であれば後方でもよい)を撮像する方向に設置し、視差のある2視点の映像を撮影するように構成してもよい。この場合は、距離測定や３Ｄ映像表示のための撮像システムを構成することができる。

以下、カメラ部８ｂからの映像が接続される部分と、画像合成部５の動作について説明する。カメラ部８ｂの映像９ｂは、画質補正部４ｂで補正されるが、この制御は、カメラ部８の撮像映像を用いて環境推定を行う環境推定部２の推定結果に基づき画質制御部３ｂを介して行うように構成する。なぜならば、カメラ部８、カメラ部８ｂがそれぞれ車両１２００の外部を撮影するとした場合、近い環境を撮影していることになり、映像内容の類似性が高いためである。したがって、環境推定部２の推定結果での補正しても実用上問題ない。このように、1台のカメラで撮像した映像を用いて車両外の環境推定を行い、その環境推定結果を複数台のカメラで撮像した映像の画質補正に共通に用いることで、複数台のカメラそれぞれの撮像映像でぞれぞれの環境推定処理を行うよりも安価に映像処理装置を構成することができる。

次に、画像合成部５には、画質補正部４ｂの出力映像１３ｂと画質補正部４の出力映像１３が入力され、処理が行われる。当該画像合成部５における処理は、例えばナビゲーション画像やＯＳＤ表示などのグラフィック映像を合成する以外にも様々な処理が考えられる。

まず、一方のカメラを車両の前方を撮像する方向に設置（フロントビュー用）し、他方のカメラを車両の後方を撮像する方向に設置（リヤビュー用）する場合は、図示しないユーザからの指示情報入力部により、どちらか一方の映像を選択して出力してもよい。また、両者の映像をリサイジング変換処理等を行って表示部７の表示画面のそれぞれの領域に表示できるように出力映像を生成してもよい。出力映像は表示部７へ入力され表示される。この場合、映像を合成して表示する方法としては、画面上に左右に並べて表示する方法や上下に並べて表示する方法などがあるがどちらでも問題ない。また、車両を俯瞰する視点からの映像に見えるように、それぞれの映像を変換する既存の技術を用いて出力映像を生成するように構成してもよい。

また、両方のカメラを車両の前方を撮像する方向に設置し、視差のある2視点の映像を撮影するように構成する場合は、どちらか一方の映像を選択して２Ｄ映像として出力してもよく、両者の映像を用いて３Ｄ映像を生成して３Ｄ映像として表示してもよい。この場合、表示部７は３Ｄ映像が可能な表示装置を用いる必要がある。表示部７における３Ｄ映像表示方式は、裸眼立体視方式でもよく、偏光メガネや液晶シャッター式メガネを必要とする方式でも構わない。これらはいずれも既存技術で実現できる。表示部７と映像処理装置６を一体システムとして構成する場合は、映像処理装置６から表示部７へ出力する３Ｄ映像のフォーマットは独自フォーマットで構わない。表示部７と映像処理装置６を別体としてインタフェースで接続して構成する場合は、映像処理装置６から表示部７へ出力する３Ｄ映像は、例えばＨＤＭＩインタフェースなどを用いて、規格で規定された３Ｄフォーマットで伝送すればよい。

本実施例によれば、一方のカメラで撮影した画像に基づき環境を推定し、２つのカメラ映像を補正して視認性の良好な映像として表示するこができる。

本実施例では２台のカメラを用いる構成例を説明したが、カメラは何台でも問題なく、複数台の中の１台の映像による環境推定結果を元に、その他のカメラ映像を補正制御するように構成すれば、１台のカメラ以外の環境推定機能が不用になるので、より安価により視認性の高い複数カメラ映像の表示技術を提供することが可能となる。

以上説明した本発明の実施例２に係る映像処理技術によれば、カメラを複数台備える構成てあっても、より安価な構成で撮影環境に応じたより好適な映像表示が可能となる。

実施例３について図１３を用いて説明する。本実施例では、実施例２と同様に２台のカメラを用いているが、映像分析部１ｂ、環境推定部２ｂ、差分解析部２０を設けている。１３００は本発明の実施例３のシステムを搭載する車両である。図１３において、カメラ部８及びカメラ部８ｂは、ともに車両の前方(必要であれば後方でもよい)を撮像する方向に設置し、視差のある2視点の映像を撮影するように構成している。

以下、動作例を説明する。カメラ部８ｂの映像９ｂは映像分析部１ｂで映像成分を分析する。映像分析部１ｂの動作は、実施例１と同様の動作でありここでの説明は省略する。差分分析部２０は、映像分析部１ｂと映像分析部１の分析結果を入力し、両者の差分を分析し、差分情報を出力する。画質制御部３ｂではその差分情報と環境推定部２の分析結果を用いて画質補正部４ｂを制御する。この構成によれば実施例２と同様に２つの映像の視認性を向上できるとともに、例えばカメラ８とカメラ８ｂの両者の出力映像に差があった場合にも、その差分を差分解析部２０で検出し、差分を無くすように画質制御部４ｂで補正できるので、補正後の２つの映像の画質差を小さくすることができる。このようにすることで、例えば、撮影した２視点の映像を下に、３Ｄ映像を表示する際に、右目用の映像と左目用の映像の画質の差を低減することが可能となり、ユーザにとってより視認性の高い映像表示を実現できる。

本実施例では２台のカメラを用いる構成例を説明したが、カメラはそれより多い台数でもよい。映像分析部、差分解析部を同様に増やし、複数台の中の１台の映像による環境推定結果と差分分析結果を元に、その他のカメラ映像を補正制御するように構成すれば、同様に視認性の高い複数カメラ映像の表示が可能となる。

以上説明した本発明の実施例３に係る映像処理技術によれば、カメラを複数台備える構成てあっても、それぞれのカメラで撮影した映像の画質差を低減でき、より好適な映像表示が可能となる。

実施例４の構成例について図１４を用いて説明する。１４００は本発明の実施例４のシステムを搭載する車両である。２１は車内情報の信号を示しており、画質制御部は、実施例１で説明した環境推定結果とともに、この車内情報を用いて画質補正部の制御を行うよう構成している。

例えば、車両１４００に、日時情報や時刻情報を管理する日時情報管理部１４１２を設け、車内情報２１として時刻情報を画質制御部３ｃに入力した場合の動作を説明する。なお、日時情報管理部１４１２は、車両内１４００内の時計表示に用いる時刻情報を管理する部と共通でも構わない。実施例１では映像分析を元に昼夜などの推定を行ったが、本実施例では時刻情報を用いて環境推定を行う。例えば、時刻により昼夜の判別は可能であるので、大まかな判定を時刻を元に行ない、その間の朝夕の判定を映像を元に行う。これにより季節などの違いで明るさが異なる時間帯でも精度の高い画質補正が可能となる。

また、例えば、画質制御部３ｃが、日時情報管理部１４１２から画質制御部３ｃとして時刻情報に加えて日時情報を取得する構成としてもよい。画質制御部３ｃは、取得した日付情報を用いて、図示しない記憶部に予め記憶した日付毎の日の出時刻情報、日の入り時刻情報を参照して、上記昼夜の判別処理に用いることも可能である。なお、記憶部に記憶する日の出時刻情報、日の入り時刻情報については、夏は日の出時刻が早く、日の入り時刻が遅く、冬は日の出時刻が遅く、日の入り時刻が早くなるように設定すればよい。

また、車両１４００に、天候情報を管理する天候情報管理部１４１４を設けて、車内情報２１に天候情報を含めて画質制御部３ｃに入力してもよい。この場合、画質制御部３ｃは取得した天候情報を用いて晴天/雨天/降雪などの判別を行い、画質制御のモードを変更することも可能である。なお、天候情報管理部１４１４は、車両１４００が備える無線情報取得部１４１３を介して天候情報を取得すればよい。無線情報取得部１４１３による情報取得方式は、FM放送波、地上波、衛星放送などの放送波を介して情報を取得する方式でもよく、携帯電話網通信を介して情報を取得する方式でもよく、道路周辺に設置された電波ビーコン、光ビーコン等の装置から情報を受信する方式でも良い。

また、車両１４００に、ワイパーの動作状態を管理するワイパー動作状態管理部１４１５を設けて、車内情報２１にワイパーの動作情報を含めて画質制御部３ｃに入力してもよい。この場合、画質制御部３ｃは、取得したワイパーの操作情報に基づいて晴天/雨天を判別してもよい。ワイパーの操作情報がワイパーが動作している状態を示す場合には、雨天と判別すればよい。

また、車両１４００に、ライト（前照灯）の点灯状態を管理するライト点灯状態管理部１４１６を設けて、車内情報２１にライト（前照灯）の点灯状態情報を含めて画質制御部３ｃに入力してもよい。この場合、画質制御部３ｃは、取得したライトの点灯状態に基づいて上述の「暗環境」判別をおこなってもよい。すなわち、ライトの点灯状態情報が「ライト点灯」を示している場合には、「暗環境」と判定してもよい。

また、車両１４００が備える照度センサー１４１１によって取得する車外の環境光の照度情報を車内情報２１に含めて画質制御部３ｃに入力してもよい。この場合、画質制御部３ｃは、取得した環境光の照度情報に基づいて上述の「明環境」／「暗環境」判別をおこなえばよい。例えば、環境光の照度情報に格納される照度が所定値以上の場合には「明環境」と判断してもよい。また、環境光の照度情報に格納される照度が所定値より小さいの場合には「暗環境」と判断してもよい。

以上のとおり、車内情報２１に含める判別基準となる情報について、複数種類の例を説明したが、これらの情報を複数組み合わせた判別処理を行ってもよい。例えば、上述の複数種類の判別規準のうち、一つでも「暗環境」（または「明環境」）を示せば、「暗環境」との判別（または「明環境」との判別）を確定してもよい。または、所定の数以上の判別規準が「暗環境」（または「明環境」）を示して、初めて「暗環境」との判別（または「明環境」との判別）を確定してもよい。

また、車内情報２１に含める判別基準となる情報と実施例１に示した入力映像に基づく環境推定処理の結果を併用して判別結果を確定してもよい。例えば、車内情報２１による判別結果と入力映像に基づく環境推定処理の結果とがともに「暗環境」（または「明環境」）を示した場合に、「暗環境」との判別（または「明環境」との判別）を確定してもよい。例えば、具体的には、例えば、入力映像に基づく環境推定処理の結果と車内情報２１に含まれる時刻情報による判別結果を組み合わせて判別してもよい。また、入力映像に基づく環境推定処理の結果と車内情報２１に含まれるライト（前照灯）の点灯状態情報による判別結果を組み合わせて判別してもよい。また、入力映像に基づく環境推定処理の結果と車内情報２１に含まれる照度センサー１４１１が取得した車外の環境光の照度情報による判別結果を組み合わせて判別してもよい。

また、環境推定部２が、「夜間」「朝夕」「昼間（曇天）」「昼間（晴天）」など細分化した判定をお行う場合には、この推定結果と、時刻情報の内容、天候情報の内容が一致した場合に、判別結果を確定しても良い。

以上説明した本発明の実施例４に係る映像処理技術によれば、車両装置からの情報を用いて、より好適な映像表示が可能となる。

実施例５の構成例について図１５を用いて説明する。１５００は本発明の実施例５のシステムを搭載する車両である。図１５において、カメラ部８及びカメラ部８ｂは、ともに車両の前方(必要であれば後方でもよい)を撮像する方向に設置し、視差のある2視点の映像を撮影するように構成している。距離推定部２２は距離推定部であり、２つの視差映像から映像の領域毎のカメラからの距離を推定する。２つの視差映像から距離を推定する方式は現存する技術を用いて構わない。その距離推定結果は、画質制御部３、画質制御部３ｂへ入力され、映像９および映像９ｂの画質補正制御に用いる。その際、映像中の距離が遠い領域と推定された領域は輪郭補正量を小さく、映像中の距離が近い領域と推定された領域は輪郭補正量を大きくするように制御する。この制御によれば、近い物体の輪郭を鮮明にすることができ、注意すべき物体の視認性を向上させることが可能となる。

以上説明した本発明の実施例５に係る映像処理技術によれば、入力映像を用いた距離推定結果を用いて、より好適な映像表示が可能となる。

１ 映像解析部
１ａ 輝度成分分析部
１ｂ 色成分分析部
１ｃ 輪郭成分分析部
２ 環境推定部
３ 画質制御部
４ 画質補正部
４ａ ノイズ低減部
４ｂ 輝度補正部
４ｃ 輪郭補正部
４ｄ 色補正部
５ 画像合成部
６ 映像処理装置
７ 表示部
８ カメラ部
９ 映像
１０ 映像分析結果
１１ 環境推定結果
１２ 画質制御信号
１３ 補正映像
１４ 合成映像
２０ 差分解析部
２１ 情報信号
２２ 距離推定部
１００ 車両
１２００ 車両
１３００ 車両
１４００ 車両
１４１１ 照度センサ
１４１２ 日時情報管理部
１４１３ ワイパー動作状態管理部
１４１４ ライト点灯状態管理部
１４１５ 無線情報取得部
１４１６ 天候情報管理部
１５００ 車両

Claims (10)

1. Ｎ個（Ｎは１以上の整数）の映像信号が入力され、Ｎ個の映像の成分を分析するＮ個の映像分析部と、Ｎ個の映像分析部のうち所定の１つの映像分析部の分析結果に基づき撮影された環境を推定する環境推定部と、前記環境推定に用いた映像の成分とその他の映像の成分の差を検出する（Ｎ−１）個の映像差分解析部と、Ｎ個の映像の画質補正を行うＮ個の画質補正部と、Ｎ個の画質補正した映像のうち所望の１つを選択するかまたはＮ個の映像を合成して出力する映像切替え手段と、選択または合成された映像の表示を行う映像表示部を備え、
   前記Ｎ個の画質補正部は、環境推定に用いた映像の補正を前記環境推定部で推定された環境に基づき行ない、その他の映像については、推定された環境と前記（Ｎ−１）個の映像差分解析部の差分解析結果に基づき補正するとともに、
   映像からの環境推定結果に加え、時刻情報と日付情報と天候情報のうち少なくとも１つの情報を用いて前記Ｎ個の画質補正部の補正特性を制御することを特徴とする映像表示装置。
2. Ｎ個（Ｎは１以上の整数）の映像信号が入力され、Ｎ個の映像の成分を分析するＮ個の映像分析部と、Ｎ個の映像分析部のうち所定の１つの映像分析部の分析結果に基づき撮影された環境を推定する環境推定部と、前記環境推定に用いた映像の成分とその他の映像の成分の差を検出する（Ｎ−１）個の映像差分解析部と、Ｎ個の映像の画質補正を行うＮ個の画質補正部と、Ｎ個の画質補正した映像のうち所望の１つを選択するかまたはＮ個の映像を合成して出力する映像切替え手段と、選択または合成された映像の表示を行う映像表示部を備え、
   前記Ｎ個の画質補正部は、環境推定に用いた映像の補正を前記環境推定部で推定された環境に基づき行ない、その他の映像については、推定された環境と前記（Ｎ−１）個の映像差分解析部の差分解析結果に基づき補正するとともに、
   入力された複数の映像のうち少なくとも２つが視差映像であるとき、この２つの視差映像から映像中の物体の距離を推定する距離推定部を備え、前記距離推定部の推定結果に基づき前記Ｎ個の画質補正部の制御を行うことを特徴とする映像表示装置。
3. Ｎ個（Ｎは１以上の整数）の映像信号が入力され、Ｎ個の映像の成分を分析するＮ個の映像分析部と、Ｎ個の映像分析部のうち所定の１つの映像分析部の分析結果に基づき撮影された環境を推定する環境推定部と、前記環境推定に用いた映像の成分とその他の映像の成分の差を検出する（Ｎ−１）個の映像差分解析部と、Ｎ個の映像の画質補正を行うＮ個の画質補正部と、Ｎ個の画質補正した映像のうち所望の１つを選択するかまたはＮ個の映像を合成して出力する映像切替え手段と、選択または合成された映像の表示を行う映像表示部を備え、
   前記Ｎ個の画質補正部は、環境推定に用いた映像の補正を前記環境推定部で推定された環境に基づき行ない、その他の映像については、推定された環境と前記（Ｎ−１）個の映像差分解析部の差分解析結果に基づき補正するとともに、
   入力された複数の映像のうち少なくとも２つが視差映像であるとき、この２つの視差映像から映像中の物体の距離を推定する距離推定部を備え、前記距離推定部の推定結果に基づき前記Ｎ個の画質補正部の制御を行う際に、距離が遠いと推定される映像領域よりも、距離が近いと推定される映像領域の輪郭補正量を大きくするように制御することを特徴とする映像表示装置。
4. 前記Ｎ個の映像分析部では、映像の輝度情報と色情報とエッジ情報のうち少なくとも１つの情報をフレーム毎に分析することを特徴とする請求項１から３のいずれか１項に記載の映像表示装置。
5. 前記Ｎ個の映像分析部では、映像の情報をヒストグラムにより分析することを特徴とする請求項１から３のいずれか１項に記載の映像表示装置。
6. 前記Ｎ個の画質補正部では、ノイズ低減機能と輝度補正機能と輪郭補正機能と色補正機能のうち少なくとも１つの補正機能を備えることを特徴とする請求項１から５のいずれか１項に記載の映像表示装置。
7. 前記Ｎ個の映像分析部のうち１つの映像分析部において、映像の輝度が低い結果を得た場合には、前記Ｎ個の画質補正部のうちの前記１つの映像分析部に対応する画質補正部では輝度を上げるように補正することを特徴とする請求項１から６のいずれか１項に記載の映像表示装置。
8. 前記Ｎ個の映像分析部のうち１つの映像分析部において、映像の色成分の検出結果、特定の色成分が所定値よりも大きいときに、前記Ｎ個の画質補正部のうちの前記１つの映像分析部に対応する画質補正部では、その色成分を下げるように補正することを特徴とする請求項１から６のいずれか１項に記載の映像表示装置。
9. 入力された映像の環境を推定した結果として、複数の環境モードを設け、該環境モードに応じて前記Ｎ個の画質補正部の補正特性を制御することを特徴とする請求項１から３のいずれか１項に記載の映像表示装置。
10. 映像からの環境推定結果に加え、車のライトの操作情報とワイパーの操作情報のうち少なくとも１つの情報を用いて前記Ｎ個の画質補正部の補正特性を制御することを特徴とする請求項１から３のいずれか１項に記載の映像表示装置。

Images