JP4876117B2 - 画像情報処理システム - Google Patents

Description

本発明は、移動体に搭載された赤外線カメラにより撮影された対象物の画像を処理して、この移動体に搭載された画像表示装置に該対象物の画像情報を表示させるシステムに関する。

従来、自動車に搭載された赤外線カメラにより撮影された対象物（人間）の画像に基づき、この対象物に応じた画像領域が当該自動車に搭載された画像表示装置に表示される技術が提案されている（たとえば、特許文献１参照）。
特開２００３−１３４５０８号公報 請求項１

しかし、赤外線カメラの特性や、自動車および対象物の相対的な運動が比較的急なものであること、対象物が他の物体の陰に隠れたこと等の原因により、画像表示装置に表示される画像領域が、その位置や大きさ、さらにはその数が急激に変動する等、不安定なものとなる場合がある。

たとえば、図５(ａ)に示されているように画像表示装置に対象物である人間Ｏ１に応じた矩形状の画像領域Ａ１が強調表示されている状態で、人間Ｏ１のそばにある自動Ｏ２のヘッドランプの光が強まった場合、図５(ｂ)および図５(ｃ)に示されているようにヘッドランプに応じた画像領域Ａ１が強調表示されることがある。また、図５(ａ)に示されている状態で自動車が比較的速く左折しながら走行している等、自動車および人間Ｏ１の相対運動が急なものである場合、この相対運動に人間Ｏ１の認識が追従しきれずに人間Ｏ１に応じた画像情報Ａ１が画像表示装置から消滅することがある。さらに、人間Ｏ１の身体の一部が自動車Ｏ２の陰に隠れたため、図５(ｄ)に示されているように画像表示装置に強調表示される枠Ａ１が人間の身体の一部を包含するだけの小さいものとなったり、図５(ｅ)に示されているように画像表示装置から画像領域Ａ１が消滅したりすることがある。このように画像表示装置に強調表示される画像領域Ａ１が不安定だと、自動車の運転手等、画像表示装置を見ている者に不安を覚えさせてしまうおそれがある。

そこで、本発明は、赤外線カメラを通じて認識される対象物の画像領域が不安定なものであっても、当該対象物の画像情報を画像表示装置に安定に表示させ得るシステムを提供することを解決課題とする。

第１発明の画像情報処理システムは、移動体に搭載された撮像手段により撮影された対象物の画像を処理して、前記移動体に搭載された画像表示装置に前記対象物の画像情報を表示させるシステムであって、前記移動体の走行状態に応じた第１変数を測定する第１変数測定手段と、前記撮像手段を通じて前記対象物の位置に応じた第２変数を測定する第２変数測定手段と、前記第２変数測定手段により測定された前記第２変数に基づき、前記対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識手段と、前記第１変数測定手段により測定された第１変数と、前記第２変数測定手段により測定された前記第２変数とに基づき、前記第１画像領域認識手段により認識される画像領域を推定した上で第２画像領域として認識する第２画像領域認識手段と、前記第１画像領域認識手段により認識された前記第１画像領域と、前記第２画像領域認識手段により認識された前記第２画像領域とを合成した上で、合成画像領域として認識する合成画像領域認識手段とを備えていることを特徴とする。

第２発明の画像情報処理システムは、第１発明の画像情報処理システムにおいて、前記第１画像領域認識手段により認識された前記第１画像領域に応じた第１画像情報および前記第２画像領域認識手段により認識された前記第２画像領域に応じた第２画像情報のうち少なくとも一方、または、前記合成画像領域認識手段により認識された前記合成画像領域に応じた合成画像情報を前記画像表示装置に表示させる画像情報制御手段をさらに備えていることを特徴とする。

第３発明の画像情報処理システムは、第２発明の画像情報処理システムにおいて、前記画像情報制御手段が、前記第１画像領域および前記第２画像領域に重なり部分がある場合、前記合成画像情報を前記画像表示装置に表示させることを特徴とする。

第４発明の画像情報処理システムは、第１発明の画像情報処理システムにおいて、前記合成画像領域認識手段が、前記第１画像領域が第１重み係数に応じた程度に反映され、かつ、前記第２画像領域が第２係数に応じた程度に反映されるように合成された画像領域を前記合成画像領域として認識することを特徴とする。

第５発明の画像情報処理システムは、第４発明の画像情報処理システムにおいて、前記合成画像領域認識手段が、前回の前記第１画像領域と今回の前記第１画像領域との偏差に基づいて前記第１重み係数を決定し、前回の前記第１画像領域と今回の前記第２画像領域との偏差に基づいて前記第２重み係数を決定することを特徴とする。

第６発明の画像情報処理システムは、第２発明の画像情報処理システムにおいて、前記画像制御手段が、前記第１画像領域が安定である場合、前記第１画像情報を前記画像表示装置に表示させる一方、前記前記第１画像領域が不安定である場合、前記第２画像情報、または、前記合成画像情報を前記画像表示装置に表示させることを特徴とする。

第７発明の画像情報処理システムは、第６発明の画像情報処理システムにおいて、前記画像情報制御手段が、前記第１画像領域が不安定である場合、前記第１画像領域の不安定度の大小を判定し、前記不安定度が小さいと判定された場合、前記合成画像情報を前記画像表示装置に表示させる一方、前記不安定度が大きいと判定された場合、前記第２画像情報を前記画像表示装置に表示させることを特徴とする。

本発明の画像情報処理システムの実施形態について図面を用いて説明する。

図１に示されている情報提供システム１００は、自動車（移動体）２００の適当な位置に搭載されている。自動車２００には車速ｖに応じた信号を出力する車速センサ２０１と、後輪軸を通る垂直軸回りの自動車２００の角速度ωに応じた信号を出力するヨーレートセンサ２０２とを備えている。また、自動車２００のフロント部分には、左右２つの赤外線カメラ（撮像手段）２１０が搭載されている。さらに自動車２００のフロントウィンドウには運転手の前方視界の妨げとならない位置にＨＵＤ(Head Up Display)（画像表示装置）２２０が搭載されている。

画像情報処理システム１００は、第１変数測定ユニット１１１と、第２変数測定ユニット１１２と、第１画像領域認識ユニット１２１と、第２画像領域認識ユニット１２２と、合成画像領域認識ユニット１３０と、画像情報制御ユニット１４０とを備えている。各ユニットは、ハ−ドウェアとしてのＣＰＵ，ＲＯＭ，ＲＡＭ等と、後述の画像情報処理方法の実行機能を当該ハ−ドウェアに付与するソフトウェアとしての「画像情報処理プログラム」とにより構成されている。

第１変数測定ユニット１１１は、車速センサ２０１およびヨーレートセンサ２０２のそれぞれの出力に基づき、車速ｖおよび後輪軸を通る垂直軸回りの自動車２００の角速度ωを自動車２００の走行状態に応じた第１変数Ｘ１として測定する。第２変数測定ユニット１１２は、２つの赤外線カメラ２１０のうち一方または両方を通じて、赤外線カメラ２１０を基準とした対象物までの距離、対象物の縦横方向の位置およびサイズを、対象物の位置に応じた第２変数Ｘ２として測定する。第１画像領域認識ユニット１２１は、第２変数測定ユニット１１２により測定された第２変数Ｘ２に基づき、対象物に応じた画像領域を第１画像領域Ａ１として認識する。第２画像領域認識ユニット１２２は、第１変数測定ユニット１１１により測定された第１変数Ｘ１と、第２変数測定ユニット１１２により測定された第２変数Ｘ２とに基づき、第１画像領域認識ユニット１２１が認識する画像領域を推定した上で、これを第２画像領域Ａ２として認識する。合成画像領域認識ユニット１３０は、第１画像領域認識ユニット１２１により認識された第１画像領域Ａ１と、第２画像領域認識ユニット１２２により認識された第２画像領域Ａ２とを合成した上で、これを合成画像領域Ａとして認識する。

画像情報制御ユニット１４０は、第１画像領域認識ユニット１２１により認識された第１画像領域Ａ１を囲む第１の枠を「第１画像情報」としてＨＵＤ２２０に表示させる。また、画像情報制御ユニット１４０は、第２画像領域認識ユニット１２２により認識された第２画像領域Ａ２を囲む第２の枠を「第２画像情報」としてＨＵＤ２２０に表示させる。さらに画像情報制御ユニット１４０は、合成画像領域認識ユニット１３０により認識された合成画像領域Ａを囲む枠を「合成画像情報」としてＨＵＤ２２０に表示させる。

前記構成の画像情報処理システムにより実行される本発明の第１実施形態の画像情報処理方法について図２〜図７を用いて説明する。

まず所定のタイミングで制御サイクル回数ｎが「１」にリセットされ（Ｓ１０１)、第２変数Ｘ２が不安定であると判定された累積回数ｍが「０」にリセットされる（Ｓ１０２）。所定のタイミングとしては第１画像領域認識ユニット１２１により認識された第１画像領域Ａ１が人間、自動車等の所定の対象物に対応するものであることを認識したとき等が採用される。

また第１変数測定ユニット１１１が車速ｖ(ｎ)および角速度ω(ｎ)を第１変数Ｘ１(ｎ）として測定する（Ｓ１１１）。さらに、これに並行して第２変数測定ユニット１１２が赤外線カメラ２１０を通じて対象物までの距離、縦横方向の位置およびサイズを第２変数Ｘ２(ｎ)として測定する（Ｓ１１２）。第２変数Ｘ２(ｎ)の測定方法については、特開２００２−２９８２９８号公報等に開示されているもの等が採用されれば足りるので、本願明細書ではその詳細な説明を省略する。

さらに第１画像領域認識ユニット１２１が、第２変数測定ユニット１１２により測定された第２変数Ｘ２(ｎ)に基づき、対象物に応じた画像領域を第１画像領域Ａ１として認識する（Ｓ１２１）。これにより、たとえば図５(ａ)〜図５(ｅ)に示されているように変動する矩形状の第１画像領域Ａ１が認識される。第１画像領域Ａ１の認識方法については、特開２００２−２９８２９８２号公報等に開示されているもの等、３次元画像処理分野における一般的手法が採用されれば足りるので、本願明細書ではその詳細な説明を省略する。

また第２画像領域認識ユニット１２２が、後述する第２画像領域Ａ２(ｎ)の認識（Ｓ１２２）に先立ち第２変数Ｘ２(ｎ)が「安定」であるかまたは「不安定」であるかを判定する（Ｓ１１３）。具体的には、第２変数Ｘ２(ｎ)が測定可能であるときまたはその変動量(δ＝｜Ｘ２(ｎ)−Ｘ２(ｎ−１)｜)が閾値ε（＞０）以下であるとき、第２変数Ｘ２(ｎ)は「安定」であると判定される（Ｓ１１３‥ＹＥＳ）。一方、第２変数Ｘ２(ｎ)が測定不能であるとき（測定されなかったとき）またはその変動量δが閾値εを超えるとき、第２変数Ｘ２(ｎ)は「不安定」であると判定される（Ｓ１１３‥ＮＯ）。

そして、第２画像領域認識ユニット１２２は、第２変数Ｘ２(ｎ)が「安定」であると判定したとき（Ｓ１１３‥ＹＥＳ）、第２変数Ｘ２(ｎ)（測定値）を今回の制御サイクルｎにおける第２変数Ｘ２(ｎ)とした上で（Ｓ１１４）、第２画像領域Ａ２(ｎ)を認識する（Ｓ１２２）。その一方、第２画像領域認識ユニット１２２は、第２変数Ｘ２(ｎ)が「不安定」であると判定したとき（Ｓ１１３‥ＮＯ）、当該判定回数ｍを「１」だけ増加させ（Ｓ１１５)、前回の制御サイクルｎ−１において後述する手順にしたがって第２画像領域認識ユニット１２２により推定された時刻ｎにおける第２変数Ｘ２(ｎ)（推定値）を今回の第２変数Ｘ２(ｎ)とした上で（Ｓ１１６）、第２画像領域Ａ２(ｎ)を認識する（Ｓ１２２）。

第２画像領域認識ユニット１２２は、第２画像領域Ａ２(ｎ)の認識（Ｓ１２２）に際して、時刻（制御サイクル回数で表す。）ｎ−１（過去）における車速ｖ(ｎ−１)、角速度ω(ｎ−１)、およびカメラ位置ｐｃ(ｎ−１)に対する対象物位置ｐ２(ｎ−１)と、時刻ｎ（現在）における車速ｖ(ｎ)、角速度ω(ｎ)、およびカメラ位置ｐｃ(ｎ)に対する対象物位置ｐ２(ｎ)とに基づき、時刻ｎ＋１（未来）におけるカメラ位置ｐｃ(ｎ＋１)に対する対象物位置ｐ２(ｎ＋１)を第２変数Ｘ２(ｎ＋１)の一部として推定する。第２変数Ｘ２(ｎ＋１)の推定に際して、図１に示されているようにＸ軸が自動車２００の左右方向、上下方向および前後方向にそれぞれＸ軸、Ｙ軸およびＺ軸が定義された３次元空間における車両位置ｐ１(ｉ)、カメラ位置ｐｃ(ｉ)および対象物位置ｐ２(ｉ)はそれぞれクォ−タニオン（四元数）により表現される。

カメラ位置ｐｃ(ｎ＋１)に対する対象物位置ｐ２(ｎ＋１)の推定方法について図３を用いて詳細に説明する。

カメラ位置ｐｃ(ｎ)から対象物位置ｐ２(ｎ−１)まで延びるベクトル（図３矢印ｃ(ｎ)−参照）が、(１)カメラ位置ｐｃ(ｎ)から車両位置ｐ１(ｎ)まで延びるベクトル（図３破線ｂ(ｎ)参照）、(２）車両位置ｐ１(ｎ)から車両位置ｐ１(ｎ−１)まで延びるベクトル（図３破線Ａ(ｎ)参照）、(３)車両位置ｐ１(ｎ−１)からカメラ位置ｐｃ(ｎ−１)まで延びるベクトル（図３線分ｂ(ｎ−１)参照）および(４)カメラ位置ｐｃ(ｎ−１)から対象物位置ｐ２(ｎ−１)まで延びるベクトル（図３矢印ｃ(ｎ−１)参照）の合成ベクトルで表されることに基づき、カメラ位置ｐｃ(ｎ)に対する対象物位置ｐ２(ｎ−１)が定められる。

(１)カメラ位置ｐｃ(ｎ)から車両位置ｐ１(ｎ)まで延びるベクトル（図３破線ｂ(ｎ)参照）は、メモリにより記憶保持されている後輪軸中央部および赤外線カメラ２１０の位置関係に関するデ−タに基づいて定められる。

(２）車両位置ｐ１(ｎ)から車両位置ｐ１(ｎ−１)まで延びるベクトル（図３破線Ａ(ｎ)参照）は、時刻ｎ−１から時刻ｎまでの微小時間δｔにわたり、自動車２００が旋回運動をしていたと仮定された上で定められる。具体的には、第１変数測定ユニット１１１により時刻ｎ−１において測定された車速ｖ(ｎ−１)および角速度ω(ｎ−１)に基づき、後輪軸の延長線上に位置する旋回軸Ｏ(ｎ−１)および旋回半径（自動車２００の後輪軸中央から旋回軸Ｏ(ｎ−１)までの距離）Ｒ(ｎ−１)(＝ｖ(ｎ−１)／ω(ｎ−１))が定められる。また、車両位置ｐ１(ｎ)に基づき、旋回軸Ｏ(ｎ−１)回りの旋回を表すためのクォ−タニオンＱｎ−およびその共役クォ−タニオンＱｎ−*を含む次式(１)にしたがって車両位置ｐ１(ｎ−１)が定められる。これにより車両位置ｐ１(ｎ)から車両位置ｐ１(ｎ−１)まで延びるベクトルが定められる（図３破線Ａ(ｎ)参照）。

ｐ１(ｎ−１)=Ｑｎ−*ｐ１(ｎ)Ｑｎ−
Ｑｎ−=[０，−ｓｉｎ{ω(ｎ−１)δｔ／２}，０，ｃｏｓ{ω(ｎ−１)δｔ／２}],
Ｑｎ−*=[０，ｓｉｎ{ω(ｎ−１)δｔ／２}，０，ｃｏｓ{ω(ｎ−１)δｔ／２}] ・・(１)
(３)車両位置ｐ１(ｎ−１)からカメラ位置ｐｃ(ｎ−１)まで延びるベクトル（図３線分ｂ(ｎ−１)参照）は、後輪軸の延長線が旋回軸Ｏ(ｎ−１)にあるという条件により定まる時刻ｎ−１における車両の姿勢と、メモリにより記憶保持されている後輪軸中央部および赤外線カメラ２１０の位置関係に関するデ−タとに基づいて定められる。

(４)カメラ位置ｐｃ(ｎ−１)から対象物位置ｐ２(ｎ−１)まで延びるベクトル（図３矢印ｃ(ｎ−１)参照）は、時刻ｎ−１において赤外線カメラ２１０により撮影された対象物の画像に基づき、第２変数測定ユニット１２２が測定した当該対象物の位置に応じた第２変数により定められる。

これにより、カメラ位置ｐｃ(ｎ)から対象物位置ｐ２(ｎ−１)まで延びるベクトル（図３矢印ｃ(ｎ)−参照）、ひいてはカメラ位置ｐｃ(ｎ)に対する対象物位置ｐ２(ｎ−１)が求められる。

また、カメラ位置ｐｃ(ｎ)から対象物位置ｐ２(ｎ＋１)まで延びるベクトル（図３矢印ｃ(ｎ)＋参照）が、（５）カメラ位置ｐｃ(ｎ)から対象物位置ｐ２(ｎ)まで延びるベクトル（図３矢印ｃ(ｎ)参照）および（６）対象物位置ｐ２(ｎ)から対象物位置ｐ２(ｎ＋１)まで延びるベクトル（図３矢印ｄ(ｎ＋１)参照）の合成ベクトルで表されることに基づき、カメラ位置ｐｃ(ｎ)に対する対象物位置ｐ２(ｎ＋１)が推定される。

(５)カメラ位置ｐｃ(ｎ)から対象物位置ｐ２(ｎ)まで延びるベクトル（図３矢印ｃ(ｎ)参照）は、時刻ｎにおいて赤外線カメラ２１０により撮影された対象物の画像に基づき、第２変数測定ユニット１２２が時刻ｎにおいて測定した第２変数により定められる。

(６)対象物位置ｐ２(ｎ)から対象物位置ｐ２(ｎ＋１)まで延びるベクトル（図３矢印ｄ(ｎ＋１)参照）は、対象物が時刻ｎから時刻ｎ＋１までの微小時間δｔにわたり、時刻ｎ−１から時刻ｎまでの微小時間δｔと同様の運動をすると仮定された上で、対象物位置ｐ２(ｎ)を始点とし、対象物位置ｐ２(ｎ−１)から対象物位置ｐ２(ｎ)まで延びるベクトル（図３矢印ｄ(ｎ)）と同じ大きさおよび向きを有するベクトルとして定められる。

これにより、カメラ位置ｐｃ(ｎ)から対象物位置ｐ２(ｎ＋１)まで延びるベクトル（図３矢印ｃ(ｎ)＋参照）、ひいてはカメラ位置ｐｃ(ｎ)に対する対象物位置ｐ２(ｎ＋１)が定められる。

さらにカメラ位置ｐｃ(ｎ＋１)から対象物位置ｐ２(ｎ＋１)まで延びるベクトル（図３矢印ｃ(ｎ＋１)参照）が、(７)カメラ位置ｐｃ(ｎ＋１)から車両位置ｐ１(ｎ＋１)まで延びるベクトル（図３破線ｂ(ｎ＋１)参照）、(８)車両位置ｐ１(ｎ＋１)から車両位置ｐ１(ｎ)まで延びるベクトル（図３破線Ａ(ｎ＋１)参照）、(９)車両位置ｐ１(ｎ)からカメラ位置ｐｃ(ｎ)まで延びるベクトル（図３線分ｂ(ｎ)参照）および(１０)カメラ位置ｐｃ(ｎ)から対象物位置ｐ２(ｎ＋１)まで延びるベクトル（図３矢印ｃ(ｎ＋１)参照）の合成ベクトルで表されることに基づき、カメラ位置ｐｃ(ｎ＋１)に対する対象物位置ｐ２(ｎ＋１)が定められる。

(７)カメラ位置ｐｃ(ｎ)から車両位置ｐ１(ｎ)まで延びるベクトル（図３破線ｂ(ｎ＋１)参照）は、後輪軸の延長線が旋回軸Ｏ(ｎ)（後述）にあるという条件により定まる時刻ｎ＋１における車両の姿勢と、メモリにより記憶保持されている後輪軸中央部および赤外線カメラ２１０の位置関係に関するデ−タに基づいて定められる。このベクトル(７)は、次に述べるベクトル(８)が定められた後に定められる。

(８)車両位置ｐ１(ｎ＋１)から車両位置ｐ１(ｎ)まで延びるベクトル（図３破線Ａ(ｎ＋１)参照）は、時刻ｎから時刻ｎ＋１までの微小時間δｔにわたり、自動車２００が旋回運動すると仮定された上で定められる。具体的には、まず第１変数測定ユニット１１１により時刻ｎにおいて測定された車速ｖ(ｎ)および角速度ω(ｎ)に基づき、後輪軸の延長線上に位置する旋回軸Ｏ(ｎ)および旋回半径（自動車２００の後輪軸中央から旋回軸Ｏ(ｎ)までの距離）Ｒ(ｎ)(=ｖ(ｎ)／ω(ｎ))が定められる。また、車両位置ｐ１(ｎ)に基づき、旋回軸Ｏ(ｎ)回りの旋回を表すためのクォ−タニオンＱｎ＋およびその共役クォ−タニオンＱｎ＋*を含む次式(２）にしたがって車両位置ｐ１(ｎ＋１)が定められる。これにより車両位置ｐ１(ｎ＋１)から車両位置ｐ１(ｎ)まで延びるベクトルが定められる（図３破線Ａ(ｎ＋１)参照）。

ｐ１(ｎ＋１)=Ｑｎ＋*ｐ１(ｎ)Ｑｎ＋
Ｑｎ＋=[０，ｓｉｎ{ω(ｎ)δｔ／２}，０，ｃｏｓ{ω(ｎ)δｔ／２}],
Ｑｎ＋*=[０，−ｓｉｎ{ω(ｎ)δｔ／２}，０，ｃｏｓ{ω(ｎ)δｔ／２}] ・・(２）
(９)車両位置ｐ１(ｎ)からカメラ位置ｐｃ(ｎ)まで延びるベクトル（図３線分ｂ(ｎ)参照）は、メモリにより記憶保持されている後輪軸中央部および赤外線カメラ２１０の位置関係に関するデ−タとに基づいて定められる。

(１０)カメラ位置ｐｃ(ｎ)から対象物位置ｐ２(ｎ＋１)まで延びるベクトル（図３矢印ｃ(ｎ＋１)参照）は、先に定められているものが使われる。

これにより、カメラ位置ｐｃ(ｎ＋１)から対象物位置ｐ２(ｎ＋１)まで延びるベクトル（図３矢印ｃ(ｎ＋１)参照）、ひいてはカメラ位置ｐｃ(ｎ＋１)に対する対象物位置ｐ２(ｎ＋１)が求められる。そして、第２画像領域認識ユニット１２２は、時刻ｎ＋１（将来）におけるカメラ位置ｐｃ(ｎ＋１)に対する対象物位置ｐ２(ｎ＋１)に基づき、第１画像領域認識ユニット１２１と同様の前記方法にしたがって、時刻ｎ＋１（将来）において第１画像領域認識ユニット１２１が認識する第１画像領域Ａ(ｎ＋１)を推定し、これを第２画像領域Ａ２として認識する。これにより、たとえば図６(ａ)〜図６(ｅ)に示されているように変化する矩形状の第２画像領域Ａ２が認識される。

続いて画像情報制御ユニット１４０が、第１画像領域認識ユニット１２１により認識された第１画像領域Ａ１(ｎ)と、第２画像領域認識ユニット１２２により認識された第２画像領域Ａ２(ｎ)との重なり部分の有無を判定する（Ｓ１２３）。

そして、画像情報制御ユニット１４０が、当該重なり部分があると判定した場合（Ｓ１２３‥ＹＥＳ）、合成画像領域認識ユニット１３０は第１画像領域Ａ１(ｎ)および第２画像領域Ａ２(ｎ)を合成した上で、これを合成画像領域Ａとして認識する（Ｓ１３０）。具体的には、第１画像領域Ａ１および第２画像領域Ａ２のそれぞれの代表点の座標の「平均」または「重み付き平均」を代表点の座標とする領域が両者の合成画像領域Ａとして認識される。第１画像領域Ａ１および第２画像領域Ａ２がそれぞれベクトルで表現されるとすると、合成画像領域Ａは次式(３)にしたがって認識される。

Ａ=Ｃ１・Ａ１＋Ｃ２・Ａ２ (Ｃ１＞０，Ｃ２＞０，Ｃ１＋Ｃ２＝０) ・・(３)
第１画像領域Ａ１および第２画像領域Ａ２がそれぞれ合成画像領域Ａに反映される程度を示す第１重み係数Ｃ１および第２重み係数Ｃ２は、前回の制御サイクルｎ−１における第１画像領域Ａ１(ｎ−１)を基準とした、今回の制御サイクルｎにおける第１画像領域Ａ１(ｎ)および第２画像領域Ａ２(ｎ)のそれぞれの偏差等の諸因子に基づき可変に設定されてもよい。

また、画像情報制御ユニット１４０が合成画像領域Ａを囲む合成枠（合成画像情報）をＨＵＤ２２０に表示させる（Ｓ１４０）。たとえば図４(ａ)に示されているように第１画像領域認識ユニット１２１により認識された矩形状の第１画像領域Ａ１と、第２画像領域認識ユニット１２２により認識された矩形状の第２画像領域Ａ２とが重なっている場合、両画像領域の四隅（代表点）の座標の平均または重み付き平均を四隅の座標とする図４(ｂ)に示されているような矩形状の合成画像領域Ａを囲む合成枠がＨＵＤ２２０に表示される（Ｓ１３０, Ｓ１４０参照）。

一方、画像情報制御ユニット１４０は、当該重なり部分がないと判定した場合（Ｓ１２３‥ＮＯ）、第１画像領域Ａ１を囲む第１の枠（第１画像情報）をＨＵＤ２２０に表示させるとともに（Ｓ１４１）、第２画像領域Ａ２を囲む第２の枠（第２画像情報）とをＨＵＤ２２０に表示させる（Ｓ１４２）。たとえば図４(ｃ)に示されているように第１画像領域認識ユニット１２１により認識された矩形状の第１画像領域Ａ１と、第２画像領域認識ユニット１２２により認識された矩形状の第２画像領域Ａ２とが重なっていない場合、図4(ｃ)に示されているように第１画像領域Ａ１を囲む第１の枠と、第２画像領域Ａ２を囲む第２の枠とがＨＵＤ２２０に表示される（Ｓ１４１，Ｓ１４２参照）。なお、第１画像領域Ａ１が認識されなかった場合、第１の枠はＨＵＤ２２０に表示されず、同様に第２画像領域Ａ２が認識されなかった場合、第２の枠はＨＵＤ２２０に表示されない。

その後、第２変数Ｘ２(ｎ)が不安定であるとの判定回数mが所定値M未満であるとき（Ｓ１９０‥ＮＯ）、制御サイクル回数ｎが「１」だけ増大された上で（Ｓ１９１）、第１パラメ−タＸ１(ｎ)の測定（Ｓ１１１）、第２パラメ−タＸ２(ｎ)の測定（Ｓ１１２）等の前記処理が繰り返される。一方、当該判定回数mが所定値M以上であるとき（Ｓ１９０‥ＹＥＳ）、当該対象物についての画像情報処理方法が終了する。

本発明の第１実施形態の画像情報処理方法によれば、第１画像領域認識ユニット１２１により図５(ａ)〜図５(ｅ)に示されているように変化する第１画像領域Ａ１が認識され、第２画像領域認識ユニット１２２により図６(ａ)〜図６(ｅ)に示されているように変化する第２画像領域Ａ２が認識された場合、ＨＵＤ２２０に表示される枠（画像情報）は図７(ａ)〜図７(ｅ)に示されているように変化する。

すなわち、図５(ａ)に示されている第１画像領域Ａ１と、図６(ａ)に示されている第２画像領域とが同一である場合（全てが重なり部分である場合）、図７(ａ)に示されているように第１画像領域Ａ１および第２画像領域Ａ２と同一の合成画像領域Ａを囲う合成枠がＨＵＤ２２０に表示される。

また、図５(ｂ)に示されている第１画像領域Ａ１と、図６(ｂ)に示されている第２画像領域Ａ２とは重なり部分がない場合、図７(ｂ)に示されているように第１画像領域Ａ１を囲う第１の枠および第２画像領域Ａ２を囲う第２の枠が別個にＨＵＤ２２０に表示される。同様に、図５(ｃ)に示されている第１画像領域Ａ１と、図６(ｃ)に示されている第２画像領域Ａ２とは重なり部分がない場合、図７(ｃ)に示されているように第１画像領域Ａ１を囲う第１の枠および第２画像領域Ａ２を囲う第２の枠が別個にＨＵＤ２２０に表示される。

さらに図５(ｄ)に示されている第１画像領域Ａ１と、図６(ｄ)に示されている第２画像領域とが重なり部分を有する場合、図７(ｄ)に示されているように第１画像領域Ａ１および第２画像領域Ａ２の合成画像領域Ａを囲う合成枠がＨＵＤ２２０に表示される。

また、図５(ｅ)に示されているように第１画像領域Ａ１が認識されなかった一方、図６(ｅ)に示されているように第２画像領域Ａ２が認識された場合、図７(ｅ)に示されているように第２画像領域Ａ２を囲う第２の枠のみがＨＵＤ２２０に表示される。

本発明の画像情報処理システム１００により実行される本発明の第１実施形態の画像情報処理方法によれば、赤外線カメラ２１０を通じて認識された対象物に応じた第１画像領域Ａ１が不安定なものであっても（図５(ａ)〜図５(ｅ)参照）、当該対象物に応じた画像領域の枠をＨＵＤ２２０に安定に表示させることができる（図７(ａ)〜図７(ｅ)参照）。

続いて前記構成の画像情報処理システムにより実行される本発明の第２実施形態の画像情報処理方法について図５、図６、図８〜図９を用いて説明する。

本発明の第２実施形態の画像情報処理方法は、本発明の第１実施形態の画像情報処理方法における第１画像領域Ａ１および第２画像領域Ａ２の重なり部分の有無判定処理（Ｓ１２３参照）およびこの判定結果に応じた画像情報処理（Ｓ１３０, Ｓ１４０〜Ｓ１４２参照）において異なるほかは本発明の第１実施形態の画像情報処理方法と共通の処理が実行されるので、それら共通の処理については説明を省略する。

本発明の第２実施形態の画像情報処理方法によれば、第１画像領域認識ユニット１２１による第１画像領域Ａ１(ｎ)の認識処理（Ｓ１２１）と、第２画像領域認識ユニット１２２による第２画像領域Ａ２(ｎ)の認識処理（Ｓ１２２）との後、画像情報制御ユニット１４０が、第１画像領域Ａ１(ｎ)が「安定」であるかまたは「不安定」であるかを判定する（Ｓ１２４）。具体的には、第１画像領域Ａ１(ｎ)および第１画像領域Ａ２(ｎ)の偏差δＡ(ｎ)、具体的には第１画像領域Ａ１(ｎ)および第２画像領域Ａ２(ｎ)のそれぞれの代表点の偏差（距離）、面積の偏差、または両偏差の平均若しくは重み付き平均等の絶対値が第１閾値ε１以下である場合、第１画像領域Ａ１(ｎ)が「安定」であると判定される。一方、当該偏差δＡ(ｎ)が第１閾値ε１を超える場合、第１画像領域Ａ１(ｎ)が「不安定」であると判定される。

画像情報制御ユニット１４０は、第１画像領域Ａ１(ｎ)が「安定」であると判定した場合（Ｓ１２４‥ＹＥＳ）、第１画像領域Ａ１(ｎ)を囲う第１の枠（第１画像情報）をＨＵＤ２２０に表示させる（Ｓ１４１）。

また、画像情報制御ユニット１４０は、第１画像領域Ａ１(ｎ)が不安定であると判定した場合（Ｓ１２４‥ＮＯ）、その不安定度の大小を判別する（Ｓ１２５）。具体的には、前記偏差δＡ(ｎ)が第１閾値ε１より大きい第２閾値ε２以下である場合、当該不安定度が「小」であると判定され、前記偏差δＡ(ｎ)が第２閾値ε２を超える場合、当該不安定度が「大」であると判定される。

画像情報制御ユニット１４０が、第１画像領域Ａ１(ｎ)の不安定度が「小」であると判定した場合（Ｓ１２５‥ＹＥＳ）、合成画像領域認識ユニット１３０が合成画像領域Ａ(ｎ)を認識し（Ｓ１３０）、また、画像情報制御ユニット１４０が合成画像領域Ａ(ｎ)を囲う合成枠をＨＵＤ２２０に表示させる（Ｓ１４０）。一方、画像情報制御ユニット１４０が、第１画像領域Ａ１(ｎ)の不安定度が「大」であると判定した場合（Ｓ１２５‥ＮＯ）、画像情報制御ユニット１４０が第２画像領域Ａ２(ｎ)を囲う第２の枠をＨＵＤ２２０に表示させる（Ｓ１４２）。

本発明の第２実施形態の画像情報処理方法によれば、第１画像領域認識ユニット１２１により図５(ａ)〜図５(ｅ)に示されているように変化する第１画像領域Ａ１が認識され、第２画像領域認識ユニット１２２により図６(ａ)〜図６(ｅ)に示されているように変化する第２画像領域Ａ２が認識された場合、ＨＵＤ２２０に表示される枠（画像情報）は図９(ａ)〜図９(ｅ)に示されているように変化する。

すなわち、図５(ａ)に示されている第１画像領域Ａ１と、図６(ａ)に示されている第２画像領域Ａ２(ｎ)とが同一であり、第１画像領域Ａ１が「安定」であると判定された場合、図９(ａ)に示されているように第１画像領域Ａ１を囲う第１の枠がＨＵＤ２２０に表示される。

また、図５(ｂ)に示されている第１画像領域Ａ１と、図６(ｂ)に示されている第２画像領域Ａ２(ｎ)とが著しく異なるものであり、第１画像領域Ａ１が「不安定」であり、その不安定度が「大」であると判定された場合、図９(ｂ)に示されているように第２画像領域Ａ２を囲う第２の枠がＨＵＤ２２０に表示される。同様に、図５(ｃ)に示されている第１画像領域Ａ１と、図６(ｃ)に示されている第２画像領域Ａ２とがかけ離れたものであり、第１画像領域Ａ１が「不安定」であり、その不安定度が「大」であると判定された場合、図９(ｃ)に示されているように第２画像領域Ａ２を囲う第２の枠がＨＵＤ２２０に表示される。

さらに図５(ｄ)に示されている第１画像領域Ａ１と、図６(ｄ)に示されている第２画像領域Ａ２(ｎ)とが異なるものであり、第１画像領域Ａ１が「不安定」であり、その不安定度が「小」であると判定された場合、図９(ｄ)に示されているように合成画像領域Ａを囲う合成枠がＨＵＤ２２０に表示される。

また、図５(ｅ)に示されているように第１画像領域Ａ１が認識されなかった一方、図６(ｅ)に示されているように第２画像領域Ａ２が認識され、第１画像領域Ａ１が「不安定」であり、その不安定度が「大」であると判定された場合、図９(ｅ)に示されているように第２画像領域Ａ２を囲う第２の枠がＨＵＤ２２０に表示される。

本発明の画像情報処理システム１００により実行される本発明の第２実施形態の画像情報処理方法によれば、赤外線カメラ２１０を通じて認識された対象物に応じた第１画像領域Ａ１が不安定なものであっても（図５(ａ)〜図５(ｅ)参照）、当該対象物に応じた画像領域の枠をＨＵＤ２２０に安定に表示させることができる（図９(ａ)〜図９(ｅ)参照）。

前記実施形態では自動車２００のフロントウィンドウに搭載されたＨＵＤ２２０に画像情報が表示されたが、他の実施形態として自動車２００に搭載されたメ−タ一体型のディスプレイや、ナビ装置のディスプレイ（図示略）に画像情報が表示されてもよい。

前記実施形態では対象物を含む画像領域の認識処理（Ｓ１２１，Ｓ１２２参照)に際して３次元空間における車体位置ｐ１(ｉ)等の位置や回転（旋回）がクォ−タニオンによって表されたが（式(１)(２）参照）、他の実施形態として当該推定処理に際して３次元空間における車体位置ｐ１(ｉ)等の位置が３次元ベクトルで表され、回転が３次元行列によって表されてもよい。

前記実施形態では第１画像領域Ａ１、第２画像領域Ａ２および合成画像領域Ａのそれぞれを囲う第１、第２および合成枠が第１、第２および合成画像情報としてＨＵＤ２２０に表示されたが、他の実施形態として各画像領域がその色彩、模様や輝度等により他の画像領域から識別可能にＨＵＤ２２０に表示されてもよく、各画像領域に含まれるグレースケール化または二値化画像における輝度が一定以上の対象物そのものを囲う枠がＨＵＤ２２０に表示されてもよく、各画像領域に含まれる当該輝度が一定以上の対象物の一部または全部がその色彩、模様、輝度等により他の画像領域から識別可能にＨＵＤ２２０に表示される等、各画像領域またはそこに含まれる輝度が一定以上の対象物が他の画像領域から識別可能となるようなあらゆる形態で各画像領域を表す画像情報がＨＵＤ２２０に表示されてもよい。

第２実施形態では第１画像領域Ａ１(ｎ)の不安定度の大小が判別されたが(図８／Ｓ１２５参照)、他の実施形態として当該判別ステップが省略された上で、第１画像領域Ａ１(ｎ)が不安定である場合には一律に第２画像領域Ａ２(ｎ)に応じた第２画像情報または合成画像領域Ａ(ｎ)に応じた合成画像情報が画像情報制御ユニット１４０によってＨＵＤ２２０に表示されてもよい。

本発明の画像情報処理システムの構成説明図 本発明の第１実施形態の画像情報処理方法の説明図 第２画像領域の認識処理の説明補足図 第１および第２画像領域の重なり部分の有無に応じた処理の説明補足図 第１画像領域の例示図 第２画像領域の例示図 本発明の第１実施形態の画像情報処理方法による合成画像領域の例示図 本発明の第２実施形態の画像情報処理方法の説明図 本発明の第２実施形態の画像情報処理方法による合成画像領域の例示図

符号の説明

１００‥画像情報処理システム、１１１‥第１変数測定ユニット、１１２‥第２変数測定ユニット、１２１‥第１画像領域認識ユニット、１２２‥第２画像領域認識ユニット、１３０‥合成画像領域認識ユニット、１４０‥画像情報制御ユニット、２００‥自動車（移動体）、２０１‥車速センサ、２０２‥ヨーレートセンサ、２１０‥赤外線カメラ、２２０‥ＨＵＤ（画像表示装置）

Claims (7)

1. 移動体に搭載された撮像手段により撮影された対象物の画像を処理して、前記移動体に搭載された画像表示装置に前記対象物の画像情報を表示させるシステムであって、
   前記移動体の走行状態に応じた第１変数を測定する第１変数測定手段と、
   前記撮像手段を通じて前記対象物の位置に応じた第２変数を測定する第２変数測定手段と、
   前記第２変数測定手段により測定された前記第２変数に基づき、前記対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識手段と、
   前記第１変数測定手段により測定された第１変数と、前記第２変数測定手段により測定された前記第２変数とに基づき、前記第１画像領域認識手段により認識される画像領域を推定した上で第２画像領域として認識する第２画像領域認識手段と、
   前記第１画像領域認識手段により認識された前記第１画像領域と、前記第２画像領域認識手段により認識された前記第２画像領域とを合成した上で、合成画像領域として認識する合成画像領域認識手段とを備えていることを特徴とする画像情報処理システム。
2. 請求項１記載の画像情報処理システムにおいて、
   前記第１画像領域認識手段により認識された前記第１画像領域に応じた第１画像情報および前記第２画像領域認識手段により認識された前記第２画像領域に応じた第２画像情報のうち少なくとも一方、または、前記合成画像領域認識手段により認識された前記合成画像領域に応じた合成画像情報を前記画像表示装置に表示させる画像情報制御手段をさらに備えていることを特徴とする画像情報処理システム。
3. 請求項２記載の画像情報処理システムにおいて、
   前記画像情報制御手段が、前記第１画像領域および前記第２画像領域に重なり部分がある場合、前記合成画像情報を前記画像表示装置に表示させることを特徴とする画像情報処理システム。
4. 請求項１記載の画像情報処理システムにおいて、
   前記合成画像領域認識手段が、前記第１画像領域が第１重み係数に応じた程度に反映され、かつ、前記第２画像領域が第２係数に応じた程度に反映されるように合成された画像領域を前記合成画像領域として認識することを特徴とする画像情報処理システム。
5. 請求項４記載の画像情報処理システムにおいて、
   前記合成画像領域認識手段が、前回の前記第１画像領域と今回の前記第１画像領域との偏差に基づいて前記第１重み係数を決定し、前回の前記第１画像領域と今回の前記第２画像領域との偏差に基づいて前記第２重み係数を決定することを特徴とする画像情報処理システム。
6. 請求項２記載の画像情報処理システムにおいて、
   前記画像制御手段が、前記第１画像領域が安定である場合、前記第１画像情報を前記画像表示装置に表示させる一方、前記前記第１画像領域が不安定である場合、前記第２画像情報、または、前記合成画像情報を前記画像表示装置に表示させることを特徴とする画像情報処理システム。
7. 請求項６記載の画像情報処理システムにおいて、
   前記画像情報制御手段が、前記第１画像領域が不安定である場合、前記第１画像領域の不安定度の大小を判定し、前記不安定度が小さいと判定された場合、前記合成画像情報を前記画像表示装置に表示させる一方、前記不安定度が大きいと判定された場合、前記第２画像情報を前記画像表示装置に表示させることを特徴とする画像情報処理システム。

Images