JP4835332B2

JP4835332B2 - 遠赤外線撮像システム及び遠赤外線撮像方法

Info

Publication number: JP4835332B2
Application number: JP2006239402A
Authority: JP
Inventors: 美和國井
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2006-09-04
Filing date: 2006-09-04
Publication date: 2011-12-14
Anticipated expiration: 2026-09-04
Also published as: JP2008066798A

Description

本発明は、外部を撮像する複数の遠赤外線撮像装置の出力輝度値を、同一温度に対して略同一の輝度値を出力するよう補正することができる遠赤外線撮像システム及び遠赤外線撮像方法に関する。

自動車等の車両の走行の安全を確保すべく、ナイトビジョン等の遠赤外線撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右２基の遠赤外線撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出し、特徴量検出により障害物の存在を検出している。

しかし、遠赤外線撮像装置の撮像素子として良く用いられるボロメータ等は温度の検出感度のバラつきが大きい。したがって、時間変化に基づくオフセットのドリフト等が発生しやすいことから、撮像された画像にノイズが重畳されやすく、障害物の検出精度を向上することが困難であるという問題があった。

斯かる問題を解決すべく、例えば非特許文献１では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるＮＵＣ（Non-Uniformity Correction）について開示されている。非特許文献１では、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外線撮像装置からの出力値を補正している。
「ＩＲ−ＣＣＤ撮像データのリアルタイム２点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. 、 Vol.2598、ｐ．４４−５０、１９９５年

しかし、従来の撮像装置の出力値の補正方法では、絶対温度を正確に把握してオフセット補正値を算出していないことから、複数の遠赤外線撮像装置を用いる場合には、異なる遠赤外線撮像装置が同一の輝度値を出力しているときでも、検出している温度が同一であることが保証されるものではない。したがって、障害物であるか否かを検出すべく画像の特徴量を抽出する場合に、遠赤外線撮像装置ごとに撮像した画像の明るさ、コントラスト等が相違し、遠赤外線撮像装置のＡＧＣ（Auto Gain Control）機能を用いても、正確に障害物を検出することが困難になるおそれがあるという問題点があった。

特に車両前部に左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合等には、画像の明るさ、コントラスト等を一致させることが困難であり、精度を向上させることが困難になる。したがって、両撮像装置で撮像された画像の明るさ、コントラスト等が略一致するように出力輝度値を補正することにより、障害物の検出精度は飛躍的に向上する。

本発明は、斯かる事情に鑑みてなされたものであり、複数の遠赤外線撮像装置の出力値を、同一の対象物に対しては略一致するように補正することができる遠赤外線撮像システム及び遠赤外線撮像方法を提供することを目的とする。

上記目的を達成するために第１発明に係る遠赤外線撮像システムは、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、一の遠赤外線撮像装置は、画像中の路面を示す領域を設定する路面領域設定手段と、設定された路面を示す領域の出力値の平均値を算出する手段と、算出された平均値を前記他の遠赤外線撮像装置へ送信する手段とを備え、前記他の遠赤外線撮像装置は、前記一の遠赤外線撮像装置で算出された平均値を受信する手段と、画像中の路面を示す領域を設定する路面領域設定手段と、設定された路面を示す領域の出力値の平均値を算出する手段と、算出された平均値及び受信した平均値を略一致させるオフセット補正値を算出する手段とを備え、算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする。

また、第２発明に係る遠赤外線撮像システムは、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、一の遠赤外線撮像装置は、撮像した画像データに基づいて画像中の路面を示す領域を推定する路面領域推定手段と、推定された路面を示す領域の出力値の平均値を算出する手段と、算出された平均値及び推定された路面を示す領域に関する情報を前記他の遠赤外線撮像装置へ送信する手段とを備え、前記他の遠赤外線撮像装置は、前記一の遠赤外線撮像装置で算出された平均値及び推定された路面を示す領域に関する情報を受信する手段と、両遠赤外線撮像装置の視差を算出する視差算出手段と、算出された視差に基づいて、路面を示す領域を推定する手段と、推定された路面を示す領域の出力値の平均値を算出する手段と、算出された平均値と受信した平均値とを略一致させるオフセット補正値を算出する手段とを備え、算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする。

また、第３発明に係る遠赤外線撮像システムは、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、一の遠赤外線撮像装置は、撮像した画像データを前記他の遠赤外線撮像装置へ送信する手段を備え、前記他の遠赤外線撮像装置は、前記一の遠赤外線撮像装置で撮像した画像データを受信する手段と、撮像した画像データ及び受信した画像データに基づいて画像中の路面を示す領域をそれぞれ推定する路面領域推定手段と、推定された路面を示す領域の出力値の平均値をそれぞれ算出する手段と、算出された両平均値を略一致させるオフセット補正値を算出する手段とを備え、算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする。

また、第４発明に係る遠赤外線撮像システムは、第１乃至第３発明のいずれか１つにおいて、一の遠赤外線撮像装置は、該一の遠赤外線撮像装置で算出した平均値と、他の遠赤外線撮像装置で算出した平均値との差異を算出する手段と、算出した差異が所定値より小さいか否かを判断する手段とを備え、該手段で小さいと判断した場合にのみオフセット補正値を算出するようにしてあることを特徴とする。

また、第５発明に係る遠赤外線撮像方法は、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像方法において、一の遠赤外線撮像装置にて、画像中の路面を示す領域を設定し、設定された路面を示す領域の出力値の平均値を算出し、算出された平均値を前記他の遠赤外線撮像装置へ送信し、前記他の遠赤外線撮像装置にて、前記一の遠赤外線撮像装置で算出された平均値を受信し、画像中の路面を示す領域を設定し、設定された路面を示す領域の出力値の平均値を算出し、算出された平均値及び受信した平均値を略一致させるオフセット補正値を算出し、算出されたオフセット補正値にて出力値を補正することを特徴とする。

第１発明、及び第５発明では、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する。一の遠赤外線撮像装置は、画像中の路面を示す領域を設定し、設定された路面を示す領域の出力値の平均値を算出し、算出された平均値を他の遠赤外線撮像装置へ送信する。他の遠赤外線撮像装置は、一の遠赤外線撮像装置で算出された平均値を受信し、画像中の路面を示す領域を設定し、設定された路面を示す領域の出力値の平均値を算出し、算出された平均値及び受信した平均値を略一致させるオフセット補正値を算出し、算出されたオフセット補正値にて出力値を補正する。これにより、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。

第２発明では、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する。一の遠赤外線撮像装置は、撮像した画像データに基づいて画像中の路面を示す領域を推定し、推定された路面を示す領域の出力値の平均値を算出し、算出された平均値及び推定された路面を示す領域に関する情報を他の遠赤外線撮像装置へ送信する。他の遠赤外線撮像装置は、一の遠赤外線撮像装置で算出された平均値及び推定された路面を示す領域に関する情報を受信し、両遠赤外線撮像装置の視差を算出する。算出された視差に基づいて、路面を示す領域を推定し、推定された路面を示す領域の出力値の平均値を算出し、算出された平均値と受信した平均値とを略一致させるオフセット補正値を算出し、算出されたオフセット補正値にて出力値を補正する。これにより、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。

第３発明では、マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する。一の遠赤外線撮像装置は、撮像した画像データを他の遠赤外線撮像装置へ送信する。他の遠赤外線撮像装置は、一の遠赤外線撮像装置で撮像した画像データを受信し、自己の撮像した画像データ及び受信した画像データに基づいて画像中の路面を示す領域をそれぞれ推定し、推定された路面を示す領域の出力値の平均値をそれぞれ算出する。算出された両平均値を略一致させるオフセット補正値を算出し、算出されたオフセット補正値にて出力値を補正する。これにより、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。

第４発明では、一の遠赤外線撮像装置は、該一の遠赤外線撮像装置で算出した平均値と、他の遠赤外線撮像装置で算出した平均値との差異を算出し、算出した差異が所定値より小さい場合にのみオフセット補正値を算出する。これにより、両画像の出力値の平均値の差異が過大である場合には、複数の遠赤外線撮像装置が別々の対象物を撮像しているものと判断し、オフセット補正値を更新することなく安定した精度で対象物までの測距を行なうことが可能となる。

本発明によれば、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る遠赤外線撮像システムの構成を模式的に示す図である。本実施の形態１では、走行中に周辺の画像を撮像する一組の遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内（バンパー内でも可能）に搭載している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。

図１において、遠赤外線撮像装置１、１は、車両のフロントグリル内の左右方向の略対称な位置に並置してある。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある演算装置３へ送信される。

演算装置３は、取得した遠赤外線画像データを用いて種々の演算処理、例えばステレオ視に基づく測距処理等を実行する。演算装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態１に係る遠赤外線撮像装置１の構成を示すブロック図である。図２において、画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。遠赤外線用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴＯ（Ｂａｒｉｕｍ−ＴｉｔａｎｉｕｍＯｘｉｄｅ）の焦電型等の赤外線センサを用いる。

画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、ＬＳＩ基板である信号処理部１２へ送信する。図３は、本発明の実施の形態１に係る遠赤外線撮像装置１の信号処理部１２の構成を示すブロック図である。信号処理部１２は、Ａ／Ｄ変換部１２１、ＮＵＣ（Non-Uniformity Correction）処理部１２２、ＢＰＲ（Bad-Pixel Replacement）処理部１２３、及びフラッシュメモリ等の不揮発性メモリ、ＳＲＡＭ等の一時記憶用メモリであるＲＡＭ（記憶手段）１２５で構成されている。

信号処理部１２は、画像撮像部１１から受信した輝度信号をＡ／Ｄ変換部１２１でデジタル信号に変換し、ＮＵＣ（Non-Uniformity Correction）処理部１２２で撮像素子ごとに出力された輝度信号を補正する。

ＮＵＣ処理部１２２では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対して出力される輝度値を補正するオフセット補正値、及び撮像素子ごとに所定の温度変化率に対して出力される輝度値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの輝度値をＶ_ijとした場合、ＮＵＣ処理部１２２では（数１）に示す演算を行うことにより撮像素子ごとの輝度値をＶ’_ijへ補正する。

（数１）において、Ｇ_ijはゲイン補正値を、Ｏ_ijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの輝度値に基づいて算出した値である。補正後の輝度値は、出力値として画像メモリ１３に記憶される。

複数の遠赤外線撮像装置１、１において、撮像対象物の温度が同一である場合には同一の輝度値を出力するよう出力値を補正するためには、温度分布が略均一である対象物に対する出力輝度値を取得し、遠赤外線撮像装置１、１間で略同一の輝度値を出力するようオフセット補正値及びゲイン補正値を算出する必要がある。そこで、本実施の形態では、同一の路面を撮像した複数の画像について、事前に路面を示す領域を設定しておき、設定された路面を示す領域の出力輝度値の平均値を揃えるようオフセット補正値を更新することにより、複数の遠赤外線撮像装置１、１での同一温度に対する出力輝度値を略一致させている。

信号処理部１２は、路面を示す領域の出力輝度値の平均値を揃えるよう、設定されている路面を示す領域の出力輝度値の平均値を算出する。信号処理部１２は、算出された出力輝度値の平均値を、演算装置３を経由して他の遠赤外線撮像装置１へ送信する。受信した他の遠赤外線撮像装置１は、自装置で算出した出力輝度値の平均値と受信した平均値とを略一致させるオフセット補正値を算出して、撮像素子ごとに出力された輝度信号を補正する。

通信インタフェース部１４は、ＬＳＩ基板であり、通信ケーブル等の通信線（図示せず）を介して外部の装置から受信した指令に従って、画像メモリ１３に記憶された画像データの外部の装置への送出、撮像した画像の解像度による転送レートの変換、画像データを送出するためのデータのフォーマット変換、算出した平均値の送信、外部からの平均値の受信等を行う。

図４は、本発明の実施の形態１に係る遠赤外線撮像システムの演算装置３の構成を示すブロック図である。演算装置３は画像処理ＥＣＵであり、少なくとも撮像装置インタフェース３１ａ、映像出力部３１ｂ、通信インタフェース部３１ｃ、画像メモリ３２、ＲＡＭ３３１及びＬＳＩ３３で構成されている。

撮像装置インタフェース部３１ａは、遠赤外線撮像装置１、１から映像信号の入力を行うとともに、一の遠赤外線演算装置１で算出された路面を示す領域での出力輝度値の平均値等を他の遠赤外線撮像装置１へ互いに転送する。また、撮像装置インタフェース部３１ａは、演算装置３で実行される処理、例えば測距処理のために、遠赤外線撮像装置１、１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力する。通信インタフェース部３１ｃは、車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、撮像装置インタフェース３１ａを介して遠赤外線撮像装置１、１から入力された画像データを記憶する。

図５は、本発明の実施の形態１に係る遠赤外線撮像システムの遠赤外線撮像装置１の信号処理部１２の処理手順を示すフローチャートである。図５では、オフセット補正値算出の基準となる遠赤外線撮像装置１、例えば左に設置してある遠赤外線撮像装置１の信号処理部１２の処理手順について説明する。信号処理部１２は、画像メモリ１３に記憶してある出力される画像データを読み出し（ステップＳ５０１）、遠赤外線撮像装置１で撮像された画像データに基づいて、設定されている路面を示す領域にて出力される輝度値の平均値を算出する（ステップＳ５０２）。そして信号処理部１２は、算出した輝度値の平均値を他の遠赤外線撮像装置１へ送信する（ステップＳ５０３）。

図６は、左右の遠赤外線撮像装置１で撮像された画像の一例を示しており、図６（ａ）が左の遠赤外線撮像装置１で撮像された画像を、図６（ｂ）が右の遠赤外線撮像装置１で撮像された画像を、それぞれ示している。左右の遠赤外線装置１、１が略水平に設置されている場合、前方の路面を示す領域６１、６２は高さ方向には略一致している。一方、左右の視差により、路面を示す領域６１よりも路面を示す領域６２の方が、わずかに右へシフトしている。

しかし、走行中は前方３０ｍ程度までには必ず同一の路面を示す領域が存在することから、基準となる遠赤外線撮像装置１、例えば左の遠赤外線撮像装置１で撮像された画像データのうち、明らかに路面を示す領域であるとして設定されている領域６３の出力輝度値を読み出し、出力輝度値の平均値を算出する。

そして、基準となる遠赤外線撮像装置１、例えば左の遠赤外線撮像装置１で撮像された画像データと、他の遠赤外線撮像装置１、例えば右の遠赤外線撮像装置１で撮像された画像データとの画像のずれに応じて、路面を示す領域６２内の平均値を算出する領域６４を特定する。出力輝度値の平均値を、路面を示す領域６３、６４でのみ算出することにより、前方の車両、障害物等の存在による平均値算出誤差の発生を未然に回避することができ、両遠赤外線撮像装置１、１の出力輝度値を補正するオフセット補正値をより正確に求めることが可能となる。

他の遠赤外線撮像装置１は、一の遠赤外線撮像装置１で算出された輝度値の平均値を受信し、両平均値が略一致するよう補正するオフセット補正値を算出する。図７は、本発明の実施の形態１に係る遠赤外線撮像システムの他の遠赤外線撮像装置１の信号処理部１２の処理手順を示すフローチャートである。図７では、オフセット補正値算出の基準となる遠赤外線撮像装置１以外の遠赤外線撮像装置１、例えば右に設置してある遠赤外線撮像装置１の信号処理部１２の処理手順について説明する。

信号処理部１２は、一の遠赤外線撮像装置１から算出された輝度値の平均値を受信し（ステップＳ７０１）、他の遠赤外線撮像装置１で撮像された画像データに基づいて、設定されている路面を示す領域にて出力される輝度値の平均値を算出する（ステップＳ７０２）。信号処理部１２は、受信した出力輝度値の平均値、例えば左に設置されている遠赤外線撮像装置１で撮像された画像データの路面を示す領域の出力輝度値の平均値と一致するよう、算出された出力輝度値の平均値、例えば右に設置されている遠赤外線撮像装置１で撮像された画像データの路面を示す領域の出力輝度値の平均値を補正するためのオフセット補正値を算出する（ステップＳ７０３）。信号処理部１２は、算出されたオフセット補正値を用いて出力輝度値を補正して出力する（ステップＳ７０４）。具体的には、一の遠赤外線撮像装置１から、平均値を受信した他の遠赤外線撮像装置１の信号処理部１２は、ＲＡＭ１２５に記憶してあるオフセット補正値Ｏ_ijに算出された補正値Ｏ_FBを加算する。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの輝度値をＶ_ijとした場合、輝度値Ｖ_ijを（数２）に従って撮像素子ごとの輝度値Ｖ’_ijへ補正する。

このようにすることで、同一の路面を示す領域を撮像した場合の輝度値に基づいて随時遠赤外線撮像装置１、１のオフセット補正値を補正することができ、複数の遠赤外線撮像装置１、１にて同一の対象物を撮像した場合であっても、略同一の輝度値を出力することが可能となる。

なお、遠赤外線撮像装置１のオフセット補正値を算出するタイミングは特に限定されるものではなく、本実施の形態に係る障害物検出システムの起動時に算出しても良いし、一定時間間隔で算出するものであっても良い。一定時間間隔で遠赤外線撮像装置１、１のオフセット補正値を算出する場合には、特にメンテナンス処理を施すことなく複数の赤外線撮像装置１、１で同一対象物を撮像した場合に出力される輝度値を略同一にすることが可能となる。

また、算出されるオフセット補正値は、両者の出力輝度値を完全に一致させるものに限定されるものではない。すなわち、両画像の路面を示す領域（又は平均値算出領域）の出力輝度値の平均値の差が非常に大きい場合、（数２）による補正処理を実行したときに出力輝度値の急激な変動による発振等が生じるおそれがある。したがって、オフセット補正値の変動幅を所定値以下に抑制する、あるいは出力輝度値を所定値単位、例えば出力輝度値‘１’、‘５’、‘１０’単位で加減算する程度に止めておくものであっても良い。

さらに、両画像の路面を示す領域（又は平均値算出領域）の出力輝度値の平均値の差が極端な値となっている場合、先行車両の存在、右左折時の対向車両、水溜りに反射した映像等を撮像しているおそれが高く、正確な測距をすることはできない。したがって、ＬＳＩ１６は、平均値の差異が所定値より大きいか否かを判断し、所定値以下であると判断した場合にのみ上述した処理によりオフセット補正値の補正値を算出するようにすることで、両画像の明るさ、コントラスト等を正しく一致させることが可能となる。

以上のように本実施の形態１によれば、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。

（実施の形態２）
以下、本発明の実施の形態２に係る遠赤外線撮像システムについて、図面を参照しながら詳細に説明する。実施の形態２に係る遠赤外線撮像システムの構成、遠赤外線撮像装置１の構成、及び演算装置３の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、路面を示す領域を推定する点で、固定的に設定してある実施の形態１と相違する。

本実施の形態２に係る遠赤外線撮像装置１、１の信号処理部１２は、路面を示す領域の出力輝度値の平均値を揃えるよう、各々の遠赤外線撮像装置１、１で撮像された画像データに基づいて、路面を示す領域を推定し、出力輝度値の平均値を算出する。基準となる遠赤外線装置１の信号処理部１２は、推定された路面を示す領域に関する情報及び平均値を他方の遠赤外線撮像装置１へ送信する。他方の遠赤外線撮像装置１は、同一の路面を示す領域の出力輝度値の平均値に基づいてオフセット補正値を算出し、算出されたオフセット補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。

図８は、本発明の実施の形態２に係る遠赤外線撮像システムの遠赤外線撮像装置１の信号処理部１２の処理手順を示すフローチャートである。図８では、オフセット補正値算出の基準となる遠赤外線撮像装置１、例えば左に設置してある遠赤外線撮像装置１の信号処理部１２の処理手順について説明する。信号処理部１２は、画像メモリ１３に記憶してある出力される画像データを読み出し（ステップＳ８０１）、読み出した画像データ中の路面を示す領域を推定する（ステップＳ８０２）。

路面を示す領域の推定方法は特に限定されるものではなく、例えば所定の撮像素子の出力輝度値と、その周囲に存在する撮像素子の出力輝度値とを比較し、出力輝度値の差がほとんど無い領域であって、画像の下方に存在する領域を路面を示す領域として検出しても良いし、路肩の縁石等をエッジ検出することにより推定する方法であっても良い。

信号処理部１２は、推定された路面を示す領域内で出力される輝度値の平均値を算出する（ステップＳ８０３）。そして信号処理部１２は、路面を示す領域に関する情報及び算出した輝度値の平均値を他の遠赤外線撮像装置１へ送信する（ステップＳ８０４）。

なお、出力輝度値の平均値を算出するための路面を示す領域は、推定された路面を示す領域すべてを用いることに限定されるものではなく、路面を示す領域内の一定の領域に限定しても良い。

他の遠赤外線撮像装置１は、路面を示す領域に関する情報及び算出した輝度値の平均値を受信し、受信した路面を示す領域に関する情報及び算出した輝度値の平均値を用いて、路面を示す領域での輝度値の平均値が略一致するオフセット補正値を算出して、出力輝度値を補正する。他の遠赤外線撮像装置１の信号処理部１２の処理手順は、実施の形態１の図７と同様の処理であることから詳細な説明は省略する。

このようにすることで、同一の路面を示す領域を撮像した場合の出力輝度値に基づいて随時遠赤外線撮像装置１、１のオフセット補正値を補正することができ、複数の遠赤外線撮像装置１、１にて同一の対象物を撮像した場合であっても、略同一の輝度値を出力することが可能となる。

なお、遠赤外線撮像装置１のオフセット補正値を算出するタイミングは特に限定されるものではなく、本実施の形態２に係る障害物検出システムの起動時に算出しても良いし、一定時間間隔で算出するものであっても良い。一定時間間隔で遠赤外線撮像装置１、１のオフセット補正値を算出する場合には、特にメンテナンス処理を施すことなく複数の赤外線撮像装置１、１で同一対象物を撮像した場合に出力される輝度値を略同一にすることが可能となる。

さらに、両画像の路面を示す領域（又は平均値算出領域）の出力輝度値の平均値の差が極端な値となっている場合、先行車両の存在、右左折時の対向車両、水溜りに反射した映像等を撮像しているおそれが高く、正確な測距をすることはできない。したがって、信号処理部１２は、平均値の差異が所定値より大きいか否かを判断し、所定値以下であると判断した場合にのみ上述した処理によりオフセット補正値を算出するようにすることで、両画像の明るさ、コントラスト等を正しく一致させることが可能となる。

以上のように本実施の形態２によれば、同一の温度を示す領域に対しては同一の輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。

（実施の形態３）
以下、本発明の実施の形態３に係る遠赤外線撮像システムについて、図面を参照しながら詳細に説明する。実施の形態３に係る遠赤外線撮像システムの構成、遠赤外線撮像装置１の構成、及び演算装置３の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態３は、路面を示す領域を推定し、遠赤外線撮像装置間で画像データを送受信する点で、実施の形態１及び２と相違する。

本実施の形態３に係る遠赤外線撮像装置１、１の信号処理部１２は、路面を示す領域の出力輝度値の平均値を揃えるよう、他の遠赤外線撮像装置１で撮像された画像データを取得し、路面を示す領域を推定して、同一の路面を示す領域の出力輝度値の平均値に基づいてオフセット補正値を算出する。

図９は、本発明の実施の形態３に係る遠赤外線撮像システムの遠赤外線撮像装置１の信号処理部１２の処理手順を示すフローチャートである。図９では、画像データを受信した遠赤外線撮像装置１、例えば左に設置してある遠赤外線撮像装置１の信号処理部１２の処理手順について説明する。信号処理部１２は、通信インタフェース部１４を介して他の遠赤外線撮像装置１、たとえば右に設置してある遠赤外線撮像装置１で撮像した画像データを受信する（ステップＳ９０１）。信号処理部１２は、自己の撮像した画像データ及び受信した画像データについて、それぞれ路面を示す領域をそれぞれ推定する（ステップＳ９０２）。路面を示す領域の推定方法は特に限定されるものではない。例えば所定の撮像素子の出力輝度値と、その周囲に存在する撮像素子の出力輝度値とを比較し、出力輝度値の差がほとんど無い領域であって、画像の下方に存在する領域を路面を示す領域として検出しても良いし、路肩の縁石等をエッジ検出することにより推定する方法であっても良い。

信号処理部１２は、左右に設置されている遠赤外線撮像装置１、１で撮像された画像データに基づいて推定された２つの路面を示す領域ごとに、出力される輝度値の平均値を算出する（ステップＳ９０３）。そして信号処理部１２は、一方の出力輝度値の平均値、例えば左に設置されている遠赤外線撮像装置１で撮像された画像データの路面を示す領域の出力輝度値の平均値と一致するよう、他方の出力輝度値の平均値、例えば右に設置されている遠赤外線撮像装置１で撮像された画像データの路面を示す領域の出力輝度値の平均値を補正するためのオフセット補正値を算出する（ステップＳ９０４）。

なお、オフセット補正値を算出するための路面を示す領域は、推定された路面を示す領域すべてを用いることに限定されるものではなく、路面を示す領域内の一定の領域に限定しても良い。

信号処理部１２は、算出されたオフセット補正値を用いて出力輝度値を補正して出力する（ステップＳ９０５）。

このようにすることで、同一の路面を示す領域を撮像した場合の出力輝度値に基づいて随時遠赤外線撮像装置１、１のオフセット補正値を補正することができ、複数の遠赤外線撮像装置１、１にて同一の対象物を撮像した場合であっても、略同一の出力輝度値を出力することが可能となる。

なお、遠赤外線撮像装置１のオフセット補正値の補正値を算出するタイミングは特に限定されるものではなく、本実施の形態２に係る障害物検出システムの起動時に算出しても良いし、一定時間間隔で算出するものであっても良い。一定時間間隔で遠赤外線撮像装置１、１のオフセット補正値の補正値を算出する場合には、特にメンテナンス処理を施すことなく複数の赤外線撮像装置１、１で同一対象物を撮像した場合に出力される出力輝度値を略同一にすることが可能となる。

さらに、両画像の路面を示す領域（又は平均値算出領域）の出力輝度値の平均値の差が極端な値となっている場合、先行車両の存在、右左折時の対向車両、水溜りに反射した映像等を撮像しているおそれが高く、正確な測距をすることはできない。したがって、ＬＳＩ１６は、平均値の差異が所定値より大きいか否かを判断し、所定値以下であると判断した場合にのみ上述した処理によりオフセット補正値を算出するようにすることで、両画像の明るさ、コントラスト等を正しく一致させることが可能となる。

以上のように本実施の形態３によれば、同一の温度を示す領域に対しては同一の出力輝度値を出力するようにオフセット補正値を算出することができ、例えば左右に設置された遠赤外線撮像装置で撮像された画像に基づいてステレオ視に基づく測距を行う場合であっても、両画像の明るさ、コントラスト等を一致させることができ、測距精度を向上させることが可能となる。

なお、本実施の形態１乃至３では、遠赤外線撮像装置１のオフセット補正値を、一の遠赤外線撮像装置１で算出しているが、これに限定されるものではなく、例えばオフセット補正値を演算装置３のＬＳＩ３３で算出しても良いことは言うまでも無い。また、演算装置３を介することなく、遠赤外線撮像装置１、１間を接続する通信線を別途接続しておき、遠赤外線撮像装置１、１の信号処理部１２、１２間で上述した処理を実行するものであっても良い。

本発明の実施の形態１に係る遠赤外線撮像システムの構成を模式的に示す図である。本発明の実施の形態１に係る遠赤外線撮像装置の構成を示すブロック図である。本発明の実施の形態１に係る遠赤外線撮像装置の信号処理部の構成を示すブロック図である。本発明の実施の形態１に係る遠赤外線撮像システムの演算装置の構成を示すブロック図である。本発明の実施の形態１に係る遠赤外線撮像システムの遠赤外線撮像装置の信号処理部の処理手順を示すフローチャートである。本発明の実施の形態１に係る遠赤外線撮像システムの平均値算出領域の特定方法の概要を模式的に示す図である。本発明の実施の形態１に係る遠赤外線撮像システムの他の遠赤外線撮像装置の信号処理部の処理手順を示すフローチャートである。本発明の実施の形態２に係る遠赤外線撮像システムの遠赤外線撮像装置の信号処理部の処理手順を示すフローチャートである。本発明の実施の形態３に係る遠赤外線撮像システムの遠赤外線撮像装置の信号処理部の処理手順を示すフローチャートである。

符号の説明

１遠赤外線撮像装置
３演算装置
１１画像撮像部
１２信号処理部
１３画像メモリ
１４通信インタフェース部
３３ＬＳＩ
１２１Ａ／Ｄ変換部
１２２ＮＵＣ処理部
１２３ＢＰＲ処理部
１２５、３３１ＲＡＭ

Claims

マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、
一の遠赤外線撮像装置は、
画像中の路面を示す領域を設定する路面領域設定手段と、
設定された路面を示す領域の出力値の平均値を算出する手段と、
算出された平均値を前記他の遠赤外線撮像装置へ送信する手段と
を備え、
前記他の遠赤外線撮像装置は、
前記一の遠赤外線撮像装置で算出された平均値を受信する手段と、
画像中の路面を示す領域を設定する路面領域設定手段と、
設定された路面を示す領域の出力値の平均値を算出する手段と、
算出された平均値及び受信した平均値を略一致させるオフセット補正値を算出する手段と
を備え、
算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする遠赤外線撮像システム。
マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、
一の遠赤外線撮像装置は、
撮像した画像データに基づいて画像中の路面を示す領域を推定する路面領域推定手段と、
推定された路面を示す領域の出力値の平均値を算出する手段と、
算出された平均値及び推定された路面を示す領域に関する情報を前記他の遠赤外線撮像装置へ送信する手段と
を備え、
前記他の遠赤外線撮像装置は、
前記一の遠赤外線撮像装置で算出された平均値及び推定された路面を示す領域に関する情報を受信する手段と、
両遠赤外線撮像装置の視差を算出する視差算出手段と、
算出された視差に基づいて、路面を示す領域を推定する手段と、
推定された路面を示す領域の出力値の平均値を算出する手段と、
算出された平均値と受信した平均値とを略一致させるオフセット補正値を算出する手段と
を備え、
算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする遠赤外線撮像システム。
マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像システムにおいて、
一の遠赤外線撮像装置は、
撮像した画像データを前記他の遠赤外線撮像装置へ送信する手段を備え、
前記他の遠赤外線撮像装置は、
前記一の遠赤外線撮像装置で撮像した画像データを受信する手段と、
撮像した画像データ及び受信した画像データに基づいて画像中の路面を示す領域をそれぞれ推定する路面領域推定手段と、
推定された路面を示す領域の出力値の平均値をそれぞれ算出する手段と、
算出された両平均値を略一致させるオフセット補正値を算出する手段と
を備え、
算出されたオフセット補正値にて出力値を補正するようにしてあることを特徴とする遠赤外線撮像システム。
一の遠赤外線撮像装置は、
該一の遠赤外線撮像装置で算出した平均値と、他の遠赤外線撮像装置で算出した平均値との差異を算出する手段と、
算出した差異が所定値より小さいか否かを判断する手段と
を備え、該手段で小さいと判断した場合にのみオフセット補正値を算出するようにしてあることを特徴とする請求項１乃至３のいずれか一項に記載の遠赤外線撮像システム。
マトリックス状に配列された撮像素子を有し、車両の周辺の画像を撮像した画像データを前記撮像素子の出力値として取得する複数の遠赤外線撮像装置が相互にデータ通信可能に接続してあり、撮像された画像に基づいて撮像素子ごとに出力値を補正して出力する遠赤外線撮像方法において、
一の遠赤外線撮像装置にて、
画像中の路面を示す領域を設定し、
設定された路面を示す領域の出力値の平均値を算出し、
算出された平均値を前記他の遠赤外線撮像装置へ送信し、
前記他の遠赤外線撮像装置にて、
前記一の遠赤外線撮像装置で算出された平均値を受信し、
画像中の路面を示す領域を設定し、
設定された路面を示す領域の出力値の平均値を算出し、
算出された平均値及び受信した平均値を略一致させるオフセット補正値を算出し、
算出されたオフセット補正値にて出力値を補正することを特徴とする遠赤外線撮像方法。