JP3481854B2 - 車載用カメラ - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、道路の白線検出
や前方走行車両などを撮影し、車載の画像処理装置に入
力する車載用カメラに関するものである。

【０００２】

【従来の技術】図１３ないし図１５は、従来の車載用カ
メラと画像処理の構成を示すブロック図である。図１３
において、１は入射光を電気信号に変換するカメラ、２
はカメラ１の出力信号を増幅する増幅器、３はＡ／Ｄ変
換回路、４は画像処理回路であり、車載撮像装置の概略
構成を示すものである。カメラ１は、図１４に示すよう
に、レンズ１１と、レンズ１１からの入射光を調整する
アイリス１２と、アイリス１２を制御するアイリス制御
部１３と、入射光を光電変換するための撮像素子１４
と、撮像素子１４の電気出力を相関二重サンプリングす
るＣＤＳ１５と、可変増幅機能を有するＡＧＣ１６と、
信号を同期化する信号処理部１７と、信号処理部１７の
出力によりＡＧＣの増幅率を操作するＡＧＣ制御部１８
と、撮像素子１４の各画素の電荷をフィールド毎に画像
信号として取り出すためのパルス信号と信号処理部１７
に同期信号を与えるタイミングパルス発生部１９と、ノ
イズを除去するためのＮＤＲ回路２０とで構成され、Ｎ
ＤＲ回路２０は図１５に示すように積算回路２１と、加
算回路２２と、フィールドメモリ２３とにより構成され
ている。

【０００３】自動車に搭載され、道路の白線や道路上の
障害物を撮像し識別するための車載用カメラは、夜間走
行時やトンネル内などの低照度域から直射日光下の高照
度域までの映像を撮像するために、撮像素子１４の出力
信号のレベルに応じてアイリス制御部１３がアイリス１
２を制御して撮像素子１４に対する入射光量を制御し、
また、ＡＧＣ１６の増幅率を制御するように構成され、
さらに、入射光量や増幅率の増大により増加するノイズ
はＤＮＲ回路２０により低減して画像の鮮明度の低下を
防ぐように構成されている。図１５に示したＤＮＲ回路
２０は一般的な巡回型のＤＮＲ回路であり、図の積算回
路２１に入力される係数ｋを、１＞ｋ＞０の範囲で調整
し、ｋ倍の信号と（１−ｋ）倍の前フィールド信号とを
加算することにより、時間軸方向に相関性のないノイズ
の低減を図るものである。

【０００４】

【発明が解決しようとする課題】このように車載用カメ
ラでは、低照度域から高照度域までの映像処理を行うた
めに、撮像素子１４で得た信号を可変増幅率のＡＧＣ１
６の増幅率を制御したりアイリス２１の制御により対処
しているが、信号の増幅は同時にノイズも増幅すること
になる。撮像によるノイズは入射光量によるものと、入
射光量に依存しないものとがあり、入射光量に依存しな
いノイズは被写体が低照度であるほどノイズの比率が増
加し、Ｓ／Ｎが悪化して画像の鮮明度を悪くする。

【０００５】このような問題に対処するために、撮像素
子を増感することが考えられ、例えば、特開平５ー５６
３５４号公報や、特開平６ー２０９４３号公報に開示さ
れているように、撮像素子の水平方向に隣接する画素の
電荷を加算することにより輝度値を高め、Ｓ／Ｎを改善
することが提案されているが、例えば特開平５ー５６３
５４号公報では２画素加算による解像度の低下を抑止す
るために、加算する画素の組合せを１フィールド毎に変
え、フィールド間オフセットサンプリングを行っている
ために、回路規模が複雑で大規模となり、また、特開平
６ー２０９４３号公報によるものでは、解像度低下抑止
策として、リセットパルスの位相制御と、垂直相関を利
用した信号の内挿処理との組合せを行っているために、
同様に回路規模が複雑で大規模なものとなり、車載用と
しては不的確であると共に、これらの例では解像度の低
下を抑止するために、水平方向２画素のみの加算として
いるために撮像素子の増感にも限界があった。

【０００６】また、車載用カメラで撮影される前方風景
は、道路の白線や前方車両の映像であり、画像には時間
軸方向の相関性があり、ノイズには時間軸方向に相関性
がないため、通常のＤＮＲ処理を施すことにより、必要
な画像を欠落させることなくノイズを除去することが可
能であるとされていたが、例えば急な車線変更を行った
ときなど、前方画像が急変する場合においては画像に時
間軸方向の相関性がなくなり、現在の状況を表す正常な
画像の一部が欠除し、フィールドメモリ２３からの前回
までの過去の画像情報の積算値が付加され、正常な画像
処理が不可能になるという問題を有するものであった。

【０００７】この発明は、このような課題を解決するた
めになされたもので、画像処理の性能に影響を及ぼすこ
となく増感することが可能であり、車線変更など、前方
画像の急変時においても正常な画像が得られるＤＮＲ回
路を備えた小型で安価な車載用カメラを得ることを目的
とするものである。

【０００８】

【課題を解決するための手段】この発明に係わる車載用
カメラは、入射光を光電変換する撮像素子、この撮像素
子によって撮像された画像の各画素に対し、所定の画素
の信号をサンプリングして画像を構成する画像処理装
置、及びサンプリングされた画素の周辺画素の信号をサ
ンプリングされた画素の信号に加算する輝度加算手段を
備えたものである。

【０００９】また、撮像素子によって撮像された画素
を、水平方向、垂直方向に分割し、分割されたブロック
内の全画素の信号を輝度加算手段が加算するようにした
ものである。さらに、輝度加算手段が加算する周辺画素
の数は、画像の画素の数と画像処理装置の解像度との比
に応じて決定されるようにしたものである。

【００１０】また、輝度加算手段によって輝度が加算さ
れた撮像信号の出力側にノイズ除去手段であるＤＮＲ回
路を設け、このＤＮＲ回路に帰還係数を付与するための
係数設定手段を備えたものである。さらに、帰還係数決
定手段の帰還係数が、画像のフレーム間の各画素の輝度
差により設定されるようにしたものである。さらにま
た、帰還係数決定手段の帰還係数が、車両の操舵量に応
じて設定されるようにしたものである。また、帰還係数
決定手段の帰還係数が、車両の操舵速度に応じて設定さ
れるようにしたものである。さらに、操舵量または操舵
速度信号は、ハンドル角センサによって検出するように
したものである。また、輝度加算手段に出力信号を一定
にする出力調整手段を付加するようにしたものである。

【００１１】

【発明の実施の形態】実施の形態１．図１ないし図５
は、この発明の実施の形態１の構成図と説明図であり、
図中、上記従来例と同一機能部分には同一符号が付して
ある。図１のブロック図において、１１は集光用のレン
ズ、１２はレンズ１１からの入射光を制御するアイリ
ス、１３はアイリス１２を制御するアイリス制御部、１
４はレンズ１１からの入射光を光電変換する例えばＣＣ
Ｄなどにより構成される撮像素子、１５は撮像素子１４
の電気出力を相関二重サンプリングするＣＤＳ、１６は
可変増幅率を有するＡＧＣ、２４は画素の電荷を加算処
理する加算処理部、１７は信号を同期化する信号処理
部、１８は信号処理部１７の出力に応じてＡＧＣ１６の
増幅率を制御するＡＧＣ制御部、１９は撮像素子１４
と、信号処理部１７と、加算処理部２４とに駆動パルス
信号を与えるタイミングパルス発生部、２０はノイズを
除去するためのＮＤＲ処理部である。

【００１２】加算処理部２４は、得られた映像信号につ
いて周辺画素の輝度値を加算し、増感された信号を出力
するためのもので、図２のブロック図に示すように、入
力信号をＡ／Ｄ変換するＡ／Ｄ変換器２５と、各画素の
電荷量に基づく輝度値をデジタル信号として保持するメ
モリ２６と、メモリ２６に記録された各画素について周
辺画素の輝度値を加算する演算処理部２７と、加算され
た信号を保持するメモリ２８と、メモリ２８の信号をア
ナログの映像信号に変換するＤ／Ａ変換器２９とにより
構成されている。

【００１３】このように構成されたこの発明の実施の形
態１の車載用カメラにおいて、アイリス制御部１３はＣ
ＤＳ１５より得られる輝度信号の平均値を求め、予め設
定された目標値に近づくようにアイリス１２を制御す
る。アイリス制御部１３の入力信号はＣＤＳ１５の出力
信号でなく、信号処理部１７の出力信号を使用すること
もできる。また、ＡＧＣ制御部１８は信号処理部１７よ
り得られる輝度信号の平均値を求め、予め設定された目
標値に近づくようにＡＧＣの増幅率を制御する。

【００１４】車載用画像処理装置では、その処理にリア
ルタイム性が要求され、演算処理時間の制約上、従来装
置でもカメラの撮像素子が有する全画素を用いず、デー
タの間引きサンプリングを行い画像情報の低減を行って
いる。サンプリング定理に従えばカメラの解像度は画像
処理側の１／２でよく、画像処理装置の解像度が水平方
向（以下Ｈと称す）２５６×垂直方向（以下Ｖと称す）
２５６であれば、カメラ側に要求される解像度はＨ１２
８×Ｖ１２８でよいことになる。例えば２５万画素の撮
像素子を持つカメラであればＨ・Ｖ共に解像度を１／４
まで低減させることが可能であり、カメラに光学的ＬＰ
Ｆを組込み解像度を低下させた場合には、Ｈ・Ｖ各４画
素の画素を自由に選択して加算し、輝度を向上させるこ
とが可能となる。図３は２５万画素の撮像素子に対し、
解像度がＨ２５６×Ｖ２５６の画像処理の、撮像素子の
画素と画像処理のサンプリング点を示すもので、この場
合、１個のサンプリング点毎に３個の欠落画素が存在
し、欠落画素の信号を輝度値として全て加算することに
より感度を４倍に増感することができる。

【００１５】図４の画面において、ａｌ１からａｍｎま
での各画素ａｉｊの輝度値の加算は加算する画素の数に
より次のようになる。例えば、図５の（７０）のように
周辺の欠落画素３画素を加算する場合、演算処理装置２
７は（１）式の演算を行う。 また，Ｈ方向のエッジ検出のために、Ｈ方向の画素情報
に注目して演算を行う場合には、図５の（７１）に示す
ようにＨ方向に隣接する画素の加算を行う。この場合の
演算処理装置２７の演算は次の（２）式の通りとなる。 その他、図５の（７２）から（７４）までの加算法があ
るが、加算法に応じた演算を演算処理装置２７に設定す
ることができる。

【００１６】このように、加算処理部２４の演算処理部
２７が周辺画素の輝度値の加算を行い、加算された信号
はメモリ２８に記録され、タイミングパルス発生部１９
の駆動パルスにより読み出されてＤ／Ａ変換器２９によ
りアナログ変換され、映像信号として出力される。加算
される画素は本来の欠落画素であるため、この実施の形
態によれば、車載用画像処理装置の画像の画質を低下さ
せることなくカメラの増感を実現することができること
になる。

【００１７】実施の形態２．図６は、この発明の実施の
形態２の説明図であり、この実施の形態は、撮像された
画像を画像処理装置の解像度に合わせて分割し、分割さ
れたブロック内の各画素の輝度値の総和を画像処理装置
のサンプリング点としたものである。例えば、Ｈ５１２
×Ｖ４９０の画素（２５万画素）を有する撮像素子の撮
像画像をＨ２５６×Ｖ２５６の解像度で画像処理する場
合、図６のブロックＡないしＣに示すようにＨ２×Ｖ２
の画素を１ブロックとし、ブロック内の各画素の輝度値
を全て加算して画像処理のサンプリング点とするように
加算処理部２４の演算処理装置２７を構成する。このよ
うに加算対象のブロックを固定することにより演算処理
部２７の演算量が減少し、処理時間の短縮が可能となっ
てリアルタイム性を向上させることができるものであ
る。

【００１８】実施の形態３．図７ないし図９は、この発
明の実施の形態３の車載用カメラのブロック図と説明図
であり、この実施の形態は図７に示すように、ＤＮＲ処
理部２０に帰還係数を与える係数処理手段３０を設け、
係数処理手段３０がＡＧＣ１６の出力信号に応じた係数
を設定してＤＮＲ処理部２０に与えるようにしたもので
ある。図８は係数設定手段３０の処理手順を示すフロー
チャートで、処理１００において係数設定手段３０はＡ
ＧＣ１６から入力される二つのフレーム画像から各画素
の輝度値の総和の差を求める。すなわち、図９に示すフ
レーム画像１の各画像の輝度値ｂｉｊと、フレーム画像
２の各画素の輝度値ｃｉｊとを求め、さらに、両者の差
を次の（３）式により求める。

【００１９】処理１０１では各フレーム間の画像の輝度
値の差により帰還係数を設定する。帰還係数（１−ｋ）
は、輝度値の総和の差が大であるときには小さく、輝度
値の総和の差が小であるときには大きく設定されて、処
理１０２にてＤＮＲ処理部２０に付与する。このように
フレーム間の画像の輝度の総和の差により帰還係数を設
定することにより、画面が急変する場合には帰還係数が
小となり、前画面情報が小さくなって正常画面が欠除す
ることがなくなり、画面に時間軸方向の相関性がある場
合には帰還係数が大となって有効にノイズ除去ができる
ようになる。

【００２０】実施の形態４．図１０はこの発明の実施の
形態４の車載用カメラのブロック図、図１１は処理方法
を示すフローチャートであり、この実施の形態は、係数
設定手段３０にＡＧＣ１６の出力信号と、図示しない車
両のハンドルの操舵角とを入力するようにしたものであ
る。このように構成されたこの実施の形態の車載用カメ
ラにおいては、実施の形態３と同様にフレーム間の画像
の差により帰還係数が変化する以外に、操舵角によって
も帰還係数が変化する。

【００２１】図１１のフローチャートにおいて、処理１
１０では車両の操舵角が係数設定手段３０に読み込ま
れ、処理１１１において操舵角の変化量が基準値と比較
されて求められる。操舵角が基準値より小であれば通常
走行と判断し、処理１１２により帰還係数を大きく設定
してノイズ除去を有効にし、操舵角が基準値より大であ
れば画面が急変すると判断し、処理１１３により帰還係
数を小さくして正常画面の欠除を防止するようにして処
理１１４にてＤＮＲ処理部２０に出力する。なお、処理
１１１において、ハンドル角の変化量の微分値により操
舵速度を検出しても有効である。このように実施の形態
４においても正常画面の欠除がなく、低ノイズの信頼性
の高い画像を得ることができるものである。

【００２２】実施の形態５．図１２はこの発明の実施の
形態５の車載用カメラの加算処理部のブロック図であ
る。この実施の形態においては実施の形態１で述べた加
算処理部２４に出力調整手段３１を付加したものであ
る。出力調整手段３１はＡＧＣ１６の出力信号の輝度の
平均値を求め、予め設定された目標値に近づくように入
力映像信号の輝度値を１／Ｎにする。出力調整手段３１
の出力信号はＡ／Ｄ変換器２５によりデジタル信号化さ
れてメモり２６に記憶され、演算処理部２７により周辺
画像の輝度地の加算が行われる。以降は実施の形態１と
同様にアナログ信号化されて出力されるが、このように
信号を一定レベルに調整することにより、安定した映像
信号を得ることが可能になり、より信頼性が向上するも
のである。

【００２３】

【発明の効果】以上に説明したように、この発明の車載
用カメラによれば、加算処理部により、画像処理時にサ
ンプリングされる画素周辺の欠落画素の輝度信号をサン
プリング信号に加算するようにしたので増感された画像
信号を得ることができ、そのために処理画像の鮮明度が
低下することなく、また、画像の画素数と画像処理装置
の解像度との比により画像の画素をブロック分割し、ブ
ロック内の各画素の信号の総和を加算処理部が出力する
ようにしたのでリアルタイム性の高い画像を得ることが
でき、さらに、ＤＮＲ回路に係数設定手段を設けてフィ
ールド間の輝度値の総和の差や、操舵角センサの出力に
より帰還係数を設定するようにしたので信頼性の高い画
像を得ることが可能になるなど、優れた車載用カメラが
得られるものである。

【図面の簡単な説明】

【図１】 この発明の実施の形態１の構成を示すブロッ
ク図である。

【図２】 この発明の実施の形態１の加算処理部のブロ
ック図である。

【図３】 この発明の実施の形態１における画像の画素
とサンプリング点とを説明する説明図である。

【図４】 この発明の実施の形態１の加算処理部の加算
処理説明図である。

【図５】 この発明の実施の形態１の加算処理部の加算
処理説明図である。

【図６】 この発明の実施の形態２のブロック処理の説
明図である。

【図７】 この発明の実施の形態３の構成を示すブロッ
ク図である。

【図８】 この発明の実施の形態３の係数設定手段の動
作を説明するフローチャートである。

【図９】 この発明の実施の形態３の係数設定手段の設
定処理説明図である。

【図１０】 この発明の実施の形態４の構成を示すブロ
ック図である。

【図１１】 この発明の実施の形態４の係数設定手段の
動作を説明するフローチャートである。

【図１２】 この発明の実施の形態５の加算処理部のブ
ロック図である。

【図１３】 従来の車載用カメラと画像処理のブロック
図である。

【図１４】 従来の車載用カメラの構成を示すブロック
図である。

【図１５】 ＤＮＲ回路の構成を示すブロック図であ
る。

【符号の説明】

１１ レンズ、１２ アイリス、１３ アイリス制御
部、１４ 撮像素子、１５ ＣＤＳ、１６ ＡＣＧ、１
７ 信号処理部、１８ ＡＣＧ制御部、１９ タイミン
グパルス発生部、２０ ＤＮＲ処理部、２７ 演算処理
装置、 ３０ 係数設定手段。

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/225 H04N 5/21 H04N 5/232 H04N 5/243 H04N 7/18

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 入射光を光電変換する撮像素子、この撮
   像素子によって撮像された画像の各画素に対し、所定の
   画素の信号をサンプリングして画像を構成する画像処理
   装置、及びサンプリングされた画素の周辺画素の信号を
   サンプリングされた画素の信号に加算する輝度加算手段
   を備えたことを特徴とする車載用カメラ。
2. 【請求項２】 撮像素子によって撮像された画素を、水
   平方向、垂直方向に分割し、分割されたブロック内の全
   画素の信号を輝度加算手段が加算することを特徴とする
   請求項１記載の車載用カメラ。
3. 【請求項３】 輝度加算手段が加算する周辺画素の数
   は、画像の画素の数と画像処理装置の解像度との比に応
   じて決定されることを特徴とする請求項１または請求項
   ２記載の車載用カメラ。
4. 【請求項４】 輝度加算手段によって輝度が加算された
   撮像信号の出力側にノイズ除去手段であるＤＮＲ回路を
   設け、このＤＮＲ回路に帰還係数を付与するための係数
   設定手段を備えたことを特徴とする請求項１〜請求項３
   のいずれか一項記載の車載用カメラ。
5. 【請求項５】 係数決定手段の帰還係数が、画像のフレ
   ーム間の各画素の輝度差により設定されることを特徴と
   する請求項４記載の車載用カメラ。
6. 【請求項６】 係数決定手段の帰還係数が、車両の操舵
   量に応じて設定されることを特徴とする請求項４記載の
   車載用カメラ。
7. 【請求項７】 係数決定手段の帰還係数が、車両の操舵
   速度に応じて設定されることを特徴とする請求項４記載
   の車載用カメラ。
8. 【請求項８】 操舵量または操舵速度信号は、ハンドル
   角センサによって検出することを特徴とする請求項６ま
   たは請求項７記載の車載用カメラ。
9. 【請求項９】 輝度加算手段に出力信号を一定にする出
   力調整手段を付加したことを特徴とする請求項１〜請求
   項７のいずれか一項記載の車載用カメラ。