JP4410168B2 - 画像処理装置 - Google Patents

Description

この発明は、有効画素部および遮光画素部からなる撮像素子を備えた画像処理装置に関し、特に撮像素子の黒レベルを設定して画像処理精度を向上させるための新規な技術に関するものである。

一般に、撮像装置においては、被写体の映像信号（撮影画像）の黒浮きおよび黒沈みを抑制するために、常に黒レベルを補正するための画像処理装置が必要である。
たとえば、従来の画像処理装置においては、映像信号の黒レベルを一定にする（黒浮きおよび黒沈みを抑制する）ために、暗電流（半導体の熱雑音に起因する）によるノイズ成分を映像信号から差し引く必要があるので、暗電流成分を検出するためのオプティカルブラックと称される遮光画素（以下、「ＯＢ」と略記する）からの出力信号（以下、「ＯＢ信号」という）を参照して、映像信号を補正している。

上記従来技術においては、固体撮像素子の中に、光電変換を行う画素によって構成された撮像領域と、撮像領域と同一構造の画素を遮光して構成された遮光領域（以下、「ＯＢ部」という）とを設け、各領域からの信号出力部を直流クランプすることにより黒レベルの安定化を図っている。

これにより、温度上昇によって暗電流が増加しても、固体撮像素子から出力されるＯＢ部の信号がＯＢクランプ回路を介して回路の基準電圧に直流クランプされ、黒レベルは一定に保持される。
また、一般的に、ＯＢクランプ回路は、ゲイン調整回路の前段に設けられているので、ゲイン変化による黒レベル変動も最小限に抑制される構成となっている。

ところが、従来のＯＢクランプ回路では、ゲインアップ時においてクランプ回路の誤差も増幅するので、ノイズ成分を十分に除去することができず、Ｓ／Ｎの悪い映像となる。
また、ゲインアップ時において精度良く黒レベルを補正するためには、ゲインアップ後に黒レベルを再度補正することが必要となり、回路の大規模化および高コスト化を招くことになる。
さらに、上記従来技術では、ＯＢ部のみに注目して映像信号（撮影画像）の黒浮きおよび黒沈みを常に精度良く抑制する構成となっており、外界（測定対象の映像）の輝度を考慮していないので、常に変化する外界に追従して補正することは非常に困難である。

そこで、上記諸問題に対処するために、ＯＢクランプ回路およびオフセット加算回路を備え、ＣＰＵに格納された補正テーブルに基づいて周囲温度に応じたオフセット量を選択することにより、黒レベルを補正する撮像装置が提案されている（たとえば、特許文献１参照）。

また、入射光が入射される有効領域と、入射光を遮光した遮光領域と、受光素子をもたない領域とを備え、露出時間や温度データのパラメータを用いて、黒レベルを補正する撮像装置も提案されている（たとえば、特許文献２参照）。この装置において、受光素子をもたない領域のデータは、補正用に用いられる。

特開２００４−０８０１６８号公報 特開２００４−１２０４９２号公報

従来の画像処理装置は、たとえば特許文献１や特許文献２に記載された従来装置の場合には、たとえば、信号処理部のゲインが非常に大きい場合などにおいては、完全にノイズ成分を除去することが困難であり、高精度の画像処理を実現することができないという課題があった。
また、上記特許文献１、２のいずれの従来装置においても、精度良く黒レベルを制御するための制御部および温度センサを設ける必要があり、回路規模が大型化するという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、画像処理を目的とする映像に対しては、黒浮きおよび黒沈みを常に抑制する必要はなく、後段の画像処理に応じた黒レベルの設定が可能であればよいことに注目し、被写体の映像出力信号から、所定の被写体（撮像対象）の輝度を測定するとともにノイズを判定し、輝度平均値およびノイズ成分を用いて黒レベルを設定することにより、回路規模および演算規模を増大することなく、ノイズの影響を受けない高精度な画像処理装置を得ることを目的とする。

この発明による画像処理装置は、撮像素子を備えた画像処理装置であって、被写体からの入射光に応じた第１の電荷を蓄積する撮像素子の有効画素部と、被写体からの入射光を遮光した暗電流成分に対応する第２の電荷を蓄積する撮像素子の遮光画素部と、第１および第２の電荷を入射光量および暗電流に応じた各電圧信号に変換するＱＶ変換部と、ＱＶ変換部から出力される第１および第２の電荷に応じた各電圧信号を切り替えるスイッチと、少なくとも各電圧信号を増幅するＡＧＣ部を含み、スイッチにより切り替えられた各電圧信号を処理してアナログ出力信号を生成する信号処理部と、アナログ出力信号をデジタル出力信号に変換するＡ／Ｄ変換部とを備えた画像処理装置において、第２の電荷に基づくデジタル出力信号から、暗電流成分に対応したノイズ成分を判定するノイズ判定部と、第１の電荷に基づくデジタル出力信号から被写体の画像処理対象となる所定領域の輝度情報を測定する輝度測定部と、ノイズ成分および輝度情報を加算してアナログ出力信号またはデジタル出力信号に対する黒レベル目標値を設定する目標値設定部と、黒レベル目標値に基づいてアナログ出力信号またはデジタル出力信号に対する黒レベルを設定する黒レベル設定部とをさらに備え、第１の電荷に基づくアナログ出力信号またはデジタル出力信号は、黒レベルに基づいて減算補正されるものである。

この発明によれば、回路規模および演算規模を増大させることなく、ノイズの影響を受けない高精度な画像処理を実現することができる。
また、画像処理の目的に応じた黒レベルを設定するとともに、信号処理部のゲインに応じてリアルタイムに黒レベルを設定することができ、画像処理に適した映像を得ることができる。

実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１に係る画像処理装置について説明する。
図１はこの発明の実施の形態１に係る画像処理装置１００の概略構成を示すブロック図である。
図１において、画像処理装置１００は、画素部２００と、スイッチ２０３と、信号処理部２０４と、減算回路２０５と、Ａ／Ｄ変換部２０６と、メモリ２０７と、ＣＰＵ２０８と、黒レベル設定部２１２とを備えている。

また、有効画素部２０１は、ＱＶ変換部２０１ａを含み、ＱＶ変換部２０１ａは、入射光量に応じて蓄積した電荷をアナログ映像信号Ａ１に変換する。
同様に、遮光画素部２０２は、ＱＶ変換部２０２ａを含み、ＱＶ変換部２０２ａは、暗電流に相当する遮光状態の電荷をアナログ遮光信号Ａ２に変換する。
スイッチ２０３は、ＱＶ変換部２０１ａ、２０２ａの各出力（アナログ映像信号Ａ１、アナログ遮光信号Ａ２）を切り替えて、電圧信号（以下、「アナログ信号」という）Ａとして信号処理部２０４に入力する。

また、有効画素部２０１は、ＱＶ変換部２０１ａを含み、ＱＶ変換部２０１ａは、入射光量に応じて蓄積した電荷をアナログ映像信号Ａ１に変換する。
同様に、遮光画素部２０２は、ＱＶ変換部２０２ａを含み、ＱＶ変換部２０２ａは、暗電流に相当する遮光状態の電荷をアナログ遮光信号Ａ２に変換する。
スイッチ２０３は、ＱＶ変換部２０１ａ、２０２ａの各出力（アナログ映像信号Ａ１、アナログ遮光信号Ａ２）を切り替えて、アナログ信号Ａとして信号処理部２０４に入力する。

すなわち、被写体からの輝度信号は、ＱＶ変換部２０１ａにより電圧信号（アナログ映像信号Ａ１）に変換され、スイッチ２０３を介して信号処理部２０４に入力される。
一方、入射光が入らない遮光状態（初期状態）での遮光画素部２０２の信号状態は、ＱＶ変換部２０２ａにより電圧信号（アナログ遮光信号Ａ２）に変換され、スイッチ２０３を介して信号処理部２０４に入力される。
なお、ＱＶ変換部２０１ａ、２０２ａは、一体化された回路で構成されてもよい。

信号処理部２０４は、スイッチ２０３を介して選択的に入力されるアナログ信号Ａ（ＱＶ変換部２０１ａまたは２０２ａの出力信号）を処理することにより、アナログ出力信号Ｂを生成して減算回路２０５の一端に入力する。信号処理部２０４の詳細については後述する。
減算回路２０５の他端には、黒レベル設定部２１２により設定された黒レベルＢＬが入力されている。

減算回路２０５は、信号処理部２０４からのアナログ出力信号Ｂを黒レベルＢＬで減算補正した信号を、Ａ／Ｄ変換部２０６に入力する。
Ａ／Ｄ変換部２０６は、黒レベル補正後のアナログ出力信号ＢをＡ／Ｄ変換し、デジタル出力信号Ｄ（画像データとなるデジタル映像出力信号Ｄ１、または、遮光データとなるデジタル遮光出力信号Ｄ２）を生成してメモリ２０７に格納する。

メモリ２０７に接続されたＣＰＵ２０８は、白線認識部２０８ａおよび白線認識レベル判定部２０８ｂに加えて、ノイズ判定部２０９と、輝度測定部２１０と、目標値設定部２１１とを有する。
白線認識部２０８ａは、デジタル出力信号Ｄ（デジタル映像出力信号Ｄ１）に基づいてたとえば路面領域内の白線を認識する。
白線認識レベル判定部２０８ｂは、後述するように、白線認識部２０８ａによる白線認識レベルを判定するとともに、白線が認識できない状態が所定回数以上発生した場合に、次の映像フレームに対して黒レベルＢＬの設定処理を再度実行する。

ノイズ判定部２０９は、メモリ２０７内のデジタル出力信号Ｄのうちの遮光データ（デジタル遮光出力信号Ｄ２）を処理して、オフセットを考慮したデータ平均値をノイズ成分Ｎａ（判定結果）として目標設定部２１１に入力する。
輝度測定部２１０は、メモリ２０７内のデジタル出力信号Ｄのうちの画像データ（デジタル映像出力信号Ｄ１）を処理して、被写体の所定領域Ｗ（後述する）の輝度を測定し、輝度平均値Ｒａ（測定結果）を輝度情報として目標設定部２１１に入力する。
目標値設定部２１１は、ノイズ判定部２０９からのノイズ成分Ｎａと輝度測定部２１０からの輝度平均値Ｒａとを加算して、アナログ出力信号Ｂに対する黒レベル目標値Ｓａを設定する。

黒レベル設定部２１２は、黒レベル目標値Ｓａに基づいてアナログ出力信号Ｂに対する黒レベルＢＬを設定する。
以下、Ａ／Ｄ変換部２０６は、黒レベルＢＬに基づいて補正されたアナログ出力信号Ｂをデジタル出力信号Ｄに変換する。

図２は画像処理装置１００を車両に取付けた場合の一例を模式的に示す外観側面図、図３は画像処理装置１００により撮影された映像例を示す説明図である。
図２において、画像処理装置１００は、車両１１０の車室１１１内の後方確認ミラー付近に設置され、車両１１０の前方の道路画像を撮像するように取り付けられている。
この場合、画像処理装置１００は、図３に示すような撮影画像３００を取得することになる。
なお、画像処理装置１００を車両１１０の後方に設置して、車両１１０の後方の道路画像を撮像するようにしてもよい。

図３において、全体の撮影画像３００は、画像処理装置１００の画素部２００の全体に対応する。また、有効画像３０１は、画素部２００内の有効画素部２０１に対応し、遮光画像３０２は、画素部２００内の遮光画素部２０２に対応する。
有効画素部２０１で撮像された有効画像３０１は、車両１１０の前方の路面３１０と、路面３１０の白線３１１とを含む。

画像処理装置１００内のＣＰＵ２０８は、たとえば撮像された白線３１１を認識する。
また、輝度測定部２１０は、図３内のウィンドウ（２点鎖線）で示す所定領域Ｗを設定し、所定領域Ｗを測定対象範囲として、たとえば路面３１０の輝度平均値Ｒａを算出する。

次に、図１〜図３とともに、図４〜図６を参照しながら、この発明の実施の形態１による動作について説明する。
図４は画素部２００の信号出力動作をタイミングチャートで示す説明図であり、有効画素部２０１および遮光画素部２０２の画像データに対する処理タイミングを示している。
図４において、遮光画素部２０２のデータ処理は、垂直ブランキング期間τｖにおいて実行されるものとする。また、有効画素部２０１のデータ処理は、有効画素データ出力期間すなわち有効画素部２０１のデータ処理期間（水平ブランキング期間τｈを含む）において実行されるものとする。

図５は図１内のノイズ判定部２０９、輝度測定部２１０、目標値設定部２１１および黒レベル設定部２１２の相互関係を具体的に示すブロック図である。
図５において、目標設定部２１１は、ノイズ成分Ｎａおよび輝度平均値Ｒａを加算して黒レベル目標値Ｓａを生成するための加算回路２１１ａを含む。
黒レベル設定部２１２は、黒レベル目標値ＳａをＤ／Ａ変換して黒レベルＢＬを生成するためのＤ／Ａ変換回路２１２ａを含む。

図６は黒レベル設定部２１２の動作をＡ／Ｄ変換部２０６の変換レンジ（８ビット：０〜２５５）と関連付けて示す説明図である。
図６において、黒レベル目標値Ｓａに基づく黒レベルＢＬは、撮像された信号４０２の遮光画素出力の平均値が、信号４００で示すように、Ａ／Ｄ変換の基準電位（０［ＬＳＢ］）となるように設定される。

すなわち、従来の黒レベル処理においては、信号４００の遮光画素平均値が０レベルとなるよう補正されるが、この発明の実施の形態１による黒レベルＢＬの補正処理においては、信号４００の信号電位を、信号４０２のように、黒レベルＢＬを減算（黒レベル目標値Ｓａ分だけ低減）した状態で、Ａ／Ｄ変換処理が実行されることになる。

なお、図１および図５のブロック構成では、理解し易いように便宜的に減算回路２０５を設けているが、実際の処理においては、信号レベル４００を低減するのではなく、Ａ／Ｄ変換部２０６によるＡ／Ｄ変換レンジを変更して、実質的に信号４０２のようにレベル低減させることが一般的である。
たとえば、信号電位０．５〜１．５［Ｖ］の８ｂｉｔＡ／Ｄ変換レンジ（０．５［Ｖ］が０［ＬＳＢ］、１．５［Ｖ］が２５５［ＬＳＢ］）から、信号電位１．０〜２．０［Ｖ］の８ｂｉｔＡ／Ｄ変換レンジ（１．０［Ｖ］が０［ＬＳＢ］、２．０［Ｖ］が２５５［ＬＳＢ］）に変更することにより、実質的に０．５［Ｖ］だけ信号レベルを低減したことになる。

信号処理部２０４は、たとえば、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路、ＡＧＣ部（自動ゲイン制御部）２０４ａ、γ補正回路および黒レベル補正回路などにより構成されている。
信号処理部２０４の入力端子には、スイッチ２０３を介して、ＱＶ変換部２０１ａまたは２０２ａが選択的に接続され、選択されたＱＶ変換部２０１ａまたは２０２ａから出力されるアナログ信号Ａ（アナログ映像信号Ａ１またはアナログ遮光信号Ａ２）が印加される。

スイッチ２０３は、図４のタイミングで選択端子が切り替えられ、水平部ランキング期間τｈにおいて、有効画素部２０１からのアナログ映像信号Ａ１をアナログ信号Ａとして信号処理部２０４に入力し、垂直部ランキング期間τｖにおいて、遮光画素部２０２からのアナログ遮光信号Ａ２をアナログ信号Ａとして信号処理部２０４に入力する。

信号処理部２０４は、アナログ信号Ａを、ＣＤＳ回路でＣＤＳ処理し、ＡＧＣ部２０４ａで所定のゲインＧで増幅した後、アナログ出力信号ＢとしてＡ／Ｄ変換部２０６に入力する。
信号処理部２０４内のＣＤＳ回路およびＡＧＣ部２０４ａは、ＱＶ変換部２０２ａからのアナログ遮光信号Ａ２を用いて、一般的な黒レベル補正処理を実行してもよい。

アナログ信号Ａは、信号処理部２０４内の各回路で処理されてアナログ出力信号Ｂとなり、さらに、黒レベル設定部２１２により設定された黒レベルＢＬで減算補正された後、Ａ／Ｄ変換部２０６によりデジタル出力信号Ｄに変換される。
黒レベルＢＬは、ＣＰＵ２０８内の目標値設定部２１０で設定された黒レベル目標値Ｓａに基づいて、黒レベル設定部２１２内のＤ／Ａ変換回路２１２ａにより設定される。
黒レベル目標値Ｓａは、アナログ信号Ａ（アナログ映像信号Ａ１およびアナログ遮光信号Ａ２）を処理したアナログ出力信号Ｂのデジタル変換値（デジタル出力信号Ｄ）に基づいて生成される。

信号処理部２０４内の各回路で処理されたアナログ遮光信号Ａ２は、アナログ映像信号Ａ１と同様に、黒レベル設定部２１２により設定された黒レベルＢＬで減算補正された後、Ａ／Ｄ変換部２０６によりデジタル出力信号Ｄに変換される。
このとき、輝度レベルの低いアナログ遮光信号Ａ２は、Ａ／Ｄ変換部２０６のＡ／Ｄ変換レンジを外れる（０［ＬＳＢ］以下となる）場合も考えられるので、所定のオフセットを加算した後、Ａ／Ｄ変換されるものとする。

続いて、Ａ／Ｄ変換部２０６から生成されたデジタル出力信号Ｄ（デジタル映像出力信号Ｄ１、デジタル遮光出力信号Ｄ２）は、メモリ２０７内に格納される。
メモリ２０７に格納されたデジタル遮光出力信号Ｄ２は、ＣＰＵ２０８内のノイズ判定部２０９により処理される。
ノイズ判定部２０９は、デジタル遮光出力信号Ｄ２を処理して、オフセットを考慮したデータ平均値をノイズ成分Ｎａとして出力する。

また、メモリ２０７に格納されたデジタル映像出力信号Ｄ１は、ＣＰＵ２０８内の輝度測定部２１０により処理される。
輝度測定部２１０は、デジタル映像出力信号Ｄ１を処理して、被写体（たとえば、路面３１０）の所定領域Ｗ（図３参照）の輝度を測定し、輝度平均値Ｒａを出力する。
目標値設定部２１１は、輝度測定部２１０からの輝度平均値Ｒａとノイズ判定部２０９からのノイズ成分Ｎａとに基づいて、黒レベル目標値Ｓａを設定する。

すなわち、図５に示すように、遮光画素部２０２からのデータに基づくノイズ成分Ｎａは、ノイズ判定部２０９内で算出され、路面３１０の所定領域Ｗ内を対象とした輝度平均値Ｒａは、輝度測定部２１０内で算出され、いずれも目標値設定部２１１に入力される。

以下、目標値設定部２１１内の加算回路２１１ａは、路面３１０の輝度平均値Ｒａと遮光画素部２０２からのデータに基づくノイズ成分Ｎａとの和を黒レベル目標値Ｓａとして算出し、黒レベル設定部２１２内のＤ／Ａ変換回路２１２ａは、黒レベル目標値Ｓａをアナログ電圧の黒レベルＢＬに変換し、減算回路２０５は、信号処理部２０４のアナログ出力信号Ｂから黒レベルＢＬを差分した信号をＡ／Ｄ変換部２０６に入力する。

また、一般的な撮像素子において、アナログ映像信号Ａ１は、信号処理部２０４によりアナログ出力信号Ｂに変換され、さらに図６に示すように、黒レベルＢＬによりたとえば信号４００の遮光画素出力の平均値がＡ／Ｄ変換の基準電位４０２となるように補正された後、Ａ／Ｄ変換部２０６によりデジタル出力信号Ｄに変換される。
すなわち、図６内の信号４０２のように、黒レベルＢＬ（黒レベル目標値ＳａのＤ／Ａ変換値）を信号処理部２０４の出力値（アナログ出力信号Ｂ）から差分した後、Ａ／Ｄ変換処理を実行する。

なお、図１において、メモリ２０７は、ＣＰＵ２０８内の機能に含まれてもよく、輝度測定部２１０の画像処理機能は、ＣＰＵ２０８の外部の専用ＩＣ内に設けてもよい。
また、画像処理装置１００は、図２のように、車両１１０に搭載されて、車両１１０の前方を撮影するように取り付けられた場合を示しているが、車両１１０の後方または側方を撮影してもよい。

ここで、図７〜図９を参照しながら、一般的な黒レベル補正を行う撮像素子を備えた画像処理装置の出力信号レベルに生じる問題点について、車両が走行する道路前方の撮影画像の場合を例にとって具体的に説明する。
図７〜図９は一般的な画像処理装置で取得される映像および信号レベルを示す説明図であり、図７（ａ）、図８（ａ）、図９（ａ）は、それぞれ信号処理部２０４（図１参照）のゲインＧが異なる映像を示す。

また、図７（ｂ）、図８（ｂ）、図９（ｂ）は、各映像の走査線Ｆ１〜Ｆ３（一点鎖線参照）上のデジタル出力信号Ｄの信号レベルを示し、図７（ｃ）、図８（ｃ）は、デジタル信号処理後の白線認識結果を示している。
図７〜図９において、映像（ａ）、デジタル処理結果（ｂ）、白線抽出結果（ｃ）は、それぞれ対応させて示している。

図７（ｂ）、図８（ｂ）、図９（ｂ）において、各信号レベルＢ１、Ｂ２、Ｂ３は、一般的な輝度測定部により得られた各映像（図７（ａ）、図８（ａ）、図９（ａ））の路面の輝度平均値を示している。
また、図７（ｂ）および図８（ｂ）内の各信号レベルに対して、路面上の白線抽出用の閾値ＴＨ１、ＴＨ２設定されている。これにより、図７（ｃ）、図８（ｃ）のように、各閾値ＴＨ１、ＴＨ２を超えたレベルの白線が抽出される。

図７（ａ）〜図９（ａ）の画像例において、図７（ａ）の映像は、被写体の輝度が比較的高く、信号処理部２０４のゲインＧが１倍で、路面と白線とのコントラストが高い場合を示している。
一方、図８（ａ）、図９（ａ）の映像は、被写体の輝度が低いため、信号処理部２０４のゲインＧが１倍よりも大きく、Ｓ／Ｎが低い場合を示している。
ただし、図８（ａ）の映像は、白線の輝度が高く、路面と白線とのコントラストが高いのに対し、図９（ａ）の映像は、白線の輝度が低く、路面と白線とのコントラストが低い状態を示している。

したがって、図７（ａ）、図８（ａ）の各映像は、白線と路面のコントラストが高く、容易に白線抽出のための閾値ＴＨ１、ＴＨ２を設定することができ、図７（ｃ）、図８（ｃ）に示すように、容易に白線を抽出することができる。
しかしながら、図９（ａ）の映像においては、図９（ｂ）に示すように、ノイズ成分が非常に大きいので、閾値を設定することが難しい。したがって、白線を抽出することが非常に困難である。つまり、ノイズ成分の増大にともなって、画像処理が複雑となり、処理時間がかかるうえ、精度の良い白線認識が困難となる。

ここで、遮光画素部２０２からのデータに注目すると、遮光画素部２０２からのデータは、有効画素部２０１からのデータと同一回路（図１内の信号処理部２０４およびＡ／Ｄ変換部２０６）を通過するので、被写体の輝度情報を除けば、ノイズ成分の状況は同じである。
したがって、この発明の実施の形態１（図１参照）のように、ＣＰＵ２０８内のノイズ判定部２０９において、遮光画素部２０２からのデータ（デジタル遮光出力信号Ｄ２）を用いてノイズ量を判定することにより、容易にノイズ成分Ｎａを判定することができる。

また、目標値設定部２１１、黒レベル設定部２１２および減算回路２０５は、ノイズ成分Ｎａと路面の輝度測定結果（輝度平均値Ｒａ）との和（黒レベル目標値Ｓａ）を用いて黒レベルＢＬを設定し、アナログ出力信号Ｂを黒レベルＢＬで減算補正する。
これにより、図９（ａ）と同様にコントラストの低い図１０（ａ）の映像に対しても、走査線Ｆ４上において、図１０（ｂ）に示すように、ノイズ成分がほとんど除去されたデジタル処理結果が得られる。

図１０（ｂ）において、路面の信号レベル（輝度平均値）Ｂ４は、８ビット「０〜２５５」のうちの、ほぼ「０［ＬＳＢ］」に設定される。
したがって、複雑な閾値処理を必要とせずに、低レベルの閾値ＴＨ４を用いて、図１０（ｃ）のように、容易に白線を抽出することができる。
たとえば、ゲインＧが最大時での映像に対して黒レベルが同一となる場合において、図８（ａ）のように、真っ白な白線が存在する夜間でのゲイン最大時の場合には、問題は生じない。しかし、図１０（ａ）のように、汚れた薄い白線が存在する夜間でのゲイン最大時の場合には、この発明の実施の形態１のように、遮光画素部２０２のみならず、測定対象の映像輝度をも考慮して、白線を抽出し易い黒レベルＢＬを設定する必要がある。

次に、図１１のフローチャートを参照しながら、図１に示したこの発明の実施の形態１による白線認識処理および黒レベル設定処理について説明する。
図１１において、黒レベル設定処理（ステップＳ５０１）は、有効画素部２０１および遮光画素部２０２のＱＶ変換部２０１ａ、２０２ａから、黒レベル設定部２１２までのすべての構成ブロック（図１参照）による一連の処理に対応する。
また、ＣＰＵ２０８内の白線認識レベル判定部２０８ｂは、白線認識不足の状態の発生回数を計数するカウンタを含むものとする。

一般的に、画像処理装置においては、被写体（撮像対象）の明るさに応じて露出制御およびＡＧＣ処理が実行されるので、前述の実施の形態１において、路面３１０の輝度が大きく変動することはない。また、同一撮像環境下では露出制御およびＡＧＣ処理（ゲインＧ）が大きく変動することはなく、前述の黒レベル設定処理をフレームごとに実行する必要はない（もちろん、フレームごとに実行してもなんら支障はない）。

図１１において、まず、撮像動作の開始後、黒レベル設定部２１２は、黒レベル設定処理（ステップＳ５０１）を実行する。このとき、黒レベルＢＬの初期値（たとえば、０レベル）はあらかじめ設定されているものとする。
続いて、信号処理部２０４内のＡＧＣ部２０４ａは、アナログ信号Ａに対して露出制御およびＡＧＣ処理（ステップＳ９０１）を実行する。
また、Ａ／Ｄ変換部２０６は、信号処理部２０４からのアナログ出力信号Ｂをデジタル出力信号Ｄに変換して画像を取得し、メモリ２０７に格納する（ステップＳ９０２）。

次に、ＣＰＵ２０８内の白線認識部２０８ａは、メモリ２０７内のデジタル出力信号Ｄ（デジタル映像出力信号Ｄ１、デジタル遮光出力信号Ｄ２）を読み出して、白線認識処理（ステップＳ５０２）を実行する。
続いて、白線認識レベル判定部２０８ｂは、白線認識レベルの判定処理（ステップＳ５０３）を実行する。

ステップＳ５０３においては、たとえば、白線認識レベルとして、路面上の両側の白線認識が可能な「Ｌ０」レベルと、片側のみの白線認識が可能な「Ｌ１」レベルと、両方の白線を見失う「Ｌ２」レベルとの３段階のレベルを設定し、段階的なレベル判定を実行するとともにカウンタ値を参照して、白線認識不足状態を示す「Ｌ１」、「Ｌ２」レベルが所定回数以上に達したか否かを判定する。

ステップＳ５０３において、「Ｌ１」、「Ｌ２」レベルが所定回数以上である（すなわち、ＹＥＳ）と判定されれば、白線認識レベルを決定する黒レベルＢＬが不適切（白線認識が不足の状態）であると見なして、ステップＳ５０１に戻り、次の映像フレームに対して、ＣＰＵ２０８および黒レベル設定部２１２による黒レベル設定処理を再度実行する。
ここで、所定回数にわたる白線認識不足状態を判定する理由は、認識不足状態の判定結果に冗長性をもたせ、一時的なノイズなどの影響による誤判定に基づく黒レベルＢＬの無駄な再設定処理を回避するためである。

一方、ステップＳ５０３において、「Ｌ１」、「Ｌ２」レベルが所定回数未満であって、「Ｌ０」レベルである（すなわち、ＮＯ）と判定されれば、黒レベルＢＬが適切（白線認識が可能な状態）であると見なし、ステップＳ５０４に進む。
ステップＳ５０４において、ＣＰＵ２０８は、デジタル出力信号Ｄのレベルに基づき、ＡＧＣ部２０４ａにおけるＡＧＣ処理の変化を確認するために、ゲインＧの変動量が所定値よりも大きいか否かを判定する。

ステップＳ５０４において、ゲイン変動＞所定値（すなわち、ＹＥＳ）と判定されれば、ゲインＧの変動が非常に大きい状態（ノイズ成分Ｎａの信号レベルに大きく影響する状態）と見なされるので、ステップＳ５０１に戻り、黒レベル設定処理（ステップＳ５０１）を再度実行する。
一方、ステップＳ５０４において、ゲイン変動≦所定値（すなわち、ＮＯ）と判定されれば、ゲインＧの変動が比較的小さい状態なので、白線認識処理（ステップＳ９０１）に戻る。このとき、黒レベル設定処理（ステップＳ５０１）は実行されない。

黒レベル設定処理（ステップＳ５０１）において、ＣＰＵ２０８内のノイズ判定部２０９は、デジタル遮光出力信号Ｄ２からノイズ成分Ｎａを求め、輝度測定部２１０は、デジタル映像出力信号Ｄ１から所定領域Ｗ内の撮像対象の輝度平均値Ｒａを測定し、目標値設定部２１１は、輝度平均値Ｒａおよびノイズ成分Ｎａを用いて黒レベル目標値Ｓａ（＝Ｎａ＋Ｒａ）を設定する。
また、黒レベル設定部２１２は、黒レベル目標値ＳａをＤ／Ａ変換した黒レベルＢＬを求め、減算回路２０５は、信号処理部２０４からのアナログ出力信号Ｂを黒レベルＢＬで減算補正する。

このように、ノイズ判定部２０９、輝度測定部２１０、目標値設定部２１１および黒レベル設定部２１２を設け、ノイズ成分Ｎａおよび被写体の輝度平均値Ｒａに基づいて、黒レベル目標値Ｓａおよび黒レベルＢＬを設定することにより、特に高価な回路を追加することなく、また演算規模を増やすことなく、画像処理に応じた最適な黒レベルＢＬを設定することができる。

したがって、ノイズの影響を受けない画像処理装置を構成することができるうえ、黒レベルＢＬの設定処理を簡略化することもできる。
また、画像処理目的に応じた黒レベルＢＬを設定するとともに、ＡＧＣ部２０４ａにおけるゲインＧの変動に応じた判定レベルに基づいて、リアルタイムに黒レベルＢＬを設定することができ、画像処理に適した映像が得ることができる。

特に、車両１１０（図２参照）の前方、側方または後方を撮像する車載装置に利用された場合に、車両１１０の走行にともない刻々と変化する被写体に追従して最適な黒レベルＢＬに基づく白線認識を実現することができる。
この場合、輝度測定部２１０は、車両１１０の前方、後方または側方の路面輝度を測定し、目標値設定部２１１は、路面輝度とノイズ成分Ｎａとの和を、黒レベル目標値Ｓａから負側へのオフセット値として設定し、オフセット値により補正された値を黒レベル目標値Ｓａとして設定する。これにより、輝度レベルの低いアナログ遮光信号Ａ２に対しても、Ａ／Ｄ変換部２０６のＡ／Ｄ変換レンジを外れることはなく、デジタル出力信号Ｄを得ることができる。

また、この発明の実施の形態１において、ノイズ判定部２０９は、遮光画素部２０２の電荷に基づくデジタル遮光出力信号Ｄ２からノイズ成分Ｎａを判定したが、たとえば、有効画素部２０１の電荷に基づくデジタル映像出力信号Ｄ１から、被写体の所定領域Ｗのノイズ成分Ｎａを判定することもできる。
このとき、ノイズ判定部２０９および輝度測定部２１０の処理対象となる所定領域Ｗは、車両１１０の前方、後方または側方の所定距離における路面領域に設定される。

また、デジタル出力信号Ｄに基づいて路面領域内の白線３１１を認識するための白線認識部２０８ａと、白線認識部２０８ａによる白線認識レベルを判定する白線認識レベル判定部２０８ｂとを備え、白線認識レベル判定部２０８ｂは、白線３１１が認識できない状態が所定回数以上発生した場合に、黒レベルＢＬの設定処理を再度実行するので、一時的な白線認識不足の状態が発生しても、無駄な黒レベルＢＬの再設定処理を回避することができる。

さらに、車両１１０に搭載された画像処理装置を例にとって、有効画素部２０１および遮光画素部２０２が車両の前方、後方または側方を撮像する場合について説明したが、他の用途の画像処理装置として適用することもでき、前述と同等の作用効果を奏することは言うまでもない。

実施の形態２．
なお、上記実施の形態１（図１、図５参照）では、ＣＰＵ２０８内にノイズ判定部２０９、輝度測定部２１０および目標値設定部２１１を設け、デジタル出力信号Ｄに基づいて黒レベル目標値Ｓａを設定したが、図１２のように、信号処理部２０４Ａ内にノイズ判定部２０９Ａ、輝度測定部２１０Ａおよび目標値設定部２１１Ａを設け、アナログ信号Ａまたはアナログ出力信号Ｂに基づいて黒レベル目標値Ｓａを設定してもよい。

以下、図１２を参照しながら、この発明の実施の形態２に係る画像処理装置について説明する。
図１２はこの発明の実施の形態２に係る画像処理装置の概略構成を示すブロック図であり、前述（図１参照）と同様のものについては、前述と同一符号を付して、または符号の後に「Ａ」を付して詳述を省略する。
この場合、信号処理部２０４Ａ内に配置されたノイズ判定部２０９Ａ、輝度測定部２１０Ａおよび目標値設定部２１１Ａは、アナログ出力信号Ｂに基づいて処理を実行するものとする。

また、信号処理部２０４Ａは、輝度測定部２１０Ａに関連して、黒レベルＢＬの設定対象領域を判定するための黒レベル設定領域判定部６０２を備えている。
また、ＣＰＵ２０８Ａは、黒レベル設定領域判定部６０２に関連して、黒レベル設定対象領域を設定するための黒レベル設定領域設定部６０１を備えている。
黒レベル設定領域判定部６０２は、黒レベル設定領域設定部６０１と共通の同期信号により、黒レベルＢＬの設定対象領域内外であることを判定する。
黒レベル設定領域設定部６０１は、前述（図３参照）の所定領域Ｗを黒レベル設定領域として設定し、黒レベル設定領域判定部６０２に入力する。これにより、輝度測定部２１０Ａは、所定領域Ｗ内の輝度平均値Ｒａを測定するようになっている。

ノイズ判定部２０９Ａは、遮光画素部２０２からのアナログ遮光信号Ａ２に基づくアナログ出力信号Ｂからノイズ成分Ｎａを判定し、輝度測定部２１０Ａは、アナログ出力信号Ｂに基づいて、被写体の所定領域Ｗの輝度平均値Ｒａを測定する。
以下、前述と同様に、目標値設定部２１１Ａは、ノイズ成分Ｎａおよび輝度平均値Ｒａに基づいて、アナログ出力信号Ｂに対する黒レベル目標値Ｓａを設定し、黒レベル設定部２１２は、黒レベル目標値Ｓａに基づいて黒レベルＢＬを設定する。また、Ａ／Ｄ変換部２０６は、黒レベルＢＬに基づいて補正されたアナログ出力信号をデジタル出力信号Ｄに変換する。

なお、この場合も、有効画素部２０１からのアナログ映像信号Ａ１に基づき、所定領域Ｗ（図３参照）をノイズ判定部２０９Ａおよび輝度測定部２１０Ａの処理対象とし、遮光画素部２０２のデータに基づくノイズ成分Ｎａ、路面の輝度平均値Ｒａを算出することができる。
また、ノイズ判定部２０９Ａおよび輝度測定部は、アナログ出力信号Ｂに基づく処理を実行したが、アナログ信号Ａに基づく処理を実行してもよい。

以上のように、この発明の実施の形態２によれば、アナログ出力信号Ｂからノイズ成分Ｎａを判定するノイズ判定部２０９Ａと、アナログ出力信号Ｂから被写体の所定領域の輝度平均値Ｒａを測定する輝度測定部２１０Ａと、ノイズ成分Ｎａおよび輝度平均値Ｒａに基づいてアナログ出力信号Ｂに対する黒レベル目標値Ｓａを設定する目標値設定部２１１Ａと、黒レベル目標値Ｓａに基づいてアナログ出力信号Ｂに対する黒レベルＢＬを設定する黒レベル設定部２１２とを備え、Ａ／Ｄ変換部２０６は、黒レベルＢＬに基づいて補正されたアナログ出力信号をデジタル出力信号Ｄに変換する。

これにより、遮光画素部２０２からのデータのＡ／Ｄ変換処理および格納を不要とするとともに、ＣＰＵ２０８Ａ内のノイズ判定部２０９、輝度測定部２１０および目標値設定部２１１（図１参照）を不要とすることができる。また、アナログ映像信号Ａ１を用いてノイズ判定することにより、リアルタイムで黒レベルＢＬを設定することができる。
また、ノイズ判定部２０９Ａは、遮光画素部２０２からのアナログ遮光信号Ａ２に基づいてノイズ成分Ｎａを判定することのみならず、有効画素部２０１からのアナログ映像信号Ａ１に基づいて、被写体の所定領域Ｗのノイズ成分Ｎａを判定することもできる。

実施の形態３．
なお、上記実施の形態１、２では、遮光画素部２０２からのデータに基づいてノイズ成分Ｎａを判定したが、有効画素部２０１からの所定領域Ｗ内の映像信号に基づいてノイズ成分Ｎａを求めてもよい。
以下、所定領域Ｗ内の映像信号に基づいてノイズ成分Ｎａを設定したこの発明の実施の形態３について説明する。

この発明の実施の形態３に係る画像処理装置の概略構成は、たとえば図１に示した通りである。または、図１２内の構成（ノイズ判定部２０９Ａ）を用いてもよい。
ただし、前述と異なる点は、ノイズ判定部２０９が、遮光画素部２０２からのデータ（デジタル遮光出力信号Ｄ２）に基づいてノイズ成分Ｎａを算出するのではなく、輝度測定部２１０と同様に、有効画素部２０１からの所定領域Ｗ（図３参照）内の映像信号（デジタル映像出力信号Ｄ１）に基づいてノイズ成分Ｎａを算出することにある。

ここで、映像信号（デジタル映像出力信号Ｄ１）に基づくノイズ成分Ｎａの算出式について具体的に説明する。
一般的に、ノイズ成分Ｎｏｉｓｅ［ＬＳＢ］は、以下の式（１）により算出される。

ただし、式（１）において、画像の座標は、水平および垂直（Ｈ、Ｖ）座標で示されるものとし、所定領域Ｗの開始Ｖ座標をｗｖ０、所定領域Ｗの終了Ｖ座標をｗｖ１とする。
また、（Ｈ、Ｖ）画素の輝度値をＲ（Ｈ、Ｖ）、所定領域Ｗ内の輝度平均値をＲａ（Ｗ）で表すものとする。

次に、図１〜図３および図１３を参照しながら、この発明の実施の形態３による動作について説明する。
図１３はこの発明の実施の形態３によるＣＰＵ２０８（白線認識部２０８ａ、白線認識レベル判定部２０８ｂ、ノイズ判定部２０９、目標値設定部２１１）および黒レベル設定部２１２（図１参照）の動作を示すフローチャートであり、ステップＳ９０１、Ｓ９０２、Ｓ５０２およびＳ５０３は、前述（図１１参照）と同様の処理である。

前述のように、画像処理装置においては、被写体（撮像対象）の明るさに応じて露出制御およびＡＧＣ処理が実行されるので、この場合も、路面３１０（図３参照）の輝度が大きく変動することはない。また、同一撮像環境下では露出制御およびＡＧＣ処理（ゲインＧ）が大きく変動することはなく、黒レベルＢＬの設定処理をフレームごとに実行する必要はない。

ただし、この発明の実施の形態３においては、路面３１０の輝度データに基づいてノイズ成分Ｎａを算出するために、図１３に示す処理フローが実行される。
図１３において、まず、撮像動作の開始後に、信号処理部２０４は、露出制御量を最大値に設定し、ゲインＧを１倍（Ｇ×１）に設定して（ステップＳ７０１）、画像を取得する（ステップＳ９０２Ａ）。

続いて、ノイズ判定部２０９は、上記式（１）に基づいて、ノイズ成分Ｎａを判定（算出）する（ステップＳ７０２）。
その後、信号処理部２０４は、露出制御およびＡＧＣ処理を実行し（ステップＳ９０１）、ノイズ判定部２０９は、ゲインＧの値を取得して（ステップＳ７０３）、上記ステップＳ７０２で算出したノイズ成分ＮａにＡＧＣ（ゲインＧ）を考慮したノイズ量（具体的には、Ｎａ×Ｇ）を算出して設定する（ステップＳ７０４）。

次に、画像を取得して（ステップＳ９０２）、輝度測定部２１０は、路面輝度を測定し（ステップＳ７０５）、目標値設定部２１１は、黒レベル目標値Ｓａを設定し（ステップＳ７０６）、黒レベル設定部２１２は、黒レベルＢＬを設定する（ステップＳ７０７）。
なお、路面輝度の測定処理（ステップＳ７０５）においては、ノイズ判定部２０９によるノイズ成分Ｎａの算出過程での上記式（１）を用いてもよい。

その後、白線認識部２０８ａは、白線認識処理を実行し（ステップＳ５０２）、白線認識レベル判定部２０８ｂは、白線認識レベル判定処理を実行する（ステップＳ５０３）。
ステップＳ５０３においては、前述と同様に、「Ｌ０」レベル（両側白線認識可能）、「Ｌ１」レベル（片側白線認識可能）、「Ｌ２」レベル（両側白線見失い）の３段階レベルを判定する。

ステップＳ５０３において、「Ｌ１」、「Ｌ２」レベルが所定回数以上（すなわち、ＹＥＳ）と判定されれば、黒レベルＢＬが不適切（白線認識が不可能な状態）なので、ステップＳ７０１に戻って上記処理を繰り返し、黒レベルＢＬを再度設定する。
一方、ステップＳ５０３において、白線認識レベルが「Ｌ０」レベル（すなわち、ＮＯ）と判定されれば、黒レベルＢＬが適切（白線認識が可能な状態）なので、ステップＳ９０１以降の白線認識処理に戻る。
以上により、前述と同様に、画像処理に応じた黒レベルＢＬの設定が可能となる。

実施の形態４．
なお、上記実施の形態３（図１３参照）では、映像信号（デジタル映像出力信号Ｄ１）に基づいてノイズ成分Ｎａを求め（ステップＳ７０２）、その後、ノイズ量を設定したが（ステップＳ７０４）、ゲインＧに応じてリアルタイムにノイズ量を判定（設定）してもよい。
以下、ゲインＧに応じてリアルタイムにノイズ量を設定したこの発明の実施の形態４について説明する。

この発明の実施の形態４に係る画像処理装置の概略構成は、たとえば図１に示した通りである。または、図１２内の構成（ノイズ判定部２０９Ａ）を用いてもよい。
また、輝度測定部２１０は、所定領域Ｗ（図３参照）を測定対象とするものとする。
ただし、前述と異なる点は、ノイズ判定部２０９が、信号処理部２０４内のＡＧＣ部２０４ａのゲインＧに基づいてノイズ量を設定することにある。
つまり、ノイズ判定部２０９は、前述のようにノイズ成分Ｎａを算出するのではなく、あらかじめ保持しているテーブル（ゲインＧとノイズ量との対応テーブル）に基づいて、ゲインＧからリアルタイムにノイズ量を参照する。

図１４はこの発明の実施の形態４による動作を示すフローチャートであり、白線認識処理、ノイズ判定処理、黒レベル設定処理などを示している。
図１４において、ステップＳ９０１、Ｓ９０２、Ｓ７０３、Ｓ７０５〜Ｓ７０７、Ｓ５０２およびＳ５０３は、前述（図１３参照）と同様の処理である。

前述のように、画像処理装置においては、被写体（撮像対象）の明るさに応じて露出制御およびＡＧＣ処理が実行されるので、この場合も、路面３１０（図３参照）の輝度が大きく変動することはない。また、同一撮像環境下では露出制御およびＡＧＣ処理（ゲインＧ）が大きく変動することはなく、黒レベルＢＬの設定処理をフレームごとに実行する必要はない。

ただし、この発明の実施の形態４において、ノイズ判定部２０９は、ＡＧＣ部２０４ａのゲインＧとノイズ量との対応テーブルを参照するために、図１４に示す処理フローが実行される。
図１４に示すように、まず、撮像動作の開始後に、露出制御およびＡＧＣ処理を実行し（ステップＳ９０１）、ゲインＧの値を取得する（ステップＳ７０３）。
続いて、ゲインＧとノイズ量との対応テーブルを参照し、ゲインＧの値からノイズ量を判定する（ステップＳ８０１）。

なお、ゲインＧとノイズ量との対応テーブルは、あらかじめノイズ判定部２０９に保持されている場合について説明したが、撮像動作の開始直後に、たとえば遮光画素部２０２からのデータを用いて、各ゲインＧに応じたノイズ量のテーブルを作成し、ＣＰＵ２０８内のメモリなどに保持してもよい。

以下、前述と同様に、画像を取得し（ステップＳ９０２）、路面輝度を測定し（ステップＳ７０５）、黒レベル目標値Ｓａを設定し（ステップＳ７０６）、黒レベルＢＬを設定し（ステップＳ７０７）、白線認識処理を実行し（ステップＳ５０２）、白線認識レベル判定処理を実行する（ステップＳ５０３）。
ステップＳ５０３において、「Ｌ１」、「Ｌ２」レベルが所定回数以上（すなわち、ＹＥＳ）と判定されれば、ＥＲＲ（エラー）判定処理を実行し、システムダウンとする（ステップＳ８０２）。

一方、ステップＳ５０３において、「Ｌ０」レベル（すなわち、ＮＯ）と判定されれば、ステップＳ９０１に戻って白線認識処理を繰り返す。ただし、上述したように、撮像動作の開始直後に、ゲインＧとノイズ量との対応テーブルを作成する場合には、テーブル作成処理（図示せず）に戻ってもよい。
以上により、前述と同様に、画像処理に応じた黒レベルＢＬの設定が可能になるとともに、処理を簡略化することもできる。

なお、上記実施の形態１〜４では、輝度測定部２１０、２１０Ａにより算出される所定領域Ｗ内の輝度情報として、輝度平均値Ｒａを用いたが、被写体の輝度に対応する値であれば、他の輝度情報を用いてもよい。

この発明の実施の形態１に係る画像処理装置の概略構成を示すブロック図である。 この発明の実施の形態１に係る画像処理装置を車両に取付けた例を示す外観側面図である。 この発明の実施の形態１に係る画像処理装置の撮像例を示す説明図である。 この発明の実施の形態１に係る画像処理装置による遮光画素部および有効画素部のデータ出力タイミングを示す説明図である。 この発明の実施の形態１に係るノイズ判定部、輝度測定部、目標値設定部および黒レベル設定部の相互関係を具体的に示すブロック図である。 この発明の実施の形態１に係る黒レベル設定部とＡ／Ｄ変換レンジとの関係を示す説明図である。 この発明の実施の形態１に係る画像処理装置に関連した一般的な出力映像と映像信号レベルとの関係を示す説明図である。 この発明の実施の形態１に係る画像処理装置に関連した一般的な出力映像と映像信号レベルとの関係を示す説明図である。 この発明の実施の形態１に係る画像処理装置に関連した一般的な出力映像と映像信号レベルとの関係を示す説明図である。 この発明の実施の形態１に係る画像処理装置による黒レベル設定後の出力映像と映像信号レベルとの関係を示す説明図である。 この発明の実施の形態１による処理動作を示すフローチャートである。 この発明の実施の形態２による処理動作を示すフローチャートである。 この発明の実施の形態３による処理動作を示すフローチャートである。 この発明の実施の形態４による処理動作を示すフローチャートである。

符号の説明

１００ 画像処理装置、２００ 画素部、２０１ 有効画素部、２０２ 遮光画素部、２０１ａ、２０２ａ ＱＶ変換部、２０４、２０４Ａ 信号処理部、２０４ａ ＡＧＣ部、２０６ Ａ／Ｄ変換部、２０８ ＣＰＵ、２０８ａ 白線認識部、２０８ｂ 白線認識レベル判定部、２０９、２０９Ａ ノイズ判定部、２１０、２１０Ａ 輝度測定部、２１１、２１１Ａ 目標値設定部、２１２ 黒レベル設定部、３１０ 路面、３１１ 白線、Ａ アナログ信号、Ａ１ アナログ映像信号、Ａ２ アナログ遮光信号、Ｂ アナログ出力信号、ＢＬ 黒レベル、Ｄ デジタル出力信号、Ｄ１ デジタル映像出力信号、Ｄ２ デジタル遮光出力信号、Ｎａ ノイズ成分、Ｒａ 輝度平均値（輝度情報）、Ｓａ 黒レベル目標値、Ｗ 所定領域。

Claims (7)

1. 撮像素子を備えた画像処理装置であって、
   被写体からの入射光に応じた第１の電荷を蓄積する前記撮像素子の有効画素部と、
   前記被写体からの入射光を遮光した暗電流成分に対応する第２の電荷を蓄積する前記撮像素子の遮光画素部と、
   前記第１および第２の電荷を入射光量および暗電流に応じた各電圧信号に変換するＱＶ変換部と、
   前記ＱＶ変換部から出力される前記第１および第２の電荷に応じた前記各電圧信号を切り替えるスイッチと、
   少なくとも前記各電圧信号を増幅するＡＧＣ部を含み、前記スイッチにより切り替えられた前記各電圧信号を処理してアナログ出力信号を生成する信号処理部と、
   前記アナログ出力信号をデジタル出力信号に変換するＡ／Ｄ変換部とを備えた画像処理装置において、
   前記第２の電荷に基づくデジタル出力信号から、前記暗電流成分に対応したノイズ成分を判定するノイズ判定部と、
   前記第１の電荷に基づくデジタル出力信号から前記被写体の画像処理対象となる所定領域の輝度情報を測定する輝度測定部と、
   前記ノイズ成分および前記輝度情報を加算して前記アナログ出力信号または前記デジタル出力信号に対する黒レベル目標値を設定する目標値設定部と、
   前記黒レベル目標値に基づいて前記アナログ出力信号または前記デジタル出力信号に対する黒レベルを設定する黒レベル設定部とをさらに備え、
   前記第１の電荷に基づく前記アナログ出力信号または前記デジタル出力信号は、前記黒レベルに基づいて減算補正されることを特徴とする画像処理装置。
2. 撮像素子を備えた画像処理装置であって、
   被写体からの入射光に応じた第１の電荷を蓄積する前記撮像素子の有効画素部と、
   前記被写体からの入射光を遮光した暗電流成分に対応する第２の電荷を蓄積する前記撮像素子の遮光画素部と、
   前記第１および第２の電荷を入射光量および暗電流に応じた各電圧信号に変換するＱＶ変換部と、
   前記ＱＶ変換部から出力される前記第１および第２の電荷に応じた前記各電圧信号を切り替えるスイッチと、
   少なくとも前記各電圧信号を増幅するＡＧＣ部を含み、前記スイッチにより切り替えられた前記各電圧信号を処理してアナログ出力信号を生成する信号処理部と、
   前記アナログ出力信号をデジタル出力信号に変換するＡ／Ｄ変換部とを備えた画像処理装置において、
   前記第１の電荷に基づくデジタル出力信号から前記被写体の画像処理対象となる所定領域の輝度情報を測定する輝度測定部と、
   前記第１の電荷に基づくデジタル出力信号から、前記所定領域の暗電流成分に対応したノイズ成分を判定するノイズ判定部と、
   前記ノイズ成分および前記輝度情報を加算して前記アナログ出力信号または前記デジタル出力信号に対する黒レベル目標値を設定する目標値設定部と、
   前記黒レベル目標値に基づいて前記アナログ出力信号または前記デジタル出力信号に対する黒レベルを設定する黒レベル設定部とをさらに備え、
   前記第１の電荷に基づく前記アナログ出力信号または前記デジタル出力信号は、前記黒レベルに基づいて減算補正されることを特徴とする画像処理装置。
3. 前記ノイズ判定部は、前記ＡＧＣ部のゲイン変動が所定値以上の場合に前記ノイズ成分を判定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記有効画素部および前記遮光画素部は、車両に搭載されて、前記車両の前方、後方または側方を撮像することを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
5. 前記所定領域は、前記車両の前方、後方または側方の所定距離における路面領域に設定されたことを特徴とする請求項４に記載の画像処理装置。
6. 前記輝度測定部は、前記輝度情報として、前記路面領域の路面輝度を測定し、
   前記黒レベル目標値は、前記路面輝度と前記ノイズ成分との和を、前記黒レベルの基準値から負側へのオフセット値として設定し、前記オフセット値により補正された値を前記黒レベル目標値として設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記輝度測定部は、前記輝度情報として、輝度平均値を測定することを特徴とする請求項１から請求項６までのいずれか１項に記載の画像処理装置。

Images