JP4924041B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像画像から対象物に対する光環境を判断する画像処理装置に関する。

車両事故を未然に防止するために様々な装置が開発されており、例えば、脇見判定装置や衝突防止装置がある。脇見判定装置の場合、カメラによって撮像したドライバの顔周辺の撮像画像から顔領域を検出し、その顔領域画像から顔向きを検出し、その顔向きから脇見しているか否かを判定している。

ドライバの顔の一部分に太陽光が横方向から当たると、顔に明るい部分と暗い部分が生じる。この場合、カメラでは明るさに応じてシャッタ制御を行うので、撮像画像中のドライバの顔において光が当たっている部分が白くつぶれ、光が当たっていない部分が黒くつぶれる虞がある。このような撮像画像からはドライバの顔の眼や鼻等の各部位を精度良く検出できなくなり、顔領域や顔向きを間違って検出してしまう。そこで、特許文献１に記載の装置では、顔の各部位を検出し、顔内の左右の所定位置（左右の眼の下部）における一定ラインの輝度値の差が閾値を超えた場合には光環境が悪化していると判断する（ドライバの横方向から太陽光が当たっていると判断する）。
特開２００２−１５３２２号公報

特許文献１に記載の装置では、顔内（特に、中心寄り）の予め決まった位置における左右の輝度値の差から太陽光が当たっているか否かを判断しているので、間違った判断をする場合がある。例えば、ドライバの顔の一部分に太陽光があたっている場合、上記したように撮像画像からドライバの顔の各部位や顔領域を誤検出する虞がある。そのため、顔内の左右の所定位置が間違った位置となる場合があり、正しい判断ができなくなる。また、ドライバの顔に対する太陽光の入射角度によって、左右の眼下部が両方とも光が当たる場合あるいは両方とも光が当たらない場合がある。この場合、左右の輝度値の差が大きくならないので、ドライバの顔に横方向から太陽光が当たっていないと判断してしまう。

そこで、本発明は、対象物の一部分に光が当たっているか否かを高精度に判断する画像処理装置を提供することを課題とする。

本発明に係る画像処理装置は、顔を撮像した撮像画像から顔に対する光環境を判断する画像処理装置であって、撮像画像に基づいて顔と背景との境界のエッジを検出するエッジ検出手段と、エッジ検出手段で検出した顔と背景との境界のエッジに基づく顔と背景との左右の境界近傍間のエッジとなっている画素の数の差が閾値以上の場合に顔の一部分に横方向から光が当たっていると判断する判断手段とを備えることを特徴とする。

この画像処理装置では、エッジ検出手段により、撮像画像に基づいて対象物のエッジを検出する。撮像画像中の対象物と背景との間には輝度差があるので、その境界部分がエッジとなる（輝度勾配が高くなる）。対象物の一部分に光が当たっている場合、撮像画像中の対象物には輝度が高くなる側と低くなる側ができるので、エッジになっている部分の中にも輝度が高くなっている側と輝度が低くなっている側とのコントラストが表れ、エッジの対称となる位置間に明らかな輝度差が発生する。そこで、画像処理装置では、判断手段により、検出した対象物のエッジに基づいて対称となる比較位置（例えば、左右方向の対称位置、上下方向の対称位置）を設定し、その比較位置間の輝度差が閾値以上となるか否かを判定し、輝度差が閾値以上となる場合には対象物の一部分に光が当たっていると判断する。このように、画像処理装置では、対象物のエッジに基づいて判断することにより、対象物の一部分に光が当たっているか否かを高精度に判断することができる。なお、判断に用いる輝度には、輝度値自体の他に、輝度に関する様々な情報も含み、例えば、輝度変化の境界（輝度勾配の大きいところ）を示すエッジ情報がある。

本発明の上記画像処理装置では、判断手段は、エッジ検出手段で検出したエッジに基づく顔領域の左右対称となる端部近傍間のエッジとなっている画素の数の差が閾値以上の場合に顔の一部分に横方向から光が当たっていると判断すると好適である。

この画像処理装置では、対象物領域を取得する。対象物領域は、撮像画像中で対象物が存在する領域であり、取得方法としてはどのような方法でもよく、例えば、過去の処理で設定したもの、実験等によって予め設定してものである。撮像画像中の対象物と背景との境界部分は、対象物領域の端部付近に存在する。そこで、画像処理装置では、判断手段により、検出した対象物のエッジに基づく対象物領域の対称となる端部近傍を比較位置として設定し、その端部近傍間の輝度差が閾値以上の場合に対象物の一部分に光が当たっていると判断する。このように、画像処理装置では、対象物領域の対称となる端部を基準にして比較位置を設定することにより、比較位置を簡単かつ高精度に求めることができ、対象物の一部分に光が当たっているか否かをより高精度に判断することができる。

この画像処理装置では、判断手段により、検出した対象物のエッジに基づいて対称となる左右の比較位置を設定し、その左右の比較位置間の輝度差が閾値以上となるか否かを判定し、輝度差が閾値以上となる場合には対象物の一部分に横方向から光が当たっていると判断する。対象物の横方向から光が当たっている場合、対象物の左右の一方側が輝度が高くなり、他方側が低くなるので、左右の比較位置間で明らかな輝度差が発生する。

対象物の一部分に光が当たっている場合、上記したようにエッジになっている部分の中には輝度が高くなっている側と輝度が低くなっている側とのコントラストが表れるので、エッジの対称となる位置間に輝度勾配の差（エッジの表れ方に差）が発生する。そこで、画像処理装置では、判断手段により、検出した対象物のエッジに基づく対称となる比較位置でのエッジとなっている画素の数をそれぞれカウントし、その比較位置間のエッジ画素数の差が閾値以上の場合に対象物の一部分に光が当たっていると判断する。このように、画像処理装置では、輝度の変化の表れ易いエッジ情報を用いて判断することにより、対象物の一部分に光が当たっているか否かをより高精度に判断することができる。

本発明は、撮像画像における対象物のエッジに基づいて判断することにより、対象物の一部分に光が当たっているか否かを高精度に判断することができる。

以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。

本実施の形態では、本発明に係る画像処理装置を、車両に搭載される顔向き検出装置に適用する。本実施の形態に係る顔向き検出装置は、ドライバの顔向きを検出し、その顔向き情報を脇見判定装置や衝突防止装置等の各種運転支援装置に提供する。

図１及び図２を参照して、顔向き検出装置１について説明する。図１は、本実施の形態に係る顔向き検出装置の構成図である。図２は、顔領域と縦エッジヒストグラムを付加した撮像画像の一例である。

顔向き検出装置１は、ドライバの顔周辺を撮像し、その撮像画像からドライバの顔領域を検出し、さらに、顔向きを検出する。特に、顔向き検出装置１は、顔領域及び顔向きの誤検出を低減するために、ドライバの顔に対する光環境が処理に適した環境か否かを判断する（具体的には、ドライバの顔の片側に横方向から光（太陽光）が当たっているか否かを判断する）。顔向き検出装置１は、カメラ２と画像処理装置３を備えている。

カメラ２は、ドライバの顔周辺の撮像画像を取得する近赤外線カメラであり、近赤外線を取り込み、その近赤外線の輝度に応じた近赤外線画像を生成する。カメラ２は、インストルメントパネルあるいはステアリングコラムにドライバの顔の方向に向けて取り付けられている。カメラ２では、一定時間毎（例えば、１／３０秒）毎に撮像し、各フレームの近赤外線画像情報を画像信号として画像処理装置３に送信する。なお、鮮明な近赤外線画像を得るために、近赤外線投光器を備える構成とし、近赤外線投光器によりドライバの顔周辺に近赤外線を照射するようにするとよい。

画像処理装置３は、画像処理用のＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]等からなり、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによって各種処理を行う。画像処理装置３では、一定時間毎に、カメラ２から画像信号を受信し、各フレームの近赤外線の撮像画像を順次取り入れる。そして、画像処理装置３では、フレーム毎に、光環境判断処理を行い、ドライバの顔に横方向から光が当たっていないと判断した場合や光環境判断をできなかった場合には顔領域検出処理と顔向き検出処理を行う。なお、本実施の形態では、画像処理装置３における処理が特許請求の範囲に記載するエッジ検出手段及び判断手段に相当する。

画像処理装置３では、新たなフレームの撮像画像を取得すると、光環境判断処理を実行する。まず、画像処理装置３では、前回のフレームに対する処理で顔領域値を更新しているか否かを判定する。顔領域は、撮像画像においてドライバの顔が存在する領域であり、この領域の枠が顔と背景との境界辺りに相当する。フレーム間隔は極短時間なので、前回フレームと今回フレームとではドライバの顔の位置は殆ど移動していないと予測される。そこで、前回フレームの顔領域値の左右の枠を用いてドライバの顔と背景との境界辺りを探索する。逆に、前回フレームの顔領域値が無い場合、今回フレームでのドライバの顔の位置が顔領域値から移動している可能性があるので、その顔領域値を用いることができない。

前回フレームに対する処理で顔領域値を更新している場合、画像処理装置３では、撮像画像（輝度画像）の全画素に対して縦エッジフィルタを用いて縦エッジを求め、縦エッジ画像を生成する。縦エッジ画像は、エッジとなっている画素とエッジとならない画素とからなる二値画像である。そして、画像処理装置３では、縦エッジ画像から縦エッジヒストグラムを生成する。縦エッジヒストグラムは、縦方向のライン毎に、エッジとなっている画素の数をカウントし、そのカウント値を度数分布した柱状グラフである。エッジは、画像において明るい部分と暗い部分との境界であり、輝度変化の境界（輝度勾配の大きいところ）を示す。

車内は比較的暗いので、ドライバの顔に光が当たっていると、顔と背景との境界はエッジとなる。したがって、顔と背景との境界部分では、他の部分に比べて縦エッジとなる画素の数が非常に多くなる。特に、ドライバの顔の一部分に横方向から光が当たっている場合、顔の一方側が明るい部分となり、他方側が暗い部分となる。したがって、明るい側の顔と背景との境界部分については、縦エッジとなる画素の数は非常に多くなる。一方、暗い側の顔と背景との境界部分については、縦エッジとなる画素の数は、顔の中心部よりは多くなるが、明るい側の境界部分に比べると明らかに少なくなる。このように、ドライバの顔の一部分に横方向から光が当たっている場合には、顔の左右の境界部分で縦エッジに差が発生する。

続いて、画像処理装置３では、縦エッジヒストグラムを前回の顔領域値の左枠（横方向の画素位置）を中心として左右両側に探索画素数分探索し、その範囲内での左エッジピークを探索する。また、画像処理装置３では、縦エッジヒストグラムを前回の顔領域値の右枠（横方向の画素位置）を中心として左右両側に探索画素数分探索し、その範囲内での右エッジピークを探索する。探索画素数は、フレーム間隔時間と顔の移動量との関係を考慮し、実験等によって予め設定される。左エッジピーク、右エッジピークは、前回の顔領域値の横枠に隣接あるいは近接している範囲（つまり、顔の左右両側と背景との境界付近）において縦ラインでの縦エッジとなっている画素の最大値である。

そして、画像処理装置３では、左エッジピークと右エッジピークとの差の絶対値を算出し、その差の絶対値が閾値以上か否かを判定する。閾値は、ドライバの顔の一部分に光が当たっていることにより左右のエッジピークに明らかな差があることを判別するための閾値であり、実験等によって予め設定される。画像処理装置３では、差の絶対値が閾値以上の場合にはドライバの顔の一部分に横方向から光が当たっていると判断し、差の絶対値が閾値未満の場合にはドライバの顔の一部分に横方向から光が当たっていないと判断する。ちなみに、ドライバの顔の一部分に横方向から光が当たっていると判断した場合、左エッジピークと右エッジピークとを比較することにより、大きい方のエッジピークの側に光が当たっていると判定することもできる。

図２には、ドライバの顔周辺の撮像画像Ｉの一例を示しており、撮像画像Ｉ中に前回処理で更新した顔領域Ａと今回処理で求めた縦エッジヒストグラムＧを付加している。この例の場合、ドライバの顔の左側に太陽光が当たっているので、顔の右側が黒っぽくなっている（斜線で示す部分）。また、前回の顔領域Ａ内に今回のドライバの顔がほぼ収まっており、顔領域Ａの左右の枠近傍にドライバの顔と背景との境界が位置している。そして、左側の枠の近傍に左エッジピークＬＰが存在し、右側の枠の近傍に右エッジピークＲＰが存在している。この例の場合、太陽光が当たっている顔の左側と背景との境界の方が、右側の境界より輝度変化が鮮明である。そのため、左エッジピークＬＰが右エッジピークＲＰに比べて明らかに大きくなっており、その差が顕著である。

顔の一部分に横方向から光が当たっている場合、カメラ２のシャッタ制御によって、撮像画像中のドライバの顔において光が当たっている部分が白くつぶれ、光が当たっていない部分が黒くつぶれる虞がある。このような撮像画像からは顔の眼や鼻等の各部位を正確に抽出できなくなり、顔領域や顔向きを誤検出してしまう。したがって、顔の一部分に横方向から光が当たるような光環境下で撮像された撮像画像は、これらの処理を行うのには不適である。

そこで、ドライバの顔の一部分に横方向から光が当たっていると判断した場合、画像処理装置３では、今回のフレームについては顔領域検出処理及び顔向き検出処理を中止する。一方、ドライバの顔の一部分に横方向から光が当たっていないと判断した場合、画像処理装置３では、今回のフレームについて顔領域検出処理及び顔向き検出処理を実行する。顔領域検出処理、顔向き検出処理については、従来の方法を用いて行い、用いる方法については特に限定しない。そして、画像処理装置３では、顔領域を検出すると、その顔領域値を更新する。

図１を参照して、顔向き検出装置１の動作について説明する。特に、画像処理装置３における処理については図３のフローチャートに沿って説明する。図３は、図１の画像処理装置における処理の流れを示すフローチャートである。顔向き検出装置１では、以下の動作を一定時間毎に繰り返し行う。

カメラ２では、一定時間毎に、近赤外線を受光し、近赤外線画像を撮像し、その撮像した近赤外線画像を画像信号として画像処理装置３に送信する。画像処理装置３では、一定時間毎に、画像信号を受信し、今回フレームの撮像画像を取得し、ＲＡＭの所定領域に記憶する。

今回フレームの撮像画像を取得すると、画像処理装置３では、顔領域値を前回の処理で更新しているか否かを判定する（Ｓ１）。

Ｓ１にて更新していると判定した場合、画像処理装置３では、今回フレームの撮像画像から縦エッジ画像を生成する（Ｓ２）。そして、画像処理装置３では、縦エッジ画像から縦エッジヒストグラムを作成する（Ｓ３）。続いて、画像処理装置３では、前回フレームの顔領域値の左枠を基準にして縦エッジヒストグラムから左エッジピークを探索するとともに（Ｓ４）、前回フレームの顔領域値の右枠を基準にして縦エッジヒストグラムから右エッジピークを探索する（Ｓ５）。そして、画像処理装置３では、左エッジピークと右エッジピークとの差（絶対値）が閾値以上か否かを判定する（Ｓ６）。

Ｓ１にて更新していないと判定した場合又はＳ６にて閾値以上と判定した場合、画像処理装置３では、今回フレームの撮像画像から顔領域を検出する（Ｓ７）。さらに、画像処理装置３では、顔領域画像から顔向きを検出する（Ｓ８）。そして、画像処理装置３では、顔領域値を更新し（Ｓ９）、今回フレームに対する処理を終了する。最後に、画像処理装置３は、その顔向きの情報を顔向き信号として運転支援装置に送信する。

Ｓ６にて閾値未満と判定した場合、画像処理装置３では、顔領域値を更新せずに（Ｓ１０）、今回フレームに対する処理を終了する。また、画像処理装置３では、今回の顔向き信号を運転支援装置に送信しない。

この顔向き検出装置１によれば、前回の顔領域値を基準にして縦エッジヒストグラムの左右のエッジピークを比較することにより、ドライバの一部分に横方向から光が当たっているか否かを高精度に判定することができる。特に、輝度変化を境界を示す縦エッジのヒストグラムを用いて比較するので、より高精度な判定を行うことができる。また、前回の顔領域値を用いて左右のエッジピークを探索することにより、今回フレームにおける顔と背景との境界付近を高精度に探索でき、探索負荷も低減できる。

さらに、顔向き検出装置１によれば、光環境の適していないフレームについては顔領域検出処理及び顔向き検出処理を行わないので、顔領域や顔向きの誤検出を低減することができる。さらに、処理負荷の非常に大きい顔領域検出処理や顔向き検出処理を行う前に縦エッジ画像やそのヒストグラムを用いて今回フレームが各処理に適してるか否かを判別するので、不適の場合には余計な処理を行わず、処理負荷を低減できる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両のドライバの顔の向きを検出する顔向き検出装置に適用したが、他の分野にも適用可能であり、また、衝突防止装置や脇見判定装置などの他の装置に組み込んだりあるいは光環境だけを判断する装置としてもよい。

また、本実施の形態では対象物（顔）の一部分に横方向から光が当たっているか否かを判断する構成としたが、上下方向等の他の方向から光が当たっているか否かを判断する構成としてもよい。上下方向の場合、横エッジ画像から横エッジヒストグラムを作成し、上エッジピークと下エッジピークとの差を閾値で判定するようにするとよい。

また、本実施の形態では左右の縦ラインでのエッジとなっている画素の数（エッジピーク）の差によって判断する構成としたが、左右の縦ラインでの輝度値の差によって判断する構成としてもよい。

また、本実施の形態では前回の顔領域を利用して左右のエッジピークを探索する構成としたが、予め設定された顔領域（例えば、平均的なドライバの顔の位置を予め実験等で求めておく）を利用してもよいし、あるいは、顔領域を用いないで、左右のエッジピークを探索する構成としてよい。

本実施の形態に係る顔向き検出装置の構成図である。 顔領域と縦エッジヒストグラムを付加した撮像画像の一例である。 図１の画像処理装置における処理の流れを示すフローチャートである。

符号の説明

１…顔向き検出装置、２…カメラ、３…画像処理装置

Claims (2)

1. 顔を撮像した撮像画像から顔に対する光環境を判断する画像処理装置であって、
   撮像画像に基づいて顔と背景との境界のエッジを検出するエッジ検出手段と、
   前記エッジ検出手段で検出した顔と背景との境界のエッジに基づく顔と背景との左右の境界近傍間のエッジとなっている画素の数の差が閾値以上の場合に顔の一部分に横方向から光が当たっていると判断する判断手段と
   を備えることを特徴とする画像処理装置。
2. 前記判断手段は、前記エッジ検出手段で検出したエッジに基づく顔領域の左右対称となる端部近傍間のエッジとなっている画素の数の差が閾値以上の場合に顔の一部分に横方向から光が当たっていると判断することを特徴とする請求項１に記載する画像処理装置。

Images