JP5041170B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、より特定的には、被写体の部分画像を取得する画像処理装置に関する。

従来より、カメラにより撮影した全体画像を探索し、その中から必要な部分のみを抽出して受信側に送信するビデオ画像送信装置が存在する。例えば、特許文献１に記載の装置では、カメラにより撮影された画像から、必要な部分のみを抽出し、その部分のみをエンコーダを用いて符号化して送信機により送信している。具体的には、カメラにより撮影された人の顔を含む画像を探索することにより、顔面を検出している。次に、検出された顔面を含む顔面領域を抽出し、その抽出した領域のみをエンコーダを用いて符号化している。そして、符号化された画像データを送信機により送信している。これにより、符号化されるべきデータ量を減少させることができる。
特開２００１−２１８１７９号公報

以上のように、特許文献１に記載の装置では、カメラにより撮影された画像を探索して必要な部分領域を抽出し、必要な部分領域のみを符号化している。部分領域に関しては、画像認識処理を詳細に行うために高画質な画像であることが好ましい。例えば、人の顔を撮像した画像を処理し、目の開閉状態や視線の状態を認識する場合、人の顔を含む広域領域を撮像した画像から目の位置を検出し、検出した目の部分領域の詳細な画像が必要となる。しかしながら、部分領域の高画質な画像を得るためにその部分領域を含む広域領域の高画質な画像をカメラにより撮像し、撮像した画像を探索するとすれば、高画質な画像から必要な部分領域を探索して検出することになる。そのため、検出処理の対象となるデータ量が多くなり、装置の処理負荷が高くなる。従って、部分領域を検出するのに時間を要するという問題や、処理能力の高いハードウェアおよび大容量のメモリが必要となることからコストが高くなるという問題がある。通常、カメラにより撮影された画像から必要とする部分領域を検出するだけであれば、比較的低画質な画像でも十分である。従って、特許文献１に記載の装置のように、高画質な画像を探索して部分領域を抽出する方法では、その探索の際に不要に高い負荷がかかる。また、従来方法においては、撮像部に併設された画像処理部により、広域画像を探索し画像の加工を行っているが、画像サイズが大きいため広域画像の探索処理の負荷が大きい、又は、処理前の生画像を他の手法により加工したい等の要求により、撮像部と画像処理部とが併設できない場合がある。このような場合は、画像サイズ等の理由により、これらサイズの大きな画像を伝送するための大容量の伝送ケーブルや大容量のバッファメモリが必要となり、課題となっている。

それ故、本発明の目的は、被写体を含む画像から必要な部分領域の画像を低負荷かつ低コストで抽出することが可能な画像処理装置を提供することである。

本発明は、上記課題を解決するために、以下の構成を採用した。すなわち、本発明に係る画像処理装置は、画像取得手段と、対象特定手段とを備える。画像取得手段は、被写体を含む所定領域を撮像した第１画像と、該第１画像よりも分解能が高く、該所定領域よりも狭い領域を撮像した第２画像とを取得する。対象特定手段は、画像取得手段で取得した第１画像を探索することによって、第１画像の中から、画像認識処理を行う対象となる対象領域を特定する。また、画像取得手段は、対象特定手段で特定された対象領域を撮像した第２画像を取得する。また、当該画像処理装置は、さらに、対象特定手段で対象領域を特定した後は、画像取得手段により第１画像を取得すると対象特定手段で特定された対象領域について保存した座標位置と大きさとの情報を用いて画像取得手段により第２画像を取得するようにして、画像取得手段による前記第１画像の取得と、画像取得手段による第２画像の取得と、第２画像の前記画像認識処理への出力とを繰り返してもよい。

この発明によれば、被写体を含む広域領域を撮像した画像から必要な部分領域を探索して抽出する場合、低負荷で探索を行うことができ、また、必要な部分領域を撮像した高画質な部分画像を取得することができる。具体的には、本発明に係る画像処理装置の画像取得手段は、被写体を含む広域領域を撮像した第１画像を取得する。対象特定手段は、第１画像を探索することにより、第１画像に対応する広域領域のうち、必要な部分領域を特定する。そして、画像取得手段は、特定された部分領域を撮像した第２画像を、第１画像よりも分解能の高い画像として、取得する。すなわち、比較的低画質な広域領域を撮像した第１画像を探索して、必要な部分領域を撮像した第２画像を取得することによって、高画質な広域領域を撮像した画像を探索することに比べて、低負荷で探索することができる。これにより、装置の負荷を低減することができる。また、探索する対象となる広域画像のデータ量が小さいため、処理能力の低いハードウェアで探索することができ、メモリ容量も小さくすことができるため、低コスト化を実現できる。

本発明において、被写体を撮像する撮像手段をさらに備えてもよい。この構成において、画像取得手段は、撮像手段によって撮像された画像に対して間引き処理を行うことによって該撮像された画像より解像度の低い第１画像を取得し、撮像手段によって撮像された画像から対象領域に対応する領域を抽出することによって第２画像を取得してもよい。

この構成によれば、画像取得手段は、撮像手段により撮像した画像を間引き処理することにより、撮像した画像よりも解像度の低い第１画像を取得することができる。対象特定手段は、間引き処理された第１画像を探索することにより、対象領域を特定することができる。そして、画像取得手段は、撮像手段により撮像した画像から、特定された領域を抽出することによって、第１画像よりも解像度の高い第２画像を取得することができる。これにより、簡単な構成で必要な部分領域を探索する際に、低負荷で探索することができ、解像度の高い部分画像を取得することができる。

本発明において、被写体を撮像する撮像手段と、被写体を光学ズームにより拡大縮小する光学ズーム手段とをさらに備えてもよい。この構成において、画像取得手段は、第１画像よりも光学ズーム手段によって拡大した被写体を撮像手段で撮像することにより、第２画像を取得してもよい。

この構成によれば、光学ズーム手段により撮像範囲を広くすることによって被写体を含む広域領域を撮像した第１画像を取得し、取得した第１画像を探索することによって必要な部分領域を特定することができる。そして、特定した部分領域を光学ズーム手段により光学的に拡大することにより、被写体の部分領域を撮像した第２画像を取得することができる。これにより、比較的低解像度な撮像手段を用いても、必要な部分領域の詳細を撮像した第２画像を取得することができ、第１画像の探索の際にも低負荷で探索することができる。

本発明において、対象特定手段で特定された第２画像または第１画像のいずれか一方の画像を出力するように画像取得手段を制御する制御手段をさらに備えてもよい。この構成において、画像取得手段は、撮像手段が配設された撮像部に配設される。対象特定手段と制御手段とは、撮像部とは別体のカメラＥＣＵ部に配設される。そして、制御手段からの制御信号に基づいて、撮像部からカメラＥＣＵ部に対して第１画像または第２画像のいずれかの画像が伝送されてもよい。

この構成によれば、被写体を撮像する撮像部と画像処理を行うカメラＥＣＵ部とを物理的に分離することができる。カメラＥＣＵ部は、被写体を含む広域領域を撮像した第１画像または被写体の部分領域を撮像した第２画像のいずれかの画像を、画像処理の必要に応じて取得することができる。

本発明において、撮像部とカメラＥＣＵ部とが、伝送ケーブルと制御線とで接続され、該制御線を用いて制御信号を送信し、該伝送ケーブルを用いて撮像部からカメラＥＣＵ部に対して第１画像または第２画像のいずれかの画像が伝送されてもよい。

この構成によれば、伝送ケーブルを用いて撮像部からカメラＥＣＵ部に対して画像を伝送することができる。また、制御線を用いてカメラＥＣＵ部から撮像部に対して制御信号を送信することができる。

本発明において、画像取得手段と対象特定手段とは、撮像手段が配設された撮像部に配設されてもよい。そして、撮像部から、撮像部とは別体の画像認識処理を行うカメラＥＣＵ部に対して第２画像のみが伝送されてもよい。

この構成によれば、被写体の部分領域を撮像する撮像部と画像処理を行うカメラＥＣＵ部とを物理的に分離することができる。また、撮像部がカメラＥＣＵ部に伝送する画像を被写体の部分領域を撮像した第２画像のみとすることで、画像伝送の際に生じる遅延を防止することができる。

本発明において、撮像部とカメラＥＣＵ部とは、伝送ケーブルで接続され、該伝送ケーブルを用いて第２画像が伝送されてもよい。

この構成によれば、伝送ケーブルを用いて撮像部からカメラＥＣＵ部に対して第２画像を転送することができる。

本発明において、画像取得手段は、複数の第２画像を１つに結合した結合画像を前記第２画像としてカメラＥＣＵ部に伝送してもよい。

この構成によれば、カメラＥＣＵ部で行う画像処理を効率的に行うことができる。すなわち、所定の部分領域を撮像した画像が結合画像中の所定位置に配置されることにより、カメラＥＣＵ部が所定の部分領域の位置と大きさを指定して撮像部より取得するよりも、指定する処理を省略することができるため、効率的に画像処理を行うことができる。

本発明において、伝送ケーブルで伝送する信号はＮＴＳＣであってもよい。

この構成によれば、比較的安価で実績のあるＮＴＳＣケーブルを使用することができる。

本発明において、伝送ケーブルで伝送する信号はＧＶＩＦまたはＬＶＤＳであってもよい。

この構成によれば、取得した画像をデジタル伝送することができる。また、高速伝送が可能なため、より高画質な画像を伝送することができる。

本発明において、伝送ケーブルは、シールド線付の差動信号伝送ケーブルであり、該シールド線を制御線として使用してもよい。

この構成によれば、撮像部とカメラＥＣＵ部とを接続する制御線を省略することができるため、低コスト化を実現できる。また、制御線を省略することによって、ケーブルの配線スペースを省略することができる。

本発明において、対象特定手段は、予め定められた複数の対象領域を特定可能であり、該複数の対象領域の中から画像認識処理に必要な対象領域を、選択的に探索して特定してもよい。

この構成によれば、画像認識処理に必要な対象領域が複数ある場合、必要な対象領域を選択して探索することができる。これにより、状況に応じて必要な部分画像のみを取得することができる。

本発明において、画像取得手段は、運転者の顔の画像を取得してもよい。

この構成によれば、運転者の顔の画像を取得することにより、運転者の状態を推定する場合に用いられることができる。

本発明において、画像取得手段は、車両周辺の環境の画像を取得してもよい。

この構成によれば、車両周辺の環境の画像を取得することにより、車両周辺の状況を推定する場合に用いられることができる。

この発明によれば、被写体を含む広域領域を撮像した画像から必要な部分領域を探索して抽出する場合、低負荷で探索を行うことができ、また、必要な部分領域を撮像した高画質な部分画像を取得することができる。これにより、被写体の必要な部分領域を撮像した画像を低負荷かつ低コストで抽出することができる。

（第１の実施形態）
以下、図１から図９を参照して本発明の第１の実施形態に係る画像処理装置について説明する。図１は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。第１の実施形態に係る画像処理装置は、例えば、車両に搭載され、運転者の顔を撮影するために用いられる。

図１に示されるように、画像処理装置１は、撮像センサ２と、領域選択・間引き手段３と、対象特定手段４と、制御手段５とを備える。撮像センサ２と領域選択・間引き手段３は、撮像部１１に配設されている。対象特定手段４と制御手段５は、カメラＥＣＵ部１２に配設されている。また、撮像部１１には、画像を一時的に保存しておくためのバッファ６が配設されている。同様に、カメラＥＣＵ部１２には、バッファ７が配設されている。また、画像処理部１０がカメラＥＣＵ部１２に配設されている。さらに、撮像部１１とカメラＥＣＵ部１２とは、伝送ケーブル８と制御線９とで接続されている。以下、各部について説明する。

（画像処理装置１の各部の説明）
撮像センサ２は、被写体を撮像する撮像手段であり、図示しないレンズから入射した光を電気信号に変換する。撮像センサ２は、被写体である運転者の顔を含む車両の運転席周辺の広域領域を撮影する。撮像センサ２は、所定の解像度の画像を撮像する。撮像センサ２により撮像された画像は、一時的にバッファ６に保存される。撮像センサ２は、具体的には、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。

領域選択・間引き手段３は、被写体を含む所定領域を撮像した広域画像と、該広域画像よりも分解能が高く、該所定領域よりも狭い領域を撮像した部分画像とを取得する画像取得手段である。具体的には、領域選択・間引き手段３は、２つの処理を実行する回路である。すなわち、領域選択・間引き手段３は、撮像センサ２により運転者の顔を含む広域領域を撮像した画像を間引き処理することによって、撮像センサ２により撮像した画像より解像度の低い画像を広域画像として生成する。また、撮像センサ２により撮像した画像の部分領域のみを選択して抽出し、部分画像として生成する。

広域画像は、撮像センサ２により撮像した画像を間引き処理することにより生成されるため、広域領域を撮像した画像にも拘わらず、撮像センサ２により撮像した画像よりもデータ量が小さい画像となっている。ここで、間引き処理は、例えば、撮像センサ２により撮像した画像全体の画素から一部の画素を取り出すことによって行われる。例えば、次の方法がある。すなわち、近接する４つの画素の内、１つの画素のみを取り出し、残りの３つの画素を破棄する。そして、この処理を撮像センサ２により撮像した画像全体に対して行い、取り出した画素を結合して１つの画像を生成することにより間引き処理が行われる。また、別の方法では、隣接する４つの画素の平均を取って１つの画素とする処理を撮像センサ２により撮像した画像全体に対して行い、全体画像の画素数を減らすことにより間引き処理が行われる。以上のような方法により、簡単な処理で、撮像センサ２により撮像された画像よりも解像度の低い画像を生成することができる。

部分画像は、撮像センサ２により撮像した画像の部分領域を切り取った画像であるため、撮像センサ２により撮像した画像と同じ画質（同じ分解能）の画像である。しかし、部分領域のみを切り取っているため、部分画像の画像サイズは、撮像センサ２により撮像した画像よりも小さくなる。部分画像は、撮像センサ２により撮像した画像から、例えば、運転者の顔中心を中心とした所定サイズの画像を抽出することにより、取得される。

対象特定手段４は、領域選択・間引き手段３で間引き処理された広域画像を探索することによって、画像処理の対象となる被写体の所望の部分領域を特定する。具体的には、対象特定手段４は、領域選択・間引き手段３で間引き処理された広域画像を探索し、運転者の顔を特定する。運転者の顔の特定は、従来の方法、例えば、パターンマッチングやエッジ検出、またはこれらの組み合わせの方法により行われる。対象特定手段４は、間引き処理された広域画像における運転者の顔の位置および大きさを求める。

対象特定手段４は、サイズの大きな画像を探索して運転者の顔を判断する際、大きな負荷がかかる。しかしながら、本実施形態に係る画像処理装置１では、広域画像は間引き処理されているため、画像のデータ量は小さくなっている。そのため、広域画像を探索して運転者の顔を特定する場合でも、大きな負荷がかからない。

制御手段５は、対象特定手段４で特定された部分領域を撮像した部分画像または領域選択・間引き手段３により間引き処理された広域画像のいずれか一方の画像を出力するように領域選択・間引き手段３を制御する。制御手段５は、広域画像が必要な場合には、領域選択・間引き手段３に対して、制御線９を介して、広域画像を出力するように制御信号を送信する。広域画像を出力する制御信号を受信した領域選択・間引き手段３は、伝送ケーブル８を介して、制御手段５に広域画像を伝送する。一方、制御手段５は、部分画像（運転者の顔画像）が必要な場合には、領域選択・間引き手段３に対して、制御線９を介して、部分画像を出力するように制御信号を送信する。具体的には、制御手段５は、まず、対象特定手段４で判断された運転者の顔の位置と大きさの情報を取得する。次に、運転者の顔の位置と大きさの情報を含む制御信号を、制御線９を介して、領域選択・間引き手段３に対して送信する。そして、部分画像を出力する制御信号を受信した領域選択・間引き手段３は、伝送ケーブル８を介して、制御手段５に部分画像である運転者の顔の画像を伝送する。

バッファ６およびバッファ７は、メモリにより構成される。バッファ６は、撮像センサ２により撮像された画像を一時的に保存し、領域選択・間引き手段３の要求に従って保存した画像を出力する。バッファ７は、領域選択・間引き手段３から出力された、間引き処理された広域画像または部分画像を一時的に保存する。バッファ７は、対象領域を特定するために、対象特定手段４の要求に従って保存した広域画像を出力する。また、画像処理部１０による画像処理のために、保存した部分画像を出力する。

撮像センサ２と領域選択・間引き手段３とは、撮像部１１に配設される。撮像部１１は、具体的には、カメラ本体であり、運転者の顔を撮影可能な位置に配設される。撮像部１１は、例えば、ステアリングコラムの上部に配設される。また、対象特定手段４と制御手段５とは、カメラＥＣＵ部１２に配設される。カメラＥＣＵ部１２は、撮像部１１とは離れた位置に配設される。

カメラＥＣＵ部１２の画像処理部１０は、撮像部１１から伝送された画像を画像処理し、統計処理することにより、運転者の状態推定等を行う。例えば、画像処理部１０は、部分画像（運転者の顔画像）から運転者の目の開閉状態を認識し、運転者が正常な状態か否かを判断する。そして、画像処理部１０は、運転者の状態推定結果に応じて、車両の制御を行う制御ＥＣＵに対して、必要な動作を行うように制御信号を送信する。なお、画像処理部１０が行う動作については、本発明の特徴部分ではないため、詳細な説明を省略する。

撮像部１１とカメラＥＣＵ部１２とは、伝送ケーブル８と制御線９とで接続される。伝送ケーブル８は、撮像部１１からカメラＥＣＵ部１２に対して、画像を伝送するためのケーブルである。制御線９は、カメラＥＣＵ部１２から撮像部１１に対して、制御信号を送信するためのケーブルである。伝送ケーブル８は、例えば、ＮＴＳＣケーブルであり、撮像部１１からカメラＥＣＵ部１２に伝送される信号はＮＴＳＣの信号である。なお、伝送ケーブル８は、シールド線付の差動信号伝送ケーブルでもよい。この場合、撮像部１１において画像のアナログ信号がデジタル信号に変換され、撮像部１１からカメラＥＣＵ部１２へＧＶＩＦまたはＬＶＤＳ信号により、伝送される。なお、撮像部１１とカメラＥＣＵ部１２とは、伝送ケーブル８および制御線９で物理的に接続される必要は無く、無線通信により画像および制御信号が伝送されてもよい。

なお、本実施形態では、撮像センサ２と領域選択・間引き手段３とで、解像度の低い広域画像と、解像度の高い部分画像とを取得したが、他の実施形態では、撮像部１１に、光学ズーム機能を有したレンズと、撮像センサと、上記光学ズームレンズにより被写体の拡大縮小を制御するズーム制御手段とを有する構成とすることにより、広域画像と部分画像とを取得してもよい。この場合、運転者の顔を含む広域画像を取得する場合は、レンズの焦点距離を短く制御する（撮像範囲を広くする）ことによって、運転者の顔を含む広域領域を撮像センサにより撮像する。次に、運転者の顔または運転者の顔の部分（例えば、目、鼻等）である部分画像を取得する場合は、撮像された広域画像を上述した対象特定手段４により探索し、必要な部分領域（運転者の顔または運転者の顔の部分）を求める。そして、求められた部分領域に対して、レンズの焦点距離を長く制御する（撮像範囲を狭くする）ことによって、運転者の顔または運転者の顔の部分である部分領域を拡大し、撮像センサにより撮像する。このように、必要な部分に対して光学ズームを行うことにより、広域画像と部分画像とは解像度が同じでも、運転者の顔が拡大されるため、部分画像の方が、実空間における運転者の顔の単位面積あたりの画素数が多くなる。すなわち、光学ズームにより取得した部分画像は、広域画像に比べてより分解能の高い画像となる。従って、部分画像に比べて低画質な広域画像と高画質な部分画像とを取得することができる。高画質な部分画像を取得可能でありながら、広域画像を探索する場合でも、部分画像と同様の画質の広域画像を探索する場合と比較して、大きな負荷がかからない。なお、運転者の顔の位置はおおよその範囲内に収まっているため、予めズームした場合にその範囲内を撮像できるように調整しておくことが好ましい。また、撮像部１１の向きを可変にし、部分画像を撮像する場合は、撮像部１１の向きを撮像する対象となる部分領域の方向に向けるように制御してもよい。

また、その他の実施形態においては、上述した撮像センサ２と領域選択・間引き手段３とを有する撮像部１１は、解像度の異なる２つの撮像センサと、２つの撮像センサにより撮像した画像を切替える切替え手段とを有する撮像部１１に置換されてもよい。この構成では、運転者を含む広域領域を２つの撮像センサにより同時に撮像する。次に、解像度の低い撮像センサで取得した広域画像を対象特定手段４により探索することによって、必要な部分領域の位置と大きさを求める。そして、解像度の高い撮像センサにより撮像された画像において、対象特定手段４により求められた必要な部分領域の位置と大きさの領域を、選択して抽出することにより、解像度の高い部分画像を取得することができる。

（画像処理装置１の動作の説明）
次に、画像処理装置１の動作について、図２から図９を参照して説明する。図２は、画像処理装置１の動作の流れを示すフローチャートである。図２に示されるフローチャートによる処理の流れは、カメラＥＣＵ部１２によって制御される。図２に示されるフローチャートの処理は、例えば、車両が走行中に繰り返し実行される。

ステップＳ１０１において、撮像センサ２により運転者の顔を含む広域領域の広域画像が撮像される。撮像センサ２は常時、運転者の顔を含む広域領域の広域画像を撮像する。撮像された広域画像はバッファ６に一時的に保存される。

図３は、撮像センサ２により運転者の顔を含む広域領域の広域画像が撮像された様子を示す図である。図３に示されるように、撮像センサ２により撮像された広域画像は、運転者の顔、首、肩等を含む画像になっている。また、運転席やシートベルト等も撮像される場合がある。次に、ステップＳ１０２が実行される。

ステップＳ１０２において、カメラＥＣＵ部１２は、必要とする画像種類の判定を行う。撮像する対象となる部分領域が確定していない場合は、広域画像を取得するように判定される。部分領域が確定している場合は、部分領域を取得するように判定される。広域画像が必要な場合、カメラＥＣＵ部１２は、処理をステップＳ１０３に進める。部分画像が必要な場合、カメラＥＣＵ部１２は、ステップＳ１０６に処理を進める。

ステップＳ１０３において、制御手段５は、領域選択・間引き手段３に対して、ステップＳ１０１において撮像された広域画像を間引き処理するように制御信号を送信する。領域選択・間引き手段３は、撮像センサ２により撮像された広域画像を間引き処理する。

図４は、間引き処理された広域画像を示す図である。図４に示されるように、間引き処理された広域画像は、図３の画像と同様の広域領域を撮像した画像であるが、図３で示された広域画像よりも画素数が少なく、低解像度の画像である。従って、間引き処理された広域画像は、図３の広域画像に比べてデータ量が少ない。間引き処理された広域画像は、伝送ケーブル８を介して、カメラＥＣＵ部１２のバッファ７に一時的に保存される。次に、カメラＥＣＵ部１２は、ステップＳ１０４に処理を進める。

ステップＳ１０４において、対象特定手段４により部分領域の認識処理が行われる。対象特定手段４は、バッファ７から間引き処理された広域画像を取り出し、間引き処理された広域画像を探索することにより、運転者の顔の位置を検出する。

図５は、間引き処理された広域画像を探索することにより、運転者の顔を認識する様子を示した図である。対象特定手段４は、間引き処理された広域画像から、従来の顔認識技術であるパターンマッチングやエッジ検出等の方法により、運転者の顔を認識する。対象特定手段４は、予め運転者の顔を認識するように設定されている。図５に示されるように、対象特定手段４は、運転者の顔を認識した場合、間引き処理された広域画像における運転者の顔の位置（顔中心１３の位置）と大きさ（部分領域１４の対角線の長さ）を求める。次に、カメラＥＣＵ部１２は、ステップＳ１０５に処理を進める。

ステップＳ１０５において、カメラＥＣＵ部１２は、ステップＳ１０４において部分画像（運転者の顔画像）の認識が成功したか否かを判定する。部分画像の認識が成功した場合、カメラＥＣＵ部１２は、ステップＳ１０６に処理を進める。部分画像の認識が失敗した場合、カメラＥＣＵ部１２は、ステップＳ１０１に処理を戻す。なお、本フローチャート全体で示される処理を１サイクルとして、初回サイクル時にステップＳ１０３からステップＳ１０５までの処理が実行され、部分領域の位置と大きさが求められる。そして、２回目以降のサイクルでは、必要に応じてステップＳ１０３からステップＳ１０５までの処理が実行される（ステップＳ１０２において次の処理が分岐される）。

ステップＳ１０６において、ステップＳ１０４において求められた部分画像の座標位置と大きさの情報が、次のステップＳ１０７の入力データとして、保存される。次にステップＳ１０７の処理が実行される。なお、上記ステップＳ１０３からステップＳ１０５が実行されなかった場合、すなわち、ステップＳ１０２において、画像種類が部分画像と判定された場合、部分領域の座標位置と大きさの情報は本サイクルの前のサイクルで既に求められ、保存されている。従って、ステップＳ１０２において画像種類が部分画像と判定された場合、ステップＳ１０６では、既に保存されている部分画像の座標位置と大きさの情報が、次のステップＳ１０７の入力データとして使用される。

ステップＳ１０７において、制御手段５は、領域選択・間引き手段３に対して、部分画像を取得するように制御信号を送信する。送信される制御信号には、ステップＳ１０６において求められた部分画像の位置と大きさの情報が含まれている。領域選択・間引き手段３は、バッファ６から撮像センサ２により撮像された広域画像を取り出す。この取り出される広域画像は、間引き処理の対象となった広域画像であってもよく、撮像センサ２により撮像された最新の広域画像でもよい。次に、領域選択・間引き手段３は、制御手段５から送信された位置と大きさの部分画像を、取り出された広域画像から抽出する。

図６は、撮像センサ２により撮像された広域画像から運転者の顔の部分画像を抽出する様子を示した図である。図６では、顔中心１３と部分領域１４が、撮像センサ２により撮像された広域画像上に、図５で示された位置と同じ位置に示されている。領域選択・間引き手段３は、部分領域１４の画像を部分画像として抽出する。

図７は、抽出された部分画像である運転者の顔の画像を示す図である。図７に示される抽出された部分領域１４を撮像した部分画像は、伝送ケーブル８を介して、カメラＥＣＵ部１２のバッファ７に伝送される。次にステップＳ１０８の処理が実行される。

ステップＳ１０８において、画像処理部１０は、ステップＳ１０７で抽出された部分画像の画像認識処理を行う。ここでは、運転者の状態を推定するために、様々な処理がなされ、運転者の状態の推定が行われる。なお、画像処理部１０における処理は、部分画像を用いて運転者の状態の推定する処理であればどのようなものであってもよい。その後、処理は終了する。

なお、必要な部分領域１４を認識するステップＳ１０４において、対象特定手段４は、運転者の顔全体を認識するだけではなく、運転者の目、口等、顔の部分を選択して認識してもよい。また、運転者の顔全体と、運転者の目や口等の顔の部分とを認識してもよい。図８は、運転者の目、口、顔を選択的に探索する様子を示した図である。対象特定手段４は、制御手段５の制御により、例えば、運転者の顔全体の部分領域１４ａ、運転者の右目の部分領域１４ｂ、運転者の左目の部分領域１４ｃおよび運転者の口の部分領域１４ｄを検出するように設定される。対象特定手段４は、制御手段５の制御に従って、例えば、運転者の目の部分領域である部分領域１４ｂおよび部分領域１４ｃを選択的に探索する。このように、顔の部分を選択的に探索して認識することにより、必要な部分のみを抽出することができる。

また、必要な部分領域１４を抽出するステップＳ１０７において、必要な部分画像が複数ある場合に、複数の部分画像を結合した１つの結合画像を、部分画像としてカメラＥＣＵ部１２に伝送してもよい。図９は、複数の必要な部分画像を結合した結合画像の例を示す図である。図９では、図８に示された複数の部分領域（部分領域１４ａ〜１４ｄ）を撮像した部分画像が１つの画像として結合されている。このように、結合画像とすることにより、後段のステップＳ１０８の画像処理において、画像認識の処理がし易くなる。すなわち、結合画像を予め複数の領域に分割し、それぞれの領域には決まった顔の部分（例えば、左上の領域には左目）を配置することにより、画像処理を行う場合に、結合画像の所定の領域のみを処理することにより所定の顔の部分画像を処理することができる。また、複数の部分画像を１つずつ伝送する場合、伝送する前に部分画像の位置と大きさを毎回指定する必要があるが、複数の部分画像を結合して伝送する場合、部分画像の位置と大きさの情報を１回で指定することができる。そのため、伝送効率が向上する。

以上が画像処理装置１の動作の説明である。撮像センサ２により撮像された広域画像を間引き処理し、間引き処理された広域画像を探索することにより、低負荷かつ高速に探索することができ、必要な部分領域を認識することができる。また、解像度の高い広域画像を撮像部１１からカメラＥＣＵ部１２に伝送する必要が無いため、伝送量の増大化による信号のロストを防止することができる。また、解像度の高い広域画像を伝送する場合、伝送量が大きくなるため車載で実績のあるＮＴＳＣ伝送ケーブルを使用することができなくなることがあるが、本画像処理装置では、広域画像を伝送する場合でも伝送量は増大しないため、ＮＴＳＣ伝送ケーブルを使用することができる。さらに、伝送量は増大しないため、カメラＥＣＵ部１２のバッファ７のメモリ容量を低減することができ、低コスト化を実現することができる。

なお、本実施形態に係る画像処理装置１は、運転者の顔を撮像し、運転者の状態の推定を行うことに利用されたが、他の用途にも使用されることができる。画像処理装置１は、例えば、車両周辺の環境を撮像し、車両周辺の歩行者、他車両および障害物の認識に利用される。この場合、撮像部１１は、例えば、車両の前方を撮像可能な位置に配設され、車両の前方を撮像する。他車両の認識に使用される場合、撮像部１１の撮像センサ２により撮像された広域画像は領域選択・間引き手段３により間引き処理され、対象特定手段４に伝送される。対象特定手段４は、間引き処理された広域画像を探索することにより、車両周辺の物体を認識し、その物体の位置と大きさを特定する（対象となる部分領域を特定する）。さらに、領域選択・間引き手段３は特定された物体の画像（部分画像）を撮像センサ２により撮像された画像から抽出し、カメラＥＣＵ部１２に伝送する。カメラＥＣＵ部１２の画像処理部１０は、抽出された物体の画像を処理することにより、その物体が他車両であるか否かを認識する。また、他車両の大きさや向き等を抽出された画像から認識する。これらの認識処理の結果に従って、車両周辺にどのような車両が存在するかを判断することができ、衝突予測等に利用することができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について、図１０を参照して、説明する。図１０は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。

図１０に示される画像処理装置２０において、第１の実施形態に係る画像処理装置１と同様の構成については、同一の符号を付し、説明を省略する。以下、画像処理装置２０について説明する。

図１０に示されるように、画像処理装置２０では、対象特定手段４が撮像部２１に配設されている。また、カメラＥＣＵ部２２には、第１の実施形態では存在した制御手段５が削除されている。さらに、撮像部２１とカメラＥＣＵ部２２とを接続する制御線がない構成となっている。

領域選択・間引き手段３は、撮像センサ２で撮像した画像を、バッファ６を介して取得し、間引き処理する。間引き処理された広域画像は、対象特定手段４に転送される。対象特定手段４は、上述したように、間引き処理された広域画像を探索し、必要な部分領域の位置と大きさを求める。対象特定手段４は、必要な部分領域の位置と大きさの情報を領域選択・間引き手段３に送信する。領域選択・間引き手段３は、上述した方法により、部分画像を抽出し、抽出した部分画像のみを伝送ケーブル８を介してカメラＥＣＵ部１２に伝送する。伝送された部分画像は画像処理部１０により、画像処理がなされ、運転者の状態の推定等が行われる。

このように、対象特定手段４を撮像部１１に配設することにより、第１の実施形態に係る画像処理装置１に比べて、広域画像をカメラＥＣＵ部１２に伝送するための時間を短縮することができ、伝送による遅延を防止することができる。また、必要な部分画像のみをカメラＥＣＵ部１２に伝送することにより、広域画像または部分画像のいずれを伝送するかの制御を行う必要がなくなる。従って、第１の実施形態に係る画像処理装置１の制御線９が不要となり、低コスト化を実現することができる。

なお、第２の実施形態において、第１の実施形態と同様、撮像部２１に、光学ズーム機能を有したレンズと、撮像センサと、上記光学ズームレンズにより被写体の拡大縮小を制御するズーム制御手段とを有する構成とすることにより、広域画像と部分画像とを取得してもよい。また、第１の実施形態と同様、解像度の異なる２つの撮像センサと、２つの撮像センサにより撮像した画像を切替える切替え手段を有する撮像部２１に置換されてもよい。さらに、第２の実施形態においても第１の実施形態で述べた他の用途として使用可能であることは言うまでもない。

（第３の実施形態）
次に、本発明の第３の実施形態に係る画像処理装置について、図１１を参照して、説明する。図１１は、第３の実施形態に係る画像処理装置の構成を示すブロック図である。

図１１に示される画像処理装置３０において、第１の実施形態に係る画像処理装置１と同様の構成については、同一の符号を付し、説明を省略する。以下、画像処理装置３０について説明する。

図１１に示されるように、画像処理装置３０では、伝送ケーブル８が伝送ケーブル１８に置換され、制御線９がない構成となっている。

画像処理装置３０の伝送ケーブル１８は、シールド線付の差動信号伝送ケーブルである。撮像部１１からカメラＥＣＵ部１２へ伝送される信号は、差動信号であり、ＧＶＩＦまたはＬＶＤＳである。制御手段５からの制御信号は、伝送ケーブル１８のシールド線を介して撮像部１１の領域選択・間引き手段３に送信される。撮像部１１の領域選択・間引き手段３からカメラＥＣＵ部１２への画像の伝送は、伝送ケーブル１８を介して行われる。

これにより、撮像部１１とカメラＥＣＵ部１２とを接続する制御線９を省略することができ、コストの低減およびケーブル敷設スペースを省略することができる。

なお、第３の実施形態でも第１の実施形態と同様、光学ズーム機能を用いて広域画像と部分画像とを取得してもよい。また、第１の実施形態と同様、解像度の異なる２つの撮像センサを有する構成であってもよい。さらに、第３の実施形態においても第１の実施形態で述べた他の用途として使用可能であることは言うまでもない。

以上のように、本発明では、低負荷かつ低コストで、被写体の必要な部分領域を撮像した高画質な画像を取得することができ、例えば、車両に搭載される画像処理装置として利用することができる。

第１の実施形態に係る画像処理装置の構成を示すブロック図 第１の実施形態に係る画像処理装置１の動作の流れを示すフローチャート 撮像センサにより運転者の顔を含む広域領域の広域画像が撮像された様子を示す図 間引き処理された広域画像を示す図 間引き処理された広域画像を探索することにより、運転者の顔を認識する様子を示した図 撮像センサにより撮像された広域画像から運転者の顔の部分画像を抽出する様子を示した図 抽出された部分画像である運転者の顔の画像を示す図 運転者の目、口、顔を選択的に探索する様子を示した図 複数の必要な部分画像を結合した結合画像の例を示す図 第２の実施形態に係る画像処理装置の構成を示すブロック図 第３の実施形態に係る画像処理装置の構成を示すブロック図

符号の説明

１、２０、３０ 画像処理装置
２ 撮像センサ
３ 領域選択・間引き手段
４ 対象特定手段
５ 制御手段
６、７ バッファ
８、１８ 伝送ケーブル
９ 制御線
１０ 画像処理部
１１、２１ 撮像部
１２、２２ カメラＥＣＵ部
１３ 顔中心
１４ 部分領域

Claims (14)

1. 被写体を含む所定領域を撮像した第１画像と、該第１画像よりも分解能が高く、該所定領域よりも狭い領域を撮像した第２画像とを取得する画像取得手段と、
   前記画像取得手段で取得した前記第１画像を探索することによって、前記第１画像の中から、画像認識処理を行う対象となる対象領域を特定する対象特定手段とを備え、
   前記画像取得手段は、前記対象特定手段で特定された対象領域を撮像した前記第２画像を取得し、
   前記対象特定手段で対象領域を特定した後は、前記画像取得手段により前記第１画像を取得すると前記対象特定手段で特定された対象領域について保存した座標位置と大きさとの情報を用いて前記画像取得手段により前記第２画像を取得するようにして、前記画像取得手段による前記第１画像の取得と、前記画像取得手段による前記第２画像の取得と、前記第２画像の前記画像認識処理への出力とを繰り返すことを特徴とする、画像処理装置。
2. 前記被写体を撮像する撮像手段をさらに備え、
   前記画像取得手段は、前記撮像手段によって撮像された画像に対して間引き処理を行うことによって該撮像された画像より解像度の低い前記第１画像を取得し、前記撮像手段によって撮像された画像から前記対象領域に対応する領域を抽出することによって前記第２画像を取得する、請求項１に記載の画像処理装置。
3. 前記被写体を撮像する撮像手段と、
   前記被写体を光学ズームにより拡大縮小する光学ズーム手段とをさらに備え、
   前記画像取得手段は、前記第１画像よりも前記光学ズーム手段によって拡大した前記被写体を前記撮像手段で撮像することにより、前記第２画像を取得することを特徴とする、請求項１に記載の画像処理装置。
4. 前記対象特定手段で特定された前記第２画像または前記第１画像のいずれか一方の画像を出力するように前記画像取得手段を制御する制御手段をさらに備え、
   前記画像取得手段は、前記撮像手段が配設された撮像部に配設され、
   前記対象特定手段と前記制御手段とは、前記撮像部とは別体のカメラＥＣＵ部に配設され、
   前記制御手段からの制御信号に基づいて、前記撮像部から前記カメラＥＣＵ部に対して前記第１画像または前記第２画像のいずれかの画像が伝送されることを特徴とする、請求項２または３に記載の画像処理装置。
5. 前記撮像部と前記カメラＥＣＵ部とが、伝送ケーブルと制御線とで接続され、該制御線を用いて前記制御信号を送信し、該伝送ケーブルを用いて前記撮像部から前記カメラＥＣＵ部に対して前記第１画像または前記第２画像のいずれかの画像が伝送されることを特徴とする、請求項４に記載の画像処理装置。
6. 前記画像取得手段と前記対象特定手段とは、前記撮像手段が配設された撮像部に配設され、
   前記撮像部から、前記撮像部とは別体の画像認識処理を行うカメラＥＣＵ部に対して前記第２画像のみが伝送されることを特徴とする、請求項２または３に記載の画像処理装置。
7. 前記撮像部と前記カメラＥＣＵ部とは、伝送ケーブルで接続され、該伝送ケーブルを用いて前記第２画像が伝送されることを特徴とする、請求項６に記載の画像処理装置。
8. 前記画像取得手段は、複数の前記第２画像を１つに結合した結合画像を前記第２画像として前記カメラＥＣＵ部に伝送することを特徴とする、請求項４から７のいずれか１項に記載の画像処理装置。
9. 前記伝送ケーブルで伝送する信号はＮＴＳＣであることを特徴とする、請求項５または７に記載の画像処理装置。
10. 前記伝送ケーブルで伝送する信号はＧＶＩＦまたはＬＶＤＳであることを特徴とする、請求項５または７に記載の画像処理装置。
11. 前記伝送ケーブルは、シールド線付の差動信号伝送ケーブルであり、該シールド線を前記制御線として使用することを特徴とする、請求項５に記載の画像処理装置。
12. 前記対象特定手段は、予め定められた複数の前記対象領域を特定可能であり、該複数の対象領域の中から画像認識処理に必要な対象領域を、選択的に探索して特定することを特徴とする、請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記画像取得手段は、運転者の顔の画像を取得することを特徴とする、請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記画像取得手段は、車両周辺の環境の画像を取得することを特徴とする、請求項１から１２のいずれか１項に記載の画像処理装置。

Images