JP5778522B2 - 画像処理装置、および画像処理プログラム - Google Patents

Description

この発明は、ビデオカメラ等の撮像装置で撮像した複数のフレーム画像から、このフレーム画像よりも高精細な画像を生成する画像処理装置、および画像処理プログラムに関する。

従来、ビデオカメラ等の撮像装置で撮像したフレーム画像から、このフレーム画像よりも高精細な画像（以下、高精細画像と言う。）を生成する技術（以下、超解像技術と言う。）が種々提案されている（例えば、特許文献１〜３等参照）。一般に、ビデオカメラ等の撮像装置は、解像度が高いものほど高価である。この超解像技術は、撮像装置を使用する様々なシステムの構築にかかるコストを低減するのに有用である。

撮像装置を使用するシステムは、そのシステムの用途や目的により、撮像したオブジェクトの認識率が要求される。例えば、駅、繁華街、ショッピングセンタ等、不特定多数の人が集まる場所では、複数の防犯カメラを設置し、不審者等を監視するための監視システムを構築している。この監視システムでは、防犯カメラで撮像したフレーム画像に撮像されている人物の顔について、ある程度の認識率が要求される。また、監視システムは、広域にわたって不審者等を監視するため、複数の防犯カメラを使用している。要求される顔の認識率を満足させるために、比較的高解像度の防犯カメラを使用すると、システムの構築にかかるコストが高くなる。そこで、比較的低解像度の防犯カメラを使用し、上述の超解像技術を利用することにより、システム構築にかかるコストを低減し、且つ、要求される顔の認識率を確保することが行われている。

なお、この超解像技術を利用するシステムとしては、上述の監視システム以外にも、道路を走行している車両のナンバープレートに表記されているナンバープレート番号を認識し、２地点間における車両の旅行時間等を得る交通管制システム等がある。

特開２００７−１５７００１号公報 特開２００５−１３０４４３号公報 特開２００５− ７２９３５号公報

しかしながら、特許文献１、２等で提案されている超解像技術は、フレーム画像に撮像されている人物等のオブジェクトについて、複数枚のフレーム画像から高精細なオブジェクトの画像（例えば、顔画像）を生成するとき、撮像フレーム間におけるオブジェクトの向きの違いを考慮していなかった。

この発明の目的は、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮することで、対象オブジェクトについて従来よりも高精細な画像を生成することができる画像処理装置、および画像処理プログラムを提供することにある。

この発明の画像処理装置は、上記目的を達するために、以下のように構成している。

画像入力部には、撮像装置で撮像したフレーム画像が入力される。撮像装置は、例えば、１秒間に３０フレーム程度のフレーム画像（動画像）を出力するビデオカメラであってもよいし、レリーズボタンの操作に応じて撮像するカメラや連写機能を有するカメラであってもよい。

抽出部が、画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクト（例えば、対象者の顔や、車両のナンバープレート）が撮像されているフレーム画像を複数フレーム抽出する。基準フレーム画像選択部は、抽出部が抽出した複数のフレーム画像の中から、基準フレーム画像を選択する。例えば、抽出部が抽出した複数のフレーム画像の中から、対象者の顔（対象オブジェクト）の向きが最も正面に近いフレーム画像を、基準フレーム画像として選択する。
また、分割部は、抽出部が抽出した複数フレームのフレーム画像毎に、対象オブジェクトの撮像領域を予め定めた画素数に応じて格子状に分割する。特徴点設定部は、処理対象である対象オブジェクトに対して複数の特徴点を設定する。

非剛体変形部は、基準フレーム画像選択部が基準フレーム画像として選択しなかった非基準フレーム画像毎に、特徴点設定部が設定した各特徴点の位置が、基準フレーム画像に撮像されている対象オブジェクトの対応する特徴点の位置に合うように分割部が格子状に分割した各格子点を移動させるFree Form Deformations（ＦＦＤ）により、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる非剛体変形を行う。

高精細画像生成部は、基準フレーム画像選択部が選択した基準フレーム画像に対して、分割部が格子状に分割した各格子点の画素値を、非剛体変形部が非剛体変形を行った非基準フレーム画像の対応する格子点の画素値を用いて決定した対象オブジェクトの高精細画像を生成する。

また、高精細画像生成部が生成した高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理を行う構成としてもよい。

したがって、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮し、これら複数のフレーム画像から、対象オブジェクトについて、これらのフレーム画像よりも高精細な画像を生成することができる。

この発明によれば、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮し、この対象オブジェクトについて高精細な画像を生成することができる。

画像処理装置の主要部の構成を示すブロック図である。 画像処理装置における高精細画像生成処理を示すフローチャートである。 非剛体変形処理を説明する図である。 非剛体変形処理を説明する図である。 非剛体変形処理を説明する図である。

以下、この発明の実施形態である画像処理装置について説明する。

図１は、この画像処理装置の主要部の構成を示すブロック図である。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、出力部５と、を備えている。

制御部２は、画像処理装置１本体各部の動作を制御する。

画像入力部３には、ビデオカメラ１０が接続されている。ビデオカメラ１０は、例えば防犯カメラである。ビデオカメラ１０は、不審者の侵入や、不審物の放置等を監視する監視対象エリアが撮像視野内に収まるように設置している。ビデオカメラ１０は、監視対象エリアを撮像した動画像を出力する。例えば、ビデオカメラ１０は、監視対象エリアを撮像したフレーム画像を、１秒間に３０フレーム程度出力する。ビデオカメラ１０は、監視対象エリアを撮像したフレーム画像を画像入力部３に入力する。

なお、ここでは、ビデオカメラ１０を画像入力部３に接続した構成を例にしているが、ビデオカメラ１０で撮像した動画像を記録したハードディスク等の記録媒体を画像入力部３に接続し、画像入力部３がビデオカメラ１０で撮像した動画像を構成するフレーム画像をこの記録媒体から順次読み出す構成であってもよい。

画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている対象オブジェクト（ここでは、撮像されている人物の顔）を検出する。画像処理部４は、対象オブジェクトである人物の顔が撮像されている複数枚のフレーム画像を用いて、この人物の顔について高精細画像を生成する高精細画像生成処理を行う。この画像処理部４は、この高精細画像生成処理を実行するマイコンや、ワーキングエリアとして使用する画像メモリ等を備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムであり、予め画像処理部４にインストールしている。

出力部５は、画像入力部３に入力されたフレーム画像や、画像処理部４が高精細画像生成処理により生成した高精細画像等を出力する。出力部５には、表示装置や、顔認証装置等が接続される。出力部５に接続した表示装置（不図示）では、画像入力部３に入力されたフレーム画像や、画像処理部４が生成した高精細画像（対象者の顔画像）を表示する。また、出力部５に接続した顔認証装置（不図示）では、画像処理部４が生成した高精細画像（対象者の顔画像）を用いて、対象者に対する顔認証処理等を行う。

以下、この画像処理装置１の動作について説明する。

画像入力部３には、接続されているビデオカメラ１０が撮像している撮像エリアのフレーム画像が１秒間に３０フレーム程度入力されている。画像処理装置１は、図示していない操作部において、オペレータが対象者を指定する入力操作を行うのを待っている。オペレータは、出力部５に接続した表示装置が表示している、ビデオカメラ１０の撮像画像を確認しながら、対象者を指定する入力操作を行う。画像処理装置１は、対象者を指定する入力操作が行われると、以下に示す高精細画像生成処理を実行する。

なお、ここでは対象者をオペレータが指定する場合を例にしているが、例えば、ビデオカメラ１０が撮像している動画像を処理して、特異な行動をとった人物を検出すると、この人物を対象者として自動的に指定する構成としてもよい。

図２は、この高精細画像生成処理を示すフローチャートである。この高精細画像生成処理は、画像処理部４において実行される。

画像処理部４は、画像入力部３に入力されたフレーム画像の中から、今回指定された対象者の顔（対象オブジェクト）が撮像されているフレーム画像を、予め定めたフレーム数（例えば、３０フレーム）取り込む（ｓ１）。

画像処理部４は、ｓ１で取り込んだ複数フレームのフレーム画像の中から、基準とする基準フレーム画像を選択する（ｓ２）。

ｓ２では、ｓ１で取り込んだフレーム画像の中で、対象者の顔が最も正面に近いフレーム画像を基準フレーム画像として選択する。例えば、対象者の鼻の中心と、口の中心と、を通る直線（分割線）で、対象者の顔を縦方向に分割する。この分割線から右頬の端部までの長さと、この分割線から左頬の端部までの長さとの差の絶対値が最小であるフレーム画像を、基準フレーム画像として選択する。

なお、このｓ２における処理負荷を低減するため、ｓ１で取り込んだ複数のフレーム画像の中で、時間的に中間に位置するフレーム画像を基準フレーム画像としてもよいし、時間的に最も古いフレーム画像を基準フレーム画像としてもよいし、時間的に最も新しいフレーム画像を基準フレーム画像としてもよいし、その他の方法で基準フレーム画像を選択してもよい。

画像処理部４は、ｓ２で基準フレーム画像として選択しなかった非基準フレーム画像毎に、対象オブジェクトである人物の顔の向きを、基準画像における対象オブジェクトである人物の顔の向きに合わせる非剛体変形を行う（ｓ３）。この非剛体変形は、Free Form Deformations（ＦＦＤ）により行う。

ＦＦＤによる非剛体変形は、公知であるので、簡単に説明しておく。図３（Ａ）は、ｓ２で抽出した基準フレーム画像に撮像されている対象者の顔画像である。また、図３（Ｂ）は、対象者の顔が少し左側に傾いている顔画像であり、図３（Ｃ）は、対象者の顔が少し右側に傾いている顔画像である。図３（Ｂ）、および図３（Ｃ）は、非基準フレーム画像である。

図３（Ａ）に示す基準フレーム画像に対して、対象オブジェクトである人物の顔が、予め定めた画素数になるように格子状に分割する（図４（Ａ）参照）。縦方向に分割しているラインと、横方向に分割しているラインとが交差する格子点（ノード）が、１つの画素に相当する。画素は、格子点を中心とする適当な大きさである。同様に、非剛体変形を行う非基準フレーム画像（図３（Ｂ）、および図３（Ｃ））についても、基準フレーム画像と同様に、対象オブジェクトである人物の顔が、予め定めた画素数になるように格子状に分割する（図４（Ｂ）、および図４（Ｃ）参照）。

画像処理部４は、対象者の顔に対して、複数の特徴点を設定する。画像処理部４は、非基準フレーム画像毎に、以下の処理を行う。

その非基準フレーム画像上に設定した各格子点に、水平方向、および垂直方向の係数を持たせる。画像処理部４は、非基準フレーム画像における複数の特徴点（対象者の顔の特徴点）の位置を、基準フレーム画像上の位置に一致させる格子点の位置（係数）を算出する。画像処理部４は、非基準フレーム画像の各格子点を、その格子点について算出した係数に基づいて移動する。このとき、隣接する４つの格子点で囲まれる領域の画像は、これらの格子点の移動に応じて変形する。図５（Ａ）は、基準フレーム画像であり、図５（Ｂ）、および図５（Ｃ）は、ｓ３にかかる非剛体変形を行った非基準フレーム画像である。図５（Ｂ）は、図４（Ｂ）に示した非基準フレーム画像を非剛体変形した例であり、図５（Ｃ）は、図４（Ｃ）に示した非基準フレーム画像を非剛体変形した例である。

図５に示すように、このｓ３にかかる非剛体変形により、各非基準フレーム画像における対象者の顔の向きが、基準フレーム画像における対象者の顔の向きに合わせられる。

画像処理部４は、非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する（ｓ４）。この高精細画像を生成する処理においては、基準フレーム画像を使用してもよいし、使用しなくてもよい。ここでは、基準フレーム画像を使用するものとして説明する。

ｓ４は、基準フレーム画像における画素毎に、画素値を決定する処理である。ここでは、画素毎に、基準フレーム画像、およびｓ３で非剛体変形を行った非基準フレーム画像において対応する画素の画素値の平均を、その画素の画素値に決定する処理である。

なお、基準フレーム画像を使用しない場合は、非剛体変形を行った非基準フレーム画像において対応する画素の画素値の平均を、対応する画素の画素値にすればよい。また、ここでは、画素毎に、その画素値を各フレーム画像における対応する画素の画素値の平均にするとしたが、二乗平均等、他の手法で算出してもよい。

高精細画像は、各画素について、上記処理で決定した画素値の画像である。

画像処理部４は、ｓ４で生成した高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理を行う（ｓ５）。ｓ５では、公知のアンシャープマスキングや、エッジの強調等にかかる処理を画質改善処理として実行する。

画像処理装置１は、ｓ５で画質改善処理を行った高精細画像を出力部５から出力する。

このように、この画像処理装置１は、上述の高精細画像生成処理において、複数のフレーム画像間での人物の顔の向きの違いを考慮して、この人物の顔画像について高精細画像を生成することができる。

なお、上記の例では、対象オブジェクトを人物の顔としたが、対象オブジェクトは人物の顔に限らず、車両のナンバープレート等、他の種類のオブジェクトであってもよい。

また、生成する高精細画像の画素数については、基準フレーム画像や、非基準フレーム画像を分割する格子の大きさを調整することで、任意に設定できる。

１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…出力部
１０…ビデオカメラ

Claims (4)

1. 撮像装置で撮像したフレーム画像を入力する画像入力部と、
   前記画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクトが撮像されているフレーム画像を複数フレーム抽出する抽出部と、
   前記抽出部が抽出した複数のフレーム画像の中から、基準フレーム画像を選択する基準フレーム画像選択部と、
   前記抽出部が抽出した複数フレームのフレーム画像毎に、対象オブジェクトの撮像領域を予め定めた画素数に応じて格子状に分割する分割部と、
   処理対象である対象オブジェクトに対して複数の特徴点を設定する特徴点設定部と、
   前記抽出部が抽出し、前記基準フレーム画像選択部が基準フレーム画像として選択しなかった非基準フレーム画像毎に、前記特徴点設定部が設定した各特徴点の位置が、前記基準フレーム画像に撮像されている対象オブジェクトの対応する特徴点の位置に合うように前記分割部が格子状に分割した各格子点を移動させるFree Form Deformations（ＦＦＤ）により、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、前記基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる非剛体変形を行う非剛体変形部と、
   前記基準フレーム画像選択部が選択した基準フレーム画像に対して、前記分割部が格子状に分割した各格子点の画素値を、前記非剛体変形部が非剛体変形を行った非基準フレーム画像の対応する格子点の画素値を用いて決定した対象オブジェクトの高精細画像を生成する高精細画像生成部と、を備えた画像処理装置。
2. 対象オブジェクトは、対象者の顔画像であり、
   前記特徴点設定部は、対象者の顔部品の特徴量を用いて、複数の特徴点を対象オブジェクトに設定する、請求項１に記載の画像処理装置。
3. 前記高精細画像生成部が生成した対象オブジェクトの高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理部を備えた、請求項１、または２に記載の画像処理装置。
4. 画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクトが撮像されているフレーム画像を複数フレーム抽出する抽出処理と、
   前記抽出処理で抽出した複数のフレーム画像の中から、基準フレーム画像を選択する基準フレーム画像選択処理と、
   前記抽出処理で抽出した複数フレームのフレーム画像毎に、対象オブジェクトの撮像領域を予め定めた画素数に応じて格子状に分割する分割処理と、
   処理対象である対象オブジェクトに対して複数の特徴点を設定する特徴点設定処理と、
   前記抽出処理で抽出し、前記基準フレーム画像選択処理で基準フレーム画像として選択しなかった非基準フレーム画像毎に、前記特徴点設定処理で設定した各特徴点の位置が、前記基準フレーム画像に撮像されている対象オブジェクトの対応する特徴点の位置に合うように前記分割処理で格子状に分割した各格子点を移動させるFree Form Deformations（ＦＦＤ）により、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、前記基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる非剛体変形を行う非剛体変形処理と、
   前記基準フレーム画像選択処理で選択した基準フレーム画像に対して、前記分割処理で格子状に分割した各格子点の画素値を、前記非剛体変形処理で非剛体変形を行った非基準フレーム画像の対応する格子点の画素値を用いて決定した対象オブジェクトの高精細画像を生成する高精細画像生成処理と、をコンピュータに実行させる画像処理プログラム。

Images