JP7741683B2 - 映像処理装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、被写体を含む映像から生体情報を検出する技術に関するものである。

被写体を含む映像から、その被写体の肌における脈拍による色の変化を観測し、生体情報を取得する技術がある。特に、肌から色情報として色相を取得する技術は、被写体の動きによるノイズに対する頑健性が高い。

特許文献１では、映像から被写体の肌領域の色相に基づいて脈拍などの生体情報を取得する手法が示されている。

特開２０２１－２３４９０号公報

しかし、脈拍による肌の色変化に基づく色相上での周期的信号の強度は、色相の値の程度により影響を受ける。

特許文献１には、色を補正する構成を開示しているが、この補正は、Ｒｅｔｉｎｅｘ理論に基づいて映像の色を照明色によらない自然な色に補正し、照明色にロバストに生体情報を取得するものです。

本発明は、これまでよりも高い精度で生体情報を検出することを可能ならしめる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の映像処理装置は以下の構成を備える。すなわち、
時系列に並ぶ複数のフレームで構成される被写体の映像から、当該被写体の生体情報を検出する映像処理装置であって、
前記映像を入力し、前記被写体の肌領域を取得する取得手段と、
該取得手段より取得した肌領域における画素の色相を予め設定した目標色相に近似するための補正係数を、前記取得手段より取得した肌領域の色と前記目標色相を表す色に基づき決定する決定手段と、
前記映像を構成する各フレームにおける、少なくとも前記肌領域の画素を、前記補正係数を用いて補正する補正手段と、
該補正手段による補正後の、時系列の肌領域の画像に基づき、前記被写体の生体情報を検出する検出手段とを有する。

本発明によれば、より高い精度で生体情報を取得することが可能になる。

映像処理装置のハードウェア構成例を示すブロック図。 ＲＧＢから色相Ｈを計算する方法の概念図。 映像処理装置の機能構成例を示すブロック図。 映像処理装置が実行する処理を示すフローチャート。 映像処理装置が実行する色補正・平均色相取得処理を示すフローチャート。 映像処理装置が実行する生体情報検出処理を示すフローチャート。 Ｈ補正目標値とＲＧＢ補正目標値の対応表を示す図。 事前実験による補正目標色相値とスコアの関係を表すグラフを示す図。 第２の実施形態の映像処理装置が実行する処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、映像処理装置１００のハードウェア構成の一例を示す図である。映像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスクドライブ（ＨＤＤ）１０４、通信部１０５、入力装置１０６及び出力装置１０７を有する。通信部１０５はネットワーク１０８に接続されている。

ＣＰＵ１０１は、ＲＯＭ１０２に記録された制御プログラムを読みだして各種処理を実行する。ＲＡＭ１０３は主メモリやワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、長期的なデータの保持に用いられる。通信部１０５はネットワーク１０８を介して通信を行う回路である。入力装置１０６は、外部から映像処理装置１００に指示やデータを入力するための装置である。具体的には、映像を取得するためのカメラや、ユーザの入力を受け付けるためのキーボード、マウス、タッチパネルなどである。出力装置１０７は、映像処理装置１００から外部に指示やデータを出力するための装置である。具体的には、結果を表示するディスプレイ等の表示用デバイスや、判定結果を外部装置に出力するためのインタフェースなどである。

なお、映像処理装置１００は、機能上不要である場合、必ずしも図１に示した全ての部位を備える必要はない。例えば、外部との入出力を全てネットワーク１０８で相互に接続された別の機器を用いて行う場合、入力装置１０６および出力装置１０７は不要である。また、図１に示されていない部位を備えていてもよい。例えば、映像処理をＧＰＵ（グラフィカルプロセッシングユニット）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実行してもよい。

以上のように、映像処理装置１００のハードウェア構成は、パーソナルコンピュータ（ＰＣ）のハードウェア構成と同様である。それ故、映像処理装置１００で実現される各種機能は、ＰＣ上で実行されるアプリケーションソフトウェアとして実装することが可能である。つまり、映像処理装置１００は、ＣＰＵ１０１がプログラムを実行することにより、映像処理装置１００の種々の機能、及び後述のフローチャートを実現することができる。

Ｒ成分値、Ｇ成分値、及び、Ｂ成分値から色相Ｈを算出する一般的な方法を、図２を参照して説明する。

デジタルカラー画像を構成する画素は、Ｒ（赤）、Ｇ（緑）、Ｂ(青）の各色成分の輝度情報で表されることが多い。ＲＧＢ輝度情報から色相Ｈを算出する場合、以下のような方法を用いるのが一般的である。

まず、図２に示す二次元平面上で、Ｒベクトル２０１、Ｇベクトル２０２、Ｂベクトル２０３を以下のように定める。Ｒベクトル２０１は、向きが０°で、大きさがＲ輝度となるベクトルである。Ｇベクトル２０２は、向きが１２０°で、大きさがＧ輝度となるベクトルである。Ｂベクトル２０４は、向きが２４０°で、大きさがＢ輝度となるベクトルである。すると、１つの画素は、Ｒベクトル２０１とＧベクトル２０２とＢベクトル２０３の和ベクトル２０４で特定できる。この時、和ベクトル２０４の向き（図示ではＲ軸に対する角度２０５）が色相Ｈである。

以上のように画像内の着目領域の色相Ｈを求めた時、和ベクトル２０４の向きに対して垂直に近い向きの時系列的な色変化がある場合に、色相Ｈの変化が顕著になる。

例えば、ＲＧＢ輝度のうち、Ｇ輝度のみが時系列的に変化している場合を考察する。この場合、Ｇ輝度が示す方向に直交する向きの３０°や２１０°（Ｇベクトル２０２の向きである１２０°に垂直な向き）の色相が示す画像が、Ｇ成分の時系列変化に敏感な画像となる。逆に、１２０°や３００°（Ｇベクトル２０２の向きである１２０°に平行な向き）に近い色相が示す画像の場合、Ｇ成分の時系列的な変化に対する色相の変化は小さくなり、色相変化の検出は難しい。

上記の考察から、肌の脈拍による色変化が、図２の上でのＨ（和ベクトル２０４の向き）に垂直に近い場合、Ｈの時系列データに含まれる脈拍による変位は大きくなる。そこで、本実施形態では、そのような生体情報検出に理想的な色相値へと、画像における肌の色を補正することによって、より良く脈拍による色変化を取得可能とする。

実験的に求めた生体情報検出に理想的な色相値は、具体的には、５０°、２３０°、およびそれぞれの周辺である。

図８は、複数の映像について、補正目標色相値を１０°刻みで設定し、色を補正した事前実験の結果における、補正目標色相値と平均スコアの関係を示すグラフである。色の補正方法については第１実施形態の図５を用いた説明にて後述する。色の補正処理により、肌領域の平均色相値は、補正目標色相値に近い値となる。また、スコアの計算方法については第２の実施形態の図９を用いた説明にて後述する。スコアは、脈波による周期成分の色相情報全体における相対的な強度を示すものであり、図８においてスコアが高いほど脈波による信号が強調されていると言える。グラフにおいて、補正目標色相値が５０°、２３０°、およびその周辺のスコアが高くなっており、これらの色相値が生体情報検出に理想的であるとわかる。

［第１の実施形態］
図３は、実施形態における、図１の映像処理装置１００に搭載された機能構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを示している。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによって色々な形で実現できることは、本明細書に触れた当業者には理解されるところである。

映像処理装置１００は、映像取得部３０２、顔検出部３０３、肌領域抽出部３０４、色情報取得部３０５、生体情報検出部３０６、結果出力部３０７を有する。また、映像処理装置１００は、映像取得装置３０１とネットワーク１０８を介して接続される。なお、映像取得装置３０１とは、ネットワーク１０８ではなく、入力装置１０６および出力装置１０７に含まれる入出力インタフェースを介して接続されていてもよい。また、映像取得装置３０１は、映像処理装置１００内に設けられても良い。

次に各部について説明する。映像取得装置３０１は典型的にはビデオカメラに代表される撮像装置である。映像取得装置３０１は、生体情報検出の対象となる被写体を適当なフレームレートで撮像し、ネットワーク１０８を介して映像処理装置１００に、撮影で得た映像データを送信する。映像取得装置３０１は、撮像して得た映像データを送信する際、送信するデータ量を削減するため、Ｍｏｔｉｏｎ ＪＰＥＧやＨ．２６４など、任意の形式の動画符号化を適用しても構わない。

なお、映像取得装置３０１が取得する映像の時間長は、生体情報が示す周期を超える必要がある。実施形態では、生体情報として脈拍を検出するので、映像取得装置３０１は、数拍分が含まれる、例えば１０秒分の被写体像を撮影するものとする。なお、実施形態では、映像取得装置３０１は、１画素を構成する色成分Ｒ，Ｇ，Ｂそれぞれを８ビット（２５６階調）の精度で撮像するものとする。

映像取得部３０２は、撮像装置３０１からネットワーク１０８を介して映像データを取得し、取得した映像データを後段の顔検出部３０３に供給する。

顔検出部３０３は、映像取得部３０２からの映像データから被写体の顔を検出し、検出した顔の領域を特定する情報を、肌領域抽出部３０４に供給する。顔の検出する手法は任意の方法が可能である。例えば、ディープラーニングによって学習された画像から人物の顔の領域を検出する検出器を用いてもよい。検出結果のコンピュータ上の表現としては、映像中の各フレームについて、画像上で顔を過不足なく含む外接矩形の座標を取得するのが一般的であるが、その他の形式でもよい。

肌領域抽出部３０４は、映像の顔領域について、肌領域を画素単位で抽出し、抽出した肌領域を示す情報を色情報取得部３０５に供給する。肌領域の抽出は、任意の方法が可能である。例えば、映像の色表現をＨＳＶ形式に変換し、Ｈ・Ｓ・Ｖがそれぞれ事前に定められた特定の範囲内の値をとる画素の集合を肌領域としてもよい。または、顔領域内において肌領域が大部分を占めるという前提のもと、顔領域内の全画素のＨＳＶ値から統計的に外れ値となる画素を除外し、残った画素の集合を肌領域とすることもできる。その他、ディープラーニングによって学習された、画素単位で人物の肌領域を抽出する抽出器を用いることもできる。肌領域抽出の結果のコンピュータ上の表現としては、肌の領域である画素の値を１、それ以外の画素の値を０とする、“マスク画像”を用いることができる。

色情報取得部３０５は、肌領域抽出部３０４からの情報に基づき、映像中の肌領域について、脈波による色変化が平均色相値の時系列データにおいて強調されるように色補正を行った上で、平均色相値を取得する。色補正は、ＲＧＢそれぞれの画素値に補正係数をかけることで行われる。補正係数は、映像中の所定のフレームにおける肌領域内のＲＧＢそれぞれの平均値と、事前に設定されたＲＧＢそれぞれの補正目標値を用いて、算出される。ＲＧＢの補正目標値は、Ｈの補正目標値（補正目標色相値）から、図７に示す対応表を基に決定される。補正目標色相値は、図８の事前実験の結果を基に、設計者によって決定される。実施形態による具体的な方法は、フローチャートを用いて後述する。

生体情報検出部３０６は、平均色相値の時系列データをもとに、脈波に基づく生体情報を検出する。生体情報としては、脈波から既知の方法を用いて検出可能な任意のものを検出できる。例えば、脈拍数（正確には１分当たりの脈拍数）、血圧、ストレス指標などである。また、脈波の強度などを指標として、「被写体が生体であるか、写真などの非生体であるか」を判定する生体判定情報を生体情報としてもよい。これは、顔認証システムにおいて他者の写真を用いたなりすましを防ぐために利用できる。本実施形態では、例として、生体情報として被写体の脈拍数を検出する。脈拍数を検出する具体的な方法は、フローチャートを用いて後述する。

結果出力部３０７は、生体情報検出部３０６が検出した生体情報（実施形態では脈拍数）を出力する。例えば、出力装置１０７として接続されたディスプレイに生体情報を表示する。

図４は実施形態における映像処理装置１００が実行する処理を表すフローチャートである。以下、同図を参照して、映像処理装置１００の生体情報検出処理の流れを説明する。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、映像処理装置１００はこのフローチャートで説明するすべてのステップを必ずしも行わなくてもよい。

処理開始後（例えば、映像処理装置１００の電源がＯＮにされた後）、Ｓ４０１にて、映像取得部３０２は、映像取得装置３０１から、被写体を撮影して得た映像データを取得する。

Ｓ４０２にて、顔検出部３０３は、取得した映像データ内の被写体の顔検出を行う。結果として、映像の各フレームについて、顔を過不足なく含む矩形（典型的には外接矩形）の座標が得られる。

Ｓ４０３にて、肌領域抽出部３０４は、検出された顔の領域について、肌領域を抽出する。この結果、映像の各フレームについて、顔領域内で肌の領域となる画素の集合を得る。

Ｓ４０４にて、色情報取得部３０５は、抽出された肌領域について、色補正処理および平均色相値の取得処理を行う。色補正処理は、肌領域の平均色相値を、生体情報検出に理想的な色相値に近い値とするための処理である。具体的な手順は図５のフローチャートを用いて後述する。この処理は、映像の各フレームについて行われ、結果として、平均色相値の時系列データが得られる。

Ｓ４０５にて、生体情報検出部３０６は、平均色相値の時系列データを基に、生体情報として被写体の生体情報（実施形態では脈拍数）を算出する。具体的な手順は図６のフローチャートを用いて後述する。

Ｓ４０６にて、結果出力部３０７が、Ｓ４０５で得られた被写体の脈拍数を出力する。出力対象は、出力装置１０７（表示装置）とするが、算出した生体情報をファイルとして保存するため、記憶装置であっても構わない。

図５は、実施形態において色情報取得部３０５によって実行される、Ｓ４０４の処理を説明するためのフローチャートである。以下、同図を参照して、色情報取得部３０５の色補正・平均色相取得処理の流れを説明する。

Ｓ５０１にて、色情報取得部３０５は、映像中で未処理であるフレームのうち、先頭の第一フレームを処理対象フレームとする。以降の処理は、ここで定めた処理対象フレームについて行われる。

Ｓ５０２にて、色情報取得部３０５は、現在処理している処理対象フレームが、映像の第一フレーム（先頭フレーム）であるかを判定する。これは、補正係数の算出のために用いると定められたフレームであるかの判定処理であり、本実施形態においては第一フレームが補正係数の算出のために用いられる。処理対象フレームが第一フレームである場合、色情報取得部３０５はＳ５０３へ、処理対象フレームが第一フレーム以外のフレームである場合はＳ５０５へ処理を進める。

Ｓ５０３にて、色情報取得部３０５は、処理対象フレームにおける肌領域内に含まれる全画素のＲ、Ｇ、Ｂ値の平均値を計算する。以降、Ｒの平均値をａｖｅＲ、Ｇの平均値をａｖｅＧ、Ｂの平均値をａｖｅＢと表記する。

Ｓ５０４にて、色情報取得部３０５は、以下に示す式（１）乃至（３）に従い、補正係数Ａｒ、Ａｇ、Ａｂを算出する。

式中、ｔａｇＲ、ｔａｇＧ、ｔａｇＢは、Ｒ、Ｇ、Ｂそれぞれの補正目標値であり、色情報取得部３０５に事前に設定されている値である。Ｒ、Ｇ、Ｂそれぞれの補正目標値ｔａｇＲ、ｔａｇＧ、ｔａｇＢは、設計者が事前に補正目標色相値を設定することで、補正目標色相値（Ｈ補正目標値）と図７の対応表から、色情報取得部３０５が自動で設定する。設計者は、補正色相目標値として、生体情報検出に理想的な色相値を色情報取得部３０５に設定する。なお、図８に示す事前実験結果から、補正目標色相値は５０°、２３０°、およびその周辺の値を用いるのが良いことが確認されている。実施形態では、補正目標色相値として５０°と設定している。したがって、実施形態の場合、図７の対応表から、Ｒの補正目標値（ｔａｇＲ）は“１２７”、Ｇの補正目標値（ｔａｇＧ）は“１１６”、Ｂの補正目標値（ｔａｇＢ）は“６３”と設定される。なお、設計者が補正色相目標値を設定するのではなく、Ｒ、Ｇ、Ｂそれぞれの補正目標値を直接色情報取得部３０５に設定してもよい。また、図７はＲ、Ｇ、ＢとＨの補正目標値の対応の一例であり、必ずしもこの通りでなくてもよい。

Ｓ５０５にて、色情報取得部３０５は、補正係数Ａｒ、Ａｇ、Ａｂを用いて、着目フレームの肌領域の各画素のＲＧＢ値を補正する。具体的には、次式（４）乃至（６）に従って、肌領域内の画素のＲ、Ｇ、Ｂの各成分値に、補正係数Ａｒ、Ａｇ、Ａｂを乗算して、補正後の成分値Ｒ’、Ｇ’、Ｂ’を得る。以後、Ｒ’、Ｇ’、Ｂ’をその画素のＲＧＢ画素値として用いる。

Ｓ５０６にて、色情報取得部３０５は、各画素の色相値Ｈを計算する。色相値Ｈは、画素のＲＧＢ値から、次式（７）によって計算される。ここで、画素のＲＧＢ値は、Ｓ５０５で補正された値（Ｒ’、Ｇ’、Ｂ’）である。

Ｓ５０７にて、色情報取得部３０５は、肌領域全体でのＨ平均値を算出する。Ｈ平均値は、Ｓ５０６で求めた画素ごとのＨを肌色領域全体について平均し求める。

Ｓ５０８にて、色情報取得部３０５は、処理したフレームは映像の最後のフレームであるか判定する。最後のフレームでない場合、色情報取得部３０５は、次のフレームを処理対象として設定するため、処理をＳ５０１に戻す。そして、色情報取得部３０５は、全フレームに対する処理を終えたと判定するまで、Ｓ５０１乃至５０７の処理を繰り返す。Ｓ５０７にて、最後のフレームであると判定した場合、色情報取得部３０５は、色補正・平均色相取得処理を終了する。

上記の結果、各フレーム被写体の肌領域の色相は、脈拍の影響を内包したまま、補正色相目標値に近似する色相に変換できたことになる。つまり、補正色相目標値に近似する色相を持った肌領域の時系列の画像データが生成できたことになる。

なお、上記では、肌領域のＲＧＢの各平均値を計算し、各補正係数を決定する代表フレームとして第一フレームを採用したが、他のフレームでも良く、且つ、複数フレームを用いてもよい。その場合、Ｓ５０２～Ｓ５０４の処理はそれに合わせて変更されるべきである。また、Ｓ５０５以降の処理を行うには補正係数が決定されている必要があるから、Ｓ５０２～Ｓ５０４の処理に第一フレーム以外のフレームを用いる場合、処理するフレーム・工程の順番は適切になされるべきである。例えば、リアルタイムで撮像されている映像を処理する場合、実施形態のように第一フレームを補正係数の決定に用いるのが好適である。一方で、映像を一度ＨＤＤ１０４に蓄積、保存し、後から処理する場合には、映像全体のフレームを補正係数の決定に用いてＳ５０２からＳ５０４までの処理を行った後、各フレームに対してＳ５０５以降の処理を行うことも可能である。

図６は、実施形態において生体情報検出部３０６によって実行される、Ｓ４０５の処理の詳細を示すフローチャートである。以下、同図を参照して、生体情報検出部３０６による生体情報検出処理の流れを説明する。

Ｓ６０１にて、生体情報検出部３０６は、色情報取得部３０５が生成した色相補正後の時系列データを取得する。

Ｓ６０２にて、生体情報検出部３０６は、色相補正後の時系列データに、バンドパスフィルタを適用する。バンドパスフィルタは、一般的なヒトの脈拍数の範囲（５０ｂｐｍ（ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅ）から２００ｂｐｍの範囲に相当する、０．８３Ｈｚから３．３３Ｈｚの範囲）の周波数成分を通過させるよう設計されたものとする。

Ｓ６０３にて、生体情報検出部３０６は、フィルタリングされた色相補正後の時系列データに周波数解析を行い、周波数スペクトルを得る。周波数解析は、高速フーリエ変換など、任意の方法を用いることが可能である。

Ｓ６０４にて、生体情報検出部３０６は、周波数スペクトルから、一般的なヒトの脈拍数の範囲の周波数成分の中で、振幅が最大となる周波数成分の周波数を、ピーク周波数と決定する。

Ｓ６０５にて、生体情報検出部３０６が、ピーク周波数を被写体の脈拍数として取得し、生体情報検出の結果とする。

以上説明したように、本実施形態によれば、映像中の被写体の肌の色相を、生体情報検出に好適な色相に近い色相に変換した上で、生体情報を検出するので、高精度に生体情報を検出できるようになる。

［第２の実施形態］
上記の第１の実施形態では、設計者が生体情報検出に理想的な色相値をもとに定めた補正目標色相値を用い、補正目標色相値に近い値へと肌領域の色を補正することで、より高精度な生体情報を検出する手法について述べた。設計者は、生体情報検出に理想的な色相値を、図８の事前実験結果を参照して決定することができる。しかし、図８のスコアは複数の映像による平均値であり、図に示される各補正目標色相値とスコアの関係は、複数の映像の全体的な傾向を示すものである。個別の映像においては、必ずしも図８と同様の関係にあるとは限らず、厳密には、照明色やカメラのホワイトバランス、元々の肌の色などにより、生体情報検出に最も理想的な色相値は異なる場合がある。

本第２の実施形態では、取得した映像に対し複数の補正目標色相値を用いた複数の補正を行った後、それぞれについて生体情報検出とスコアの算出を行い、それらスコアに基づいて、最も良い結果を決定する。これにより、実際の撮影映像において最適な補正目標色相値を用いた色補正による生体情報検出結果を出力することができる。

以下、第１の実施形態との差分についてのみ説明する。

第２の実施形態においては、設計者は、色情報取得部３０５に、複数の補正目標色相値を設定する。

ここで、複数の補正目標色相値を設定方法は、様々な方法が考えられる。例として、０°から３６０°までを一定の間隔（例えば、１０°間隔）で設定してもよい。しかし、設定する補正目標色相値の数が多いと、映像処理装置１００が設定された全ての補正目標色相値について処理を終えるまでに時間がかかる場合がある。したがって、処理時間やＣＰＵ１０１などの計算リソースに制限がある場合には、少数の補正目標色相値の設定でも最も理想的な補正目標色相値を得られる可能性が高い方法を用いるのが良い。例えば、多くの映像で高いスコアを示す可能性が高い、５０°と２３０°を中心に、それぞれの前後３０°の範囲を小刻みに（例えば隣接する目標色相の角度差を５°とする）設定することが考えられる。また、コンピュータのリソース状況に応じて設定する補正目標色相値の間隔を変化させるなど、設定する補正目標色相値の数を動的に変化させてもよい。

第２の実施形態における映像処理装置１００の機能構成は、第１の実施形態と同様に、図３を用いて説明できる。第１の実施形態との差分は以下の通りである。

色情報取得部３０５は、事前に、設定された複数の補正目標色相値と図７の対応表に基づき、複数のＲＧＢの補正目標値を設定する。

仮にＮ個（Ｎ≧２）の補正目標色相値を設定するのであれば、それぞれの補正目標色相値に対する画素の補正目標値の組は、次のように表せる。
｛ｔａｇＲ(1)、ｔａｇＧ(1)，ｔａｇＢ(1)｝
｛ｔａｇＲ(2)、ｔａｇＧ(2)，ｔａｇＢ(2)｝
:
｛ｔａｇＲ(N)、ｔａｇＧ(N)，ｔａｇＢ(N)｝

色情報取得部３０５は、映像処理に際して、Ｎ組の補正目標値により、複数の色補正を行い、複数の平均色相値を取得する。結果として、補正色相目標値１乃至Ｎそれぞれに近似する色相を持ったＮ個の時系列データが生成されることになる。

生体情報検出部３０６は、Ｎ個の補正色相目標値に近い色相を持った時系列データから、複数の生体情報を検出するとともに、Ｎ個のスコアを算出する。そして、生体情報検出部３０６は、算出したＮ個のスコアを評価し、最も良いスコアが良いものを、最終的に出力用の生態情報として決定する。

なお、色情報取得部３０５と生体情報検出部３０６は、設定された複数の補正目標値によって色補正したデータの処理に加え、色補正を行わないデータを追加で処理してもよい。これは、補正を行わない元々の色による処理結果が最も良い（スコアが高い）可能性を考慮する場合である。

図９は、第２の実施形態における映像処理装置１００によって実行される処理を説明するためのフローチャートである。

Ｓ４０１～Ｓ４０３の処理は第１の実施形態と同じである。

Ｓ４０３の処理の後、映像処理装置１００は、所定の、異なるＮ個の補正目標色相値について、それぞれＳ４０４の色補正・平均色相取得処理、Ｓ４０５の生体情報検出、Ｓ９０１のスコア算出の各処理を行う。図９では、Ｎ個の補正目標色相値について１からＮまで番号付けを行い、それぞれに行われる処理について、ステップ番号の後、ハイフンに続けて番号を記している。例えば、Ｓ４０４－２は、２番目の補正目標色相値についての色補正・平均色相取得処理である。なお、図９のフローチャートでは１～Ｎ番目の補正目標色相値について並列で処理しているが、ループによって順次処理しても良い。

Ｓ４０４－１～Ｎのそれぞれの処理は第１の実施形態のＳ４０４と同じである。ただし、Ｓ４０４－１～Ｎで用いられる補正目標色相値はそれぞれの番号に相当するものである。

Ｓ４０５－１～Ｎのそれぞれの処理は第１の実施形態のＳ４０５と同じである。ただし、Ｓ４０５－１～Ｎで用いられる平均色相値の時系列データは、それぞれＳ４０４－１～Ｎで得られたものである。

Ｓ９０１－１～Ｎで、生体情報検出部３０６は、Ｓ４０５－１～Ｎで得られた生体情報についてスコアを算出する。具体的には、まず、Ｓ６０４で得られた周波数スペクトルについて、一般的なヒトの脈拍数の範囲の周波数成分の平均振幅値（または平均パワー値）を算出する。その後、Ｓ６０４で決定されたピーク周波数における振幅値を前記平均振幅値で除算し、スコアとする。これにより、ヒトの脈拍数の範囲の周波数帯における相対的な脈波の強度がスコアとして算出できる。なお、スコアについては、それを比較することで良い生体情報検出結果を選べるならば、その他の算出方法によるものを用いてもよい。例えば、位相と振幅を揃えたピーク周波数による正弦波と、Ｓ６０２で得られるフィルタリングされた色情報の時系列データについて、二乗誤差を算出し、スコアとすることも可能である。

Ｓ９０２で、生体情報検出部は、Ｓ９０１－１～Ｎにおいて算出されたスコアを比較し、最も良いスコアに対応する生体情報検出結果を、最終結果として決定する。なお、最終結果を決定するにあたり、スコア以外の情報を参照してもよい。例えば、脈拍数を生体情報検出結果として出力するにあたり、Ｓ４０５－１～Ｎで得られた結果から多数決で最終結果を選んでもよい。さらに、スコアの情報を用いて、スコア一定以上の結果から多数決で選ぶ方法や、スコアが上位の結果について脈拍数の平均値をとり最終結果とする方法なども可能である。

Ｓ４０６で、結果出力部３０７は、Ｓ９０２で決定した最終結果を出力する。

以上説明したように、本第２の実施形態によれば、被写体の肌の色や、撮影時の照明等による撮影環境によらず、被写体の生態情報を高精度に検出できるようになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…映像処理装置、３０１…映像取得装置、３０２…映像取得部、３０３…顔検出部、３０４…肌領域抽出部、３０５…色情報取得部、３０６…生体情報検出部、３０７…結果出力部

Claims (8)

1. 時系列に並ぶ複数のフレームで構成される被写体の映像から、当該被写体の生体情報を検出する映像処理装置であって、
   前記映像を入力し、前記被写体の肌領域を取得する取得手段と、
   該取得手段より取得した肌領域における画素の色相を予め設定した目標色相に近似するための補正係数を、前記取得手段より取得した肌領域の色と前記目標色相を表す色に基づき決定する決定手段と、
   前記映像を構成する各フレームにおける、少なくとも前記肌領域の画素を、前記補正係数を用いて補正する補正手段と、
   該補正手段による補正後の、時系列の肌領域の画像に基づき、前記被写体の生体情報を検出する検出手段と
   を有することを特徴とする映像処理装置。
2. 前記決定手段は、
   前記映像における予め設定された代表フレームの肌領域内の全画素の各色成分の値の平均値が表す色を、前記肌領域の色として決定し、
   前記肌領域の色を表す各色成分の値と、前記目標色相の色を表す各色成分の値との比を、前記補正係数として決定し、
   前記補正手段は、前記肌領域の画素の各色成分の値に、対応する補正係数を乗算することで前記補正を行う
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記目標色相は、Ｒ成分の方向を０°、Ｇ成分の方向を１２０°、Ｂ成分の方向を２４０°としたとき、５０°又は２３０°の方向を表すことを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記決定手段は、前記取得手段より取得した肌領域における画素の色相を、予め設定したＮ個（Ｎ≧２）の目標色相それぞれに近似するためのＮ組の補正係数を、前記取得手段より取得した肌領域の色と前記Ｎ個の目標色相を表す色に基づき決定し、
   前記補正手段は、前記映像を構成する各フレームにおける、少なくとも前記肌領域の画素を、前記Ｎ組の補正係数に従って補正して、Ｎ個の時系列の肌領域の画像データを生成し、
   前記検出手段は、前記補正手段で得たＮ個の時系列の肌領域の画像データに基づきＮ個の被写体の生体情報を検出し、当該Ｎ個の被写体の生体情報を評価することで、出力用の被写体の生体情報を決定する
   ことを特徴とする請求項１に記載の映像処理装置。
5. 前記Ｎ個の目標色相は、Ｒ成分の方向を０°、Ｇ成分の方向を１２０°、Ｂ成分の方向を２４０°としたとき、５０°又は２３０°を中心に、隣接する目標色相の間が予め設定された角度となっているＮ個の色相である
   ことを特徴とする請求項４に記載の映像処理装置。
6. 前記生体情報は、脈拍数、血圧、ストレス指標、生体判定情報の少なくとも１つを含む
   ことを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
7. 時系列に並ぶ複数のフレームで構成される被写体の映像から、当該被写体の生体情報を検出する映像処理装置の制御方法であって、
   前記映像を入力し、前記被写体の肌領域を取得する取得工程と、
   該取得工程より取得した肌領域における画素の色相を予め設定した目標色相に近似するための補正係数を、前記取得工程より取得した肌領域の色と前記目標色相を表す色に基づき決定する決定工程と、
   前記映像を構成する各フレームにおける、少なくとも前記肌領域の画素を、前記補正係数を用いて補正する補正工程と、
   該補正工程による補正後の、時系列の肌領域の画像に基づき、前記被写体の生体情報を検出する検出工程と
   を有することを特徴とする映像処理装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の制御方法の各工程を実行させるためのプログラム。