JP6767247B2 - 生体情報検出装置及び生体情報検出方法 - Google Patents

Description

本発明は、生体情報を検出する装置に関する。

生体情報を取得する手法として、マイクロ波又はカメラを使用した非接触でリアルタイムに検出できる技術がある。特にカメラを用いた脈拍検出は、近年、カメラモジュールの小型化が進み、スマートフォンを含む携帯端末に搭載され、普及が進んでいる。

撮像による脈拍検出を行う技術として、時系列信号のスペクトル分布から脈拍信号を特定する手法がある（特許文献１）。

特開２０１２−２３９６６１公報

顔映像は、例えば照明光が顔に照射された際の反射光であるため、従来のＲＧＢ信号を用いた手法は、３色の反射光のスペクトル強度変化を観測していることとなる。そこで、定常的な光が顔にあたる場合は安定して脈拍を検出することが可能であるが、撮像環境の外光変化が生じる場合は、各スペクトルが影響を受け、誤検出が生じる。また、独立成分分析を適用することで、ノイズを分離することはできるが、変換後に物理量を特定するのは困難である。

本発明は、上記課題を鑑み、ＲＧＢ信号の各信号成分の変化量が異なることに注目し、顔映像の色成分を反射光の波長とスペクトル強度とに分離することで、環境変化に強い検出方法を提供することを特徴とする。

上記課題を解決するために、本発明は、対象物からの反射光を撮影して複数の波長の成分を含む映像信号を出力する撮像部と、前記映像信号から反射光の波長及び強度を取得する反射光解析部と、各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出部と、前記検出された差分の時刻に応じた変化を脈拍として検出する脈拍検出部と、を有し、前記反射光解析部は、前記映像信号を、色相及び明るさを含む色空間の信号に変換し、色相を波長として取得し、明るさを強度として取得し、人の肌の色を含む所定の範囲の色相を有する肌色領域を検出し、前記波長揺らぎ検出部は、前記肌色領域の色相に基づいて、前記差分を検出し、前記強度に基づく各時刻の前記肌色領域の明るさをその前の時刻の明るさと比較することによって前記肌色領域の明るさの変化を検出し、前記検出した明るさの変化が所定の値より大きい場合、当該明るさの変化が検出された時刻の前記差分の代わりに、当該明るさの変化が検出された時刻より前の時刻の前記差分を出力するか、又は、当該明るさの変化が検出された時刻の前記差分と当該明るさの変化が検出された時刻より前の時刻の前記差分との平均値を出力することを特徴とする。

本発明の一態様によれば、顔映像中の外光による影響を抑えることで、撮像環境の変化に強い脈拍の検出手法を提供することができる。上記した以外の課題、構成、及び効果は、以下の実施形態の説明によって明らかにされる。

本発明の実施例１に於ける生体情報検出装置の構成の一例を説明するブロック図である。 本発明の実施例１に於ける生体情報検出装置の反射光解析部の一例を説明するブロック図である。 本発明の実施例１に於ける生体情報検出装置の波長揺らぎ検出部の一例を説明するブロック図である。 本発明の実施例１に於ける生体情報検出装置の脈拍検出部の一例を説明するブロック図である。 本発明の実施例２に於ける生体情報検出装置の反射光解析部の一例を説明するブロック図である。 本発明の実施例３に於ける生体情報検出装置の反射光解析部の一例を説明するブロック図である。 本発明の実施例３に於ける生体情報検出装置の波長揺らぎ検出部の一例を説明するブロック図である。 本発明の実施例１に於ける空間フィルタの一例を表す図である。 本発明の実施例１に於けるＨＳＶ色空間及び部分色空間の指定範囲の一例を表す図である。 本発明の実施例１に於ける部分色空間の設定方法の一例を説明する図である。 本発明の実施例２に於ける生体情報検出装置の顔検出部によって検出される顔領域の一例を説明する図である。

以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。

本実施例では、カメラを備え、顔映像より波長とスペクトルを抽出することで脈拍検出を行う生体情報検出装置の例を説明する。

図１は、本発明の実施例１に於ける生体情報検出装置の構成の一例を説明するブロック図である。

本実施例における生体情報検出装置は、カメラ１００と、映像処理部２００と、データ表示部１０３とを備える。

映像処理部２００は、映像取得部２０１、反射光解析部２２０、波長データ記憶部２０５、波長揺らぎ検出部２４０及び脈拍検出部２６０を備える。映像取得部２０１は、カメラ１００から取得される撮像データ信号１０１を入力とし、映像ＲＧＢ信号２０２を出力する。反射光解析部２２０は、ＲＧＢ信号２０２を入力信号とし、レベル信号２０３及び波長データ信号２０４を出力する。波長データ記憶部２０５は、波長データ信号２０４を記憶し、遅延波長データ信号２０６を出力する。波長揺らぎ検出部２４０は、レベル信号２０３及び波長データ信号２０４を入力とし、波長のフレーム間差分を取得し、波長差分データ信号２０７を出力する。脈拍検出部２６０は、波長差分データ信号２０７を入力とし、脈拍信号１０２を出力する。

なお、本実施例の映像処理部２００は、例えば、カメラ１００に接続された計算機であってもよい。その場合、映像処理部２００は、プロセッサ（図示省略）、記憶装置（図示省略）及び入出力装置（図示省略）を有し、記憶装置に格納されたプログラムを実行することによって映像取得部２０１、反射光解析部２２０、波長揺らぎ検出部２４０及び脈拍検出部２６０の機能が実現される。波長データ記憶部２０５、映像データ記憶部２２１（図２参照）、差分データ記憶部２６１、平滑データ記憶部２６５、符号データ記憶部２６９、面積データ記憶部２５０及び積算データ記憶部２５６は、記憶装置によって実現される。また、入出力装置は、例えばキーボード及びマウス等の入力装置（図示省略）と、画像等を表示するデータ表示部１０３と、を含む。

図２は、本発明の実施例１に於ける生体情報検出装置の反射光解析部２２０の一例を説明するブロック図である。

反射光解析部２２０は、映像データ記憶部２２１、空間フィルタ２２３、ＨＳＶ変換部２２６及び肌色領域検出部２２９を備え、画素毎の映像処理を行う。映像データ記憶部２２１は、ＲＧＢ信号２０２を入力とし、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＲＧＢ信号２２２を出力する。空間フィルタ２２３は、遅延ＲＧＢ信号２２２を入力とし、例えば注目画素及びその周りの画素を加重平均し、平滑化したＲＧＢ信号２２４を出力する。ＨＳＶ変換部２２６は、平滑化したＲＧＢ信号２２４をＲ（赤）、Ｇ（緑）、Ｂ（青）信号に分解したアンパック信号２２５を入力とし、Ｈ信号（色相）すなわち波長データ信号２０４、Ｓ信号（彩度）２２７及びＶ信号（明度）２２８へと変換する。肌色領域検出部２２９は、Ｈ信号（色相）２０４、Ｓ信号（彩度）２２７及びＶ信号（明度）２２８を入力とし、人の肌の色を含む色空間上の領域である肌色領域を示すレベル信号２０３を出力する。

図８は、本発明の実施例１に於ける空間フィルタの一例を表す図である。

図８は、縦横３タップすなわち３×３のコンボリューションカーネルを画像に適用した例であり、画像の注目画素を中心にカーネルと畳み込み演算を施した値が平滑化したＲＧＢ信号２２４となる。カーネルの値は加重平均の係数であり、それらの合計値は１．０になればよく、平滑化には例えば平均値分布又はガウシアン分布等を用いることができる。

図９は、本発明の実施例１に於けるＨＳＶ色空間及び部分色空間の指定範囲の一例を表す図である。

図９はＨＳＶ色空間を円柱座標で表現している。縦軸はＶａｌｕｅすなわち明度で色の明るさを表し、半径方向の軸はＳａｔｕｒａｔｉｏｎすなわち彩度で色の濃さを示す。回転角がＨｕｅすなわち色相となる。色相は、強さや濃さとは独立で、撮像が光の反射を捉えていると考えると、反射光の波長成分に相当すると考えられる。同様に、明度は特定波長の強度を示すと考えることができる。尚、肌色領域検出部２２９は、このＨＳＶ色空間に於いて図９の領域９００のように部分色空間を用いて肌色領域を指定し、ＨＳＶ値が肌色領域に含まれる場合にはレベル信号２０３として１、含まれない場合には０を出力すればよい。

図１０は、本発明の実施例１に於ける部分色空間の設定方法の一例を説明する図である。

例えば、生体情報検出装置のデータ表示部１０３が、図１０に示すように色相、彩度及び明度のそれぞれの全範囲を示すバーと、それらのバーの上で指定する範囲の両端（例えば色相を指定する「色１」及び「色２」）を指示するアイコンとを表示し、ユーザが映像処理部２００の入力装置（図示省略）を用いてそれらのアイコンを操作することによって範囲を指定してもよい。

例えば色相については、０度から３６０度までの範囲のバーが表示され、０度＝３６０度は赤色、１２０度は緑色、２４０度は青色であり、図１０に示すように色１と色２で指定した区間（すなわち色１から色２までの色相の範囲）を該当範囲とすればよい。同様に、彩度は０％を淡色、１００％を濃色、明度は０％を暗色、１００％を明色とし、範囲の両端（例えば彩度については彩度１及び彩度２、明度については明度１及び明度２）を指定することによって範囲を指定すればよい。例えばカメラ１００が人物を撮影するときに使用される照明の種類及び撮影される人物ごとの肌の色の個人差等によって、撮影される肌の色及び明るさ等が大きく異なる場合があるが、上記のような設定方法を用いて、適切な色相、彩度及び明度の範囲を設定することによって、撮影環境及び撮影される人物の性質（例えば肌の色）等に応じて適切に脈拍を検出することができる。

図３は、本発明の実施例１に於ける生体情報検出装置の波長揺らぎ検出部の一例を説明するブロック図である。

波長揺らぎ検出部２４０は、波長差分算出部２４１、肌面積算出部２４３、波長差分積算部２４４及び平均波長差分算出部２４７を備える。波長差分算出部２４１は、肌色領域を示すレベル信号２０３、波長データ信号２０４及び遅延波長データ信号２０６を入力とし、肌色領域内の画素の信号が入力された場合（すなわちレベル信号２０３として１が入力された場合）に、入力された波長データ信号２０４及び遅延波長データ信号２０６から算出した（すなわち各時刻の波長データ信号２０４と当該各時刻より前の時刻の波長データ信号２０４との差分である）波長差分データ信号２４２を出力し、肌色領域外の画素の信号が入力された場合は０値を出力する。肌面積算出部２４３は、肌色領域を示すレベル信号２０３を入力とし、フレーム毎に肌色領域の画素数をカウントし、肌色面積信号２４５を出力する。波長差分積算部２４４は、肌色領域画素の波長差分データ信号２４２を入力とし、フレーム毎の波長差分を積算し、積算波長差分データ信号２４６を出力する。平均波長差分算出部２４７は、肌色面積信号２４５と積算波長差分データ信号２４６とを入力とし、積算波長差分データを肌色面積で除算することによって、フレーム間で（すなわち１フレーム内の全画素について）平均した波長差分データ信号２０７を出力する。

図４は、本発明の実施例１に於ける生体情報検出装置の脈拍検出部の一例を説明するブロック図である。

脈拍検出部２６０は、差分データ記憶部２６１、平滑化フィルタ２６３、平滑データ記憶部２６５、傾き検出部２６７、符号データ記憶部２６９及び極値検出部２７１を備え、フレーム毎の映像処理を行う。差分データ記憶部２６１は、波長差分データ信号２０７を入力とし、遅延波長差分データ信号２６２を出力する。平滑化フィルタ２６３は、波長差分データ信号２０７及び遅延波長差分データ信号２６２を入力とし、連続時間軸上で複数フレーム分の波長データによって平滑化した波長差分データ信号２６４を出力する。平滑データ記憶部２６５は、平滑化した波長差分データ信号２６４を入力とし、複数フレーム分の波長差分データを保持し、平滑化した遅延波長差分データ信号２６６を出力する。

傾き検出部２６７は、ある時刻の平滑化した波長差分データ信号２６４と平滑データ記憶部２６５から出力された信号（すなわちより前の時刻の平滑化した波長差分データ信号２６４）とを比較することによって、平滑化した波長差分データの変化（すなわち傾き）を検出し、傾きの符号を求める符号データ信号２６８を出力する。具体的には、傾き検出部２６７は、連続する２フレームの平滑化した波長差分データ信号を比較してもよいし、連続する近傍の数フレームの平均フレーム間で平滑化した波長差分データ信号を比較してもよい。後者の場合、傾き検出部２６７は、例えば、連続する複数のフレームの波長差分データの平均と、それより前の連続する複数のフレームの波長差分データの平均とを比較して、差分の傾きを計算してもよい。符号データ記憶部２６９は、符号データ信号２６８を入力とし、複数フレーム分の符号データを保持し、遅延符号データ信号２７０を出力する。

極値検出部２７１は、符号データ信号２６８及び遅延符号データ信号２７０を入力とし、傾きの符号が正値から負値へ変化した（すなわち時刻に応じた差分の変化が増加から減少に転じた）フレームを極大、負値から正値へ変化した（すなわち時刻に応じた差分の変化が減少から増加に転じた）フレームを極小とすることで極値を求め、例えば極大値（又は極小値）を脈拍信号１０２として出力する。あるいは、極値検出部２７１は、極大値（又は極小値）が検出されたタイミングを示す情報を出力してもよい。

上記のように平滑化フィルタ２６３が差分データ信号を平滑化することによって、ノイズ等に起因する差分データ信号の微細な変動による脈拍の誤検出が防止される。傾き検出部２６７が隣接するフレーム間の差分データの変化（傾き）を検出し、その結果に基づいて極値検出部２７１が差分データの極大値又は極小値を検出することによって、精度よく脈拍信号を生成することができる。傾き検出部２６７が連続する近傍の複数フレームの平均フレーム間の差分を求める場合には、上記の平滑化と同様に、脈拍の誤検出が防止される。

ここで、データ表示部１０３において、脈拍信号の極大値を心拍のＲ波と見立て、極大値間隔すなわちＲ波間隔を複数フレーム分算出し、周波数解析を行うと、高周波成分（ＨＦ）と低周波成分（ＬＦ）のピークが見られる。一般的にＬＦ／ＨＦはストレス指標と呼ばれ、ストレス状態の検知にも利用できる。

以上の構成によれば、顔映像の色成分を反射光の波長とスペクトル成分とに分離することで、環境変化に強い検出方法を提供することができる。

なお、上記の実施例１では、カメラ１００が可視光のカラーカメラであり、Ｒ、Ｇ、Ｂの三つの波長の成分を含む映像信号を生成する。しかし、これは一例であり、カメラ１００は、対象物（例えば人間の顔）からの反射光を撮影して複数の波長の成分を含む映像信号を出力する撮像装置である限り、どのようなものであってもよい。例えば、上記の複数の波長の少なくとも一つが赤外線又は紫外線の領域に含まれてもよい。また、そのような映像信号を生成するために複数のカメラ１００が使用されてもよい。

また、カメラ１００は二つの波長の成分を含む映像信号を出力してもよい。例えば、カメラ１００が出力する映像信号にＲ信号及びＧ信号のみが含まれる場合、生成される色空間は、図９に示すＨＳＶ色空間のうち色相（Ｈｕｅ）がＲからＧまでの範囲の領域のみであるが、その領域に肌色領域９００が含まれていれば、上記と同様の処理を行うことができる。

また、上記の例ではＲＧＢ信号がＨＳＶ色空間の信号に変換されるが、色相と明るさを含む色空間である限り、例えばＨＳＬ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｌｉｇｈｔｎｅｓｓ）色空間等、他の色空間の信号に変換されてもよい。いずれの場合も、色相の信号に基づいて波長揺らぎを検出することによって、環境変化に強い検出方法を提供することができる。例えばＨＳＬ色空間の場合、輝度が明るさすなわち強度として取得される。

実施例１では、肌色領域を検出し、顔映像として脈拍検出を行う生体情報検出装置の構成を説明した。実施例２では、本発明に係る実施例１と同様の生体情報検出装置に於いて、さらに顔検出を行い、頭部を特定した後、肌色領域を検出する構成を有する生体情報検出装置を説明する。以下に説明する相違点を除き、実施例２の生体情報検出装置の各部は、図１〜図４等に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

実施例２の生体情報検出装置の構成は、反射光解析部２２０以外は図１等に示した実施例１の生体情報検出装置の構成と同様である。

図５は、本発明の実施例２に於ける生体情報検出装置の反射光解析部２２０の一例を説明するブロック図である。

実施例２に於ける反射光解析部２２０は、映像データ記憶部２２１、空間フィルタ２２３、ＨＳＶ変換部２２６、顔検出部２３０及び肌色領域検出部２３２を備える。これらのうち、顔検出部２３０はフレーム毎の映像処理を行い、その他の部分は画素毎の映像処理を行う。また、映像データ記憶部２２１、空間フィルタ２２３及びＨＳＶ変換部２２６は実施例１と同様であり、肌色領域検出部２３２の処理の一部が実施例１と異なる。

映像データ記憶部２２１は、ＲＧＢ信号２０２を入力とし、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＲＧＢ信号２２２を出力する。空間フィルタ２２３は、遅延ＲＧＢ信号２２２を入力とし、例えば注目画素及びその周りの画素を加重平均し、平滑化したＲＧＢ信号２２４を出力する。ＨＳＶ変換部２２６は、平滑化したＲＧＢ信号２２４をＲ、Ｇ、Ｂ信号に分解したアンパック信号２２５を入力とし、Ｈ信号（色相）すなわち波長データ信号２０４、Ｓ信号（彩度）２２７、Ｖ信号（明度）２２８へと変換する。顔検出部２３０は、平滑化したＲＧＢ信号２２４を入力とし、例えばＶｉｏｌａ−Ｊｏｎｅｓの手法によって顔検出を行い、顔領域信号２３１を出力する。肌色領域検出部２３２は、Ｈ信号（色相）２０４、Ｓ信号（彩度）２２７、Ｖ信号（明度）２２８および顔領域信号２３１を入力とし、図１１に示す顔領域信号内の肌色領域を示すレベル信号２０３を出力する。

図１１は、本発明の実施例２に於ける生体情報検出装置の顔検出部２３０によって検出される顔領域の一例を説明する図である。

図１１の例では、人物の顔を含む上半身の画像から、点線枠の領域が顔領域として検出される。

以上の構成によれば、顔を特定することができ、肌色の背景等による誤検出を抑え、脈拍検出を行うことが可能となる。

実施例１及び２では、肌色領域検出によって肌色領域を特定し、肌色領域内の波長差分データに基づいて脈拍検出を行う生体情報検出装置を説明した。実施例３では、本発明に係る実施例１に於いて、外光の影響による誤検出を抑制する構成を説明する。以下に説明する相違点を除き、実施例３の生体情報検出装置の各部は、図１〜図４等に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

実施例３の生体情報検出装置の構成は、反射光解析部２２０、波長揺らぎ検出部２４０及びこれらを結ぶレベル信号２０３以外は図１等に示した実施例１の生体情報検出装置の構成と同様である。

図６は、本発明の実施例３に於ける生体情報検出装置の反射光解析部２２０の一例を説明するブロック図である。

反射光解析部２２０は、映像データ記憶部２２１、空間フィルタ２２３、ＨＳＶ変換部２２６及び肌色領域検出部２２９を備え、画素毎の映像処理を行う。映像データ記憶部２２１は、ＲＧＢ信号２０２を入力とし、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＲＧＢ信号２２２を出力する。空間フィルタ２２３は、遅延ＲＧＢ信号２２２を入力とし、例えば注目画素及びその周りの画素を加重平均し、平滑化したＲＧＢ信号２２４を出力する。ＨＳＶ変換部２２６は、平滑化したＲＧＢ信号２２４をＲ、Ｇ、Ｂ信号に分解したアンパック信号２２５を入力とし、Ｈ信号（色相）すなわち波長データ信号２０４、Ｓ信号（彩度）２２７、Ｖ信号（明度）２２８へと変換する。肌色領域検出部２２９は、Ｈ信号（色相）２０４、Ｓ信号（彩度）２２７、Ｖ信号（明度）２２８を入力とし、肌色領域を示す２値レベル信号２３３（マスク信号）を出力する。反射光解析部２２０は、２値レベル信号２３３に応じて明度信号２２８を切り替えることでレベル信号２０３を出力する。すなわち、実施例３のレベル信号２０３の値は、肌色領域外の画素については０、肌色領域内の画素についてはその画素の明度の値となる。

図７は、本発明の実施例３に於ける生体情報検出装置の波長揺らぎ検出部２４０の一例を説明するブロック図である。

波長揺らぎ検出部２４０は、波長差分算出部２４１、肌面積算出部２４８、面積データ記憶部２５０、波長差分積算部２４４、積算データ記憶部２５６及び平均波長差分算出部２５５を備える。波長差分算出部２４１は、肌色領域を示すレベル信号２０３、波長データ信号２０４及び遅延波長データ信号２０６を入力とし、肌色領域内の画素の信号が入力された場合（すなわちレベル信号２０３として１が入力された場合）に、入力された波長データ信号２０４及び遅延波長データ信号２０６から算出した波長差分データ信号２４２を出力し、肌色領域外の画素の信号が入力された場合は０値を出力する。肌面積算出部２４８は、肌色領域を示す明度レベルを含む信号２０３を入力とし、フレーム毎に肌色領域すなわち０値以外の画素数をカウントし、肌色領域の面積を示す肌色面積信号２４５と、肌色領域の明るさを示す明度レベル信号２４９と、を出力する。面積データ記憶部２５０は、肌色面積信号２４５及び明度レベル信号２４９を入力とし、遅延肌色面積信号２５２及び遅延明度レベル信号２５１を出力する。波長差分積算部２４４は、肌色領域画素の波長差分データ信号２４２を入力とし、フレーム毎の波長差分を積算し、積算波長差分データ信号２４６を出力する。積算データ記憶部２５６は、波長差分データ信号２０７を入力とし、複数フレーム間のデータを保持し、遅延積算波長データ信号２５７を出力する。平均波長差分算出部２５５は、肌色面積信号２４５、フレーム間の明度レベル差分信号２５３、フレーム間の肌色面積差分信号２５４、積算波長差分データ信号２４６および遅延積算波長データ信号２５７を入力とし、積算波長差分データを肌色面積で除算することによって、フレーム内で平均した波長差分データ信号２０７を出力する。

フレーム間の明度レベル差分信号２５３は、各フレームの明度レベル信号２４９と、面積データ記憶部２５０に格納されている、当該各フレームより前の（例えば直前の）フレームの明度レベル信号２４９との差分であり、これが大きいほど明度レベルの変化が大きいことを示している。フレーム間の肌色面積差分信号２５４は、各フレームの肌色面積信号２４５と、面積データ記憶部２５０に格納されている、当該各フレームより前の（例えば直前の）フレームの肌色面積信号２４５との差分であり、これが大きいほど肌色面積の変化が大きいことを示している。

平均波長差分算出部２５５は、急激な外光変化が起きた場合、すなわち、明度レベル差分信号２５３が明度レベル差分閾値２５８と比べ大きい場合、現在のフレームの積算波長差分データ信号２４６及び肌色面積信号２４５から算出した平均波長差分データの代わりに、遅延積算波長データ信号２５７（例えば一つ前のフレームなどの過去のフレームの積算波長差分データ信号２４６及び肌色面積信号２４５から算出し、出力した波長差分データ信号２０７）を現在のフレームに関する波長差分データ信号２０７として出力してもよいし、当該遅延積算波長データ信号２５７と現在のフレームの積算波長差分データ信号２４６及び肌色面積信号２４５から算出した平均波長差分データとの平均値を現在のフレームに関する波長差分データ信号２０７として出力してもよい。これによって、外光の急激な変動に起因する誤検出が抑制される。同様に、平均波長差分算出部２５５は、検出される肌色領域の変化が大きい場合、すなわち、肌色面積差分信号２５４が肌色面積差分閾値２５９と比べ大きい場合も、現在のフレームの平均波長差分データの代わりに、遅延積算波長データ信号２５７、または遅延積算波長データ信号２５７と現在のフレームの積算波長差分データ信号２４６及び肌色面積信号２４５から算出した平均波長差分データとの平均値を現在のフレームに関する波長差分データ信号２０７として出力してもよい。

以上の構成によれば、脈拍検出に於いて、外光の急激な変動及び撮影された肌色面積の急激な変動の影響に起因する誤検出を抑制し、好適に測定を行うことができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１０１ 撮像データ信号
１０２ 脈拍信号
２００ 映像処理部
２０２ ＲＧＢ信号
２０３ レベル信号
２０４ 波長データ信号（色相信号）
２０６ 遅延波長データ信号
２０７ 波長差分データ信号
２２２ 遅延ＲＧＢ信号
２２４ 平滑化したＲＧＢ信号
２２５ アンパック信号
２２７ 彩度信号
２２８ 明度信号
２３１ 顔領域信号
２３３ ２値レベル信号（マスク信号）
２４２ 肌色領域画素の波長差分データ信号
２４５ 肌色面積信号
２４６ 積算波長差分データ信号
２４９ 明度レベル信号
２５１ 遅延明度レベル信号
２５２ 遅延肌色面積信号
２５３ 明度レベル差分信号
２５４ 肌色面積差分信号
２５７ 遅延積算波長データ信号
２６２ 遅延波長差分データ信号
２６４ 平滑化した波長差分データ信号
２６６ 平滑化した遅延波長差分データ信号
２６８ 符号データ信号
２７０ 遅延符号データ信号
９００ 部分色空間

Claims (4)

1. 対象物からの反射光を撮影して複数の波長の成分を含む映像信号を出力する撮像部と、前記映像信号から反射光の波長及び強度を取得する反射光解析部と、各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出部と、前記検出された差分の時刻に応じた変化を脈拍として検出する脈拍検出部と、を有することを特徴とする生体情報検出装置であって、
   前記反射光解析部は、
   前記映像信号を、色相及び明るさを含む色空間の信号に変換し、色相を波長として取得し、明るさを強度として取得し、
   人の肌の色を含む所定の範囲の色相を有する肌色領域を検出し、
   前記波長揺らぎ検出部は、
   前記肌色領域の色相に基づいて、前記差分を検出し、
   前記強度に基づく各時刻の前記肌色領域の明るさをその前の時刻の明るさと比較することによって前記肌色領域の明るさの変化を検出し、前記検出した明るさの変化が所定の値より大きい場合、当該明るさの変化が検出された時刻の前記差分の代わりに、当該明るさの変化が検出された時刻より前の時刻の前記差分を出力するか、又は、当該明るさの変化が検出された時刻の前記差分と当該明るさの変化が検出された時刻より前の時刻の前記差分との平均値を出力することを特徴とする生体情報検出装置。
2. 対象物からの反射光を撮影して複数の波長の成分を含む映像信号を出力する撮像部と、前記映像信号から反射光の波長及び強度を取得する反射光解析部と、各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出部と、前記検出された差分の時刻に応じた変化を脈拍として検出する脈拍検出部と、を有することを特徴とする生体情報検出装置であって、
   前記反射光解析部は、
   前記映像信号を、色相及び明るさを含む色空間の信号に変換し、色相を波長として取得し、明るさを強度として取得し、
   人の肌の色を含む所定の範囲の色相を有する肌色領域を検出し、
   前記波長揺らぎ検出部は、
   前記肌色領域の色相に基づいて、前記差分を検出し、
   各時刻の前記肌色領域の面積をその前の時刻の面積と比較することによって前記肌色領域の面積の変化を検出し、前記検出した面積の変化が所定の値より大きい場合、当該面積の変化が検出された時刻の前記差分の代わりに、当該面積の変化が検出された時刻より前の時刻の前記差分を出力するか、又は、当該面積の変化が検出された時刻の前記差分と当該面積の変化が検出された時刻より前の時刻の前記差分との平均値を出力することを特徴とする生体情報検出装置。
3. 対象物からの反射光を撮影して複数の波長の成分を含む映像信号を出力する撮像部を有する生体情報検出装置が実行する生体情報検出方法であって、
   前記映像信号から反射光の波長及び強度を取得する反射光解析手順と、
   各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出手順と、時刻ごとに検出された前記差分の変化を脈拍として検出する脈拍検出手順と、を含み、
   前記反射光解析手順は、
   前記映像信号を、色相及び明るさを含む色空間の信号に変換し、色相を波長として取得し、明るさを強度として取得する手順と、
   人の肌の色を含む所定の範囲の色相を有する肌色領域を検出する手順と、を含み、
   前記波長揺らぎ検出手順は、
   前記肌色領域の色相に基づいて、前記差分を検出する手順と、
   前記強度に基づく各時刻の前記肌色領域の明るさをその前の時刻の明るさと比較することによって前記肌色領域の明るさの変化を検出し、前記検出した明るさの変化が所定の値より大きい場合、当該明るさの変化が検出された時刻の前記差分の代わりに、当該明るさの変化が検出された時刻より前の時刻の前記差分を出力するか、又は、当該明るさの変化が検出された時刻の前記差分と当該明るさの変化が検出された時刻より前の時刻の前記差分との平均値を出力する手順と、を含むことを特徴とする生体情報検出方法。
4. 対象物からの反射光を撮影して複数の波長の成分を含む映像信号を出力する撮像部を有する生体情報検出装置が実行する生体情報検出方法であって、
   前記映像信号から反射光の波長及び強度を取得する反射光解析手順と、
   各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出手順と、時刻ごとに検出された前記差分の変化を脈拍として検出する脈拍検出手順と、を含み、
   前記反射光解析手順は、
   前記映像信号を、色相及び明るさを含む色空間の信号に変換し、色相を波長として取得し、明るさを強度として取得する手順と、
   人の肌の色を含む所定の範囲の色相を有する肌色領域を検出する手順と、を含み、
   前記波長揺らぎ検出手順は、
   前記肌色領域の色相に基づいて、前記差分を検出する手順と、
   各時刻の前記肌色領域の面積をその前の時刻の面積と比較することによって前記肌色領域の面積の変化を検出し、前記検出した面積の変化が所定の値より大きい場合、当該面積の変化が検出された時刻の前記差分の代わりに、当該面積の変化が検出された時刻より前の時刻の前記差分を出力するか、又は、当該面積の変化が検出された時刻の前記差分と当該面積の変化が検出された時刻より前の時刻の前記差分との平均値を出力する手順と、を含むことを特徴とする生体情報検出方法。