JP6543546B2 - 特定動作検出装置及び特定動作検出方法 - Google Patents

Description

本発明は、事前情報として入力動画像から人物の特定の行動を定量化した数値データを保持し、未知の入力データに対して、事前情報として保持した数値データとの比較によって類似度を推定する特定動作検出装置および方法に関する。

近年、病院や高齢者施設において患者や入居者が転倒して骨折等怪我をする事故が多発している。このような事故を未然に防止するために、本発明者等は特許文献１においてベッド上及び室内の見守りシステムを提案した。これは、可視カメラを用いて見守り対象者を画像で捕捉することで、起き上がり動作等の特定動作の検知を可能としている。

特開２０１５−１５６１２７号公報

しかしながら、上記特許文献１の技術は、カメラ位置を固定した場合は良好な検出精度を維持できるが、カメラ位置を変更した場合、画像から得られる出力値が変化するために、起き上がり動作の検出精度が低下した。
これは、カメラ位置を変更する事で、画像中のベッドの見え方が変化することに起因し、カメラを患者の頭上に設置した映像とベッドサイドに設置した映像では、ベッドの見え方は４５度以上の大きな角度差として現れる。

ここで、カメラ設置位置に対するベッドの見え方の一例を示す。カメラを図６のように患者頭部近辺に設置した場合、カメラに映るベッドの見え方は図７となる。尚、図６は見守り対象者とカメラの関係を示す平面説明図であり、Ｍは見守り対象者、Ｂはベッド、Ｐ１〜Ｐ７はカメラの位置を示している。図７では図６のＰ１〜Ｐ７点に設置したカメラの画像を示している。また、図７ではベッドの角度を明示するためにベッド長手方向の中心を直線で示し、図７（ａ）〜（ｇ）が順にＰ１〜Ｐ７点に対応している。

このように、ベッドの角度差が大きくなる事で，起き上がり動作の見えも大きく変化する。この見えの変化に起因して、抽出される画像特徴が大きく異なるという問題が発生する。例えば、図７（ｇ）の様に、ベッドが垂直方向に撮影された画像では、起き上がる際に上半身は直線運動を行う為、画像から輝度勾配を算出すると比較的画面の垂直方向に向きを持つ特徴が抽出される。しかし，図７（ｂ）の場合，起き上がり動作における上半身の動きは腰を中心として頭を端点とした回転運動を行う為、画像から輝度勾配を抽出すると斜め方向の画像特徴が最も多く抽出される。

特許文献１では、従来の輝度勾配自己相関特徴の次元数は、勾配方向を４方向に制限した場合３２４次元となる。また、特許文献１の数１０が示す通り、勾配の異なる動作に基づく自己相関はそれぞれ異なる次元の特徴として抽出される。つまり，画像水平方向に勾配を持つ物体の動作と画像垂直方向に勾配を持つ物体の動作は、移動方向が同じ場合でも異なる特徴量として区別される。

具体的に、図８は図７（ｂ）及び図７（ｇ）の動画像における人物周辺領域から算出した起き上がりの動作特徴を表す輝度勾配差分特徴を示し、角度差による輝度勾配の差異を明示している。この図８に示すように、同じ起き上がり動作でも見え方の変化により異なる輝度勾配が算出される。この結果、この輝度勾配から算出される輝度勾配差分自己相関特徴は異なる特徴ベクトルとして扱われ、抽出された特徴量はＡｄａｂｏｏｓｔにより特徴ベクトル毎の識別が行われ、識別結果に大きな影響を与えた。

そこで、本発明はこのような問題点に鑑み、画像の見え方が異なる起き上がり動作に対して，同一の動作として認識できる特定動作検出装置及び特定動作検出方法を提供することを目的としている。

上記課題を解決する為に、請求項１の発明に係る特定動作検出装置は、撮像映像を連続する画像フレームで出力する撮像手段と、画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、複数の時系列の画像フレームに対して、求めた輝度勾配の差分を算出する輝度勾配差分算出部と、算出した輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部と、算出した自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定部と、判定部の判定結果を出力する結果出力部とを有することを特徴とする。
この発明によれば、自己相関特徴ベクトルの畳み込みの効果によって、撮像手段の取り付け位置の変化で見え方が異なる動作が大まかな動作カテゴリに集約されるため、撮像手段の取り付け位置を厳密に指定しなくても特定動作の効果的な識別が可能となる。

請求項２の発明は、請求項１に記載の構成において、輝度勾配差分自己相関特徴算出部は、畳み込み前の方向数をＫ、畳み込み後の方向数をｐ、畳み込まれる１方向のあたりの要素数をＱ、セル位置（ｘ，ｙ）の位置ベクトルをｒ、輝度勾配の方向をｋ_ｐ、輝度勾配差分をｆ（ｒ，ｋ）、変位ベクトルをａ_Ｎ、自己相関の次数をＮ、Ｉを入力画像とすると、輝度勾配差分から抽出した時間変化のベクトルに対して、畳み込みを次式で行って自己相関特徴を算出することを特徴とするとする。

ここで、上記特許文献１の技術を基にした、本願発明に至る流れを説明する。特許文献１の手法において、異なる勾配方向を組み合わせたマスクパターンの出力値はガウスカーネルにより低減される。この出力値は起床動作識別における特徴量として用いられるが，ガウスカーネルにより０に近い値まで低減された場合、識別器に正例が入力された場合でも負例が入力された場合でも出力値が等しくなる。正例と負例に対する判別能力が無い為、この異なる勾配方向が組み合わされたマスクパターンは識別器の要素から除外する事が出来る。そのため、マスクパターンの計算処理は同一方向の勾配のみで構成されたマスクパターンだけを扱う処理に置き換えられ、次の式で記述する事が出来る。

数３は任意のマスクパターンから得られる出力値を計算する際に、全てのセルの勾配方向が等しいことを表している。
次に本願発明の計算処理について述べる。今、Ｋ方向の勾配をＰ方向の勾配に畳み込むとすると、Ｋ／Ｐ個の要素が１方向に畳み込まれる。この要素数をＱとすると、方向数Ｋ，Ｐ、要素数Ｑの関係は次式で表される。

請求項３の発明は、請求項１又は２に記載の構成において、撮像手段が、ベッド上の人物を撮像するカメラであると共に、
事前に特定物体の行動特徴を数値化したデータが、ベッド上で起き上がり動作する人物のデータを含む人物の動作データであり、判定部がカメラの撮像映像から人物の起き上がり動作を判定することを特徴とする。
この発明によれば、カメラの設置位置が変化しても、ベッドに伏している見守り対象者の起き上がり動作を確実に検出できる。

請求項４の発明は、プロセッサにより実行される特定動作検出方法であって、撮像手段から連続して出力される画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算ステップと、複数の時系列の画像フレームに対して、求めた輝度勾配の差分を算出する輝度勾配差分算出ステップと、算出した輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出ステップと、算出した自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定ステップと、を実行することを特徴とする。
この発明によれば、自己相関特徴ベクトルの畳み込みの効果によって、撮像手段の取り付け位置の変化で見え方が異なる動作が大まかな動作カテゴリに集約されるため、撮像手段の取り付け位置を厳密に指定しなくても特定動作の効果的な識別が可能となる。

本発明によれば、自己相関特徴ベクトルの畳み込みの効果によって、撮像手段の取り付け位置の変化で見え方が異なる動作が大まかな動作カテゴリに集約されるため、撮像手段の取り付け位置を厳密に指定しなくても特定動作の効果的な識別が可能となる。

本発明に係る特徴動作検出装置の一例を示すブロック図である。 輝度勾配差分抽出までの概念図であり、（ａ）はカメラが出力する時系列画像フレーム、（ｂ）は個々の画像の輝度勾配画像、（ｃ）は輝度勾配画像のフレーム間差分を示している。 輝度勾配差分の自己相関抽出の概略図である。 次数２のマスクパターン組み合わせ説明図である。 輝度勾配差分自己相関特徴算出部の動作説明図であり、（ａ）は輝度勾配差分を小領域に分解して全領域を探索する概念図、（ｂ）ば小領域の勾配パターンと事前に定義した３２４パターンを比較する概念図、（ｃ）は全領域の変化量で作成したヒストグラムである。 カメラ位置と見守り対象者の関係を示す平面説明図である。 図６に示す各場所に設置したカメラの撮像画像である。 特徴抽出の結果画像を示し、（ａ）はカメラがＰ７点に設置された場合、（ｂ）はカメラがＰ２点に設置された場合を示している。 マスクパターン形状サンプルであり、（ａ）はカメラがＰ７点に設置された場合、（ｂ）はカメラがＰ２点に設置された場合である。 勾配の異なるマスクパターンの説明図である。 畳み込み結果を示し、（ａ）は従来の出力、（ｂ）は本発明手法の出力である。

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る特定動作検出装置の一例を示すブロック図であり、１は見守り対象を撮像して連続する画像フレームを出力する撮像手段としてのカメラ、２はカメラ１が出力した画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部、３は複数の時系列の画像フレームに対して求めた輝度勾配の差分を抽出する輝度勾配差分算出部、４は輝度勾配差分の自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部、５は得られた自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定部、６は判定結果を出力する結果出力部である。
尚、輝度勾配算出部２、輝度勾配差分算出部３、輝度勾配自己相関特徴算出部４、判定部５は所定のプログラムをインストールしたＣＰＵ或いはＤＳＰ等のプロセッサで一体に構成される。

以下、各部の動作を説明する。但し、ここで検出する特定の動作は、ベッドに伏している患者等の見守り対象者が起き上がる動作であり、見守り対象者の起き上がる動作を検出したら報知する構成について説明する。
図２は個々のカメラ１の出力画像から輝度勾配差分算出部３までの概念図を示し、（ａ）はカメラ１が出力する時系列画像フレーム、（ｂ）は個々の画像の輝度勾配画像、（ｃ）は算出した輝度勾配画像のフレーム間差分を示している。

カメラ１は、ベッド全体を上方から撮像するよう設置され、特にベッド上の患者を認識し易い頭部の上方に設置される。そして、例えば０．２秒毎に図２（ａ）に示すような画像フレーム（以下、単に「フレーム」と称する）を生成して出力する。

輝度勾配算出部２は、カメラ１が出力した画像をあらかじめ定義したパッチサイズにダウンサンプリングし、各ピクセルの輝度から勾配強度ｍ（ｘ，ｙ）と勾配方向θ（ｘ，ｙ）を次式より算出する。図２（ｂ）はこの勾配方向θに基づく輝度勾配画像を示している。

数５において、ｄｘ（ｘ，ｙ）並びにｄｙ（ｘ，ｙ）は輝度差であり，次の式で算出される。

数６において、Ｉ（ｘ，ｙ）は、（ｘ，ｙ）座標上の輝度である。
続いて，勾配方向θをビン数Ｋの勾配ヒストグラムｈ_Ｋ（ｘ，ｙ）に畳み込む。ｈ_Ｋ（ｘ，ｙ）はＳ×Ｓピクセル領域内の全ての画素の勾配方向θを集計して得られる。
勾配ヒストグラムｈ_Ｋ（ｘ，ｙ）のビンのインデックスをｋとすると，各ビンのスコアｈ_ｋ（ｘ，ｙ）は，次式で表される。

数７において、θ'（ｘ，ｙ）は勾配方向θ（ｘ，ｙ）をＫビンに畳み込んだ値、δ［・］はクロネッカーのデルタを表し，仮に勾配ヒストグラムｈ_Ｋ（ｘ，ｙ）のビンのインデックスｋとθ'（ｘ，ｙ）が等しければ１を返し，それ以外ならば０を返す。

輝度勾配差分算出部３は、輝度勾配算出部２によって算出した輝度勾配の隣接画像間の差分を算出、即ち輝度勾配の時間変化量を算出する。時刻ｔにおける輝度勾配の勾配強度ヒストグラムをｈ_ｋ（ｘ，ｙ，ｔ）とおくと、輝度勾配画像のフレーム間差分である輝度勾配ヒストグラム差分Ｓ_ｋ（ｘ，ｙ）は，次式により得られる。図２（ｃ）が、こうして得られた輝度勾配画像のフレーム間差分を示している。
なお、フレーム間隔を大きくすることで遅い動きや詳細な動きに対する耐性を持たせることができる。

輝度勾配差分自己相関特徴算出部４は、算出した輝度勾配差分から抽出した時間変化のベクトルに対して畳み込みを行って自己相関特徴ベクトルを算出する。具体的に、セルの座標位置、時刻の３次元ベクトルで構成されたマスクパターンに，輝度勾配方向の情報を加えた４次元空間上における勾配強度の自己相関を算出して輝度勾配差分自己相関特徴を求める。

図３は輝度勾配差分の自己相関抽出の概略を示し、セルの座標位置はＸＹ平面で定義され、時系列情報はｔ軸で定義される。更に、輝度勾配方向は、セル毎のビン数により定義され、これらの４次元ベクトルを用いて任意の輝度勾配強度が表される。また、図３に示すようにマスクパターンは、Ｎ×Ｎ×Ｎセルで定義されたマスクブロック内の３次元ベクトル（ｘ，ｙ，ｔ）から得られるブロックの組み合わせパターンである。

例として次数２のマスクパターンで説明する。尚、ここで用いる次数とは、ＣＨＬＡＣ特徴の次数同様に着目する変位の数であり、着目変位の数が基準点を除いて２点あることを示す。ＣＨＬＡＣでは着目する変位の位置(変位点)は、マスクブロックの全てのセルに設定される可能性があるが、本発明では変位点の位置は各フレームで１つに限定する。更に、基準点が設定されたフレームには変位点を設定しない。つまり、計算対象となるセルは常にフレームに１つだけとする。

このような制約をすることで、マスクパターンの組み合わせは、起点の置かれたフレームを除いた残りの前後２フレームから各一点ずつを抽出することになり、それぞれのフレームの９セルを組み合わせてマスクパターンが作成される。つまり、次数２の場合、マスクブロック内には８１ (=９×１×９)のマスクパターンが定義される。図４はこの次数２のマスクパターン組み合わせ概要を示している。
そして、次数をＮとした場合のマスクパターン数は次式のように表される。ただし、マスクパターンを構成するブロックサイズをＨ×Ｗとする。

入力画像全体で抽出される特徴の総数は，セル領域サイズに分割した画像に対して、マスクブロックを１セルずつずらして走査したマスクブロック数となり、１画像にＨ×Ｗ個のセルが存在する場合、１画像あたり（Ｗ−Ｎ＋１）×（Ｈ−Ｎ＋１）個のマスクブロックが得られる。更に勾配方向を組み合わせて（Ｗ−Ｎ＋１）×（Ｈ−Ｎ＋１）×Ｋ個の特徴が得られる。

一方で、異なる勾配方向を組み合わせたマスクパターンの出力値はガウスカーネルにより低減される。このマスクパターンの出力値は、起床動作識別における特徴量として用いられるが，ガウスカーネルにより０に近い値まで低減された場合、識別器に正例が入力された場合でも負例が入力された場合でも出力値が等しくなる。正例と負例に対する判別能力が無い為、この異なる勾配方向が組み合わされたマスクパターンは識別器の要素から除外する事が出来る。そのため、マスクパターンの計算処理は同一方向の勾配のみで構成されたマスクパターンだけを扱う処理に置き換えられ、次の式で記述する事が出来る。

ここで，セル位置（ｘ，ｙ）の位置ベクトルをｒ、輝度勾配の方向をｋ、輝度勾配差分をｆ（ｒ，ｋ）、変位ベクトルをａ_Ｎ、自己相関の次数をＮ、Ｉは入力画像を示す。この数１０は、任意のマスクパターンから得られる出力値を計算する際に，全てのセルの勾配方向が等しい事を表している。
そして、今、Ｋ方向の勾配をＰ方向の勾配に畳み込むとすると、Ｋ／Ｐ個の要素が１方向に畳み込まれる。この要素数をＱとすると、方向数Ｋ，Ｐ、要素数Ｑの関係は次式で表される。

更に、畳み込まれた勾配の方向をｋ_ｐと置くと、本発明の自己相関特徴は次式で得られる。

ここで、畳み込み後の方向数をｐ、畳み込まれる１方向当りの要素数をＱとする。

図５はこの輝度勾配差分自己相関特徴算出部４の動作説明図であり、（ａ）は輝度勾配差分を小領域に分解し、全領域を探索する概念図、（ｂ）は小領域の勾配パターンと、事前に定義した３２４パターンを比較する概念図、（ｃ）は勾配強度の変化量を全領域で作成したヒストグラムを示している。

判定部６は、人物と背景によってクラス分けされた学習サンプルと特徴量を用いて学習された強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて検出を行う。ここでは、起き上がり動作と、それ以外の動作、歩行・座る・伸び等によってクラス分けされた学習サンプルと特徴量を用いて学習された強識別器によって構成されるアダブーストによるカスケード型識別器を用いて検出し、起き上がり動作であると判定したら、起き上がり検出信号を結果出力部へ出力する。

結果出力部７は、警報等を報音する報音部、検出した映像を表示する表示部、外部に通報する通報部等を備え、判定部６が出力する起き上がり検知信号を受けて報音通知し、カメラ１の撮像映像を表示する。

このように、自己相関特徴ベクトルの畳み込みの効果によって、撮像手段の取り付け位置の変化で見え方が異なる動作が大まかな動作カテゴリに集約されるため、撮像手段の取り付け位置を厳密に指定しなくても特定動作の効果的な識別が可能となる。

ここで、上記図６に示す位置にカメラ１を設置した場合について、上記特定動作検出装置の動作を具体的に説明する。図９はマスクパターン形状のサンプル、図１０は勾配の異なるマスクパターン、図１１は畳み込み結果をそれぞれ示し、これらを参照して説明する。
上述したように、輝度勾配算出部２において輝度勾配が算出され、輝度勾配差分自己相関特徴算出部４において勾配方向θの畳み込みが行われるが、図９はの畳み込まれる特徴ベクトルの一例をマスクパターンの形状で示し、図９（ａ）は上記図６に示すＰ７点にカメラ１が設置された場合、図９（ｂ）はＰ２点にカメラ１が設置された場合の畳み込まれる特徴ベクトルの一例をマスクパターンの形状で示している。

微小時間での画素変化を考えた場合に、上記図７（ｇ）の様に垂直方向の輝度勾配を多く含む物体の垂直方向運動から得られる特徴は、図９（ａ）のようなマスクパターン形状となる。また、同じ物体の動作を側面からとらえた際の傾斜角を持つ輝度勾配の特徴は、図９（ｂ）の様なマスクパターン形状となる。
このような図９（ａ）の輝度勾配と図９（ｂ）の輝度勾配が同一画像中で発生した場合、上記の演算を実施して輝度勾配を算出した後、自己相関の算出処理において勾配方向の畳み込み処理を行うことで、輝度勾配の値は図１１（ｂ）に示すように同一の出力として集計される。

但し、図１１においてＤ１はカメラ１をＰ７点に設置した場合、Ｄ２はカメラをＰ２点に設置した場合を示し、図１１（ａ）は上記特許文献１の手法による畳み込み結果を示している。また、前提条件として使用する勾配方向θは４、畳み込みの次元数は１、ガウスカーネルは極端に凸形状で、図１０に示す様な異なる勾配を含むマスクパターンの出力値が０となる様に設定する。その場合、特許文献１の手法では出力次元数は３２４となり、本発明の手法では勾配の４方向が畳み込まれることで出力次元数は８１となる。その結果、勾配方向θの値は図１１（ｂ）に示す様に同一の出力として集計され、畳み込み処理により、この二つの特徴量は同一のベクトルとして扱われる。

よって、２次元画像の平面的な制約上、同じ動作でありながら見えの違いで分離された情報は、特徴量の畳み込みを用いることで再び同じ動作の情報として統合される。そのため、カメラ１の設置位置が変化しても、ベッドＢに伏している見守り対象者Ｍの起き上がり動作を確実に検出することができる。

上記実施形態は、ベッドに伏している人物が起き上がる動作を検出する作用に関して説明したが、本発明の特定動作検出装置は、検出する動作を限定するものではない。判定部６において比較する学習サンプルの内容に応じて特定動作を幅広く変更でき、起き上がりの延長線上で考えれば、起き上がり動作は反応せずにベッドから離れようとする動作を検出して通知するよう動作させても良いし、他に転倒やしゃがみ込み動作を検出することも可能である。
また、覗き込み動作等の不審者特有の動作を判別させれば、不審者の検知も可能となる。

１・・カメラ（撮像手段）、２・・輝度勾配算出部、３・・輝度勾配差分算出部、４・・輝度勾配差分自己相関特徴算出部、５・・判定部、６・・結果出力部。

Claims (4)

1. 撮像映像を連続する画像フレームで出力する撮像手段と、
   前記画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、
   複数の時系列の前記画像フレームに対して、求めた前記輝度勾配の差分を算出する輝度勾配差分算出部と、
   算出した前記輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部と、
   算出した前記自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定部と、
   前記判定部の判定結果を出力する結果出力部とを有することを特徴とする特定動作検出装置。
2. 前記輝度勾配差分自己相関特徴算出部は、畳み込み前の方向数をＫ、畳み込み後の方向数をｐ、畳み込まれる１方向のあたりの要素数をＱ、セル位置（ｘ，ｙ）の位置ベクトルをｒ、輝度勾配の方向をｋ_ｐ、輝度勾配差分をｆ（ｒ，ｋ）、変位ベクトルをａ_Ｎ、自己相関の次数をＮ、Ｉを入力画像とすると、前記輝度勾配差分から抽出した時間変化のベクトルに対して、畳み込みを次式で行って自己相関特徴を算出することを特徴とする請求項１記載の特定動作検出装置。
   

   
3. 前記撮像手段が、ベッド上の人物を撮像するカメラであると共に、事前に特定物体の行動特徴を数値化したデータが、ベッド上で起き上がり動作する人物のデータを含む人物の動作データであり、
   前記判定部が前記カメラの撮像映像から人物の起き上がり動作を判定することを特徴とする請求項１又は２記載の特定動作検出装置。
4. プロセッサにより実行される特定動作検出方法であって、
   撮像手段から連続して出力される画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算ステップと、
   複数の時系列の前記画像フレームに対して、求めた前記輝度勾配の差分を算出する輝度勾配差分算出ステップと、
   算出した前記輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出ステップと、
   算出した前記自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定ステップと、を実行することを特徴とする特定動作検出方法。

Images