JP5822651B2 - 個体判別装置および個体判別方法 - Google Patents
個体判別装置および個体判別方法 Download PDFInfo
- Publication number
- JP5822651B2 JP5822651B2 JP2011235327A JP2011235327A JP5822651B2 JP 5822651 B2 JP5822651 B2 JP 5822651B2 JP 2011235327 A JP2011235327 A JP 2011235327A JP 2011235327 A JP2011235327 A JP 2011235327A JP 5822651 B2 JP5822651 B2 JP 5822651B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging region
- vital signs
- user
- correlation
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1102—Ballistocardiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb occurring during breathing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Image Analysis (AREA)
Description
この発明は、撮像画像から個体判別を行う装置および方法に関する。
家庭内のゲーム機にはカメラが搭載されたものがあり、ゲームプレイをするユーザを撮像してゲーム画面にユーザの画像を表示したり、ユーザの撮像画像からユーザの動作を検出してゲームに反映させることができる。また、カメラで撮影されたユーザの画像からユーザの表情を検出し、ゲームプレイ中のユーザの精神状態を把握してゲームの展開に反映させることもできる。また、複数のプレイヤがそれぞれコントローラを持ち、ゲーム機を操作することもでき、家族や友人などを加えて複数人でゲームをすることも多い。
また、ゲームプレイ中のユーザの緊張度合いを検出するために、脈拍を検知するセンサをユーザに装着させ、センサが出力する脈拍の測定結果をゲーム機に入力させてゲームに反映させることも行われている。
特許文献１には、被検体の撮像画像の濃度の時間的変化からバイタルサインを計測する方法が記載されている。
複数のプレイヤがコントローラをもってゲーム機を操作する場合や、コントローラをもっているプレイヤ以外にも家族や友人が周囲にいる場合、カメラで撮影した画像には複数のユーザが写っているため、撮像画像において個体判別をする必要がある。画像から顔や手などの領域を認識して、個体判別を行うこともできるが、コントローラを操作するプレイヤの手がゲームプレイ中に交差していると、手と顔の対応付けが難しくなることがある。
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮像画像において個体判別を正確に行うことのできる個体判別装置および個体判別方法を提供することにある。
上記課題を解決するために、本発明のある態様の個体判別装置は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含む。
本発明の別の態様は、個体判別方法である。この方法は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、撮像画像から正確に個体判別を行うことができる。
図１は、実施の形態に係るゲームシステムの構成図である。ゲームシステムは、ゲーム機２００、ディスプレイ２０、コントローラ３００、およびカメラ１０ａ、１０ｂを含む。
コントローラ３００は無線または有線でゲーム機２００と接続される。ディスプレイ２０にはカメラ１０ａが内蔵されており、ゲームをコントローラ３００をもってプレイしているユーザやそのユーザといっしょにいる友人や家族などを撮影する。ディスプレイ２０にはゲームの画面が表示される。ビデオカメラ１０ｂは、ユーザの身体の一部、たとえば、コントローラを持っている手や特定のユーザの顔などにフォーカスして撮影することができ、撮影された画像はゲーム機２００に入力される。ディスプレイ２０は、カメラ１０ａ、１０ｂで撮影されたユーザの画像を表示することもできる。
なお、ここではゲームプレイを例に実施の形態を説明するが、実施の形態は、ゲームに限らず、映像などをテレビ画面で鑑賞する場合にも適用することができる。
図２は、実施の形態に係る個体判別装置１００の構成図である。個体判別装置１００には、複数のカメラ１０ａ、１０ｂ、ディスプレイ２０、コントローラ３００、および装着センサ３１０が接続されている。個体判別装置１００は、図１のゲーム機２００に搭載される機能構成である。
カメラ１０ａ、１０ｂはユーザの身体の一部または全体の領域を撮影する。カメラは一台でも複数でもよい。たとえば、一つのカメラでゲームのプレイヤを含む複数人を撮影してもよい。あるいは、プレイヤを中心に撮影するカメラと、プレイヤを含むあるいは含まない複数人の全体を撮影する別のカメラとが設けられてもよい。あるいは、あるカメラがユーザの手を撮影し、別のカメラがユーザの顔を撮影してもよい。撮影された画像はフレーム記憶部３０に記憶される。
生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の撮像領域から周期的に変動する生命兆候の信号列を検出する。生命兆候信号検出部４０は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することができる。周期的に変動する生命兆候は心拍、呼吸などのバイタルサインである。たとえば５フレーム程度のフレーム数の撮像画像において肌が露出している身体の部位の皮膚の振動や光吸収特性の変化を検出すれば、心拍などの生命兆候の波形データ列を取得することができる。光吸収特性の変化は、皮膚の画像の濃度や色彩の変化として検出される。
生命兆候信号検出部４０は、撮像領域を小領域に区分して、区分された小領域毎に生命兆候の信号列を検出してもよい。計算量を抑え、また、ノイズを抑えるために、所定の面積の領域毎に生命兆候の信号列を検出することがより好ましい。
身体の撮像領域における皮膚の振動または光吸収特性の変化を検知して脈拍を計測する方法は、たとえば以下の文献に詳しく記載されている。
"Heart rate measurement based on a time-lapse image", Medical Engineering and Physics, 2007
"Advancements in non-contact, multiparameter physiological measurements using a webcam", IEEE Trans Biomed Eng, 2010.
"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", Optics Express, 2010.
"Heart rate measurement based on a time-lapse image", Medical Engineering and Physics, 2007
"Advancements in non-contact, multiparameter physiological measurements using a webcam", IEEE Trans Biomed Eng, 2010.
"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", Optics Express, 2010.
相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。第１の身体の撮像領域において検出された生命兆候の信号列をＨ１（ｔ）、第２の身体の撮像領域において検出された生命兆候の信号列をＨ２（ｔ）とすると、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒは、以下の式で求めることができるが、これとは異なる計算式を用いることも可能である。
同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。第１の身体の撮像領域の生命兆候の信号列Ｈ１（ｔ）と第２の身体の撮像領域の生命兆候の信号列Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔよりも大きければ、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔ以下であれば、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定する。
第１の身体の撮像領域と第２の身体の撮像領域はそれぞれ別のカメラ１０ａ、１０ｂによって撮像されたものであってもよい。たとえば、ユーザの手が第１のカメラ１０ａで撮像され、ユーザの顔が第２のカメラ１０ｂで撮像されている場合、ユーザの手の撮像画像から検出される生命兆候の信号列Ｈ１（ｔ）とユーザの顔の撮像画像から検出される生命兆候の信号列Ｈ２（ｔ）との間で相関Ｒを計算し、相関Ｒが高ければ、撮像されたユーザの手と顔は同一人物に属すると判定し、相関Ｒが低ければ、撮像されたユーザの手と顔とは別人物に属すると判定する。このように必ずしもユーザの手と顔が同じカメラで撮像されたものでなくても、手と顔それぞれから検出される生命兆候の信号列の相関を求めることで個体判別を行うことができる。
表示部７０は、同一人物に属すると判定された身体の複数の撮像領域に対して同一の強調表示を行ってディスプレイ２０に表示する。たとえば、同一人物に属すると判定された身体の複数の撮像領域は同じ色で表示する。これにより、個体判別装置１００がどのように個体判定を行ったかを画面内で確認することができる。
センサ入力部８０は、コントローラ３００に装備されたセンサまたは装着センサ３１０から周期的に変動する生命兆候の信号列の入力を受ける。たとえば、コントローラ３００には脈拍センサなどが装備され、コントローラ３００の操作者の脈拍を計測してセンサ入力部８０に入力することができる。また、脈拍センサなどの装着センサ３１０をユーザが手首や足首などに装着し、脈拍を計測してセンサ入力部８０に入力することもできる。
相関計算部５０は、センサ入力部８０から得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求めてもよい。同一性判定部６０は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がコントローラの操作者またはセンサ装着者に属するものであるか否かを判定することができる。たとえば、特定のジェスチャをしているユーザの手の撮像領域から検出された生命兆候の信号列と、センサから得られた生命兆候の信号列との相関が高い場合、ジェスチャをしている手がコントローラの操作者に属するものであると判定することができる。これにより、手によるジェスチャとコントローラによる操作とが同一人物によるものであることを把握することができ、手によるジェスチャもコントローラによる操作もゲームに対する同一ユーザからの入力として扱うことが可能になる。
個体情報管理部９０は、同一性判定部６０により同一人物に属すると判定された身体の撮像領域をユーザの個体情報として個体情報記憶部９２に格納して管理する。また、個体情報管理部９０は、コントローラの操作者またはセンサ装着者に属すると判定された特定の身体の撮像領域には、コントローラの操作者またはセンサ装着者を示すフラグを対応づけて管理する。これにより、撮像画像に写っている複数のユーザの中から、コントローラの操作者またはセンサ装着者の身体領域を特定し、たとえば、コントローラの操作者の顔の表情からゲームプレイ中のユーザの満足度を判定することができる。
生命兆候信号検出部４０は、生命兆候の信号列を離散フーリエ変換して周波数を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。あるいは、生命兆候の信号列の自己相関を求めて信号の周期を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。たとえば、生命兆候が心拍であれば、個体の生命兆候の周期性を示す特徴量として心拍数を求める。個体情報管理部９０は、個体の生命兆候の周期性を示す特徴量をユーザ単位で分類して個体情報記憶部９２に個体情報として格納する。これにより、たとえば、特定のユーザの心拍数が高まっているなど、ゲームプレイ中のユーザの興奮度合いなどを検出することができる。
このようにして得られるユーザの満足度や興奮度をゲーム展開にフィードバックすることにより、利便性や娯楽性を高めることができる。たとえば、ユーザの興奮度にもとづいてユーザがリラックスしていると判定される場合は、ゲーム展開に急激な変化を与える短期的な制御を行ってもよい。あるいは、ユーザの満足度にもとづいて、コントローラの操作やゲームのルールなどに対するユーザの習熟度を把握し、ユーザの習熟度に応じてゲーム展開の速度などを調整する長期的な制御を行ってもよい。また、プレイヤの心拍数が高過ぎる場合や、心拍数が元に復帰するのが遅い場合は、プレイヤに休憩するように提案するようにしてもよい。また、ユーザの満足度や興奮度を記録して、ネットワークなどを介してゲーム開発元にフィードバックし、ゲームのアップデートや将来のゲーム開発に活かしてもよい。
また、コントローラを持ったプレイヤとは別のユーザの顔を顔検出機能を用いて検出し、そのユーザとプレイヤ間の心拍数変動や呼吸タイミングの相関値を、プレイヤとの共感を示す指標とみなし、観察者も含めた場の盛り上がりを評価してもよい。たとえば、パーティ系ゲームなどにおいて、共感を示す指標が低く、プレイヤだけが興奮しても場が盛り上がっていない場合、そのような指標にもとづいてゲーム展開を調整することができる。
また、顔、手、足などの同一個体の身体情報をもとにプレイヤの姿勢を推測し、良くない姿勢が長時間に及ぶ場合に姿勢を直すようアドバイスしてもよい。ヨガのようにプレイヤの体を動かすアプリケーションの場合、ユーザの姿勢の良否を判断する材料として用いることができる。
図３Ａは、カメラ１０ａ、１０ｂにより撮影されたユーザの画像を説明する図である。ゲーム機２００の前で４人のユーザ４００、４０２、４０４、４０６がゲーム画面を見ているとする。これらのユーザは家族であり、右から二人目のユーザ４０４（母親）はコントローラ３００を手にもっている。左から二人目のユーザ４０２（父親）は図示しないが手首に装着センサ３１０を装着している。
図３Ｂは、同一性判定部６０による身体の撮像領域の判定結果を説明する図である。二つの身体の撮像領域４１０ａ、４１０ｂは、これらの撮像領域から検出される生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４００に属すると判定される。同一性判定に用いられる相関の閾値は、同一性判定の成否を一定の誤差範囲に収めるべく、実験的に定めることができる。
同様に、二つの身体の撮像領域４１２ａ、４１２ｂは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０２に属すると判定され、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０４に属すると判定され、三つの身体の撮像領域４１６ａ、４１６ｂ、４１６ｃは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０６に属すると判定される。
ここで、ユーザ４０２（父親）は、装着センサ３１０を装着していることから、装着センサ３１０から父親の生命兆候の信号列を取得することができる。装着センサ３１０からの生命兆候の信号列は、二つの身体の撮像領域４１２ａ、４１２ｂの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１２ａ、４１２ｂは、装着センサ３１０の装着者（ここでは父親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１２ａ、４１２ｂを装着センサ３１０の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
また、ユーザ４０４（母親）は、コントローラ３００を手に持っており、コントローラ３００に装備されたセンサから母親の生命兆候の信号列を取得することができる。コントローラ３００のセンサからの生命兆候の信号列は、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、コントローラ３００の操作者（ここでは母親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄをコントローラ３００の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
図４は、個体判別装置１００による個体判別手順を説明するフローチャートである。ここでは、生命兆候は心拍であるとして説明する。
生命兆候信号検出部４０は、第１の身体の撮像領域から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ１０）。生命兆候信号検出部４０は、第２の身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ１２）。
相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ１４）。
相関Ｒが閾値Ｔより大きければ（Ｓ１６のＹ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をその人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ１８）。これにより、たとえば、あるユーザの手と顔が同一人物に属するものとして対応付けられる。
相関Ｒが閾値Ｔ以下であれば（Ｓ１６のＮ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をそれぞれ別人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ２０）。これにより、複数のユーザを個体判別して分類することができる。
図５は、個体判別装置１００による別の個体判別手順を説明するフローチャートである。
センサ入力部８０は、コントローラ３００に装備されたセンサまたはユーザの身体に装着された装着センサ３１０から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ３０）。生命兆候信号検出部４０は、カメラ１０ａ、１０ｂにより撮像された身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ３２）。
相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ３４）。
相関Ｒが閾値Ｔより大きければ（Ｓ３６のＹ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属すると判定し、個体情報管理部９０は、当該身体の撮像領域をコントローラ操作者またはセンサ装着者の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ３８）。これにより、コントローラ操作者またはセンサ装着者の身体領域、たとえば、顔を特定することができ、コントローラ操作者またはセンサ装着者の顔の表情にもとづいてゲームの展開を変えるなどの制御が可能になる。
相関Ｒが閾値Ｔ以下であれば（Ｓ３６のＮ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属さないと判定する（Ｓ４０）。これにより、コントローラ操作者またはセンサ装着者と、それ以外のユーザとを区別することができる。
上記の説明では、生命兆候にもとづいて身体の撮像領域の同一性判定を行う方法を説明したが、いったん身体の撮像領域の同一性判定が終われば、テンプレートマッチングなどの技術を用いて、手や顔などの身体の撮像領域をトラッキングすることで、生命兆候を検出せずに、身体の撮像領域の同一性判定を継続してもよい。ユーザが体を大きく動かした場合や、ユーザの位置が入れ替わった場合などは、トラッキングに失敗するため、生命兆候による同一性判定を再開するようにしてもよい。
実施の形態では、生命兆候として心拍を例に挙げたが、撮像されたユーザの身体の振動から呼吸を生命兆候として検出してもよい。また、人には吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少するという特性があるため、呼吸は心拍の信号列からも検出することが可能である。以下、心拍から呼吸の周期または周波数を検出する方法を説明する。
（１）まず、心拍の波形データ列からフーリエ変換によって周波数を検出することにより、心拍数を求める。心拍の波形データ列の自己相関を用いて得られた周期から心拍数を求めてもよい。
（２）次に、求めた心拍数を心拍周期以下の時間間隔、たとえば０．５秒間隔で連続して求めて心拍数列を得る。
心拍数に影響を与えるような運動をしていない場合、心拍数列には呼吸動作に対応する心拍数変動が現れる。吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少する。したがって、上記の（１）と同様の手法で心拍数列から心拍数変動の周波数や周期を求めれば、それを呼吸の周波数や周期とみなすことができる。呼吸は服を着ていても検出することができる点、有利である。また、ゲームプレイ中に複数のプレイヤの息が合っているかどうかをプレイヤの呼吸の波形の同期の具合から検出することもできる。
以上述べたように、本実施の形態の個体判別装置１００によれば、脈拍検知した領域の時間変化の相関を取ることにより、同一脈元の領域を同定し、個体判別、分類を行うことができる。撮像画像に複数のユーザがいても顔、手、足などの領域を個体判別して、同一人物に属するものか否かを判定することができる。また、コントローラや装具などの接触センサからの脈拍情報との相関にもとづいて、撮像された手や顔の画像をコントローラ操作者やセンサ装着者に対応付けることができる。
顔、手、足は身体の離れた場所にあり、心臓からも離れているが、身体の各部において脈拍の波形や周波数はほぼ一致する。身体各部の脈拍の波形データ列は心臓からの距離に応じたずれが生じることで、波形は似ているが位相に違いが生じる場合がある。このような場合に対応するため、身体各部の脈拍の波形データ列の相関を取る際には、位相を前後にずらしした複数の相関を求め、その中の最大の相関値を採用する。これによって体の部位が異なっていても同一人物の身体から得られた脈拍の波形データであるかどうかを判定することができる。別の人物の脈拍の波形データとは瞬間的に高い相関が得られることがある。しかし長時間観察すると波形が一致しなくなったり位相のずれが時間と共に大きく変動するので高い相関は得られなくなる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
１０ カメラ、 ２０ ディスプレイ、 ３０ フレーム記憶部、 ４０ 生命兆候信号検出部、 ５０ 相関計算部、 ６０ 同一性判定部、 ７０ 表示部、 ８０ センサ入力部、 ９０ 個体情報管理部、 ９２ 個体情報記憶部、 １００ 個体判別装置、 ２００ ゲーム機、 ３００ コントローラ、 ３１０ 装着センサ。
Claims (7)
- ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、
前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部と、
同一ユーザに属すると判定された身体の複数の撮像領域に対して同一の強調表示を行う表示部とを含むことを特徴とする個体判別装置。 - 前記生命兆候信号検出部は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することを特徴とする請求項１に記載の個体判別装置。
- 前記生命兆候は心拍であり、
前記同一性判定部は、検出された心拍の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１または２に記載の個体判別装置。 - ユーザが身体に装着したセンサまたはユーザが操作するコントローラに装備されたセンサから周期的に変動する生命兆候の信号列の入力を受けるセンサ信号入力部をさらに含み、
前記相関計算部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求め、
前記同一性判定部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がセンサを装着したユーザまたはコントローラを操作するユーザに属するものであるか否かを判定することを特徴とする請求項１から３のいずれかに記載の個体判別装置。 - 前記生命兆候信号検出部は、第１の撮像部により撮像された第１の身体の撮像領域と、第２の撮像部により撮像された第２の身体の撮像領域からそれぞれ周期的に変動する生命兆候の信号列を検出し、
前記相関計算部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関を求め、
前記同一性判定部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関にもとづいて、第１の身体の撮像領域と第２の身体の撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１から３のいずれかに記載の個体判別装置。 - ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップと、
同一ユーザに属すると判定された身体の複数の撮像領域に対して同一の強調表示を行う表示ステップとを含むことを特徴とする個体判別方法。 - ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップと、
同一ユーザに属すると判定された身体の複数の撮像領域に対して同一の強調表示を行う表示ステップとをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011235327A JP5822651B2 (ja) | 2011-10-26 | 2011-10-26 | 個体判別装置および個体判別方法 |
| EP12843864.5A EP2772828B1 (en) | 2011-10-26 | 2012-07-02 | Individual body discrimination device and individual body discrimination method |
| PCT/JP2012/004267 WO2013061492A1 (ja) | 2011-10-26 | 2012-07-02 | 個体判別装置および個体判別方法 |
| CN201280051393.8A CN104054038B (zh) | 2011-10-26 | 2012-07-02 | 个体鉴别装置和个体鉴别方法 |
| US14/351,274 US9717987B2 (en) | 2011-10-26 | 2012-07-02 | Individual discrimination device and individual discrimination method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011235327A JP5822651B2 (ja) | 2011-10-26 | 2011-10-26 | 個体判別装置および個体判別方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015198474A Division JP6149084B2 (ja) | 2015-10-06 | 2015-10-06 | 個体判別装置および個体判別方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013090847A JP2013090847A (ja) | 2013-05-16 |
| JP5822651B2 true JP5822651B2 (ja) | 2015-11-24 |
Family
ID=48167350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011235327A Active JP5822651B2 (ja) | 2011-10-26 | 2011-10-26 | 個体判別装置および個体判別方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9717987B2 (ja) |
| EP (1) | EP2772828B1 (ja) |
| JP (1) | JP5822651B2 (ja) |
| CN (1) | CN104054038B (ja) |
| WO (1) | WO2013061492A1 (ja) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2772884A1 (en) * | 2013-02-28 | 2014-09-03 | Koninklijke Philips N.V. | Apparatus and method for detecting subjects on the basis of vital signs |
| TWI620547B (zh) * | 2013-08-30 | 2018-04-11 | 新力股份有限公司 | Information processing device, information processing method and information processing system |
| TWI549649B (zh) * | 2013-09-24 | 2016-09-21 | 廣達電腦股份有限公司 | 頭戴式系統 |
| US9595146B2 (en) * | 2013-11-18 | 2017-03-14 | Microsoft Technology Licensing, Llc | Persistent user identification |
| EP3080752A1 (en) * | 2013-12-14 | 2016-10-19 | Viacam SARL | Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment |
| US9737219B2 (en) * | 2014-05-30 | 2017-08-22 | Mediatek Inc. | Method and associated controller for life sign monitoring |
| US10525336B2 (en) * | 2014-09-11 | 2020-01-07 | Sony Interactive Entertainment Inc. | Image processing system, image processing method, program, and information storage medium |
| CN107072567B (zh) | 2014-10-16 | 2021-01-15 | 松下知识产权经营株式会社 | 生物体信息处理装置和生物体信息处理方法 |
| US9596538B2 (en) * | 2014-12-12 | 2017-03-14 | Intel Corporation | Wearable audio mixing |
| CN105787420B (zh) * | 2014-12-24 | 2020-07-14 | 北京三星通信技术研究有限公司 | 用于生物认证的方法、装置以及生物认证系统 |
| US10154818B2 (en) | 2014-12-24 | 2018-12-18 | Samsung Electronics Co., Ltd. | Biometric authentication method and apparatus |
| MX2018002458A (es) * | 2015-09-04 | 2018-06-15 | Koninklijke Philips Nv | Sistema, metodo y procesador para monitorear un signo vital de un sujeto. |
| WO2017065313A1 (ja) * | 2015-10-15 | 2017-04-20 | ダイキン工業株式会社 | 有用情報提示装置 |
| US20170115726A1 (en) * | 2015-10-22 | 2017-04-27 | Blue Goji Corp. | Incorporating biometric data from multiple sources to augment real-time electronic interaction |
| US10667723B2 (en) | 2016-02-19 | 2020-06-02 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
| JP6769896B2 (ja) * | 2017-03-02 | 2020-10-14 | 大学共同利用機関法人自然科学研究機構 | 環境共有レベル判定装置 |
| JP6724827B2 (ja) * | 2017-03-14 | 2020-07-15 | オムロン株式会社 | 人物動向記録装置 |
| CN108784650A (zh) | 2017-05-03 | 2018-11-13 | 深圳迈瑞生物医疗电子股份有限公司 | 生理信号的同源性识别方法及装置 |
| JP6833639B2 (ja) * | 2017-07-25 | 2021-02-24 | 日本電信電話株式会社 | 観客状況判定装置、その方法、及びプログラム |
| WO2019094893A1 (en) | 2017-11-13 | 2019-05-16 | Covidien Lp | Systems and methods for video-based monitoring of a patient |
| CN111565638B (zh) | 2018-01-08 | 2023-08-15 | 柯惠有限合伙公司 | 用于基于视频的非接触式潮气容积监测的系统和方法 |
| JP6826733B2 (ja) * | 2018-03-26 | 2021-02-10 | 国立大学法人東北大学 | 信号制御装置、信号制御プログラム、及び信号制御方法 |
| JP6660601B2 (ja) * | 2018-06-06 | 2020-03-11 | パナソニックＩｐマネジメント株式会社 | 生体情報監視装置及び生体情報監視方法 |
| US11510584B2 (en) | 2018-06-15 | 2022-11-29 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
| WO2020033613A1 (en) | 2018-08-09 | 2020-02-13 | Covidien Lp | Video-based patient monitoring systems and associated methods for detecting and monitoring breathing |
| US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
| US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
| US11771863B1 (en) * | 2019-12-11 | 2023-10-03 | Amazon Technologies, Inc. | Interface for guided meditation based on user interactions |
| US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
| JP2021149810A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社東海理化電機製作所 | 識別器の生成方法、処理装置の製造方法、認証装置、コンピュータプログラム、および認証システム |
| CN111860187A (zh) * | 2020-06-24 | 2020-10-30 | 广东邦鑫数据科技股份有限公司 | 一种高精度的佩戴口罩识别方法及系统 |
| US12357194B2 (en) | 2020-07-09 | 2025-07-15 | Covidien Lp | Informative display for non-contact patient monitoring |
| US12514468B2 (en) | 2020-12-02 | 2026-01-06 | Covidien Lp | Patient position monitoring methods and systems |
| US12390124B2 (en) | 2021-01-27 | 2025-08-19 | Covidien Lp | Systems and methods for non-contact respiratory monitoring |
| AU2021204584A1 (en) * | 2021-03-17 | 2022-10-06 | Sensetime International Pte. Ltd. | Methods, apparatuses, devices and storage media for detecting correlated objects involved in image |
| US12490904B2 (en) | 2021-10-08 | 2025-12-09 | Covidien Lp | Enhanced image for non-contact monitoring |
| US12482557B2 (en) | 2021-12-09 | 2025-11-25 | Covidien Lp | Systems and methods for improved non-contact patient monitoring of incubated neonates |
| US12374128B2 (en) | 2021-12-21 | 2025-07-29 | Covidien Lp | Non-contact depth sensing monitoring in vehicles |
| CN118786427A (zh) * | 2022-03-14 | 2024-10-15 | 三星电子株式会社 | 控制基于生物特征信号的操作的电子装置及其操作方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003256693B2 (en) | 2002-07-29 | 2008-05-01 | Intel Corporation | Method and apparatus for electro-biometric identiy recognition |
| JP2005218507A (ja) | 2004-02-03 | 2005-08-18 | Tama Tlo Kk | バイタルサイン計測方法と装置 |
| WO2008008899A2 (en) | 2006-07-12 | 2008-01-17 | Arbitron Inc. | Methods and systems for compliance confirmation and incentives |
| JP4659722B2 (ja) | 2006-11-14 | 2011-03-30 | 日本電信電話株式会社 | 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム |
| JP2008181220A (ja) | 2007-01-23 | 2008-08-07 | Ricoh Co Ltd | 個人認証装置及び個人認証方法 |
| US7967728B2 (en) * | 2008-11-16 | 2011-06-28 | Vyacheslav Zavadsky | Wireless game controller for strength training and physiotherapy |
| CN102341828B (zh) * | 2009-03-06 | 2014-03-12 | 皇家飞利浦电子股份有限公司 | 处理至少一个活体的图像 |
| CN102341811B (zh) * | 2009-03-06 | 2015-04-29 | 皇家飞利浦电子股份有限公司 | 控制设备的功能的方法和用于检测生物的存在的系统 |
| CN201454059U (zh) * | 2009-06-26 | 2010-05-12 | 上海久娱网络科技有限公司 | 一种卡牌游戏机中人物身份识别系统 |
| EP2546780A1 (en) * | 2009-08-20 | 2013-01-16 | Koninklijke Philips Electronics N.V. | Method and system for image analysis |
| JP2011110181A (ja) | 2009-11-26 | 2011-06-09 | Panasonic Corp | 生体情報の通信装置、生体情報の通信方法、生体情報の通信プログラムおよび集積回路 |
| JP5195741B2 (ja) | 2009-12-25 | 2013-05-15 | 株式会社デンソー | 生体活動計測装置 |
| LV14514B (lv) * | 2010-10-06 | 2012-08-20 | Latvijas Universitāte | Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei |
-
2011
- 2011-10-26 JP JP2011235327A patent/JP5822651B2/ja active Active
-
2012
- 2012-07-02 CN CN201280051393.8A patent/CN104054038B/zh active Active
- 2012-07-02 WO PCT/JP2012/004267 patent/WO2013061492A1/ja not_active Ceased
- 2012-07-02 US US14/351,274 patent/US9717987B2/en active Active
- 2012-07-02 EP EP12843864.5A patent/EP2772828B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013090847A (ja) | 2013-05-16 |
| CN104054038A (zh) | 2014-09-17 |
| EP2772828A1 (en) | 2014-09-03 |
| WO2013061492A1 (ja) | 2013-05-02 |
| US20140254902A1 (en) | 2014-09-11 |
| CN104054038B (zh) | 2018-03-23 |
| US9717987B2 (en) | 2017-08-01 |
| EP2772828B1 (en) | 2019-01-09 |
| EP2772828A4 (en) | 2015-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5822651B2 (ja) | 個体判別装置および個体判別方法 | |
| JP7068339B2 (ja) | 血圧測定装置、および、血圧測定方法 | |
| US9339215B2 (en) | Method and apparatus for monitoring movement and breathing of multiple subjects in a common bed | |
| Munn et al. | Fixation-identification in dynamic scenes: Comparing an automated algorithm to manual coding | |
| JP6125648B2 (ja) | 生体情報取得装置および生体情報取得方法 | |
| CN105813562B (zh) | 睡眠监测系统和方法 | |
| RU2691928C2 (ru) | Устройство и способ определения информации об основных физиологических показателях субъекта | |
| WO2023140676A1 (en) | Method and electronic device for managing stress of a user | |
| US20160106329A1 (en) | Utilizing different color channels for rgb-image-based differential heart rate detection | |
| JP6149084B2 (ja) | 個体判別装置および個体判別方法 | |
| JP7107725B2 (ja) | 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム | |
| Islam et al. | Respiratory feature extraction for contactless breathing pattern recognition using a single digital camera | |
| WO2017154477A1 (ja) | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 | |
| WO2017047734A1 (ja) | 計測装置 | |
| Canellas et al. | Omusense-23: A multimodal dataset for contactless breathing pattern recognition and biometric analysis | |
| Hartmann et al. | Gait Parameter Estimation from a Single Privacy Preserving Depth Sensor. | |
| JP6198530B2 (ja) | 画像処理装置 | |
| CN118078234B (zh) | Ppg信号处理方法、设备及存储介质 | |
| CN119992585A (zh) | 测定方法、计算机程序产品、测定系统以及记录介质 | |
| JP5511503B2 (ja) | 生体情報計測処理装置及び生体情報計測処理方法 | |
| JP2023092114A (ja) | タグ付け方法、ゲーム解析システム、タグ付け装置および付加情報付きゲーム動画生成装置 | |
| Popescu et al. | Cardiowatch: A solution for monitoring the heart rate on a Mobile device | |
| ES2890715B2 (es) | Sistema para analizar una practica de actividad motora con participantes | |
| Duong et al. | Non-Contact Breathing Rate Monitoring Using an RGB Camera | |
| CN119173203A (zh) | 呼气可视化系统及方法以及呼气评价系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151006 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5822651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |