Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5325817B2 - User terminal device - Google Patents
[go: Go Back, main page]

JP5325817B2 - User terminal device - Google Patents

User terminal device Download PDF

Info

Publication number
JP5325817B2
JP5325817B2 JP2010056720A JP2010056720A JP5325817B2 JP 5325817 B2 JP5325817 B2 JP 5325817B2 JP 2010056720 A JP2010056720 A JP 2010056720A JP 2010056720 A JP2010056720 A JP 2010056720A JP 5325817 B2 JP5325817 B2 JP 5325817B2
Authority
JP
Japan
Prior art keywords
pulse wave
volume pulse
user
sensor
operated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010056720A
Other languages
Japanese (ja)
Other versions
JP2011191954A (en
Inventor
裕 千明
篤彦 前田
稔 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010056720A priority Critical patent/JP5325817B2/en
Publication of JP2011191954A publication Critical patent/JP2011191954A/en
Application granted granted Critical
Publication of JP5325817B2 publication Critical patent/JP5325817B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Details Of Television Systems (AREA)

Description

この発明は、ユーザの生体情報を用いて本人の属性を判定するために用いるユーザ端末装置に関する。 This invention also relates to the user terminal equipment used to determine the attributes of the person using the biological information of the user.

近年、人間の生体情報を用いてユーザの属性を判定し、判定した結果に基づいてコンテンツを選択し配信するシステムが提案されており、その一つに生体情報として脈波の情報を用いたものが考えられている。   In recent years, a system for determining user attributes using human biological information and selecting and distributing content based on the determination result has been proposed, one of which uses pulse wave information as biological information. Is considered.

脈波を計測する装置としては、発光素子と受光素子とからなる脈波センサを用い、発光素子から指先或いは耳朶等に照射した照射光のうち、生体内の血液中に存在する血球より散乱した散乱光を受光素子により受光することで散乱光から脈波を電気信号として計測する方法が公知のものとなっている。この種の脈波計測方法は測定精度が低いことが課題となっているが、測定精度を高めるために複数の脈波センサを使用し、これらの脈波センサにより計測された複数の容積脈波の中から精度の高い容積脈波を選択する手法が提案されている(例えば、特許文献1を参照。)。   As a device for measuring a pulse wave, a pulse wave sensor composed of a light emitting element and a light receiving element is used, and light emitted from a light emitting element to a fingertip or an earlobe is scattered from blood cells present in blood in the living body. A method of measuring a pulse wave from an scattered light as an electric signal by receiving the scattered light with a light receiving element is known. This type of pulse wave measurement method has a problem that the measurement accuracy is low, but in order to improve the measurement accuracy, a plurality of pulse wave sensors are used, and a plurality of volume pulse waves measured by these pulse wave sensors are used. A method of selecting a volume pulse wave with high accuracy from among them has been proposed (see, for example, Patent Document 1).

特開2009−39568号公報JP 2009-39568 A

ところが、例えばテレビジョン装置やビデオ機器のリモートコントローラに代表される操作端末をユーザが操作する際に、上記特許文献1に記載された脈波計測手法を用いてユーザの脈波を計測しようとすると、操作するキーの位置によってユーザが操作端末を把持する位置が変化する。また、操作端末の把持位置には個人差があり、把持位置を強制することは操作端末の自然な使用感を妨げ、操作上のユーザビリティを低下させ好ましくない。   However, for example, when a user operates an operation terminal typified by a remote controller of a television device or a video device, the user attempts to measure the user's pulse wave using the pulse wave measurement method described in Patent Document 1. The position at which the user holds the operation terminal varies depending on the position of the key to be operated. Further, there are individual differences in the gripping position of the operation terminal, and forcing the gripping position is not preferable because it hinders the natural feeling of use of the operation terminal and lowers usability in operation.

そこで、操作端末には一部分だけでなくユーザが把持する可能性のある全ての位置に脈波センサを配置する必要がある。しかしながら、操作端末に多数の脈波センサを配置すると、脈波センサによる消費電力が増大するという新たな問題が発生する。この問題は、特に電源としてバッテリを使用するリモートコントローラ等の携帯型の操作端末においては、バッテリ寿命の短縮を招き非常に好ましくない。   Therefore, it is necessary to dispose the pulse wave sensor not only at a part of the operation terminal but also at all positions that the user may hold. However, when a large number of pulse wave sensors are arranged in the operation terminal, a new problem that power consumption by the pulse wave sensors increases occurs. This problem is particularly undesirable in a portable operation terminal such as a remote controller that uses a battery as a power source because it shortens the battery life.

この発明は上記事情に着目してなされたもので、その目的とするところは、操作上のユーザビリティを低下させずしかも消費電力を低く抑えた上で、端末のどこを把持してもユーザの脈波を確実に計測することが可能なユーザ端末装置を提供することにある。 The present invention has been made paying attention to the above circumstances, and the object of the present invention is to reduce the user's pulse regardless of where the terminal is held without reducing the usability in operation and keeping the power consumption low. and to provide a user terminal equipment that can be reliably measured waves.

上記目的を達成するためにこの発明の観点は、スティック状の長方体の筐体を有し、正面部に複数の操作ボタンが配置されたユーザ端末装置にあって、上記筐体の側面部に指のサイズよりも短い間隔で複数の容積脈波センサを分散配置すると共に、上記複数の操作ボタンの識別情報を当該操作ボタンが操作されたときに動作させるべき容積脈波センサの識別情報と関連付けて記憶する記憶テーブルを設ける。そして、上記操作ボタンの1つが操作された場合に、当該操作された操作ボタンに関連付けられた容積脈波センサを上記記憶テーブルの記憶情報をもとに特定し、上記複数の容積脈波センサのうち上記特定された容積脈波センサを選択的に動作させて、この動作した容積脈波センサからユーザの容積脈波計測信号を取得するように構成したものである。 One aspect of the present invention in order to achieve the above object, has a casing stick-shaped cuboid, in the user terminal device in which a plurality of operation buttons are arranged on the front portion, the side surface of the housing A plurality of plethysmogram sensors are arranged in a distributed manner at intervals shorter than the size of the finger, and the identification information of the plethysmogram sensors to be operated when the operation buttons are operated. And a storage table for storing the information in association with each other. When one of the operation buttons is operated, the volume pulse wave sensor associated with the operated operation button is specified based on the storage information of the storage table, and the plurality of volume pulse wave sensors are identified. Among these, the specified volume pulse wave sensor is selectively operated, and the volume pulse wave measurement signal of the user is acquired from the operated volume pulse wave sensor.

したがって、ユーザが操作しようとするボタンの位置により端末に対するユーザの把持位置が変化する場合でも、ユーザの容積脈波は端末に分散配置された複数の容積脈波センサにより確実に計測される。このため、操作上のユーザビリティを低下させることなく、ユーザの容積脈波を確実に計測することができる。   Therefore, even when the user's gripping position with respect to the terminal changes depending on the position of the button that the user wants to operate, the user's volume pulse wave is reliably measured by the plurality of volume pulse wave sensors distributed on the terminal. For this reason, a user's volume pulse wave can be reliably measured without deteriorating operational usability.

しかも、ユーザが操作した操作ボタンに応じて、当該操作したボタンに対応する容積脈波センサ容積脈波センサのみが動作することになる。したがって、常に全ての容積脈波センサを動作させる場合に比べ消費電力を低減することができ、これによりバッテリ寿命の延長を図ることができる。   In addition, only the volume pulse wave sensor corresponding to the operated button operates in accordance with the operation button operated by the user. Therefore, it is possible to reduce power consumption as compared with the case where all the volume pulse wave sensors are always operated, thereby extending the battery life.

また、この発明の第1の観点は以下のような態様を備えることを特徴とする。
第1の態様は、上記容積脈波センサが複数個動作した場合に、これら複数の容積脈波センサから出力される容積脈波計測信号を加算平均し、この加算平均された容積脈波計測信号を出力するようにしたものである。
このようにすると、複数の容積脈波センサが同時に動作した場合に、その容積脈波計測信号が加算平均されるので、より精度の良い容積脈波計測信号を得ることができる。
The first aspect of the present invention is characterized by comprising the following aspects.
In the first aspect, when a plurality of volume pulse wave sensors are operated, the volume pulse wave measurement signals output from the plurality of volume pulse wave sensors are added and averaged, and the added and averaged volume pulse wave measurement signal is obtained. Is output.
In this way, when a plurality of volume pulse wave sensors operate simultaneously, the volume pulse wave measurement signals are added and averaged, so that a more accurate volume pulse wave measurement signal can be obtained.

第2の態様は、上記容積脈波センサが複数個動作した場合に、これら複数の容積脈波センサから出力される容積脈波計測信号の各々について自己相関係数を計算し、この計算された自己相関係数をもとに当該容積脈波計測信号の波形に周期性があるか否かを判定し、周期性があると判定された容積脈波計測信号を選択して加算平均し、この加算平均された容積脈波計測信号を出力するようにしたものである。
このようにすると、動作した複数の容積脈波センサから出力された容積脈波計測信号のうち、波形に周期性を持たない容積脈波計測信号は破棄され、周期性を持つ容積脈波計測信号のみが加算平均される。このため、さらに高精度の容積脈波計測信号を出力することが可能となる。
In the second aspect, when a plurality of volume pulse wave sensors operate, the autocorrelation coefficient is calculated for each of the volume pulse wave measurement signals output from the plurality of volume pulse wave sensors. Based on the autocorrelation coefficient, it is determined whether the waveform of the plethysmogram measurement signal has periodicity, and the plethysmogram measurement signal determined to have periodicity is selected and averaged. An addition averaged volume pulse wave measurement signal is output.
In this way, among the volume pulse wave measurement signals output from the operated plurality of volume pulse wave sensors, the volume pulse wave measurement signal having no periodicity in the waveform is discarded, and the volume pulse wave measurement signal having the periodicity is discarded. Only the averaging is done. For this reason, it becomes possible to output a more accurate volume pulse wave measurement signal.

すなわちこの発明によれば、操作上のユーザビリティを低下させずしかも消費電力を低く抑えた上で、端末のどこを把持してもユーザの脈波を確実に計測することが可能なユーザ端末装置を提供することができる。 That is, according to the present invention, while suppressing low addition power consumption without degrading the usability of the operation, the user terminal equipment which is capable of reliably measuring the pulse wave of users by holding where the terminal it is possible to provide a.

この発明に係わるユーザ端末装置の第1の実施形態であるリモートコントローラ装置の外観を示す斜視図とその正面図。BRIEF DESCRIPTION OF THE DRAWINGS The perspective view which shows the external appearance of the remote controller apparatus which is 1st Embodiment of the user terminal device concerning this invention, and its front view. 図1に示したリモートコントローラ装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the remote controller apparatus shown in FIG. 図2に示したリモートコントローラ装置の作動センサデータベースに記憶された情報の一例を示す図である。It is a figure which shows an example of the information memorize | stored in the action | operation sensor database of the remote controller apparatus shown in FIG. 図1に示したリモートコントローラ装置に対する把持位置と作動するセンサ群との関係を示す図である。It is a figure which shows the relationship between the holding position with respect to the remote controller apparatus shown in FIG. 1, and the sensor group which act | operates. 図2に示したリモートコントローラ装置の波形統合部の処理手順と処理内容を示すフローチャート。The flowchart which shows the process sequence and process content of the waveform integration part of the remote controller apparatus shown in FIG. この発明に係わるユーザ端末装置の第2の実施形態であるリモートコントローラ装置に設けられる波形統合部の処理手順と処理内容を示すフローチャート。The flowchart which shows the process sequence and processing content of the waveform integration part provided in the remote controller apparatus which is 2nd Embodiment of the user terminal device concerning this invention. 図6に示した波形統合部の処理手順と処理内容を説明するための図。The figure for demonstrating the process sequence and process content of the waveform integration part shown in FIG. 図6に示した波形統合部の処理手順と処理内容を説明するための図。The figure for demonstrating the process sequence and process content of the waveform integration part shown in FIG. この発明の第3の実施形態に係わるコンテンツ配信システムの概略構成図。The schematic block diagram of the content delivery system concerning the 3rd Embodiment of this invention. 図9に示したコンテンツ配信システムのリモートコントローラ装置、設置端末装置及びコンテンツサーバ装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the remote controller apparatus of the content delivery system shown in FIG. 9, an installation terminal device, and a content server apparatus. 図10に示した設置端末装置の属性判定部によるユーザ属性判定処理の手順と処理内容を示すフローチャートである。It is a flowchart which shows the procedure and processing content of a user attribute determination process by the attribute determination part of the installation terminal apparatus shown in FIG. 図10に示した設置端末装置の属性データベースに記憶される情報の一例を示す図。The figure which shows an example of the information memorize | stored in the attribute database of the installation terminal device shown in FIG.

以下、図面を参照してこの発明に係わる実施形態を説明する。
(第1の実施形態)
図1は、この発明に係わるユーザ端末装置の第1の実施形態であるリモートコントローラ装置の外観を示す図であり、(a)はその斜視図、(b)は正面図である。
このリモートコントローラ装置(以後リモコン装置と称する)1は、スティック状の長方体からなる筐体を有し、その正面部には複数の操作ボタン11が配設されている。これらの操作ボタン11は、例えば数字キー11aと、カーソルキー11bと、その他の機能キー11cとから構成される。
Embodiments according to the present invention will be described below with reference to the drawings.
(First embodiment)
1A and 1B are views showing an external appearance of a remote controller device which is a first embodiment of a user terminal device according to the present invention. FIG. 1A is a perspective view thereof, and FIG. 1B is a front view thereof.
This remote controller device (hereinafter referred to as a remote control device) 1 has a casing made of a stick-shaped rectangular parallelepiped, and a plurality of operation buttons 11 are arranged on the front part thereof. These operation buttons 11 include, for example, numeric keys 11a, cursor keys 11b, and other function keys 11c.

また、筐体の両側面部には、複数の容積脈波センサ12がユーザの指先のサイズより短く設定された間隔で配設されている。これらの容積脈波センサ12は、それぞれが一対の発光素子と受光素子とを有する。そして、発光素子からユーザの指先等に照射した照射光のうち生体内の血液中に存在する血球より散乱した散乱光を受光素子により受光することで、散乱光から脈波を電気信号として計測する。   A plurality of plethysmogram sensors 12 are arranged on both sides of the housing at intervals set shorter than the size of the user's fingertip. Each of these volume pulse wave sensors 12 has a pair of light emitting elements and light receiving elements. Then, the scattered light scattered from blood cells existing in the blood in the living body is received by the light receiving element among the irradiated light irradiated from the light emitting element to the user's fingertip and the like, and the pulse wave is measured as an electrical signal from the scattered light. .

さらに容積脈波センサ12は、筐体1における配置位置に応じて複数のグループに分割されている。これらのグループは図示しないスイッチ回路を介して駆動回路に接続され、スイッチ回路を切替制御することで選択的に駆動回路に接続されるようになっている。スイッチ回路の切替制御は、後述する作動センサ決定部13の指示に従い容積脈波取得部15により行われる。   Furthermore, the volume pulse wave sensor 12 is divided into a plurality of groups according to the arrangement position in the housing 1. These groups are connected to the drive circuit via a switch circuit (not shown), and are selectively connected to the drive circuit by switching control of the switch circuit. Switching control of the switch circuit is performed by the volume pulse wave acquisition unit 15 in accordance with an instruction from an operation sensor determination unit 13 described later.

図2は、上記リモコン装置1の機能構成を示すブロック図である。
リモコン装置1は、この発明を実現する上で必要な機能として、上記操作ボタン11及び容積脈波センサ12に加え、作動センサ決定部13と、作動センサデータベース14と、容積脈波取得部15と、波形統合部16と、ユーザ端末送信部17とを備えている。なお、これらの機能部のうち作動センサ決定部13、容積脈波取得部15、波形統合部16及びユーザ端末送信部17は、図示しないプログラムメモリに記憶されたアプリケーション・プログラムを中央処理ユニット(CPU)に実行させることにより実現される。
FIG. 2 is a block diagram showing a functional configuration of the remote control device 1.
In addition to the operation button 11 and the plethysmogram sensor 12, the remote control device 1 functions as necessary for realizing the present invention, as well as an operation sensor determination unit 13, an operation sensor database 14, and a plethysmogram acquisition unit 15. The waveform integration unit 16 and the user terminal transmission unit 17 are provided. Of these functional units, the operation sensor determination unit 13, the volume pulse wave acquisition unit 15, the waveform integration unit 16, and the user terminal transmission unit 17 store application programs stored in a program memory (not shown) in a central processing unit (CPU). ).

作動センサデータベース14には、上記操作ボタン11の各キー11a,11b,11cを表す識別情報に対応付けて、当該各キー11a,11b,11cが操作されたときに動作させるべきセンサグループ12a,12b,12cの識別情報が格納されている。図3にその一例を示す。   In the operation sensor database 14, the sensor groups 12a, 12b to be operated when the keys 11a, 11b, 11c are operated in association with the identification information representing the keys 11a, 11b, 11c of the operation button 11. , 12c are stored. An example is shown in FIG.

作動センサ決定部13は、操作ボタン11のキー操作が計測された場合に、そのキー識別情報をもとに上記作動センサデータベース14から対応するセンサグループの識別情報を読み出し、この読み出されたセンサグループの識別情報に従い選択駆動指示を容積脈波取得部15に与える。   When the key operation of the operation button 11 is measured, the operation sensor determination unit 13 reads the corresponding sensor group identification information from the operation sensor database 14 based on the key identification information, and the read sensor A selection drive instruction is given to the volume pulse wave acquisition unit 15 according to the group identification information.

容積脈波取得部15は、上記作動センサ決定部13から与えられたセンサグループの選択駆動指示に基づいてスイッチ回路を切替制御することで、該当するセンサグループを選択的に動作させる。そして、このセンサグループの各センサから出力される容積脈波計測信号を受信し、この受信した各容積脈波計測信号をそれぞれディジタルデータに変換したのち保存する。   The plethysmogram acquisition unit 15 selectively controls the corresponding sensor group by switching the switch circuit based on the sensor group selection drive instruction given from the operation sensor determination unit 13. The volume pulse wave measurement signal output from each sensor of this sensor group is received, and each received volume pulse wave measurement signal is converted into digital data and stored.

波形統合部16は、上記容積脈波取得部15に保存された各センサの容積脈波計測信号のディジタルデータを読み込み、これらのデータを時刻を同期させた上で加算平均して統合された容積脈波計測データをユーザ端末送信部17へ出力する。ユーザ端末送信部17は、上記波形統合部16から出力された統合容積脈波計測データを、例えば赤外線信号または無線信号に変換したのち、図示しないテレビジョン受信装置やビデオ機器等の設置端末装置へ送信する。   The waveform integration unit 16 reads the digital data of the volume pulse wave measurement signal of each sensor stored in the volume pulse wave acquisition unit 15, and synchronizes the time of these data to add and average the integrated volume. The pulse wave measurement data is output to the user terminal transmission unit 17. The user terminal transmission unit 17 converts the integrated volume pulse wave measurement data output from the waveform integration unit 16 into, for example, an infrared signal or a radio signal, and then transmits it to an installation terminal device such as a television receiver or a video device (not shown). Send.

次に、以上のように構成されたリモコン装置1の動作を説明する。
いまユーザが、例えば図4(a)に示すようにリモコン装置1を把持した状態で、数字キー11aの1つを押下したとする。そうすると、この数字キー11aの操作が図示しない操作計測部により計測され、そのキー識別情報が作動センサ決定部13に入力される。作動センサ決定部13は、上記入力されたキー識別情報をもとに作動センサデータベース14に対しアクセスし、この作動センサデータベース14から対応するセンサグループの識別情報を読み出す。
Next, the operation of the remote control device 1 configured as described above will be described.
Now, assume that the user presses one of the numeric keys 11a while holding the remote control device 1 as shown in FIG. 4A, for example. Then, the operation of the numeric key 11 a is measured by an operation measurement unit (not shown), and the key identification information is input to the operation sensor determination unit 13. The operation sensor determination unit 13 accesses the operation sensor database 14 based on the input key identification information, and reads the identification information of the corresponding sensor group from the operation sensor database 14.

例えば、いま作動センサデータベース14に図3に示すようなテーブルデータが記憶されているものとすると、キー11aに対応するセンサグループ12aの識別情報が読み出される。そして、作動センサ決定部13は、この読み出されたセンサグループ12aの識別情報に従い選択駆動指示を生成して容積脈波取得部15に与える。容積脈波取得部15は、上記作動センサ決定部13から与えられたセンサグループ12aの選択駆動指示に基づいて図示しないスイッチ回路を切替制御する。この結果、該当するセンサグループ12aに属する各容積脈波センサが動作し、これらのセンサによりそれぞれユーザの指先から容積脈波が計測される。そして、これらの容積脈波計測信号は容積脈波取得部15によりそれぞれディジタルデータに変換されて保存される。   For example, assuming that the table data as shown in FIG. 3 is stored in the operation sensor database 14, the identification information of the sensor group 12a corresponding to the key 11a is read out. Then, the actuation sensor determination unit 13 generates a selection drive instruction according to the read identification information of the sensor group 12 a and gives it to the volume pulse wave acquisition unit 15. The plethysmogram acquisition unit 15 switches and controls a switch circuit (not shown) based on the selection drive instruction of the sensor group 12a given from the operation sensor determination unit 13. As a result, each volume pulse wave sensor belonging to the corresponding sensor group 12a operates, and the volume pulse wave is measured from the fingertip of the user by each of these sensors. These volume pulse wave measurement signals are converted into digital data by the volume pulse wave acquisition unit 15 and stored.

また、ユーザが、例えば図4(b)に示すようにリモコン装置1を把持した状態で、カーソルキー11bを押下したとする。そうすると、このカーソルキー11bの操作が図示しない操作計測部により計測され、そのキー識別情報が作動センサ決定部13に入力される。作動センサ決定部13は、上記入力されたキー識別情報をもとに作動センサデータベース14から対応するセンサグループ12bの識別情報を読み出す。   Also, assume that the user presses the cursor key 11b while holding the remote control device 1 as shown in FIG. 4B, for example. Then, the operation of the cursor key 11b is measured by an operation measurement unit (not shown), and the key identification information is input to the operation sensor determination unit 13. The operation sensor determination unit 13 reads the identification information of the corresponding sensor group 12b from the operation sensor database 14 based on the input key identification information.

そして、作動センサ決定部13は、この読み出されたセンサグループ12bの識別情報に従い選択駆動指示を生成して容積脈波取得部15に与える。容積脈波取得部15は、上記作動センサ決定部13から与えられたセンサグループ12bの選択駆動指示に基づいて図示しないスイッチ回路を切替制御する。この結果、該当するセンサグループ12bに属する各容積脈波センサが動作し、これらのセンサによりそれぞれユーザの指先から容積脈波が計測される。そして、これらの容積脈波計測信号は容積脈波取得部15によりそれぞれディジタルデータに変換されて保存される。   Then, the actuation sensor determination unit 13 generates a selection drive instruction in accordance with the read identification information of the sensor group 12b and gives it to the volume pulse wave acquisition unit 15. The plethysmogram acquisition unit 15 switches and controls a switch circuit (not shown) based on the selection drive instruction of the sensor group 12b given from the operation sensor determination unit 13. As a result, each volume pulse wave sensor belonging to the corresponding sensor group 12b operates, and the volume pulse wave is measured from the fingertip of the user by each of these sensors. These volume pulse wave measurement signals are converted into digital data by the volume pulse wave acquisition unit 15 and stored.

リモコン装置1の機能キー11cが操作された場合にも、同様にそのキー識別情報をもとに作動センサデータベース14から対応するセンサグループ12a,12cの識別情報が読み出される。そして、この読み出されたセンサグループ12a,12cの識別情報に従い作動センサ決定部13により選択駆動指示が生成され、容積脈波取得部15に与えられる。容積脈波取得部15では、上記作動センサ決定部13から与えられたセンサグループ12a,12cの選択駆動指示に基づいて切替制御される。この結果、該当するセンサグループ12a,12cに属する各容積脈波センサが動作し、これらのセンサによりそれぞれユーザの指先から容積脈波が計測される。そして、これらの容積脈波計測信号は容積脈波取得部15によりそれぞれディジタルデータに変換されて保存される。   Similarly, when the function key 11c of the remote control device 1 is operated, the identification information of the corresponding sensor groups 12a and 12c is read from the operation sensor database 14 based on the key identification information. Then, according to the read identification information of the sensor groups 12 a and 12 c, a selection drive instruction is generated by the operation sensor determination unit 13 and given to the volume pulse wave acquisition unit 15. The volume pulse wave acquisition unit 15 performs switching control based on the selection drive instruction of the sensor groups 12 a and 12 c given from the operation sensor determination unit 13. As a result, the plethysmogram sensors belonging to the corresponding sensor groups 12a and 12c operate, and the plethysmogram is measured from the fingertips of the user by these sensors. These volume pulse wave measurement signals are converted into digital data by the volume pulse wave acquisition unit 15 and stored.

次に波形統合部16は、図5のフローチャートに示すように、先ずステップS11により上記容積脈波取得部15から動作対象となった複数(Aチャネル)分のセンサの容積脈波計測データを読み込む。そして、ステップS12により上記Aチャネルが1つか複数かを判定し、1つであればステップS14において上記読み込んだ1チャネル分の容積脈波計測データをそのままユーザ端末送信部17へ出力する。   Next, as shown in the flowchart of FIG. 5, the waveform integration unit 16 first reads volume pulse wave measurement data of a plurality of (A channels) sensors that are the operation targets from the volume pulse wave acquisition unit 15 in step S <b> 11. . Then, in step S12, it is determined whether the A channel is one or more. If there is one, the read volume pulse wave measurement data for one channel is output to the user terminal transmission unit 17 as it is in step S14.

一方、上記Aチャネルが複数チャネルであれば、ステップS13において上記読み込んだ複数チャネル分の容積脈波計測データを時刻を合わせたのち加算平均し、この加算平均後の容積脈波計測データをユーザ端末送信部17へ出力する。例えば、センサグループ12aに属する複数の容積脈波センサが動作した場合には、このセンサグループ12aに属する各容積脈波センサにより得られた容積脈波計測データを加算平均する。また、センサグループ12bに属する各容積脈波センサが動作した場合には、これらの容積脈波センサにより得られた容積脈波計測データを加算平均する。同様に、センサグループ12a,12cに属する各容積脈波センサが動作した場合にも、これらの容積脈波センサにより得られた容積脈波計測データを加算平均する。   On the other hand, if the A channel is a plurality of channels, the volume pulse wave measurement data for the plurality of channels read in step S13 is added and averaged after adjusting the time, and the volume pulse wave measurement data after the addition average is added to the user terminal. Output to the transmitter 17. For example, when a plurality of volume pulse wave sensors belonging to the sensor group 12a are operated, volume pulse wave measurement data obtained by the volume pulse wave sensors belonging to the sensor group 12a are added and averaged. When each volume pulse wave sensor belonging to the sensor group 12b is operated, volume pulse wave measurement data obtained by these volume pulse wave sensors are added and averaged. Similarly, when the volume pulse wave sensors belonging to the sensor groups 12a and 12c operate, the volume pulse wave measurement data obtained by these volume pulse wave sensors are added and averaged.

ユーザ端末送信部17は、上記波形統合部16から出力された統合容積脈波計測データを、例えば赤外線信号又は無線信号に変換したのち、図示しないテレビジョン受信装置やビデオ機器等の設置端末装置へ送信する。   The user terminal transmission unit 17 converts the integrated volume pulse wave measurement data output from the waveform integration unit 16 into, for example, an infrared signal or a radio signal, and then to an installation terminal device such as a television receiver or a video device (not shown). Send.

以上述べたように第1の実施形態では、作動センサデータベース14に、操作ボタン11の各キー11a,11b,11cを表す識別情報に対応付けて、当該各キー11a,11b,11cが操作されたときに動作させるべきセンサグループ12a,12b,12cの識別情報を格納しておく。そして、上記各キー11a,11b,11cが操作された場合に、作動センサ決定部13により、上記操作されたキー11a,11b,11cに対応するセンサグループ12a,12b,12cを上記作動センサデータベース14の記憶情報をもとに選択し、この選択されたセンサグループに属する複数の容積脈波センサを動作させて容積脈波計測データを取得する。そして、これらの容積脈波計測データを波形統合部16で加算平均して統合し、この統合された容積脈波計測データを出力するようにしている。   As described above, in the first embodiment, each key 11a, 11b, 11c is operated in the operation sensor database 14 in association with identification information representing each key 11a, 11b, 11c of the operation button 11. The identification information of the sensor groups 12a, 12b, and 12c to be operated at times is stored. When each of the keys 11a, 11b, and 11c is operated, the operation sensor determination unit 13 sets the sensor groups 12a, 12b, and 12c corresponding to the operated keys 11a, 11b, and 11c to the operation sensor database 14. The volume pulse wave measurement data is acquired by operating a plurality of volume pulse wave sensors belonging to the selected sensor group. These volume pulse wave measurement data are added and averaged by the waveform integration unit 16 and integrated, and the integrated volume pulse wave measurement data is output.

したがって、リモコン装置1の筐体両側面には、ユーザの指先のサイズより短く設定された間隔で複数の容積脈波センサ12が配置されているので、ユーザがリモコン装置1のどの位置を把持したとしても、ユーザの容積脈波を計測することができる。すなわち、操作上のユーザビリティを低下させることなくユーザの容積脈波を確実に計測することができる。   Accordingly, a plurality of volume pulse wave sensors 12 are arranged on both side surfaces of the remote control device 1 at intervals shorter than the size of the user's fingertip. Even so, the volume pulse wave of the user can be measured. That is, the volume pulse wave of the user can be reliably measured without deteriorating the usability in operation.

しかも、ユーザが操作したキー11a,11b,11cに応じて、当該操作したキーに対応するセンサグループ12a,12b,12cに含まれる容積脈波センサのみが動作することになり、これにより常に全ての容積脈波センサを動作させる場合に比べ、消費電力を低減することができ、バッテリ寿命の延長を図ることができる。   In addition, according to the keys 11a, 11b, and 11c operated by the user, only the volume pulse wave sensors included in the sensor groups 12a, 12b, and 12c corresponding to the operated keys are operated. Compared with the case where the volume pulse wave sensor is operated, the power consumption can be reduced, and the battery life can be extended.

さらに、センサグループ12a,12b,12cごとに複数の容積脈波センサを同時に動作させ、その容積脈波計測データを時刻を合わせて加算平均するようにしているので、精度の良い容積脈波計測データを得ることができる。   Furthermore, since a plurality of volume pulse wave sensors are simultaneously operated for each of the sensor groups 12a, 12b, and 12c, and the volume pulse wave measurement data is added and averaged at the same time, accurate volume pulse wave measurement data is obtained. Can be obtained.

(第2の実施形態)
この発明の第2の実施形態は、波形統合部16において複数の容積脈波計測データを統合する際に、各容積脈波計測データについてそれぞれ自己相関係数を算出して、この算出された自己相関係数をもとに当該容積脈波の波形に周期性があるか否かを判定し、周期性があると判定された容積脈波の計測データを加算平均するようにしたものである。
(Second Embodiment)
In the second embodiment of the present invention, when the waveform integration unit 16 integrates a plurality of volume pulse wave measurement data, an autocorrelation coefficient is calculated for each volume pulse wave measurement data, and the calculated self Based on the correlation coefficient, it is determined whether or not the waveform of the volume pulse wave has periodicity, and the measurement data of the volume pulse wave determined to have periodicity is added and averaged.

図6は、この発明の第2の実施形態に係わるユーザ端末装置による波形統合処理の手順と内容を示すフローチャートである。なお、装置のその他の構成については第1の実施形態と同一なので、第2の実施形態においても図1乃至図4を用いて説明を行う。   FIG. 6 is a flowchart showing the procedure and contents of waveform integration processing by the user terminal device according to the second embodiment of the present invention. Since the other configuration of the apparatus is the same as that of the first embodiment, the second embodiment will be described with reference to FIGS.

容積脈波取得部15において、動作対象となったセンサグループ12a,12b,12cに属する複数(Aチャネル)分の容積脈波センサの容積脈波計測データが取得されると、波形統合部16はステップS21により上記容積脈波取得部15から上記Aチャネル分の容積脈波計測データを読み込む。そして、この状態で先ずステップS22により変数i及びリストBを定義し、iを“1”に、またリストBを“空”にそれぞれ初期化する。   When the volume pulse wave acquisition unit 15 acquires volume pulse wave measurement data of a plurality (A channel) of volume pulse wave sensors belonging to the sensor groups 12a, 12b, and 12c to be operated, the waveform integration unit 16 In step S21, volume pulse wave measurement data for the A channel is read from the volume pulse wave acquisition unit 15. In this state, first, in step S22, the variable i and the list B are defined, and i is initialized to “1” and the list B is initialized to “empty”.

波形統合部16は、次にステップS23において、i番目のチャネルの容積脈波計測データに対しその自己相関係数を計算する。この自己相関係数は以下のように計算される。
すなわち、容積脈波の波形が、例えば図7(a),(b)に示すようにx1 ,…,xN で示されるN個のデータ点を有するものとすると、自己相関係数f(u) は次式

Figure 0005325817
により計算することができる。 Next, in step S23, the waveform integration unit 16 calculates the autocorrelation coefficient for the volume pulse wave measurement data of the i-th channel. This autocorrelation coefficient is calculated as follows.
That is, if the waveform of the volume pulse wave has N data points indicated by x1,..., XN as shown in FIGS. 7 (a) and 7 (b), for example, the autocorrelation coefficient f (u) Is
Figure 0005325817
Can be calculated.

これは、x1 ,…,xNの波形と、それをu点だけずらした波形との相関を表すuの関数(u=0,1,…,N-2,N-1)を表す。またf(0) =1である。もし、容積脈波の波形に周期性が存在しその周期がTである場合には、f(u) は図7(a)に示すようにuがTの倍数となる点にピークを持つが、一方で周期性のない波形に対して自己相関係数を求めた場合には、f(u) は図7(b)に示すようにピークを持たずに減少していく。すなわち、自己相関係数のピークが複数回連続して出現する場合には、元の容積脈波の波形に周期性が存在しており、それはすなわち容積脈波の精度が高いことを意味する。   This represents a function of u (u = 0, 1,..., N-2, N-1) representing a correlation between the waveform of x1,..., XN and a waveform obtained by shifting the waveform by u points. F (0) = 1. If the volume pulse wave has a periodicity and the period is T, f (u) has a peak at a point where u is a multiple of T as shown in FIG. On the other hand, when the autocorrelation coefficient is obtained for a waveform having no periodicity, f (u) decreases without having a peak as shown in FIG. That is, when the autocorrelation coefficient peak appears multiple times in succession, the waveform of the original volume pulse wave has periodicity, which means that the accuracy of the volume pulse wave is high.

波形統合部16は、続いてステップS24において、上記式により計算された自己相関係数をもとにそのピークが予め設定した回数連続して、例えば3回連続してしきい値を超えているか否かを判定する。そして、ピークが3回連続してしきい値を超えていれば、当該容積脈波を周期性がある高精度な容積脈波と見なし、ステップS25により当該容積脈波を加算対象としてそのチャネル番号iをリストBに保存する。これに対し、ピークが3回連続してしきい値を超えなければ、当該容積脈波を加算対象としないように棄却する。   Subsequently, in step S24, the waveform integration unit 16 determines whether the peak has exceeded the threshold value continuously for a preset number of times based on the autocorrelation coefficient calculated by the above formula, for example, three times continuously. Determine whether or not. If the peak exceeds the threshold value three times in succession, the volume pulse wave is regarded as a highly accurate volume pulse wave with periodicity, and the channel number is set as the addition target in step S25. Save i in list B. On the other hand, if the peak does not exceed the threshold value three times in succession, the volume pulse wave is rejected so as not to be added.

上記判定処理を終了すると、波形統合部16はステップS26により変数iをインクリメントし、このインクリメント後のiがAを超えたか否かをステップS27で判定する。そして、i>AでなければステップS23に戻り、上記インクリメント後のi番目のチャネルの容積脈波について自己相関係数を計算して、自己相関係数をもとにそのピークが3回連続してしきい値を超えているか否かをステップS24で判定する。そして、ピークが3回連続してしきい値を超えていれば、当該容積脈波を周期性がある高精度な容積脈波と見なし、ステップS25により当該容積脈波の計測データを加算対象としてそのチャネル番号iをリストBに保存する。これに対し、ピークが3回連続してしきい値を超えなければ、当該容積脈波を加算対象としないように破棄する。   When the determination process is completed, the waveform integration unit 16 increments the variable i in step S26, and determines in step S27 whether i after the increment exceeds A. If i> A is not satisfied, the process returns to step S23, the autocorrelation coefficient is calculated for the volume pulse wave of the i-th channel after the increment, and the peak continues three times based on the autocorrelation coefficient. In step S24, it is determined whether or not the threshold value is exceeded. If the peak exceeds the threshold value three times in succession, the volume pulse wave is regarded as a highly accurate volume pulse wave with periodicity, and the measurement data of the volume pulse wave is set as an addition target in step S25. The channel number i is stored in list B. On the other hand, if the peak does not exceed the threshold value three times in succession, the volume pulse wave is discarded so as not to be added.

以後同様に、Aチャネル分の全ての容積脈波について順次上記ステップS23〜S26の処理を繰り返し実行する。かくして、リストBには、Aチャネル分の各容積脈波の中で自己相関係数のピークが3回連続してしきい値を超えた波形のチャネル番号iのみが保存される。   Thereafter, similarly, the processes of steps S23 to S26 are sequentially repeated for all volume pulse waves for the A channel. Thus, in the list B, only the channel number i of the waveform in which the peak of the autocorrelation coefficient exceeds the threshold value three times continuously in each volume pulse wave for the A channel is stored.

波形統合部16は、次にステップS28において上記リストBに保存された容積脈波のチャネル数が0より大きいか否か、つまりリストBに加算対象の容積脈波のチャネル番号iが保存されているか否かを判定する。この判定の結果、1つでも保存されていれば、上記リストBに保存されているチャネル番号iに対応する容積脈波計測データを加算平均し、この加算平均後の容積脈波計測データをユーザ端末装置送信部17へ出力する。   Next, in step S28, the waveform integration unit 16 stores whether or not the number of plethysmogram channels stored in the list B is greater than 0, that is, the channel number i of the plethysmogram to be added is stored in the list B. It is determined whether or not. As a result of this determination, if even one is stored, the plethysmogram measurement data corresponding to the channel number i stored in the list B is added and averaged, and the plethysmogram measurement data after the addition average is added to the user. The data is output to the terminal device transmission unit 17.

図8はその動作の一例を示すもので、この例では容積脈波w1,w2,w3のうち容積脈波w1,w3が、自己相関係数のピークが3回連続してしきい値を超えている波形である。したがって、この容積脈波w1,w3の計測データが加算平均され、その加算平均後の容積脈波計測データがユーザ端末装置送信部17へ出力される。   FIG. 8 shows an example of the operation. In this example, of the volume pulse waves w1, w2, and w3, the volume pulse waves w1 and w3 exceed the threshold value by the peak of the autocorrelation coefficient three times in succession. It is a waveform. Accordingly, the measurement data of the volume pulse waves w1 and w3 are added and averaged, and the volume pulse wave measurement data after the addition average is output to the user terminal device transmission unit 17.

なお、上記ステップS28による判定の結果、リストBに加算対象の容積脈波のチャネル番号iが1つも保存されていなければ、波形統合部16はステップS29に移行して容積脈波計測データの出力を行わない。   As a result of the determination in step S28, if no channel pulse number i of the addition target volume pulse wave is stored in the list B, the waveform integration unit 16 proceeds to step S29 and outputs volume pulse wave measurement data. Do not do.

以上述べたように第2の実施形態では、波形統合部16において複数のチャネルの容積脈波計測データを統合する際に、各容積脈波計測データについてそれぞれ自己相関係数f(u) を計算している。そして、この計算された自己相関係数f(u) にピークが3つ以上連続しているか否かを判定することにより、当該容積脈波の波形に周期性があるか否かを判定し、周期性があると判定された容積脈波の計測データのみを加算平均するようにしている。
したがって、波形に周期性を持たない容積脈波計測データは破棄され、周期性を持つ容積脈波の計測データのみが加算平均されることになる。このため、高精度の容積脈波計測データを生成して出力することが可能となる。
As described above, in the second embodiment, the autocorrelation coefficient f (u) is calculated for each volume pulse wave measurement data when the waveform integration unit 16 integrates the volume pulse wave measurement data of a plurality of channels. doing. Then, by determining whether or not three or more peaks are continuous in the calculated autocorrelation coefficient f (u), it is determined whether or not the waveform of the volume pulse wave has periodicity. Only the measurement data of the volume pulse wave determined to have periodicity is averaged.
Accordingly, the volume pulse wave measurement data having no periodicity in the waveform is discarded, and only the measurement data of the volume pulse wave having the periodicity is added and averaged. For this reason, it becomes possible to generate and output highly accurate volume pulse wave measurement data.

第1の応用例
この発明の第1の応用例は、テレビジョン受信装置又はセットトップボックス等の設置端末装置において、前記第1又は第2の実施形態で述べたユーザ端末装置(リモコン装置)から送信された統合容積脈波計測データをもとにユーザ属性を判定する。そして、この判定されたユーザ属性を表す情報を設置端末装置から通信ネットワークを介してコンテンツサーバ装置へ転送し、このコンテンツサーバ装置において上記ユーザ属性をもとにユーザに対し推薦すべきコンテンツを選択し、この選択されたコンテンツのデータをユーザに向け配信するようにしたものである。
( First application example )
A first application example of the present invention is an integrated volume transmitted from a user terminal device (remote control device) described in the first or second embodiment in an installation terminal device such as a television receiver or a set top box. The user attribute is determined based on the pulse wave measurement data. Then, the information representing the determined user attribute is transferred from the installation terminal device to the content server device via the communication network, and the content server device selects the content to be recommended to the user based on the user attribute. The data of the selected content is distributed to the user.

図9は、この発明の第1の応用例に係わるコンテンツ配信システムの全体構成を示すブロック図である。このシステムは、例えばテレビジョン受信装置又はセットトップボックス(STB)からなる設置端末装置2と、この設置端末装置2に対し操作信号を送信するリモートコントロール装置(リモコン装置)1と、上記設置端末装置2との間で通信ネットワーク5を介して通信を行うことが可能なコンテンツサーバ装置4と、上記設置端末装置2から出力されるコンテンツの映像を表示するディスプレイ3とから構成される。通信ネットワーク5は、例えばCATV(Cable Television)網又はIP網からなる。 FIG. 9 is a block diagram showing the overall configuration of the content distribution system according to the first application example of the present invention. This system includes an installation terminal device 2 composed of, for example, a television receiver or a set top box (STB), a remote control device (remote control device) 1 that transmits an operation signal to the installation terminal device 2, and the installation terminal device. 2 is configured by a content server device 4 capable of communicating with a communication network 5 via a communication network 5 and a display 3 for displaying content video output from the installation terminal device 2. The communication network 5 is composed of, for example, a CATV (Cable Television) network or an IP network.

図10は上記システム各部の機能構成を示すブロック図である。なお、同図において前記図2と同一部分には同一符号を付して詳しい説明は省略する。
設置端末装置20は、この発明に係わる機能として、容積脈波受信部21と、特徴抽出部22と、属性判定部23と、属性データベース24と、設置端末装置送受信部25を備えている。なお、これらの機能のうち容積脈波受信部21、特徴抽出部22、属性判定部23及び設置端末装置送受信部25は、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット(CPU)に実行させることにより実現される。
FIG. 10 is a block diagram showing a functional configuration of each part of the system. In the figure, the same parts as those in FIG.
The installation terminal device 20 includes a volume pulse wave reception unit 21, a feature extraction unit 22, an attribute determination unit 23, an attribute database 24, and an installation terminal device transmission / reception unit 25 as functions related to the present invention. Of these functions, the volume pulse wave reception unit 21, the feature extraction unit 22, the attribute determination unit 23, and the installation terminal device transmission / reception unit 25 execute application programs stored in a program memory (not shown) as a central processing unit (CPU). It is realized by making it execute.

容積脈波受信部21は、リモコン装置1のユーザ端末送信部17から、赤外線又は無線により送信された統合容積脈波計測データを受信する。
特徴抽出部22は、上記容積脈波受信部21により受信された統合容積脈波計測データからその特徴量を抽出する。抽出対象となる特徴量の種類には以下のものが考えられる。その第1の例は、容積脈波の周期と、振幅と、フーリエ変換によって得られる周波数スペクトルである。第2の例としては、容積脈波を一階微分することで得られる速度脈波の周期及び振幅と、フーリエ変換によって得られる周波数スペクトルである。第3の例としては、容積脈波を二階微分することで得られる加速度脈波の周期及び振幅と、フーリエ変換によって得られる周波数スペクトルである。特徴量の次元は1次元以上とし、これら単独あるいはこれらの中から複数の特徴量を組み合わせて複数次元の特徴量ベクトルとしてもよい。
The volume pulse wave receiving unit 21 receives integrated volume pulse wave measurement data transmitted from the user terminal transmission unit 17 of the remote control device 1 by infrared or wireless.
The feature extraction unit 22 extracts the feature amount from the integrated volume pulse wave measurement data received by the volume pulse wave reception unit 21. The types of feature quantities to be extracted can be considered as follows. The first example is the frequency spectrum obtained by the period, amplitude, and Fourier transform of the volume pulse wave. The second example is the velocity pulse wave period and amplitude obtained by first-order differentiation of the volume pulse wave, and the frequency spectrum obtained by Fourier transform. A third example is the acceleration pulse wave period and amplitude obtained by second-order differentiation of the volume pulse wave, and the frequency spectrum obtained by Fourier transform. The dimension of the feature quantity may be one dimension or more, and these may be used alone or a plurality of feature quantities may be combined to form a multi-dimensional feature quantity vector.

属性判定部23は、上記特徴抽出部22により抽出された特徴量と、属性データベース24に記憶された属性情報とを比較することにより、ユーザの属性を判定する。その判定処理方法としては以下の方法が考えられる。
すなわち、属性として10代未満、10代、20代といった年代を定義し、特徴量についてはユーザの容積脈波の振幅とする。予め各年代について複数の被験者を集め、集めた被験者から容積脈波を取得しておく。そして、この取得しておいた容積脈波からその振幅を検出してその平均を求めることで、各年代における容積脈波の振幅の平均値を算出し、この算出した容積脈波の振幅の平均値と年代とを関連付けたテーブルを作成して、このテーブルを属性データベース24に格納する。図12は、属性データベース24に格納されるテーブルの一例を示すものである。
The attribute determination unit 23 determines the attribute of the user by comparing the feature amount extracted by the feature extraction unit 22 with the attribute information stored in the attribute database 24. The following method can be considered as the determination processing method.
That is, an age such as less than 10s, 10s, or 20s is defined as an attribute, and the feature amount is the amplitude of the user's volume pulse wave. A plurality of subjects are collected in advance for each age, and volume pulse waves are acquired from the collected subjects. Then, by detecting the amplitude from the acquired volume pulse wave and calculating the average, the average value of the amplitude of the volume pulse wave in each age is calculated, and the average amplitude of the calculated volume pulse wave is calculated. A table in which values and ages are associated is created, and this table is stored in the attribute database 24. FIG. 12 shows an example of a table stored in the attribute database 24.

属性判定部23は、属性データベース24にテーブルとして保持されている各年代に対応する容積脈波の振幅の平均値と、特徴抽出部22により抽出されたユーザの統合容積脈波計測データの振幅との差の絶対値を算出する。そして、この算出された絶対値が最小になる年代を、判定対象ユーザの属性として判定する。
設置端末装置送受信部25は、上記属性判定部23により判定された判定対象ユーザの属性を表す情報を、通信ネットワーク5を介してコンテンツサーバ装置4へ向けて送信する。
The attribute determination unit 23 stores the average value of the volume pulse wave amplitude corresponding to each age stored as a table in the attribute database 24 and the amplitude of the integrated volume pulse wave measurement data of the user extracted by the feature extraction unit 22. Calculate the absolute value of the difference. Then, the age at which the calculated absolute value is minimized is determined as the attribute of the determination target user.
The installation terminal device transmission / reception unit 25 transmits information representing the attribute of the determination target user determined by the attribute determination unit 23 to the content server device 4 via the communication network 5.

コンテンツサーバ装置4は、コンテンツサーバ装置送受信部31と、推薦コンテンツ決定部32と、コンテンツデータベース33とを備えている。コンテンツサーバ装置送受信部31は、上記設置端末装置送受信部24との間で通信ネットワーク5を介してコンテンツデータを配信するために必要な通信を行う。   The content server device 4 includes a content server device transmission / reception unit 31, a recommended content determination unit 32, and a content database 33. The content server device transmission / reception unit 31 performs communication necessary for distributing content data with the installation terminal device transmission / reception unit 24 via the communication network 5.

コンテンツデータベース33には、配信対象となる多数のコンテンツデータと、その管理情報が記憶されている。管理情報は、例えば属性情報とコンテンツの識別情報とを相互に関連付けたものとなっている。   The content database 33 stores a large amount of content data to be distributed and its management information. For example, the management information is obtained by associating attribute information and content identification information with each other.

推薦コンテンツ決定部32は、設置端末装置2から通信ネットワーク5を介して上記判定対象ユーザの属性情報を取得し、この取得した属性情報をもとに当該ユーザに対し推薦すべきコンテンツを選択する。そして、上記選択されたコンテンツのデータをコンテンツデータベース41から読み出し、この読み出されたコンテンツデータをコンテンツサーバ装置送受信部31から通信ネットワーク5を介して設置端末装置2へ送信させる。   The recommended content determination unit 32 acquires the attribute information of the determination target user from the installation terminal device 2 via the communication network 5, and selects content to be recommended to the user based on the acquired attribute information. Then, the data of the selected content is read from the content database 41, and the read content data is transmitted from the content server device transmission / reception unit 31 to the installation terminal device 2 via the communication network 5.

次に、以上のように構成されたシステムの動作を説明する。
ユーザがコンテンツを視聴するためにリモコン装置1の操作ボタン11を操作すると、このときのユーザの指の容積脈波が容積脈波センサ部12により計測される。このとき、操作するキーの位置に応じて、作動センサデータベース14で予め定められた特定の容積脈波センサのみが動作する点は、前記第1の実施形態と同様である。
Next, the operation of the system configured as described above will be described.
When the user operates the operation button 11 of the remote control device 1 to view the content, the volume pulse wave of the user's finger at this time is measured by the volume pulse wave sensor unit 12. At this time, only the specific volume pulse wave sensor predetermined in the operation sensor database 14 operates according to the position of the key to be operated, as in the first embodiment.

上記容積脈波センサにより得られた容積脈波の計測データは、波形統合部16において、前記第1の実施形態で述べたように単純に加算平均されるか、又は前記第2の実施形態で述べたようにその自己相関係数をもとに周期性の有無が判定されて周期性があると判定された容積脈波の計測データのみが加算平均される。そして、この加算平均された容積脈波計測データがユーザ端末送信部17から赤外線又は無線により設置端末装置2へ送信される。   The volume pulse wave measurement data obtained by the volume pulse wave sensor is simply added and averaged in the waveform integration unit 16 as described in the first embodiment, or in the second embodiment. As described above, the presence or absence of periodicity is determined based on the autocorrelation coefficient, and only the volume pulse wave measurement data determined to have periodicity is averaged. Then, the volume pulse wave measurement data obtained by the averaging is transmitted from the user terminal transmission unit 17 to the installation terminal device 2 by infrared rays or wirelessly.

設置端末装置2では、上記リモコン装置1から容積脈波計測データを受信すると、先ず特徴抽出部22により容積脈波計測データの特徴量が抽出される。次に属性判定部23において、上記抽出された特徴量と、属性データベース24に予め記憶されたテーブルデータをもとに、ユーザの属性を判定する処理が以下のように行われる。図11はその処理手順と処理内容を示すフローチャートである。   In the installation terminal device 2, when volume pulse wave measurement data is received from the remote control device 1, first, the feature amount of the volume pulse wave measurement data is extracted by the feature extraction unit 22. Next, the attribute determination unit 23 performs a process for determining the user's attribute based on the extracted feature amount and the table data stored in advance in the attribute database 24 as follows. FIG. 11 is a flowchart showing the processing procedure and processing contents.

すなわち、属性判定部23は、先ずステップS31において上記特徴抽出部22から容積脈波計測データの特徴量Vu を表す情報を取得する。続いてステップS32において、変数tempを“0”に初期化すると共に、i及びxをそれぞれ“1”に初期化する。この状態で、ステップS33により属性データベース24からi行目の特徴量(年代)Vi を読み出し、ステップS34において上記容積脈波計測データの特徴量Vu と上記属性データベース24の特徴量(年代)Vi との間の差の絶対値
D=|Vi−Vu|
を計算する。
That is, the attribute determination unit 23 first acquires information representing the feature value Vu of the volume pulse wave measurement data from the feature extraction unit 22 in step S31. Subsequently, in step S32, the variable temp is initialized to “0”, and i and x are each initialized to “1”. In this state, the feature quantity (age) Vi of the i-th row is read from the attribute database 24 in step S33, and the feature quantity Vu of the volume pulse wave measurement data and the feature quantity (age) Vi of the attribute database 24 are read in step S34. Absolute value of the difference between D = | Vi−Vu |
Calculate

次にステップS35により、上記属性データベース24の行を指示する変数iがi=1か否かを判定し、i=1であればステップS37に移行して、変数tempに上記絶対値Dを設定する。続いて上記ステップS38により変数xにiを設定した後、ステップS39により変数iをインクリメントし、このインクリメント後のiが属性データベース24の最大行数を超えたか否かをステップS40で判定する。この判定の結果、iの値がまだ属性データベース24の最大行数を超えていなければ、ステップS33に戻って上記ステップS33〜S39による処理を繰り返す。   Next, in step S35, it is determined whether or not the variable i indicating the row of the attribute database 24 is i = 1. If i = 1, the process proceeds to step S37, and the absolute value D is set in the variable temp. To do. Subsequently, after i is set in the variable x in step S38, the variable i is incremented in step S39, and it is determined in step S40 whether i after the increment exceeds the maximum number of rows in the attribute database 24. As a result of this determination, if the value of i does not yet exceed the maximum number of rows in the attribute database 24, the process returns to step S33 and the processes in steps S33 to S39 are repeated.

このステップS33〜S39の繰り返し処理においては、iが2以上になるのでステップS35からステップS36に移行し、ここで上記絶対値Dがtempより小さいか否かを判定する。そしてこの判定の結果、上記絶対値Dが変数tempより小さければステップS37に移行して、変数tempに上記絶対値Dを設定する。これに対し、絶対値Dがtemp以上であればステップS37,S38の処理を省略してステップS39に移行し、変数iをインクリメントする。   In the repetitive processing of steps S33 to S39, since i becomes 2 or more, the process proceeds from step S35 to step S36, where it is determined whether or not the absolute value D is smaller than temp. If the absolute value D is smaller than the variable temp as a result of this determination, the process proceeds to step S37, and the absolute value D is set in the variable temp. On the other hand, if the absolute value D is equal to or greater than temp, the processes in steps S37 and S38 are omitted, and the process proceeds to step S39 to increment the variable i.

そうして属性データベース24の全ての行iについて、その特徴量Vi と上記容積脈波計測データの特徴量Vu との差の絶対値Dを計算する処理と、この計算された絶対値Dの中から最小値を計測してtempに保存する処理が終了すると、属性判定部23はステップS41に移行して、属性データベース24のx行目に記述された特徴量(年代)を判定対象ユーザの属性であると判定する。
この判定された特徴量(年代)を表す情報は、設置端末装置送受信部25からコンテンツサーバ装置4に向け送信される。
Then, for all the rows i in the attribute database 24, a process for calculating the absolute value D of the difference between the feature value Vi and the feature value Vu of the volume pulse wave measurement data, and among the calculated absolute value D, When the process of measuring the minimum value from TEMP and saving it in temp is completed, the attribute determination unit 23 proceeds to step S41, and the feature amount (age) described in the x-th row of the attribute database 24 is determined as the attribute of the determination target user. It is determined that
Information representing the determined feature amount (age) is transmitted from the installation terminal device transmission / reception unit 25 to the content server device 4.

コンテンツサーバ装置4では、上記設置端末装置2から送信されたユーザ属性情報がコンテンツサーバ装置送受信部31で受信されると、推薦コンテンツ決定部32により、当該受信されたユーザ属性情報をもとに対応するコンテンツがコンテンツデータベース33から選択的に読み出され、この読み出されたコンテンツデータがコンテンツサーバ装置送受信部31から通信ネットワーク5を介して設置端末装置2へ配信される。   In the content server device 4, when the user attribute information transmitted from the installation terminal device 2 is received by the content server device transmission / reception unit 31, the recommended content determination unit 32 responds based on the received user attribute information. The content to be read is selectively read from the content database 33, and the read content data is distributed from the content server device transmitting / receiving unit 31 to the installation terminal device 2 via the communication network 5.

なお、設置端末装置2にコンテンツの視聴履歴を管理する機能を持たせ、設置端末装置2から、上記ユーザ属性情報と共にコンテンツ視聴履歴情報を取得し、この取得したユーザ属性情報及びコンテンツ視聴履歴情報をもとに当該ユーザに対し推薦すべきコンテンツを選択するようにしてもよい。   The installation terminal device 2 has a function of managing the content viewing history, and the content viewing history information is acquired from the installation terminal device 2 together with the user attribute information, and the acquired user attribute information and content viewing history information are obtained. The content to be recommended to the user may be selected based on the original.

例えば、コンテンツ視聴履歴情報をもとに判定対象ユーザのコンテンツ視聴履歴の中で最も多く視聴されているコンテンツのジャンルを判定し、この判定されたジャンルと、当該ユーザの属性情報とに関連付けて記憶されているコンテンツデータを推薦コンテンツとして選択して配信する。なお、上記ジャンルとしては、ニュースやスポーツ、芸能等が考えられる。上記配信された推薦コンテンツデータは、設置端末装置2の設置端末装置送受信部25に一旦蓄積された後、ディスプレイ3に送られて表示される。   For example, the genre of the content most viewed in the content viewing history of the determination target user is determined based on the content viewing history information, and the determined genre is stored in association with the attribute information of the user. The selected content data is selected and distributed as recommended content. The genre may be news, sports, entertainment, etc. The distributed recommended content data is temporarily stored in the installation terminal device transmission / reception unit 25 of the installation terminal device 2 and then sent to the display 3 for display.

以上述べたように第1の応用例では、リモコン装置1から送信されるユーザの容積脈波計測データをもとに設置端末装置2により当該ユーザの属性情報(年代)を判定し、この容積脈波計測データをもとに判定したユーザ属性情報を通信ネットワーク5を介してコンテンツサーバ装置4へ送信する。そして、コンテンツサーバ装置4において、上記設置端末装置2から送られたユーザ属性情報をもとに推薦すべきコンテンツを選択し、この選択されたコンテンツのデータを設置端末装置2へ配信するようにしている。 As described above, in the first application example , the installation terminal device 2 determines the attribute information (age) of the user based on the user's volume pulse wave measurement data transmitted from the remote control device 1, and the volume pulse is determined. The user attribute information determined based on the wave measurement data is transmitted to the content server device 4 via the communication network 5. Then, the content server device 4 selects content to be recommended based on the user attribute information sent from the installation terminal device 2, and distributes data of the selected content to the installation terminal device 2. Yes.

したがって、リモコン装置1により計測されるユーザの容積脈波計測データをもとに設置端末装置2において当該ユーザの属性情報を判定することができ、この判定された属性情報をコンテンツサーバ装置4に通知することにより、コンテンツサーバ装置4ではユーザの属性に対応したコンテンツを自動選択して配信することができる。   Therefore, it is possible to determine the attribute information of the user in the installation terminal device 2 based on the volume pulse wave measurement data of the user measured by the remote control device 1, and notify the content server device 4 of the determined attribute information. As a result, the content server device 4 can automatically select and distribute the content corresponding to the user attribute.

(その他の実施形態)
なお、この発明は上記各実施形態に限定されるものではない。例えば、容積脈波センサ12はリモコン装置の筐体両側面に限らず背面或いは正面に配置されていてもよく、また等間隔でなく不規則な間隔で配置されていてもよい。さらに、配置形態については一次元方向に配置する以外に、二次元方向に配置するようにしてもよい。また、容積脈波センサは操作ボタンのキートップに設置されるようにしてもよい。
(Other embodiments)
The present invention is not limited to the above embodiments. For example, the plethysmogram sensor 12 may be disposed not only on both side surfaces of the casing of the remote control device but also on the back surface or the front surface, and may be disposed at irregular intervals instead of at regular intervals. Further, the arrangement may be arranged in a two-dimensional direction in addition to the arrangement in the one-dimensional direction. The plethysmogram sensor may be installed on the key top of the operation button.

また、第1の応用例ではリモコン装置1においてユーザの容積脈波を計測してその計測データを設置端末装置2に送り、設置端末装置2において上記容積脈波計測データをもとにユーザの属性情報を判定するようにした。しかし、それに限定されるものではなく、ユーザ端末装置において上記ユーザの容積脈波の計測からユーザ属性の判定までの一連の処理を行うように構成してもよい。
このような構成によれば、例えばユーザ端末装置として携帯電話機やPDA(Personal Digital Assistant)等の携帯型の情報通信端末を使用する場合に、この携帯型の情報通信端末からコンテンツサーバ装置に対し直接ユーザ属性情報を送信することができる。
In the first application example , the remote controller 1 measures the volume pulse wave of the user and sends the measurement data to the installation terminal apparatus 2. The installation terminal apparatus 2 uses the volume pulse wave measurement data to determine the user attributes. Information was judged. However, the present invention is not limited to this, and the user terminal device may be configured to perform a series of processes from measurement of the user's volume pulse wave to determination of user attributes.
According to such a configuration, for example, when a portable information communication terminal such as a mobile phone or a PDA (Personal Digital Assistant) is used as the user terminal device, the portable information communication terminal directly connects to the content server device. User attribute information can be transmitted.

さらに、前記第2の実施形態では、計算された自己相関係数のピークが3回連続してしきい値を超えているか否かを判定するようにしたが、2回連続しているか否かを判定するようにしても、また4回以上の任意の回数だけ連続しているか否かを判定するようにしてもよい。
その他、ユーザ端末装置の種類やその構成、容積脈波の計測処理手順とその処理内容、設置端末装置の種類やその構成、ユーザ属性の判定処理手順とその処理内容、コンテンツサーバ装置における推薦コンテンツの選択処理手順とその処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
Further, in the second embodiment, it is determined whether or not the calculated autocorrelation coefficient peak exceeds the threshold value three times in succession. Further, it may be determined whether or not it is continued four times or more arbitrarily.
Other types and configurations of user terminal devices, volume pulse wave measurement processing procedures and processing details, types and configurations of installed terminal devices, user attribute determination processing procedures and processing details, and recommended content of content server The selection processing procedure, the processing content, and the like can be implemented with various modifications without departing from the gist of the present invention.

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。   In short, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in each embodiment. Furthermore, you may combine suitably the component covering different embodiment.

1…リモコン装置、2…設置端末装置、3…ディスプレイ、4…コンテンツサーバ装置、11…操作ボタン、11a…数字キー、11b…カーソルキー、11c…その他の機能キー、12…容積脈波センサ、12a,12b,12c…センサグループ、13…作動センサ決定部、14…作動センサデータベース、15…容積脈波取得部、16…波形統合部、17…ユーザ端末送信部、21…容積脈波受信部、22…特徴抽出部、23…属性判定部、24…属性データベース、25…設置端末装置送受信部、31…コンテンツサーバ装置送受信部、32…推薦コンテンツ決定部、33…コンテンツデータベース。   DESCRIPTION OF SYMBOLS 1 ... Remote control device, 2 ... Installation terminal device, 3 ... Display, 4 ... Content server apparatus, 11 ... Operation button, 11a ... Number key, 11b ... Cursor key, 11c ... Other function keys, 12 ... Volume pulse wave sensor, 12a, 12b, 12c ... sensor group, 13 ... operation sensor determination unit, 14 ... operation sensor database, 15 ... volume pulse wave acquisition unit, 16 ... waveform integration unit, 17 ... user terminal transmission unit, 21 ... volume pulse wave reception unit , 22 ... feature extraction unit, 23 ... attribute determination unit, 24 ... attribute database, 25 ... installation terminal device transmission / reception unit, 31 ... content server device transmission / reception unit, 32 ... recommended content determination unit, 33 ... content database.

Claims (3)

スティック状の長方体の筐体を有し、正面部に複数の操作ボタンが配置されたユーザ端末装置であって、
前記筐体の側面部に指のサイズよりも短い間隔で分散配置された複数の容積脈波センサと、
前記複数の操作ボタンの識別情報を、当該操作ボタンが操作されたときに動作させるべき容積脈波センサの識別情報と関連付けて記憶する記憶テーブルと、
前記操作ボタンの1つが操作された場合に、当該操作された操作ボタンに関連付けられた容積脈波センサを前記記憶テーブルの記憶情報をもとに特定するセンサ特定手段と、
前記複数の容積脈波センサのうち前記特定された容積脈波センサを選択的に動作させ、この動作した容積脈波センサから前記ユーザの容積脈波計測信号を取得する容積脈波取得手段と
を具備することを特徴とするユーザ端末装置。
A user terminal device having a stick-shaped rectangular housing and having a plurality of operation buttons arranged on the front surface ,
A plurality of volume pulse wave sensors distributed and arranged at intervals shorter than the size of the finger on the side surface of the housing;
A storage table for storing the identification information of the plurality of operation buttons in association with the identification information of the volume pulse wave sensor to be operated when the operation button is operated;
When one of the operation buttons is operated, sensor specifying means for specifying a volume pulse wave sensor associated with the operated operation button based on the storage information of the storage table;
Volume pulse wave acquisition means for selectively operating the identified volume pulse wave sensor among the plurality of volume pulse wave sensors and acquiring the volume pulse wave measurement signal of the user from the operated volume pulse wave sensor; A user terminal device comprising:
前記動作した容積脈波センサが複数の場合に、これら複数の容積脈波センサから出力される容積脈波計測信号を加算平均し、この加算平均された容積脈波計測信号を出力する手段を、さらに具備することを特徴とする請求項1記載のユーザ端末装置。   In the case where there are a plurality of volume pulse wave sensors that have been operated, a means for averaging the volume pulse wave measurement signals output from the plurality of volume pulse wave sensors, and outputting the volume pulse wave measurement signal that has been averaged, The user terminal device according to claim 1, further comprising: 前記動作した容積脈波センサが複数の場合に、これら複数の容積脈波センサから出力される容積脈波計測信号の各々について自己相関係数を計算し、この計算された自己相関係数をもとに当該容積脈波計測信号の波形に周期性があるか否かを判定し、周期性があると判定された容積脈波計測信号を選択して加算平均し、この加算平均された容積脈波計測信号を出力する手段を、さらに具備することを特徴とする請求項1記載のユーザ端末装置。   When a plurality of volume pulse wave sensors are operated, an autocorrelation coefficient is calculated for each of the volume pulse wave measurement signals output from the plurality of volume pulse wave sensors, and the calculated autocorrelation coefficient is also calculated. And determining whether or not the waveform of the volume pulse wave measurement signal has periodicity, selecting the volume pulse wave measurement signal determined to have periodicity, averaging, and adding and averaging the volume pulse The user terminal apparatus according to claim 1, further comprising means for outputting a wave measurement signal.
JP2010056720A 2010-03-12 2010-03-12 User terminal device Expired - Fee Related JP5325817B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010056720A JP5325817B2 (en) 2010-03-12 2010-03-12 User terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010056720A JP5325817B2 (en) 2010-03-12 2010-03-12 User terminal device

Publications (2)

Publication Number Publication Date
JP2011191954A JP2011191954A (en) 2011-09-29
JP5325817B2 true JP5325817B2 (en) 2013-10-23

Family

ID=44796804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010056720A Expired - Fee Related JP5325817B2 (en) 2010-03-12 2010-03-12 User terminal device

Country Status (1)

Country Link
JP (1) JP5325817B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105796097A (en) * 2014-12-29 2016-07-27 普天信息技术有限公司 EEG signal acquisition device, brain rehabilitation training device and brain rehabilitation training system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103315712A (en) * 2013-06-28 2013-09-25 于东方 Vital sings detection system based on cloud television technology
CN104284229A (en) * 2014-08-06 2015-01-14 深圳创维数字技术股份有限公司 Method, device and system for switching television channels
WO2024038688A1 (en) * 2022-08-18 2024-02-22 ソニーグループ株式会社 Information processing device, information processing method, and program

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3029912B2 (en) * 1992-01-08 2000-04-10 日本コーリン株式会社 Pulse rate measuring device
JP2795106B2 (en) * 1992-11-25 1998-09-10 松下電器産業株式会社 Biological information processing device
JPH07299043A (en) * 1994-05-10 1995-11-14 Sanyo Electric Co Ltd Pulse detecting device
JP3529886B2 (en) * 1995-04-19 2004-05-24 株式会社エー・アンド・デイ Blood pressure cuff
JPH10118185A (en) * 1996-10-18 1998-05-12 Kokurenshiya:Kk Relaxation therapy system by sounds and images and said system by sounds, images and scents
CN1227843C (en) * 1997-05-02 2005-11-16 精工爱普生株式会社 Biological Polarized Communication System
JPH10312241A (en) * 1997-05-12 1998-11-24 Uinetsuto:Kk Computer system and pointing device used therefor
JPH11318840A (en) * 1998-05-14 1999-11-24 Omron Corp Pulse wave detector
JP2002000575A (en) * 2000-06-23 2002-01-08 Matsushita Electric Ind Co Ltd Heart rate sensor and heart rate calculation method
JP3750557B2 (en) * 2001-04-25 2006-03-01 オムロンヘルスケア株式会社 Pulse wave detector
JP2002360530A (en) * 2001-06-11 2002-12-17 Waatekkusu:Kk Pulse wave sensor and pulse rate detector
JP2006102159A (en) * 2004-10-06 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> Biological information measuring device
JP2007065892A (en) * 2005-08-30 2007-03-15 Ginga Kobo:Kk Antiaging management system
JP4153003B2 (en) * 2006-09-04 2008-09-17 シャープ株式会社 Biological information measuring device, power consumption control method, biological information measuring program, and computer-readable recording medium
JP2008217684A (en) * 2007-03-07 2008-09-18 Toshiba Corp Information input / output device
JP2009076059A (en) * 2007-08-29 2009-04-09 Quality Kk Management system, managing device and management program
JP5079528B2 (en) * 2008-01-08 2012-11-21 シャープ株式会社 Biological information measuring device, biological information measuring method, biological information measuring program, and recording medium
JP5510329B2 (en) * 2008-09-05 2014-06-04 ソニー株式会社 Content recommendation system, content recommendation method, content recommendation device, program, and information storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105796097A (en) * 2014-12-29 2016-07-27 普天信息技术有限公司 EEG signal acquisition device, brain rehabilitation training device and brain rehabilitation training system

Also Published As

Publication number Publication date
JP2011191954A (en) 2011-09-29

Similar Documents

Publication Publication Date Title
US8612247B2 (en) Biological information management system
JP5325817B2 (en) User terminal device
CN108683927A (en) Main broadcaster recommends method, apparatus and storage medium
CN104378683A (en) Program based interaction method and device
CN110458655B (en) A kind of shop information recommendation method and mobile terminal
CN108108457B (en) Method, storage medium, and terminal for extracting large tempo information from music tempo points
CN106303733B (en) Method and device for playing live special effect information
CN109089156B (en) Sound effect adjusting method and device and terminal
JP2013156995A (en) Method of managing information related to exercise amount and display apparatus using the same, and server
CN102843597A (en) Set top box remote controller
KR101942882B1 (en) Method and terminal for processing media file
US10261597B2 (en) Information processing apparatus, input terminal selection method, program, and system
CN111225237A (en) A kind of video sound and picture matching method, related device and storage medium
US20140090444A1 (en) Measurement Apparatus Having Weight Measurement Function, Display Device, and Weight Measurement System
CN108388455A (en) A kind of sharing method of property parameters, property setting method and mobile terminal
CN107566909B (en) Barrage-based video content searching method and user terminal
US20170139482A1 (en) Image display apparatus and operation method thereof
CN112767434B (en) Step size acquisition method and electronic device
CN107562303B (en) Method and device for controlling element motion in display interface
CN110168599B (en) Data processing method and terminal
CN115206483A (en) Motion recognition method and electronic equipment
CN110798511B (en) Method for predicting number of daily active users of target APP and computer equipment
CN109545321A (en) A kind of policy recommendation method and device
CN109582820B (en) A song playing method, terminal device and server
JP2017142736A (en) Gesture recognition device, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120127

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130121

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130722

R150 Certificate of patent or registration of utility model

Ref document number: 5325817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees