Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5680475B2 - Portable wireless terminal - Google Patents
[go: Go Back, main page]

JP5680475B2 - Portable wireless terminal - Google Patents

Portable wireless terminal Download PDF

Info

Publication number
JP5680475B2
JP5680475B2 JP2011098468A JP2011098468A JP5680475B2 JP 5680475 B2 JP5680475 B2 JP 5680475B2 JP 2011098468 A JP2011098468 A JP 2011098468A JP 2011098468 A JP2011098468 A JP 2011098468A JP 5680475 B2 JP5680475 B2 JP 5680475B2
Authority
JP
Japan
Prior art keywords
unit
display unit
temperature
display
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011098468A
Other languages
Japanese (ja)
Other versions
JP2012231309A (en
Inventor
雅治 今里
雅治 今里
田渕 透
透 田渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Avionics Co Ltd
Original Assignee
Nippon Avionics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Avionics Co Ltd filed Critical Nippon Avionics Co Ltd
Priority to JP2011098468A priority Critical patent/JP5680475B2/en
Publication of JP2012231309A publication Critical patent/JP2012231309A/en
Application granted granted Critical
Publication of JP5680475B2 publication Critical patent/JP5680475B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Radiation Pyrometers (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、非接触で体温或は体表面温度を計測する機能を備える携帯型無線端末に関する。   The present invention relates to a portable wireless terminal having a function of measuring body temperature or body surface temperature without contact.

2009年4月にメキシコで確認された新型インフルエンザ(パンデミックインフルエンザA(H1N1))は、その後世界的に流行し、我が国でも2009年第28週から第51週までの累積推計患者数は約1653万人と推定されている(https://hasseidoko.mhlw.go.jp/Hasseidoko/Levelmap/flu/new_jmap.html)。
このような背景から、インフルエンザ等の感染の拡大を防ぐために、人の体温を瞬時に計測する機器のニーズが高まっている。
A new influenza virus (pandemic influenza A (H1N1)) confirmed in Mexico in April 2009 became widespread worldwide, and the cumulative estimated number of patients from the 28th to 51st week in 2009 is about 16.53 million in Japan. It is estimated to be a person (https://hasseidoko.mhlw.go.jp/Hasseidoko/Levelmap/flu/new_jmap.html).
From such a background, in order to prevent the spread of infection such as influenza, there is an increasing need for a device that instantaneously measures a human body temperature.

特表2000−513975号公報Special Table 2000-513975

ユニット形体表面温度チェッカ TP-U0260ET(サーモピクス愛):[2010年1月6日検索]、インターネット<URL:http://www.yamagata-chino.co.jp/product/tp-u.html>Unit shape surface temperature checker TP-U0260ET (Thermopics Ai): [Search January 6, 2010], Internet <URL: http://www.yamagata-chino.co.jp/product/tp-u.html>

特許文献1には、ペン型の非接触形式体温計が開示されている。サーモパイルセンサを用いて、被計測者の額から約3cm程離して、体温を計測する。非接触式なので、接触に基づく病原菌等の感染の虞はないものの、医者或は看護師が被計測者に対面して操作を行う必要があるので、空気感染の可能性を払拭できない。
非特許文献1には、据え置き型の非接触形式体温計が開示されている。赤外線カメラを用いて、被計測者の顔を撮影し、額を認識した後、額の表面温度から体温を計測する。非接触式であり、且つ対面して操作を行う必要がない点で優れているが、赤外線カメラが高価である。
以上のような背景から、市場では、低価格で導入が可能な体温計が求められている。
Patent Document 1 discloses a pen-type non-contact thermometer. Using a thermopile sensor, the body temperature is measured about 3 cm away from the forehead of the subject. Since it is a non-contact type, there is no risk of infection such as pathogenic bacteria due to contact, but since the doctor or nurse needs to perform the operation facing the person to be measured, the possibility of air infection cannot be eliminated.
Non-Patent Document 1 discloses a stationary non-contact type thermometer. An infrared camera is used to photograph the face of the measurement subject, recognize the forehead, and then measure the body temperature from the surface temperature of the forehead. It is excellent in that it is non-contact and does not need to be face-to-face operated, but an infrared camera is expensive.
In view of the above background, there is a demand for a thermometer that can be introduced at a low price in the market.

本発明は係る課題を解決し、非接触方式の温度計測機能を有する携帯型無線端末を提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide a portable wireless terminal having a non-contact temperature measurement function that solves such problems.

上記課題を解決するため、本発明の携帯型無線端末は、画像を表示可能な表示部と、表示部を保持する表示部保持部と、表示部保持部の、表示部に隣接して設けられる受話口と、表示部保持部の、表示部に隣接して設けられる赤外線検出素子と、赤外線検出素子に接続されて被計測者の体表面温度又は体温を表す温度データを出力する温度データ生成部と、温度データを表示部に表示させる表示制御部と、表示部保持部の、表示部に隣接して設けられて被計測者の顔を撮像するための被計測者撮像素子と、被計測者撮像素子に接続されて画像データを出力する画像データ生成部と、画像データに所定の位置及び大きさの顔が存在することを検出して温度データ生成部に温度計測を命ずるトリガ信号を発する顔認識部と、表示制御部に供給される、表示部に被計測者の顔の配置を導くための顔枠画像データとを具備する。 In order to solve the above-described problems, a portable wireless terminal according to the present invention is provided adjacent to a display unit, a display unit capable of displaying an image, a display unit holding unit that holds the display unit, and a display unit holding unit. An earpiece, an infrared detection element provided adjacent to the display unit of the display unit holding unit, and a temperature data generation unit that is connected to the infrared detection element and outputs temperature data representing the body surface temperature or body temperature of the measurement subject A display control unit that displays temperature data on the display unit, a measurement unit imaging element that is provided adjacent to the display unit of the display unit holding unit and captures the face of the measurement target, and the measurement target An image data generation unit that outputs image data by being connected to an image sensor, and a face that detects the presence of a face of a predetermined position and size in the image data and issues a trigger signal that instructs the temperature data generation unit to measure temperature Supplied to the recognition unit and the display control unit Comprises a face frame image data for guiding the placement of the face of the person to be measured to the display unit.

極めて広く普及している携帯型無線端末の液晶表示画面近傍に非接触の赤外線センサを組み込み、使用者の額の温度を計測する。非接触且つ操作者の存在なくして、体表面温度或は体温の計測を高精度に実現できる。   A non-contact infrared sensor is incorporated in the vicinity of the liquid crystal display screen of a portable wireless terminal that is extremely widespread, and the temperature of the user's forehead is measured. Measurement of the body surface temperature or body temperature can be realized with high accuracy without contact and without the presence of an operator.

本発明により、非接触方式の温度計測機能を有する携帯型無線端末を提供できる。   According to the present invention, a portable wireless terminal having a contactless temperature measurement function can be provided.

本発明の第一の実施形態に係る携帯電話101の外観斜視図である。1 is an external perspective view of a mobile phone 101 according to a first embodiment of the present invention. 本発明の第一の実施形態に係る携帯電話の、ハードウェア構成を説明するブロック図である。It is a block diagram explaining the hardware constitutions of the mobile telephone which concerns on 1st embodiment of this invention. 本発明の第一の実施形態に係る携帯電話の、ソフトウェアの機能を説明するブロック図である。It is a block diagram explaining the function of the software of the mobile phone which concerns on 1st embodiment of this invention. 本発明の第一の実施形態に係る携帯電話の、体温を計測する動作状態を説明する概略図である。It is the schematic explaining the operation state which measures body temperature of the mobile telephone which concerns on 1st embodiment of this invention. 本発明の第二の実施形態に係る携帯電話の、ソフトウェアの機能を説明するブロック図である。It is a block diagram explaining the function of the software of the mobile telephone which concerns on 2nd embodiment of this invention. 本発明の第二の実施形態に係る携帯電話の、体温を計測する動作状態を説明する概略図である。It is the schematic explaining the operation state which measures body temperature of the mobile telephone which concerns on 2nd embodiment of this invention. 本発明の第三の実施形態に係る携帯電話の、ソフトウェアの機能を説明するブロック図である。It is a block diagram explaining the function of the software of the mobile telephone which concerns on 3rd embodiment of this invention. 本発明の第三の実施形態に係る携帯電話の、体温を計測する動作状態を説明する概略図である。It is the schematic explaining the operation state which measures body temperature of the mobile telephone which concerns on 3rd embodiment of this invention.

[携帯型無線端末の概要]
本発明の実施形態の概要を説明する。
本実施形態に係る携帯型無線端末(以下「携帯電話」と略)は、サーモパイルセンサが携帯電話のLCDディスプレイの近傍に埋め込まれている。サーモパイルセンサは赤外線を非接触にて検出し、物体の表面温度を計測することができる。周知のように、額は顔の部位の中で最も温度が高い部位であるので、サーモパイルセンサで被計測者の額から発される赤外線を検出することで、被計測者の額の体表面温度を計測できる。額の体表面温度が判れば、所定の計算式で体温を算出可能である。
サーモパイルセンサが被計測者の額から発される赤外線を正しく捉えるために、携帯電話と被計測者の顔との相対的位置関係がある程度正確に定められる必要がある。
携帯電話の、被計測者に対する位置決めの方法としては、いわゆる「自分撮り」と呼ばれる、携帯電話の利用者自身の顔を撮影するためにLCDディスプレイの近傍に設けられている副撮像素子を用いる方法(第一の実施形態)と、LCDディスプレイ表面の保護パネルを鏡の代わりとして用いる方法(第二の実施形態)を開示する。
また、位置決めが困難な場合には、サーモパイルセンサで顔全体を走査し、得られた体表面温度のうち最も温度が高い値を額の体表面温度として採用する方法(第三の実施形態)を開示する。
[Outline of portable wireless terminal]
An outline of an embodiment of the present invention will be described.
In the portable wireless terminal (hereinafter abbreviated as “mobile phone”) according to the present embodiment, a thermopile sensor is embedded in the vicinity of the LCD display of the mobile phone. The thermopile sensor can detect infrared rays in a non-contact manner and measure the surface temperature of the object. As is well known, the forehead is the hottest part of the face, so the body surface temperature of the subject's forehead is detected by detecting infrared rays emitted from the subject's forehead with a thermopile sensor. Can be measured. If the body surface temperature of the forehead is known, the body temperature can be calculated by a predetermined calculation formula.
In order for the thermopile sensor to correctly capture the infrared rays emitted from the forehead of the person being measured, the relative positional relationship between the mobile phone and the face of the person being measured needs to be determined to some extent accurately.
As a method of positioning the mobile phone with respect to the person to be measured, a so-called “self-portrait” method using a sub-imaging device provided in the vicinity of the LCD display for photographing the face of the mobile phone user himself / herself (First embodiment) and a method (second embodiment) in which a protective panel on the LCD display surface is used instead of a mirror are disclosed.
In addition, when positioning is difficult, a method (third embodiment) in which the entire face is scanned with a thermopile sensor and the highest body temperature among the obtained body surface temperatures is adopted as the body surface temperature of the forehead. Disclose.

[第一の実施形態:携帯電話101の外観とハードウェア構成]
図1は、本発明の第一の実施形態に係る携帯電話101の外観斜視図である。
携帯電話101の筐体は、折りたたみ式である。但し、本実施形態に係る携帯電話101の筐体形状は、図1に示す折りたたみ式に限られない。近年急速に普及しているスマートフォンと呼ばれる、タッチパネルを採用した可動部分のない形状や、スライド式の形状であってもよい。
携帯電話101は、LCDディスプレイ102が第一可動部103に、操作ボタン104が第二可動部105に設けられ、第一可動部103と第二可動部105は周知のヒンジ106で開閉動作できる。
第一可動部103の、LCDディスプレイ102の上側には受話口107が設けられ、受話口107の内部には図示しないスピーカ212(図2参照)が埋め込まれている。
受話口107の左側には、操作者が自分自身の顔をLCDディスプレイ102で確認しながら撮影する、いわゆる自分撮り用の副撮像素子108が埋め込まれている。なお、第二可動部105の図示しない裏面には、操作者が風景や人物等、つまり自分自身以外の被写体をLCDディスプレイ102で確認しながら撮影するための、主撮像素子214(図2参照)が設けられている。
そして、受話口107の右側には、サーモパイルセンサユニット109が埋め込まれている。
[First Embodiment: Appearance and Hardware Configuration of Mobile Phone 101]
FIG. 1 is an external perspective view of a mobile phone 101 according to the first embodiment of the present invention.
The housing of the mobile phone 101 is foldable. However, the housing shape of the mobile phone 101 according to the present embodiment is not limited to the folding type shown in FIG. It may be a shape without a movable part that employs a touch panel, called a smartphone that has been rapidly spreading in recent years, or a slide-type shape.
In the mobile phone 101, the LCD display 102 is provided in the first movable portion 103 and the operation button 104 is provided in the second movable portion 105, and the first movable portion 103 and the second movable portion 105 can be opened and closed by a known hinge 106.
The earpiece 107 is provided above the LCD display 102 of the first movable portion 103, and a speaker 212 (see FIG. 2) (not shown) is embedded in the earpiece 107.
On the left side of the earpiece 107, there is embedded a so-called self-portrait sub-imaging device 108 in which an operator takes a picture while confirming his / her face on the LCD display 102. Note that a main imaging device 214 (see FIG. 2) is provided on the back surface (not shown) of the second movable unit 105 so that the operator can photograph a subject other than himself / herself on the LCD display 102 while confirming a landscape or a person. Is provided.
A thermopile sensor unit 109 is embedded on the right side of the earpiece 107.

サーモパイルセンサユニット109は、副撮像素子108による自分撮りの位置関係を利用して、第一可動部103に埋め込まれている。つまり、携帯電話と被計測者の顔との距離がおよそ30〜50cm程度離れた状態で、被計測者が携帯電話のLCDディスプレイ102を見ながら副撮像素子108を用いて被計測者自身の顔を写すと、副撮像素子108の撮影画像である被計測者の顔がLCDディスプレイ102全面に表示される。サーモパイルセンサユニット109は、この時の、被計測者の顔と第一可動部103の距離と角度で、被計測者の額の中央部分から発される赤外線を捉える角度で、第一可動部103に設けられている。   The thermopile sensor unit 109 is embedded in the first movable unit 103 using the positional relationship of self-photographing by the sub image sensor 108. That is, in the state where the distance between the mobile phone and the face of the person to be measured is approximately 30 to 50 cm, the person to be measured uses the sub-imaging device 108 while looking at the LCD display 102 of the mobile phone. , The face of the person being measured, which is a captured image of the sub image sensor 108, is displayed on the entire LCD display 102. The thermopile sensor unit 109 at this time is the distance and angle between the face of the person to be measured and the first movable part 103, and the angle at which the infrared rays emitted from the central part of the forehead of the person to be measured are captured. Is provided.

第一可動部103は、表示部205(図2参照)であるLCDディスプレイ102と、受話口107と、赤外線検出素子ともいえるサーモパイルセンサユニット109と、副撮像素子108を保持する、表示部保持部ともいえる。   The first movable unit 103 is a display unit holding unit that holds an LCD display 102 that is a display unit 205 (see FIG. 2), an earpiece 107, a thermopile sensor unit 109 that can also be referred to as an infrared detection element, and a sub imaging device 108. It can be said.

図2は、携帯電話101のハードウェア構成を説明するブロック図である。なお、図2のブロック図では、第一の実施形態としては必ずしも必要のないハードウェアブロックも存在する。
携帯電話101は周知のマイコンを中心として構成される情報処理装置であり、情報処理装置の機能の一つとして、無線通信の通話機能が提供されている。
バス201には、周知のCPU202、ROM203、RAM204、表示部205、操作部206が接続されている他、通話に必要な無線通信のための高周波信号処理を行う、アンテナ208が接続されているRF部207と、A/D変換器209aを通じて通話音声を拾うためのマイク210と、D/A変換器211を通じて通話音声を発するためのスピーカ212が、接続されている。
また、携帯電話101は付帯的機能として、ゲーム等のアプリケーションプログラムを実行する機能、デジタル音楽データや動画データを再生する機能を備え、それらアプリケーションプログラムやデータはフラッシュメモリ等の不揮発性ストレージ213にファイルとして記憶される。
FIG. 2 is a block diagram illustrating a hardware configuration of the mobile phone 101. In the block diagram of FIG. 2, there are hardware blocks that are not necessarily required as the first embodiment.
The mobile phone 101 is an information processing apparatus mainly configured by a known microcomputer, and a wireless communication call function is provided as one of the functions of the information processing apparatus.
A well-known CPU 202, ROM 203, RAM 204, display unit 205, and operation unit 206 are connected to the bus 201, and an RF is connected to an antenna 208 that performs high-frequency signal processing for wireless communication necessary for a call. The unit 207, the microphone 210 for picking up the call voice through the A / D converter 209a, and the speaker 212 for emitting the call voice through the D / A converter 211 are connected.
In addition, the mobile phone 101 has, as incidental functions, a function for executing an application program such as a game and a function for reproducing digital music data and moving image data. The application program and data are stored in a nonvolatile storage 213 such as a flash memory. Is remembered as

表示部205はLCDディスプレイ102である。操作部206は操作ボタン104である。
主撮像素子214と副撮像素子108は、スイッチ215で選択的に切り替えられる。いずれかの撮像素子が出力する信号は、信号処理部216を通じてA/D変換器209bによってデジタルデータに変換される。
本発明の第一の実施形態に係る携帯電話101の場合、自分撮りのための副撮像素子108の存在が必要不可欠である。
The display unit 205 is the LCD display 102. An operation unit 206 is an operation button 104.
The main image sensor 214 and the sub image sensor 108 are selectively switched by a switch 215. A signal output from any one of the image sensors is converted into digital data by the A / D converter 209b through the signal processing unit 216.
In the case of the mobile phone 101 according to the first embodiment of the present invention, the presence of the sub imaging element 108 for self-portrait is indispensable.

三軸センサ217は、重力を参照して携帯電話101の三次元の姿勢を検出する三軸の加速度センサである。三軸センサ217の出力信号は、A/D変換器209cを通じてデジタルデータに変換される。
本発明の第一の実施形態に係る携帯電話101の場合、三軸センサ217は不要であるが、後述する第三の実施形態には必要になる。
The triaxial sensor 217 is a triaxial acceleration sensor that detects the three-dimensional posture of the mobile phone 101 with reference to gravity. The output signal of the triaxial sensor 217 is converted into digital data through the A / D converter 209c.
In the case of the mobile phone 101 according to the first embodiment of the present invention, the triaxial sensor 217 is not necessary, but is necessary for the third embodiment to be described later.

サーモパイルセンサユニット109は、測定対象から発される赤外線を捉える赤外線センサ218と、周囲の気温を計測する基準温度センサ219の複合体であり、アナログ回路の温度信号生成部220に接続される。温度信号生成部220の出力信号がA/D変換器209dに供給される。   The thermopile sensor unit 109 is a complex of an infrared sensor 218 that captures infrared rays emitted from a measurement target and a reference temperature sensor 219 that measures ambient temperature, and is connected to a temperature signal generator 220 of an analog circuit. The output signal of the temperature signal generation unit 220 is supplied to the A / D converter 209d.

通話機能、デジタル音楽データや動画データを再生する機能、主撮像素子214又は副撮像素子108で被写体の静止画或は動画を撮影する機能、三軸センサ217で携帯電話101の姿勢を検出する機能、そして本実施形態に係る体表面温度計測機能を実現するプログラムは、ROM203に格納される。   Call function, function to play back digital music data and moving picture data, function to shoot a still image or moving picture of a subject with the main image sensor 214 or the sub image sensor 108, function to detect the attitude of the mobile phone 101 with the triaxial sensor 217 And the program which implement | achieves the body surface temperature measurement function which concerns on this embodiment is stored in ROM203.

A/D変換器209aは、マイク210が出力するアナログ音声信号をデジタル音声データに変換する。
A/D変換器209bは、主撮像素子214又は副撮像素子108が出力するアナログ撮像信号をデジタル撮像データに変換する。
A/D変換器209cは、三軸センサ217が出力するアナログ三次元加速度信号をデジタル三次元加速度データに変換する。
A/D変換器209dは、サーモパイルセンサユニット109から得られる抵抗値の変化から温度信号生成部220を通じて得られるアナログ温度信号をデジタル温度データに変換する。
これらA/D変換器209a、A/D変換器209b、A/D変換器209c及びA/D変換器209dは、単一のA/D変換器を時分割で共用している。
The A / D converter 209a converts the analog audio signal output from the microphone 210 into digital audio data.
The A / D converter 209b converts the analog image signal output from the main image sensor 214 or the sub image sensor 108 into digital image data.
The A / D converter 209c converts the analog three-dimensional acceleration signal output from the three-axis sensor 217 into digital three-dimensional acceleration data.
The A / D converter 209d converts an analog temperature signal obtained through the temperature signal generation unit 220 from a change in resistance value obtained from the thermopile sensor unit 109 into digital temperature data.
These A / D converter 209a, A / D converter 209b, A / D converter 209c, and A / D converter 209d share a single A / D converter in a time division manner.

[第一の実施形態:携帯電話101のソフトウェア機能構成]
図3は、本発明の第一の実施形態に係る携帯電話101の、ソフトウェアの機能を説明するブロック図である。
ROM203に格納されているプログラムは、CPU202とRAM204によって、演算部301と表示制御部302と画像処理部303と顔認識部304として機能する。
温度信号生成部220から出力されるアナログ温度信号は、A/D変換器209dによってデジタル温度データに変換され、演算部301に入力される。但し、A/D変換器209dと演算部301は、顔認識部304が出力する、トリガ信号によってのみ動作する。
[First Embodiment: Software Functional Configuration of Mobile Phone 101]
FIG. 3 is a block diagram illustrating software functions of the mobile phone 101 according to the first embodiment of the present invention.
A program stored in the ROM 203 functions as a calculation unit 301, a display control unit 302, an image processing unit 303, and a face recognition unit 304 by the CPU 202 and the RAM 204.
The analog temperature signal output from the temperature signal generation unit 220 is converted into digital temperature data by the A / D converter 209 d and input to the calculation unit 301. However, the A / D converter 209d and the calculation unit 301 operate only by a trigger signal output from the face recognition unit 304.

一方、副撮像素子108が被写体を撮影すると、副撮像素子108が出力するアナログ撮像信号は信号処理部216で増幅された後、A/D変換器209bでデジタル撮像データに変換される。そして、画像処理部303で画像データとして形成される。
画像処理部303が生成した画像データは、顔認識部304と表示制御部302に供給される。
顔認識部304は、被写体が人物の顔であるか、もし顔である場合はその顔が一定の面積範囲と位置に合致しているか否かを検出する。顔認識部304は、顔が一定の面積範囲と位置に合致したと判断したら、トリガ信号を出力する。トリガ信号はA/D変換器209dと演算部301を駆動する。その結果、演算部301はA/D変換器209dが出力する、額の体表面温度を示すデジタル温度データから被計測者の体温を算出し、体温データを出力する。
顔枠画像データ305は、ROM203或は不揮発性ストレージ213に格納されている、透明の背景に白い楕円の枠が描かれている画像データファイルである。
表示制御部302は、画像処理部303から出力される画像データと、演算部301から出力される体温データと、顔枠画像データ305を合成した映像信号を作成し、表示部205に表示する。
On the other hand, when the sub image sensor 108 captures a subject, the analog image signal output from the sub image sensor 108 is amplified by the signal processing unit 216 and then converted into digital image data by the A / D converter 209b. Then, it is formed as image data by the image processing unit 303.
Image data generated by the image processing unit 303 is supplied to the face recognition unit 304 and the display control unit 302.
The face recognition unit 304 detects whether the subject is a person's face or, if it is a face, whether the face matches a certain area range and position. If the face recognition unit 304 determines that the face matches a certain area range and position, the face recognition unit 304 outputs a trigger signal. The trigger signal drives the A / D converter 209d and the arithmetic unit 301. As a result, the calculation unit 301 calculates the body temperature of the measurement subject from the digital temperature data indicating the body surface temperature of the forehead output from the A / D converter 209d, and outputs the body temperature data.
The face frame image data 305 is an image data file that is stored in the ROM 203 or the nonvolatile storage 213 and has a white ellipse frame drawn on a transparent background.
The display control unit 302 creates a video signal that combines the image data output from the image processing unit 303, the body temperature data output from the calculation unit 301, and the face frame image data 305, and displays the video signal on the display unit 205.

温度信号生成部220、A/D変換器209d及び演算部301は、被計測者の体温データを出力する温度データ生成部であるともいえる。なお、温度データ生成部は体温データではなく、体表面温度のデータを出力する構成にすることもできる。その場合、体表面温度のデータから体温データを演算する演算部301は不要になる。
つまり、顔認識部304が出力するトリガ信号は、温度データ生成部に温度計測を命ずる信号である。
It can be said that the temperature signal generation unit 220, the A / D converter 209d, and the calculation unit 301 are temperature data generation units that output body temperature data of the measurement subject. Note that the temperature data generation unit may be configured to output body surface temperature data instead of body temperature data. In that case, the calculation part 301 which calculates body temperature data from the data of body surface temperature becomes unnecessary.
That is, the trigger signal output by the face recognition unit 304 is a signal that instructs the temperature data generation unit to measure temperature.

[第一の実施形態:携帯電話101の動作状態]
図4は、本発明の第一の実施形態に係る携帯電話101の、体温を計測する動作状態を説明する概略図である。
被計測者は携帯電話101の筐体を持ち、LCDディスプレイ102(表示部205)に表示される、副撮像素子108が写す被計測者自身の顔である顔画像402を確認しながら、LCDディスプレイ102に表示される顔枠画像401に顔画像402の輪郭がほぼ合致するように、被計測者自身の顔に対する携帯電話101の相対的な距離及び角度を調整する。顔枠画像401は、顔枠画像データ305をLCDディスプレイ102に描画した画像である。
顔枠画像401に顔画像402の輪郭がほぼ合致すると、顔認識部304は被計測者の顔を認識し、トリガ信号を発する。すると、サーモパイルセンサユニット109から得られる抵抗値の変化から温度信号生成部220を通じてアナログ温度信号となり、A/D変換器209dでデジタル温度データに変換され、演算部301がデジタル温度データから体温データを算出し、この体温データが表示制御部302に出力される。表示制御部302は体温データをLCDディスプレイ102下側に数値表示させる。
第一の実施形態の場合、顔認識部304が顔を認識すると、その時点で自動的に体温が計測され、体温の数値がLCDディスプレイ102下側に表示される。
[First Embodiment: Operating State of Mobile Phone 101]
FIG. 4 is a schematic diagram for explaining an operation state of measuring the body temperature of the mobile phone 101 according to the first embodiment of the present invention.
The person to be measured has the casing of the mobile phone 101, while confirming the face image 402 that is displayed on the LCD display 102 (display unit 205) and is the face of the person to be measured, which is captured by the sub-imaging device 108. The relative distance and angle of the mobile phone 101 with respect to the face of the person to be measured are adjusted so that the outline of the face image 402 substantially matches the face frame image 401 displayed on the screen 102. The face frame image 401 is an image obtained by drawing the face frame image data 305 on the LCD display 102.
When the outline of the face image 402 substantially matches the face frame image 401, the face recognition unit 304 recognizes the face of the measurement subject and generates a trigger signal. Then, the change in resistance value obtained from the thermopile sensor unit 109 becomes an analog temperature signal through the temperature signal generation unit 220 and is converted into digital temperature data by the A / D converter 209d, and the calculation unit 301 converts the body temperature data from the digital temperature data. The body temperature data is calculated and output to the display control unit 302. The display control unit 302 displays the body temperature data numerically on the lower side of the LCD display 102.
In the case of the first embodiment, when the face recognition unit 304 recognizes a face, the body temperature is automatically measured at that time, and the body temperature value is displayed on the lower side of the LCD display 102.

[第二の実施形態:携帯電話501のソフトウェア機能構成]
周知のように、全ての携帯電話が自分撮り用の副撮像素子108を、LCDディスプレイ102を備える第一可動部103に設けている訳ではない。副撮像素子108を持たない携帯電話も多く存在する。この場合、第一の実施形態は実現できない。
しかし、LCDディスプレイ102に被計測者自身の顔を写す方法は、必ずしも副撮像素子108がなくてはならない訳ではない。LCDディスプレイ102の表面に設けられている、例えばアクリル等の保護パネル112を鏡にすることで、LCDディスプレイ102ではなく、LCDディスプレイ102の表面の保護パネル112に被計測者自身の顔を写すことが可能である。
なお、この場合、LCDディスプレイ102の表面の保護パネル112には、鏡としての機能を充足させるために、保護フィルムとして誘電多層膜や金属薄膜等の材料で構成されるハーフミラーフィルムを貼付することが望ましい。またこのハーフミラーフィルムは、覗き見防止フィルムとしても機能するので、ユーザにとって大変に有用性が高い。
[Second Embodiment: Software Function Configuration of Mobile Phone 501]
As is well known, not all mobile phones have the self-portrait sub-imaging device 108 provided in the first movable portion 103 provided with the LCD display 102. There are many mobile phones that do not have the sub image sensor 108. In this case, the first embodiment cannot be realized.
However, the method of capturing the face of the person to be measured on the LCD display 102 does not necessarily require the sub imaging device 108. By using a protective panel 112 such as acrylic provided on the surface of the LCD display 102 as a mirror, the face of the person to be measured is copied to the protective panel 112 on the surface of the LCD display 102 instead of the LCD display 102. Is possible.
In this case, a half mirror film made of a material such as a dielectric multilayer film or a metal thin film is attached to the protective panel 112 on the surface of the LCD display 102 as a protective film in order to satisfy the mirror function. Is desirable. Moreover, since this half mirror film functions also as a peep prevention film, it is very useful for a user.

第二の実施形態に係る携帯電話501の場合、サーモパイルセンサユニット109は、保護パネル112を鏡に見立てて、保護パネル112に映る被計測者の顔の鏡像の位置関係を利用して、第一可動部103に埋め込まれている。つまり、携帯電話と被計測者の顔との距離がおよそ30〜50cm程度離れた状態で、被計測者が携帯電話501の保護パネル112を見ると、被計測者の顔の鏡像が映る。サーモパイルセンサユニット109は、この時の、被計測者の顔と第一可動部103の距離と角度で、被計測者の額の中央部分から発される赤外線を捉える角度で、第一可動部103に設けられている。   In the case of the mobile phone 501 according to the second embodiment, the thermopile sensor unit 109 uses the positional relationship of the mirror image of the measurement subject's face reflected on the protection panel 112 as if the protection panel 112 is a mirror. It is embedded in the movable part 103. That is, when the measured person looks at the protection panel 112 of the cellular phone 501 in a state where the distance between the cellular phone and the measured person's face is about 30 to 50 cm, a mirror image of the measured person's face is reflected. The thermopile sensor unit 109 at this time is the distance and angle between the face of the person to be measured and the first movable part 103, and the angle at which the infrared rays emitted from the central part of the forehead of the person to be measured are captured. Is provided.

第二の実施形態に係る携帯電話101のハードウェア構成のブロック図は、基本的に図2と同じであるが、第一の実施形態の携帯電話101と違う点は、副撮像素子108とスイッチ215が存在しない点である。
また、第二の実施形態の場合、三軸センサ217も不要である。
The block diagram of the hardware configuration of the mobile phone 101 according to the second embodiment is basically the same as that of FIG. 2, except that the mobile phone 101 of the first embodiment is different from the sub-image sensor 108 and the switch. 215 is not present.
In the case of the second embodiment, the triaxial sensor 217 is also unnecessary.

図5は、本発明の第二の実施形態に係る携帯電話501の、ソフトウェアの機能を説明するブロック図である。図5の、図3と共通する機能ブロックは同じ番号を付して説明を省略する。
ROM203に格納されているプログラムは、CPU202とRAM204によって、演算部301と表示制御部302と制御部502として機能する。
温度信号生成部220から出力されるアナログ温度信号は、A/D変換器209dによってデジタル温度データに変換され、演算部301に入力される。但し、A/D変換器209dと演算部301は、被計測者が操作部206を操作することによって、制御部502を通じて出力されるトリガ信号によってのみ動作する。
FIG. 5 is a block diagram for explaining software functions of the mobile phone 501 according to the second embodiment of the present invention. The functional blocks in FIG. 5 that are the same as those in FIG.
A program stored in the ROM 203 functions as a calculation unit 301, a display control unit 302, and a control unit 502 by the CPU 202 and the RAM 204.
The analog temperature signal output from the temperature signal generation unit 220 is converted into digital temperature data by the A / D converter 209 d and input to the calculation unit 301. However, the A / D converter 209 d and the calculation unit 301 operate only by a trigger signal output through the control unit 502 when the measurement subject operates the operation unit 206.

顔枠画像データ503は、ROM203或は不揮発性ストレージ213に格納されている、黒の背景に白い楕円の枠が描かれている画像データファイルである。
表示制御部302は、演算部301から出力される体温データと、顔枠画像データ305を合成した映像信号を作成し、表示部205に表示する。
The face frame image data 503 is an image data file that is stored in the ROM 203 or the nonvolatile storage 213 and in which a white ellipse frame is drawn on a black background.
The display control unit 302 creates a video signal obtained by synthesizing the body temperature data output from the calculation unit 301 and the face frame image data 305 and displays the video signal on the display unit 205.

[第二の実施形態:携帯電話501の動作状態]
図6は、本発明の第二の実施形態に係る携帯電話501の、体温を計測する動作状態を説明する概略図である。
被計測者は携帯電話101の筐体を持ち、LCDディスプレイ102の表面の保護パネル112に映る、被計測者自身の顔である顔鏡像602を確認しながら、LCDディスプレイ102に表示される顔枠画像601に、保護パネル112に映り込む顔鏡像602の輪郭がほぼ合致するように、被計測者自身の顔に対する携帯電話101の相対的な距離及び角度を調整する。なお、顔枠画像601は、保護パネル112が鏡として効果的に機能するために、第一の実施形態の顔枠画像401とは異なり、黒背景に白の楕円が描画されている。
被計測者は、顔枠画像601に顔鏡像602の輪郭がほぼ合致したことを確認したら、そのまま操作部206のエンターボタン110を押す。すると、操作部206は制御部を通じてトリガ信号を発する。そして、サーモパイルセンサユニット109から得られる抵抗値の変化から温度信号生成部220を通じてアナログ温度信号となり、A/D変換器209dでデジタル温度データに変換され、演算部301がデジタル温度データから体温データを算出し、この体温データが表示制御部302に出力される。表示制御部302は体温データをLCDディスプレイ102下側に数値表示させる。
第二の実施形態の場合、被計測者が明示的に操作部206のエンターボタン110を押すことで体温が計測され、体温の数値がLCDディスプレイ102下側に表示される。
[Second Embodiment: Operating State of Mobile Phone 501]
FIG. 6 is a schematic diagram for explaining an operation state of measuring the body temperature of the mobile phone 501 according to the second embodiment of the present invention.
The person to be measured has the casing of the mobile phone 101, and the face frame displayed on the LCD display 102 while confirming the face mirror image 602, which is the face of the person to be measured, displayed on the protective panel 112 on the surface of the LCD display 102. The relative distance and angle of the mobile phone 101 with respect to the face of the person to be measured are adjusted so that the outline of the face mirror image 602 reflected on the protection panel 112 substantially matches the image 601. Note that the face frame image 601 has a white ellipse drawn on a black background, unlike the face frame image 401 of the first embodiment, in order for the protection panel 112 to effectively function as a mirror.
After confirming that the outline of the face mirror image 602 substantially matches the face frame image 601, the measurement subject presses the enter button 110 of the operation unit 206 as it is. Then, the operation unit 206 issues a trigger signal through the control unit. The change in resistance value obtained from the thermopile sensor unit 109 is converted into an analog temperature signal through the temperature signal generation unit 220, converted into digital temperature data by the A / D converter 209d, and the calculation unit 301 converts the body temperature data from the digital temperature data. The body temperature data is calculated and output to the display control unit 302. The display control unit 302 displays the body temperature data numerically on the lower side of the LCD display 102.
In the case of the second embodiment, the body temperature is measured when the measured person explicitly presses the enter button 110 of the operation unit 206, and the body temperature value is displayed on the lower side of the LCD display 102.

[第三の実施形態:携帯電話701のソフトウェア機能構成]
LCDディスプレイ102は、保護パネル112の表面処理の種類で、光沢液晶とノングレア液晶に分類される。前者の光沢液晶の場合、前述の第二の実施形態のように、保護パネル112を鏡に見立てて、保護パネル112に被計測者の顔を写すことが容易に実現できる。
しかしながら、光沢液晶は鏡のように反射率が高いので、太陽光や蛍光灯等の照明の映り込みが大きく、角度によっては視認性を大幅に低下させてしまう、という欠点が存在する。
このような光沢液晶の欠点を解消するため、保護パネル112の表面に乱反射を起こす微細な凸凹処理を施したものが、ノングレア液晶である。ノングレア液晶の場合、太陽光や蛍光灯等の照明の映り込みが小さくなり、明るい場所であってもある程度視認性を確保することができる。
しかし、このようなノングレア液晶の場合、鏡のように顔を写し込むことができない。したがって、第二の実施形態は実現できない。
[Third Embodiment: Software Functional Configuration of Mobile Phone 701]
The LCD display 102 is classified into glossy liquid crystal and non-glare liquid crystal depending on the type of surface treatment of the protective panel 112. In the case of the former glossy liquid crystal, it is possible to easily realize that the face of the person to be measured is reflected on the protective panel 112 with the protective panel 112 as a mirror as in the second embodiment described above.
However, since the glossy liquid crystal has a high reflectance like a mirror, there is a disadvantage that the reflection of illumination such as sunlight or a fluorescent lamp is large, and the visibility is greatly reduced depending on the angle.
A non-glare liquid crystal is obtained by applying fine irregularities that cause irregular reflection on the surface of the protective panel 112 in order to eliminate such a drawback of the glossy liquid crystal. In the case of a non-glare liquid crystal, the reflection of illumination such as sunlight or a fluorescent lamp is reduced, and visibility can be ensured to some extent even in a bright place.
However, in the case of such a non-glare liquid crystal, the face cannot be captured like a mirror. Therefore, the second embodiment cannot be realized.

副撮像素子108がなく、且つLCDディスプレイ102がノングレア液晶であって顔を写し込むことができない場合、第一の実施形態も第二の実施形態も実施できない。つまり、このような携帯電話で被計測者の体表面温度又は体温を計測する場合は、携帯電話を固定させてサーモパイルセンサユニット109を被計測者の額の中央に正しく位置決めすることが不可能である。
そこで発明者は、このような携帯電話の場合には、携帯電話を固定する、という発想を捨て、逆に携帯電話を動かして顔をスキャンする、という手法を考えた。
前述のように、人体の顔の中で最も温度が高い部位が額である。そこで、サーモパイルセンサが顔を満遍なくスキャンするように携帯電話を動かす。そして、リアルタイムで顔の特定部分の表面温度を計測し、メモリに蓄積する。蓄積された温度データのうち、最も高い値が額の温度であると推測できる。
しかし、何の目標もなく携帯電話を動かしてみても、果たしてサーモパイルセンサユニット109が被計測者の額の表面温度を捉えてくれたかどうかはわからない。
そこで、サーモパイルセンサユニット109から得られる温度データと、三軸センサ217の出力データを組み合わせる。そして、得られた温度データと三軸センサ217の出力データを基に、温度データを所定の温度範囲に対応する色を付した正方形の描画単位図形を生成して、LCDディスプレイ102に表示する。顔を満遍なくスキャンすると、LCDディスプレイ102にはモザイク形状の被計測者の顔に似た画像が表示される。その中で最も温度が高い値を体表面温度として採用し、最終的に体温を算出する。
三軸センサ217は近年の携帯電話に搭載されている例が多いので、これを効果的に利用することで、体表面温度又は体温の計測が実現できる。
If the sub-imaging device 108 is not provided and the LCD display 102 is non-glare liquid crystal and cannot capture a face, neither the first embodiment nor the second embodiment can be implemented. That is, when measuring the body surface temperature or body temperature of a person to be measured with such a mobile phone, it is impossible to position the thermopile sensor unit 109 correctly in the center of the forehead of the person to be measured by fixing the mobile phone. is there.
In view of this, the inventor considered the technique of abandoning the idea of fixing the mobile phone in the case of such a mobile phone, and conversely moving the mobile phone to scan the face.
As described above, the forehead is the part having the highest temperature in the human face. Therefore, the mobile phone is moved so that the thermopile sensor scans the face evenly. Then, the surface temperature of a specific part of the face is measured in real time and stored in the memory. Of the accumulated temperature data, it can be estimated that the highest value is the forehead temperature.
However, even if the mobile phone is moved without any target, it is not known whether the thermopile sensor unit 109 has captured the surface temperature of the forehead of the person being measured.
Therefore, the temperature data obtained from the thermopile sensor unit 109 and the output data of the triaxial sensor 217 are combined. Then, based on the obtained temperature data and the output data of the triaxial sensor 217, a square drawing unit graphic with a color corresponding to a predetermined temperature range is generated from the temperature data and displayed on the LCD display 102. When the face is scanned evenly, the LCD display 102 displays an image similar to the face of the person to be measured having a mosaic shape. The value with the highest temperature is adopted as the body surface temperature, and the body temperature is finally calculated.
Since there are many examples of the triaxial sensor 217 mounted on a mobile phone in recent years, the body surface temperature or body temperature can be measured by effectively using this.

第三の実施形態に係る携帯電話701のハードウェア構成のブロック図は、基本的に図2と同じであるが、第一及び第二の実施形態の携帯電話101と違う点は、三軸センサ217が必要である点である。
また、当然ながら副撮像素子108とスイッチ215も存在しない。
The block diagram of the hardware configuration of the mobile phone 701 according to the third embodiment is basically the same as that of FIG. 2, but the difference from the mobile phone 101 of the first and second embodiments is that the three-axis sensor. 217 is necessary.
Of course, neither the sub-imaging element 108 nor the switch 215 exists.

図7は、本発明の第三の実施形態に係る携帯電話701の、ソフトウェアの機能を説明するブロック図である。図7の、図3と共通する機能ブロックは同じ番号を付して説明を省略する。
ROM203に格納されているプログラムは、CPU202とRAM204によって、演算部301と表示制御部302とクロック生成部702と入出力制御部703と描画制御部704と最高値抽出部705として機能する。
温度信号生成部220から出力されるアナログ温度信号は、A/D変換器209dによってデジタル温度データに変換され、演算部301に入力される。A/D変換器209dと演算部301は、クロック生成部702が出力するクロックによって連続的に動作する。
FIG. 7 is a block diagram for explaining software functions of the mobile phone 701 according to the third embodiment of the present invention. The functional blocks in FIG. 7 that are the same as those in FIG.
A program stored in the ROM 203 functions as a calculation unit 301, a display control unit 302, a clock generation unit 702, an input / output control unit 703, a drawing control unit 704, and a maximum value extraction unit 705 by the CPU 202 and the RAM 204.
The analog temperature signal output from the temperature signal generation unit 220 is converted into digital temperature data by the A / D converter 209 d and input to the calculation unit 301. The A / D converter 209d and the calculation unit 301 operate continuously according to the clock output from the clock generation unit 702.

一方、三軸センサ217のアナログ三次元加速度信号もA/D変換器209cを通じて、三次元姿勢情報ともいえるデジタル三次元加速度データに変換される。クロック生成部702は、A/D変換器209cにもクロックを供給する。このクロックは、温度信号生成部220に接続されているA/D変換器209dに供給するクロックとは同一ではないが、近接したタイミングで出力する。つまり、ある時点で計測した温度データと、その時点の携帯電話101のデジタル三次元加速度データを取得する。
温度データとデジタル三次元加速度データは、入出力制御部703を通じてRAM204に配列変数として格納される。
描画制御部704は、RAM204内の温度データとデジタル三次元加速度データを基に、描画処理を行う。温度データを所定の温度範囲で区切り、対応する色を付与する。
最高値抽出部705は、RAM204内の温度データから最高値を抽出し、これを体温とする。
表示制御部302は、描画制御部704から出力されるモザイク状の画像データと、最高値抽出部705から出力される温度データを合成した映像信号を作成し、表示部205に表示する。
On the other hand, the analog three-dimensional acceleration signal of the three-axis sensor 217 is also converted into digital three-dimensional acceleration data that can also be referred to as three-dimensional posture information through the A / D converter 209c. The clock generation unit 702 also supplies a clock to the A / D converter 209c. This clock is not the same as the clock supplied to the A / D converter 209d connected to the temperature signal generator 220, but is output at close timing. That is, the temperature data measured at a certain time and the digital three-dimensional acceleration data of the mobile phone 101 at that time are acquired.
The temperature data and the digital three-dimensional acceleration data are stored as array variables in the RAM 204 through the input / output control unit 703.
The drawing control unit 704 performs drawing processing based on the temperature data in the RAM 204 and the digital three-dimensional acceleration data. The temperature data is divided by a predetermined temperature range and a corresponding color is given.
The maximum value extraction unit 705 extracts the maximum value from the temperature data in the RAM 204 and sets this as the body temperature.
The display control unit 302 creates a video signal obtained by synthesizing the mosaic image data output from the drawing control unit 704 and the temperature data output from the maximum value extraction unit 705, and displays the video signal on the display unit 205.

[第三の実施形態:携帯電話701の動作状態]
図8は、本発明の第三の実施形態に係る携帯電話701の、体温を計測する動作状態を説明する概略図である。
被計測者は携帯電話101の筐体を持ち、第一可動部103に埋め込まれているサーモパイルセンサユニット109が被計測者自身の顔を満遍なくスキャンするように、携帯電話101の筐体を上下左右に傾ける。すると、サーモパイルセンサユニット109が被計測者自身の顔のどこかの部位を捉えると、顔から発される赤外線がサーモパイルセンサユニット109に入射され、サーモパイルセンサユニット109を通じて演算部301から体温データが出力される。
体温データは三軸センサ217から得られるデジタル三次元加速度データと共に一旦RAM204に格納された後、描画制御部704によって所定の色の正方形として描画される。
携帯電話101を傾けると、その都度体温データとデジタル三次元加速度データがRAM204に格納されると共に、描画制御部704によって所定の色の正方形として描画される。この正方形の描画位置は、直前に描画された正方形に対してデジタル三次元加速度データによってずれた位置に描画される。この動作を何回も繰り返すことで、最終的には顔の形状であるモザイク状の顔モザイク画像801が、LCDディスプレイ102に表示される。最高値抽出部705はRAM204内の温度データの最高値を出力するので、被計測者による顔のスキャン動作が進むに連れて、LCDディスプレイ102に表示される体温の表示値は上昇し、本当の最高値を計測した以降は体温の表示値はそれ以上上昇しなくなる。
[Third embodiment: Operating state of mobile phone 701]
FIG. 8 is a schematic diagram for explaining an operation state of measuring the body temperature of the mobile phone 701 according to the third embodiment of the present invention.
The measurement subject has the case of the mobile phone 101, and the case of the mobile phone 101 is moved up, down, left and right so that the thermopile sensor unit 109 embedded in the first movable unit 103 scans the face of the measurement subject. Tilt to. Then, when the thermopile sensor unit 109 captures any part of the face of the measurement subject himself / herself, infrared rays emitted from the face are incident on the thermopile sensor unit 109, and body temperature data is output from the calculation unit 301 through the thermopile sensor unit 109. Is done.
The body temperature data is temporarily stored in the RAM 204 together with the digital three-dimensional acceleration data obtained from the three-axis sensor 217, and then drawn by the drawing control unit 704 as a square of a predetermined color.
Each time the cellular phone 101 is tilted, body temperature data and digital three-dimensional acceleration data are stored in the RAM 204 and drawn by the drawing control unit 704 as a square of a predetermined color. The drawing position of the square is drawn at a position shifted by the digital three-dimensional acceleration data with respect to the square drawn immediately before. By repeating this operation many times, a mosaic face mosaic image 801 that is the face shape is finally displayed on the LCD display 102. Since the maximum value extraction unit 705 outputs the maximum value of the temperature data in the RAM 204, the display value of the body temperature displayed on the LCD display 102 increases as the face scan operation by the measurement subject proceeds, After the maximum value is measured, the displayed value of body temperature will no longer increase.

本実施形態は以下のような応用が可能である。
(1)主撮像素子214を利用しても、自分撮りの要領で携帯電話101と被計測者との相対的位置関係をある程度固定させることが可能である。
姿見等の鏡の前で、主撮像素子214のズーム機能を固定化させた上で、被計測者には必ず右手或は左手で携帯電話101を持ち、携帯電話101を顔の斜め前に配置させる。
LCDディスプレイ102には、携帯電話101の位置も定める顔枠画像データを表示させる。
このように携帯電話101を構成することで、副撮像素子108がなくても第一の実施形態と同様の構成と効果を得ることができる。
(2)演算部301は、測定した体表面温度をそのまま出力してもよい。この場合、携帯電話は体表面温度計となる。
This embodiment can be applied as follows.
(1) Even if the main image sensor 214 is used, the relative positional relationship between the mobile phone 101 and the person to be measured can be fixed to some extent in the manner of self-portrait.
The zoom function of the main image sensor 214 is fixed in front of a mirror for appearance, etc., and the measured person always has the mobile phone 101 with the right or left hand, and the mobile phone 101 is placed diagonally in front of the face. Let
The LCD display 102 displays face frame image data that also determines the position of the mobile phone 101.
By configuring the mobile phone 101 in this way, the same configuration and effects as those of the first embodiment can be obtained without the sub imaging device 108.
(2) The computing unit 301 may output the measured body surface temperature as it is. In this case, the mobile phone is a body surface thermometer.

(3)体表面温度或は体温を表示部205で表示する代わりに、体表面温度或は体温を音声合成で読み上げることもできる。
また、体表面温度或は体温の具体的な数値の表示の代わりに、熱がある(例えば37℃以上)ならLCDディスプレイ102を赤色に発光させ、平熱である(例えば37℃未満)ならLCDディスプレイ102を青色に発光させる、という表示態様を採用することもできる。
(3) Instead of displaying the body surface temperature or body temperature on the display unit 205, the body surface temperature or body temperature can be read out by voice synthesis.
Instead of displaying specific values of body surface temperature or body temperature, the LCD display 102 emits red light when there is heat (eg, 37 ° C. or higher), and LCD display when it is normal (eg, less than 37 ° C.). A display mode in which 102 emits light in blue may be employed.

(4)前述のように、サーモパイルセンサユニット109は、測定対象から発される赤外線を捉える赤外線センサ218と、周囲の気温を計測する基準温度センサ219の複合体である。基準温度センサは周囲の気温、つまり外気温を正確に測定することが望まれる。しかしながら、携帯電話101は使用者の衣服のポケット等に収納されることが多い。この場合、使用者の体温によって携帯電話101自体が温められてしまうので、携帯電話101を外気温に馴染ませないと、正確な測定ができなくなってしまう。
そこで、サーモパイルセンサユニット109の赤外線センサ218と基準温度センサ219を分離して、基準温度センサ219を受話口107に設ける。受話口107は比較的開口部分が大きいので、基準温度センサ219が外気温に馴染み易くなり、迅速に体温あるいは対表面温度の計測が実現できる。
(4) As described above, the thermopile sensor unit 109 is a complex of the infrared sensor 218 that captures infrared rays emitted from the measurement target and the reference temperature sensor 219 that measures the ambient temperature. The reference temperature sensor is desired to accurately measure the ambient temperature, that is, the outside temperature. However, the mobile phone 101 is often stored in a pocket of a user's clothes. In this case, since the mobile phone 101 itself is warmed by the body temperature of the user, accurate measurement cannot be performed unless the mobile phone 101 is adapted to the outside air temperature.
Therefore, the infrared sensor 218 and the reference temperature sensor 219 of the thermopile sensor unit 109 are separated, and the reference temperature sensor 219 is provided in the earpiece 107. Since the earpiece 107 has a relatively large opening, the reference temperature sensor 219 can easily become familiar with the outside air temperature, and can quickly measure the body temperature or the surface temperature.

(5)第二の実施形態の場合、被計測者の顔の全体が保護パネル112に映り込むには、およそ50cm程度離す必要がある。サーモパイルセンサユニット109が体表面温度を計測するには、計測対象から30cm以内まで近づくことが好ましい。そこで、保護パネル112を凸面形状に成形加工することで、計測対象である被計測者の顔により近づかせることができる。   (5) In the case of the second embodiment, in order for the entire face of the person to be measured to be reflected on the protective panel 112, it is necessary to separate them by about 50 cm. In order for the thermopile sensor unit 109 to measure the body surface temperature, it is preferable to approach within 30 cm from the measurement target. Therefore, by forming the protective panel 112 into a convex shape, the face of the measurement subject that is the measurement target can be brought closer.

(6)携帯電話の筐体形状がスマートフォン等の可動部分のない形状で、且つ主撮像素子214が筐体に対して回転可能に設けられ、筐体の裏面側と表面側とを選択的に撮影可能な形状である場合、主撮像素子214で自分撮りが可能になる。この場合、主撮像素子214はズーム機構を備えていることが多いので、自分撮り用の固定的なズーム設定値を主撮像素子214のズーム機構に与えて、携帯電話と被計測者の顔との相対的位置関係を定める必要がある。
つまり、被計測者の顔を撮像する撮像素子は、必ずしも副撮像素子108だけとは限らない。被計測者の顔を直接的に撮像できる主撮像素子214と、被計測者の顔を撮像する為に設けられている副撮像素子108は、被計測者撮像素子ともいえる。
(6) The mobile phone case has a shape with no movable parts such as a smartphone, and the main image sensor 214 is provided so as to be rotatable with respect to the case. When the shape is a photographable shape, the main image sensor 214 can take a self-portrait. In this case, since the main image sensor 214 often includes a zoom mechanism, a fixed zoom setting value for self-portrait is given to the zoom mechanism of the main image sensor 214 so that the mobile phone and the face of the person to be measured It is necessary to determine the relative positional relationship.
That is, the sub-imaging element 108 is not necessarily the only imaging element that captures the face of the measurement subject. The main image sensor 214 that can directly image the face of the person to be measured and the sub-image sensor 108 provided to image the face of the person to be measured can be said to be the image sensor of the person to be measured.

本実施形態では携帯電話を開示した。
安価なサーモパイルセンサを組み込むことにより、被計測者自身が携帯電話と自身の顔との距離を調整することができ、携帯電話と被計測者の額との距離を容易に固定させることができる。そして、非接触且つ操作者の存在なくして、体表面温度の計測を高精度に実現できる。
In the present embodiment, a mobile phone has been disclosed.
By incorporating an inexpensive thermopile sensor, the person to be measured can adjust the distance between the mobile phone and his / her face, and the distance between the mobile phone and the forehead of the person to be measured can be easily fixed. And measurement of body surface temperature can be realized with high accuracy without contact and without the presence of an operator.

以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。   The embodiment of the present invention has been described above. However, the present invention is not limited to the above-described embodiment, and other modifications may be made without departing from the gist of the present invention described in the claims. Includes application examples.

101…携帯電話、102…LCDディスプレイ、103…第一可動部、104…操作ボタン、105…第二可動部、106…ヒンジ、107…受話口、108…副撮像素子、109…サーモパイルセンサユニット、110…エンターボタン、112…保護パネル、201…バス、202…CPU、203…ROM、204…RAM、205…表示部、206…操作部、207…RF部、208…アンテナ、209a、209b、209c、209d…A/D変換器、210…マイク、211…D/A変換器、212…スピーカ、213…不揮発性ストレージ、214…主撮像素子、215…スイッチ、216…信号処理部、217…三軸センサ、218…赤外線センサ、219…基準温度センサ、220…温度信号生成部、301…演算部、302…表示制御部、303…画像処理部、304…顔認識部、305…顔枠画像データ、401…顔枠画像、402…顔画像、501…携帯電話、502…制御部、503…顔枠画像データ、601…顔枠画像、602…顔鏡像、701…携帯電話、702…クロック生成部、703…入出力制御部、704…描画制御部、705…最高値抽出部、801…顔モザイク画像   DESCRIPTION OF SYMBOLS 101 ... Mobile phone, 102 ... LCD display, 103 ... 1st movable part, 104 ... Operation button, 105 ... 2nd movable part, 106 ... Hinge, 107 ... Earpiece, 108 ... Sub imaging device, 109 ... Thermopile sensor unit, 110 ... Enter button, 112 ... Protection panel, 201 ... Bus, 202 ... CPU, 203 ... ROM, 204 ... RAM, 205 ... Display unit, 206 ... Operating unit, 207 ... RF unit, 208 ... Antenna, 209a, 209b, 209c 209d ... A / D converter, 210 ... microphone, 211 ... D / A converter, 212 ... speaker, 213 ... nonvolatile storage, 214 ... main image sensor, 215 ... switch, 216 ... signal processing unit, 217 ... three Axis sensor, 218 ... Infrared sensor, 219 ... Reference temperature sensor, 220 ... Temperature signal generator, 301 ... Arithmetic unit 302: Display control unit, 303: Image processing unit, 304: Face recognition unit, 305 ... Face frame image data, 401 ... Face frame image, 402 ... Face image, 501 ... Mobile phone, 502 ... Control unit, 503 ... Face frame Image data, 601 ... Face frame image, 602 ... Face mirror image, 701 ... Mobile phone, 702 ... Clock generation unit, 703 ... Input / output control unit, 704 ... Drawing control unit, 705 ... Maximum value extraction unit, 801 ... Face mosaic image

Claims (3)

画像を表示可能な表示部と、
前記表示部を保持する表示部保持部と、
前記表示部保持部の、前記表示部に隣接して設けられる受話口と、
前記表示部保持部の、前記表示部に隣接して設けられる赤外線検出素子と、
前記赤外線検出素子に接続されて被計測者の体表面温度又は体温を表す温度データを出力する温度データ生成部と、
前記温度データを前記表示部に表示させる表示制御部と
前記表示部保持部の、前記表示部に隣接して設けられて前記被計測者の顔を撮像するための被計測者撮像素子と、
前記被計測者撮像素子に接続されて画像データを出力する画像データ生成部と、
前記画像データに所定の位置及び大きさの顔が存在することを検出して前記温度データ生成部に温度計測を命ずるトリガ信号を発する顔認識部と、
前記表示制御部に供給される、前記表示部に前記被計測者の顔の配置を導くための顔枠画像データと
を具備する携帯型無線端末。
A display unit capable of displaying an image;
A display unit holding unit for holding the display unit;
An earpiece provided adjacent to the display unit of the display unit holding unit;
An infrared detection element provided adjacent to the display unit of the display unit holding unit;
A temperature data generation unit connected to the infrared detection element and outputting temperature data representing the body surface temperature or body temperature of the measurement subject;
A display control unit for displaying the temperature data on the display unit ;
A measurement subject imaging element that is provided adjacent to the display unit of the display unit holding unit and images the face of the measurement subject;
An image data generation unit connected to the measurement subject imaging device and outputting image data;
A face recognition unit that detects the presence of a face of a predetermined position and size in the image data and issues a trigger signal for instructing the temperature data generation unit to measure temperature;
A portable wireless terminal comprising: face frame image data for guiding an arrangement of the face of the measurement subject to the display unit, which is supplied to the display control unit .
画像を表示可能な表示部と、
前記表示部を保持する表示部保持部と、
前記表示部保持部の、前記表示部に隣接して設けられる受話口と、
前記表示部保持部の、前記表示部に隣接して設けられる赤外線検出素子と、
前記赤外線検出素子に接続されて被計測者の体表面温度又は体温を表す温度データを出力する温度データ生成部と、
前記温度データを前記表示部に表示させる表示制御部と、
前記表示部を覆い、前記被計測者の顔の鏡像を反射して表示可能な保護パネルと、
操作部と、
前記操作部の操作情報を受けて前記温度データ生成部に温度計測を命ずるトリガ信号を発する制御部と、
前記表示制御部に供給される、前記表示部に前記被計測者の顔の配置を導くための顔枠画像データと
を具備する携帯型無線端末。
A display unit capable of displaying an image;
A display unit holding unit for holding the display unit;
An earpiece provided adjacent to the display unit of the display unit holding unit;
An infrared detection element provided adjacent to the display unit of the display unit holding unit;
A temperature data generation unit connected to the infrared detection element and outputting temperature data representing the body surface temperature or body temperature of the measurement subject;
A display control unit for displaying the temperature data on the display unit;
A protective panel that covers the display unit and can reflect and display a mirror image of the face of the person being measured;
An operation unit;
A control unit that receives operation information of the operation unit and issues a trigger signal for instructing temperature measurement to the temperature data generation unit;
A portable wireless terminal provided with face frame image data for guiding the arrangement of the face of the measurement subject to the display unit, which is supplied to the display control unit.
画像を表示可能な表示部と、
前記表示部を保持する表示部保持部と、
前記表示部保持部の、前記表示部に隣接して設けられる受話口と、
前記表示部保持部の、前記表示部に隣接して設けられる赤外線検出素子と、
前記赤外線検出素子に接続されて被計測者の体表面温度又は体温を表す温度データを出力する温度データ生成部と、
前記温度データを前記表示部に表示させる表示制御部と、
前記表示部保持部の姿勢を検出する三軸センサと、
前記三軸センサから得られる三次元姿勢情報と前記温度データの組を記憶するメモリと、
前記温度データに対応する色の描画単位図形を生成して、前記表示制御部に対し、前記描画単位図形を前記三次元姿勢情報に対応する配置で描画させる描画制御部と、
前記メモリに格納されている全ての前記温度データの中から最高値を抽出して前記表示制御部に出力する最高値抽出部と
を具備する携帯型無線端末。
A display unit capable of displaying an image;
A display unit holding unit for holding the display unit;
An earpiece provided adjacent to the display unit of the display unit holding unit;
An infrared detection element provided adjacent to the display unit of the display unit holding unit;
A temperature data generation unit connected to the infrared detection element and outputting temperature data representing the body surface temperature or body temperature of the measurement subject;
A display control unit for displaying the temperature data on the display unit;
A triaxial sensor for detecting the attitude of the display unit holding unit;
A memory for storing a set of three-dimensional posture information obtained from the three-axis sensor and the temperature data;
A drawing control unit that generates a drawing unit graphic of a color corresponding to the temperature data, and causes the display control unit to draw the drawing unit graphic in an arrangement corresponding to the three-dimensional posture information;
A portable wireless terminal comprising: a maximum value extraction unit that extracts a maximum value from all the temperature data stored in the memory and outputs the maximum value to the display control unit.
JP2011098468A 2011-04-26 2011-04-26 Portable wireless terminal Active JP5680475B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011098468A JP5680475B2 (en) 2011-04-26 2011-04-26 Portable wireless terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011098468A JP5680475B2 (en) 2011-04-26 2011-04-26 Portable wireless terminal

Publications (2)

Publication Number Publication Date
JP2012231309A JP2012231309A (en) 2012-11-22
JP5680475B2 true JP5680475B2 (en) 2015-03-04

Family

ID=47432508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011098468A Active JP5680475B2 (en) 2011-04-26 2011-04-26 Portable wireless terminal

Country Status (1)

Country Link
JP (1) JP5680475B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104771147A (en) * 2015-04-30 2015-07-15 张释文 Portable ear temperature measuring device

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
EP2719165B1 (en) 2011-06-10 2018-05-02 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
EP2719167B1 (en) 2011-06-10 2018-08-08 Flir Systems, Inc. Low power and small form factor infrared imaging
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
CN105556365B (en) 2013-08-08 2018-02-02 夏普株式会社 Optical transmission device, guide-lighting plug, Optical fiber plug, sensitive device, electrical socket and portable equipment
GB2517915A (en) * 2013-09-04 2015-03-11 Binatone Electronics Internat Ltd Infant monitoring apparatus
US9325369B2 (en) 2013-09-04 2016-04-26 Binatone Electronics International Ltd Methods and devices for mitigating interference with FHSS signals
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
US9375149B2 (en) * 2014-03-18 2016-06-28 Welch Allyn, Inc. Noncontact thermometry systems and methods
JP2016022951A (en) * 2014-07-17 2016-02-08 トヨタ モーター セールス,ユー.エス.エー.,インコーポレイティド Monitoring back row seat area of vehicle
CN107478339A (en) * 2016-06-07 2017-12-15 中兴通讯股份有限公司 A kind of thermal imaging method based on mobile terminal, device and mobile terminal
CN106725353A (en) * 2016-11-29 2017-05-31 深圳天珑无线科技有限公司 Body temperature measurement method and mobile terminal
KR101972331B1 (en) * 2017-08-29 2019-04-25 키튼플래닛 주식회사 Image alignment method and apparatus thereof
CN111053356A (en) * 2018-10-17 2020-04-24 丽宝大数据股份有限公司 Electronic cosmetic mirror device and display method thereof
CN111193821B (en) * 2020-03-03 2021-04-13 覃立 Mobile phone with infrared imaging temperature measurement function and temperature measurement method thereof
CN113495597B (en) * 2020-04-03 2024-12-03 维沃移动通信有限公司 Electronic device, control method and control device thereof, and computer readable storage medium
US20230184591A1 (en) * 2020-04-16 2023-06-15 Huawei Technologies Co., Ltd. Thermal Radiation Detection Device and System, as Well as Electronic Device Comprising Such a Device or System

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135149A (en) * 2005-11-14 2007-05-31 Nec Corp Mobile portable terminal
JP2010181324A (en) * 2009-02-06 2010-08-19 Sanyo Electric Co Ltd Temperature measuring/display device and mobile information communication terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104771147A (en) * 2015-04-30 2015-07-15 张释文 Portable ear temperature measuring device

Also Published As

Publication number Publication date
JP2012231309A (en) 2012-11-22

Similar Documents

Publication Publication Date Title
JP5680475B2 (en) Portable wireless terminal
US12200350B2 (en) Image display device and method for controlling same
EP4131909A1 (en) Mobile terminal for displaying image and control method therefor
US20100166404A1 (en) Device and Method Using a Touch-Detecting Surface
ES3009952T3 (en) Method for adjusting photographing parameter, and mobile terminal
JP2010181324A (en) Temperature measuring/display device and mobile information communication terminal
US11750915B2 (en) Mobile terminal
WO2021238564A1 (en) Display device and distortion parameter determination method, apparatus and system thereof, and storage medium
CN115695961A (en) Image pickup apparatus, control method thereof, calibration system, and storage medium
JPWO2019058641A1 (en) Electronic device, program, control device, and control method
WO2017209252A1 (en) Imaging device, focusing control method, and focusing control program
WO2018133305A1 (en) Method and device for image processing
JP2014127830A (en) Information processing device and program
CN111258480A (en) Operation execution method and device based on display area and storage medium
JP2011151515A (en) Electronic device with imaging function, portable telephone set with camera function, display method of image data, and display program of image data
JP7191592B2 (en) ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD, PROGRAM AND RECORDING MEDIUM
CN102467324A (en) Image processing method and portable electronic device applying same
JP2023062381A (en) IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF
JP5931639B2 (en) Portable terminal device, control method thereof, and control program thereof
JP2022140417A (en) IMAGING DEVICE, CALIBRATION SYSTEM, IMAGING DEVICE CONTROL METHOD AND PROGRAM
TW201220250A (en) Image processing method and portable electronic device using the same
JP5694268B2 (en) Portable information processing device
CN112150554A (en) Screen display method, device, terminal and storage medium
JP2014011550A (en) Imaging-device, and control method and program therefor
JP2021002799A (en) Imaging device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20121116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150107

R150 Certificate of patent or registration of utility model

Ref document number: 5680475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250