Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7072482B2 - Electronic equipment, control methods and control programs - Google Patents
[go: Go Back, main page]

JP7072482B2 - Electronic equipment, control methods and control programs - Google Patents

Electronic equipment, control methods and control programs Download PDF

Info

Publication number
JP7072482B2
JP7072482B2 JP2018190385A JP2018190385A JP7072482B2 JP 7072482 B2 JP7072482 B2 JP 7072482B2 JP 2018190385 A JP2018190385 A JP 2018190385A JP 2018190385 A JP2018190385 A JP 2018190385A JP 7072482 B2 JP7072482 B2 JP 7072482B2
Authority
JP
Japan
Prior art keywords
output
wording
operator
information
prohibition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018190385A
Other languages
Japanese (ja)
Other versions
JP2020061621A (en
Inventor
昌宏 内藤
哲也 根岸
裕樹 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2018190385A priority Critical patent/JP7072482B2/en
Publication of JP2020061621A publication Critical patent/JP2020061621A/en
Application granted granted Critical
Publication of JP7072482B2 publication Critical patent/JP7072482B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本出願は、電子機器、制御方法および制御プログラムに関する。 The present application relates to electronic devices, control methods and control programs.

近年、IoT技術の発展や健康意識の高まりに伴って、スマートフォンやウェアラブル端末などを介し、歩数、脈拍、体温などを収集する環境が整いつつあり、ユーザ自身に健康状態を意識させることを目的とする技術が提案されている。たとえば、ユーザを投影するアバターに対して運動履歴等を反映させることによって自身の健康状態を意識させたり、病院からの各種通知を受け取ることができたりするスマートフォン装置が提案されている。 In recent years, with the development of IoT technology and heightened health consciousness, the environment for collecting steps, pulse, body temperature, etc. via smartphones and wearable terminals is being prepared, and the purpose is to make users aware of their health condition. The technology to do is proposed. For example, a smartphone device has been proposed that makes an avatar that projects a user aware of his / her health condition by reflecting an exercise history or the like, and can receive various notifications from a hospital.

特開2000-244886号公報Japanese Unexamined Patent Publication No. 2000-244886 特開2017-204206号公報JP-A-2017-204206

健康管理などに関するアドバイスが適切な資格を有する者によりなされているかについて不明な場合もあり、改善の余地がある。 It may be unclear whether advice on health care etc. is given by a person with appropriate qualifications, and there is room for improvement.

態様の1つに係る電子機器は、通信部と、出力部と、記憶部と、制御部とを備える。通信部は、オペレータにより操作される情報処理装置との間でデータ通信する。出力部は、データ通信により取得されたオペレータの入力データを出力する。記憶部は、オペレータの属性に対応付けて、出力部からの出力を禁止する文言を規定した出力禁止文言情報を記憶する。制御部は、出力禁止文言情報に基づいて、入力データに出力禁止文言が含まれるかを判定する。出力禁止文言情報は、オペレータの属性に応じて異なる情報である。制御部は、判定の結果、発話の内容に出力禁止文言が含まれる場合、当該出力禁止文言を出力部から出力しないように制御する。 The electronic device according to one of the embodiments includes a communication unit, an output unit, a storage unit, and a control unit. The communication unit communicates data with an information processing device operated by an operator. The output unit outputs the input data of the operator acquired by the data communication. The storage unit stores the output prohibition wording information that defines the wording prohibiting the output from the output unit in association with the attribute of the operator. The control unit determines whether the input data includes the output prohibition wording based on the output prohibition wording information. The output prohibition wording information is different information depending on the attribute of the operator. As a result of the determination, when the content of the utterance includes the output prohibition word, the control unit controls so that the output prohibition word is not output from the output unit.

態様の1つに係る制御方法は、通信部と出力部とを備える電子機器が行う制御方法であって、オペレータにより操作される情報処理装置との間でデータ通信するステップと、データ通信により取得されたオペレータの入力データを出力するステップと、出力部からの出力を禁止する文言であって、オペレータの属性に応じて異なる文言を規定した出力禁止文言情報に基づいて、入力データに出力禁止文言が含まれるかを判定するステップと、判定の結果、入力データに出力禁止文言が含まれる場合、当該出力禁止文言を出力部から出力しないように制御するステップとを含む。 The control method according to one of the embodiments is a control method performed by an electronic device including a communication unit and an output unit, and is a step of data communication between an information processing device operated by an operator and acquisition by data communication. The output prohibition wording in the input data based on the output prohibition wording information that defines the step to output the input data of the operator and the wording that prohibits the output from the output unit, which is different according to the attribute of the operator. Includes a step of determining whether or not the output prohibited word is included, and a step of controlling not to output the output prohibited word from the output unit when the input data contains the output prohibited word as a result of the determination.

態様の1つに係る制御プログラムは、通信部と出力部とを備える電子機器に、オペレータにより操作される情報処理装置との間でデータ通信するステップと、データ通信により取得されたオペレータの入力データを出力するステップと、出力部からの出力を禁止する文言であって、オペレータの属性に応じて異なる文言を規定した出力禁止文言情報に基づいて、入力データに出力禁止文言が含まれるかを判定するステップと、判定の結果、入力データに出力禁止文言が含まれる場合、当該出力禁止文言を出力部から出力しないように制御するステップとを実行させる。 The control program according to one of the embodiments is a step of data communication between an electronic device including a communication unit and an output unit and an information processing device operated by an operator, and an operator input data acquired by the data communication. Judgment whether the input data contains the output prohibition wording based on the output prohibition wording information that defines the step to output and the wording prohibiting the output from the output unit and different words according to the attribute of the operator. If the input data contains the output prohibition wording as a result of the determination, the step of controlling the output prohibition wording from the output unit is executed.

図1は、実施形態に係る健康管理システムの構成例を示す図である。FIG. 1 is a diagram showing a configuration example of a health management system according to an embodiment. 図2は、実施形態に係る健康管理システムによる処理の概要を示す図である。FIG. 2 is a diagram showing an outline of processing by the health management system according to the embodiment. 図3は、実施形態に係る健康管理システムによる処理の概要を示す図である。FIG. 3 is a diagram showing an outline of processing by the health management system according to the embodiment. 図4は、実施形態に係るスマートフォンの構成例を示すブロック図である。FIG. 4 is a block diagram showing a configuration example of a smartphone according to an embodiment. 図5は、実施形態に係る出力禁止文言情報の一例を示す図である。FIG. 5 is a diagram showing an example of output prohibited wording information according to the embodiment. 図6は、実施形態に係る文言ファイルの概要を説明する図である。FIG. 6 is a diagram illustrating an outline of a wording file according to an embodiment. 図7は、実施形態に係る文言ファイルの概要を説明する図である。FIG. 7 is a diagram illustrating an outline of a wording file according to an embodiment. 図8は、実施形態に係る情報処理装置の構成例を示すブロック図である。FIG. 8 is a block diagram showing a configuration example of the information processing apparatus according to the embodiment. 図9は、計測値格納部に記憶される計測値の概要を説明する図である。FIG. 9 is a diagram illustrating an outline of the measured values stored in the measured value storage unit. 図10は、食事情報格納部に記憶される食事内容に関する情報の概要を説明する図である。FIG. 10 is a diagram illustrating an outline of information regarding meal contents stored in the meal information storage unit. 図11は、健康診断結果格納部に記憶される健康診断結果に関する情報の概要を説明する図である。FIG. 11 is a diagram illustrating an outline of information regarding the health diagnosis result stored in the health diagnosis result storage unit. 図12は、実施形態に係る属性情報の一例を示す図である。FIG. 12 is a diagram showing an example of attribute information according to the embodiment. 図13は、実施形態に係る情報管理装置の構成例を示すブロック図である。FIG. 13 is a block diagram showing a configuration example of the information management device according to the embodiment. 図14は、計測値格納部に記憶される計測値の概要を説明する図である。FIG. 14 is a diagram illustrating an outline of the measured values stored in the measured value storage unit. 図15は、食事情報格納部に記憶される食事内容に関する情報の概要を説明する図である。FIG. 15 is a diagram illustrating an outline of information regarding meal contents stored in the meal information storage unit. 図16は、健康診断結果格納部に記憶される健康診断結果に関する情報の概要を説明する図である。FIG. 16 is a diagram illustrating an outline of information regarding a health diagnosis result stored in a health diagnosis result storage unit. 図17は、実施形態に係るスマートフォンと情報処理装置との間の処理の一例を示すシーケンス図である。FIG. 17 is a sequence diagram showing an example of processing between the smartphone and the information processing apparatus according to the embodiment. 図18は、実施形態に係る情報処理装置による映像通話応答処理の一例を示すフローチャートである。FIG. 18 is a flowchart showing an example of video call response processing by the information processing apparatus according to the embodiment. 図19は、実施形態に係るスマートフォンによる映像通話中の処理の一例を示すフローチャートである。FIG. 19 is a flowchart showing an example of processing during a video call by the smartphone according to the embodiment. 図20は、他の実施形態に係る実施形態に係る健康管理システムによる処理の概要を示す図である。FIG. 20 is a diagram showing an outline of processing by a health management system according to an embodiment according to another embodiment.

本出願に係る実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。以下の実施形態では、本出願に係る電子機器がスマートフォン1である場合について説明する。 The embodiments according to the present application will be described in detail with reference to the drawings. In the following description, similar components may be designated by the same reference numerals. Further, duplicate description may be omitted. In the following embodiment, a case where the electronic device according to the present application is a smartphone 1 will be described.

図1は、実施形態に係る健康管理システムの構成例を示す図である。図1に示すように、実施形態に係る健康管理システムは、スマートフォン1と、測定装置50と、情報処理装置100と、情報管理装置200と、を含む。スマートフォン1、情報処理装置100、および情報管理装置200は、通信ネットワーク30を介して、通信可能に接続される。 FIG. 1 is a diagram showing a configuration example of a health management system according to an embodiment. As shown in FIG. 1, the health management system according to the embodiment includes a smartphone 1, a measuring device 50, an information processing device 100, and an information management device 200. The smartphone 1, the information processing device 100, and the information management device 200 are communicably connected via the communication network 30.

通信ネットワーク30は、たとえば、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等である。通信ネットワーク30の接続形態は、無線であるか、、有線であるか、又は有線と無線との組合せであるかを問わない。 The communication network 30 is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), a telephone network (mobile phone network, fixed telephone network, etc.), a regional IP (Internet Protocol) network, the Internet, or the like. The connection form of the communication network 30 may be wireless, wired, or a combination of wired and wireless.

情報管理装置200は、スマートフォン1のユーザ(以下、適宜「端末ユーザ」と記載する)の健康管理に必要な各種情報を管理する。各種情報は、端末ユーザの体重、体脂肪率、脈拍などの計測値、歩数などの活動量、食事内容などの生活情報、および健康診断結果を含む。 The information management device 200 manages various information necessary for health management of the user of the smartphone 1 (hereinafter, appropriately referred to as "terminal user"). The various information includes the weight of the terminal user, the body fat percentage, the measured value such as the pulse, the amount of activity such as the number of steps, the living information such as the meal content, and the result of the health diagnosis.

情報処理装置100は、端末ユーザに対して健康管理に関するアドバイスを行うオペレータにより操作される。情報処理装置100は、情報管理装置200から端末ユーザの健康管理に必要な各種情報を取得する機能、スマートフォン1との間で映像通話を行うためのデータ通信機能、及び健康管理に必要な各種情報をオペレータに提供する機能などの各種機能を有する。 The information processing device 100 is operated by an operator who gives advice on health management to the terminal user. The information processing device 100 has a function of acquiring various information necessary for health management of a terminal user from the information management device 200, a data communication function for making a video call with a smartphone 1, and various information necessary for health management. Has various functions such as a function to provide the operator.

スマートフォン1は、情報処理装置100のオペレータから健康管理に関するアドバイスを受ける端末ユーザにより操作される。スマートフォン1は、情報管理装置200に端末のユーザの健康管理に必要な各種情報をアップロードする機能や、情報処理装置100との間で映像通話を行うためのデータ通信機能などの各種機能を有する。スマートフォン1は、測定装置50により測定される端末ユーザの体重、体脂肪率、脈拍など計測値、並びに歩数などの活動量を取得し、情報管理装置200に送信する。 The smartphone 1 is operated by a terminal user who receives advice on health management from the operator of the information processing device 100. The smartphone 1 has various functions such as a function of uploading various information necessary for health management of a terminal user to the information management device 200 and a data communication function for making a video call with the information processing device 100. The smartphone 1 acquires the measured values such as the weight, body fat percentage, and pulse of the terminal user measured by the measuring device 50, and the amount of activity such as the number of steps, and transmits them to the information management device 200.

測定装置50は、端末ユーザの健康管理に必要な情報を計測する。測定装置50は、たとえば端末ユーザの体重を計測する体重計、体重に加えて体脂肪率等を計測する体組成計、体温を計測する体温計、血圧を計測する血圧計、脈拍を計測する脈拍計、歩数を計測する歩数計、歩行を含む運動による活動量を計測する活動量計のうちの少なくとも1つを含む。測定装置50は、上記測定装置のほか、任意のユーザの生体情報を測定する装置を含むとしてもよい。測定装置50は、たとえば家庭内に設置される計器やスマートフォン1のユーザの体に装着して利用されるウェアラブル装置を含む。 The measuring device 50 measures information necessary for health management of the terminal user. The measuring device 50 is, for example, a pedometer for measuring the body weight of a terminal user, a body composition meter for measuring the body fat ratio in addition to the body weight, a pedometer for measuring the body temperature, a sphygmomanometer for measuring the blood pressure, and a pulse meter for measuring the pulse. , Includes at least one of a pedometer that measures the number of steps, and an activity meter that measures the amount of activity due to exercise, including walking. In addition to the above-mentioned measuring device, the measuring device 50 may include a device for measuring biological information of any user. The measuring device 50 includes, for example, an instrument installed in a home or a wearable device worn on the body of a user of a smartphone 1.

図2及び図3は、実施形態に係る健康管理システムによる処理の概要を示す図である。図2及び図3に示すように、たとえばスマートフォン1のユーザU1(ユーザID:U001)は、情報処理装置100のオペレータU2(属性ID:Z002)との間で映像通話を行う。 2 and 3 are diagrams showing an outline of processing by the health management system according to the embodiment. As shown in FIGS. 2 and 3, for example, the user U1 (user ID: U001) of the smartphone 1 makes a video call with the operator U2 (attribute ID: Z002) of the information processing apparatus 100.

スマートフォン1のユーザU1および情報処理装置100のオペレータU2は、それぞれ、映像通話中に相手側の装置に表示させる仮想的なキャラクターを利用できる。ユーザU1は、情報処理装置100のディスプレイ122にアバターAVT1を表示させて、通話接続中である情報処理装置100のオペレータU2と通話できる。一方、オペレータU2は、スマートフォン1のタッチスクリーンディスプレイ2にアバターAVT2を表示させて、通話接続中であるスマートフォン1のユーザU1と通話できる。なお、映像通話中、スマートフォン1のユーザU1および情報処理装置100のオペレータU2は声色を変更することもできる。 The user U1 of the smartphone 1 and the operator U2 of the information processing device 100 can each use a virtual character to be displayed on the other party's device during a video call. The user U1 can display the avatar AVT1 on the display 122 of the information processing apparatus 100 and talk with the operator U2 of the information processing apparatus 100 which is in a call connection. On the other hand, the operator U2 can display the avatar AVT2 on the touch screen display 2 of the smartphone 1 and talk with the user U1 of the smartphone 1 who is connected to the call. During a video call, the user U1 of the smartphone 1 and the operator U2 of the information processing apparatus 100 can also change the voice color.

ユーザU1は、映像通話を介して、情報処理装置100のオペレータに対し、健康管理に関するアドバイスを求めることができる。オペレータU2は、ユーザU1の求めに応じて、たとえば計測値格納部141や食事情報格納部142に記憶されているユーザU1の情報を参照しながら、健康管理に関するアドバイスを提供する。このとき、スマートフォン1は、オペレータの属性に対応する出力禁止文言情報9Xに基づいて、オペレータから提供されるアドバイス、すなわちオペレータの発話の内容に出力禁止文言が含まれているかを判定する。そして、スマートフォン1は、出力禁止文言が含まれていると判定した場合、出力禁止文言が出力されないように制御する。 The user U1 can request the operator of the information processing apparatus 100 for advice on health management via a video call. At the request of the user U1, the operator U2 provides advice on health management while referring to the information of the user U1 stored in the measured value storage unit 141 or the meal information storage unit 142, for example. At this time, the smartphone 1 determines whether the advice provided by the operator, that is, the content of the operator's utterance includes the output prohibition wording, based on the output prohibition wording information 9X corresponding to the attribute of the operator. Then, when it is determined that the output prohibition word is included, the smartphone 1 controls so that the output prohibition word is not output.

図2に示すように、ユーザU1は、オペレータU2に対して、たとえば「おすすめの食品を教えてください。」というアドバイスを求めたとする(ステップS11)。これに対して、オペレータU2は、たとえば「大豆製品が良いですよ。」というアドバイスを提供したとする(ステップS12)。 As shown in FIG. 2, it is assumed that the user U1 asks the operator U2 for advice such as "Please tell me the recommended food" (step S11). On the other hand, it is assumed that the operator U2 provides the advice, for example, "Soybean products are good" (step S12).

スマートフォン1は、オペレータU2の発話に対応する音声データ(「入力データ」の一例)を受信すると、オペレータU2の発話の内容、すなわち「大豆製品が良いですよ。」というアドバイスに出力禁止文言が含まれているかを判定する。スマートフォン1は、オペレータU2の「大豆製品が良いですよ。」という発話の内容に出力禁止文言が含まれていないと判定した場合、オペレータU2から提供された「大豆製品が良いですよ。」というアドバイスに対応する音声を出力する(ステップS13)。 When the smartphone 1 receives the voice data (an example of "input data") corresponding to the utterance of the operator U2, the content of the utterance of the operator U2, that is, the advice "Soybean products are good" includes the output prohibition wording. Determine if it is. When the smartphone 1 determines that the content of the utterance "Soybean products are good" of the operator U2 does not include the output prohibition wording, the operator U2 says "Soybean products are good." The voice corresponding to the advice is output (step S13).

図2に示す例において、スマートフォン1は、属性IDが管理栄養士であるオペレータU2が、食事指導に関するアドバイスをユーザU1に提供した場合、適切な資格を有するものとして、オペレータU2の発話を特に制限することなく、そのまま出力する。 In the example shown in FIG. 2, when the operator U2 whose attribute ID is a registered dietitian provides the user U1 with advice on dietary guidance, the smartphone 1 particularly restricts the utterance of the operator U2 as having appropriate qualifications. Output as it is without any.

一方、図3に示すように、ユーザU1は、オペレータU2に対して、たとえば「薬の飲み方を教えてください。」というアドバイスを求めたとする(ステップS21)。これに対して、オペレータU2は、たとえば「薬は食後が良いと思います。」というアドバイスを提供したとする(ステップS22)。 On the other hand, as shown in FIG. 3, it is assumed that the user U1 requests the operator U2 for advice, for example, "Please tell me how to take the medicine" (step S21). On the other hand, it is assumed that the operator U2 provides the advice, for example, "I think the medicine is good after eating" (step S22).

スマートフォン1は、オペレータU2の発話に対応する音声データ(「入力データ」の一例)を受信すると、オペレータU2の発話の内容、すなわち「薬は食後が良いと思います。」というアドバイスに出力禁止文言が含まれるかを判定する。スマートフォン1は、オペレータU2の「薬は食後が良いと思います。」という発話の内容に、出力禁止文言として「食後が良い」が含まれていると判定した場合、出力禁止文言である「食後が良い」の部分に対応する音声の出力を制限するブロック処理を行う(ステップS23)。 When the smartphone 1 receives the voice data (an example of "input data") corresponding to the utterance of the operator U2, the output prohibition wording is given to the content of the utterance of the operator U2, that is, the advice "I think the medicine is good after meals." Is included. When the smartphone 1 determines that the content of the utterance "I think the medicine is good after meals" of the operator U2 includes "good after meals" as the output prohibition wording, the output prohibition wording "after meals". A block process for limiting the output of the voice corresponding to the portion of "is good" is performed (step S23).

図3に示す例において、スマートフォン1は、たとえばオペレータU2の発話の内容である「薬は食後が良いと思います。」のうち、出力禁止文言である「食後が良い」の部分に対応する音声を削除した後、残りの音声を出力する。ブロック処理は、出力禁止文言に対応する音声の一部を削除する他、出力禁止文言に対応する音声の一部を代替音に差し替えるなどの方法によっても実現できる。スマートフォン1によるブロック処理は、たとえば属性IDが管理栄養士であるオペレータU2が、適切な資格を有しないにも関わらず、医師や薬剤師のみ許される薬の飲み方といった医行為に該当すると考えられるアドバイスを提供した場合、オペレータU2の発話が出力されないようにするものである。 In the example shown in FIG. 3, the smartphone 1 is, for example, the voice corresponding to the part of the output prohibited word "good after meal" in "I think the medicine is good after meal" which is the content of the utterance of the operator U2. After deleting, the rest of the audio is output. The block processing can be realized by deleting a part of the voice corresponding to the output prohibited word and replacing a part of the voice corresponding to the output prohibited word with a substitute sound. The block processing by the smartphone 1 gives advice that is considered to correspond to medical practice such as how to take medicines that only doctors and pharmacists are allowed, even though the operator U2 whose attribute ID is a registered dietitian does not have appropriate qualifications. When provided, the utterance of the operator U2 is prevented from being output.

また、スマートフォン1は、オペレータU2の発話に対応する音声の出力を制限した旨の通知をタッチスクリーンディスプレイ2に表示する(ステップS24)。オペレータの発話に対応する音声の出力を制限した旨の通知は、図3に示すように、その旨を記述した吹き出し画像NT1をタッチスクリーンディスプレイ2に表示するなどの方法によって実現できる。 Further, the smartphone 1 displays a notification on the touch screen display 2 to the effect that the output of the voice corresponding to the utterance of the operator U2 is restricted (step S24). As shown in FIG. 3, the notification that the output of the voice corresponding to the utterance of the operator is restricted can be realized by a method such as displaying the balloon image NT1 describing that fact on the touch screen display 2.

このように、実施形態に係る健康管理システムにおいて、スマートフォン1は、適切な資格を備えない者により行われた健康管理に関するアドバイスが提供されることを防止できる。なお、ここにいう適切な資格とは、所定の行為を行うについて法律で必要とされる資格(本開示で法律資格という)、又は、所定の行為を行うについての専門的な知識及び技能を保有すると認められる資格(本開示で保有資格という)をいう。法律資格として、例えば、医行為を行うのに必要とされる医師資格や、業として傷病者に対する療養上の世話や補助を行うのに必要とされる看護師資格や、服薬指導行為を行うのに必要とされる薬剤師の資格などがある。保有資格として、食事などの栄養指導を行う栄養士又は管理栄養士の資格がある。 As described above, in the health management system according to the embodiment, the smartphone 1 can prevent the advice on health management performed by a person who does not have appropriate qualifications from being provided. In addition, the appropriate qualification referred to here is the qualification required by law for performing a prescribed act (referred to as a legal qualification in this disclosure), or possessing specialized knowledge and skills for performing a prescribed act. Qualifications recognized as such (referred to as possession qualifications in this disclosure). Legal qualifications include, for example, a doctor's qualification required to perform medical practice, a nurse's qualification required to provide medical care and assistance to the injured and sick as a business, and medication instruction. There is a pharmacist qualification required for. As a qualification for possession, there is a qualification of a dietitian or a registered dietitian who provides nutritional guidance such as meals.

図4を参照しながら、実施形態に係るスマートフォン1の構成について説明する。図4は、実施形態に係るスマートフォン1の構成例を示すブロック図である。図4に示すように、スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、GPS(Global Positioning System)レシーバ18とを有する。 The configuration of the smartphone 1 according to the embodiment will be described with reference to FIG. FIG. 4 is a block diagram showing a configuration example of the smartphone 1 according to the embodiment. As shown in FIG. 4, the smartphone 1 includes a touch screen display 2, a button 3, an illuminance sensor 4, a proximity sensor 5, a communication unit 6, a receiver 7, a microphone 8, a storage 9, and a controller 10. It has a speaker 11, a camera 12, a camera 13, a connector 14, an acceleration sensor 15, an orientation sensor 16, a gyroscope 17, and a GPS (Global Positioning System) receiver 18.

タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重なって位置してよいし、並んで位置してよいし、離れて位置してよい。ディスプレイ2Aとタッチスクリーン2Bとが重なって位置する場合、例えば、ディスプレイ2Aの1ないし複数の辺は、タッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。 The touch screen display 2 has a display 2A and a touch screen 2B. The display 2A and the touch screen 2B may be located, for example, overlapping, side by side, or distant from each other. When the display 2A and the touch screen 2B are positioned so as to overlap each other, for example, one or a plurality of sides of the display 2A may not be along any side of the touch screen 2B.

ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro-Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。 The display 2A is a display such as a liquid crystal display (LCD: Liquid Crystal Display), an organic EL display (OELD: Organic Electro-Luminence Display), or an inorganic EL display (IELD: Organic Electro-Luminence Display). The display 2A displays objects such as characters, images, symbols, and figures on the screen.

タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。 The touch screen 2B detects contact or proximity of a finger, pen, stylus pen, or the like to the touch screen 2B. The touch screen 2B can detect a position on the touch screen 2B when a plurality of fingers, pens, stylus pens, or the like touch or approach the touch screen 2B. The touch screen 2B notifies the controller 10 of the contact or proximity of the finger to the touch screen 2B together with the detection position.

コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別できる。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。 The controller 10 is at least one of the contact or proximity detected by the touch screen 2B, the detection position, the change in the detection position, the duration of the contact or proximity, the interval at which the contact or proximity is detected, and the number of times the contact is detected. The type of gesture can be determined based on the above. Gestures that the controller 10 determines via the touch screen 2B include, for example, touch, long touch, release, swipe, tap, double tap, long tap, drag, flick, pinch in, and pinch out. Not limited to.

コントローラ10は、タッチスクリーン2Bを介して判別するこれらのジェスチャに従って動作できる。これにより、ユーザにとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってコントローラ10が行う動作は、ディスプレイ2Aに表示されている画面に応じて異なることがある。 The controller 10 can operate according to these gestures determined via the touch screen 2B. This realizes intuitive and easy-to-use operability for the user. The operation performed by the controller 10 according to the determined gesture may differ depending on the screen displayed on the display 2A.

タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン1を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。 The detection method of the touch screen 2B may be any method such as a capacitance method, a resistance film method, a surface acoustic wave method, an infrared method, and a load detection method. In the following description, for the sake of simplicity, it is assumed that the user touches the touch screen 2B with a finger to operate the smartphone 1.

ボタン3は、ユーザからの操作入力を受け付ける。ボタン3の数は、任意の数であってよい。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。ボタン3は、例えばメニューボタン、パワーオンボタン、パワーオフボタン(電源ボタン)、リセットボタンなどの各種機能が割り当てられてよい。ボタン3は、音声入力の処理を実行させる機能が割り当てられてよい。 The button 3 receives an operation input from the user. The number of buttons 3 may be any number. The controller 10 detects an operation on the button 3 by cooperating with the button 3. Operations on button 3 include, but are not limited to, click, double click, triple click, push, and multi-push. The button 3 may be assigned various functions such as a menu button, a power-on button, a power-off button (power button), and a reset button. The button 3 may be assigned a function to execute the processing of voice input.

照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。 The illuminance sensor 4 detects the illuminance. The illuminance is a value of a luminous flux incident on a unit area of the measurement surface of the illuminance sensor 4. The illuminance sensor 4 is used, for example, for adjusting the brightness of the display 2A.

近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、赤外線を照射する発光素子と、発光素子から照射された赤外線の反射光を受光する受光素子を有する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。 The proximity sensor 5 detects the presence of a nearby object in a non-contact manner. The proximity sensor 5 has a light emitting element that irradiates infrared rays and a light receiving element that receives reflected light of infrared rays emitted from the light emitting element. The illuminance sensor 4 and the proximity sensor 5 may be configured as one sensor.

通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W-CDMA(登録商標)(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、PHS(Personal Handy-phone System)等がある。 The communication unit 6 communicates wirelessly. The wireless communication standards supported by the communication unit 6 include, for example, cellular phone communication standards such as 2G, 3G, 4G, and 5G, and short-range wireless communication standards. Communication standards for cellular phones include, for example, LTE (Long Term Evolution), W-CDMA (registered trademark) (Wideband Code Division Multiple Access), CDMA2000, PDC (Personal Digital Cellular), GSM (registered trademark) (Global System for). Mobile communications), PHS (Personal Handy-phone System), etc.

通信ユニット6によってサポートされる近距離無線の通信規格としては、例えば、WiMAX(登録商標)(Worldwide interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(登録商標)(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。 The short-range wireless communication standards supported by the communication unit 6 include, for example, WiMAX (registered trademark) (Worldwide interoperability for Microwave Access), IEEE802.11, Bluetooth (registered trademark), IrDA (Infrared Data Association), NFC ( Includes registered trademarks) (Near Field Communication), WPAN (Wireless Personal Area Network), and the like. The communication unit 6 may support one or more of the above-mentioned communication standards.

通信ユニット6は、情報処理装置100との間で実行される映像通話を実現するための通信プロトコルをサポートできる。通信ユニット6は、情報処理装置100や情報管理装置200との間でデータ通信を行う。通信ユニット6は、オペレータにより操作される情報処理装置100との間で行うデータ通信により、情報処理装置100においてオペレータにより入力された入力データとして、オペレータの発話に対応する音声データを取得できる。通信ユニット6は、「通信部」の一例である。 The communication unit 6 can support a communication protocol for realizing a video call executed with the information processing device 100. The communication unit 6 performs data communication with the information processing device 100 and the information management device 200. The communication unit 6 can acquire voice data corresponding to the utterance of the operator as input data input by the operator in the information processing device 100 by data communication performed with the information processing device 100 operated by the operator. The communication unit 6 is an example of a “communication unit”.

レシーバ7およびスピーカ11は、音出力部である。レシーバ7およびスピーカ11は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音および音楽を出力するために用いられる。レシーバ7およびスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音入力部である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信する。レシーバ7およびスピーカ11は、情報処理装置100においてオペレータにより入力された入力データとして、通信ユニットにより取得されたオペレータの発話に対応する音声データを音声として出力できる。情報処理装置100からレシーバ7およびスピーカ11は、「出力部」の一例である。 The receiver 7 and the speaker 11 are sound output units. The receiver 7 and the speaker 11 output a sound signal transmitted from the controller 10 as sound. The receiver 7 is used, for example, to output the voice of the other party during a call. The speaker 11 is used, for example, to output a ringtone and music. One of the receiver 7 and the speaker 11 may also serve as the other function. The microphone 8 is a sound input unit. The microphone 8 converts the user's voice or the like into a sound signal and transmits it to the controller 10. The receiver 7 and the speaker 11 can output voice data corresponding to the utterance of the operator acquired by the communication unit as voice as input data input by the operator in the information processing apparatus 100. The receiver 7 and the speaker 11 from the information processing apparatus 100 are examples of the “output unit”.

ストレージ9は、プログラムおよびデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。 Storage 9 stores programs and data. The storage 9 is also used as a work area for temporarily storing the processing result of the controller 10. The storage 9 may include a semiconductor storage medium and any non-transitory storage medium such as a magnetic storage medium. The storage 9 may include a plurality of types of storage media. The storage 9 may include a combination of a portable storage medium such as a memory card, an optical disk, or a magneto-optical disk, and a reading device for the storage medium. The storage 9 may include a storage device used as a temporary storage area such as a RAM (Random Access Memory).

ストレージ9が記憶するプログラムおよびデータの一部または全部は、通信ユニット6による無線通信でアクセス可能なクラウドストレージなどの他の装置からダウンロードされてもよい。ストレージ9が記憶するプログラムおよびデータの一部または全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。ストレージ9が記憶するプログラムおよびデータの一部または全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu-ray(登録商標)等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、およびソリッドステート記憶媒体を含むが、これらに限定されない。 A part or all of the program and data stored in the storage 9 may be downloaded from another device such as a cloud storage accessible by wireless communication by the communication unit 6. A part or all of the programs and data stored in the storage 9 may be stored in a non-transient storage medium that can be read by the reading device included in the storage 9. Some or all of the programs and data stored in the storage 9 may be stored in a non-transient storage medium that can be read by the reader connected to the connector 14. Non-transient storage media include, for example, optical disks such as CDs (registered trademarks), DVDs (registered trademarks), and Blu-ray (registered trademarks), magneto-optical disks, magnetic storage media, memory cards, and solid-state storage media. , But not limited to these.

ストレージ9に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bを介して検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーションおよび制御プログラムは、通信ユニット6による無線通信または非一過的な記憶媒体を介してストレージ9に導入されてもよい。 The program stored in the storage 9 includes an application executed in the foreground or background, and a control program that supports the operation of the application. The application causes, for example, display the screen on the display 2A, and causes the controller 10 to execute a process according to the gesture detected via the touch screen 2B. The control program is, for example, an OS. The application and control program may be introduced into the storage 9 via wireless communication by the communication unit 6 or a non-transient storage medium.

ストレージ9に記憶されるプログラムは、スマートフォン1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム9Aが提供する機能は、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能を含む。制御プログラム9Aが提供する機能は、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能を含む。制御プログラム9Aが提供する機能は、コネクタ14を介して接続される外部機器との間の通信を制御する機能を含む。制御プログラム9Aが提供する機能は、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能を含む。 Each of the programs stored in the storage 9 can provide a function for realizing processing related to various operations of the smartphone 1. The function provided by the control program 9A includes a function of adjusting the brightness of the display 2A based on the detection result of the illuminance sensor 4. The function provided by the control program 9A includes a function of invalidating the operation on the touch screen 2B based on the detection result of the proximity sensor 5. The function provided by the control program 9A includes a function of controlling communication with an external device connected via the connector 14. The function provided by the control program 9A includes a function of performing various controls such as changing the information displayed on the display 2A according to the gesture determined based on the detection result of the touch screen 2B.

ストレージ9は、たとえば制御プログラム9A、メールアプリケーション9B、ブラウザアプリケーション9C、健康管理アプリケーション9D、出力禁止文言情報9X、代替音情報9Y、および設定情報9Zを記憶する。制御プログラム9Aは、スマートフォン1を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、検出される操作に応じて、アプリケーションを起動または終了させる。 The storage 9 stores, for example, a control program 9A, a mail application 9B, a browser application 9C, a health management application 9D, output prohibition wording information 9X, alternative sound information 9Y, and setting information 9Z. The control program 9A provides various control-related functions for operating the smartphone 1. The control program 9A starts or terminates the application according to the detected operation, for example.

メールアプリケーション9Bは、電子メールの作成、送信、受信、および表示等のための電子メール機能を提供する。ブラウザアプリケーション9Cは、WEBページを表示するためのWEBブラウジング機能を提供する。 The mail application 9B provides an e-mail function for creating, sending, receiving, displaying, and the like of e-mail. The browser application 9C provides a WEB browsing function for displaying a WEB page.

健康管理アプリケーション9Dは、制御プログラム9Aと連携しつつ、実施形態に係るスマートフォン1に特有の処理を実現させるための各種機能を提供できる。制御プログラム9Aと連携しつつ、実施形態に係るスマートフォン1に特有の処理を実現させための各種機能を提供する健康管理アプリケーション9Dは、スマートフォン1に実施形態に係る特有の処理を実行させる制御プログラムと言い換えることもできる。 The health management application 9D can provide various functions for realizing the processing peculiar to the smartphone 1 according to the embodiment while cooperating with the control program 9A. The health management application 9D, which provides various functions for realizing the processing peculiar to the smartphone 1 according to the embodiment while cooperating with the control program 9A, is a control program for causing the smartphone 1 to execute the processing peculiar to the embodiment. In other words.

健康管理アプリケーション9Dは、たとえば健康管理アプリケーション9Dが有する各種機能を実行するためのユーザインターフェースを提供できる。健康管理アプリケーション9Dは、スマートフォン1や測定装置50により計測された端末ユーザに関する計測値を記録する機能や、記録した計測値をディスプレイ2Aに表示するユーザインターフェースを介して端末ユーザに提供するめの機能を提供できる。 The health management application 9D can provide, for example, a user interface for executing various functions included in the health management application 9D. The health management application 9D has a function of recording measured values related to the terminal user measured by the smartphone 1 and the measuring device 50, and a function of providing the recorded measured values to the terminal user via a user interface for displaying the recorded values on the display 2A. Can be provided.

また、健康管理アプリケーション9Dは、スマートフォン1や測定装置50により計測された端末ユーザに関する計測値を情報管理装置200にアップロードするための機能を提供できる。 Further, the health management application 9D can provide a function for uploading the measured value of the terminal user measured by the smartphone 1 or the measuring device 50 to the information management device 200.

また、健康管理アプリケーション9Dは、情報処理装置100のオペレータとの間で健康管理に関する映像通話を行うための機能を提供できる。映像通話を行うための機能は、たとえば上述のユーザインタフェースを介して、スマートフォン1のユーザから受け付ける映像通話開始要求を情報処理装置100に送信し、情報処理装置100から映像通話受付応答を受信して、映像通話処理を開始させる機能を含む。 In addition, the health management application 9D can provide a function for making a video call related to health management with the operator of the information processing device 100. The function for making a video call is, for example, to send a video call start request received from the user of the smartphone 1 to the information processing device 100 and receive a video call reception response from the information processing device 100 via the above-mentioned user interface. , Includes a function to start video call processing.

また、健康管理アプリケーション9Dは、映像通話中に情報処理装置100に表示させる仮想的なキャラクター(アバター)、及び映像通話中に情報処理装置100から出力される音声の声色などを設定するための機能を提供できる。仮想的なキャラクター(アバター)は、スマートフォン1のユーザに対応するキャラクターであるが、その形式は、人型、ロボット型、動物型その他任意のキャラクターでよく、特に限定されるものではない。また、仮想的なキャラクター(アバター)は、スマートフォン1のユーザに似ているとしてもよいし、似ていないとしてもよい。 Further, the health management application 9D is a function for setting a virtual character (avatar) to be displayed on the information processing device 100 during a video call, a voice color of a voice output from the information processing device 100 during a video call, and the like. Can be provided. The virtual character (avatar) is a character corresponding to the user of the smartphone 1, but the format may be a human type, a robot type, an animal type or any other character, and is not particularly limited. Further, the virtual character (avatar) may or may not resemble the user of the smartphone 1.

また、健康管理アプリケーション9Dは、オペレータの発話の内容を認識するための機能を提供できる。健康管理アプリケーション9Dにより提供されるオペレータの発話の内容を認識するための機能は、オペレータの発話に対応する音声情報を変換した文字情報を、形態素解析等の自然言語処理技術などの既知の技術を用いて解析することにより、オペレータの発話の内容を認識する機能を含んでよい。 In addition, the health management application 9D can provide a function for recognizing the content of the operator's utterance. The function for recognizing the content of the operator's utterance provided by the health management application 9D uses known techniques such as natural language processing technology such as morphological analysis for the character information obtained by converting the voice information corresponding to the operator's utterance. It may include a function of recognizing the content of the operator's utterance by analyzing using it.

また、健康管理アプリケーション9Dは、出力禁止文言情報9Xに基づいて、オペレータの発話の内容に出力禁止文言が含まれているかを判定するための機能、並びにオペレータの発話の内容に出力禁止文言が含まれていると判定した場合、当該出力禁止文言を出力しないように制御するための機能を提供できる。出力禁止文言を出力しないように制御するための機能は、出力禁止文言に対応する音声の一部若しくは全部を削除する機能、あるいは出力禁止文言に対応する音声の一部若しくは全部を代替音に差し替える機能、出力禁止文字に対応する音声の一部若しくは全部を加工する機能などを含む。 Further, the health management application 9D has a function for determining whether the content of the operator's utterance includes the output prohibition word based on the output prohibition wording information 9X, and the content of the operator's utterance includes the output prohibition wording. If it is determined that the output is prohibited, a function for controlling not to output the output prohibition word can be provided. The function for controlling not to output the output prohibited word is the function to delete a part or all of the voice corresponding to the output prohibited word, or replace a part or all of the voice corresponding to the output prohibited word with a substitute sound. Includes functions, functions to process part or all of the voice corresponding to output prohibited characters, and so on.

また、健康管理アプリケーション9Dは、オペレータの発話に対応する音声の出力を制限した旨の通知を出力するための機能を提供できる。 In addition, the health management application 9D can provide a function for outputting a notification that the output of the voice corresponding to the utterance of the operator is restricted.

出力禁止文言情報9Xは、オペレータの属性に対応付けて、スピーカ11からの出力を禁止する文言を規定した出力禁止文言の情報を含む。図5は、実施形態に係る出力禁止文言情報9Xの一例を示す図である。図5に示すように、出力禁止文言情報9Xは、属性ID、出力制限フラグ、及び出力禁止文言ファイルの情報を有し、これらの情報は互いに対応付けられている。 The output prohibition wording information 9X includes information of the output prohibition wording that defines the wording prohibiting the output from the speaker 11 in association with the attribute of the operator. FIG. 5 is a diagram showing an example of output prohibition wording information 9X according to the embodiment. As shown in FIG. 5, the output prohibition wording information 9X has the attribute ID, the output restriction flag, and the information of the output prohibition wording file, and these informations are associated with each other.

属性IDは、情報処理装置100を操作するオペレータの属性を特定するための情報である。本実施形態において、たとえば情報処理装置100を操作するオペレータが医師である場合の属性IDとして「Z001」が割り当てられる。出力制限フラグは、出力禁止文言ファイルに基づく出力制限を受けるか否かを規定する情報である。出力禁止文言ファイルは、オペレータの発話の内容に出力禁止文言が含まれているかを判定する際に参照すべき文言ファイルの情報である。図6及び図7は、実施形態に係る文言ファイルの概要を説明する図である。図6に示すように、文言ファイル1は、たとえば医行為に関わる文言を記録する。図7に示すように、文言ファイル2は、食事指導に関する文言を記録する。 The attribute ID is information for specifying the attribute of the operator who operates the information processing apparatus 100. In the present embodiment, for example, "Z001" is assigned as an attribute ID when the operator who operates the information processing apparatus 100 is a doctor. The output restriction flag is information that specifies whether or not the output restriction is applied based on the output prohibition wording file. The output prohibition wording file is information of the wording file to be referred to when determining whether the content of the operator's utterance contains the output prohibition wording. 6 and 7 are diagrams for explaining the outline of the wording file according to the embodiment. As shown in FIG. 6, the wording file 1 records, for example, words related to medical practice. As shown in FIG. 7, the wording file 2 records words related to dietary guidance.

上述した出力禁止文言情報9Xは、図5に示すように、オペレータの属性に応じて、異なる出力禁止文言ファイルが対応付けられる。たとえば管理栄養士に対応する「属性ID:Z002」には、出力禁止文言ファイルである文言ファイル1が対応付けられる。すなわち、管理栄養士は医行為に関わる文言が出力禁止文言となる。他方、料理研究家に対応する「属性ID:Z003」には、出力禁止文言ファイルである文言ファイル1及び文書ファイル2が対応付けられる。すなわち、料理研究家は医行為に関わる文言及び食事指導に関する文言が出力禁止文言となる。 As shown in FIG. 5, the output prohibition wording information 9X described above is associated with different output prohibition wording files according to the attributes of the operator. For example, the wording file 1 which is an output prohibited wording file is associated with the "attribute ID: Z002" corresponding to the registered dietitian. In other words, for registered dietitians, words related to medical practice are prohibited words. On the other hand, the "attribute ID: Z003" corresponding to the cooking researcher is associated with the wording file 1 and the document file 2 which are output prohibited wording files. In other words, for cooking researchers, the wording related to medical practice and the wording related to dietary guidance are output prohibited words.

代替音情報9Yは、オペレータの発話に対応する音声のうち出力禁止文言に対応する音声に差し替える代替音の情報である。代替音情報9Yは、代替音としてビープ音などを記録したデータファイルにより構成される。 The alternative sound information 9Y is information on the alternative sound to be replaced with the voice corresponding to the output prohibited word among the voices corresponding to the operator's utterances. The alternative sound information 9Y is composed of a data file in which a beep sound or the like is recorded as an alternative sound.

設定情報9Zは、スマートフォン1の動作に関する各種の設定に関する情報を含む。 The setting information 9Z includes information on various settings related to the operation of the smartphone 1.

上述した制御プログラム9Aが、健康管理アプリケーション9Dにより提供される機能の一部を担ってもよい。あるいは健康管理アプリケーション9Dにより提供される機能の一部が、本実施形態に特有の処理を実現するために専用に作成されたプログラム、あるいは既存プログラム又はアプリケーションに対するアドオンなどで実装されてもよい。 The control program 9A described above may be part of the function provided by the health management application 9D. Alternatively, a part of the functions provided by the health management application 9D may be implemented by a program created exclusively for realizing the processing peculiar to the present embodiment, or an existing program or an add-on to the application.

また、ストレージ9は、健康管理アプリケーション9Dの処理に使用されるデータを記憶できる。例えばストレージ9は、映像通話中に情報処理装置100に表示させる仮想的なキャラクター(アバター)、及び映像通話中に情報処理装置100から出力される音声の声色などを設定するためのデータを記憶できる。 In addition, the storage 9 can store data used for processing of the health management application 9D. For example, the storage 9 can store data for setting a virtual character (avatar) to be displayed on the information processing apparatus 100 during a video call, a voice color of a voice output from the information processing apparatus 100 during a video call, and the like. ..

コントローラ10は演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System-on-a-Chip)、MCU(Micro Control Unit)、FPGA(Field-Programmable Gate Array)、およびココントローラを含むが、これらに限定されない。コントローラ10は、スマートフォン1の動作を統括的に制御して各種の機能を実現する。 The controller 10 includes an arithmetic processing device. The arithmetic processing unit includes, for example, a CPU (Central Processing Unit), a System (System-on-a-Chip), an MCU (Micro Control Unit), an FPGA (Field-Programmable Gate Array), and a co-controller. Not limited. The controller 10 comprehensively controls the operation of the smartphone 1 to realize various functions.

具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、レシーバ7、およびスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、およびGPSレシーバ18を含むが、これらに限定されない。 Specifically, the controller 10 executes an instruction included in the program stored in the storage 9 while referring to the data stored in the storage 9 as necessary. Then, the controller 10 controls the functional unit according to the data and the instruction, thereby realizing various functions. Functional units include, but are not limited to, for example, a display 2A, a communication unit 6, a receiver 7, and a speaker 11. The controller 10 may change the control according to the detection result of the detection unit. The detection unit includes, for example, a touch screen 2B, a button 3, an illuminance sensor 4, a proximity sensor 5, a microphone 8, a camera 12, a camera 13, an acceleration sensor 15, an orientation sensor 16, a gyroscope 17, and a GPS receiver 18. Not limited to these.

コントローラ10は、ストレージ9に記憶されるプログラムを実行することにより、スマートフォン1の動作に関する各種制御を実現できる。コントローラ10は、例えば、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整できる。コントローラ10は、例えば、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効にできる。コントローラ10は、例えば、コネクタ14を介して接続される外部機器との間の通信を制御できる。コントローラ10は、例えば、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を実行できる。 The controller 10 can realize various controls related to the operation of the smartphone 1 by executing the program stored in the storage 9. The controller 10 can adjust the brightness of the display 2A based on the detection result of the illuminance sensor 4, for example. The controller 10 can disable the operation on the touch screen 2B based on the detection result of the proximity sensor 5, for example. The controller 10 can control communication with an external device connected via the connector 14, for example. The controller 10 can execute various controls such as changing the information displayed on the display 2A according to the gesture determined based on the detection result of the touch screen 2B, for example.

コントローラ10は、たとえば健康管理アプリケーション9Dを実行することにより、実施形態に係るスマートフォン1に特有の処理を実現できる。 The controller 10 can realize the processing peculiar to the smartphone 1 according to the embodiment, for example, by executing the health management application 9D.

例えば、コントローラ10は、情報処理装置100のオペレータとの間で健康管理に関する映像通話を行うための処理を実現できる。また、コントローラ10は、オペレータの発話の内容を認識するための処理を実現できる。また、コントローラ10は、出力禁止文言情報9Xに基づいて、オペレータの発話の内容に出力禁止文言が含まれるかを判定する処理を実現できる。また、コントローラ10は、オペレータの発話の内容に出力禁止文言が含まれていると判定した場合、当該出力禁止文言を出力しないように制御するためのブロック処理を実現できる。たとえばコントローラ10は、オペレータの発話に対応する音声から出力禁止文言に対応する音声を削除し、出力禁止文言を含まない音声をスピーカ11から出力するブロック処理を実行する。ブロック処理により、オペレータの発話の内容のうち、出力禁止文字に対応する音声は出力されず、出力禁止文言に対応しない残りの音声がスピーカ11などから出力される。ここで、本開示において、出力禁止文字に対応する音声が出力されないとは、出力禁止文字の意味が把握困難になる処理をいう。たとえば、出力禁止文字に対応する音声の一部が削除された場合、出力禁止文字に対応する音声の他の一部は出力されるが、出力禁止文字に対応する音声の一部が削除されたことにより、出力禁止文字の意味が把握困難になり、出力禁止文字に対応する音声が出力されないこととなる。ブロック処理は、出力禁止文言に対応する音声の一部若しくは全部を削除する、あるいは出力禁止文言に対応する音声の一部若しくは全部を代替音に差し替えるなどの方法によって行われる。また、ブロック処理は、出力禁止文字に対応する音声の一部若しくは全部を加工する処理を含むとしても良い。本開示では、出力禁止文言に対応する音声に対して、削除処理、代替音に差し替える処理及び加工処理その他の処理を任意に組み合わせてブロック処理としてもよい。 For example, the controller 10 can realize a process for making a video call related to health management with the operator of the information processing device 100. Further, the controller 10 can realize a process for recognizing the content of the operator's utterance. Further, the controller 10 can realize a process of determining whether the content of the operator's utterance includes the output prohibition wording based on the output prohibition wording information 9X. Further, when it is determined that the content of the operator's utterance includes the output prohibition word, the controller 10 can realize a block process for controlling not to output the output prohibition word. For example, the controller 10 deletes the voice corresponding to the output prohibited word from the voice corresponding to the operator's utterance, and executes a block process of outputting the voice not including the output prohibited word from the speaker 11. By the block processing, the voice corresponding to the output prohibited character is not output from the contents of the operator's utterance, and the remaining voice corresponding to the output prohibited word is output from the speaker 11 or the like. Here, in the present disclosure, the fact that the voice corresponding to the output prohibited character is not output means a process in which it becomes difficult to grasp the meaning of the output prohibited character. For example, if a part of the voice corresponding to the output prohibited character is deleted, the other part of the voice corresponding to the output prohibited character is output, but the part of the voice corresponding to the output prohibited character is deleted. As a result, it becomes difficult to grasp the meaning of the output prohibited characters, and the voice corresponding to the output prohibited characters is not output. The block processing is performed by a method such as deleting a part or all of the voice corresponding to the output prohibition wording, or replacing a part or all of the voice corresponding to the output prohibition wording with a substitute sound. Further, the block process may include a process of processing a part or all of the voice corresponding to the output prohibited character. In the present disclosure, the voice corresponding to the output prohibition wording may be optionally combined with a deletion process, a process of replacing with a substitute sound, a processing process, and other processes as a block process.

また、コントローラ10は、オペレータの発話に対応する音声の出力を制限した旨の通知を出力する処理を実現できる。コントローラ10は、オペレータの発話に対応する音声の出力を制限した旨の通知を記述した吹き出し画像をタッチスクリーンディスプレイ2に表示させる処理を実行する。コントローラ10は、オペレータの発話に対応する音声の出力を制限した旨の通知を記述した吹き出し画像をタッチスクリーンディスプレイ2に表示する代わりに、その旨の音声をスピーカ11から出力してもよい。 Further, the controller 10 can realize a process of outputting a notification to the effect that the output of the voice corresponding to the utterance of the operator is restricted. The controller 10 executes a process of displaying a balloon image describing a notification that the output of the voice corresponding to the operator's utterance is restricted on the touch screen display 2. Instead of displaying the balloon image describing the notification that the output of the voice corresponding to the operator's utterance is restricted on the touch screen display 2, the controller 10 may output the voice to that effect from the speaker 11.

カメラ12は、スマートフォン1のフロントフェイスに面している物体を撮像するインカメラである。カメラ13は、スマートフォン1のバックフェイスに面している物体を撮像するアウトカメラである。カメラ12は、たとえば映像通話中、スマートフォン1のユーザU1の姿を撮像するためにも用いられる。 The camera 12 is an in-camera that captures an object facing the front face of the smartphone 1. The camera 13 is an out-camera that captures an object facing the back face of the smartphone 1. The camera 12 is also used, for example, to capture the image of the user U1 of the smartphone 1 during a video call.

コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、MHL(Mobile High-difinition Link)、ライトピーク(Light Peak)、サンダーボルト(登録商標)(Thunderbolt)、LANコネクタ(Local Area Network connector)、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用に設計された端子でもよい。コネクタ14に接続される装置は、例えば、飛行体、充電器、外部ストレージ、通信装置、及び情報処理装置を含むが、これらに限定されない。 The connector 14 is a terminal to which another device is connected. The connector 14 includes USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), MHL (Mobile High-definition Link), Light Peak (Light Peak) trademark, Thunderbolt (Light Peak) It may be a general-purpose terminal such as a LAN connector (Local Area Network connector) or an earphone / microphone connector. The connector 14 may be a specially designed terminal such as a Dock connector. Devices connected to the connector 14 include, but are not limited to, for example, flying objects, chargers, external storage, communication devices, and information processing devices.

加速度センサ15は、スマートフォン1に働く加速度の方向および大きさを検出する。加速度センサ15の検出結果は、スマートフォン1のユーザの歩数を検出するために利用することもできる。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、スマートフォン1の角度および角速度を検出する。加速度センサ15、方位センサ16およびジャイロスコープ17の検出結果は、スマートフォン1の位置および姿勢の変化を検出するために、組み合わせて利用される。GPSレシーバ18は、スマートフォン1の位置を検出する。 The acceleration sensor 15 detects the direction and magnitude of the acceleration acting on the smartphone 1. The detection result of the acceleration sensor 15 can also be used to detect the number of steps of the user of the smartphone 1. The azimuth sensor 16 detects the direction of the geomagnetism. The gyroscope 17 detects the angle and the angular velocity of the smartphone 1. The detection results of the accelerometer 15, the azimuth sensor 16 and the gyroscope 17 are used in combination to detect changes in the position and posture of the smartphone 1. The GPS receiver 18 detects the position of the smartphone 1.

図4に示すスマートフォン1の構成は一例であり、本発明の要旨を損なわない範囲において適宜変更してよい。図4に例示するスマートフォン1は、カメラ12およびカメラ13を備えるが、たとえばインカメラ及びアウトカメラを切り換え可能な1つのカメラを備えてもよい。図4に例示するスマートフォン1は、スマートフォン1の位置および姿勢を検出するために4種類のセンサを備えるが、これらのうちいくつかのセンサを備えなくてもよい。あるいは、スマートフォン1は、スマートフォン1の位置および姿勢の少なくとも1つを検出するための他の種類のセンサを備えてもよい。 The configuration of the smartphone 1 shown in FIG. 4 is an example, and may be appropriately changed as long as the gist of the present invention is not impaired. The smartphone 1 illustrated in FIG. 4 includes a camera 12 and a camera 13, but may include, for example, one camera capable of switching between an in-camera and an out-camera. The smartphone 1 illustrated in FIG. 4 includes four types of sensors for detecting the position and posture of the smartphone 1, but some of these sensors may not be provided. Alternatively, the smartphone 1 may include other types of sensors for detecting at least one of the positions and orientations of the smartphone 1.

図8を参照しつつ、実施形態に係る情報処理装置の構成を説明する。図8は、実施形態に係る情報処理装置の構成例を示すブロック図である。図8に示すように、情報処理装置100は、たとえばパーソナルコンピュータ等であり、入力部101と、出力部102と、通信部103と、記憶部104と、制御部105とを有する。 The configuration of the information processing apparatus according to the embodiment will be described with reference to FIG. FIG. 8 is a block diagram showing a configuration example of the information processing apparatus according to the embodiment. As shown in FIG. 8, the information processing apparatus 100 is, for example, a personal computer or the like, and has an input unit 101, an output unit 102, a communication unit 103, a storage unit 104, and a control unit 105.

入力部101は、各種データを入力する。入力部101は、マイク111及びカメラ112を有する。マイク111は、たとえば情報処理装置100を操作するオペレータの音声等を音信号へ変換して制御部105へ送信する。カメラ112は、たとえば情報処理装置100(後述するディスプレイ122)に面するオペレータの姿を撮像する。この入力部101は、オペレータの入力データが入力される入力部としてもよい。 The input unit 101 inputs various data. The input unit 101 has a microphone 111 and a camera 112. The microphone 111 converts, for example, the voice of an operator who operates the information processing apparatus 100 into a sound signal and transmits it to the control unit 105. The camera 112 captures, for example, an image of an operator facing the information processing apparatus 100 (display 122 described later). The input unit 101 may be an input unit into which the input data of the operator is input.

出力部102は、各種データを出力する。出力部102は、スピーカ121及びディスプレイ122を有する。スピーカ121は、制御部105から送信される音信号を音として出力する。ディスプレイ122は、制御部105から送信される映像信号に基づく画像を出力する。 The output unit 102 outputs various data. The output unit 102 has a speaker 121 and a display 122. The speaker 121 outputs a sound signal transmitted from the control unit 105 as sound. The display 122 outputs an image based on the video signal transmitted from the control unit 105.

通信部103は、通信ネットワーク30に接続された装置との間で各種情報のやり取りを行うためのNIC(Network Interface Card)等のインターフェイスである。通信部103は、スマートフォン1との映像通話を行うための各種プロトコルをサポートする。制御部105は、通信部103を介して、スマートフォン1及び情報管理装置200などとの間でデータ通信を行って、各種の情報を送受信する。 The communication unit 103 is an interface such as a NIC (Network Interface Card) for exchanging various information with a device connected to the communication network 30. The communication unit 103 supports various protocols for making a video call with the smartphone 1. The control unit 105 performs data communication with the smartphone 1 and the information management device 200 via the communication unit 103, and transmits / receives various information.

記憶部104は、計測値格納部141と、食事情報格納部142と、健康診断結果格納部143と、属性情報格納部144とを備える。記憶部104は、たとえばRAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。この記憶部104は、オペレータの属性に応じて異なる情報であって、オペレータの属性に対応付けて、出力を禁止する文言を規定した出力禁止文言情報を記憶する記憶部としてもよい。 The storage unit 104 includes a measurement value storage unit 141, a meal information storage unit 142, a health diagnosis result storage unit 143, and an attribute information storage unit 144. The storage unit 104 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. The storage unit 104 may be a storage unit that stores output-prohibited wording information that defines information that prohibits output in association with the operator's attribute, which is different information according to the operator's attribute.

計測値格納部141は、スマートフォン1のユーザに関する各種の計測値の情報を記憶する。図9は、計測値格納部141に記憶される計測値の概要を説明する図である。図9に示すように、計測値は、スマートフォン1のユーザに一意に割り当てられるユーザIDに対応付けられる。計測値は、計測が行われた日付、スマートフォン1のユーザの体重、体脂肪率、脈拍などの計測値、歩数などの活動量などを含む。計測値格納部141に記憶される計測値は、制御部105により情報管理装置200から定期的に取得される。なお、計測値格納部141に記憶される計測値は、制御部105により情報管理装置200から必要なときに取得するとしてもよい。 The measured value storage unit 141 stores information on various measured values related to the user of the smartphone 1. FIG. 9 is a diagram illustrating an outline of the measured values stored in the measured value storage unit 141. As shown in FIG. 9, the measured value is associated with a user ID uniquely assigned to the user of the smartphone 1. The measured value includes the date when the measurement was performed, the weight of the user of the smartphone 1, the measured value such as the body fat percentage, the pulse, the amount of activity such as the number of steps, and the like. The measured values stored in the measured value storage unit 141 are periodically acquired from the information management device 200 by the control unit 105. The measured value stored in the measured value storage unit 141 may be acquired from the information management device 200 by the control unit 105 when necessary.

食事情報格納部142は、スマートフォン1のユーザの食事内容に関する情報を記憶する。図10は、食事情報格納部142に記憶される食事内容に関する情報の概要を説明する図である。食事内容に関する情報は、スマートフォン1のユーザに一意に割り当てられるユーザIDに対応付けられる。食事内容に関する情報は、食事の日付、朝食、昼食並びに夕食の食事の内容、及び備考を含む。備考は、間食をした場合など、スマートフォン1のユーザが食事に関連して申告すべき情報がある場合に利用される。食事の内容については、スマートフォン1のユーザが入力するテキストデータにより記録されたものであってもよいし、カメラ13などを用いて撮像した画像データにより記録されたものであってもよい。食事内容に関する情報は、制御部105により情報管理装置200から定期的に取得される。なお、食事内容に関する情報は、制御部105により情報管理装置200から必要なときに取得されるとしてもよい。 The meal information storage unit 142 stores information regarding the meal contents of the user of the smartphone 1. FIG. 10 is a diagram illustrating an outline of information regarding meal contents stored in the meal information storage unit 142. The information about the meal content is associated with the user ID uniquely assigned to the user of the smartphone 1. Information about meal content includes meal dates, breakfast, lunch and dinner meal content, and remarks. The remarks are used when the user of the smartphone 1 has information to be declared in relation to the meal, such as when having a snack. The contents of the meal may be recorded by text data input by the user of the smartphone 1, or may be recorded by image data captured by a camera 13 or the like. Information on the contents of meals is periodically acquired from the information management device 200 by the control unit 105. Information on the contents of meals may be acquired from the information management device 200 by the control unit 105 when necessary.

健康診断結果格納部143は、スマートフォン1のユーザの健康診断結果に関する情報を記憶する。図11は、健康診断結果格納部143に記憶される健康診断結果に関する情報の概要を説明する図である。健康診断結果に関する情報は、スマートフォン1のユーザに一意に割り当てられるユーザIDに対応付けられる。健康診断結果に関する情報は、スキャニングにより所定のデータ形式に変換された文書データであってもよいし、カメラ13などを用いて撮像された画像データであってもよい。健康診断結果に関する情報は、制御部105により情報管理装置200から定期的に取得される。なお、健康診断結果に関する情報は、制御部105により情報管理装置200から必要なときに取得されるとしてもよい。 The health diagnosis result storage unit 143 stores information regarding the health diagnosis result of the user of the smartphone 1. FIG. 11 is a diagram illustrating an outline of information regarding a health diagnosis result stored in the health diagnosis result storage unit 143. The information regarding the health diagnosis result is associated with the user ID uniquely assigned to the user of the smartphone 1. The information regarding the health diagnosis result may be document data converted into a predetermined data format by scanning, or may be image data captured by a camera 13 or the like. Information on the health diagnosis result is periodically acquired from the information management device 200 by the control unit 105. Information on the health diagnosis result may be acquired from the information management device 200 by the control unit 105 when necessary.

属性情報格納部144は、情報処理装置100を操作するオペレータの属性に応じて一意に割り当てられる情報を記憶する。図12は、実施形態に係る属性情報の一例を示す図である。図12に示すように、属性情報は、オペレータに一意に割り当てられるオペレータIDに対応付けて、オペレータの属性に応じて一意に割り当てられる属性IDを記憶する。 The attribute information storage unit 144 stores information uniquely assigned according to the attributes of the operator who operates the information processing apparatus 100. FIG. 12 is a diagram showing an example of attribute information according to the embodiment. As shown in FIG. 12, the attribute information stores the attribute ID uniquely assigned according to the attribute of the operator in association with the operator ID uniquely assigned to the operator.

また、記憶部104は、映像通話中にスマートフォン1に表示させる仮想的なキャラクター(アバター)、及び映像通話中にスマートフォン1から出力される音声の声色などを設定するためのデータを記憶できる。仮想的なキャラクター(アバター)は、オペレータに対応するキャラクターであるが、その形式は、人型、ロボット型、動物型その他任意のキャラクターでよく、特に限定されるものではない。また、仮想的なキャラクター(アバター)は、オペレータに似ているとしてもよいし、似ていないとしてもよい。 Further, the storage unit 104 can store data for setting a virtual character (avatar) to be displayed on the smartphone 1 during a video call, a voice color of a voice output from the smartphone 1 during a video call, and the like. The virtual character (avatar) is a character corresponding to the operator, but the format may be a human type, a robot type, an animal type, or any other character, and is not particularly limited. Further, the virtual character (avatar) may or may not resemble the operator.

制御部105は、たとえばCPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部105は、たとえばASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。 The control unit 105 is realized by executing various programs stored in the storage device inside the information processing device 100 using the RAM as a work area by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). To. Further, the control unit 105 is realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

制御部105は、スマートフォン1のユーザが記録した計測値、食事内容に関する情報、並びに健康診断結果に関する情報を情報管理装置200から取得し、記憶部104に記憶させる。制御部105は、記憶部104に記憶させた計測値、食事内容に関する情報、健康診断結果に関する情報が最新の状態となるように、情報管理装置200から定期的に取得して更新する。 The control unit 105 acquires the measured value recorded by the user of the smartphone 1, the information on the meal content, and the information on the health diagnosis result from the information management device 200, and stores it in the storage unit 104. The control unit 105 periodically acquires and updates from the information management device 200 so that the measured values stored in the storage unit 104, the information on the meal contents, and the information on the health diagnosis result are up to date.

制御部105は、スマートフォン1との間で、健康管理に関するアドバイスを提供するための映像通話を実行する。制御部105は、映像通話中にスマートフォン1に表示させる仮想的なキャラクター(アバター)、及び映像通話中にスマートフォン1から出力される音声の声色などの設定画面を表示してオペレータに提供する。制御部105は、カメラ112により撮影されるオペレータの画像に基づいて、オペレータの動作を解析し、オペレータの動作に連動するアバターを表示させる。なお、制御部105は、予め定められる設定に基づいて、オペレータの動作とは無関係に動作するアバターを表示させてもよい。制御部105は、スマートフォン1との間で健康管理に関するアドバイスを提供するための映像通話中、スマートフォン1のユーザの健康管理情報をディスプレイ122に表示してオペレータに提供する。制御部105は、記憶部104に記憶される出力禁止文言情報に基づいて、入力データに出力禁止文言が含まれるかを判定する制御部としてもよい。制御部105は、判定の結果、入力データに出力禁止文言が含まれる場合、当該出力禁止文言を出力しないように制御するとしてもよい。 The control unit 105 executes a video call with the smartphone 1 to provide advice on health management. The control unit 105 displays a setting screen such as a virtual character (avatar) to be displayed on the smartphone 1 during a video call and a voice color of a voice output from the smartphone 1 during a video call and provides the operator. The control unit 105 analyzes the operation of the operator based on the image of the operator taken by the camera 112, and displays an avatar linked to the operation of the operator. The control unit 105 may display an avatar that operates independently of the operator's operation based on a predetermined setting. The control unit 105 displays the health management information of the user of the smartphone 1 on the display 122 and provides it to the operator during a video call for providing advice on health management with the smartphone 1. The control unit 105 may be a control unit that determines whether or not the input data includes the output prohibition wording based on the output prohibition wording information stored in the storage unit 104. If the input data includes the output prohibition wording as a result of the determination, the control unit 105 may control so as not to output the output prohibition wording.

図13を参照しつつ、実施形態に係る情報管理装置200の構成を説明する。図13は、実施形態に係る情報管理装置の構成例を示すブロック図である。情報管理装置200は、たとえばストレージサーバやクラウドサーバであり、図13に示すように、通信部201と、記憶部202と、制御部203とを有する。 The configuration of the information management device 200 according to the embodiment will be described with reference to FIG. FIG. 13 is a block diagram showing a configuration example of the information management device according to the embodiment. The information management device 200 is, for example, a storage server or a cloud server, and has a communication unit 201, a storage unit 202, and a control unit 203, as shown in FIG.

通信部201は、通信ネットワーク30に接続された装置との間で各種情報のやり取りを行うためのNIC(Network Interface Card)等のインターフェイスである。制御部203は、通信部201を介して、スマートフォン1及び情報処理装置100などとの間でデータ通信を行って各種の情報を送受信する。 The communication unit 201 is an interface such as a NIC (Network Interface Card) for exchanging various information with a device connected to the communication network 30. The control unit 203 performs data communication with the smartphone 1 and the information processing device 100 via the communication unit 201 to transmit and receive various information.

記憶部202は、計測値格納部221と、食事情報格納部222と、健康診断結果格納部223とを備える。記憶部202は、プログラムおよびデータを記憶するストレージなどを含む。記憶部202は、コントローラ302の処理結果を一時的に記憶する作業領域としても利用される。 The storage unit 202 includes a measurement value storage unit 221, a meal information storage unit 222, and a health diagnosis result storage unit 223. The storage unit 202 includes storage for storing programs and data. The storage unit 202 is also used as a work area for temporarily storing the processing result of the controller 302.

計測値格納部221は、スマートフォン1のユーザに関する各種の計測値の情報を記憶する。図14は、計測値格納部221に記憶される計測値の概要を説明する図である。図14に示すように、計測値格納部221に記憶される計測値は、ユーザID、タイムスタンプ、および種別といった項目と、計測値とその種別を示す名称とが対応付けて格納される複数の項目とを有する。ユーザIDの項目には、スマートフォン1のユーザを識別するための識別子が格納される。タイムスタンプの項目には、計測値が読み取られた日時、計測値が送信された日時、または計測値が受信された日時が格納される。種別の項目には、計測値が読み取られた健康測定器の種別を示す値が格納される。計測値は、複数の種類の計測値が時系列に格納できるように構成される。このため、情報処理装置100のオペレータは、複数の種類の計測値の経時的な変化に基づいて、健康に関する的確なアドバイスを行うことができる。 The measured value storage unit 221 stores information on various measured values related to the user of the smartphone 1. FIG. 14 is a diagram illustrating an outline of the measured values stored in the measured value storage unit 221. As shown in FIG. 14, the measured values stored in the measured value storage unit 221 include a plurality of items such as a user ID, a time stamp, and a type, and a plurality of measured values and a name indicating the type are stored in association with each other. Has items and. In the user ID item, an identifier for identifying the user of the smartphone 1 is stored. The time stamp item stores the date and time when the measured value was read, the date and time when the measured value was transmitted, or the date and time when the measured value was received. In the type item, a value indicating the type of the health measuring instrument from which the measured value is read is stored. The measured value is configured so that a plurality of types of measured values can be stored in a time series. Therefore, the operator of the information processing apparatus 100 can give accurate advice on health based on changes over time of a plurality of types of measured values.

食事情報格納部222は、スマートフォン1のユーザの食事内容に関する情報を記憶する。図15は、食事情報格納部222に記憶される食事内容に関する情報の概要を説明する図である。図15に示すように、食事内容に関する情報は、スマートフォン1のユーザに一意に割り当てられるユーザIDに対応付けられる。食事内容に関する情報は、食事の日付、朝食、昼食並びに夕食の食事の内容、及び備考を含む。備考は、間食をした場合など、スマートフォン1のユーザが食事に関連して申告すべき情報がある場合に利用される。食事の内容については、スマートフォン1のユーザが入力するテキストデータにより記録されたものであってもよいし、カメラ13などを用いて撮像した画像データにより記録されたものであってもよい。 The meal information storage unit 222 stores information regarding the meal contents of the user of the smartphone 1. FIG. 15 is a diagram illustrating an outline of information regarding meal contents stored in the meal information storage unit 222. As shown in FIG. 15, the information regarding the meal content is associated with the user ID uniquely assigned to the user of the smartphone 1. Information about meal content includes meal dates, breakfast, lunch and dinner meal content, and remarks. The remarks are used when the user of the smartphone 1 has information to be declared in relation to the meal, such as when having a snack. The contents of the meal may be recorded by text data input by the user of the smartphone 1, or may be recorded by image data captured by a camera 13 or the like.

健康診断結果格納部223は、スマートフォン1のユーザの健康診断結果に関する情報を記憶する。図16は、健康診断結果格納部223に記憶される健康診断結果に関する情報の概要を説明する図である。図16に示すように、健康診断結果に関する情報は、スマートフォン1のユーザに一意に割り当てられるユーザIDに対応付けられる。健康診断結果に関する情報は、スキャニングにより所定のデータ形式に変換された文書ファイルであってもよいし、カメラ13などを用いて撮像された画像データであってもよい。 The health diagnosis result storage unit 223 stores information on the health diagnosis result of the user of the smartphone 1. FIG. 16 is a diagram illustrating an outline of information regarding a health diagnosis result stored in the health diagnosis result storage unit 223. As shown in FIG. 16, the information regarding the health diagnosis result is associated with the user ID uniquely assigned to the user of the smartphone 1. The information regarding the health diagnosis result may be a document file converted into a predetermined data format by scanning, or may be image data captured by a camera 13 or the like.

制御部203は、CPU(Central Processing Unit)等の演算処理装置である。制御部203は、情報管理装置200の動作を統括的に制御して各種の機能を実現する。具体的には、制御部203は、記憶部202に記憶されているデータを必要に応じて参照しつつ、記憶部202に記憶されているプログラムに含まれる命令を実行する。そして、制御部203は、データおよび命令に応じて各種の情報処理を実行する。 The control unit 203 is an arithmetic processing unit such as a CPU (Central Processing Unit). The control unit 203 comprehensively controls the operation of the information management device 200 to realize various functions. Specifically, the control unit 203 executes an instruction included in the program stored in the storage unit 202 while referring to the data stored in the storage unit 202 as necessary. Then, the control unit 203 executes various information processing according to the data and the instruction.

制御部203は、スマートフォン1から送信された計測値を、スマートフォン1のユーザのユーザIDおよびタイムスタンプと対応付けて記憶部202に記憶させる。制御部203は、スマートフォン1から送信された食事内容に関する情報を、スマートフォン1のユーザのユーザIDに対応付けて記憶部202に記憶させる。制御部203は、スマートフォン1から送信された健康診断結果に関する情報を、スマートフォン1のユーザのユーザIDに対応付けて記憶部202に記憶させる。 The control unit 203 stores the measured value transmitted from the smartphone 1 in the storage unit 202 in association with the user ID and the time stamp of the user of the smartphone 1. The control unit 203 stores information about the meal content transmitted from the smartphone 1 in the storage unit 202 in association with the user ID of the user of the smartphone 1. The control unit 203 stores the information regarding the health diagnosis result transmitted from the smartphone 1 in the storage unit 202 in association with the user ID of the user of the smartphone 1.

制御部203は、情報処理装置100からの要求に応じて、計測値格納部221に記憶される計測値と、食事情報格納部222に記憶される食事内容に関する情報と、健康診断結果格納部223に記憶される健康診断結果に関する情報とを情報処理装置100に送信する。 In response to a request from the information processing device 100, the control unit 203 includes measured values stored in the measured value storage unit 221, information on meal contents stored in the meal information storage unit 222, and a health diagnosis result storage unit 223. Information about the health examination result stored in the information processing apparatus 100 is transmitted to the information processing apparatus 100.

図17を参照しつつ、実施形態に係るスマートフォン1と情報処理装置100との間の処理について説明する。図17は、実施形態に係るスマートフォン1と情報処理装置100との間の処理の一例を示すシーケンス図である。 The process between the smartphone 1 and the information processing apparatus 100 according to the embodiment will be described with reference to FIG. FIG. 17 is a sequence diagram showing an example of processing between the smartphone 1 and the information processing apparatus 100 according to the embodiment.

図17に示すように、スマートフォン1は、ユーザの操作に応じて健康管理アプリケーション9Dを起動し、健康管理処理を実行する(ステップS101)。健康管理処理は、健康管理アプリケーション9Dにより提供される各種機能に基づく処理を含む。 As shown in FIG. 17, the smartphone 1 activates the health management application 9D in response to the user's operation and executes the health management process (step S101). The health management process includes processing based on various functions provided by the health management application 9D.

スマートフォン1は、ユーザによる映像通話開始要求を検出すると、映像通話開始要求を情報処理装置100に送信する(ステップS102)。 When the smartphone 1 detects the video call start request by the user, the smartphone 1 transmits the video call start request to the information processing apparatus 100 (step S102).

情報処理装置100は、スマートフォン1から映像通話開始要求を受信すると、映像通話応答処理を実行する(ステップS103)。 When the information processing apparatus 100 receives the video call start request from the smartphone 1, the information processing apparatus 100 executes the video call answering process (step S103).

情報処理装置100は、映像通話受付応答をスマートフォン1に送信し(ステップS104)、映像通話処理を実行する(ステップS105)。 The information processing apparatus 100 transmits a video call reception response to the smartphone 1 (step S104), and executes a video call process (step S105).

スマートフォン1は、情報処理装置100から映像通話受付応答を受信すると、映像通話処理を実行する(ステップS106)。以後、スマートフォン1と情報処理装置100との間で映像通話が開始される。スマートフォン1と情報処理装置100との間で実行される映像通話は、たとえばVoIP(Voice over Internet Protocol)技術やVoLTE(Voice over LTE)を用いたデータ通信により実現できる。 Upon receiving the video call reception response from the information processing device 100, the smartphone 1 executes the video call process (step S106). After that, a video call is started between the smartphone 1 and the information processing device 100. A video call executed between the smartphone 1 and the information processing device 100 can be realized by, for example, data communication using VoIP (Voice over Internet Protocol) technology or VoIP (Voice over LTE).

図18を参照しつつ、情報処理装置100の映像通話応答処理について説明する。図18は、実施形態に係る情報処理装置100による映像通話応答処理の一例を示すフローチャートである。 The video call answering process of the information processing apparatus 100 will be described with reference to FIG. FIG. 18 is a flowchart showing an example of video call response processing by the information processing apparatus 100 according to the embodiment.

図18に示すように、制御部105は、映像通話開始要求を受信すると、映像通話開始要求の受信をオペレータに通知する(ステップS201)。 As shown in FIG. 18, when the control unit 105 receives the video call start request, the control unit 105 notifies the operator of the reception of the video call start request (step S201).

続いて、制御部105は、記憶部104に記憶されているデータに基づいてアバター設定処理を実行して(ステップS202)、映像通話開始を待機する(ステップS203)。 Subsequently, the control unit 105 executes the avatar setting process based on the data stored in the storage unit 104 (step S202), and waits for the start of the video call (step S203).

続いて、制御部105は、映像通話開始要求に対する応答操作が検出されたかを判定する(ステップS204)。制御部105は、判定の結果、映像通話開始要求に対する応答操作が検出された場合(ステップS204,Yes)、図18に示す処理を終了する。これとは反対に、制御部105は、判定の結果、映像通話開始要求に対する応答操作が検出さない場合(ステップS204,No)、ステップS203に戻り、映像通話開始を待機する。 Subsequently, the control unit 105 determines whether or not a response operation to the video call start request has been detected (step S204). When the response operation to the video call start request is detected as a result of the determination (step S204, Yes), the control unit 105 ends the process shown in FIG. On the contrary, if the response operation to the video call start request is not detected as a result of the determination (step S204, No), the control unit 105 returns to step S203 and waits for the start of the video call.

図19を参照しつつ、スマートフォン1による映像通話中の処理について説明する。図19は、実施形態に係るスマートフォン1による映像通話中の処理の一例を示すフローチャートである。 With reference to FIG. 19, processing during a video call by the smartphone 1 will be described. FIG. 19 is a flowchart showing an example of processing during a video call by the smartphone 1 according to the embodiment.

図19に示すように、コントローラ10は、音声データが取得されたかを判定する(ステップS301)。 As shown in FIG. 19, the controller 10 determines whether the voice data has been acquired (step S301).

コントローラ10は、判定の結果、オペレータの発話に対応する音声データを取得した場合(ステップS301,Yes)、オペレータの発話内容を認識する(ステップS302)。 When the controller 10 acquires the voice data corresponding to the operator's utterance as a result of the determination (step S301, Yes), the controller 10 recognizes the operator's utterance content (step S302).

続いて、コントローラ10は、オペレータの属性IDに対応する出力禁止文言を取得する(ステップS303)。 Subsequently, the controller 10 acquires the output prohibition wording corresponding to the attribute ID of the operator (step S303).

続いて、コントローラ10は、オペレータの属性IDに対応する出力禁止文言に基づいて、オペレータの発話の内容に出力禁止文言が含まれるかを判定する(ステップS304)。 Subsequently, the controller 10 determines whether the content of the operator's utterance includes the output prohibition wording based on the output prohibition wording corresponding to the attribute ID of the operator (step S304).

コントローラ10は、判定の結果、オペレータの発話の内容に出力禁止文言が含まれる場合(ステップS304,Yes)、出力禁止文言のブロック処理を実行する(ステップS305)。ブロック処理により、オペレータの発話の内容のうち、出力禁止文字に対応する音声は出力されず、出力禁止文言に対応しない残りの音声がスピーカ11などから出力される。ここで、本開示において、出力禁止文字に対応する音声が出力されないとは、出力禁止文字の意味が把握困難になる処理をいう。たとえば、出力禁止文字に対応する音声の一部が削除された場合、出力禁止文字に対応する音声の他の一部は出力されるが、出力禁止文字に対応する音声の一部が削除されたことにより、出力禁止文字の意味が把握困難になり、出力禁止文字に対応する音声が出力されないこととなる。ブロック処理は、出力禁止文言に対応する音声の一部若しくは全部を削除する、あるいは出力禁止文言に対応する音声の一部若しくは全部を代替音に差し替えるなどの方法によって行われる。また、ブロック処理は、出力禁止文字に対応する音声の一部若しくは全部を加工する処理を含むとしても良い。本開示では、出力禁止文言に対応する音声に対して、削除処理、代替音に差し替える処理及び加工処理その他の処理を任意に組み合わせてブロック処理としてもよい。 As a result of the determination, when the content of the operator's utterance includes the output prohibition wording (step S304, Yes), the controller 10 executes the block processing of the output prohibition wording (step S305). By the block processing, the voice corresponding to the output prohibited character is not output from the contents of the operator's utterance, and the remaining voice corresponding to the output prohibited word is output from the speaker 11 or the like. Here, in the present disclosure, the fact that the voice corresponding to the output prohibited character is not output means a process in which it becomes difficult to grasp the meaning of the output prohibited character. For example, if a part of the voice corresponding to the output prohibited character is deleted, the other part of the voice corresponding to the output prohibited character is output, but the part of the voice corresponding to the output prohibited character is deleted. As a result, it becomes difficult to grasp the meaning of the output prohibited characters, and the voice corresponding to the output prohibited characters is not output. The block processing is performed by a method such as deleting a part or all of the voice corresponding to the output prohibition wording, or replacing a part or all of the voice corresponding to the output prohibition wording with a substitute sound. Further, the block process may include a process of processing a part or all of the voice corresponding to the output prohibited character. In the present disclosure, the voice corresponding to the output prohibition wording may be optionally combined with a deletion process, a process of replacing with a substitute sound, a processing process, and other processes as a block process.

続いて、コントローラ10は、通話が終了したかを判定する(ステップS306)。コントローラ10は、判定の結果、通話が終了していない場合(ステップS306,No)、上記ステップS301の処理手順に戻る。 Subsequently, the controller 10 determines whether or not the call has ended (step S306). If the result of the determination is that the call has not ended (steps S306, No), the controller 10 returns to the processing procedure of step S301.

一方、コントローラ10は、判定の結果、通話が終了した場合(ステップS306,Yes)、図19に示す処理を終了する。 On the other hand, when the call ends as a result of the determination (steps S306, Yes), the controller 10 ends the process shown in FIG.

上記ステップS304において、コントローラ10は、判定の結果、オペレータの発話の内容に出力禁止文言が含まれない場合(ステップS304,No)、オペレータの発話に対応する音声のブロック処理を実行することなく、そのまま出力して(ステップS307)、上記ステップS306の判定に移る。上記ステップS301において、コントローラ10は、判定の結果、音声データが取得されていない場合(ステップS301,No)、上記ステップS306の判定に移る。 In step S304, when the result of the determination is that the content of the operator's utterance does not include the output prohibition wording (steps S304, No), the controller 10 does not execute the voice block processing corresponding to the operator's utterance. It is output as it is (step S307), and the process proceeds to the determination in step S306. In step S301, when the voice data is not acquired as a result of the determination (steps S301, No), the controller 10 moves to the determination in step S306.

上述してきたように、実施形態に係るスマートフォン1は、オペレータの属性に対応付けて、レシーバ7やスピーカ11からの出力を禁止する文言を規定した出力禁止文言情報9Xに基づいて、発話の内容に出力禁止文言が含まれるかを判定する。そして、実施形態に係るスマートフォン1は、発話の内容に出力禁止文言が含まれる場合、当該出力禁止文言をレシーバ7やスピーカ11などから出力しないように制御するブロック処理を実行する。これにより、実施形態に係るスマートフォン1は、医行為に関するアドバイスは、医師の資格を有する者に限定するなど、適切な資格を備えない者により行われた健康管理に関するアドバイスが提供されることを防止できる。 As described above, the smartphone 1 according to the embodiment has the content of the utterance based on the output prohibition wording information 9X that defines the wording prohibiting the output from the receiver 7 and the speaker 11 in association with the attribute of the operator. Determine if the output prohibition wording is included. Then, when the content of the utterance includes the output prohibition word, the smartphone 1 according to the embodiment executes a block process for controlling the output prohibition word so as not to be output from the receiver 7, the speaker 11, or the like. As a result, the smartphone 1 according to the embodiment prevents the advice on health management given by a person who does not have an appropriate qualification, such as limiting the advice on medical practice to a person who has a doctor's qualification. can.

また、スマートフォン1は、出力禁止文言に対応する音声を削除する。これにより、簡易に出力禁止文言の出力を制御できる。 Further, the smartphone 1 deletes the voice corresponding to the output prohibition wording. This makes it possible to easily control the output of the output prohibition wording.

また、スマートフォン1は、出力禁止文言に対応する音声の一部を代替音に差し替える。これにより、簡易に出力禁止文言の出力を制御できる。 Further, the smartphone 1 replaces a part of the voice corresponding to the output prohibition wording with a substitute sound. This makes it possible to easily control the output of the output prohibition wording.

また、スマートフォン1は、オペレータの発話に対応する音声の出力を制限した旨の通知を出力する。たとえば、オペレータの発話に対応する音声の出力を制限した旨の吹き出し画像NT1(図3)をタッチスクリーンディスプレイ2に表示する。これにより、スマートフォン1のユーザが、映像通話中の音声トラブルあるいは装置の故障などであると誤解することを防止できる。なお、本開示において、情報処理装置100は、オペレータの発話に対応する音声の出力を制限した旨の通知を出力するとしてもよい。この通知は、例えば情報処理装置100が備える出力部102から出力されるとしてよい。オペレータの発話に対応する音声の出力を制限した旨の通知は、スピーカ121から音声で出力されるとしてよい。オペレータの発話に対応する音声の出力を制限した旨の通知は、ディスプレイ122から画像で出力されるとしてよい。オペレータの発話に対応する音声の出力を制限した旨の通知は、音声及び画像の双方で通知されるとしてもよい。これにより、オペレータに対して、自身の発話に対する音声の出力がスマートフォン1において制限されたことを把握させることができる。 Further, the smartphone 1 outputs a notification that the output of the voice corresponding to the utterance of the operator is restricted. For example, a balloon image NT1 (FIG. 3) indicating that the output of voice corresponding to the operator's utterance is restricted is displayed on the touch screen display 2. This makes it possible to prevent the user of the smartphone 1 from misunderstanding that it is a voice trouble or a device failure during a video call. In the present disclosure, the information processing apparatus 100 may output a notification to the effect that the output of the voice corresponding to the utterance of the operator is restricted. This notification may be output from the output unit 102 included in the information processing apparatus 100, for example. The notification that the output of the voice corresponding to the utterance of the operator is restricted may be output from the speaker 121 by voice. The notification that the output of the voice corresponding to the utterance of the operator is restricted may be output as an image from the display 122. The notification that the output of the voice corresponding to the operator's utterance is restricted may be notified by both the voice and the image. As a result, the operator can be made aware that the output of voice for his / her utterance is limited in the smartphone 1.

上述した実施形態では、スマートフォン1が、オペレータの属性に応じて異なる出力禁止文言を記憶する例を説明したが、この例には特に限定される必要はなく、オペレータの属性に応じて、出力を許可する文言を記憶してもよい。 In the above-described embodiment, the example in which the smartphone 1 stores different output prohibition words according to the attribute of the operator has been described, but the example is not particularly limited to this example, and the output is output according to the attribute of the operator. You may memorize the words you allow.

上述した実施形態において、スマートフォン1は、オペレータの発話に対応する音声から出力禁止文言に対応する音声を削除する例、または出力禁止文言を代替音に差し替える例を説明したが、この例には特に限定される必要はなく、オペレータの発話に対応する音声の全てを出力しないように制御してもよい。 In the above-described embodiment, the smartphone 1 has described an example in which the voice corresponding to the output prohibited word is deleted from the voice corresponding to the operator's utterance, or an example in which the output prohibited word is replaced with an alternative sound. It does not have to be limited, and may be controlled so as not to output all the voices corresponding to the operator's utterances.

上述した実施形態において、スマートフォン1と情報処理装置100との間で実行される映像通話は、アバターなどの仮想的なキャラクターを介して実行されるものではなく、現実の映像を介して実行されるものであってもよい。 In the above-described embodiment, the video call executed between the smartphone 1 and the information processing device 100 is not executed via a virtual character such as an avatar, but is executed via a real image. It may be a thing.

実施形態に係るスマートフォン1は、上述してきた実施形態以外にも種々の異なる形態にて実施されてよい。たとえば、上述した実施形態では、スマートフォン1と情報処理装置100との間で実行される健康管理に関する映像通話において、スマートフォン1が、情報処理装置100のオペレータの発話の内容に出力禁止文言が含まれる場合、出力禁止文言に対応する音声が出力されないように制御する例を説明した。上述した実施形態は、スマートフォン1と情報処理装置100との間でメッセージのやり取りを行うチャットなどのコミュニケーションツールを利用中の場合にも同様に適用できる。 The smartphone 1 according to the embodiment may be implemented in various different forms other than the above-described embodiment. For example, in the above-described embodiment, in the video call relating to health management executed between the smartphone 1 and the information processing device 100, the smartphone 1 includes the output prohibition wording in the content of the utterance of the operator of the information processing device 100. In this case, an example of controlling so that the voice corresponding to the output prohibition wording is not output has been explained. The above-described embodiment can be similarly applied to the case where a communication tool such as a chat for exchanging messages between the smartphone 1 and the information processing device 100 is being used.

図20は、他の実施形態に係る実施形態に係る健康管理システムによる処理の概要を示す図である。図20に示すように、スマートフォン1のユーザU1(ユーザID:U001)は、スマートフォン1を用いて、情報処理装置100のオペレータU2(属性ID:Z002)とチャットを行う。 FIG. 20 is a diagram showing an outline of processing by a health management system according to an embodiment according to another embodiment. As shown in FIG. 20, the user U1 (user ID: U001) of the smartphone 1 chats with the operator U2 (attribute ID: Z002) of the information processing apparatus 100 using the smartphone 1.

ユーザU1は、情報処理装置100のオペレータに対して、健康管理に関するアドバイスを求める。オペレータU2は、ユーザU1の求めに応じて、たとえば計測値格納部141や食事情報格納部142に記憶されているユーザU1の情報を参照しながら、健康管理に関するアドバイスを提供する。このとき、スマートフォン1は、オペレータの属性に対応する出力禁止文言情報9Xに基づいて、オペレータから提供されるアドバイス、すなわちオペレータがチャット画面に入力するメッセージの内容に出力禁止文言が含まれるかを判定する。そして、スマートフォン1は、出力禁止文言が含まれる場合、出力禁止文言が出力されないように制御する。 The user U1 requests the operator of the information processing apparatus 100 for advice on health management. At the request of the user U1, the operator U2 provides advice on health management while referring to the information of the user U1 stored in the measured value storage unit 141 or the meal information storage unit 142, for example. At this time, the smartphone 1 determines whether the advice provided by the operator, that is, the content of the message input by the operator to the chat screen includes the output prohibition wording, based on the output prohibition wording information 9X corresponding to the attribute of the operator. do. Then, the smartphone 1 controls so that the output prohibition word is not output when the output prohibition word is included.

ユーザU1は、オペレータU2に対して、たとえば「薬の飲み方を教えてください。」というメッセージを入力したとする。これに対して、オペレータU2は、たとえば「薬は食後が良いと思います。」というメッセージを入力したとする。情報処理装置100においてオペレータにより入力されたメッセージは「入力データ」の一例である。 It is assumed that the user U1 inputs a message to the operator U2, for example, "Please tell me how to take the medicine." On the other hand, it is assumed that the operator U2 inputs a message such as "I think the medicine is good after eating." The message input by the operator in the information processing apparatus 100 is an example of "input data".

スマートフォン1は、オペレータU2により入力されたメッセージを受信すると、受信したメッセージの内容、すなわち「薬は食後が良いと思います。」というアドバイスに出力禁止文言が含まれるかを判定する。スマートフォン1は、オペレータU2の「薬は食後が良いと思います。」というメッセージの内容に、出力禁止文言として「食後が良い」が含まれていると判定した場合、出力禁止文言である「食後が良い」の部分に対応するメッセージの出力を制限するブロック処理を行う。たとえばスマートフォン1は、オペレータU2のメッセージである「薬は食後が良いと思います。」のうち、出力禁止文言である「食後が良い」の部分を「○×○×○×」という記号K1に置き換えて、タッチスクリーンディスプレイ2のチャット画面上に表示する。また、スマートフォン1は、オペレータU2のメッセージに含まれる文言の一部の出力を制限した旨の吹き出し画像NT2をタッチスクリーンディスプレイ2に表示する。 When the smartphone 1 receives the message input by the operator U2, it determines whether the content of the received message, that is, the advice "I think the medicine is good after eating" includes the output prohibition wording. When the smartphone 1 determines that the content of the message "I think the medicine is good after meals" of the operator U2 includes "good after meals" as the output prohibition wording, the output prohibition wording "after meals". Perform block processing to limit the output of the message corresponding to the "good" part. For example, in the smartphone 1, the part of the message "I think the medicine is good after meals" of the operator U2, which is the output prohibition word "Good after meals", is replaced with the symbol K1 "○ × ○ × ○ ×". Replace it and display it on the chat screen of the touch screen display 2. Further, the smartphone 1 displays a balloon image NT2 indicating that the output of a part of the wording included in the message of the operator U2 is restricted on the touch screen display 2.

これにより、スマートフォン1によれば、映像通話中において取得される音声だけでなく、チャットなどのコミュニケーションツール上でやり取りされるメッセージについても、適切な資格を備えない者により行われた健康管理に関するアドバイスが提供されることを防止できる。 As a result, according to the smartphone 1, not only the voice acquired during a video call but also the messages exchanged on communication tools such as chat are advised on health management given by a person who does not have appropriate qualifications. Can be prevented from being provided.

上述してきた実施形態に係るスマートフォン1の処理、すなわち、オペレータの発話の内容に出力禁止文言が含まれる場合に出力禁止文言に対応する音声が出力されないように制御する処理、並びにオペレータのメッセージの内容に出力禁止文言が含まれる場合に出力禁止文言に対応する音声が出力されないように制御する処理は、情報処理装置100で実行してもよい。この場合、情報処理装置100は、オペレータの発話の内容に出力禁止文言が含まれる場合に出力禁止文言に対応する音声が出力されないように制御する処理を実行するための機能、並びにオペレータのメッセージの内容に出力禁止文言が含まれる場合に出力禁止文言に対応する音声が出力されないように制御する処理を実行するための機能を備える。 The process of the smartphone 1 according to the above-described embodiment, that is, the process of controlling so that the voice corresponding to the output prohibited word is not output when the content of the operator's utterance includes the output prohibited word, and the content of the operator's message. The information processing apparatus 100 may execute a process of controlling so that the voice corresponding to the output prohibition word is not output when the output prohibition word is included in the information processing apparatus 100. In this case, the information processing apparatus 100 has a function for executing a process of controlling so that the voice corresponding to the output prohibition word is not output when the content of the operator's utterance includes the output prohibition word, and the operator's message. It has a function to execute a process to control so that the voice corresponding to the output prohibition word is not output when the content includes the output prohibition word.

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。 In order to fully and clearly disclose the technique according to the attached claims, characteristic embodiments have been described. However, the accompanying claims are not limited to the above embodiments, and all modifications and alternatives that can be created by one of ordinary skill in the art within the scope of the basic matters set forth herein. It should be embodied by possible configurations.

上記開示では、電子機器がスマートフォン1である場合について説明した。本開示の電子機器は、情報処理装置100および情報管理装置200を含むとしてもよい。さらに、本開示に含まれる電子機器は、ゲーム機、音楽プレーヤ、タブレット、PC(Personal Computer)、テレビ、ディスプレイ、カメラ、血圧計、体重計、時計、腕時計、GPS及びナビゲーションシステムなどを含むとしてもよい。 In the above disclosure, the case where the electronic device is the smartphone 1 has been described. The electronic device of the present disclosure may include an information processing device 100 and an information management device 200. Further, the electronic devices included in the present disclosure may include game machines, music players, tablets, PCs (Personal Computers), televisions, displays, cameras, sphygmomanometers, weight scales, watches, watches, GPS, navigation systems, and the like. good.

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能などは論理的に矛盾しないように再配置可能である。複数の機能部等は、1つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。 Although the present disclosure has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications or modifications based on the present disclosure. It should be noted, therefore, that these modifications or modifications are within the scope of this disclosure. For example, the functions included in each functional unit can be rearranged so as not to be logically inconsistent. A plurality of functional units and the like may be combined or divided into one. Each of the above-described embodiments according to the present disclosure is not limited to faithful implementation of each of the embodiments described above, and may be implemented by combining or omitting some of the features as appropriate. .. That is, the contents of the present disclosure may be modified and modified by those skilled in the art based on the present disclosure. Therefore, these modifications and modifications are within the scope of this disclosure. For example, in each embodiment, each functional unit, each means, each step, etc. are added to other embodiments so as not to be logically inconsistent, or each functional unit, each means, each step, etc. of another embodiment, etc. Can be replaced with. Further, in each embodiment, it is possible to combine or divide a plurality of each functional unit, each means, each step, and the like into one. Further, each of the above-described embodiments of the present disclosure is not limited to faithful implementation of each of the embodiments described above, and each of the features may be combined or partially omitted as appropriate. You can also do it.

1 スマートフォン
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B メールアプリケーション
9C ブラウザアプリケーション
9D 健康管理アプリケーション
9X 出力禁止文言情報
9Y 代替音情報
9Z 設定情報
10 コントローラ
11 スピーカ
12,13 カメラ
14 コネクタ
15 加速度センサ
16 方位センサ
17 ジャイロスコープ
18 GPSレシーバ
1 Smartphone 2 Touch screen display 2A Display 2B Touch screen 3 Button 4 Illumination sensor 5 Proximity sensor 6 Communication unit 7 Receiver 8 Microphone 9 Storage 9A Control program 9B Mail application 9C Browser application 9D Health management application 9X Output prohibited Wording information 9Y Alternative sound information 9Z Setting information 10 Controller 11 Speaker 12, 13 Camera 14 Connector 15 Acceleration sensor 16 Direction sensor 17 Gyroscope 18 GPS receiver

Claims (11)

オペレータにより操作される情報処理装置との間でデータ通信する通信部と、
前記データ通信により取得された前記オペレータの入力データを出力する出力部と、
前記オペレータの属性に対応付けて、前記出力部からの出力を禁止する文言を規定した出力禁止文言情報を記憶する記憶部と、
前記出力禁止文言情報に基づいて、前記入力データに前記出力禁止文言が含まれるかを判定する制御部と
を備え、
前記出力禁止文言情報は、前記オペレータの属性に応じて異なる情報であり、
前記制御部は、
判定の結果、前記入力データに前記出力禁止文言が含まれる場合、当該出力禁止文言を前記出力部から出力しないように制御する電子機器。
A communication unit that communicates data with an information processing device operated by an operator,
An output unit that outputs the input data of the operator acquired by the data communication, and
A storage unit that stores output prohibition wording information that defines a wording that prohibits output from the output unit in association with the attribute of the operator.
A control unit for determining whether or not the input data includes the output prohibition wording based on the output prohibition wording information is provided.
The output prohibition wording information is different information depending on the attribute of the operator.
The control unit
As a result of the determination, when the output prohibition word is included in the input data, an electronic device that controls the output prohibition word so as not to be output from the output unit.
前記通信部は、
前記オペレータとの間で実行される映像通話中に前記オペレータにより音声入力された発話に対応する音声データを前記入力データとして受信し、
前記出力部は、
前記音声データに対応する音声を出力し、
前記制御部は、
前記出力禁止文言情報に基づいて、前記発話の内容に前記出力禁止文言が含まれるかを判定し、
判定の結果、前記発話の内容に前記出力禁止文言が含まれる場合、当該出力禁止文言を前記出力部から出力しないように制御する請求項1に記載の電子機器。
The communication unit
The voice data corresponding to the utterance input by the operator during the video call executed with the operator is received as the input data.
The output unit is
The voice corresponding to the voice data is output, and the voice corresponds to the voice data is output.
The control unit
Based on the output prohibition wording information, it is determined whether or not the output prohibition wording is included in the content of the utterance.
The electronic device according to claim 1, wherein when the content of the utterance includes the output prohibition wording as a result of the determination, the output prohibition wording is controlled not to be output from the output unit.
前記制御部は、
判定の結果、前記発話の内容に前記出力禁止文言が含まれる場合、前記オペレータの発話に対応する音声のうち前記出力禁止文言に対応する音声を削除する請求項2に記載の電子機器。
The control unit
The electronic device according to claim 2, wherein when the content of the utterance includes the output prohibited word as a result of the determination, the voice corresponding to the output prohibited word is deleted from the voice corresponding to the operator's utterance.
前記制御部は、
判定の結果、前記発話の内容に前記出力禁止文言が含まれる場合、前記オペレータの発話に対応する音声のうち前記出力禁止文言に対応する音声を代替音に差し替えて前記出力部から出力する請求項2に記載の電子機器。
The control unit
As a result of the determination, when the output prohibited word is included in the content of the utterance, the voice corresponding to the output prohibited word among the voices corresponding to the operator's utterance is replaced with a substitute sound and output from the output unit. The electronic device according to 2.
前記制御部は、
前記出力禁止文言を前記出力部から出力しないように制御する際、前記オペレータの発話に対応する音声の出力を制限した旨の通知を出力する請求項1から4のいずれか1つに記載の電子機器。
The control unit
The electronic according to any one of claims 1 to 4, which outputs a notification that the output of the voice corresponding to the utterance of the operator is restricted when controlling the output prohibition wording so as not to be output from the output unit. machine.
前記通信部は、
前記オペレータとの間で実行されるチャット中に前記オペレータにより入力されるメッセージに対応する文字データを前記入力データとして受信し、
前記出力部は、
前記メッセージに対応する文字データを出力し、
前記制御部は、
前記出力禁止文言情報に基づいて、前記メッセージの内容に前記出力禁止文言が含まれるかを判定し、
判定の結果、前記メッセージの内容に前記出力禁止文言が含まれる場合、当該出力禁止文言を前記出力部から出力しないように制御する請求項1に記載の電子機器。
The communication unit
Character data corresponding to a message input by the operator during a chat executed with the operator is received as the input data.
The output unit is
The character data corresponding to the above message is output, and the character data is output.
The control unit
Based on the output prohibition wording information, it is determined whether or not the output prohibition wording is included in the content of the message.
The electronic device according to claim 1, wherein when the content of the message includes the output prohibition wording as a result of the determination, the output prohibition wording is controlled not to be output from the output unit.
前記制御部は、
判定の結果、前記メッセージの内容に前記出力禁止文言が含まれる場合、前記メッセージの内容のうち、前記出力禁止文言に対応する箇所を代替文字に差し替えて前記出力部から出力する請求項6に記載の電子機器。
The control unit
As a result of the determination, when the output prohibited word is included in the content of the message, the part corresponding to the output prohibited word in the content of the message is replaced with an alternative character and output from the output unit according to claim 6. Electronic equipment.
前記制御部は、
前記メッセージの内容のうち、前記出力禁止文言に対応する箇所の出力を制限した旨の通知を出力する請求項6又は7に記載の電子機器。
The control unit
The electronic device according to claim 6 or 7, which outputs a notification that the output of the portion corresponding to the output prohibition wording is restricted in the content of the message.
通信部と出力部とを備える電子機器が行う制御方法であって、
オペレータにより操作される情報処理装置との間でデータ通信するステップと、
前記データ通信により取得された前記オペレータの入力データを出力するステップと、
前記出力部からの出力を禁止する文言であって、前記オペレータの属性に応じて異なる文言を規定した出力禁止文言情報に基づいて、前記入力データに前記出力禁止文言が含まれるかを判定するステップと、
判定の結果、前記入力データに前記出力禁止文言が含まれる場合、当該出力禁止文言を前記出力部から出力しないように制御するステップと
を含む制御方法。
It is a control method performed by an electronic device having a communication unit and an output unit.
Steps for data communication with an information processing device operated by an operator,
A step of outputting the input data of the operator acquired by the data communication, and
A step of determining whether or not the input data includes the output prohibition wording based on the output prohibition wording information that prohibits the output from the output unit and defines different wording according to the attribute of the operator. When,
A control method including a step of controlling not to output the output prohibition word from the output unit when the input data includes the output prohibition word as a result of the determination.
通信部と出力部とを備える電子機器に、
オペレータにより操作される情報処理装置との間でデータ通信するステップと、
前記データ通信により取得された前記オペレータの入力データを出力するステップと、
前記出力部からの出力を禁止する文言であって、前記オペレータの属性に応じて異なる文言を規定した出力禁止文言情報に基づいて、前記入力データに前記出力禁止文言が含まれるかを判定するステップと、
判定の結果、前記入力データに前記出力禁止文言が含まれる場合、当該出力禁止文言を前記出力部から出力しないように制御するステップと
を実行させる制御プログラム。
For electronic devices equipped with a communication unit and an output unit
Steps for data communication with an information processing device operated by an operator,
A step of outputting the input data of the operator acquired by the data communication, and
A step of determining whether or not the input data includes the output prohibition wording based on the output prohibition wording information that prohibits the output from the output unit and defines different wording according to the attribute of the operator. When,
As a result of the determination, when the output prohibition word is included in the input data, a control program for executing a step of controlling the output prohibition word so as not to be output from the output unit.
オペレータの入力データが入力される入力部と、
前記オペレータの属性に対応付けて、出力を禁止する文言を規定した出力禁止文言情報を記憶する記憶部と、
前記出力禁止文言情報に基づいて、前記入力データに前記出力禁止文言が含まれるかを判定する制御部と
を備え、
前記出力禁止文言情報は、前記オペレータの属性に応じて異なる情報であり、
前記制御部は、
判定の結果、前記入力データに前記出力禁止文言が含まれる場合、当該出力禁止文言を出力しないように制御する電子機器。
The input section where the operator's input data is input, and
A storage unit that stores output-prohibited wording information that defines the wording that prohibits output in association with the operator's attributes.
A control unit for determining whether or not the input data includes the output prohibition wording based on the output prohibition wording information is provided.
The output prohibition wording information is different information depending on the attribute of the operator.
The control unit
As a result of the determination, when the input data includes the output prohibition wording, an electronic device that controls not to output the output prohibition wording.
JP2018190385A 2018-10-05 2018-10-05 Electronic equipment, control methods and control programs Expired - Fee Related JP7072482B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018190385A JP7072482B2 (en) 2018-10-05 2018-10-05 Electronic equipment, control methods and control programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018190385A JP7072482B2 (en) 2018-10-05 2018-10-05 Electronic equipment, control methods and control programs

Publications (2)

Publication Number Publication Date
JP2020061621A JP2020061621A (en) 2020-04-16
JP7072482B2 true JP7072482B2 (en) 2022-05-20

Family

ID=70220465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018190385A Expired - Fee Related JP7072482B2 (en) 2018-10-05 2018-10-05 Electronic equipment, control methods and control programs

Country Status (1)

Country Link
JP (1) JP7072482B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025051678A (en) * 2023-09-22 2025-04-04 ソフトバンクグループ株式会社 system
JP2025051679A (en) * 2023-09-22 2025-04-04 ソフトバンクグループ株式会社 system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041443A (en) 2005-08-05 2007-02-15 Advanced Telecommunication Research Institute International Voice conversion device, voice conversion program, and voice conversion method
JP2010166324A (en) 2009-01-15 2010-07-29 Nec Corp Portable terminal, voice synthesizing method, and program for voice synthesis
JP2011199550A (en) 2010-03-19 2011-10-06 Fujitsu Ltd Call speech processor and call speech controller and method
JP2017072976A (en) 2015-10-07 2017-04-13 エヌ・ティ・ティ・ソフトウェア株式会社 Information processing system, information processing method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598021B1 (en) * 2000-07-13 2003-07-22 Craig R. Shambaugh Method of modifying speech to provide a user selectable dialect

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041443A (en) 2005-08-05 2007-02-15 Advanced Telecommunication Research Institute International Voice conversion device, voice conversion program, and voice conversion method
JP2010166324A (en) 2009-01-15 2010-07-29 Nec Corp Portable terminal, voice synthesizing method, and program for voice synthesis
JP2011199550A (en) 2010-03-19 2011-10-06 Fujitsu Ltd Call speech processor and call speech controller and method
JP2017072976A (en) 2015-10-07 2017-04-13 エヌ・ティ・ティ・ソフトウェア株式会社 Information processing system, information processing method, and program

Also Published As

Publication number Publication date
JP2020061621A (en) 2020-04-16

Similar Documents

Publication Publication Date Title
US12563299B2 (en) User interfaces for camera sharing
CN112136099B (en) Direct input from remote devices
JP6652935B2 (en) Health data aggregator
EP2854003B1 (en) Electronic device and method for converting image format object to text format object
KR102489876B1 (en) Method for providing notification and electronic device thereof
US20190130087A1 (en) Electronic apparatus, control device, and non-transitory computer readable storage medium
EP3731077A1 (en) Method for editing text, and mobile device
KR20170017289A (en) Apparatus and method for tranceiving a content
KR20160065503A (en) Mobile terminal and method for controlling the same
KR20250160229A (en) Health event logging and coaching user interfaces
JP6910300B2 (en) A method for displaying chat history records and a device for displaying chat history records
CN108475165B (en) Electronic device and control method thereof
WO2016045226A1 (en) Information processing method and apparatus
KR102545665B1 (en) Notification display method and apparatus
CN110286980A (en) A schedule creation method and mobile terminal
KR20170052976A (en) Electronic device for performing motion and method for controlling thereof
KR20160009915A (en) Method for processing data and electronic device thereof
US20240080389A1 (en) Crash detection user interface
KR20180005055A (en) Screen display method and apparatus in electronic device
WO2017063478A1 (en) Health index measurement method and apparatus
JP5917999B2 (en) Information providing system, information providing method, and electronic device
CN113873075B (en) Notification message management method and system, mobile terminal and storage medium
KR20150007889A (en) Method for operating application and electronic device thereof
JP7072482B2 (en) Electronic equipment, control methods and control programs
US20240259687A1 (en) Integration of hardware and software tracking user interfaces

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220510

R150 Certificate of patent or registration of utility model

Ref document number: 7072482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees