JP6607668B2 - Network system, audio output method, server, device, and audio output program - Google Patents
Network system, audio output method, server, device, and audio output program Download PDFInfo
- Publication number
- JP6607668B2 JP6607668B2 JP2014204541A JP2014204541A JP6607668B2 JP 6607668 B2 JP6607668 B2 JP 6607668B2 JP 2014204541 A JP2014204541 A JP 2014204541A JP 2014204541 A JP2014204541 A JP 2014204541A JP 6607668 B2 JP6607668 B2 JP 6607668B2
- Authority
- JP
- Japan
- Prior art keywords
- message
- room
- server
- processor
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Selective Calling Equipment (AREA)
Description
本発明は、少なくとも1つの機器にて出力される音声をサーバから制御するための技術に関する。 The present invention relates to a technique for controlling sound output from at least one device from a server.
従来から、冷蔵庫やエアコンなどの家電に音声を出力させるための技術が提案されている。たとえば、特開2005−103679号公報(特許文献1)には、ロボット装置が開示されている。特開2005−103679号公報(特許文献1)によると、ロボット装置のシステムコントローラは、スケジュール管理情報記憶部に記憶されたスケジュール管理情報に従って、ユーザ毎にその行動をサポートするためのスケジュール管理処理を実行する。スケジュール管理情報記憶部には、ユーザ識別情報と、当該ユーザ識別情報で指定されるユーザが実行すべき行動と、当該行動の開始条件とが対応付けて記憶されている。システムコントローラは、開始条件で指定される条件が成立した場合、その成立した開始条件に対応するユーザ識別情報で指定されるユーザに対して、そのユーザの行動をサポートするためのサポート処理を実行する。 Conventionally, techniques for outputting sound to home appliances such as a refrigerator and an air conditioner have been proposed. For example, Japanese Patent Laying-Open No. 2005-103679 (Patent Document 1) discloses a robot apparatus. According to Japanese Patent Laying-Open No. 2005-103679 (Patent Document 1), the system controller of the robot apparatus performs a schedule management process for supporting the behavior for each user according to the schedule management information stored in the schedule management information storage unit. Execute. The schedule management information storage unit stores user identification information, an action to be executed by the user specified by the user identification information, and a start condition for the action in association with each other. When the condition specified by the start condition is satisfied, the system controller performs a support process for supporting the user's action for the user specified by the user identification information corresponding to the satisfied start condition. .
しかしながら、機器がメッセージを出力すべき場合であっても、当該機器の周りに人がいない場合がある。そこで、本発明の目的は、機器がメッセージを出力すべき場合に、当該メッセージが人に届く可能性が高いネットワークシステム、音声出力方法、サーバ、機器、およびプログラムを提供することにある。 However, even if the device should output a message, there may be no people around the device. Therefore, an object of the present invention is to provide a network system, a voice output method, a server, a device, and a program that are highly likely to reach a person when the device should output a message.
この発明のある態様に従うと、人を検知することが可能な第1の機器と、第1の機器と通信可能なサーバとを備えるネットワークシステムが提供される。サーバは、複数の機器と複数の部屋との対応関係を参照可能であって、第1の機器が人を検知したときに、第1の機器が配置されている部屋に配置されている機器にメッセージを音声出力させる。 According to an aspect of the present invention, a network system including a first device capable of detecting a person and a server capable of communicating with the first device is provided. The server can refer to the correspondence relationship between the plurality of devices and the plurality of rooms, and when the first device detects a person, the server is arranged in the device disposed in the room where the first device is disposed. The message is output by voice.
好ましくは、サーバは、第1の機器が配置されている部屋とは異なる部屋に配置されている機器に対応するメッセージを、第1の機器が配置されている部屋に配置されている機器に音声出力させる。 Preferably, the server outputs a message corresponding to a device arranged in a room different from the room where the first device is arranged to the device arranged in the room where the first device is arranged. Output.
好ましくは、対応関係は、メッセージ毎あるいは機器毎に、代読させるか否かを指定するための情報を含む。 Preferably, the correspondence relationship includes information for designating whether or not to read for each message or each device.
好ましくは、対応関係は、メッセージ毎あるいは機器毎に、メッセージの対象としての人物を指定するための情報を含む。 Preferably, the correspondence relationship includes information for designating a person as a message target for each message or each device.
好ましくは、サーバは、スピーカを有さない機器に対応するメッセージを、第1の機器が配置されている部屋に配置されている機器に音声出力させる。 Preferably, the server outputs a message corresponding to a device that does not have a speaker to a device arranged in a room where the first device is arranged.
好ましくは、サーバは、所定の状態にある機器に対応するメッセージを、第1の機器が配置されている部屋に配置されている機器に音声出力させる。 Preferably, the server causes a message corresponding to a device in a predetermined state to be output as a voice to a device placed in a room where the first device is placed.
好ましくは、サーバは、音量が所定値未満の機器に対応するメッセージを、第1の機器が配置されている部屋に配置されている機器に音声出力させる。 Preferably, the server causes a message corresponding to a device whose volume is lower than a predetermined value to be output to a device arranged in a room where the first device is arranged.
好ましくは、第1の機器が配置されている部屋に配置されている機器は、人を検知した第1の機器である。 Preferably, the device arranged in the room where the first device is arranged is the first device that detects a person.
好ましくは、対応関係は、メッセージ毎あるいは機器毎に、他の機器に代読させるべき時間帯を指定するための情報を含む。 Preferably, the correspondence relationship includes information for designating a time zone to be read by another device for each message or device.
好ましくは、対応関係は、メッセージ毎あるいは機器毎に、メッセージに対応する機器に音声出力させるべき時間帯を指定するための情報を含む。 Preferably, the correspondence relationship includes information for designating a time zone in which a device corresponding to the message should be output by voice for each message or for each device.
好ましくは、サーバは、第1の機器が配置されている部屋に配置されている機器に、メッセージともに、メッセージに対応付けられている機器を特定するための情報も音声出力させる。 Preferably, the server causes the device arranged in the room where the first device is arranged to output information for identifying the device associated with the message together with the message.
この発明の別の態様に従うと、第1の機器とサーバとを備えるネットワークシステムにおける音声出力方法が提供される。音声出力方法は、第1の機器が人を検知するステップと、サーバが、複数の機器と複数の部屋との対応関係を参照するステップと、サーバが、第1の機器が配置されている部屋に配置されている機器にメッセージを音声出力させるステップとを備える。 According to another aspect of the present invention, an audio output method in a network system including a first device and a server is provided. The audio output method includes a step in which a first device detects a person, a step in which a server refers to a correspondence relationship between a plurality of devices and a plurality of rooms, and a server in a room in which the first device is disposed. And outputting a message to a device arranged in
この発明の別の態様に従うと、人を検知することが可能な第1の機器と通信するための通信インターフェイスと、プロセッサとを備えるサーバが提供される。プロセッサは、複数の機器と複数の部屋との対応関係を参照可能であって、第1の機器が人を検知したときに、第1の機器が配置されている部屋に配置されている機器にメッセージを音声出力させる。 According to another aspect of the present invention, a server is provided that includes a communication interface for communicating with a first device capable of detecting a person, and a processor. The processor can refer to the correspondence relationship between the plurality of devices and the plurality of rooms, and when the first device detects a person, the processor is arranged in the room in which the first device is disposed. The message is output by voice.
この発明の別の態様に従うと、人を検知することが可能な第1の機器と通信するための通信インターフェイスとプロセッサとを備えるサーバにおける音声出力方法が提供される。音声出力方法は、プロセッサが、複数の機器と複数の部屋との対応関係を参照するステップと、第1の機器が人を検知したときに、プロセッサが、第1の機器が配置されている部屋に配置されている機器にメッセージを音声出力させるステップとを備える。 According to another aspect of the present invention, there is provided an audio output method in a server including a communication interface and a processor for communicating with a first device capable of detecting a person. In the audio output method, the processor refers to the correspondence between the plurality of devices and the plurality of rooms, and when the first device detects a person, the processor is a room in which the first device is arranged. And outputting a message to a device arranged in
この発明の別の態様に従うと、人を検知することが可能な第1の機器と通信するための通信インターフェイスとプロセッサとを備えるサーバのための音声出力プログラムが提供される。音声出力プログラムは、複数の機器と複数の部屋との対応関係を参照するステップと、第1の機器が人を検知したときに、第1の機器が配置されている部屋に配置されている機器にメッセージを音声出力させるステップとをプロセッサに実行させる。 According to another aspect of the present invention, there is provided an audio output program for a server including a communication interface and a processor for communicating with a first device capable of detecting a person. The audio output program includes a step of referring to correspondence relationships between a plurality of devices and a plurality of rooms, and a device arranged in a room where the first device is arranged when the first device detects a person. And causing the processor to execute a step of outputting a message as a voice.
この発明の別の態様に従うと、人を検知するためのセンサと、サーバと通信するための通信インターフェイスと、スピーカと、プロセッサとを備える機器が提供される。プロセッサは、センサを介して人を検知し、通信インターフェイスを介して検知結果をサーバに送信し、サーバからのデータに基づいて、他の機器に設定されているメッセージをスピーカに音声出力させる。 According to another aspect of the present invention, an apparatus is provided that includes a sensor for detecting a person, a communication interface for communicating with a server, a speaker, and a processor. The processor detects a person via the sensor, transmits the detection result to the server via the communication interface, and causes the speaker to output a message set in another device based on the data from the server.
以上のように、この発明によれば、機器がメッセージを出力すべき場合に、当該メッセージが人に届く可能性が高いネットワークシステム、音声出力方法、サーバ、機器、およびプログラムが提供される。 As described above, according to the present invention, when a device should output a message, a network system, a voice output method, a server, a device, and a program that are highly likely to reach the message are provided.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<第1の実施の形態>
<ネットワークシステムの全体構成>
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
<First Embodiment>
<Overall configuration of network system>
まず、図1を参照して、本実施の形態にかかるネットワークシステム1の全体構成について説明する。なお、図1は、本実施の形態にかかるネットワークシステム1の全体構成と動作概要とを示すイメージ図である。
First, the overall configuration of the
本実施の形態にかかるネットワークシステム1は、主に、炊飯器200A、冷蔵庫200B、エアコン200C、ハードディスクレコーダ200D、洗濯機200Eなどの機器と、機器の音声出力を制御するための音声出力サーバ100と、通信端末としてのアダプタ300A,300B,300C,300D,300Eと、アダプタ300A,300B,300C,300D,300Eをインターネットに接続するためのルータ400と、ニュースや天予報などの各種の情報を提供するデータベース701と、データベース701のデータに基づいて音声データを作成して音声出力サーバ100に渡す音声作成サーバ700と、通信端末としてのスマートフォン600A,600B,600Cと、通信端末としてのパーソナルコンピュータ600Dと、当該通信端末とデータを送受信するためのアプリケーションサーバ500と、アプリケーションサーバ500で利用される情報を格納するデータベース501とを含む。
The
なお、音声出力サーバ100、音声作成サーバ700、アプリケーションサーバ500は、それぞれが別々のサーバであってもよいし、1台のサーバに上記の2つ以上のサーバの機能を搭載するものであってよい。逆に、音声出力サーバ100、音声作成サーバ700、アプリケーションサーバ500の少なくともいずれかが、複数のサーバで実現されるものであってもよい。
Note that the
また、音声出力サーバ100または音声作成サーバ700が、データベース701の情報の一部または全部を記憶してもよいし、アプリケーションサーバ500が、データベース501の情報の一部または全部を記憶してもよい。
Further, the
音声出力サーバ100は、インターネットやルータ400を介してアダプタ300A,300B,300C,300D、300Eおよび音声作成サーバ700に接続される。たとえば、音声出力サーバ100は、管理者からメッセージや発話命令を受け付けたり、音声作成サーバ700からのメッセージや発話命令を受け付けたり、アプリケーションサーバ500を介して通信端末600のユーザからメッセージや発話命令を受け付けたりする。音声出力サーバ100は、メッセージや発話命令に基づいて、アダプタ300A,300B,300C,300D,300Eを介して、炊飯器200A、冷蔵庫200B,エアコン200C,ハードディスクレコーダ200D,洗濯機200Eにメッセージなどの音声を出力させる。
The
炊飯器200A,冷蔵庫200B,エアコン200C,ハードディスクレコーダ200D,洗濯機200Eなどの機器は、ユーザから受け付けた操作命令やセンサで取得したデータなどをアダプタ300A,300B,300C,300D,300E、ルータ400およびインターネットなどを介して音声出力サーバ100および音声作成サーバ700に送信する。逆に、炊飯器200A,冷蔵庫200B,エアコン200C,ハードディスクレコーダ200D,洗濯機200Eなどの機器は、音声出力サーバ100および音声作成サーバ700からの音声データ取得指示、音声データ、発話指示および制御命令に基づいて各種の動作を実行する。
The devices such as the
なお、機器は、炊飯器200A,冷蔵庫200B,エアコン200C,ハードディスクレコーダ200D,洗濯機200Eに限らず、掃除機、空気清浄器、加湿器、除湿器、炊飯器、照明などの家電、テレビ、ハードディスクレコーダ、音楽プレーヤーなどのAV(オーディオ・ビジュアル)機器、備え付け照明、太陽光発電機、インターホン、給湯器、ウォシュレット(登録商標)コントローラなどの住宅設備、などであってもよい。なお、以下では、これらの装置を総称して、機器200ともいう。
The devices are not limited to the
本実施の形態にかかる機器200の各々は、UART(Universal Asynchronous Receiver Transmitter)などの通信インターフェイスを介して、通信用のアダプタ300A,300B,300C,300D,300Eとデータの送受信を行う。
Each of the
通信用のアダプタ300A,300B,300C,300D,300Eは、UARTなどの通信インターフェイスを介して、機器200と通信を行う。本実施の形態においては、通信用のアダプタ300A,300B,300C,300D,300Eは、WiFi(登録商標)などの無線LAN用の通信インターフェイスを介してルータ400と通信を行う。ただし、通信用のアダプタ300A,300B,300C,300D,300Eは、有線LAN用の通信インターフェイスを介してルータ400と通信を行ってもよい。通信用のアダプタ300A、300B,300C,300D,300Eは、機器200からのデータを、ルータ400やインターネットを介して音声出力サーバ100に送信する。逆に、通信用のアダプタ300A、300B,300C,300D,300Eは、音声出力サーバ100からのデータを機器200に送信する。なお、以下では、通信用のアダプタ300A,300B,300C,300D,300Eを総称して、アダプタ300ともいう。
The
ルータ400は、アダプタ300とインターネットとを中継する。
The
アプリケーションサーバ500は、アダプタ300とインターネットとキャリア網とを介して、機器200からの情報をスマートフォン600A,600B,600C、パーソナルコンピュータ600Dなどに送信したり、スマートフォン600A,600B,600C、パーソナルコンピュータ600Dなどからの制御命令や各種の要求を機器200に送信したりする。
The
スマートフォン600A,600B,600C、パーソナルコンピュータ600Dなどは、機器制御アプリケーションを利用することによって、アプリケーションサーバ500を介して、機器200から情報を入手したり、機器200を制御したりすることができる。なお、以下では、スマートフォン600A,600B,600C、パーソナルコンピュータ600Dなどを総称して、通信端末600ともいう。
<ネットワークシステムの動作概要>
<Overview of network system operation>
次に、図1を参照して、本実施の形態にかかるネットワークシステム1の動作概要について説明する。本実施の形態においては、音声出力サーバ100または他のサーバが、機器200に対応付けてメッセージを記憶する。換言すれば、音声出力サーバ100が、それぞれの機器200が音声出力すべきメッセージを記憶する。
Next, an outline of the operation of the
そして、機器200はカメラ・マイク・人感センサなどによって人の存在を検知すると、検知結果を音声出力サーバ100に送信する。音声出力サーバ100は、機器200からの検知結果に基づいて、当該機器200と同じ部屋に配置されている機器にメッセージを出力させる。
When the
たとえば、図1の(1)のように、ダイニングルームのエアコン200Cが母を検知すると、エアコン200Cは検知結果を音声出力サーバ100に送信する。音声出力サーバ100は、エアコン200Cに対応付けて記憶しているメッセージを、エアコン200Cに音声出力させる。これによって、母は、エアコン200Cに関するメッセージを聴くことができる。
For example, as shown in (1) of FIG. 1, when the
そして、本実施の形態においては、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている炊飯器200Aに、炊飯器200Aに対応付けて記憶しているメッセージを出力させる。また、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている冷蔵庫200Bに、冷蔵庫200Bに対応付けて記憶しているメッセージを出力させる。
And in this Embodiment, the audio |
そして、このとき、すなわち、エアコン200Cが母を検知した時点に、ユーザに伝えるべきメッセージが、エアコン200Cとは別の部屋に配置されている機器、たとえば、寝室のハードディスクレコーダ200Dに対応付けられている場合には、音声出力サーバ100は、ユーザを検知したエアコン200Cと同じ部屋に配置されている機器、たとえばダイニングルームの冷蔵庫200Bに当該メッセージを代読させる。
At this time, that is, when the
このように、本実施の形態にかかるネットワークシステム1では、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器に、当該機器に対応付けられているメッセージを音声出力させる。そして、音声出力サーバ100は、出力すべきメッセージが、ユーザを検知した機器と別の部屋に配置されている機器に対応付けられている場合には、ユーザを検知した機器と同じ部屋の機器に当該メッセージを代読させる。これによって、機器がメッセージを出力すべき場合に、当該メッセージが人に届く可能性が高くなる。
As described above, in the
以下では、このような機能を実現するためのネットワークシステム1について詳細に説明する。
<音声出力サーバ100のハードウェア構成>
Hereinafter, the
<Hardware Configuration of
まず、ネットワークシステム1を構成する音声出力サーバ100のハードウェア構成の一態様について説明する。なお、図2は、本実施の形態にかかる音声出力サーバ100のハードウェア構成を表わすブロック図である。
First, an aspect of the hardware configuration of the
図2を参照して、音声出力サーバ100は、主たる構成要素として、プロセッサ110と、メモリ120と、各種ライト130と、各種スイッチ140と、通信インターフェイス160とを含む。
Referring to FIG. 2,
プロセッサ110は、メモリ120あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、音声出力サーバ100の各部を制御する。すなわち、プロセッサ110は、メモリ120に格納されているプログラムを実行することによって、後述する各種の処理を実行する。
The
メモリ120は、各種のRAM(Random Access Memory)、各種のROM(Read-Only Memory)、フラッシュメモリーなどによって実現される。なお、メモリ120は、インターフェイスを介して利用される、USB(Universal Serial Bus)(登録商標)メモリ、CD(Compact Disc)、DVD(Digital Versatile Disk)、メモリカード、ハードディスク、IC(Integrated Circuit)カード、光カード、マスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)などの記憶媒体などによっても実現される。
The
メモリ120は、プロセッサ110によって実行されるプログラムや、プロセッサ110によるプログラムの実行により生成されたデータ、スイッチ140から入力されたデータ、機器200、アダプタ300、音声作成サーバ700、アプリケーションサーバ500、通信端末600から受信したデータを記憶する。なお、メモリ120は、機器データベース1211と音声データベース1212と代読データベース1213とを記憶する。ただし、機器データベース1211と音声データベース1212と代読データベース1213の一部または両方は、音声作成サーバ700に格納されるものであってもよい。あるいは、機器データベース1211と音声データベース1212と代読データベース1213の一部または両方は、音声出力サーバ100および音声作成サーバ700から参照可能に、その他の装置に格納されるものであってもよい。
The
ここで、図3は、本実施の形態にかかるメモリ120に格納される機器データベース1211のデータ構造を示すイメージ図である。図3を参照して、機器データベース1211は、機器を特定するための情報と、機器の種類と、機器のアドレスと、機器が配置されている部屋を特定するための情報と、機器が属する家族を特定するための情報と、の対応関係を格納する。
Here, FIG. 3 is an image diagram showing a data structure of the
図4は、本実施の形態にかかるメモリ120に格納される音声データベース1212のデータ構造を示すイメージ図である。図4を参照して、音声データベース1212は、機器を特定するための情報と、機器の種類と、メッセージと、メッセージを出力すべき時間としての時間情報と、重要度を示す情報との対応関係を格納する。音声データベース1212は、他にも、出力済みか否かを示すフラグや、出力するための曜日や、出力するための天気などを含んでもよい。
FIG. 4 is an image diagram showing a data structure of the
なお、重要度について説明する。図5は、重要度を説明するためのイメージ図である。図5を参照して、重要度が1のメッセージに関しては、サーバ100のプロセッサ110は、他の機器200に、ユーザをメッセージに対応する機器へと誘導するためのメッセージを音声出力させる。たとえば、サーバ100は、ユーザがいる部屋の当該他の機器200に「洗濯機さんが呼んでいるよ。急いで行ってあげて。」というメッセージを音声出力させる。
The importance will be described. FIG. 5 is an image diagram for explaining the importance. Referring to FIG. 5, for a message with
一方、重要度が2のメッセージに関しては、サーバ100のプロセッサ110は、メッセージを出力すべき時間が既に経過している場合に、他の機器200にメッセージを代読させる。たとえば、サーバ100は、ユーザがいる部屋の当該他の機器に「ビデオさんからの伝言です。ABCのビデオ録画をしておいたよ。とのことです。」というメッセージを音声出力させる。
On the other hand, regarding the message with the
本実施の形態においては、プロセッサ110は、音声データベース1212のメッセージを読み出して機器200に送信する際に、時間情報が古いメッセージから順に機器200に音声出力させる。ただし、プロセッサ110は、音声データベース1212のメッセージを読み出して機器200に送信する際に、時間情報が新しいメッセージから順に機器200に音声出力させてもよい。
In the present embodiment, when the
なお、メッセージは、メッセージの音声データそのものであってもよいし、メッセージのテキストデータであってもよいし、メッセージを特定するための音声IDであってもよい。 The message may be voice data of the message itself, text data of the message, or a voice ID for specifying the message.
また、音声データベース1212に含まれるメッセージ、時間情報、重要度、出力条件などは、固定であってもよい。あるいは、洗濯機でエラーが生じた等、各機器の状態を取得することによって作成されるものであってもよい。あるいは、音声出力サーバ100の管理者または当該サービスの提供者または広告主が変更するものであってもよい。あるいは、天気予報や花粉に関する情報やPM2.5に関する情報や店舗の安売り情報など、他のWebサーバなどから取得する情報に基づいて、音声出力サーバ100のプロセッサ110や音声作成サーバ700のプロセッサ710が、毎朝または毎時などの定期的に、あるいは新たな情報を入手する度などに、作成するものであってもよい。また、メッセージは、固定メッセージと、定期的に変更するメッセージの組み合わせであってもよい。
Further, messages, time information, importance, output conditions, and the like included in the
図2に戻って、ライト130は、プロセッサ110からの信号によって点灯・点滅・消灯することによって、音声出力サーバ100の各種の状態を外部に伝える。
Returning to FIG. 2, the light 130 transmits various states of the
スイッチ140は、管理者からの命令を受け付けて、当該命令をプロセッサ110に入力する。
The
通信インターフェイス160は、プロセッサ110からのデータを、インターネット、キャリア網、ルータなどを介してアダプタ300、機器200、音声作成サーバ700、アプリケーションサーバ500、通信端末600などに送信する。通信インターフェイス160は、インターネット、キャリア網、ルータなどを介してアダプタ300、機器200、音声作成サーバ700、アプリケーションサーバ500、通信端末600からのデータを受信して、プロセッサ110に受け渡す。
<機器200のハードウェア構成>
The
<Hardware Configuration of
次に、機器200のハードウェア構成の一態様について説明する。図6は、本実施の形態にかかる機器200のハードウェア構成を表わすブロック図である。
Next, an aspect of the hardware configuration of the
図6を参照して、機器200は、主たる構成要素として、プロセッサ210と、メモリ220と、各種ライト230と、各種スイッチ240と、通信インターフェイス260と、スピーカ270と、リモコン受光部280と、機器駆動部290とを含む。
Referring to FIG. 6,
プロセッサ210は、メモリ220あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、機器200の各部を制御する。すなわち、プロセッサ210は、メモリ220に格納されているプログラムを実行することによって、後述する各種の処理を実行する。
The
メモリ220は、各種のRAM、各種のROM、フラッシュメモリーなどによって実現される。メモリ220は、プロセッサ210によって実行されるプログラムや、プロセッサ210によるプログラムの実行により生成されたデータ、入力されたデータ、音声出力サーバ100から受信したデータなどを記憶する。
The
ライト230は、プロセッサ210からの信号によって点灯・点滅・消灯することによって、機器200の各種の状態を外部に伝える。
The light 230 transmits various states of the
スイッチ240は、ユーザからの命令を受け付けて、当該命令をプロセッサ210に入力する。
The
カメラ250は、プロセッサ110からの命令を受け付けて、静止画像または動画像を撮影する。カメラ250は、静止画像データまたは動画像データをプロセッサ210に受け渡す。
The
通信インターフェイス260は、プロセッサ210からのデータ、たとえば、機器が検知した各種の状態および機器がユーザからリモコンを介して受け付けた命令など、をアダプタ300に送信する。換言すれば、通信インターフェイス160は、上記データをアダプタ300、ルータ400、インターネットなどを介して音声出力サーバ100、音声作成サーバ700、アプリケーションサーバ500、通信端末600に送信する。通信インターフェイス260は、インターネット、ルータ400、アダプタ300などを介して音声出力サーバ100からのデータ、音声作成サーバ700からのデータ、他の端末からの制御命令、音声データ、発話命令および閲覧命令を受信してプロセッサ210に受け渡す。
The
スピーカ270は、プロセッサ210からの音声信号に基づいて音声、音楽などの様々な音声を出力する。
The
リモコン受光部280は、リモコンからの赤外線信号やその他の電波信号を受光して、当該信号をプロセッサ110に入力する。
The remote control
機器駆動部290は、プロセッサ210からの制御命令に基づいて、モータ、アクチュエータ、センサなどを制御することによって、機器200の主要な役割を果たす。
The
機器200は、その他にも、マイクなどの音声センサ、温度センサ、人感センサなどを搭載してもよい。そして、プロセッサ210は、当該センサを介して取得した各種の情報を、通信インターフェイス260を介して、サーバ100に送信する。
<アダプタ300のハードウェア構成>
In addition, the
<Hardware configuration of
次に、アダプタ300のハードウェア構成の一態様について説明する。図7は、本実施の形態にかかるアダプタ300のハードウェア構成を表わすブロック図である。
Next, an aspect of the hardware configuration of the
図7を参照して、アダプタ300は、主たる構成要素として、プロセッサ310と、メモリ320と、各種ライト330と、各種スイッチ340と、第1の通信インターフェイス361と、第2の通信インターフェイス362とを含む。
Referring to FIG. 7, the
プロセッサ310は、メモリ320あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、アダプタ300の各部を制御する。すなわち、プロセッサ310は、メモリ320に格納されているプログラムを実行することによって、後述する各種の処理を実行する。
The
メモリ320は、各種のRAM、各種のROM、フラッシュメモリーなどによって実現される。メモリ320は、プロセッサ310によって実行されるプログラムや、プロセッサ310によるプログラムの実行により生成されたデータ、入力されたデータ、音声出力サーバ100、音声作成サーバ700、アプリケーションサーバ500、通信端末600から受信したデータなどを記憶する。
The
なお、本実施の形態においては、音声出力サーバ100からメッセージの音声データがアダプタ300を介して機器200に送信される。
In the present embodiment, voice data of a message is transmitted from the
ただし、予め図8に示すようにアダプタ300のメモリ320が音声出力サーバ100または音声作成サーバ700から受信した音声データベース321を記憶するものであってもよい。この場合は、音声データベース321は、音声データ毎に、音声IDと音声データとの対応関係を格納する。音声データベース321は、音声データそのものの代わりに、音声データの格納先を示す音声データのアドレスを格納する。なお、音声IDを音声データに付与する際のルールとして、たとえば、音声IDの前の3ケタが対象となる機器の種類を特定し、音声IDの次の3ケタが機器の設置場所や地域を特定し、音声IDの後ろからの2ケタ目が音声データの種類を特定する。たとえば、下2ケタ目が「5」は天気に関するメッセージである。下2ケタ目が「7」の場合は、食べ物に関するメッセージである。下2ケタ目が「9」の場合はエラーを示すメッセージである。これによって、音声出力サーバ100は、機器200への操作に基づいて、出力用機器としての機器200のアダプタ300に、メッセージを特定するための音声IDを送信する。出力用機器としての機器200のアダプタ300のプロセッサ310は、メモリ320から音声データを取得して、機器200に音声を出力させる。
However, as shown in FIG. 8, the
さらに、音声データベース321と、音声データそのものとは、機器200に格納されてもよい。この場合は、機器200のプロセッサ210が、アダプタ300を介して、音声出力サーバ100からの指示に基づいて、それらのデータを上書きしたり、削除したりしてもよい。
Furthermore, the
図7に戻って、ライト330は、プロセッサ310からの信号によって点灯・点滅・消灯することによって、アダプタ300の各種の状態を外部に伝える。
Returning to FIG. 7, the light 330 transmits the various states of the
スイッチ340は、ユーザからの命令を受け付けて、当該命令をプロセッサ310に入力する。
The
第1の通信インターフェイス361は、UARTなどによって実現されて、プロセッサ310からのデータを機器200に送信したり、機器200からのデータをプロセッサ310に受け渡したりする。たとえば、プロセッサ310は、発話指示に基づいて、第1の通信インターフェイス361を介して、音声データを機器200に送信することによって、機器200に音声を出力させる。
The
ただし、音声データベース321が機器200に記憶されていてもよい。この場合は、プロセッサ310は、音声IDを含む発話指示を機器200に送信するだけであってもよい。この場合は、機器200のプロセッサ210が、発話指示に基づいて、メモリ220に格納されている音声データをスピーカ270に出力する。
However, the
第2の通信インターフェイス362は、WiFi(登録商標)アンテナなどによって実現されて、プロセッサ310からのデータをルータ400およびインターネットを介して音声出力サーバ100または音声作成サーバ700に送信したり、音声出力サーバ100または音声作成サーバ700からのデータのプロセッサ110に受け渡したりする。たとえば、プロセッサ310は、第2の通信インターフェイス362を介して、音声出力サーバ100から音声データ取得指示や発話指示や音声データ自体を受信する。プロセッサ310は、第2の通信インターフェイス362を介して、音声出力サーバ100に音声データの取得が完了した旨の通知や発話が完了した旨の通知を送信する。
<音声作成サーバ700のハードウェア構成>
The
<Hardware Configuration of
次に、ネットワークシステム1を構成する音声作成サーバ700のハードウェア構成の一態様について説明する。なお、図9は、本実施の形態にかかる音声作成サーバ700のハードウェア構成を表わすブロック図である。
Next, an aspect of the hardware configuration of the
図9を参照して、音声作成サーバ700は、主たる構成要素として、プロセッサ710と、メモリ720と、各種ライト730と、各種スイッチ740と、通信インターフェイス760とを含む。
Referring to FIG. 9, the
プロセッサ710は、メモリ720あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、音声作成サーバ700の各部を制御する。すなわち、プロセッサ710は、メモリ720に格納されているプログラムを実行することによって各種の処理を実行する。
The
メモリ720の具体例は、音声出力サーバ100と同様であるため、ここでは説明を繰り返さない。メモリ720は、プロセッサ710によって実行されるプログラムや、プロセッサ710によるプログラムの実行により生成されたデータ、入力されたデータ、機器200、アダプタ300、音声出力サーバ100から受信したデータを記憶する。なお、メモリ720は、図1に示すデータベース701を記憶してもよい。
A specific example of the
ライト730は、プロセッサ710からの信号によって点灯・点滅・消灯することによって、音声作成サーバ700の各種の状態を外部に伝える。
The light 730 is turned on / flashing / turned off in response to a signal from the
スイッチ740は、管理者からの命令を受け付けて、当該命令をプロセッサ510に入力する。
The
通信インターフェイス760は、プロセッサ710からのデータを、インターネット、キャリア網、ルータ400などを介してアダプタ300、音声出力サーバ100に送信する。通信インターフェイス760は、インターネット、キャリア網、ルータ400などを介してアダプタ300、音声出力サーバ100からのデータを受信して、プロセッサ710に受け渡す。
<アプリケーションサーバ500のハードウェア構成>
The
<Hardware Configuration of
次に、ネットワークシステム1を構成するアプリケーションサーバ500のハードウェア構成の一態様について説明する。なお、図10は、本実施の形態にかかるアプリケーションサーバ500のハードウェア構成を表わすブロック図である。
Next, an aspect of the hardware configuration of the
図10を参照して、アプリケーションサーバ500は、主たる構成要素として、プロセッサ510と、メモリ520と、各種ライト530と、各種スイッチ540と、通信インターフェイス560とを含む。
Referring to FIG. 10,
プロセッサ510は、メモリ520あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、アプリケーションサーバ500の各部を制御する。すなわち、プロセッサ510は、メモリ520に格納されているプログラムを実行することによって、後述する各種の処理を実行する。
The
メモリ520の具体例は、音声出力サーバ100と同様であるため、ここでは説明を繰り返さない。メモリ520は、プロセッサ510によって実行されるプログラムや、プロセッサ510によるプログラムの実行により生成されたデータ、入力されたデータ、機器200、アダプタ300、音声出力サーバ100、通信端末600から受信したデータを記憶する。なお、メモリ520は、図1に示すデータベース501を記憶してもよい。
A specific example of the
ライト530は、プロセッサ510からの信号によって点灯・点滅・消灯することによって、アプリケーションサーバ500の各種の状態を外部に伝える。
The light 530 is lit, flashed, or turned off by a signal from the
スイッチ540は、管理者からの命令を受け付けて、当該命令をプロセッサ510に入力する。
The
通信インターフェイス560は、プロセッサ510からのデータを、インターネット、キャリア網、ルータ400などを介して音声出力サーバ100、アダプタ300、機器200、通信端末600に送信する。通信インターフェイス560は、インターネット、キャリア網、ルータ400などを介して音声出力サーバ100、アダプタ300、機器200、通信端末600からのデータを受信して、プロセッサ510に受け渡す。
<通信端末600のハードウェア構成>
The
<Hardware configuration of
次に、通信端末600のハードウェア構成の一態様について説明する。なお、図11は、本実施の形態にかかる通信端末600のハードウェア構成を表わすブロック図である。
Next, an aspect of the hardware configuration of the
図11を参照して、通信端末600は、主たる構成要素として、プロセッサ610と、メモリ620と、タッチパネル650(ディスプレイ630とポインティングデバイス640)と、通信インターフェイス660と、スピーカ680とを含む。
Referring to FIG. 11,
プロセッサ610は、メモリ620あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、通信端末600の各部を制御する。すなわち、プロセッサ610は、メモリ620に格納されているプログラムを実行することによって、各種の処理を実行する。
The
メモリ620は、各種のRAM、各種のROM、フラッシュメモリーなどによって実現される。なお、メモリ620は、様々なインターフェイスを介して利用される、SDカードやマイクロSDカードのようなメモリカード、USB(登録商標)メモリ、CD、DVD、ハードディスク、ICカード、光カード、マスクROM、EPROM、EEPROMなどの記憶媒体などによっても実現される。
The
メモリ620は、プロセッサ610によって実行されるプログラムや、プロセッサ610によるプログラムの実行により生成されたデータ、ポインティングデバイス640を介して入力されたデータ、音声出力サーバ100およびアプリケーションサーバ500から受信したデータなどを記憶する。特に、本実施の形態においては、メモリ620は、機器制御アプリケーションを記憶している。プロセッサ610は、メモリ620の機器制御アプリケーションに従って、機器200の制御命令をアプリケーションサーバ500に送信したり、機器200に音声を出力させるための発話命令を音声出力サーバ100に送信したり、機器200からの情報を受信したりする。
The
ディスプレイ630は、プロセッサ610からの信号に基づいて、文字や画像を出力する。ポインティングデバイス640は、ユーザからの命令を受け付けて、当該命令をプロセッサ610に入力する。なお、本実施の形態においては、通信端末600は、ディスプレイ630とポインティングデバイス640とが組み合わされたタッチパネル650を有する。プロセッサ610は、ディスプレイ630に、機器200を制御するための画面やSNSの家族のページなどを表示させる。
通信インターフェイス660は、アンテナやコネクタによって実現される。通信インターフェイス660は、有線通信あるいは無線通信によって他の装置との間でデータをやり取りする。プロセッサ610は、通信インターフェイス660を介して、制御命令、テキストデータ、画像データなどを、音声出力サーバ100およびアプリケーションサーバ500などの他の装置に送信する。たとえば、プロセッサ610は、機器200に対する制御命令を音声出力サーバ100およびアプリケーションサーバ500に送信する。また、プロセッサ610は、通信インターフェイス660を介して、プログラム、機器200の状態などを示す情報、制御命令、画像データ、テキストデータなどを、音声出力サーバ100およびアプリケーションサーバ500などの他の装置から受信する。
The
スピーカ680は、プロセッサ610からの音声信号に基づいて通話音声、音楽、動画などの様々な音声を出力する。
<音声出力サーバ100における情報処理>
The speaker 680 outputs various sounds such as a call sound, music, and a moving image based on the sound signal from the
<Information Processing in
次に、図12を参照しながら、本実施の形態にかかる音声出力サーバ100の情報処理について説明する。なお、図12は、本実施の形態にかかる音声出力サーバ100の情報処理を示すフローチャートである。
Next, information processing of the
まず、はじめに、音声出力サーバ100のプロセッサ110が、通信インターフェイス160を介して機器200からデータを受信すると、以下の処理を実行する。プロセッサ110は、受信したデータから機器IDを取得して、機器200が人間を検知したことを認識する(ステップS102)。
First, when the
プロセッサ110は、音声データベース1212を参照することによって、機器IDに対応するメッセージの音声データを読み出す(ステップS104)。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS106)。これによって、人間を検知した機器200のプロセッサ210は、自分に紐づけられているメッセージを、スピーカ270に音声出力させる。
The
たとえば、図1においては、人間を検知したエアコン200Cが、「エアコン入れておいたよー。28℃で運転中。」という音声を出力する。
For example, in FIG. 1, the
次に、プロセッサ110は、機器データベース1211を参照することによって、機器200と同じ家族かつ同じ部屋の機器200の機器IDを特定する(ステップS108)。プロセッサ110は、音声データベース1212を参照することによって、機器IDに対応するメッセージの音声データを読み出す(ステップS110)。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS112)。これによって、人間を検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、自分に紐づけられているメッセージを、スピーカ270に音声出力させる。
Next, the
たとえば、図1においては、エアコン200Cと同じ部屋に配置されている炊飯器200Aが、「ご飯が炊けているよー。今日もお弁当作り頑張って!」という音声を出力する。あるいは、エアコン200Cと同じ部屋に配置されている冷蔵庫200Bが、「牛乳がもうすぐなくなるよー。買って来てね!」という音声を出力する。
For example, in FIG. 1, a
次に、プロセッサ110は、機器データベース1211を参照することによって、人間を検知した機器200と同じ家族かつ別の部屋の機器200の機器IDを特定する(ステップS114)。プロセッサ110は、音声データベース1212を参照することによって、機器IDに対応するメッセージの音声データを読み出す(ステップS116)。より詳細には、プロセッサ110は、音声データベース1212を参照することによって、機器IDに対応するメッセージのうち、時間情報が過去の時間を示しており、重要度が「1」のメッセージの音声データを読み出す。
Next, the
プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、人間を検知した機器200と同じ家族かつ同じ部屋の機器200に送信する(ステップS118)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200にメッセージを代読させてもよい。
The
そして、このとき、プロセッサ110は、通信インターフェイス160を介して、別の部屋の機器200を特定する情報、たとえば機器200の種類や型番やユーザが付けた名前なども一緒に、人間を検知した機器200と同じ家族かつ同じ部屋の機器200に送信する。これによって、人間を検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、他の機器200に紐づけられているメッセージを、当該他の機器200を特定するための情報とともに、スピーカ270に音声出力させる、すなわち代読する。
At this time, the
たとえば、図1においては、エアコン200Cと同じ部屋に配置されている冷蔵庫200Bが、別の部屋のハードディスクレコーダ200Dの代わりに、「ビデオさんからの伝言です。ビデオ録画しておいたよー。今日は、ABCというドラマがオススメです。」という音声を出力する。
For example, in FIG. 1, the
このように、本実施の形態にかかるネットワークシステム1では、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器に、当該機器に対応付けられているメッセージを音声出力させる。そして、音声出力サーバ100は、出力すべきメッセージが、ユーザを検知した機器と別の部屋に配置されている機器に対応付けられている場合には、ユーザを検知した機器と同じ部屋の機器に当該メッセージを代読させる。これによって、機器がメッセージを出力すべき場合に、当該メッセージが人に届く可能性が高くなる。
<第2の実施の形態>
As described above, in the
<Second Embodiment>
第1の実施の形態においては、人を検知すると、機器200に対応するメッセージを出力するものであった。しかしながら、本実施の形態にかかるネットワークシステム1は、メッセージ毎に、メッセージの対象者を指定できるものである。
In the first embodiment, when a person is detected, a message corresponding to the
本実施の形態にかかるネットワークシステム1の全体構成は、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Since the overall configuration of
次に、図1を参照して、本実施の形態にかかるネットワークシステム1の動作概要について説明する。本実施の形態においては、音声出力サーバ100が、機器200とユーザとに対応付けてメッセージを記憶する。
Next, an outline of the operation of the
そして、機器200はカメラ・マイクなどによってユーザを特定するためのデータを取得すると、当該データを音声出力サーバ100に送信する。音声出力サーバ100は、機器200からのデータに基づいて、ユーザを特定する。音声出力サーバ100は、当該ユーザに対応するメッセージのうちで、当該機器200と同じ部屋に配置されている機器にメッセージを出力させる。
And the
ユーザの特定は、音声出力サーバ100が行ってもよいが、機器200が行ってもよい。機器200がユーザを特定する場合には、機器200はユーザを特定するためのユーザIDなどを音声出力サーバ100に送信する。
The user may be specified by the
たとえば、図1の(1)のように、ダイニングルームのエアコン200Cが母を撮影したり母の「おはよう」という声を録音したりする。エアコン200Cは、画像データや音声データを音声出力サーバ100に送信する。音声出力サーバ100は、画像データや音声データから母を特定する。音声出力サーバ100は、母とエアコン200Cとに対応付けて記憶しているメッセージを、エアコン200Cに音声出力させる。これによって、母は、エアコン200Cに関するメッセージを聴くことができる。
For example, as shown in (1) of FIG. 1, the
そして、本実施の形態においては、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている炊飯器200Aに、母と炊飯器200Aとに対応付けて記憶しているメッセージを出力させる。また、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている冷蔵庫200Bに、母と冷蔵庫200Bとに対応付けて記憶しているメッセージを出力させる。
And in this Embodiment, the audio |
そして、このとき、すなわち、母を検知した時点に、母に伝えるべきメッセージが、エアコン200Cとは別の部屋に配置されている機器、たとえば、寝室のハードディスクレコーダ200Dと母とに対応付けられているメッセージがある場合には、音声出力サーバ100は、母を検知したエアコン200Cと同じ部屋に配置されている機器、たとえばダイニングルームの冷蔵庫200Bに当該メッセージを代読させる。
At this time, that is, when the mother is detected, a message to be transmitted to the mother is associated with a device arranged in a room different from the
このように、本実施の形態にかかるネットワークシステム1では、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器に、当該機器に対応付けられているメッセージを音声出力させる。そして、音声出力サーバ100は、出力すべきメッセージが、ユーザを検知した機器と別の部屋に配置されている機器に対応付けられている場合には、ユーザを検知した機器と同じ部屋の機器に当該メッセージを代読させる。これによって、機器がメッセージを出力すべき場合に、当該メッセージが人に届く可能性が高くなる。
As described above, in the
以下では、このような機能を実現するためのネットワークシステム1について説明する。ただし、主に、音声出力サーバ100の音声データベース122について説明するものとし、音声出力サーバ100、機器200、アダプタ300、音声作成サーバ700、アプリケーションサーバ500、通信端末600のハードウェア構成の一態様については、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Below, the
ここで、図13は、本実施の形態にかかるメモリ120に格納される音声データベース122のデータ構造を示すイメージ図である。図13を参照して、音声データベース122は、機器を特定するための情報と、機器の種類と、メッセージと、メッセージを出力すべき時間としての時間情報と、重要度を示す情報と、メッセージの出力対象者を特定するための情報との対応関係を格納する。音声データベース122は、他にも、出力済みか否かを示すフラグや、出力するための曜日や、出力するための天気などを含んでもよい。
Here, FIG. 13 is an image diagram showing a data structure of the
なお、メッセージは、メッセージの音声データそのものであってもよいし、メッセージのテキストデータであってもよいし、メッセージを特定するための音声IDであってもよい。 The message may be voice data of the message itself, text data of the message, or a voice ID for specifying the message.
また、音声データベース122のレコード毎のメッセージは、固定であってもよい。あるいは、音声出力サーバ100の管理者または当該サービスの提供者または広告主が変更するものであってもよい。あるいは、天気予報や花粉に関する情報やPM2.5に関する情報や店舗の安売り情報など、他のWebサーバなどから取得する情報に基づいて、音声出力サーバ100のプロセッサ110や音声作成サーバ700のプロセッサ710が、毎朝または毎時などの定期的に、あるいは新たな情報を入手する度などに、作成するものであってもよい。また、メッセージは、固定メッセージと、定期的に変更するメッセージの組み合わせであってもよい。
The message for each record in the
また、メッセージの出力対象者を特定するための情報は、ユーザIDなどであってもよいし、ユーザを特定するための顔または体の画像データやその特徴データ、またはユーザを特定するための声の音声データやその特徴データであってもよい。
<音声出力サーバ100における情報処理>
The information for specifying the message output target person may be a user ID or the like, face or body image data for specifying the user, characteristic data thereof, or voice for specifying the user. Audio data or characteristic data thereof.
<Information Processing in
次に、図14を参照しながら、本実施の形態にかかる音声出力サーバ100の情報処理について説明する。なお、図14は、本実施の形態にかかる音声出力サーバ100の情報処理を示すフローチャートである。
Next, information processing of the
まず、はじめに、音声出力サーバ100のプロセッサ110が、通信インターフェイス160を介して機器200からデータを受信すると、以下の処理を実行する。プロセッサ110は、受信したデータから機器IDを取得して、機器200が取得した画像データまたは音声データを取得する(ステップS202)。
First, when the
プロセッサ110は、機器200が取得した画像データまたは音声データから、ユーザを特定する(ステップS203)。なお、機器200がユーザを特定して、機器200がユーザIDを音声出力サーバ100に送信するものであってもよい。
The
プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS204)。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS206)。これによって、ユーザを検知した機器200のプロセッサ210は、検知したユーザと自分とに紐づけられているメッセージを、スピーカ270に音声出力させる。
The
たとえば、図1においては、母を検知したエアコン200Cが、「エアコン入れておいたよー。28℃で運転中。」という音声を出力する。
For example, in FIG. 1, the
次に、プロセッサ110は、機器データベース1211を参照することによって、機器200と同じ家族かつ同じ部屋の機器200の機器IDを特定する(ステップS208)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS210)。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS212)。これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、検知されたユーザと自分とに紐づけられているメッセージを、スピーカ270に音声出力させる。
Next, the
たとえば、図1においては、母を検知したエアコン200Cと同じ部屋に配置されている炊飯器200Aが、「ご飯が炊けているよー。今日もお弁当作り頑張って!」という音声を出力する。あるいは、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bが、「牛乳がもうすぐなくなるよー。買って来てね!」という音声を出力する。
For example, in FIG. 1, a
次に、プロセッサ110は、機器データベース1211を参照することによって、ユーザを検知した機器200と同じ家族かつ別の部屋の機器200の機器IDを特定する(ステップS214)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS216)。より詳細には、プロセッサ110は、音声データベース1212を参照することによって、機器IDに対応するメッセージのうち、時間情報が過去の時間を示しており、重要度が「1」のメッセージの音声データを読み出す。
Next, the
プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する(ステップS218)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200にメッセージを代読させてもよい。
The
そして、このとき、プロセッサ110は、通信インターフェイス160を介して、別の部屋の機器200を特定する情報、たとえば機器200の種類や型番や家電の呼び名なども一緒に、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する。これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、他の機器200に紐づけられているメッセージを、当該他の機器200を特定するための情報とともに、スピーカ270に音声出力させる、すなわち代読する。
At this time, the
たとえば、図1においては、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bが、別の部屋のハードディスクレコーダ200Dの代わりに、「ビデオさんからの伝言です。ビデオ録画しておいたよー。今日は、ABCというドラマがオススメです。」という音声を出力する。
For example, in FIG. 1, a
このように、本実施の形態にかかるネットワークシステム1では、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器に、当該機器に対応付けられているメッセージを音声出力させる。そして、音声出力サーバ100は、出力すべきメッセージが、ユーザを検知した機器と別の部屋に配置されている機器に対応付けられている場合には、ユーザを検知した機器と同じ部屋の機器に当該メッセージを代読させる。これによって、機器がメッセージを出力すべき場合に、当該メッセージが人に届く可能性が高くなる。
<第3の実施の形態>
As described above, in the
<Third Embodiment>
第2の実施の形態においては、ユーザを検知すると、機器200とユーザとに対応するメッセージを出力するものであった。そして、別の部屋の機器200と当該ユーザとに対応するメッセージを代読するものであった。しかしながら、本実施の形態にかかるネットワークシステム1は、第1の機器200と同じ部屋にある第2の機器200に対応するメッセージも、条件を満たしている際には、第1の機器200が代読してあげるものである。
In the second embodiment, when a user is detected, a message corresponding to the
本実施の形態にかかるネットワークシステム1の全体構成は、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Since the overall configuration of
次に、図15を参照して、本実施の形態にかかるネットワークシステム1の動作概要について説明する。なお、図15は、本実施の形態にかかるネットワークシステム1の全体構成と動作概要を示すイメージ図である。本実施の形態においては、音声出力サーバ100が、機器200とユーザとに対応付けてメッセージを記憶する。
Next, an operation outline of the
そして、機器200はカメラ・マイクなどによってユーザを特定するためのデータを取得すると、当該データを音声出力サーバ100に送信する。音声出力サーバ100は、機器200からのデータに基づいて、ユーザを特定する。音声出力サーバ100は、当該ユーザに対応するメッセージのうちで、当該機器200と同じ部屋に配置されている機器にメッセージを出力させる。
And the
ユーザの特定は、音声出力サーバ100が行ってもよいが、機器200が行ってもよい。機器200がユーザを特定する場合には、機器200はユーザを特定するためのユーザIDなどを音声出力サーバ100に送信する。
The user may be specified by the
たとえば、図1の(1)のように、ダイニングルームのエアコン200Cが母を撮影したり母の「おはよう」という声を録音したりする。エアコン200Cは、画像データや音声データを音声出力サーバ100に送信する。音声出力サーバ100は、画像データや音声データから母を特定する。音声出力サーバ100は、母とエアコン200Cとに対応付けて記憶しているメッセージを、エアコン200Cに音声出力させる。これによって、母は、エアコン200Cに関するメッセージを聴くことができる。
For example, as shown in (1) of FIG. 1, the
そして、本実施の形態においては、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている炊飯器200Aに、母と炊飯器200Aとに対応付けて記憶しているメッセージを出力させる。ただし、代読条件を満たしている場合には、すなわち炊飯器200Aが炊飯中である場合には、母と炊飯器200Aとに対応付けて記憶しているメッセージもエアコンに出力させる。
And in this Embodiment, the audio |
また、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている冷蔵庫200Bに、母と冷蔵庫200Bとに対応付けて記憶しているメッセージを出力させる。
Also, the
そして、このとき、すなわち、母を検知した時点に、母に伝えるべきメッセージが、エアコン200Cとは別の部屋に配置されている機器、たとえば、寝室のハードディスクレコーダ200Dと母とに対応付けられているメッセージがある場合には、音声出力サーバ100は、母を検知したエアコン200Cと同じ部屋に配置されている機器、たとえばダイニングルームの冷蔵庫200Bに当該メッセージを代読させる。
At this time, that is, when the mother is detected, a message to be transmitted to the mother is associated with a device arranged in a room different from the
このように、本実施の形態にかかるネットワークシステム1では、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器に、当該機器に対応付けられているメッセージを音声出力させる。そして、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器200に関しても、条件を満たす場合には、当該同じ部屋に配置されている他の機器200にメッセージを代読させる。
As described above, in the
以下では、このような機能を実現するためのネットワークシステム1について説明する。ただし、主に、音声出力サーバ100の音声データベース122について説明するものとし、音声出力サーバ100、機器200、アダプタ300、音声作成サーバ700、アプリケーションサーバ500、通信端末600のハードウェア構成の一態様については、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Below, the
ここで、図16は、本実施の形態にかかるメモリ120に格納される音声データベース123のデータ構造を示すイメージ図である。図16を参照して、音声データベース122は、機器を特定するための情報と、機器の種類と、メッセージと、メッセージを出力すべき時間としての時間情報と、重要度を示す情報と、メッセージの出力対象者を特定するための情報と、代読するための条件との対応関係を格納する。音声データベース123は、他にも、出力済みか否かを示すフラグや、出力するための曜日や、出力するための天気などを含んでもよい。
Here, FIG. 16 is an image diagram showing a data structure of the
なお、メッセージは、メッセージの音声データそのものであってもよいし、メッセージのテキストデータであってもよいし、メッセージを特定するための音声IDであってもよい。 The message may be voice data of the message itself, text data of the message, or a voice ID for specifying the message.
また、音声データベース123のレコード毎のメッセージは、固定であってもよい。あるいは、音声出力サーバ100の管理者または当該サービスの提供者または広告主が変更するものであってもよい。あるいは、天気予報や花粉に関する情報やPM2.5に関する情報や店舗の安売り情報など、他のWebサーバなどから取得する情報に基づいて、音声出力サーバ100のプロセッサ110や音声作成サーバ700のプロセッサ710が、毎朝または毎時などの定期的に、あるいは新たな情報を入手する度などに、作成するものであってもよい。また、メッセージは、固定メッセージと、定期的に変更するメッセージの組み合わせであってもよい。
The message for each record in the
また、メッセージの出力対象者を特定するための情報は、ユーザIDなどであってもよいし、ユーザを特定するための顔または体の画像データやその特徴データ、またはユーザを特定するための声の音声データやその特徴データであってもよい。
<音声出力サーバ100における情報処理>
The information for specifying the message output target person may be a user ID or the like, face or body image data for specifying the user, characteristic data thereof, or voice for specifying the user. Audio data or characteristic data thereof.
<Information Processing in
次に、図17を参照しながら、本実施の形態にかかる音声出力サーバ100の情報処理について説明する。なお、図17は、本実施の形態にかかる音声出力サーバ100の情報処理を示すフローチャートである。
Next, information processing of the
まず、はじめに、音声出力サーバ100のプロセッサ110が、通信インターフェイス160を介して機器200からデータを受信すると、以下の処理を実行する。プロセッサ110は、受信したデータから機器IDを取得して、機器200が取得した画像データまたは音声データを取得する(ステップS302)。
First, when the
プロセッサ110は、機器200が取得した画像データまたは音声データから、ユーザを特定する(ステップS303)。なお、機器200がユーザを特定して、機器200がユーザIDを音声出力サーバ100に送信するものであってもよい。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS304)。
The
本実施の形態においては、このとき、プロセッサ110は、メッセージに対応する代読条件が満たされているか否かを判断する(ステップS305)。プロセッサ110は、メッセージに対応する代読条件が登録されていない場合、およびメッセージに対応する代読条件が満たされていない場合、プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS306)。
In the present embodiment, at this time, the
たとえば、図1においては、母を検知したエアコン200Cが、「エアコン入れておいたよー。28℃で運転中。」という音声を出力する。
For example, in FIG. 1, the
逆に、プロセッサ110は、メッセージに対応する代読条件が満たされている場合、プロセッサ110は、機器データベース1211と音声データベース123とを参照することによって、当該機器と同じ部屋の別の機器であって、代読条件を満たしていない別の機器を特定する。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを当該別の機器に送信する(ステップS306)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。
On the other hand, when the substitution condition corresponding to the message is satisfied, the
次に、プロセッサ110は、機器データベース1211を参照することによって、機器200と同じ家族かつ同じ部屋の機器200の機器IDを特定する(ステップS308)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS310)。
Next, the
本実施の形態においては、このとき、プロセッサ110は、メッセージに対応する代読条件が満たされているか否かを判断する(ステップS311)。プロセッサ110は、メッセージに対応する代読条件が登録されていない場合、およびメッセージに対応する代読条件が満たされていない場合、プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS312)。
In the present embodiment, at this time, the
逆に、プロセッサ110は、メッセージに対応する代読条件が満たされている場合、プロセッサ110は、機器データベース1211と音声データベース123とを参照することによって、当該機器と同じ部屋の別の機器であって、代読条件を満たしていない別の機器を特定する。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを当該別の機器に送信する(ステップS312)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200にメッセージを代読させてもよい。
On the other hand, when the substitution condition corresponding to the message is satisfied, the
たとえば、図15においては、母を検知したエアコン200Cと同じ部屋に配置されている炊飯器200Aが炊飯中であるため、代わりにエアコン200Cが「炊飯器君からの伝言です。ご飯が炊けているよー。今日もお弁当作り頑張って!」という音声を出力する。一方、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bは、代読条件を満たしていないため、冷蔵庫200B自身が「牛乳がもうすぐなくなるよー。買って来てね!」という音声を出力する。
For example, in FIG. 15, since the
これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、検知されたユーザと自分とに紐づけられているメッセージを、スピーカ270に音声出力させる。また、代読条件を満たしている機器200のメッセージを、他の機器200が代わりに出力してあげることができる。
As a result, the
次に、プロセッサ110は、機器データベース1211を参照することによって、ユーザを検知した機器200と同じ家族かつ別の部屋の機器200の機器IDを特定する(ステップS314)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS316)。より詳細には、プロセッサ110は、音声データベース1212を参照することによって、機器IDに対応するメッセージのうち、時間情報が過去の時間を示しており、重要度が「1」のメッセージの音声データを読み出す。
Next, the
プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する(ステップS318)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200に、メッセージを代読させてもよい。
The
そして、このとき、プロセッサ110は、通信インターフェイス160を介して、別の部屋の機器200を特定する情報、たとえば機器200の種類や型番や家電の呼び名なども一緒に、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する。これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、他の機器200に紐づけられているメッセージを、当該他の機器200を特定するための情報とともに、スピーカ270に音声出力させる、すなわち代読する。
At this time, the
たとえば、図15においては、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bが、別の部屋のハードディスクレコーダ200Dの代わりに、「ビデオさんからの伝言です。ビデオ録画しておいたよー。今日は、ABCというドラマがオススメです。」という音声を出力する。
<第4の実施の形態>
For example, in FIG. 15, the
<Fourth embodiment>
第1の実施の形態においては、ユーザを検知すると、機器200に対応するメッセージを出力するものであった。そして、別の部屋の機器200に対応するメッセージを代読するものであった。しかしながら、本実施の形態にかかるネットワークシステム1は、スピカを有する第1の機器200が、第1の機器と同じ部屋にあるスピーカを有さない第2の機器200に対応するメッセージも、第1の機器と別の部屋にある第3の機器に対応するメッセージも代読してあげるものである。
In the first embodiment, when a user is detected, a message corresponding to the
本実施の形態にかかるネットワークシステム1の全体構成は、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Since the overall configuration of
次に、図15を参照して、本実施の形態にかかるネットワークシステム1の動作概要について説明する。本実施の形態においては、音声出力サーバ100が、機器200とユーザとに対応付けてメッセージを記憶する。
Next, an operation outline of the
そして、機器200はカメラ・マイクなどによってユーザを特定するためのデータを取得すると、当該データを音声出力サーバ100に送信する。音声出力サーバ100は、機器200からのデータに基づいて、ユーザを特定する。音声出力サーバ100は、当該ユーザに対応するメッセージのうちで、当該機器200と同じ部屋に配置されている機器にメッセージを出力させる。
And the
ユーザの特定は、音声出力サーバ100が行ってもよいが、機器200が行ってもよい。機器200がユーザを特定する場合には、機器200はユーザを特定するためのユーザIDなどを音声出力サーバ100に送信する。
The user may be specified by the
たとえば、図1の(1)のように、ダイニングルームのエアコン200Cが母を撮影したり母の「おはよう」という声を録音したりする。エアコン200Cは、画像データや音声データを音声出力サーバ100に送信する。音声出力サーバ100は、画像データや音声データから母を特定する。音声出力サーバ100は、母とエアコン200Cとに対応付けて記憶しているメッセージを、エアコン200Cに音声出力させる。これによって、母は、エアコン200Cに関するメッセージを聴くことができる。
For example, as shown in (1) of FIG. 1, the
そして、本実施の形態においては、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている炊飯器200Aに、母と炊飯器200Aとに対応付けて記憶しているメッセージを出力させる。ただし、炊飯器200Aがスピーカを有していない場合には、母と炊飯器200Aとに対応付けて記憶しているメッセージもエアコン200Cに出力させる。
And in this Embodiment, the audio |
また、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている冷蔵庫200Bに、母と冷蔵庫200Bとに対応付けて記憶しているメッセージを出力させる。
Also, the
そして、このとき、すなわち、母を検知した時点に、母に伝えるべきメッセージが、エアコン200Cとは別の部屋に配置されている機器、たとえば、寝室のハードディスクレコーダ200Dと母とに対応付けられているメッセージがある場合には、音声出力サーバ100は、母を検知したエアコン200Cと同じ部屋に配置されている機器、たとえばダイニングルームの冷蔵庫200Bに当該メッセージを代読させる。
At this time, that is, when the mother is detected, a message to be transmitted to the mother is associated with a device arranged in a room different from the
このように、本実施の形態にかかるネットワークシステム1では、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器に、当該機器に対応付けられているメッセージを音声出力させる。そして、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器200に関しても、スピーカを有していない場合には、当該同じ部屋に配置されている他の機器200にメッセージを代読させる。
As described above, in the
以下では、このような機能を実現するためのネットワークシステム1について説明する。ただし、主に、音声出力サーバ100の音声データベース122について説明するものとし、音声出力サーバ100、機器200、アダプタ300、音声作成サーバ700、アプリケーションサーバ500、通信端末600のハードウェア構成の一態様については、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Below, the
ここで、図18は、本実施の形態にかかるメモリ120に格納される機器データベース124のデータ構造を示すイメージ図である。図18を参照して、機器データベース124は、機器を特定するための情報と、機器の種類と、機器のアドレスと、機器が配置されている部屋を特定するための情報と、機器が属する家族を特定するための情報と、スピーカの有無を示す情報との対応関係を格納する。
<音声出力サーバ100における情報処理>
Here, FIG. 18 is an image diagram showing a data structure of the
<Information Processing in
次に、図17を参照しながら、本実施の形態にかかる音声出力サーバ100の情報処理について説明する。
Next, information processing of the
まず、はじめに、音声出力サーバ100のプロセッサ110が、通信インターフェイス160を介して機器200からデータを受信すると、以下の処理を実行する。プロセッサ110は、受信したデータから機器IDを取得して、機器200が取得した画像データまたは音声データを取得する(ステップS302)。
First, when the
プロセッサ110は、機器200が取得した画像データまたは音声データから、ユーザを特定する(ステップS303)。なお、機器200がユーザを特定して、機器200がユーザIDを音声出力サーバ100に送信するものであってもよい。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS304)。
The
本実施の形態においては、このとき、プロセッサ110は、当該機器200がスピーカ270を有するか否かを判断する(ステップS305)。プロセッサ110は、機器200がスピーカ270を有する場合、プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS306)。
In the present embodiment, at this time,
たとえば、図1においては、母を検知したエアコン200Cが、「エアコン入れておいたよー。28℃で運転中。」という音声を出力する。
For example, in FIG. 1, the
逆に、プロセッサ110は、機器200がスピーカを有していない場合、プロセッサ110は、機器データベース124と音声データベース122とを参照することによって、当該機器と同じ部屋の別の機器であって、スピーカ270を有する別の機器200を特定する。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、メッセージに対応する機器を特定するための情報とともに、当該別の機器200に送信する(ステップS306)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。
On the other hand, when the
次に、プロセッサ110は、機器データベース124を参照することによって、機器200と同じ家族かつ同じ部屋の機器200の機器IDを特定する(ステップS308)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS310)。
Next, the
本実施の形態においては、このとき、プロセッサ110は、機器200がスピーカ270を有するか否かを判断する(ステップS311)。プロセッサ110は、機器200がスピーカ270を有する場合、プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS312)。
In the present embodiment, at this time,
逆に、プロセッサ110は、機器200がスピーカ270を有さない場合、プロセッサ110は、機器データベース124と音声データベース122とを参照することによって、当該機器と同じ部屋の別の機器であって、スピーカ270を有する別の機器を特定する。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、メッセージに対応する機器を特定するための情報とともに、当該別の機器に送信する(ステップS312)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200に、メッセージを代読させてもよい。
Conversely, when the
たとえば、図15においては、母を検知したエアコン200Cと同じ部屋に配置されている炊飯器200Aがスピーカを有さないため、代わりにエアコン200Cが「炊飯器君からの伝言です。ご飯が炊けているよー。今日もお弁当作り頑張って!」という音声を出力する。一方、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bは、代読条件を満たしていないため、冷蔵庫200B自身が「牛乳がもうすぐなくなるよー。買って来てね!」という音声を出力する。
For example, in FIG. 15, the
これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、検知されたユーザと自分とに紐づけられているメッセージを、スピーカ270に音声出力させる。また、スピーカを有さない機器200のメッセージを、他の機器200が代わりに出力してあげることができる。
As a result, the
次に、プロセッサ110は、機器データベース124を参照することによって、ユーザを検知した機器200と同じ家族かつ別の部屋の機器200の機器IDを特定する(ステップS314)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS316)。より詳細には、プロセッサ110は、音声データベース1212を参照することによって、機器IDに対応するメッセージのうち、時間情報が過去の時間を示しており、重要度が「1」のメッセージの音声データを読み出す。
Next, the
プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する(ステップS318)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200に、メッセージを代読させてもよい。
The
そして、このとき、プロセッサ110は、通信インターフェイス160を介して、別の部屋の機器200を特定する情報、たとえば機器200の種類や型番や家電の呼び名なども一緒に、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する。これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、他の機器200に紐づけられているメッセージを、当該他の機器200を特定するための情報とともに、スピーカ270に音声出力させる、すなわち代読する。
At this time, the
たとえば、図15においては、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bが、別の部屋のハードディスクレコーダ200Dの代わりに、「ビデオさんからの伝言です。ビデオ録画しておいたよー。今日は、ABCというドラマがオススメです。」という音声を出力する。
<第5の実施の形態>
For example, in FIG. 15, the
<Fifth embodiment>
第1の実施の形態においては、ユーザを検知すると、機器200に対応するメッセージを出力するものであった。そして、別の部屋の機器200に対応するメッセージを代読するものであった。しかしながら、本実施の形態にかかるネットワークシステム1は、音量が所定値以上である第1の機器200が、第1の機器と同じ部屋にある音量が所定値未満である第2の機器200に対応するメッセージも、第1の機器と別の部屋にある第3の機器に対応するメッセージも代読してあげるものである。
In the first embodiment, when a user is detected, a message corresponding to the
本実施の形態にかかるネットワークシステム1の全体構成は、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Since the overall configuration of
次に、図15を参照して、本実施の形態にかかるネットワークシステム1の動作概要について説明する。本実施の形態においては、音声出力サーバ100が、機器200とユーザとに対応付けてメッセージを記憶する。
Next, an operation outline of the
そして、機器200はカメラ・マイクなどによってユーザを特定するためのデータを取得すると、当該データを音声出力サーバ100に送信する。音声出力サーバ100は、機器200からのデータに基づいて、ユーザを特定する。音声出力サーバ100は、当該ユーザに対応するメッセージのうちで、当該機器200と同じ部屋に配置されている機器にメッセージを出力させる。
And the
ユーザの特定は、音声出力サーバ100が行ってもよいが、機器200が行ってもよい。機器200がユーザを特定する場合には、機器200はユーザを特定するためのユーザIDなどを音声出力サーバ100に送信する。
The user may be specified by the
たとえば、図1の(1)のように、ダイニングルームのエアコン200Cが母を撮影したり母の「おはよう」という声を録音したりする。エアコン200Cは、画像データや音声データを音声出力サーバ100に送信する。音声出力サーバ100は、画像データや音声データから母を特定する。音声出力サーバ100は、母とエアコン200Cとに対応付けて記憶しているメッセージを、エアコン200Cに音声出力させる。これによって、母は、エアコン200Cに関するメッセージを聴くことができる。
For example, as shown in (1) of FIG. 1, the
そして、本実施の形態においては、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている炊飯器200Aに、母と炊飯器200Aとに対応付けて記憶しているメッセージを出力させる。ただし、炊飯器200Aの設定音量が所定値未満、たとえば40%未満である場合には、母と炊飯器200Aとに対応付けて記憶しているメッセージもエアコン200Cに出力させる。
And in this Embodiment, the audio |
また、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている冷蔵庫200Bに、母と冷蔵庫200Bとに対応付けて記憶しているメッセージを出力させる。
Also, the
そして、このとき、すなわち、母を検知した時点に、母に伝えるべきメッセージが、エアコン200Cとは別の部屋に配置されている機器、たとえば、寝室のハードディスクレコーダ200Dと母とに対応付けられているメッセージがある場合には、音声出力サーバ100は、母を検知したエアコン200Cと同じ部屋に配置されている機器、たとえばダイニングルームの冷蔵庫200Bに当該メッセージを代読させる。
At this time, that is, when the mother is detected, a message to be transmitted to the mother is associated with a device arranged in a room different from the
このように、本実施の形態にかかるネットワークシステム1では、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器に、当該機器に対応付けられているメッセージを音声出力させる。そして、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器200に関しても、設定音量が所定値未満である場合には、当該同じ部屋に配置されている他の機器200にメッセージを代読させる。これによって、子供が寝ている場所の近くに配置されている機器の音量をユーザが小さくしている場合などに、音声出力サーバ100は、他の機器、たとえば子供が寝ている場所から遠い位置に配置されている機器にメッセージを代読させることができる。
As described above, in the
以下では、このような機能を実現するためのネットワークシステム1について説明する。ただし、主に、音声出力サーバ100の音声データベース122について説明するものとし、音声出力サーバ100、機器200、アダプタ300、音声作成サーバ700、アプリケーションサーバ500、通信端末600のハードウェア構成の一態様については、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Below, the
ここで、図19は、本実施の形態にかかるメモリ120に格納される機器データベース125のデータ構造を示すイメージ図である。図19を参照して、機器データベース125は、機器を特定するための情報と、機器の種類と、機器のアドレスと、機器が配置されている部屋を特定するための情報と、機器が属する家族を特定するための情報と、設定音量を示す情報との対応関係を格納する。
<音声出力サーバ100における情報処理>
Here, FIG. 19 is an image diagram showing a data structure of the
<Information Processing in
次に、図17を参照しながら、本実施の形態にかかる音声出力サーバ100の情報処理について説明する。
Next, information processing of the
まず、はじめに、音声出力サーバ100のプロセッサ110が、通信インターフェイス160を介して機器200からデータを受信すると、以下の処理を実行する。プロセッサ110は、受信したデータから機器IDを取得して、機器200が取得した画像データまたは音声データを取得する(ステップS302)。
First, when the
プロセッサ110は、機器200が取得した画像データまたは音声データから、ユーザを特定する(ステップS303)。なお、機器200がユーザを特定して、機器200がユーザIDを音声出力サーバ100に送信するものであってもよい。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS304)。
The
本実施の形態においては、このとき、プロセッサ110は、当該機器200の設定音量が所定値以上であるか否かを判断する(ステップS305)。プロセッサ110は、機器200の設定音量が所定値以上である場合、プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS306)。
In the present embodiment, at this time,
たとえば、図1においては、母を検知したエアコン200Cが、「エアコン入れておいたよー。28℃で運転中。」という音声を出力する。
For example, in FIG. 1, the
逆に、プロセッサ110は、機器200の設定音量が所定値未満である場合、プロセッサ110は、機器データベース124と音声データベース122とを参照することによって、当該機器と同じ部屋の別の機器であって、設定音量が所定値以上である別の機器200を特定する。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、メッセージに対応する機器を特定するための情報とともに、当該別の機器200に送信する(ステップS306)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。
On the other hand, when the set volume of the
次に、プロセッサ110は、機器データベース124を参照することによって、機器200と同じ家族かつ同じ部屋の機器200の機器IDを特定する(ステップS308)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS310)。
Next, the
本実施の形態においては、このとき、プロセッサ110は、機器200の設定音量が所定値以上であるか否かを判断する(ステップS311)。プロセッサ110は、機器200の設定音量が所定値以上である場合、プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS312)。
In the present embodiment, at this time,
逆に、プロセッサ110は、機器200の設定音量が所定値未満である場合、プロセッサ110は、機器データベース124と音声データベース122とを参照することによって、当該機器と同じ部屋の別の機器であって、設定音量が所定値以上である別の機器を特定する。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、メッセージに対応する機器を特定するための情報とともに、当該別の機器に送信する(ステップS312)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200に、メッセージを代読させてもよい。
On the other hand, when the set volume of the
たとえば、図15においては、母を検知したエアコン200Cと同じ部屋に配置されている炊飯器200Aの設定音量が所定値未満であるため、代わりにエアコン200Cが「炊飯器君からの伝言です。ご飯が炊けているよー。今日もお弁当作り頑張って!」という音声を出力する。一方、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bは、設定音量が所定値以上であるため、冷蔵庫200B自身が「牛乳がもうすぐなくなるよー。買って来てね!」という音声を出力する。
For example, in FIG. 15, since the set sound volume of the
これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、検知されたユーザと自分とに紐づけられているメッセージを、スピーカ270に音声出力させる。また、スピーカを有さない機器200のメッセージを、他の機器200が代わりに出力してあげることができる。
As a result, the
次に、プロセッサ110は、機器データベース124を参照することによって、ユーザを検知した機器200と同じ家族かつ別の部屋の機器200の機器IDを特定する(ステップS314)。プロセッサ110は、音声データベース123を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS316)。より詳細には、プロセッサ110は、音声データベース123を参照することによって、機器IDに対応するメッセージのうち、時間情報が過去の時間を示しており、重要度が「1」のメッセージの音声データを読み出す。
Next, the
プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する(ステップS318)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200に、メッセージを代読させてもよい。
The
そして、このとき、プロセッサ110は、通信インターフェイス160を介して、別の部屋の機器200を特定する情報、たとえば機器200の種類や型番や家電の呼び名なども一緒に、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する。これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、他の機器200に紐づけられているメッセージを、当該他の機器200を特定するための情報とともに、スピーカ270に音声出力させる、すなわち代読する。
At this time, the
たとえば、図15においては、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bが、別の部屋のハードディスクレコーダ200Dの代わりに、「ビデオさんからの伝言です。ビデオ録画しておいたよー。今日は、ABCというドラマがオススメです。」という音声を出力する。
<第6の実施の形態>
For example, in FIG. 15, the
<Sixth Embodiment>
第2の実施の形態においては、ユーザを検知すると、機器200とユーザとに対応するメッセージを出力するものであった。そして、別の部屋の機器200と当該ユーザとに対応するメッセージを代読するものであった。しかしながら、本実施の形態にかかるネットワークシステム1は、第2の機器に対応する代読時間帯においてのみ、第1の機器200が代読してあげるものである。
In the second embodiment, when a user is detected, a message corresponding to the
本実施の形態にかかるネットワークシステム1の全体構成は、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Since the overall configuration of
次に、図15を参照して、本実施の形態にかかるネットワークシステム1の動作概要について説明する。本実施の形態においては、音声出力サーバ100が、機器200とユーザとに対応付けてメッセージを記憶する。
Next, an operation outline of the
そして、機器200はカメラ・マイクなどによってユーザを特定するためのデータを取得すると、当該データを音声出力サーバ100に送信する。音声出力サーバ100は、機器200からのデータに基づいて、ユーザを特定する。音声出力サーバ100は、当該ユーザに対応するメッセージのうちで、当該機器200と同じ部屋に配置されている機器にメッセージを出力させる。
And the
ユーザの特定は、音声出力サーバ100が行ってもよいが、機器200が行ってもよい。機器200がユーザを特定する場合には、機器200はユーザを特定するためのユーザIDなどを音声出力サーバ100に送信する。
The user may be specified by the
たとえば、図1の(1)のように、ダイニングルームのエアコン200Cが母を撮影したり母の「おはよう」という声を録音したりする。エアコン200Cは、画像データや音声データを音声出力サーバ100に送信する。音声出力サーバ100は、画像データや音声データから母を特定する。音声出力サーバ100は、母とエアコン200Cと出力時間帯に対応付けて記憶しているメッセージを、エアコン200Cに音声出力させる。これによって、母は、エアコン200Cに関するメッセージを聴くことができる。
For example, as shown in (1) of FIG. 1, the
そして、本実施の形態においては、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている炊飯器200Aに、母と炊飯器200Aと出力時間帯に対応付けて記憶しているメッセージを出力させる。ただし、出力時間帯に該当せずに代読時間帯に該当する場合には、母と炊飯器200Aとに対応付けて記憶しているメッセージもエアコンに出力させる。
And in this Embodiment, the audio |
また、音声出力サーバ100は、エアコン200Cと同じダイニングルームに配置されている冷蔵庫200Bに、母と冷蔵庫200Bと出力時間帯に対応付けて記憶しているメッセージを出力させる。
Also, the
そして、このとき、すなわち、母を検知した時点に、母に伝えるべきメッセージが、エアコン200Cとは別の部屋に配置されている機器、たとえば、寝室のハードディスクレコーダ200Dと母と代読時間帯に対応付けられているメッセージがある場合には、音声出力サーバ100は、母を検知したエアコン200Cと同じ部屋に配置されている機器、たとえばダイニングルームの冷蔵庫200Bに当該メッセージを代読させる。
At this time, that is, when the mother is detected, the message to be transmitted to the mother corresponds to a device arranged in a room different from the
このように、本実施の形態にかかるネットワークシステム1では、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器に、当該機器に対応付けられているメッセージを音声出力させる。そして、音声出力サーバ100は、ユーザを検知した機器と同じ部屋に配置されている機器200に関しても、出力時間帯の条件を満たさずに代読時間帯の条件を満たす場合には、当該同じ部屋に配置されている他の機器200にメッセージを代読させる。
As described above, in the
以下では、このような機能を実現するためのネットワークシステム1について説明する。ただし、主に、音声出力サーバ100の音声データベース122について説明するものとし、音声出力サーバ100、機器200、アダプタ300、音声作成サーバ700、アプリケーションサーバ500、通信端末600のハードウェア構成の一態様については、第1の実施の形態のそれと同様であるため、ここでは説明を繰り返さない。
Below, the
ここで、図20は、本実施の形態にかかるメモリ120に格納される音声データベース126のデータ構造を示すイメージ図である。図20を参照して、音声データベース126は、機器を特定するための情報と、機器の種類と、メッセージと、メッセージを出力すべき時間としての時間情報と、重要度を示す情報と、メッセージの出力対象者を特定するための情報と、代読するための条件、出力時間帯と、代読時間帯との対応関係を格納する。音声データベース123は、他にも、出力済みか否かを示すフラグや、出力するための曜日や、出力するための天気などを含んでもよい。
Here, FIG. 20 is an image diagram showing a data structure of the
なお、メッセージは、メッセージの音声データそのものであってもよいし、メッセージのテキストデータであってもよいし、メッセージを特定するための音声IDであってもよい。 The message may be voice data of the message itself, text data of the message, or a voice ID for specifying the message.
また、音声データベース123のレコード毎のメッセージは、固定であってもよい。あるいは、音声出力サーバ100の管理者または当該サービスの提供者または広告主が変更するものであってもよい。あるいは、天気予報や花粉に関する情報やPM2.5に関する情報や店舗の安売り情報など、他のWebサーバなどから取得する情報に基づいて、音声出力サーバ100のプロセッサ110や音声作成サーバ700のプロセッサ710が、毎朝または毎時などの定期的に、あるいは新たな情報を入手する度などに、作成するものであってもよい。また、メッセージは、固定メッセージと、定期的に変更するメッセージの組み合わせであってもよい。
The message for each record in the
また、メッセージの出力対象者を特定するための情報は、ユーザIDなどであってもよいし、ユーザを特定するための顔または体の画像データやその特徴データ、またはユーザを特定するための声の音声データやその特徴データであってもよい。
<音声出力サーバ100における情報処理>
The information for specifying the message output target person may be a user ID or the like, face or body image data for specifying the user, characteristic data thereof, or voice for specifying the user. Audio data or characteristic data thereof.
<Information Processing in
次に、図17を参照しながら、本実施の形態にかかる音声出力サーバ100の情報処理について説明する。なお、図17は、本実施の形態にかかる音声出力サーバ100の情報処理を示すフローチャートである。
Next, information processing of the
まず、はじめに、音声出力サーバ100のプロセッサ110が、通信インターフェイス160を介して機器200からデータを受信すると、以下の処理を実行する。プロセッサ110は、受信したデータから機器IDを取得して、機器200が取得した画像データまたは音声データを取得する(ステップS302)。
First, when the
プロセッサ110は、機器200が取得した画像データまたは音声データから、ユーザを特定する(ステップS303)。なお、機器200がユーザを特定して、機器200がユーザIDを音声出力サーバ100に送信するものであってもよい。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS304)。
The
本実施の形態においては、このとき、プロセッサ110は、メッセージに対応する出力時間帯に該当するか否かを判断する(ステップS305)。プロセッサ110は、出力時間帯に該当する場合、プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS306)。
In the present embodiment, at this time, the
たとえば、図1においては、母を検知したエアコン200Cが、「エアコン入れておいたよー。28℃で運転中。」という音声を出力する。
For example, in FIG. 1, the
逆に、プロセッサ110は、メッセージに対応する出力時間帯に該当せず代読時間帯に該当する場合、プロセッサ110は、機器データベース1211と音声データベース123とを参照することによって、当該機器と同じ部屋の別の機器であって、出力時間帯に該当する別の機器を特定する。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを当該別の機器に送信する(ステップS306)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。
On the other hand, when the
次に、プロセッサ110は、機器データベース1211を参照することによって、機器200と同じ家族かつ同じ部屋の機器200の機器IDを特定する(ステップS308)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS310)。
Next, the
本実施の形態においては、このとき、プロセッサ110は、メッセージに対応する出力時間帯に該当するか否かを判断する(ステップS311)。プロセッサ110は、メッセージに対応する出力時間帯に該当する場合、プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを機器200に送信する(ステップS312)。
In the present embodiment, at this time, the
逆に、プロセッサ110は、メッセージに対応する出力時間帯に該当せずに代読時間帯に該当する場合、プロセッサ110は、機器データベース1211と音声データベース123とを参照することによって、当該機器と同じ部屋の別の機器であって、出力時間帯に該当する別の機器を特定する。プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを当該別の機器に送信する(ステップS312)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200に、メッセージを代読させてもよい。
On the other hand, when the
たとえば、図15においては、母を検知したエアコン200Cと同じ部屋に配置されている炊飯器200Aの出力時間帯に該当せずに代読時間帯に該当するため、代わりにエアコン200Cが「炊飯器君からの伝言です。ご飯が炊けているよー。今日もお弁当作り頑張って!」という音声を出力する。一方、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bは、出力時間帯に該当するため、冷蔵庫200B自身が「牛乳がもうすぐなくなるよー。買って来てね!」という音声を出力する。
For example, in FIG. 15, the
これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、検知されたユーザと自分とに紐づけられているメッセージを、スピーカ270に音声出力させる。また、代読条件や代読時間帯の要件を満たしている機器200のメッセージを、他の機器200が代わりに出力してあげることができる。
As a result, the
次に、プロセッサ110は、機器データベース1211を参照することによって、ユーザを検知した機器200と同じ家族かつ別の部屋の機器200の機器IDを特定する(ステップS314)。プロセッサ110は、音声データベース1212を参照することによって、機器IDと検知されたユーザとに対応するメッセージの音声データを読み出す(ステップS316)。より詳細には、プロセッサ110は、音声データベース1212を参照することによって、機器IDに対応するメッセージのうち、時間情報が過去の時間を示しており、重要度が「1」のメッセージの音声データであって、代読時間帯に該当するものを読み出す。
Next, the
プロセッサ110は、通信インターフェイス160を介して、メッセージの音声データを、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する(ステップS318)。本実施の形態においては、プロセッサ110は、人間を検知した機器200と同じ家族かつ同じ部屋の機器200のうちで、最後にメッセージを出力したものに、メッセージを代読させる。ただし、プロセッサ110は、人間を検知した機器200に、メッセージを代読させてもよい。
The
そして、このとき、プロセッサ110は、通信インターフェイス160を介して、別の部屋の機器200を特定する情報、たとえば機器200の種類や型番や家電の呼び名なども一緒に、ユーザを検知した機器200と同じ家族かつ同じ部屋の機器200に送信する。これによって、ユーザを検知した機器200と同じ部屋に配置されている機器200のプロセッサ210が、他の機器200に紐づけられているメッセージを、当該他の機器200を特定するための情報とともに、スピーカ270に音声出力させる、すなわち代読する。
At this time, the
たとえば、図15においては、母を検知したエアコン200Cと同じ部屋に配置されている冷蔵庫200Bが、別の部屋のハードディスクレコーダ200Dの代わりに、「ビデオさんからの伝言です。ビデオ録画しておいたよー。今日は、ABCというドラマがオススメです。」という音声を出力する。
<第7の実施の形態>
For example, in FIG. 15, the
<Seventh embodiment>
第1から第6の実施の形態においては、機器200は、アダプタ300を介して、ルータ、インターネット、音声出力サーバ100などと通信するものであった。しかしながら、図21に示すように、機器200が、直接的に、WiFi(登録商標)通信やBluetooth(登録商標)によって、ルータ400を介して、インターネット、音声出力サーバ100と通信するものであってもよい。
<第8の実施の形態>
In the first to sixth embodiments, the
<Eighth Embodiment>
第1から第6の実施の形態においては、機器200は、アダプタ300を介して、ルータ、インターネット、音声出力サーバ100などと通信するものであった。しかしながら、図22に示すように、機器200が、アダプタ300を介して、直接的に、すなわちルータ400を介さずに、3G回線、4G回線、LTE(登録商標)回線などのモバイル無線通信網などを介して、インターネット、音声出力サーバ100と通信するものであってもよい。
<第9の実施の形態>
In the first to sixth embodiments, the
<Ninth embodiment>
さらには、図23に示すように、機器200が、直接的に、すなわちアダプタ300もルータも介さずに、3G回線、4G回線、LTE(登録商標)回線などのモバイル無線通信網などを介して、インターネット、音声出力サーバ100と通信するものであってもよい。
<その他の応用例>
Furthermore, as shown in FIG. 23, the
<Other application examples>
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体(あるいはメモリ)を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。 It goes without saying that the present invention can also be applied to a case where it is achieved by supplying a program to a system or apparatus. Then, a storage medium (or memory) storing a program represented by software for achieving the present invention is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores it in the storage medium. The effect of the present invention can also be enjoyed by reading and executing the program code.
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on the instruction of the program code However, it is needless to say that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
<上記の複数の実施の形態のまとめ>
Furthermore, after the program code read from the storage medium is written to another storage medium provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that the CPU of the function expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
<Summary of the above embodiments>
上記の第1から第9の実施の形態においては、人を検知することが可能な第1の機器200と、第1の機器200と通信可能なサーバ100とを備えるネットワークシステム1が提供される。サーバ100は、複数の機器と複数の部屋との対応関係(1211,124,125など)を参照可能であって、第1の機器200Cが人を検知したときに、第1の機器が配置されている部屋に配置されている機器(200A,200B,200Cなど)にメッセージを音声出力させる。
In the first to ninth embodiments, a
また、上記の第1から第9の実施の形態においては、サーバ100は、第1の機器200Aが配置されている部屋とは異なる部屋に配置されている機器200Dに対応するメッセージを、第1の機器200Aが配置されている部屋に配置されている機器200Cに音声出力させる。
Further, in the first to ninth embodiments, the
上記の第1から第9の実施の形態においては、対応関係123は、メッセージ毎あるいは機器毎に、代読させるか否かを指定するための情報を含む。
In the first to ninth embodiments described above, the
上記の第2から第9の実施の形態においては、対応関係122は、メッセージ毎あるいは機器毎に、メッセージの対象としての人物を指定するための情報を含む。
In the second to ninth embodiments, the
上記の第4と第7から第9の実施の形態においては、サーバ100は、スピーカを有さない機器200Aに対応するメッセージを、第1の機器200Aが配置されている部屋に配置されている機器200Cに音声出力させる。
In the fourth and seventh to ninth embodiments, the
上記の第3と第7から第9の実施の形態においては、サーバ100は、所定の状態にある機器200Aに対応するメッセージを、第1の機器200Aが配置されている部屋に配置されている機器200Cに音声出力させる。
In the third and seventh to ninth embodiments, the
上記の第5と第7から第9の実施の形態においては、サーバ100は、音量が所定値未満の機器に対応するメッセージを、第1の機器200Aが配置されている部屋に配置されている機器200Cに音声出力させる。
In the fifth and seventh to ninth embodiments, the
上記の第6の実施の形態においては、対応関係126は、メッセージ毎あるいは機器毎に、他の機器200Cに代読させるべき時間帯を指定するための情報を含む。
In the above sixth embodiment, the
上記の第6の実施の形態においては、対応関係126は、メッセージ毎あるいは機器毎に、メッセージに対応する機器200Dに音声出力させるべき時間帯を指定するための情報を含む。
In the sixth embodiment described above, the
上記の第1から第9の実施の形態においては、第1の機器200Aが配置されている部屋に配置されている機器200は、人を検知した第1の機器200Cである。
In the first to ninth embodiments, the
上記の第1から第9の実施の形態においては、サーバ100は、第1の機器200Aが配置されている部屋に配置されている機器200Cに、メッセージともに、メッセージに対応付けられている機器200Dを特定するための情報も音声出力させる。
In the first to ninth embodiments described above, the
上記の第1から第9の実施の形態においては、第1の機器200とサーバ100とを備えるネットワークシステム1における音声出力方法が提供される。音声出力方法は、第1の機器200Cが人を検知するステップと、サーバ100が、複数の機器と複数の部屋との対応関係(1211,124,125など)を参照するステップと、サーバ100が、第1の機器200Cが配置されている部屋に配置されている機器(200A,200B,200Cなど)にメッセージを音声出力させるステップとを備える。
In the first to ninth embodiments, the audio output method in the
こ上記の第1から第9の実施の形態においては、人を検知することが可能な第1の機器200と通信するための通信インターフェイス160と、プロセッサ110とを備えるサーバ100が提供される。プロセッサ110は、複数の機器と複数の部屋との対応関係(1211,124,125など)を参照可能であって、第1の機器200Cが人を検知したときに、第1の機器200Cが配置されている部屋に配置されている機器(200A,200B,200Cなど)にメッセージを音声出力させる。
In the first to ninth embodiments, the
この発明の別の態様に従うと、人を検知することが可能な第1の機器200と通信するための通信インターフェイス160とプロセッサ110とを備えるサーバ100における音声出力方法が提供される。音声出力方法は、プロセッサ110が、複数の機器と複数の部屋との対応関係(1211,124,125など)を参照するステップと、第1の機器200Cが人を検知したときに、プロセッサ110が、第1の機器200Cが配置されている部屋に配置されている機器(200A,200B,200Cなど)にメッセージを音声出力させるステップとを備える。
According to another aspect of the present invention, there is provided an audio output method in the
上記の第1から第9の実施の形態においては、人を検知することが可能な第1の機器200と通信するための通信インターフェイス160とプロセッサ110とを備えるサーバ100のための音声出力プログラムが提供される。音声出力プログラムは、複数の機器と複数の部屋との対応関係(1211,124,125など)を参照するステップと、第1の機器200Cが人を検知したときに、第1の機器200Cが配置されている部屋に配置されている機器(200A,200B,200Cなど)にメッセージを音声出力させるステップとをプロセッサ110に実行させる。
In the first to ninth embodiments, an audio output program for the
上記の第1から第9の実施の形態においては、人を検知するためのセンサ(250など)と、サーバ100と通信するための通信インターフェイス260と、スピーカ270と、プロセッサ210とを備える機器200Cが提供される。プロセッサ210は、センサ(250など)を介して人を検知し、通信インターフェイス260を介して検知結果をサーバ100に送信し、サーバ100からのデータに基づいて、他の機器200Dに設定されているメッセージをスピーカ270に音声出力させる。
In the first to ninth embodiments, a
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
1 :ネットワークシステム
100 :音声出力サーバ
110 :プロセッサ
120 :メモリ
1211 :機器データベース
1212 :音声データベース
1213 :代読データベース
122 :音声データベース
123 :音声データベース
124 :機器データベース
125 :機器データベース
126 :音声データベース
130 :ライト
140 :スイッチ
160 :通信インターフェイス
200 :機器
200A :炊飯器
200B :冷蔵庫
200C :エアコン
200D :ハードディスクレコーダ
200E :洗濯機
210 :プロセッサ
220 :メモリ
230 :ライト
240 :スイッチ
250 :カメラ
260 :通信インターフェイス
270 :スピーカ
280 :リモコン受光部
290 :機器駆動部
300 :アダプタ
400 :ルータ
500 :アプリケーションサーバ
501 :データベース
600 :通信端末
700 :音声作成サーバ
701 :データベース
1: Network system 100: Audio output server 110: Processor 120: Memory 1211: Device database 1212: Audio database 1213: Substitution database 122: Audio database 123: Audio database 124: Device database 125: Device database 126: Audio database 130: Light 140: Switch 160: Communication interface 200:
Claims (13)
前記第1の機器と通信可能なサーバとを備え、
前記サーバは、
複数の機器と複数の部屋との対応関係、メッセージと機器との対応関係、および、メッセージ毎の、異なる部屋に配置されている前記機器の代わりに当該メッセージを代読させるための第1の重要度か、異なる部屋に配置されている前記機器のもとへユーザを移動させるためのメッセージを出力させるための第2の重要度か、を指定するための情報、を参照可能であって、
前記第1の機器が人を検知したときに、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第1の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている前記機器に前記第1の機器が配置されている部屋とは異なる部屋に配置されている機器に対応するメッセージを音声出力させ、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第2の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている機器に前記異なる部屋に配置されている機器の近くに移動するように指示するメッセージを音声出力させる、ネットワークシステム。 A first device capable of detecting a person;
A server capable of communicating with the first device,
The server
Correspondence between the plurality of devices and a plurality of rooms, correspondence between the message and the device, and, for each message, different first importance in order to reading for smb. The message on behalf of the devices disposed in the room or, a possible reference to second importance or, information for specifying, for outputting a message to move the user to the original of the devices disposed in different rooms,
When the first device detects a person, a message corresponding to the device arranged in a room different from the room where the first device is arranged is designated as the first importance level. voice message corresponding to devices disposed in different rooms in the case, the room where the first device to the device which the first device is disposed in a room is arranged is arranged to have When the message corresponding to the device arranged in a room different from the room where the first device is arranged is designated as the second importance, the first device a message instructing to move closer to the equipment the are located in different rooms devices disposed in a room that is located Ru is an audio output, the network system.
前記第1の機器が人を検知するステップと、
前記サーバが、複数の機器と複数の部屋との対応関係、メッセージと機器との対応関係、および、メッセージ毎の、異なる部屋に配置されている前記機器の代わりに当該メッセージを代読させるための第1の重要度か、異なる部屋に配置されている前記機器のもとへユーザを移動させるためのメッセージを出力させるための第2の重要度か、を指定するための情報、を参照するステップと、
前記サーバが、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第1の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている前記機器に前記第1の機器が配置されている部屋とは異なる部屋に配置されている機器に対応するメッセージを音声出力させ、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第2の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている機器に前記異なる部屋に配置されている機器の近くに移動するように指示するメッセージを音声出力させるステップと、を備える、音声出力方法。 An audio output method in a network system including a first device and a server,
The first device detecting a person;
The server, the correspondence relationship between a plurality of devices and a plurality of rooms, correspondence between the message and the device, and, for each message, for causing the reading for smb. The message on behalf of the devices disposed in different rooms first one of importance, a step of referring to the second importance or, information for specifying, for outputting a message to move the user to the original of the devices disposed in different rooms ,
When the server specifies the message corresponding to the device arranged in a room different from the room where the first device is arranged as the first importance, the first device A message corresponding to a device arranged in a room different from the room where the first device is arranged is output to the device arranged in the room where the first device is arranged , and the first device When a message corresponding to the device arranged in a room different from the arranged room is designated as the second importance level, the message is arranged in the room where the first device is arranged. comprising the steps of: a message Ru is an audio output that instructs to move the near different rooms are arranged equipment devices are, the audio output method.
プロセッサとを備え、
前記プロセッサは、複数の機器と複数の部屋との対応関係、メッセージと機器との対応関係、および、メッセージ毎の、異なる部屋に配置されている前記機器の代わりに当該メッセージを代読させるための第1の重要度か、異なる部屋に配置されている前記機器のもとへユーザを移動させるためのメッセージを出力させるための第2の重要度か、を指定するための情報、を参照可能であって、前記第1の機器が人を検知したときに、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第1の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている機器に前記第1の機器が配置されている部屋とは異なる部屋に配置されている機器に対応するメッセージを音声出力させ、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第2の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている機器に前記異なる部屋に配置されている機器の近くに移動するように指示するメッセージを音声出力させる、サーバ。 A communication interface for communicating with a first device capable of detecting a person;
With a processor,
Wherein the processor is correspondence between the plurality of devices and a plurality of rooms, correspondence between the message and the device, and, for each message, for causing the reading for smb. The message on behalf of the devices disposed in different rooms first one of importance, a possible reference to second importance or, information for specifying, for outputting a message to move the user to the original of the devices disposed in different rooms When the first device detects a person, a message corresponding to the device placed in a room different from the room where the first device is placed is designated as the first importance level. if it is, the message corresponding to the device that are located in different rooms and rooms that the first device to the device which the first device is disposed in a room is located is located When is audio output, the first device corresponds to the device being located in different rooms and rooms that are located message is specified in the second importance, the first device There Ru is an audio output a message instructing to move closer to the equipment that is disposed in the different room to the device which is disposed in a room that is located, the server.
前記プロセッサが、複数の機器と複数の部屋との対応関係、メッセージと機器との対応関係、および、メッセージ毎の、異なる部屋に配置されている前記機器の代わりに当該メッセージを代読させるための第1の重要度か、異なる部屋に配置されている機器へユーザを移動させるためのメッセージを出力させるための第2の重要度か、を指定するための情報、を参照するステップと、
前記第1の機器が人を検知したときに、前記プロセッサが、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第1の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている機器に前記第1の機器が配置されている部屋とは異なる部屋に配置されている機器に対応するメッセージを音声出力させ、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第2の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている機器に前記異なる部屋に配置されている機器の近くに移動するように指示するメッセージを音声出力させるステップと、を備える、音声出力方法。 An audio output method in a server comprising a communication interface and a processor for communicating with a first device capable of detecting a person,
Wherein the processor is correspondence between the plurality of devices and a plurality of rooms, correspondence between the message and the device, and, for each message, for causing the reading for smb. The message on behalf of the devices disposed in different rooms first one of importance, a step of referring to the second importance or, information for specifying, for outputting a message to move the user to the devices disposed in different rooms,
When the first device detects a person, a message corresponding to the device arranged in a room different from the room where the first device is arranged is the first importance level. if specified, the corresponding devices are located in different rooms from the room where the first device to the device which the first device is disposed in a room is located is located When the message corresponding to the device placed in a room different from the room where the first device is placed is designated as the second importance level, the first voice is output . the method of the device comprises the steps of: Ru is audio output a message instructing to move closer to the equipment that is disposed in the different room to the device which is disposed in a room that is located, an audio output.
複数の機器と複数の部屋との対応関係、メッセージと機器との対応関係、および、メッセージ毎の、異なる部屋に配置されている機器の代わりに当該メッセージを代読させるための第1の重要度か、異なる部屋に配置されている機器へユーザを移動させるためのメッセージを出力させるための第2の重要度か、を指定するための情報、を参照するステップと、
前記第1の機器が人を検知したときに、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第1の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている機器に前記第1の機器が配置されている部屋とは異なる部屋に配置されている機器に対応するメッセージを音声出力させ、前記第1の機器が配置されている部屋とは異なる部屋に配置されている前記機器に対応するメッセージが前記第2の重要度に指定されている場合に、前記第1の機器が配置されている部屋に配置されている機器に前記異なる部屋に配置されている機器の近くに移動するように指示するメッセージを音声出力させるステップと、を前記プロセッサに実行させる、音声出力プログラム。 An audio output program for a server comprising a communication interface and a processor for communicating with a first device capable of detecting a person,
Correspondence between a plurality of devices and a plurality of rooms, correspondence between a message and a device, and the first importance level for causing a message to be read instead of a device arranged in a different room for each message a step of referring to the second importance or, information for specifying, for outputting a message to move the user to the devices disposed in different rooms,
When the first device detects a person, a message corresponding to the device arranged in a room different from the room where the first device is arranged is designated as the first importance level. If you are, voice output a message corresponding to devices disposed in different rooms from the room where the first device to the device which the first device is disposed in a room is located is located If the message corresponding to the device arranged in a room different from the room where the first device is arranged is designated as the second importance level, the first device is arranged. to execute the steps of Ru is an audio output a message instructing to move closer to the equipment that is disposed in the different room to the device which is disposed in a room that is, to the processor, the audio output programming Beam.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014204541A JP6607668B2 (en) | 2014-10-03 | 2014-10-03 | Network system, audio output method, server, device, and audio output program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014204541A JP6607668B2 (en) | 2014-10-03 | 2014-10-03 | Network system, audio output method, server, device, and audio output program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016076762A JP2016076762A (en) | 2016-05-12 |
| JP6607668B2 true JP6607668B2 (en) | 2019-11-20 |
Family
ID=55951781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014204541A Active JP6607668B2 (en) | 2014-10-03 | 2014-10-03 | Network system, audio output method, server, device, and audio output program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6607668B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6845792B2 (en) * | 2017-12-28 | 2021-03-24 | トヨタホーム株式会社 | Message playback system |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001251790A (en) * | 2000-03-01 | 2001-09-14 | Mitsubishi Electric Corp | Indoor power monitoring and control system |
| JP2003244774A (en) * | 2002-02-15 | 2003-08-29 | Noritz Corp | Apparatus system |
| JP2004266453A (en) * | 2003-02-28 | 2004-09-24 | Toshiba Corp | Network system, server device and communication method |
| JP2008035435A (en) * | 2006-07-31 | 2008-02-14 | Sanyo Electric Co Ltd | Server device |
| JP2012124567A (en) * | 2010-12-06 | 2012-06-28 | Hitachi Ltd | Control device, and method of controlling the same |
| JP5655545B2 (en) * | 2010-12-20 | 2015-01-21 | パナソニックIpマネジメント株式会社 | Water heater |
| JP4976540B1 (en) * | 2010-12-24 | 2012-07-18 | シャープ株式会社 | Controller, communication method, and network system |
| JP5963557B2 (en) * | 2012-06-14 | 2016-08-03 | シャープ株式会社 | Information notification system, information notification server, information notification method and program |
-
2014
- 2014-10-03 JP JP2014204541A patent/JP6607668B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016076762A (en) | 2016-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110401583B (en) | Method, device, system, mobile terminal and storage medium for replacing equipment | |
| JP6715283B2 (en) | Network system and information processing method | |
| JP6371889B2 (en) | Network system, server, and information processing method | |
| CN113412457A (en) | Scene pushing method, device and system, electronic equipment and storage medium | |
| JP2019509645A (en) | Home automation system and its products | |
| WO2015129372A1 (en) | Audio system | |
| JP2016063415A (en) | Network system, audio output method, server, device, and audio output program | |
| JP6189346B2 (en) | CONTROL DEVICE, CONTROL DEVICE CONTROL PROGRAM, CONTROL DEVICE CONTROL METHOD, AND CONTROL SYSTEM | |
| EP3379795B1 (en) | Dongle and control method therefor | |
| JP6181486B2 (en) | Communication system, server device, portable terminal device, and information processing method | |
| JP6418863B2 (en) | Network system, audio output method, server, device, and audio output program | |
| JP6607668B2 (en) | Network system, audio output method, server, device, and audio output program | |
| JP6625034B2 (en) | Network system, server, information processing method, air conditioner, and program | |
| JP2018040603A (en) | Noise management device, electrical equipment, noise management system, noise management method and program | |
| JP6173390B2 (en) | Communication terminal, program, network system, and server | |
| JP6622112B2 (en) | Network system | |
| JPWO2016052107A1 (en) | Network system, server, device, and communication terminal | |
| JP2017151742A (en) | Network system, server, information processing method, and electric appliance | |
| JP6113697B2 (en) | Write data transmitting device, audio output device, write data sharing system, control method, and control program | |
| CN114301724B (en) | Control method and device for intelligent home, storage medium and electronic device | |
| JP2018142776A (en) | Network system, information processing method, server, and terminal | |
| JP2016118952A (en) | Network system, server, and information providing method | |
| JP2017184018A (en) | Network system, information processing method, and server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181206 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190514 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190628 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191021 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6607668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |