JP4354127B2 - Adaptive operation support device - Google Patents

Description

【００４５】
【表２】

【００４６】
エキスパートシステム２２は、基本機能である定常機能２５と、見守り機能２６と、省エネルギ機能２７と、停電関連機能２８とを達成する。
【００４７】
【表３】

【００４８】
表３においてＵＰＳ機能というのは、無停電機能を表す。
デバイス監視制御システム２３は、赤外線遠隔制御手段８，９を備える赤外線リモコン制御３１と、モデム１４のための制御３２との各システムを備える。さらにシミュレータ用処理手段１２は、仮想上の動作を行わせるデバイス監視制御システム３３、ネットワーク制御システム３４、仮想デバイス制御システム３５などとを備える。
【００４９】
図３は、環境制御装置２の全体制御プロセスのフローによる動作を示す図である。時計手段などのタイマ４１、電子機器などのデバイスおよびシミュレータ用処理手段１２による仮想デバイス４２、子機スイッチ１による被支援者のユーザ操作４３などは、環境制御装置２のプロセス４４に与えられる。デバイスおよび仮想デバイス４２では、各電子機器の動作状態を表す信号が出力されて環境監視制御装置２に与えられる。この環境制御装置２にはまた、共有データのデータベース４５が接続され、さらにエキスパートシステム２２が備えられる。エキスパートシステム２２の実行によって、学習演算処理が行われる。
【００５０】
本発明は、呼気スイッチ１だけでなくそのほかの構成を有する操作手段に関連して広範囲に実施することができる。
【００５１】
図４〜図８は、本発明の図１〜図３に示される実施の形態における操作シナリオを示す図である。これらの図４〜図８におけるステップであるシーン番号ａ１〜ａ３０は、表４および表５に示される動作が達成される。表４および表５においてＴＶは、テレビジョン受信動作を表す。ノートパソコンというのは、シミュレーション用処理手段１２への一例として用いられるノート形携帯用パーソナルコンピュータを表す。
【００５２】
【表４】

【００５３】
【表５】

【００５４】
これらの図４〜図８を参照して、ステップａ０では、操作シナリオの動作が開始される。先ず図４において、ステップａ１では、画面には環境制御装置（以下ＥＣＳ）の待機画面（時計とReminder）が表示されている。ステップａ２では、操作介入が行われる。ステップａ２１では、呼気スイッチを使って操作介入する（ソフトウェア割込みを入れる）。ステップａ２２では、画面がＥＣＳ操作画面に切替り、最上位メニューに「テレビ操作」が表示される。図１０を参照。
【００５５】
ステップａ３では、テレビ（情報家電）の操作機能をデモする。ステップａ３１では、最上位メニューから「テレビ操作」を選択する。
【００５６】
ステップａ３２では、switch（テレビ電源の状態）に関して２つの場合ａ３２１，ａ３３１がある。
【００５７】
cace ＯＦＦの場合：
ステップａ３２１では、ＥＣＳがテレビ電源をＯＮにする。図１１を参照。ステップａ３２２では、画面に「チャンネル」メニューが表示される。図１２を参照。ステップａ３２３では、呼気スイッチを使ってチャンネルを変える。
ステップａ３２４では、画面がテレビ画面に切替る。
【００５８】
case ＯＮの場合：
ステップａ３３１では、テレビ電源はそのままとする。ステップａ３３２では、画面に「テレビ操作」メニューが表示される。図１１を参照。ステップａ３３３では、呼気スイッチを使ってチャンネルを変え、ボリュームを調節する。図１１および図１２を参照。ステップａ３３４では、画面がテレビ画面に切替る。
【００５９】
ステップａ４では、外線から電話がかかってくる。
ステップａ５では、外線電話への応答準備を行う。ステップａ５１では、ＥＣＳが電話を検知する。
【００６０】
ステップａ５２では、画面がＥＣＳの操作画面に変わり、画面に相手の名前が表示される。図１３を参照。ステップａ５３では、最上位メニューに「電話に出る」が表示される。
【００６１】
ステップａ６では、外線電話への応答機能をデモする。２つの場合ａ６１，ａ６５がある。
【００６２】
case 電話を取る場合：
ステップａ６１では、最上位メニューから「電話に出る」を選択する。画面がテレビ画面に切替り、音量がゼロ（消音）になる。ステップａ６２では、電話（スピーカーとマイク）で話す。
【００６３】
ステップａ６３では、電話を切る。switch（電話の切り方）について２つのときａ６３１，ａ６４１がある。図１４を参照。
【００６４】
図５を参照して、case 相手が切る場合：
ステップａ６３１では、ＥＣＳが電話の切断を検知する。図１５を参照。ステップａ６３２では、画面がテレビ画面に切替り、音量が復帰する。
【００６５】
case 自分が切る場合：
ステップａ６４１では、呼気スイッチを使って操作介入する。画面がＥＣＳ操作画面に切替り、最上位メニューに「電話を切る」が表示される。図１４を参照。ステップａ６４２では、最上位メニューから「電話を切る」を選択する。ステップａ６４３では、画面がテレビ画面に切替り、音量が復帰する。
【００６６】
case 電話を取らない場合：図１３を参照。
ステップａ６５では、電話を切る。switch（電話の切り方）について２つのときａ６５１，ａ６６１がある。
【００６７】
case 相手から切る場合：
ステップａ６５１では、ＥＣＳが電話の切断を検知する。図１５を参照。ステップａ６５２では、画面がテレビ画面に切替り、音量が復帰する。ステップａ６５３では、受電記録を残す。
【００６８】
case 相手が切らない場合：
ステップａ６６１では、ＥＣＳがタイムアウトを検出する。ステップａ６６２では、自動音声で応答してから電話を切る。図１３を参照。ステップａ６６３では、画面がテレビ画面に切替り、音声が復帰する。ステップａ６６４では、受電記録を残す。
【００６９】
ステップａ９では、テレビを見ている。図１６を参照。
ステップａ１０では、温度監視機能を行う。ステップａ１０１では、シミュレータ（ノートパソコン）側で環境温度（室温）を「××℃」に下げる。ステップａ１０２では、ＥＣＳが環境温度の低下を検知する。ステップａ１０３では、画面がＥＣＳ操作画面に切替り、画面に「室温が××℃に下がっています」が表示される。図７を参照。ステップａ１０４では、最上位メニューに「エアコンを付ける」が表示される。図１８を参照。
【００７０】
ステップａ１１では、エアコンである空気調和装置を操作する。
ステップａ１１１では、最上位メニューから「エアコンを付ける」を選択する。図１０を参照。ステップａ１１２では、ＥＣＳがエアコンをオンにする。
ステップａ１１３では、環境温度が「××℃」に上がる。ステップａ１１４では、画面がテレビ画面に復帰する。ステップａ１２では、電力監視機能を行う。
【００７１】
図６を参照して、ステップａ１５では、テレビを見ている。図１６を参照。
ステップａ１６では、来客への応対機能を行う。
【００７２】
ステップａ１６１では、来客が玄関先インターホンの呼鈴を押す。図１９を参照。ステップａ１６２では、ＥＣＳが来客を検知する。ステップａ１６３では、画面がＥＣＳ操作画面に切替り、画面に「来客です」が表示される。ステップａ１６４では、最上位メニューに「インターホンにつなぐ」が表示される。図２０および図２１を参照。
【００７３】
ステップａ１７では、来客への対応機能を行う。ステップａ１７１では、最上位メニューから「インターホンにつなぐ」を選択する。図１０を参照。ステップａ１７２では、画面がインターホン画面に切替る。図２１を参照。ステップａ１７３では、来客とインターホン（スピーカーとマイクロホン）で話す。
【００７４】
ステップａ１８では、玄関ドアの操作機能を行う。
図７を参照して、ステップａ２２では、テレビを見ている。図１６参照。
【００７５】
ステップａ２３では、ヘルパー対応機能を行う。ステップａ２３１では、シミュレータ（ノートパソコン）側で環境時刻を進める。ステップａ２３２では、ＥＣＳが、スケジューリング機能によってヘルパーさんの来る時刻を検知する。
ステップａ２３３では、画面がＥＣＳ操作画面に切替り、画面に「間もなくヘルパーさんが来ます」が表示される。ステップａ２３４では、最上位メニューに「エアコンを２２℃（第２設定温度）で運転する」が表示される。
【００７６】
ステップａ２３５では、エアコンの設定温度を第１設定温度から第２設定温度に上げる。switch（ユーザ指示）による。
【００７７】
case 「エアコンを２２℃で運転する」を選択：
case タイムアウト：
ステップａ２３６では、ＥＣＳがエアコンの設定温度を２２℃に設定する。
【００７８】
case「エアコンを第１設定温度（１８℃）のまま運転する」を選択：
ステップａ２３７では、ＥＣＳがエアコンの設定温度をそのままにする。
【００７９】
ステップａ２４では、テレビを見ている。図１６を参照。
ステップａ２５では、無停電電源ＵＰＳ機能を行う。
【００８０】
ステップａ２５１では、シミュレータ（ノートパソコン）側で停電状態を設定する。ステップａ２５２では、ＥＣＳが停電を検知する。ステップａ２５３では、画面がＥＣＳ非常モード画面に切替り、画面に「停電しました」が表示される。図２２を参照。ステップａ２５４では、ＥＣＳが仮想エアコン等の大電力消費機器を無条件でオフにする。
【００８１】
ステップａ２６では、非常通報機能を行う。図２３を参照。
図８を参照して、ステップａ２６１では、数分待つ。ステップａ２６２では、画面がＥＣＳ操作画面に変わり、画面に「停電が復旧しないようです」が表示される。ステップａ２６３では、最上位メニューに「非常連絡先に電話する」「もう少し様子を見る」が表示される。図２３を参照。
【００８２】
ステップａ２６４では、switch（ユーザ指示）による。３つの場合ａ２６５，ａ２６７，ａ２６８がある。
【００８３】
case「非常連絡先に電話する」を選択：
ステップａ２６５では、ＥＣＳが非常連絡先に自動的に電話を架ける。ステップａ２６６では、非常連絡先と電話（スピーカーとマイクロホン）で話す。
【００８４】
case「もう少し様子を見る」を選択：
ステップａ２６７では、そのまま待機する。図２３を参照。
【００８５】
case タイムアウト：
ステップａ２６８では、ＥＣＳが非常連絡先に自動的に電話を架ける。ステップａ２６９では、ＥＣＳが自動音声にて支援要請する。
【００８６】
ステップａ２７では、停電からの自動復旧機能を行う。ステップａ２７１では、シミュレータ（ノートパソコン）側で、ＵＰＳが停電復帰を検出すると、ステップａ２７２では、ＥＣＳが停電からの復帰を検知する。
【００８７】
ステップａ２７３では、画面がＥＣＳ操作画面に変わり、画面に「停電から復帰しました」が表示される。図２４を参照。ステップａ２７４では、ＥＣＳが仮想家電製品（仮想エアコン等）の電源を自動的に復旧する。ステップａ２７５では、最上位メニューに「非常連絡先に電話する」が表示される。
【００８８】
ステップａ２７６では、switch（ユーザ指示）による。２つの場合ａ２７６１，ａ２７７１がある。
【００８９】
case「非常連絡先に電話する」を選択：
ステップａ２７６１では、ＥＣＳが非常連絡先に自動的に電話を架ける。ステップａ２７６２では、非常連絡先と電話（スピーカーとマイク）で話す。
【００９０】
case タイムアウト：
ステップａ２７７１では、ＥＣＳが非常連絡先に自動的に電話を架ける。ステップａ２７７２では、ＥＣＳが自動音声にて停電復帰を連絡する。
【００９１】
ステップａ２８では、行動パターン学習機能を行う。ステップａ２８１では、シミュレータ（ノートパソコン）側で環境時刻を無理矢理夜半に設定する（進める）。
【００９２】
ステップａ２９では、行動パターン学習機能をデモする。ステップａ２９１では、呼気スイッチ１を使って操作介入する。ステップａ２９２では、画面がＥＣＳ操作画面に変わり、最上位メニューに「就寝する」が表示される。図１０（２）を参照。
【００９３】
ステップａ３０では、行動パターン学習機能をデモする。
ステップａ３０１では、最上位メニューから「就寝する」を選択する。図１０（２）を参照。
【００９４】
ステップａ３０２では、ＥＣＳが自動的にテレビ、照明の電源をオフにし、画面がＥＣＳ待機画面に切替る。
【００９５】
図９は、環境制御装置２によって達成される対話処理メニューの動作を説明するための階層構造を示す図である。図９の初期メニューの表示手段６による画面の画像５１には、ＥＣＳ待機画面およびリマインダによる被呼者の電話番号およびヘルパ訪問の日程などが表示される。このような初期画像５１を、被支援者が見ることによって、予定の把握などを行うことができる。初期画像５１に、図１０（１）および図１０（２）に示される昼間用トップメニューの画像５３および深夜用トップメニューの画像５４が表示される。昼間用トップメニューの画像５３に関連して、電話操作５５、インターホン操作５６、テレビ操作５７、リマインダ（メモ）操作５８、空気調和装置であるエアコン操作５９およびその他の機器操作６０の各画像が表示される。
【００９６】
電話操作５５の画面に関連して、電話機からダイアルする画像６１、リマインダからダイアルする画像６２、電話番号でダイアルする画像６３が表示される。テレビ操作の画像５７に関連してチャンネル切替えメニューの画像６４が表示される。
【００９７】
図４〜図８の操作シナリオにおける図１０〜図２４の画像の内容は、事象であるイベント対応メニューと対話処理メニューとに対応して、次のように示されている。
【００９８】
【表６】

【００９９】
【表７】

【０１００】
図１０は、昼間用および夜間用のトップメニューの画像を示す図である。図１１は、「テレビ操作」メニューの画像を示す図である。図１２は、「チャンネル切替え」メニューを示す画像である。図１３は、電話着信イベント対応メニューの画像を示す図である。図１４は、操作介入イベント（電話中）対応メニューの画像を示す図である。図１５は、電話切断イベント対応メニューの画像を示す図である。図１６は、操作介入イベント（ＴＶ視聴中）対応メニューの画像を示す図である。図１７は、空気調和装置による温度警告イベント対応メニューの画像を示す図である。図１８は、空気調和装置である「エアコン操作」メニューの画像を示す図である。図１９は、インターホン呼鈴イベント対応メニューの画像を示す図である。図２０は、「インターホン操作」メニューの画像を示す図である。図２１は、操作介入インターホン（インターホン通話中）対応メニューの画像を示す図である。図２２は、停電イベント対応メニューの画像を示す図である。図２３は、非常通報イベント対応メニューの画像を示す図である。図２４は、停電イベント対応メニューの画像を示す図である。
【０１０１】
図２５〜図３２は、環境制御装置２の対話処理フローの動作を説明するための図である。先ず図２５のように、ステップｂ０では、環境制御装置の対話処理フローが開始される。
【０１０２】
ステップｂ１では、表示装置の状態を待避する。
ステップｂ２では、表示装置の画面をＥＣＳ操作画面にする。
【０１０３】
ステップｂ３では、画面スタックにメニュー画面を待避させる。
ステップｂ４では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。
【０１０４】
ステップｂ５では、画面オブジェクトに基づきメニュー画面を表示する。
ステップｂ６では、for（戻るが選択されるまで）、次の動作が行われる。ステップｂ６１では、ユーザ指示に基づき下位メニューに遷移する。
switch（メニューの選択結果）による。
【０１０５】
case「電話操作」が選択された場合：
ステップｂ６１１では、画面スタックにメニュー画面を待避させる。ステップｂ６１２では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｂ６１３では、画面オブジェクトに基づきメニュー画面を表示する。
【０１０６】
ステップｂ６１４では、for（戻るが入力されるまで）、次の動作が行われる。ステップｂ６１４１では、ユーザ指示に基づき下位メニューに遷移する。
switch（メニューの選択結果）による。
【０１０７】
case「電話帳からダイヤルする」が選択された場合：
ステップｃ１では、画面スタックにメニュー画面を待避させる。
【０１０８】
ステップｃ２では、電話帳から電話番号一覧を取得する。
ステップｃ３では、電話番号一覧に基づきメニュー画面を表示する。
【０１０９】
ステップｃ４では、ユーザ指示に基づき電話を架ける。
switch（メニューの選択結果）
【０１１０】
case「電話番号１」が選択された場合：
ステップｃ４１では、選択された電話番号に電話を架ける。ステップｃ４２では、相手先と通話する。ステップｃ４３では、電話を切る。
【０１１１】
case 「戻る」が選択された場合：
ステップｃ４４では、何もしない。
ステップｃ５では、画面スタックからメニュー画面を復帰させる。
【０１１２】
case「リマインダからダイヤルする」が選択された場合：
ステップｃ６では、画面スタックにメニュー画面を待避させる。ステップｃ７では、リマインダから電話番号一覧を取得する。ステップｃ８では、電話番号一覧に基づきメニュー画面を表示する。
【０１１３】
図２６を参照して、ステップｃ９では、ユーザ指示に基づき電話を架ける。
switch（メニューの選択結果）による。
【０１１４】
case「電話番号１」が選択された場合：
ステップｃ９１では、選択された電話番号に電話を架ける。ステップｃ９２では、相手先と通話する。ステップｃ９３では、電話を切る。
【０１１５】
case「戻る」が選択された場合：
ステップｃ９４では、何もしない。
ステップｃ１０では、画面スタックからメニュー画面を復帰させる。
【０１１６】
case「電話番号でダイヤルする」が選択された場合：
ステップｃ１０１では、画面スタックにメニュー画面を待避させる。ステップｃ１０２では、テンキー形式の入力画面を表示する。ステップｃ１０３では、入力された電話番号に電話を架ける。ステップｃ１０４では、相手先と通話する。ステップｃ１０５では、電話を切る。ステップｃ１０６では、画面スタックからメニュー画面を復帰させる。
【０１１７】
case「戻る」が選択された場合：
ステップｃ１０７では、何もしない。
break ２
【０１１８】
ステップｂ６１４２では、画面スタックからメニュー画面を復帰させる。
case「インターホン操作」が選択された場合：
ステップｂ６２１では、画面スタックにメニュー画面を待避させる。ステップｂ６２２では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。
【０１１９】
ステップｂ６２３では、画面オブジェクトに基づきメニュー画面を表示する。
ステップｂ６２４では、for（戻るが入力されるまで）
ステップｂ６２４１では、ユーザ指示に基づき下位メニューに遷移する。
switch（メニューの選択結果）による。
【０１２０】
case「インターホンをつなぐ」が選択された場合：
ステップｄ１では、表示装置の画面をインターホン画面に切替える。
【０１２１】
ステップｄ２では、インターホンと接続する。
ステップｄ３では、インターホンで通話する。
【０１２２】
図２７を参照して、ステップｄ４では、インターホンを切る。ステップｄ５では、表示装置の画面をＥＣＳ操作画面に切替える。
【０１２３】
case 「インターホンを切る」が選択された場合：
ステップｄ６では、インターホンを切る。
【０１２４】
case「玄関ドアを施錠する」が選択された場合：
ステップｄ７では、玄関ドアを施錠する。
【０１２５】
case「玄関ドアを解錠する」が選択された場合：
ステップｄ８では、玄関ドアを解錠する。
【０１２６】
case「戻る」が選択された場合：
ステップｄ９では、何もしない。
break ２
【０１２７】
ステップｂ６２５では、画面スタックからメニュー画面を復帰させる。
case「テレビ操作」が選択された場合：
ステップｂ６３１では、画面スタックにメニュー画面を待避させる。
【０１２８】
ステップｂ６３２では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｂ６３３では、画面オブジェクトに基づきメニュー画面を表示する。
【０１２９】
ステップｂ６３４では、for（戻るが入力されるまで）、次の動作が行われる。
【０１３０】
ステップｂ６３４１では、ユーザ指示に基づき下位メニューに遷移する。
switch（メニューの選択結果）による。
【０１３１】
case「チャンネル切替え」が選択された場合：
ステップｅ１では、画面スタックにメニュー画面を待避させる。ステップｅ２では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｅ３では、画面オブジェクトに基づきメニュー画面を表示する。
ステップｅ４では、ユーザ指示に基づきチャンネルを切替える。
switch（メニューの選択結果）による。
【０１３２】
case「２：ＮＨＫ総合」が選択された場合など：
図２８を参照して、ステップｆ１では、表示装置の画面をテレビ画面に切替える。ステップｆ２では、画面スタックから不要なメニュー画面を削除する。ステップｆ３では、イベント待ちモードに遷移する。
return
【０１３３】
case「戻る」が入力された場合：
ステップｆ４では、何もしない。
ステップｅ５では、画面スタックからメニュー画面を復帰させる。
【０１３４】
case「音を大きくする」が選択された場合：
ステップｅ６では、表示装置の画面をテレビ画面に切替える。ステップｅ７では、表示装置の音量を「××」だけ上げる。ステップｅ８では、画面スタックから不要なメニュー画面を削除する。ステップｅ９では、イベント待ちモードに遷移する。
return
【０１３５】
case「音を小さくする」が選択された場合：
ステップｅ１０では、表示装置の画面をテレビ画面に切替える。ステップｅ１１では、表示装置の音量を「××」だけ下げる。ステップｅ１２では、画面スタックから不要なメニュー画面を削除する。ステップｅ１３では、イベント待ちモードに遷移する。
return
【０１３６】
case「テレビを消す」が選択された場合：
ステップｅ１４では、表示装置の画面をテレビ画面に切替える。ステップｅ１５では、表示装置の電源をＯＦＦにする。ステップｅ１６では、画面スタックから不要なメニュー画面を削除する。ステップｅ１７では、イベント待ちモードに遷移する。
return
【０１３７】
case「消音」が選択された場合：
ステップｅ１８では、表示装置の画面をテレビ画面に切替える。ステップｅ１９では、表示装置の音量を「消音」にする。ステップｅ２０では、画面スタックから不要なメニュー画面を削除する。ステップｅ２１では、イベント待ちモードに遷移する。
return
【０１３８】
case「戻る」が選択された場合：
図２９を参照して、ステップｅ２２では、何もしない。
break ２
【０１３９】
ステップｂ６３５では、画面スタックからメニュー画面を復帰させる。
case「リマインダ操作」が選択された場合：
ステップｂ６４１では、画面スタックにメニュー画面を待避させる。ステップｂ６４２では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｂ６４３では、画面オブジェクトに基づきメニュー画面を表示する。
【０１４０】
ステップｂ６４４では、for（戻るが入力されるまで）、次の動作が行われる。
【０１４１】
ステップｂ６４４１では、ユーザ指示に基づき下位メニューに遷移する。
switch（メニューの選択結果）による。
【０１４２】
case「会話録音を再生する」が選択された場合：
ステップｇ１では、画面スタックにメニュー画面を待避させる。ステップｇ２では、リマインダから会話録音一覧を取得する。ステップｇ３では、会話録音一覧に基づき、メニュー画面を表示する。ステップｇ４では、for（戻るが選択されるまで）、次の動作が行われる。
【０１４３】
ステップｇ４１では、ユーザ指示に会話録音を再生する。
switch（メニューの選択結果）による。
【０１４４】
case「会話録音１」が選択された場合：
ステップｇ４１１では、選択された会話録音を再生する。
【０１４５】
case「戻る」が選択された場合：
ステップｇ４１２では、何もしない。
break ２
【０１４６】
ステップｇ４２では、画面スタックからメニュー画面を復帰させる。
case「メッセージを開く」が選択された場合：
ステップｇ４３では、画面スタックにメニュー画面を待避させる。ステップｇ４４では、リマインダからメッセージ一覧を取得する。ステップｇ４５では、メッセージ一覧に基づきメニュー画面を表示する。
【０１４７】
ステップｇ４６では、for（戻るが選択されるまで）、次の動作が行われる
ステップｇ４６１では、ユーザ指示にメッセージを表示する。
switch（メニューの選択結果）による。
【０１４８】
case「メッセージ１」が選択された場合：
図３０を参照して、ステップｇ４６１１では、選択されたメッセージを表示する。
【０１４９】
case「戻る」が選択された場合：
ステップｇ４６１２では、何もしない。
break ２
【０１５０】
ステップｇ４６１３では、画面スタックからメニュー画面を復帰させる。
case「戻る」が選択された場合：
ステップｇ４６１４では、何もしない。
break ２
【０１５１】
ステップｂ６４５では、画面スタックからメニュー画面を復帰させる。
case「エアコン操作」が選択された場合：
ステップｂ６５１では、画面スタックにメニュー画面を待避させる。ステップｂ６５２では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｂ６５３では、画面オブジェクトに基づきメニュー画面を表示する。
【０１５２】
ステップｂ６５４では、for（戻るが入力されるまで）、次の動作が行われる。ステップｂ６５４１では、ユーザ指示に基づき下位メニューに遷移する。
switch（メニューの選択結果）
【０１５３】
case「エアコンを付ける」が選択された場合：
ステップｈ１では、エアコンの電源をＯＮにする。
【０１５４】
case「エアコンを切る」が選択された場合：
ステップｈ２では、エアコンの電源をＯＦＦにする。
【０１５５】
case「エアコンの設定温度を変更する」が選択された場合：
ステップｈ３では、画面スタックにメニュー画面を待避させる。
【０１５６】
ステップｈ４では、テンキー形の入力画面を表示する。
ステップｈ５では、エアコンの設定温度を変更する。
ステップｈ６では、画面スタックからメニュー画面を復帰させる。
【０１５７】
case「冷房モードにする」が選択された場合：
ステップｈ７では、エアコンを冷房モードにする。
【０１５８】
case「暖房モードにする」が選択された場合：
ステップｈ８では、エアコンを暖房モードにする。
【０１５９】
case「除湿モードにする」が選択された場合：
図３１を参照して、ステップｈ９では、エアコンを除湿モードにする。
【０１６０】
case「戻る」が選択された場合：
ステップｈ１０では、何もしない。
break ２
【０１６１】
ステップｂ６５５では、画面スタックからメニュー画面を復帰させる。
case「その他の機器操作」が選択された場合：
ステップｂ６６１では、画面スタックにメニュー画面を待避させる。
【０１６２】
ステップｂ６６２では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。
【０１６３】
ステップｂ６６３では、画面オブジェクトに基づきメニュー画面を表示する。
ステップｂ６６４では、for（戻るが入力されるまで）、次の動作が行われる。
ステップｂ６６４１では、ユーザ指示に基づき下位メニューに遷移する。
switch（メニューの選択結果）
【０１６４】
case「ドライヤー操作」が選択された場合：
ステップｉ１では、画面スタックにメニュー画面を待避させる。ステップｉ２では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｉ３では、画面オブジェクトに基づきメニュー画面を表示する。
【０１６５】
ステップｉ４では、for（戻るが選択されるまで）、次の動作が行われる。
ステップｉ４１では、ユーザ指示に会話録音を再生する。
switch（メニューの選択結果）
【０１６６】
case「機器操作１」が選択された場合：
ステップｉ４２では、選択された機器操作を行う。
【０１６７】
case「戻る」が選択された場合：
ステップｉ４３では、何もしない。
break ２
【０１６８】
ステップｉ５では、画面スタックからメニュー画面を復帰させる。
case「戻る」が選択された場合：
ステップｉ６では、何もしない。
break ２
【０１６９】
ステップｂ６６５では、画面スタックからメニュー画面を復帰させる。
図３２を参照して、case「戻る」が選択された場合：
ステップｂ６６５１では、何もしない。
break ２
【０１７０】
ステップｂ７では、画面スタックからメニュー画面を復帰させる。
図３３〜図３６は、環境制御装置２のイベント処理ループを示す図である。ステップｑ０からステップｑ１に進み、発生したイベントに応じて情報家電（ハードウエア）を監視・制御する。
【０１７１】
ステップｑ１１では、スイッチによるイベントの種類を判断する。電話着信イベントであるとき、ステップｑ１１１では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｑ１１２では、画面オブジェクトに基づきメニュー画面を表示する。ステップｑ１１３では、ユーザ指示に基づき電話に応答する。スイッチによるメニューの選択結果において「電話に出る」が選択された場合、ステップｒ１では、表示装置の画面をテレビ画面に切替え、音量をゼロ（消音）にする。ステップｒ２では、通話を接続する。「電話を無視する」が選択された場合、ステップｒ３では、相手先が電話を切るか、タイムアウトを待って通話を切断する。「留守応答をする」が選択された場合、およびタイムアウトになった場合、ステップｒ４では、通話を接続する。ステップｒ５では、自動音声にて留守応答する。ステップｒ６では、相手先からの伝言メッセージを自動録音する。ステップｒ７では、相手先が電話を切るか、タイムアウトを待って通話を切断する。ステップｒ８では、リマインダに通話記録を残す。ステップｑ１１４では、表示装置の画面・音量を直前の状態に復帰させる。
【０１７２】
電話切断イベントであるとき、ステップｑ１２１では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｑ１２２では、画面オブジェクトに基づきメニュー画面を表示する。ステップｑ１２３では、ユーザ指示に基づき電話の後処理を行う。スイッチによるメニューの選択結果において「了解」が選択された場合、およびタイムアウトになった場合、ステップｒ９では、通話録音中の場合は自動録音を終了する。ステップｑ１２４では、表示装置の画面・音量を直前の自動録音に復帰させる。
【０１７３】
インターホン呼鈴イベントであるとき、ステップｑ１３１では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｑ１３２では、画面オブジェクトに基づきメニュー画面を表示する。ステップｑ１３３では、ユーザ指示に基づきインターホンに応答する。
【０１７４】
図３４を参照して、スイッチによるメニューの選択結果において「インターホンに出る」が選択された場合、ステップｒ１１では、表示装置の画面をインターホン画面に切替える。ステップｒ１２では、インターホンとの通話を接続する。「留守応答をする」が選択された場合、およびタイムアウトになった場合、ステップｒ１３ではインターホンとの通話を接続する。ステップｒ１４では、自動音声にて留守応答する。ステップｒ１５では、来客の伝言メッセージを自動録音する。ステップｒ１６では、インターホンとの通話を切断する。ステップｒ１７では、リマインダに来客記録を残す。ステップｑ１３４では、表示装置の画面・音量を直前の状態に復帰させる。
【０１７５】
インターホン切断イベントであるとき、ステップｑ１４１では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｑ１４２では、画面オブジェクトに基づきメニュー画面を表示する。ステップｑ１４３では、ユーザ指示に基づきインターホン通話の後処理を行う。スイッチによるメニューの選択結果において「了解」が選択された場合、およびタイムアウトになった場合、ステップｒ１８では、通話録音中の場合は自動録音を終了する。ステップｑ１４４では、表示装置の画面・音量を直前の状態に復帰させる。
【０１７６】
電気錠施錠忘れイベントであるとき、また、動作が行われる。
図３５を参照して、停電イベントであるとき、ステップｑ１５１では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｑ１５２では、画面オブジェクトに基づきメニュー画面を表示する。ステップｑ１５３では、停電を報告する。スイッチによるメニューの選択結果において「戻る」が選択された場合、およびタイムアウトになった場合、ステップｒ２１では何もしない。ステップｑ１５４では、表示装置の画面・音量を直前の状態に復帰させる。
【０１７７】
復電イベントであるとき、ステップｑ１６１では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｑ１６２では、画面オブジェクトに基づきメニュー画面を表示する。ステップｑ１６３では、ユーザ指示に基づき復電時の対策をする。スイッチによるメニューの選択結果において「非常連絡先に電話する」が選択された場合、ステップｒ２２では、非常連絡先に電話する。ステップｒ２３では、自動音声にて復電した旨を報告する。ステップｒ２４では、電話を切る。「戻る」が選択された場合、ステップｒ２５では何もしない。
【０１７８】
非常通報イベントであるとき、ステップｑ１７１では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｑ１７２では、画面オブジェクトに基づきメニュー画面を表示する。ステップｑ１７３では、ユーザ指示に基づき非常通報を行う。スイッチによるメニューの選択結果において「非常連絡先に電話する」が選択された場合、ステップｒ２６では、非常連絡先に電話する。ステップｒ２７では、自動音声にて停電が復旧しない旨を報告する。ステップｒ２８では、電話を切る。「もう少し様子を見る」が選択された場合、および「戻る」が選択された場合、ステップｒ２９では何もしない。ステップｑ１７４では、表示装置の画面・音量を直前の状態に復帰させる。
【０１７９】
電力超過イベントであるとき、また、動作が行われる。
図３６を参照して、温度警告イベントであるとき、ステップｑ１８１では、エキスパートシステムに問合せ、最適化された画面オブジェクトを取得する。ステップｑ１８２では、画面オブジェクトに基づきメニュー画面を表示する。ステップｑ１８３では、ユーザ指示に基づき温度警告への対応を行う。スイッチによるメニューの選択結果において「エアコンをＯＮにする」が選択された場合、ステップｒ３１では、仮想エアコン（シミュレータ）に電源をＯＮにするよう指示する。「エアコンを通常モードにする」が選択された場合の動作が行われる。
【０１８０】
リマインダ・プロセスによるリマインダ・イベントであるときの動作が行われる。
【０１８１】
図３７および図３８は、環境制御装置２のエキスパートシステム２２によって達成されるエキスパートシステムプロセスの処理フローを示す図である。図３７を参照して、ステップｍ０では、エキスパートシステム・プロセスの処理フローを開始する。ステップｍ１では、ＥＣＳプロセス／見守りプロセスからの要求に応じてメニュー（コマンドリスト）の最適化／日常逸脱検知を行う。
for（他プロセスからの要求を待つ）
【０１８２】
ステップｍ２では、要求の種類を実行する。
ステップｍ３では、switch（メニューの種類）
【０１８３】
case「チャンネル切替え」メニュー：
ステップｍ４では、過去のチャンネル切替え履歴を取得する。ステップｍ５では、過去のチャンネル切替えの曜日／時刻などを参考にしてチャンネルの優先度を計算する。
ステップｍ６では、最適化したメニュー（画面オブジェクト）を返却する。
【０１８４】
case「電力超過イベント」対応メニュー：
ステップｍ７では、仮想デバイスの状態を取得する。ステップｍ８では、各機器の現在の稼動状態とスペックにより節電操作可能な機器候補を判断、過去の機器稼動パターンの分析結果に基づき節電機器の優先度を計算する。
ステップｍ９では、最適化したメニュー（画面オブジェクト）を返却する。
【０１８５】
case「電力超過解消イベント」対応メニュー：
ステップｍ１０では、仮想デバイスの状態を取得する。ステップｍ１１では、各機器の現在の稼動状態とスペックにより節電操作可能な機器候補を判断、過去の機器稼動パターンの分析結果に基づき節電機器の優先度を計算する。ステップｍ１２では、最適化したメニュー（画面オブジェクト）を返却する。
【０１８６】
case「電話帳からダイヤルする」メニュー：
ステップｍ１３では、過去のダイヤル履歴を取得する。ステップｍ１４では、過去にダイヤルした相手の分析結果に基づき電話番号の候補を推定する。ステップｍ１５では、最適化したメニュー（画面オブジェクト）を返却する。
【０１８７】
case「リマインダからダイヤルする」メニュー：
ステップｍ１６では、過去のダイヤル履歴を取得する。ステップｍ１７では、過去にダイヤルした相手の分析結果に基づき電話番号の候補を推定する。ステップｍ１８では、最適化したメニュー（画面オブジェクト）を返却する。
【０１８８】
default:
図３８を参照して、ステップｍ１９では、何もしない。
【０１８９】
case 日常逸脱検知：
ステップｍ４１では、仮想デバイスの状態を取得する。ステップｍ２では、特定時間内に実行されたアクションの履歴を取得する。ステップｍ３では、取得した情報を分析し日常行動からの逸脱度合いを計算する。
ステップｍ４では、switch（逸脱度合い）
【０１９０】
case 高い：
ステップｍ５１では、見守りプロセスに対して「異常事態」を返却する。
【０１９１】
default:
ステップｍ５２では、見守りプロセスに対して「異常なし」を返却する。
【０１９２】
図３９は、環境制御装置２によって実行される見守り機能プロセスの処理フローを示す図である。ステップｎ０では、見守りプロセスの処理フローを開始する。ステップｎ１では、定期的にエキスパートシステムに問合せ日常行動からの逸脱を監視する。
【０１９３】
for（３０分おきに）
ステップｎ２では、エキスパートシステムに日常行動からの逸脱がないかを問合せる。
ステップｎ３では、switch（エキスパートシステムからの回答）
【０１９４】
case 逸脱あり：
ステップｎ４では、リマインダに文字メモを登録する。ステップｎ５では、文字メモにアクションを設定する。ステップｎ６では、文字メモにアクションを追加する。ステップｎ７では、リマインダから渡されたイベントＩＤを使って見守りイベントを発生させる。
【０１９５】
case 異常なし：
ステップｎ８では、何もしない。
【０１９６】
図４０は、環境制御装置２によって実行される実デバイスの処理フローの動作を説明するための図である。ステップｐ０では、実デバイス・プロセスの処理フローを開始する。ステップｐ１では、ＥＣＳプロセスからの要求に応じて実デバイスの制御を行うとともに、ハードウェア割込みに対応したイベントを発生させる。
【０１９７】
for（ＥＣＳプロセスからの要求およびハードウェア割込みを待つ）
ステップｐ２では、switch（機能種別）
【０１９８】
case ハードウェア割込みのハンドリング：
ステップｐ３では、switch（ハードウェア割込みの種類）
【０１９９】
case 電話着信：
ステップｐ４では、電話着信イベントを発生させる。
【０２００】
case 電話切断：
ステップｐ５では、電話切断イベントを発生させる。
【０２０１】
case インターホン呼鈴：
ステップｐ６では、インターホン呼鈴イベントを発生させる。
【０２０２】
case インターホン切断：
ステップｐ７では、インターホン切断イベントを発生させる。
【０２０３】
case ハードウェアの制御：
ステップｐ８では、switch（要求の種類）
【０２０４】
case 電話を架ける：
ステップｐ９では、ＴＡＰＩモデムを使って電話を架ける。ステップｐ１０では、通話を接続する。
【０２０５】
case 電話を切る：
ステップｐ１１では、ＴＡＰＩモデムを使って電話を切る。
【０２０６】
case インターホンをつなぐ：
ステップｐ１２では、ＴＡＰＩモデムを使ってインターホンをつなぐ。
【０２０７】
case インターホンを切る：
ステップｐ１３では、ＴＡＰＩモデムを使ってインターホンを切る。
【０２０８】
case 玄関ドアを施錠する：
ステップｐ１４では、ＴＡＰＩモデムを使ってインターホンに電話をかける。ステップｐ１５では、玄関ドアを施錠する。ステップｐ１６では、インターホンを切る。
【０２０９】
case 玄関ドアを解錠する：
ステップｐ１７では、ＴＡＰＩモデムを使ってインターホンに電話を架ける。ステップｐ１８では、玄関ドアを解錠する。ステップｐ１９では、インターホンを切る。
【０２１０】
case テレビのリモコン操作：
ステップｐ２０では、赤外線リモコンを使ってテレビを操作する。ステップｐ２１では、操作内容に応じて仮想テレビの状態を更新する。
【０２１１】
case 仮想デバイス操作：
ステップｐ２２では、コマンドに応じて仮想デバイスの状態を更新する。
【０２１２】
本発明では、上述の説明では、仮想デバイスに関連して本発明の実施の形態が説明されたけれども、本発明の実施の他の形態では、実際の電気機器である実デバイスが運転制御されるように構成されてもよいのは勿論である。
【０２１３】
環境制御装置２では、被支援者の操作性を向上するために、表示手段６では、電子機器の特性に対応して、たとえばその電子機器がオンの動作中であるならば、表示手段６では、その電子機器が次にオフになるためのオフのための操作のための表示を行うようにする。さらに環境制御装置２では、被支援者の個人のデータベースに基づき、その被支援者の生活パターンから、たとえば夜７時頃には、テレビジョン受信機４ｆをオンにする動作を行い、たとえば２チャネルのテレビジョン放送を聴取するというデータが、学習によってストアされる。操作手段１の操作によるテレビジョン受信機４ｆの動作の選択される頻度を、時計手段による期間経過に伴って学習する。したがってこのような被支援者のデータベースが作成されるようにして、各時刻でのテレビジョン受信機４ｆのオンおよびオフの動作と視聴されるテレビジョン受信チャネルとの頻度が高いほど、優先順位を高く定め、学習した時刻であるたとえば夜７時頃になれば、テレビジョン受信機４ｆのオンおよびオフ動作をする操作手段１によって表示手段６による選択スイッチの表示を優先順位が高い位置にもたらし、さらにその時刻において聴取される放送局のチャネルを選択するために操作手段１によって表示される表示手段６による選択スイッチの表示を優先順位が高い位置にもたらす。これによって操作性の向上を図ることができる。さらに被支援者のデータベースとして、日常の逸脱行為のほかに、その動作の異常を検出するように、データベースを利用することもまた可能である。このように本発明によれば、環境制御装置２における学習機能によって、被支援者が、今、何をしたいかを素早く演算して求め、その操作の可能性が高い選択入力部を、表示装置６によって高い優先順位で表示し、これによって被支援者は、遠隔制御手段８，９またはスピーカ／マイクロホン１１を用いて入力操作し易くすることを可能にする。特に本発明では、電子機器の動作状態、被支援者が存在する部屋の温度などの環境状態、前述の時刻、さらには１日、１週間および１年間などの計時をする時計手段の時刻データなどに基づき、学習によって得られたデータから、被支援者が希望する高い優先順位の操作を推論して演算し、求める。さらに現在の状況と被支援者の入力操作とから、前述の推論した入力操作と大きく乖離を推論することもまた可能である。被支援者が操作する動作を高い優先順位で推論するには、電子機器の状態、部屋の温度などの環境状態、時計手段およびさらには被支援者の体温などの状況に基づいて求めるようにしてもよい。
【０２１４】
さらに本発明では、このような各種の状況の推論結果に基づき、たとえば空気調和装置によって被支援者が存在する部屋の温度が高い温度に到達しているにもかかわらず、被支援者が部屋の温度をさらに高くするように入力操作を行ったことを検出し、これによって被支援者が異常状態であることを判断するように構成することもまた、可能である。
【０２１５】
このような被支援者のための操作によるコマンドの推定を行い、こうして推定されたコマンドと、被支援者によって実際に入力操作された入力情報との類似度を演算して求め、こうして被支援者の異常状態が生じたかどうかを判断することができる。さらにこれらの被支援者のコマンド入力の学習を行う。これらのコマンド推定、類似度の演算およびコマンド学習を以下に説明する。先ず、コマンド推定を説明する。
【０２１６】
（Ｓ１）コマンドを推定すべき［日付、曜日、時刻］が与えられたとき、記憶されているコマンド事例について、（Ｔ１）〜（Ｔ３）に後述する事例信頼度と曜日類似度および時刻類似度を（Ｇ２）に後述する方法で合算し、その計算値をもってコマンド類似度とする。
【０２１７】
（Ｓ２）コマンド類似度の大きいものから事前に設定された個数のコマンドを提示する、あるいは、事前に設定された類似度の閾値を超えたコマンドを提示する、あるいはこの組合せ（両条件の論理積あるいは論理和）でコマンドを選択するなどの方法により、コマンドを推定する。
【０２１８】
（Ｓ３）（Ｓ２）において、（Ｔ４）に後述するようなコマンド階層情報を用いて、ある親コマンドの子コマンドがすべて（あるいは事前に設定した出現割合以上）（Ｓ２）のコマンド推定結果に現れるときには、複数の子コマンドに変わって親コマンドで代表することにより、類似かつ選択の曖昧性（揺らぎ）のあるコマンドを総括し、同じ推定候補数の中で、候補のバリエーション（異なった傾向＝異なったコマンド階層の異なったコマンドが出現する傾向）と推定の精度（推定すべきコマンドが候補の上位に含まれる傾向）の両立を図ることができる。
【０２１９】
図４１は、環境制御装置２おいて実行されるコマンドの階層情報を示す図である。コマンドの詳細さと上位・下位概念を、階層構造で定義される。
【０２２０】
（Ｓ４）（Ｓ３）で親コマンドで子コマンドを代表するだけでなく孫コマンドを（２世代に溯って）代表させることも同様に可能であるが、推定の精度が低下する（抽象度のズレが大きくなる）ので、このバランス（どの世代まで代表されるか）は（Ｔ４）で定義する階層の世代間ギャップの大きさに応じて適切に設定する。
【０２２１】
次に、類似度の定義を説明する。完全一致のとき１．０、完全不一致のとき０．０となる類似度尺度で説明する。
【０２２２】
（Ｔ１）事例信頼性：コマンド事例の登録後の時間経過に応じて信頼度を定義する。信頼度は過去に登録されたものほど低下する。たとえば、１カ月以内に登録されたものは１．０、３カ月以内は０．８、６カ月以内は０．５、１年以内は０．２、それ以上は０．０あるいは０．１などとし、これらの設定点以外の時間経過における信頼度は、ステップ状あるいは（Ｇ３）で後述するニューラルネットなどを用いた任意の連続関数で補完するように定義することができる。
【０２２３】
（Ｔ２）曜日類似度：曜日の差異による類似度を定義する。たとえば同じ曜日は１．０、違う曜日でも週末／週日の区別が同じものは０．７、それ以外は０．３などとする。利用者の生活パターンに応じた曜日区分（たとえば月・水・金は午後から用事の日とか、日曜と水曜が休業日とか）が設定された場合には、同じ曜日区分に属するものに個別の類似度を定義することもできる。区分毎の類似度の配分係数は（Ｇ３）で後述するニューラルネットなどを用いた任意の非線形結合関数で定義することができる。
【０２２４】
（Ｔ３）時刻類似度：時刻の差異による類似度を定義する。たとえば、５分以内は１．０、１５分以内は０．８、３０分以内は０．６、１時間以内は０．５、半日以内は０．３、それ以上は０．１などとし、これらの設定点以外の時間差による類似度は、（Ｔ１）と同じくステップ状あるいは任意の連続関数で補完できる。
【０２２５】
（Ｔ４）コマンド階層情報：コマンドの詳細さと上位・下位概念を階層構造が図４１に示したような構造で定義されている。たとえば、個別のチャネル設定コマンドが（Ｓ２）の結果に多く含まれ、一覧できる程度の候補リストがチャネル選択コマンドで埋められているような場合でも、これらに代わって、その上位にあたるチャネル設定コマンドを代表の推定結果とすることにより、チャネル設定コマンド以外のコマンド（たとえばエアコン停止コマンドなど）を一覧できる程度の候補リストの中に収めることが可能となる。
【０２２６】
コマンド学習を説明する。
（Ｇ１）コマンドの実行が行われたときには、その［日付、曜日、時刻、コマンド］のリストを記憶しておくことによりコマンド事例とする。
【０２２７】
（Ｇ２）合算の方法としては、各程度の乗算（類似度の定義を、完全一致が１．０、完全異質が０．０とするとき、すべてが完全一致＝１．０なら総計＝乗算も１．０となる）や加算（類似度の定義を、完全一致を０．０、差異が大きくなるほど類似度が無限に大きくなるような定義の場合。すべてが完全一致＝０．０なら総計＝加算も０．０となる）などの簡易な方法でもよいが、これらの複数の類似度を入力としてコマンド類似度を出力とする複数入力の非線形関数を、たとえば乗算のロジックに代わってニュートラルネットワークを用いて実装すれば、蓄積されているコマンド事例（および利用に従って追加される事例）に基づき学習させることも可能となる。
【０２２８】
（Ｇ３）（Ｇ２）で述べた合算の方法（異なる尺度の統合方法）の学習と並行して、あるいはその収束後、（Ｔ１）〜（Ｔ３）で述べた日時差、曜日差および時刻差から類似度を計算する非線形関数を、たとえばニュートラルネットを用いて実装・学習させることができる。
【０２２９】
【発明の効果】
本発明によれば、障害者などの被支援者による電子機器とその動作との選択の操作性を向上することが可能になる。
【０２３０】
本発明によれば、コスト低減が図られる。障害者であっても、健常者と同じ電子機器である製品（情報家電）を使うことが可能となることにより、機器選択の自由度が向上するとともにコストも低減される。また設定の容易化が図られる。電子機器の検知に関して、電力線や無線による情報家電の接続技術により、コンセントに繋いだりリセットボタンを押すだけで、機器が簡単にＥＣＳに検知されるような枠組みを提供して、電子機器のいわゆるプラグアンドプレイ（Plug and Play）が可能になる。さらに操作法の変更に関して、検知された電子機器の操作可能な機能は、ＥＣＳの画面から全て操作可能であるとともに、その操作方法を利用者自らが簡単に設定・変更できる方法を提供する。これにより、これまで電子機器の接続や設定変更を業者や支援者に頼っていたＥＣＳ利用者の自立性が大幅に向上する。本発明の考え方に従えば、ソフトウェアによって動作を記述できる機器（パソコンのようなもの）を中核とし、ＵＰＳ（無停電電源装置）を組合せ、かつ情報家電と情報のやり取りができるインターフェースを備えた装置において、ソフトウェア技術により、環境制御装置機能、見守り機能、省エネルギ機能、停電関連機能、設置工事容易化、設定容易化を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の全体の構成を示すブロック図である。
【図２】環境制御装置２の具体的な動作を示す図である。
【図３】環境制御装置２の全体制御プロセスのフローによる動作を示す図である。
【図４】本発明の図１〜図３に示される実施の形態における操作シナリオを示す図である。
【図５】本発明の図１〜図３に示される実施の形態における操作シナリオを示す図である。
【図６】本発明の図１〜図３に示される実施の形態における操作シナリオを示す図である。
【図７】本発明の図１〜図３に示される実施の形態における操作シナリオを示す図である。
【図８】本発明の図１〜図３に示される実施の形態における操作シナリオを示す図である。
【図９】環境制御装置２によって達成される対話処理メニューの動作を説明するための階層構造を示す図である。
【図１０】昼間用および夜間用のトップメニューの画像を示す図である。
【図１１】「テレビ操作」メニューの画像を示す図である。
【図１２】「チャンネル切替え」メニューを示す画像である。
【図１３】電話着信イベント対応メニューの画像を示す図である。
【図１４】操作介入イベント（電話中）対応メニューの画像を示す図である。
【図１５】電話切断イベント対応メニューの画像を示す図である。
【図１６】操作介入イベント（ＴＶ視聴中）対応メニューの画像を示す図である。
【図１７】空気調和装置による温度警告イベント対応メニューの画像を示す図である。
【図１８】空気調和装置である「エアコン操作」メニューの画像を示す図である。
【図１９】インターホン呼鈴イベント対応メニューの画像を示す図である。
【図２０】「インターホン操作」メニューの画像を示す図である。
【図２１】操作介入インターホン（インターホン通話中）対応メニューの画像を示す図である。
【図２２】停電イベント対応メニューの画像を示す図である。
【図２３】非常通報イベント対応メニューの画像を示す図である。
【図２４】停電イベント対応メニューの画像を示す図である。
【図２５】環境制御装置２の対話処理フローの動作を説明するための図である。
【図２６】環境制御装置２の対話処理フローの動作を説明するための図である。
【図２７】環境制御装置２の対話処理フローの動作を説明するための図である。
【図２８】環境制御装置２の対話処理フローの動作を説明するための図である。
【図２９】環境制御装置２の対話処理フローの動作を説明するための図である。
【図３０】環境制御装置２の対話処理フローの動作を説明するための図である。
【図３１】環境制御装置２の対話処理フローの動作を説明するための図である。
【図３２】環境制御装置２の対話処理フローの動作を説明するための図である。
【図３３】環境制御装置２のイベント処理ループを示す図である。
【図３４】環境制御装置２のイベント処理ループを示す図である。
【図３５】環境制御装置２のイベント処理ループを示す図である。
【図３６】環境制御装置２のイベント処理ループを示す図である。
【図３７】環境制御装置２のエキスパートシステム２２によって達成されるエキスパートシステムプロセスの処理フローを示す図である。
【図３８】環境制御装置２のエキスパートシステム２２によって達成されるエキスパートシステムプロセスの処理フローを示す図である。
【図３９】環境制御装置２によって実行される見守り機能プロセスの処理フローを示す図である。
【図４０】環境制御装置２によって実行される実デバイスの処理フローの動作を説明するための図である。
【図４１】コマンドの階層情報の構造を示す図である。
【符号の説明】
１ 呼気スイッチ
２ 環境制御装置
３ 電力線搬送手段
４ 電子機器
５ 表示装置
６ 表示手段
７ コントローラ
８，９ 遠隔制御手段
１１ スピーカ・マイクロホン
１２ シミュレータ用処理手段
１３ アナログ電話回線
１４ モデム
１５ デジタル公衆電話回線
１６ テレビドアホンシステム
２１ ユーザインターフェース
２２ エキスパートシステム
２３ デバイス監視制御システム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an adaptive operation support apparatus that performs operation support so that a supportee can select and perform operations of a plurality of types of electronic devices.
[0002]
[Prior art]
  CoveredResidual functions that can be moved by one's own intentions (for example, breathing, blinking, etc.), such as disabled persons who have difficulty in both limbs due to cervical spine injury and who are forced to live on the bed By using the latest mainly software technology, the environment control device used to operate the devices around us, using the function of gaze movement, voice, cheek muscle movement, etc.) The convenience can be improved.
[0003]
With the development of the latest information home appliance technology, it has become possible to operate home appliances via power lines and radio, and to feed back the status of the appliances. By using this for the environmental control device, an environmental control device that is more convenient than before can be realized.
[0004]
The next-generation environmental control device is used for the independent living of severely disabled people, which is the original target, but also for disabled people who can use hands, the elderly, and general healthy people, This device, which can operate an electronic device without moving and is easy to operate, is welcomed.
[0005]
A conventional environmental control device will be described by way of an example in which an input device that functions as a tubular switch, which is an exhalation switch, functions instead of two push button switches by blowing and sucking a tube. The device has a display that displays a two-digit number, and its initial state is “00”. When the exhalation switch is blown, the tenth digit increases by one each time it is blown, and changes from “00” → “10” → “20” →. If it is confirmed by “30” → and then blown further, the number of the first digit will change from “30” → “31” → “32” →. By blowing again, for example, “34” is fixed.
[0006]
These two-digit numbers are set, for example, as the 10th digit, 0 is a telephone, “00” is a telephone pickup, “01” is disconnected, and “02” to “09” are abbreviated numbers. Similarly, for other digits, "10": TV (television receiver) on, "11": TV off, "12": TV channel up, and so on. You can select the desired number even if you can't use your hands.
[0007]
These numbers lead to the operation of the actual electronic device described above. In an electronic device that can be operated by an infrared remote controller (remote control means), an infrared pulse is transmitted from the remote controller corresponding to the number, and the electronic device is operated. For electronic devices that cannot be used with a remote control, use a relay to directly turn the power on and off to operate the electronic device.
[0008]
After operation, the number on the display returns to “00” after a certain period of time. Therefore, there are many examples in which the telephone pickup that is required to respond first is assigned to “00”.
[0009]
The problems of such prior art are as follows.
・ It takes time to operate electronic devices.
・ It takes time to set up electronic devices.
-It may not be possible to confirm whether the electronic device is operating.
-The number of electronic devices that can be operated is limited.
・ Operation becomes impossible during a power failure.
・ Operation may not be possible when power is restored. For example, many people use air mats, but if the air mat is turned off due to a power failure, the air mat will not swell after recovery, so the breath switch cannot be operated.
[0010]
[Problems to be solved by the invention]
The purpose of the present invention is to make use of a remaining function that can be performed at the will of a supportee such as a disabled person, shorten the operation of an electronic device, and can be easily performed according to the situation Is to provide an operation support device.
[0011]
[Means for Solving the Problems]
  The present invention relates to an adaptive operation support device that causes each electronic device of a television receiver 4f capable of changing a television reception channel and an air conditioner 4a to perform each operation.
  (A) The television broadcast by the television receiver 4f is displayed, each electronic device and each operation of the television receiver 4f and the air conditioner 4a are displayed, and each electronic device and the operation of the electronic device are displayed. Display means 6 for displaying an interactive processing menu for selection, and further displaying each selected electronic device and each operation;
  (B) Operation means 1 comprising an exhalation switch,
  Has a tube to blow and breathe,
  An operation unit 1 in which a breathing operation is performed to select a menu item of the interactive processing menu displayed on the display unit 6, and a breathing operation is performed to determine the selected menu item;
  (C) environmental state detection means 25c, 27a for detecting the temperature of the room where the supportee exists,
  (D) environmental control means,
    (D1) having clock means for measuring time, day, week and year,
    (D2) connected to the power line carrier means 3 for transmitting and receiving electrical signals between the television receiver 4f and each electronic device of the air conditioner 4a via the power line,
    (D3) In response to the outputs of the operating means 1, the environmental state detecting means 25c, 27a, and the clock means, the electronic devices that can be selectively operated by the operating means 1 and signals representing the respective operations are output.,
    (d4) When receiving and viewing the television receiver 4f,
    (D4-1) The temperature detected by the environmental state detection means 25c, 27a is a predetermined value (XX ° C.)thanBelow isWasWhen (steps a9 to a114 in FIG. 5, FIG. 17), the screen of the display means 6 is changed to the first operation screen, and this first operation screen turns on the air conditioner 4a to the top menu of the menu items. When the menu item for turning on the air conditioner 4a is selected by the operating means 1, the output for causing the air conditioner 4a to be turned on is derived.
  The temperature detected by the environmental state detection means 25c, 27a is the predetermined value (XX ° C.)thanAbove isWasWhen the display means 6 returns to the TV screen,
    (D4-2) The air conditioner 4a is preset to a first set temperature (for example, 18 ° C.),
  When the predetermined time is reached by the clock means ([0075] to [0078], steps a22 to a237 in FIG. 7), the screen of the display means 6 is changed to the second operation screen. Display the air conditioner 4a to a second set temperature (for example, 22 ° C.) higher than the first set temperature on the top menu of
  When the menu item to be raised to the second set temperature is selected by the operation means 1, an output for operating the air conditioner 4a at the second set temperature is derived,
  When the operation means 1 selects to operate with the first set temperature, the output to operate with the first set temperature is derived,
    (D5) Learning the frequency with which the operation of the television receiver 4f by the operation of the operation means 1 is selected as time passes by the clock means, and based on the learning result,The order in which the frequency of the on / off operation of the television receiver 4f at each time and the television channel to be viewed is high is determined and learned.If it is time (for example, 7:00 pm), the television receiver 4fBy display means 6 operated by operating means 1 to turn on and offThe display of the selection switch is brought to a position with a higher priority, and further listening at that time.Television receptionChannel (eg 2 channels)The display of the selection switch by the display means 6 operated by the operation means 1 to selectBring it to a higher priority ([0026], [0213],10 to 10FIG. 12) Environmental control means;
  (E) An adaptive operation support apparatus including operation control means for causing a selected electronic device to perform a selected type of operation in response to an output of the environment control means.
  According to the present invention, the supportee operates the operation means in a plurality of types of operation modes, thereby selecting a plurality of electronic devices and selecting an operation of each electronic device. The environment control means causes the operation control means to operate the selected electronic device in the selected operation. The environmental control means infers an electronic device that is considered to have a higher priority desired by the supportee and its operation based on the environmental state detected by the environmental state detection means. The environment control means causes the display means to display the inferred electronic device and its operation in order from the highest priority, and also displays the selected electronic device and its operation by the display means. This makes it easy to operate the electronic device and its operation selection using the operating means.
[0013]
According to the present invention, the environment control device selects each of the plurality of electronic devices and the operation of each electronic device by performing the operation using a plurality of types of operation modes of the operation means, and the selected electronic device Are operated by the operation control means in the selected operation. Each electronic device that can be selected and each type of operation of each electronic device are displayed by the display means, and the electronic device after the selection and its operation are also displayed by the display means. In this way, selection of the operation of the electronic device by the supportee is facilitated.
[0014]
  Operation meansSuckThis is an air switch, and is configured to be operated by the breathing gas of the supportee, and can be operated differently depending on inspiration and expiration, or alternatively, the number of consecutive inspirations and expirations or the number of times within a predetermined time It is also possible to change the operation mode by changing.
[0015]
A device that can describe operations by software (such as a personal computer) is the core, combined with UPS (uninterruptible power supply), and an interface that can exchange information with information appliances (in the current information appliance plan, it is via a power line) A device equipped with the ECHONET standard, the LON standard, and wireless Bluetooth) is a so-called next-generation environmental control device of the present invention.
[0016]
  Environmental status related to the body of the person being supported by the environmental status detection meansIsThe temperature in the roomDegreeIn the order that they are likely to be selected so that when the detected temperature is low for the supportee, the environment is good, i.e. the temperature is raised to be appropriate for the body, Display means,SkyAir conditioningAnd, Its temperature riseSaku andIs displayed with higher priority. This further improves operability and enhances the environmental adaptation function..
[0019]
According to the present invention, a clock means is provided, and the order is set according to a time or a time zone such as morning, morning, noon, afternoon, evening, night, time after going to bed, etc. within a day, and thus according to daily operation, It is possible to improve the performance. Such daily operations can be learned and stored in the memory by the output of the operation means or the operation of the environment control means.
[0023]
Furthermore, according to the present invention, the support person is a handicapped person, for example, according to the date and time when the helper who is a caregiver visits, a state for optimally maintaining the environment in the room cared for by the helper. Makes it easy to choose. For example, when the caregiver visits, the temperature in the room of the supportee can be raised and the room environment can be prepared in advance so that bathing can be performed comfortably.
[0025]
  Further, the present invention is a means for learning a behavior pattern associated with the passage of time for each day, week, month or season, and creating a database of daily activities of the supportee,
  In response to the output of the database creation means, monitor the degree of deviation of the supportee's daily behavior from the database, and if the degree of deviation is large, abnormalStatusAn abnormality determination means for determining that a problem has occurred;
  In response to the output of the abnormality determining means, it includes notification means for informing when an abnormality occurs.
[0026]
According to the present invention, the daily behavior pattern of the supportee is learned with the passage of time, for example, in the morning, morning, noon, afternoon, evening, night, after going to bed, etc. A database of daily behavior patterns is created taking into account the frequency of electronic devices operated by the operation and the types of the operations, and the order is determined based on the learning results. As a result, the operability can be further improved.
[0027]
Further, according to the present invention, the degree of deviation of the supportee from the daily behavior pattern database is monitored, and when the degree of deviation is large, it is determined as abnormal, and the output of the abnormality determination means is notified by the notification means. The notification means is configured so that a signal is transmitted to the caregiver via, for example, a public telephone line, and the caregiver is notified by sound, visual observation, etc. that the supportee needs care. Thus, the daily deviation of the supportee can be monitored.
[0028]
  In addition, the present invention monitors functions essential to the life of the supportee,This is a vital function of monitoringThe information processing device further includes means for notifying by an informing means when an abnormality occurs.
[0029]
According to the present invention, the number of times the supportee goes to the toilet, the time interval for each visit to the toilet, the number of times the tap water is used and the time interval for using the tap water, and the length of time in the bath Etc., and it is possible to easily notify the supporter of the occurrence of an abnormality. By monitoring the essential functions of the supportee in this way, the supportee's safety is ensured and the watching function is achieved.
[0030]
In addition, the present invention is characterized in that an operation by the operating means for saving energy of the electronic device that changes the environment is displayed by the display means in response to the output of the environmental state detecting means.
[0031]
According to the present invention, the operation by the operation means for saving energy, such as an electronic device that changes the environment, for example, an air conditioner or a heating device, is displayed with a higher rank by the display means. In this way, by monitoring the set temperature and room temperature of the setting device of an air conditioner called an air conditioner, the power consumption is reduced and the energy saving effect is achieved within a range that does not impair the comfort of the user who is the person being supported. can do. The setting of the set temperature that can achieve such an energy saving effect is displayed in a high order by the display means.
[0032]
In addition, based on the characteristics of the electronic device, the display means displays the information in a high order so that the power of the device that may be on for a long time may be turned off. This also makes it possible to achieve an energy saving effect with good operability.
[0033]
The present invention further includes an uninterruptible power supply,
A commercial AC power supply is supplied to at least a predetermined electronic device at the time of a power failure.
[0034]
According to the present invention, by using an uninterruptible power supply, power is supplied to at least a predetermined electronic device necessary for the life of the supportee, for example, an air conditioner or an air bed operated by an electric motor. It is possible to prevent the electronic device from being suspended and to ensure the safety of the supportee.
[0039]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing the overall configuration of an embodiment of the present invention. The supported person uses a breathing function that is a remaining function, operates the exhalation switch 1 by inspiration and expiration, and has a plurality of types such as inspiration, expiration, continuous operation thereof, number of times per unit time, and the like. The operation mode can be performed. The output of the exhalation switch 1 is given to an environment control device (Environment Control System, abbreviated as ECS) 2 realized by a personal computer or the like. The environment control device 2 includes a plurality of types of electronic devices such as an air conditioner 4a, a ventilation fan 4b, an infrared remote control means 4d for a radio cassette tape recorder 4c, a lighting fixture 4e, etc. Furthermore, a television receiver 4f is included. In some cases, the alphabetic suffix of the reference mark is omitted, and only the numbers are indicated. The electronic device may be an electric heater, an illumination lamp, or the like, or may be an electronic device that can be operated by communication using a computer.
[0040]
This facilitates installation work. With regard to information home appliances, it is possible to link all the functions of electronic devices via ECS by linking with next-generation home appliances that can turn on / off the power and change various settings by external communication signals. And Regarding the power line communication, as one of the configurations for connecting the title information home appliance and ECS, a technology for performing data communication such as control signals using a power line at the same time as supplying power by simply inserting a plug into a household outlet. Applied. With respect to wireless communication, as one of the configurations for connecting the title information home appliance and ECS, a technique for performing data communication by wireless communication is applied. Concerning programmable infrared remote controls, home appliances (infrared remote control compatible type) that are electronic devices can be connected to ECS within the range that can be controlled by the remote control by using a programmable remote control that converts signals from the environmental control device into infrared signals. It applies to the configuration to be. For switch relay contacts that do not have an infrared interface, connect the switch by detecting the switch status, sending a signal to the radio or power line, or developing an adapter that activates the relay using these signals. Is possible. For communication, wireless communication may be used, wired communication may be used, optical communication may be used, and communication means having different configurations may be used in combination. Any configuration capable of transmitting and receiving signals such as electric signals and optical signals may be used.
[0041]
The environmental control device display means 5 is connected to the environmental control apparatus 2 and includes display means 6 realized by a cathode ray tube or a liquid crystal panel. The controller 7 receives a television broadcast and displays it by the display means 6. can do. The controller 7 is connected to the environment control device 2. Furthermore, it is also possible to control the operation of the controller 7 by remote control means 8 and 9 using infrared rays. The environment control device 2 may be provided with a processing unit 12 such as a personal computer to which a speaker and a microphone 11 are connected and which performs a simulator calculation. The processing means 12 can cause the simulated electronic device to function. The simulated electronic device may be, for example, an air conditioner, and the person to be supported performs a test operation to determine what kind of operation is performed in a simulated manner when the operation unit is operated. Advantageously, it can be implemented to determine whether to purchase an electronic device such as an air conditioner. In the present invention, the processing means 12 for such a simulated electronic device may be provided, but may not be provided. In the description below, an operation in which a simulated operation is performed using the processing unit 12 is also described. Such a simulated electronic device by the processing means 12 may be called a virtual device. The environmental control device 2 is also connected to a modem 14 via an analog public telephone line 13 and connected to a digital public telephone line 15. Furthermore, a TV door phone system 16 is connected in connection with the controller 7 and also connected to the environment control device 2. The TV door phone system 16 includes a TV door slave unit 17 and a master unit 18 thereof, and further includes an analog circuit adapter 19 connected to the modem 14. The television door system 16 can also achieve the function of a telephone set by the speaker / microphone 11 by the action of the environment control device 2.
[0042]
FIG. 2 is a diagram illustrating a specific operation of the environment control device 2. In the environment control apparatus 2, the user interface 21, the expert system 22, and the device monitoring control system 23 are achieved by executing software.
[0043]
The user interface 21 achieves the configurations and functions shown in Table 1 and Table 2.
[0044]
[Table 1]

[0045]
[Table 2]

[0046]
The expert system 22 achieves a steady function 25, a watch function 26, an energy saving function 27, and a power failure related function 28, which are basic functions.
[0047]
[Table 3]

[0048]
In Table 3, the UPS function represents an uninterruptible function.
The device monitoring control system 23 includes an infrared remote control 31 including infrared remote control means 8 and 9 and a control 32 for the modem 14. Furthermore, the simulator processing means 12 includes a device monitoring control system 33 that performs a virtual operation, a network control system 34, a virtual device control system 35, and the like.
[0049]
FIG. 3 is a diagram illustrating an operation according to the flow of the overall control process of the environment control apparatus 2. A timer 41 such as a clock means, a device such as an electronic device, a virtual device 42 by the simulator processing means 12, a user operation 43 of the supportee by the slave switch 1, and the like are given to the process 44 of the environment control device 2. In the device and the virtual device 42, a signal indicating the operation state of each electronic device is output and provided to the environment monitoring control device 2. The environment control apparatus 2 is also connected with a shared data database 45 and further includes an expert system 22. A learning calculation process is performed by the execution of the expert system 22.
[0050]
The present invention can be widely implemented in connection with operating means having other configurations as well as the exhalation switch 1.
[0051]
4 to 8 are diagrams showing operation scenarios in the embodiment shown in FIGS. 1 to 3 of the present invention. In the scene numbers a1 to a30 which are the steps in FIGS. 4 to 8, the operations shown in Tables 4 and 5 are achieved. In Tables 4 and 5, “TV” represents a television reception operation. The notebook personal computer represents a notebook portable personal computer used as an example for the simulation processing means 12.
[0052]
[Table 4]

[0053]
[Table 5]

[0054]
With reference to FIGS. 4 to 8, in step a0, the operation of the operation scenario is started. First, in FIG. 4, in step a <b> 1, a standby screen (clock and Reminder) of the environmental control device (hereinafter ECS) is displayed on the screen. In step a2, operation intervention is performed. In step a21, an operation intervention is performed using a breath switch (a software interrupt is input). In step a22, the screen is switched to the ECS operation screen, and “TV operation” is displayed in the top menu. See FIG.
[0055]
In step a3, the operation function of the television (information home appliance) is demonstrated. In step a31, "TV operation" is selected from the top menu.
[0056]
In step a32, there are two cases a321 and a331 regarding the switch (the state of the television power supply).
[0057]
When cace is OFF:
In step a321, the ECS turns on the TV power. See FIG. In step a322, a “channel” menu is displayed on the screen. See FIG. In step a323, the channel is changed using the exhalation switch.
In step a324, the screen is switched to the television screen.
[0058]
When case ON:
In step a331, the television power source is left as it is. In step a332, a “TV operation” menu is displayed on the screen. See FIG. In step a333, the channel is changed using the exhalation switch to adjust the volume. See FIG. 11 and FIG. In step a334, the screen is switched to the television screen.
[0059]
In step a4, a telephone call is received from the outside line.
In step a5, preparations are made for answering an external telephone. In step a51, the ECS detects a phone call.
[0060]
In step a52, the screen changes to an ECS operation screen, and the name of the other party is displayed on the screen. See FIG. In step a53, “answer a call” is displayed in the top menu.
[0061]
In step a6, a response function to an outside line telephone is demonstrated. There are two cases a61 and a65.
[0062]
case When taking a phone call:
In step a61, “answer a call” is selected from the top menu. The screen switches to the TV screen and the volume is zero (silence). In step a62, the user speaks by telephone (speaker and microphone).
[0063]
In step a63, the telephone is hung up. There are two times a631 and a641 for switch (how to hang up the phone). See FIG.
[0064]
Referring to Figure 5, if the case opponent cuts:
In step a631, the ECS detects disconnection of the telephone. See FIG. In step a632, the screen is switched to the television screen, and the volume is restored.
[0065]
case If you cut yourself:
In step a641, operation intervention is performed using an exhalation switch. The screen switches to the ECS operation screen, and “hang up” is displayed in the top menu. See FIG. In step a642, “hang up” is selected from the top menu. In step a643, the screen is switched to the television screen, and the volume is restored.
[0066]
case When not taking a call: See FIG.
In step a65, the telephone is hung up. There are two cases of switch (how to hang up the phone): a651 and a661.
[0067]
case When cutting from the opponent:
In step a651, the ECS detects disconnection of the telephone. See FIG. In step a652, the screen is switched to the television screen, and the volume is restored. In step a653, a power reception record is left.
[0068]
case If the opponent does not cut:
In step a661, ECS detects a timeout. In step a662, after answering with automatic voice, the telephone is hung up. See FIG. In step a663, the screen is switched to the television screen, and the sound is restored. In step a664, a power reception record is left.
[0069]
In step a9, the user is watching TV. See FIG.
In step a10, a temperature monitoring function is performed. In step a101, the environmental temperature (room temperature) is lowered to “xx ° C.” on the simulator (notebook personal computer) side. In step a102, the ECS detects a decrease in environmental temperature. In step a103, the screen is switched to the ECS operation screen, and “the room temperature has dropped to xx ° C.” is displayed on the screen. See FIG. In step a104, “attach air conditioner” is displayed in the top menu. See FIG.
[0070]
In step a11, an air conditioner that is an air conditioner is operated.
In step a111, “attach air conditioner” is selected from the top menu. See FIG. In step a112, the ECS turns on the air conditioner.
In step a113, the environmental temperature rises to “xxx ° C.”. In step a114, the screen returns to the television screen. In step a12, a power monitoring function is performed.
[0071]
Referring to FIG. 6, in step a15, the user is watching television. See FIG.
In step a16, a reception function for a visitor is performed.
[0072]
In step a161, the visitor presses the doorbell of the front door intercom. See FIG. In step a162, the ECS detects a visitor. In step a163, the screen is switched to the ECS operation screen, and “I am a visitor” is displayed on the screen. In step a164, “Connect to intercom” is displayed in the top menu. See FIG. 20 and FIG.
[0073]
In step a17, a function for dealing with visitors is performed. In step a171, "Connect to intercom" is selected from the top menu. See FIG. In step a172, the screen is switched to the intercom screen. See FIG. In step a173, the customer talks with the intercom (speaker and microphone).
[0074]
In step a18, an entrance door operation function is performed.
Referring to FIG. 7, in step a22, the television is watched. See FIG.
[0075]
  In step a23, a helper function is performed. In step a231, the environmental time is advanced on the simulator (notebook computer) side. In step a232, when ECS is helper comes by scheduling functionTimeIs detected.
  In Step a233, the screen is switched to the ECS operation screen, and “Helper will come soon” is displayed on the screen. At step a234, the top menu is “Air conditioner at 22 ° C.(Second set temperature)"Drive with" is displayed.
[0076]
  In step a235, the set temperature of the air conditioner isFrom the first set temperature to the second set temperatureincrease. By switch (user instruction).
[0077]
case Select “Operate the air conditioner at 22 ° C”:
case timeout:
In step a236, the ECS sets the set temperature of the air conditioner to 22 ° C.
[0078]
  case "air conditionerFirstSelect “Operate at set temperature (18 ° C)”:
  In step a237, the ECS keeps the set temperature of the air conditioner as it is.
[0079]
In step a24, the user is watching TV. See FIG.
In step a25, an uninterruptible power supply UPS function is performed.
[0080]
In step a251, a power failure state is set on the simulator (notebook computer) side. In step a252, the ECS detects a power failure. In step a253, the screen is switched to the ECS emergency mode screen, and “Power outage” is displayed on the screen. See FIG. In step a254, the ECS unconditionally turns off a high power consumption device such as a virtual air conditioner.
[0081]
In step a26, an emergency call function is performed. See FIG.
Referring to FIG. 8, in step a261, the process waits for several minutes. In step a262, the screen changes to an ECS operation screen, and “Power failure seems not to be restored” is displayed on the screen. In step a 263, “call emergency contact” and “see more” are displayed in the top menu. See FIG.
[0082]
In step a264, according to switch (user instruction). There are three cases a265, a267, and a268.
[0083]
Select "Call emergency contact" case:
In step a265, the ECS automatically calls the emergency contact. In step a266, the emergency contact is spoken with the telephone (speaker and microphone).
[0084]
Select “Look a little more” case:
In step a267, the process waits as it is. See FIG.
[0085]
case timeout:
In step a268, the ECS automatically calls the emergency contact. In step a269, the ECS requests assistance with automatic voice.
[0086]
In step a27, an automatic recovery function from a power failure is performed. In step a271, when the UPS detects a power failure recovery on the simulator (notebook computer) side, in step a272, the ECS detects the recovery from the power failure.
[0087]
In step a273, the screen changes to an ECS operation screen, and “Recovered from power failure” is displayed on the screen. See FIG. In step a274, the ECS automatically restores the power supply of the virtual home appliance (such as a virtual air conditioner). In step a275, “Call emergency contact” is displayed in the top menu.
[0088]
In step a276, according to switch (user instruction). There are two cases a2761 and a2771.
[0089]
Select "Call emergency contact" case:
In step a2761, the ECS automatically calls the emergency contact. In step a2762, the emergency contact is spoken with the telephone (speaker and microphone).
[0090]
case timeout:
In step a2771, the ECS automatically calls the emergency contact. In step a2772, the ECS notifies the power failure recovery by automatic voice.
[0091]
In step a28, a behavior pattern learning function is performed. In step a281, the environmental time is set to midnight on the simulator (notebook computer) side (advance).
[0092]
In step a29, the behavior pattern learning function is demonstrated. In step a291, an operation intervention is performed using the exhalation switch 1. In step a292, the screen changes to the ECS operation screen, and “sleeping” is displayed in the top menu. See FIG. 10 (2).
[0093]
In step a30, the behavior pattern learning function is demonstrated.
In step a301, "sleep" is selected from the top menu. See FIG. 10 (2).
[0094]
In step a302, the ECS automatically turns off the TV and lighting, and the screen switches to the ECS standby screen.
[0095]
FIG. 9 is a diagram showing a hierarchical structure for explaining the operation of the dialogue processing menu achieved by the environment control device 2. The screen 51 by the initial menu display means 6 in FIG. 9 displays the ECS standby screen, the telephone number of the called party by the reminder, the helper visit schedule, and the like. When the supportee sees such an initial image 51, a schedule can be grasped. In the initial image 51, a daytime top menu image 53 and a midnight top menu image 54 shown in FIGS. 10 (1) and 10 (2) are displayed. In association with the daytime top menu image 53, telephone operation 55, intercom operation 56, television operation 57, reminder (memo) operation 58, air conditioner operation 59 as an air conditioner, and other device operations 60 are displayed. The
[0096]
In association with the screen of the telephone operation 55, an image 61 dialed from the telephone, an image 62 dialed from the reminder, and an image 63 dialed with the telephone number are displayed. An image 64 of the channel switching menu is displayed in association with the television operation image 57.
[0097]
The contents of the images shown in FIGS. 10 to 24 in the operation scenarios shown in FIGS. 4 to 8 are shown as follows in correspondence with the event correspondence menu and the interaction processing menu which are events.
[0098]
[Table 6]

[0099]
[Table 7]

[0100]
FIG. 10 is a diagram illustrating images of a top menu for daytime and nighttime. FIG. 11 is a diagram showing an image of the “TV operation” menu. FIG. 12 is an image showing a “channel switching” menu. FIG. 13 is a diagram showing an image of a menu for incoming call events. FIG. 14 is a diagram illustrating an image of a menu corresponding to an operation intervention event (during a telephone call). FIG. 15 is a diagram showing an image of a telephone disconnection event response menu. FIG. 16 is a diagram illustrating an image of a menu corresponding to the operation intervention event (during TV viewing). FIG. 17 is a diagram showing an image of a temperature warning event response menu by the air conditioner. FIG. 18 is a diagram showing an image of an “air conditioner operation” menu that is an air conditioner. FIG. 19 is a diagram illustrating an image of a menu corresponding to an intercom call bell event. FIG. 20 is a diagram showing an image of the “interphone operation” menu. FIG. 21 is a diagram illustrating an image of a menu corresponding to an operation intervention intercom (during intercom call). FIG. 22 is a diagram illustrating an image of a power failure event response menu. FIG. 23 is a diagram showing an image of the emergency call event response menu. FIG. 24 is a diagram illustrating an image of a power failure event response menu.
[0101]
25 to 32 are diagrams for explaining the operation of the dialogue processing flow of the environment control device 2. First, as shown in FIG. 25, in step b0, the interactive processing flow of the environmental control device is started.
[0102]
In step b1, the state of the display device is saved.
In step b2, the screen of the display device is changed to an ECS operation screen.
[0103]
In step b3, the menu screen is saved in the screen stack.
In step b4, the expert system is queried to obtain an optimized screen object.
[0104]
In step b5, a menu screen is displayed based on the screen object.
In step b6, the next operation is performed for (until return is selected). In step b61, a transition to a lower menu is made based on a user instruction.
By switch (menu selection result).
[0105]
When case “telephone operation” is selected:
In step b611, the menu screen is saved in the screen stack. In step b612, the expert system is queried to obtain an optimized screen object. In step b613, a menu screen is displayed based on the screen object.
[0106]
In step b614, the following operation is performed for (until return is input). In step b6141, a transition to a lower menu is made based on a user instruction.
By switch (menu selection result).
[0107]
case When "Dial from phone book" is selected:
In step c1, the menu screen is saved in the screen stack.
[0108]
In step c2, a telephone number list is acquired from the telephone directory.
In step c3, a menu screen is displayed based on the telephone number list.
[0109]
In step c4, a telephone call is made based on a user instruction.
switch (menu selection result)
[0110]
When case “phone number 1” is selected:
In step c41, a call is made to the selected telephone number. In step c42, a call is made with the other party. In step c43, the telephone is hung up.
[0111]
case When “Back” is selected:
In step c44, nothing is done.
In step c5, the menu screen is restored from the screen stack.
[0112]
When "Dial from reminder" is selected:
In step c6, the menu screen is saved in the screen stack. In step c7, a telephone number list is acquired from the reminder. In step c8, a menu screen is displayed based on the telephone number list.
[0113]
Referring to FIG. 26, in step c9, a telephone call is made based on a user instruction.
By switch (menu selection result).
[0114]
When case “phone number 1” is selected:
In step c91, a call is made to the selected telephone number. In step c92, a call is made with the other party. In step c93, the telephone is hung up.
[0115]
When case “return” is selected:
In step c94, nothing is done.
In step c10, the menu screen is restored from the screen stack.
[0116]
case When "Dial by phone number" is selected:
In step c101, the menu screen is saved in the screen stack. In step c102, a numeric keypad input screen is displayed. In step c103, a call is made to the entered telephone number. In step c104, a call is made with the other party. In step c105, the telephone is hung up. In step c106, the menu screen is restored from the screen stack.
[0117]
When case “return” is selected:
In step c107, nothing is done.
break 2
[0118]
In step b6142, the menu screen is restored from the screen stack.
case “Interphone operation” is selected:
In step b621, the menu screen is saved in the screen stack. In step b622, the expert system is queried to obtain an optimized screen object.
[0119]
In step b623, a menu screen is displayed based on the screen object.
In step b624, for (until return is input)
In step b6241 the transition is made to the lower menu based on the user instruction.
By switch (menu selection result).
[0120]
When “Connect intercom” is selected:
In step d1, the screen of the display device is switched to the intercom screen.
[0121]
In step d2, connection is made with an intercom.
In step d3, a call is made through the intercom.
[0122]
Referring to FIG. 27, in step d4, the intercom is turned off. In step d5, the screen of the display device is switched to the ECS operation screen.
[0123]
case When “cut off intercom” is selected:
In step d6, the intercom is turned off.
[0124]
case "Lock entrance door" selected:
In step d7, the entrance door is locked.
[0125]
case “Unlock entrance door” is selected:
In step d8, the entrance door is unlocked.
[0126]
When case “return” is selected:
In step d9, nothing is done.
break 2
[0127]
In step b625, the menu screen is restored from the screen stack.
When case “TV Operation” is selected:
In step b631, the menu screen is saved in the screen stack.
[0128]
In step b632, the expert system is queried to obtain an optimized screen object. In step b633, a menu screen is displayed based on the screen object.
[0129]
In step b634, the next operation is performed for (until return is input).
[0130]
In step b6341, a transition to a lower menu is made based on a user instruction.
By switch (menu selection result).
[0131]
When case “Channel Switch” is selected:
In step e1, the menu screen is saved in the screen stack. In step e2, the expert system is queried to obtain an optimized screen object. In step e3, a menu screen is displayed based on the screen object.
In step e4, the channel is switched based on the user instruction.
By switch (menu selection result).
[0132]
Case “2: NHK synthesis” is selected:
Referring to FIG. 28, in step f1, the screen of the display device is switched to the television screen. In step f2, unnecessary menu screens are deleted from the screen stack. In step f3, a transition is made to the event wait mode.
return
[0133]
When case “return” is entered:
In step f4, nothing is done.
In step e5, the menu screen is restored from the screen stack.
[0134]
When "Increase sound" is selected:
In step e6, the screen of the display device is switched to the television screen. In step e7, the volume of the display device is increased by “XX”. In step e8, unnecessary menu screens are deleted from the screen stack. In step e9, a transition is made to the event waiting mode.
return
[0135]
case “Sound reduction” is selected:
In step e10, the screen of the display device is switched to the television screen. In step e11, the volume of the display device is decreased by “xx”. In step e12, unnecessary menu screens are deleted from the screen stack. In step e13, transition to the event waiting mode is made.
return
[0136]
case “Turn off TV” selected:
In step e14, the screen of the display device is switched to the television screen. In step e15, the display device is turned off. In step e16, unnecessary menu screens are deleted from the screen stack. In step e17, a transition is made to the event waiting mode.
return
[0137]
When case “mute” is selected:
In step e18, the screen of the display device is switched to the television screen. In step e19, the volume of the display device is set to “mute”. In step e20, unnecessary menu screens are deleted from the screen stack. In step e21, the state transits to the event waiting mode.
return
[0138]
When case “return” is selected:
Referring to FIG. 29, nothing is done in step e22.
break 2
[0139]
In step b635, the menu screen is restored from the screen stack.
When "Reminder operation" is selected:
In step b641, the menu screen is saved in the screen stack. In step b642, the expert system is queried to obtain an optimized screen object. In step b643, a menu screen is displayed based on the screen object.
[0140]
In step b644, the next operation is performed for (until return is input).
[0141]
In step b6441, a transition to a lower menu is made based on a user instruction.
By switch (menu selection result).
[0142]
case When “Play conversation recording” is selected:
In step g1, the menu screen is saved in the screen stack. In step g2, a conversation recording list is acquired from the reminder. In step g3, a menu screen is displayed based on the conversation recording list. In step g4, the following operation is performed for (until return is selected).
[0143]
In step g41, the conversation recording is reproduced according to the user instruction.
By switch (menu selection result).
[0144]
case “Conversation Recording 1” is selected:
In step g411, the selected conversation recording is reproduced.
[0145]
When case “return” is selected:
In step g412, nothing is done.
break 2
[0146]
In step g42, the menu screen is restored from the screen stack.
case "Open message" is selected:
In step g43, the menu screen is saved in the screen stack. In step g44, a message list is acquired from the reminder. In step g45, a menu screen is displayed based on the message list.
[0147]
In step g46, the next operation is performed for (until return is selected).
In step g461, a message is displayed as a user instruction.
By switch (menu selection result).
[0148]
When case “Message 1” is selected:
Referring to FIG. 30, in step g4611, the selected message is displayed.
[0149]
When case “return” is selected:
In step g4612, nothing is done.
break 2
[0150]
In step g4613, the menu screen is restored from the screen stack.
When case “return” is selected:
In step g4614, nothing is done.
break 2
[0151]
In step b645, the menu screen is restored from the screen stack.
case When “Air conditioner operation” is selected:
In step b651, the menu screen is saved in the screen stack. In step b652, the expert system is queried to obtain an optimized screen object. In step b653, a menu screen is displayed based on the screen object.
[0152]
In step b654, the next operation is performed for (until return is input). In step b6541, a transition to a lower menu is made based on a user instruction.
switch (menu selection result)
[0153]
case When “Install air conditioner” is selected:
In step h1, the power of the air conditioner is turned on.
[0154]
case “Cut off the air conditioner” is selected:
In step h2, the power of the air conditioner is turned off.
[0155]
case When “Change the temperature setting of the air conditioner” is selected:
In step h3, the menu screen is saved in the screen stack.
[0156]
In step h4, a numeric keypad input screen is displayed.
In step h5, the set temperature of the air conditioner is changed.
In step h6, the menu screen is restored from the screen stack.
[0157]
case “Cooling mode” is selected:
In step h7, the air conditioner is set to the cooling mode.
[0158]
case When “Set to heating mode” is selected:
In step h8, the air conditioner is set to the heating mode.
[0159]
case “Dehumidification mode” is selected:
Referring to FIG. 31, in step h9, the air conditioner is set to the dehumidifying mode.
[0160]
When case “return” is selected:
In step h10, nothing is done.
break 2
[0161]
In step b655, the menu screen is restored from the screen stack.
case “Other device operation” is selected:
In step b661, the menu screen is saved in the screen stack.
[0162]
In step b662, the expert system is queried to obtain an optimized screen object.
[0163]
In step b663, a menu screen is displayed based on the screen object.
In step b664, the next operation is performed for (until return is input).
In step b6641, a transition to a lower menu is made based on a user instruction.
switch (menu selection result)
[0164]
case When “dryer operation” is selected:
In step i1, the menu screen is saved in the screen stack. In step i2, the expert system is queried to obtain an optimized screen object. In step i3, a menu screen is displayed based on the screen object.
[0165]
In step i4, the following operation is performed for (until return is selected).
In step i41, the conversation recording is reproduced according to the user instruction.
switch (menu selection result)
[0166]
When case “device operation 1” is selected:
In step i42, the selected device is operated.
[0167]
When case “return” is selected:
In step i43, nothing is done.
break 2
[0168]
In step i5, the menu screen is restored from the screen stack.
When case “return” is selected:
In step i6, nothing is done.
break 2
[0169]
In step b665, the menu screen is restored from the screen stack.
Referring to FIG. 32, when “Return” is selected:
In step b6651, nothing is done.
break 2
[0170]
In step b7, the menu screen is restored from the screen stack.
33 to 36 are diagrams illustrating an event processing loop of the environment control device 2. Proceeding from step q0 to step q1, the information home appliance (hardware) is monitored and controlled according to the event that has occurred.
[0171]
In step q11, the type of event by the switch is determined. If it is a call incoming event, in step q111, the expert system is queried to obtain an optimized screen object. In step q112, a menu screen is displayed based on the screen object. In step q113, the telephone is answered based on the user instruction. When “answer a call” is selected in the menu selection result by the switch, in step r1, the screen of the display device is switched to the television screen, and the volume is set to zero (silence). In step r2, a call is connected. If “Ignore Phone” is selected, in step r3, the other party hangs up or waits for a timeout and hangs up. If “respond to answering” is selected and if a time-out occurs, a call is connected in step r4. In step r5, an answering response is made with automatic voice. In step r6, a message message from the other party is automatically recorded. In step r7, the other party hangs up or waits for a time-out to hang up. In step r8, a call record is left in the reminder. In step q114, the screen / volume of the display device is returned to the previous state.
[0172]
If it is a telephone disconnection event, in step q121, the expert system is queried to obtain an optimized screen object. In step q122, a menu screen is displayed based on the screen object. In step q123, telephone post-processing is performed based on a user instruction. If “OK” is selected in the menu selection result by the switch, or if time-out occurs, automatic recording is terminated in step r9 if the call is being recorded. In step q124, the screen / volume of the display device is returned to the previous automatic recording.
[0173]
When it is an intercom call bell event, in step q131, the expert system is queried to obtain an optimized screen object. In step q132, a menu screen is displayed based on the screen object. In step q133, it responds to the intercom based on the user instruction.
[0174]
Referring to FIG. 34, when “go to intercom” is selected in the menu selection result by the switch, in step r11, the screen of the display device is switched to the intercom screen. In step r12, a call with the intercom is connected. When “respond to answering” is selected and when a time-out occurs, in step r13, a call with the interphone is connected. In step r14, an answering response is made with automatic voice. In step r15, the message message of the visitor is automatically recorded. In step r16, the call with the intercom is disconnected. In step r17, a visitor record is left in the reminder. In step q134, the screen / volume of the display device is returned to the previous state.
[0175]
If it is an intercom disconnection event, in step q141, the expert system is queried to obtain an optimized screen object. In step q142, a menu screen is displayed based on the screen object. In step q143, interphone call post-processing is performed based on a user instruction. If “OK” is selected in the menu selection result by the switch, or if a time-out occurs, automatic recording is terminated in step r18 if a call is being recorded. In step q144, the screen / volume of the display device is returned to the previous state.
[0176]
When it is an electric lock forgetting event, an operation is also performed.
Referring to FIG. 35, when it is a power failure event, in step q151, an expert system is queried to obtain an optimized screen object. In step q152, a menu screen is displayed based on the screen object. In step q153, a power failure is reported. If “return” is selected in the menu selection result by the switch, or if a timeout occurs, nothing is done in step r21. In step q154, the screen / volume of the display device is returned to the previous state.
[0177]
If it is a power recovery event, in step q161, the expert system is queried to obtain an optimized screen object. In step q162, a menu screen is displayed based on the screen object. In step q163, countermeasures for power recovery are taken based on user instructions. If “call emergency contact” is selected in the menu selection result by the switch, the emergency contact is called in step r22. In step r23, it is reported that power has been restored by automatic voice. In step r24, the telephone is hung up. If “return” is selected, nothing is done in step r25.
[0178]
If it is an emergency notification event, in step q171, the expert system is queried to obtain an optimized screen object. In step q172, a menu screen is displayed based on the screen object. In step q173, an emergency call is made based on a user instruction. If “call emergency contact” is selected in the menu selection result by the switch, the emergency contact is called in step r26. In step r27, it is reported that the power failure is not restored by automatic voice. In step r28, the telephone is hung up. When “Look a little more” is selected, and when “Return” is selected, nothing is performed in step r29. In step q174, the screen / volume of the display device is returned to the previous state.
[0179]
An action is also taken when it is a power over event.
Referring to FIG. 36, when it is a temperature warning event, in step q181, an expert system is queried to obtain an optimized screen object. In step q182, a menu screen is displayed based on the screen object. In step q183, the temperature warning is dealt with based on the user instruction. If “turn on air conditioner” is selected in the menu selection result by the switch, in step r31, the virtual air conditioner (simulator) is instructed to turn on the power. The operation is performed when “Set the air conditioner to the normal mode” is selected.
[0180]
The action is performed when it is a reminder event by the reminder process.
[0181]
FIG. 37 and FIG. 38 are diagrams showing the processing flow of the expert system process achieved by the expert system 22 of the environment control device 2. Referring to FIG. 37, in step m0, the processing flow of the expert system process is started. In step m1, menu (command list) optimization / daily deviation detection is performed in response to a request from the ECS process / monitoring process.
for (waits for a request from another process)
[0182]
In step m2, the request type is executed.
At step m3, switch (menu type)
[0183]
case "Channel switching" menu:
In step m4, the past channel switching history is acquired. In step m5, the priority of the channel is calculated with reference to the day / time of the past channel switching.
In step m6, the optimized menu (screen object) is returned.
[0184]
Case "Power Excess Event" compatible menu:
In step m7, the state of the virtual device is acquired. In step m8, a device candidate capable of power saving operation is determined based on the current operation state and specifications of each device, and the priority of the power saving device is calculated based on the analysis result of the past device operation pattern.
In step m9, the optimized menu (screen object) is returned.
[0185]
Case "Power Excess Resolution Event" compatible menu:
In step m10, the state of the virtual device is acquired. In step m11, a device candidate capable of power saving operation is determined based on the current operation state and specifications of each device, and the priority of the power saving device is calculated based on the analysis result of the past device operation pattern. In step m12, the optimized menu (screen object) is returned.
[0186]
case "Dial from phone book" menu:
In step m13, a past dial history is acquired. In step m14, phone number candidates are estimated based on the analysis result of the partner dialed in the past. In step m15, the optimized menu (screen object) is returned.
[0187]
case "Dial from reminder" menu:
In step m16, the past dial history is acquired. In step m17, phone number candidates are estimated based on the analysis result of the other party dialed in the past. In step m18, the optimized menu (screen object) is returned.
[0188]
default:
Referring to FIG. 38, nothing is done in step m19.
[0189]
case Daily deviation detection:
In step m41, the state of the virtual device is acquired. In step m2, a history of actions executed within a specific time is acquired. In step m3, the acquired information is analyzed to calculate the degree of deviation from daily behavior.
In step m4, switch (deviation degree)
[0190]
case High:
In step m51, an “abnormal situation” is returned to the watching process.
[0191]
default:
In step m52, “no abnormality” is returned to the watching process.
[0192]
FIG. 39 is a diagram illustrating a processing flow of the watching function process executed by the environment control device 2. In step n0, the processing flow of the watching process is started. In step n1, the expert system is periodically queried to monitor deviations from daily activities.
[0193]
for (every 30 minutes)
In step n2, the expert system is inquired whether there is a deviation from daily activities.
At step n3, switch (answer from expert system)
[0194]
case with deviation:
In step n4, a character memo is registered in the reminder. In step n5, an action is set for the text memo. In step n6, an action is added to the text memo. In step n7, a watch-over event is generated using the event ID passed from the reminder.
[0195]
case No abnormality:
In step n8, nothing is done.
[0196]
FIG. 40 is a diagram for explaining the operation of the processing flow of the real device executed by the environment control apparatus 2. In step p0, the processing flow of the actual device process is started. In step p1, an actual device is controlled in response to a request from the ECS process, and an event corresponding to a hardware interrupt is generated.
[0197]
for (Waiting for requests from ECS processes and hardware interrupts)
In step p2, switch (function type)
[0198]
case Hardware interrupt handling:
At step p3, switch (type of hardware interrupt)
[0199]
case Phone call:
In step p4, an incoming call event is generated.
[0200]
case Phone disconnection:
In step p5, a telephone disconnection event is generated.
[0201]
case Intercom doorbell:
In step p6, an intercom call bell event is generated.
[0202]
case Intercom disconnect:
In step p7, an intercom disconnection event is generated.
[0203]
case Hardware control:
In step p8, switch (request type)
[0204]
case Make a phone call:
In step p9, a telephone call is made using the TAPI modem. In step p10, the call is connected.
[0205]
case Hang up phone:
In step p11, the telephone is disconnected using the TAPI modem.
[0206]
case Connecting the intercom:
In step p12, the intercom is connected using the TAPI modem.
[0207]
case Turn off the intercom:
In step p13, the intercom is turned off using the TAPI modem.
[0208]
case Lock the front door:
In step p14, a call is made to the intercom using the TAPI modem. In step p15, the entrance door is locked. In step p16, the intercom is turned off.
[0209]
case Unlock the front door:
In step p17, a telephone is placed on the intercom using the TAPI modem. In step p18, the entrance door is unlocked. In step p19, the intercom is turned off.
[0210]
case TV remote control operation:
In step p20, the television is operated using the infrared remote controller. In step p21, the state of the virtual television is updated according to the operation content.
[0211]
case Virtual device operation:
In step p22, the state of the virtual device is updated according to the command.
[0212]
In the present invention, the embodiment of the present invention has been described in relation to the virtual device in the above description. However, in another embodiment of the present invention, an actual device that is an actual electrical device is controlled. Of course, it may be configured as such.
[0213]
  In the environmental control device 2, in order to improve the operability of the supportee, the display means 6 corresponds to the characteristics of the electronic device, for example, if the electronic device is on, the display means 6 The display for the operation for turning off for the electronic device to be turned off next is performed. Further, the environment control device 2 performs an operation of turning on the television receiver 4f based on the personal pattern of the supportee, based on the life pattern of the supportee, for example, around 7:00 pm, for example, 2 channels The data of listening to the TV broadcast is stored by learning.The frequency with which the operation of the television receiver 4f by the operation of the operation unit 1 is selected is learned as the time period by the clock unit elapses.Therefore, such a database of supported people is created,The higher the frequency of the on / off operation of the television receiver 4f at each time and the television reception channel to be viewed is, the higher the priority is set and the learning time is.At around 7:00 pm, the television receiver 4fBy the display means 6 by the operating means 1 that performs on and off operationsThe display of the selection switch is brought to a position with a high priority, and the channel of the broadcasting station to be listened to at that time is selected.Display of the selection switch by the display means 6 displayed by the operation means 1 for selectionBring to a higher priority position. As a result, operability can be improved. Further, as a database of the supportee, it is also possible to use a database so as to detect an abnormal operation in addition to daily deviant behavior. As described above, according to the present invention, the learning function in the environment control device 2 allows the supportee to quickly calculate what the user wants to do now, and to select a selection input unit that is highly likely to be operated. 6 is displayed in a high priority order, which allows the supportee to easily perform an input operation using the remote control means 8 and 9 or the speaker / microphone 11. In particular, in the present invention, the operating state of the electronic device, the environmental state such as the temperature of the room where the supportee exists, the time described above, and the time data of the clock means for measuring time such as one day, one week and one year, etc. From the data obtained through learning, an operation with a high priority desired by the supportee is inferred and calculated. Furthermore, it is also possible to infer a great divergence from the inferred input operation described above from the current situation and the input operation of the supportee. In order to infer the operation performed by the supportee with a high priority, it is determined based on the state of the electronic device, the environmental condition such as the temperature of the room, the clock means, and further the body temperature of the supportee. Also good.
[0214]
Furthermore, in the present invention, based on the inference results of such various situations, for example, although the temperature of the room where the supported person is present has reached a high temperature by the air conditioner, the supported person is in the room. It is also possible to detect that the input operation has been performed so as to further increase the temperature, thereby determining that the supportee is in an abnormal state.
[0215]
  Command estimation by operation for such supporteesDo, Calculating the degree of similarity between the command thus estimated and the input information actually input by the supportee, thus determining whether the supportee's abnormal state occurredUkaCan be judged. Furthermore, the command input of these supportees is learned. These command estimation, similarity calculation and command learning will be described below. First, command estimation will be described.
[0216]
(S1) When [date, day of week, time] for which a command is to be estimated is given, the case reliability, day of week similarity and time similarity described later in (T1) to (T3) for the stored command examples Are added to (G2) by the method described later, and the calculated value is used as the command similarity.
[0217]
(S2) Present a command with a preset number of commands having a large command similarity, or present a command exceeding a preset similarity threshold, or a combination thereof (logical product of both conditions) Alternatively, the command is estimated by a method such as selecting a command by logical OR).
[0218]
(S3) In (S2), using command hierarchy information as will be described later in (T4), all child commands of a parent command appear in the command estimation results of (S2) (or higher than the preset appearance ratio). Sometimes, instead of multiple child commands, a parent command is used to represent similar commands that have ambiguity (fluctuation) in selection, and within the same estimated number of candidates, candidate variations (different trends = different The tendency of commands having different command hierarchies to appear) and the accuracy of estimation (the tendency for commands to be estimated to be included in higher ranks of candidates) can be achieved.
[0219]
FIG. 41 is a diagram showing hierarchical information of commands executed in the environment control device 2. The command details and upper / lower concepts are defined in a hierarchical structure.
[0220]
(S4) In addition to representing the child command with the parent command in (S3), it is also possible to represent the grandchild command (for two generations) in the same way, but the estimation accuracy decreases (absence of abstraction) Therefore, this balance (to which generations are represented) is appropriately set according to the size of the generation gap of the hierarchy defined in (T4).
[0221]
Next, the definition of similarity will be described. A description will be given with a similarity scale of 1.0 when perfect match and 0.0 when complete mismatch.
[0222]
(T1) Case reliability: The reliability is defined according to the passage of time after registration of the command case. The degree of reliability decreases as registered in the past. For example, 1.0 is registered within 1 month, 0.8 is within 3 months, 0.5 is within 6 months, 0.2 is within 1 year, 0.0 or 0.1 is over The reliability in the passage of time other than these set points can be defined so as to be complemented by an arbitrary continuous function using a stepped shape or a neural network described later in (G3).
[0223]
(T2) Day-of-week similarity: Defines the degree of similarity based on the difference in day of the week. For example, 1.0 is set for the same day of the week, 0.7 for the same weekend and weekday even for different days, 0.3 for the other days. If the day of the week is set according to the user's lifestyle (for example, Monday, Wednesday, and Friday are business days from the afternoon, or Sunday and Wednesday are closed days) Similarity can also be defined. The distribution coefficient of similarity for each section can be defined by an arbitrary nonlinear coupling function using a neural network or the like described later in (G3).
[0224]
(T3) Time similarity: Defines similarity based on time difference. For example, 1.0 within 5 minutes, 0.8 within 15 minutes, 0.6 within 30 minutes, 0.5 within 1 hour, 0.3 within half a day, 0.1 over that, etc. Similar to (T1), similarities due to time differences other than these set points can be complemented by a step or any continuous function.
[0225]
(T4) Command Hierarchy Information: Command details and upper / lower concepts are defined in a hierarchical structure as shown in FIG. For example, even when a large number of individual channel setting commands are included in the result of (S2) and a candidate list to the extent that can be listed is filled with channel selection commands, instead of these, channel setting commands corresponding to higher ranks are displayed. By using the representative estimation result, it is possible to fit a command list other than the channel setting command (for example, an air conditioner stop command) into a candidate list that can be listed.
[0226]
Explain command learning.
(G1) When a command is executed, a list of [date, day of week, time, command] is stored as a command example.
[0227]
(G2) As a method of addition, each degree of multiplication (when the definition of similarity is 1.0 for perfect match and 0.0 for complete heterogeneity, if all match = 1.0, then total = multiplication 1.0) and addition (similarity definition is 0.0 for perfect match, and the degree of similarity becomes infinitely large as the difference increases. It is also possible to use a simple method such as (addition is also 0.0). However, instead of using a multi-input nonlinear function that outputs the command similarity and outputs the command similarity, a neutral network is used instead of the multiplication logic. If implemented by using, it is also possible to learn based on accumulated command cases (and cases added according to usage).
[0228]
(G3) In parallel with learning of the summation method (integration method of different scales) described in (G2) or after convergence, from the date / time difference, day of week difference and time difference described in (T1) to (T3) A nonlinear function for calculating the similarity can be implemented and learned using, for example, a neutral net.
[0229]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to improve the operativity of selection of the electronic device and its operation | movement by supporters, such as a disabled person.
[0230]
According to the present invention, cost reduction can be achieved. Even if it is a handicapped person, it becomes possible to use the product (information home appliance) which is the same electronic device as a healthy person, so that the degree of freedom of device selection is improved and the cost is also reduced. In addition, the setting can be facilitated. With regard to the detection of electronic devices, it is a so-called plug for electronic devices that provides a framework that allows devices to be easily detected by ECS simply by connecting to an electrical outlet or pressing the reset button, using connection technology for information appliances by power line or wireless Plug and play is possible. Further, regarding the change of the operation method, all the functions that can be operated of the detected electronic device can be operated from the ECS screen, and the user can easily set and change the operation method. This greatly improves the independence of ECS users who have relied on vendors and supporters to connect and change settings of electronic devices. According to the concept of the present invention, a device (such as a personal computer) whose operation can be described by software is the core, a UPS (uninterruptible power supply) is combined, and an apparatus having an interface that can exchange information with information appliance Therefore, the software technology can realize an environmental control device function, a monitoring function, an energy saving function, a power failure related function, an installation work, and an easy setting.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of an embodiment of the present invention.
FIG. 2 is a diagram illustrating a specific operation of the environment control apparatus 2;
FIG. 3 is a diagram illustrating an operation according to a flow of an overall control process of the environment control apparatus 2;
FIG. 4 is a diagram showing an operation scenario in the embodiment shown in FIGS. 1 to 3 of the present invention.
FIG. 5 is a diagram showing an operation scenario in the embodiment shown in FIGS. 1 to 3 of the present invention.
FIG. 6 is a diagram showing an operation scenario in the embodiment shown in FIGS. 1 to 3 of the present invention.
7 is a diagram showing an operation scenario in the embodiment shown in FIGS. 1 to 3 of the present invention. FIG.
FIG. 8 is a diagram showing an operation scenario in the embodiment shown in FIGS. 1 to 3 of the present invention.
FIG. 9 is a diagram showing a hierarchical structure for explaining an operation of a dialogue processing menu achieved by the environment control device 2;
FIG. 10 is a diagram illustrating images of a top menu for daytime and nighttime.
FIG. 11 is a diagram showing an image of a “TV operation” menu.
FIG. 12 is an image showing a “channel switching” menu.
FIG. 13 is a diagram showing an image of a menu for incoming call events.
FIG. 14 is a diagram illustrating an image of a menu corresponding to an operation intervention event (during a telephone call).
FIG. 15 is a diagram showing an image of a telephone disconnection event response menu.
FIG. 16 is a diagram showing an image of a menu corresponding to an operation intervention event (during TV viewing).
FIG. 17 is a diagram illustrating an image of a temperature warning event response menu by the air conditioner.
FIG. 18 is a diagram showing an image of an “air conditioner operation” menu that is an air conditioner.
FIG. 19 is a diagram showing an image of an interphone call bell event response menu.
FIG. 20 is a diagram illustrating an image of an “interphone operation” menu.
FIG. 21 is a diagram illustrating an image of a menu corresponding to an operation intervention intercom (during intercom call).
FIG. 22 is a diagram showing an image of a power failure event response menu.
FIG. 23 is a diagram showing an image of an emergency call event response menu.
FIG. 24 is a diagram showing an image of a power failure event response menu.
FIG. 25 is a diagram for explaining the operation of the dialogue processing flow of the environment control device 2;
FIG. 26 is a diagram for explaining the operation of the dialogue processing flow of the environment control device 2;
FIG. 27 is a diagram for explaining the operation of the dialogue processing flow of the environment control device 2;
FIG. 28 is a diagram for explaining the operation of the dialogue processing flow of the environment control device 2;
FIG. 29 is a diagram for explaining an operation of a dialogue processing flow of the environment control device 2;
30 is a diagram for explaining an operation of a dialogue processing flow of the environment control device 2. FIG.
FIG. 31 is a diagram for explaining the operation of the dialogue processing flow of the environment control device 2;
32 is a diagram for explaining an operation of a dialogue processing flow of the environment control apparatus 2. FIG.
33 is a diagram showing an event processing loop of the environment control device 2. FIG.
34 is a diagram showing an event processing loop of the environment control device 2. FIG.
FIG. 35 is a diagram showing an event processing loop of the environment control device 2;
FIG. 36 is a diagram showing an event processing loop of the environment control device 2;
FIG. 37 is a diagram showing a processing flow of an expert system process achieved by the expert system 22 of the environment control device 2;
FIG. 38 is a diagram showing a processing flow of an expert system process achieved by the expert system 22 of the environment control device 2;
FIG. 39 is a diagram showing a processing flow of a watching function process executed by the environment control apparatus 2;
FIG. 40 is a diagram for explaining an operation of a processing flow of an actual device executed by the environment control apparatus 2;
FIG. 41 is a diagram illustrating the structure of command hierarchy information;
[Explanation of symbols]
1 Exhalation switch
2 Environmental control equipment
3 Power line carrier
4 Electronic equipment
5 display devices
6 Display means
7 Controller
8,9 Remote control means
11 Speaker / Microphone
12 Simulator processing means
13 Analog phone line
14 Modem
15 Digital public telephone line
16 TV door phone system
21 User interface
22 Expert system
23 Device monitoring and control system

Claims (5)

In an adaptive operation support apparatus that causes each electronic device of the television receiver 4f capable of changing the television reception channel and the air conditioner 4a to perform each operation,
(A) The television broadcast by the television receiver 4f is displayed, each electronic device and each operation of the television receiver 4f and the air conditioner 4a are displayed, and each electronic device and the operation of the electronic device are displayed. Display means 6 for displaying an interactive processing menu for selection, and further displaying each selected electronic device and each operation;
(B) Operation means 1 comprising an exhalation switch,
Has a tube to blow and breathe,
An operation unit 1 in which a breathing operation is performed to select a menu item of the interactive processing menu displayed on the display unit 6, and a breathing operation is performed to determine the selected menu item;
(C) environmental state detection means 25c, 27a for detecting the temperature of the room where the supportee exists,
(D) environmental control means,
(D1) having clock means for measuring time, day, week and year,
(D2) connected to the power line carrier means 3 for transmitting and receiving electrical signals between the television receiver 4f and each electronic device of the air conditioner 4a via the power line,
(D3) In response to the outputs of the operating means 1, the environmental state detecting means 25c, 27a, and the clock means, each electronic device that can be selectively operated by the operating means 1 and a signal representing each operation are output ,
( D4) When receiving and viewing the television receiver 4f,
(D4-1) environment condition detecting means 25c, when detected temperature Tsu is below the predetermined value (XX ° C.) by 27a, changes the screen of the display unit 6 on the first operation screen, the first operation The screen displays that the air conditioner 4a is turned on in the top menu of the menu item, and when the menu item for turning on the air conditioner 4a is selected by the operating means 1, the air conditioner 4a is turned on. Deriving the output to perform the action
When the upper is Tsu than environmental state detecting unit 25c, the detected temperature is the predetermined value by 27a (XX ° C.), and returns the display unit 6 on the TV screen,
(D4-2) The air conditioner 4a is preset to the first set temperature,
When the time determined in advance by the clock means is reached, the screen of the display means 6 is changed to the second operation screen. Display to raise to the second set temperature,
When the menu item to be raised to the second set temperature is selected by the operation means 1, an output for operating the air conditioner 4a at the second set temperature is derived,
When the operation means 1 selects to operate with the first set temperature, the output to operate with the first set temperature is derived,
(D5) The frequency with which the operation of the television receiver 4f is selected by the operation of the operation means 1 is learned with the lapse of time by the clock means, and based on the learning result , the television receiver 4f at each time is selected. The display means operated by the operation means 1 to turn on and off the television receiver 4f when the order of the frequency of the on and off operations and the television channels to be viewed is determined and the learned time comes. The selection switch is displayed by the display means 6 operated by the operation means 1 in order to select the television reception channel to be listened to at that time. Environmental control means to bring it high,
(E) An adaptive operation support apparatus comprising: an operation control unit that causes a selected electronic device to perform a selected type of operation in response to an output of the environment control unit. Means for learning behavior patterns associated with the passage of time for each day, week, month or season and creating a database of daily activities of the supportee;
In response to the output of the database creation means, the degree of deviation from the database of the supportee's daily behavior is monitored, and when the degree of deviation is large, an abnormality judgment means for judging that an abnormal state has occurred;
The adaptive operation support apparatus according to claim 1, further comprising a notification unit that responds to an output of the abnormality determination unit and performs notification when an abnormality occurs.   3. The adaptive system according to claim 2, further comprising means for monitoring an essential function in the life of the supportee and causing the notification means to notify when an abnormality occurs in the vital function that is being monitored. Operation support device.   The operation by the operation means for saving energy of the electronic device that changes the environment in response to the output of the environmental state detection means is displayed by the display means. The adaptive operation support apparatus described. Further including an uninterruptible power supply,
The adaptive operation support apparatus according to claim 1, wherein commercial AC power is supplied to at least a predetermined electronic device at the time of a power failure.

Images