Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5265141B2 - 携帯型電子機器、プログラム及び情報記憶媒体 - Google Patents
[go: Go Back, main page]

JP5265141B2 - 携帯型電子機器、プログラム及び情報記憶媒体 - Google Patents

携帯型電子機器、プログラム及び情報記憶媒体 Download PDF

Info

Publication number
JP5265141B2
JP5265141B2 JP2007159317A JP2007159317A JP5265141B2 JP 5265141 B2 JP5265141 B2 JP 5265141B2 JP 2007159317 A JP2007159317 A JP 2007159317A JP 2007159317 A JP2007159317 A JP 2007159317A JP 5265141 B2 JP5265141 B2 JP 5265141B2
Authority
JP
Japan
Prior art keywords
user
sensor
history information
information
control target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007159317A
Other languages
English (en)
Other versions
JP2008312047A (ja
JP2008312047A5 (ja
Inventor
成示 龍田
良平 杉原
陽一 井場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2007159317A priority Critical patent/JP5265141B2/ja
Priority to CN2008800203704A priority patent/CN101681494B/zh
Priority to PCT/JP2008/060859 priority patent/WO2008153131A1/ja
Publication of JP2008312047A publication Critical patent/JP2008312047A/ja
Publication of JP2008312047A5 publication Critical patent/JP2008312047A5/ja
Application granted granted Critical
Publication of JP5265141B2 publication Critical patent/JP5265141B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、携帯型電子機器、プログラム及び情報記憶媒体に関係する。
従来の情報提供システムとして、地点、施設等の情報だけではなく、ユーザが案内してほしい場所に至るまでの経路や途中地点を柔軟に案内することができるシステムが、例えば特許文献1に開示されている。
しかしながら、この特許文献1のシステムには、ユーザが必要とする情報をユーザが意図的な取得行為を行わなくても提供するという、いわゆるプッシュ情報としての情報提供を実現できないという課題がある。
このような課題を解決するものとして、特許文献2に開示される情報提供システムが知られている。このシステムでは、ウェアラブルセンサによりユーザの活動状態を同定し、活動状態に応じた情報表示を行うことで、プッシュ情報としての情報提供を可能にしている。
しかしながら、この特許文献2には、モバイル環境において効果的な情報提供システムについては開示されているものの、複数のサブシステムの統合システムに好適な携帯型電子機器については開示されていない。
特開2000−215211号公報 特開2006−293535号公報
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、複数のサブシステムの統合システムに好適な携帯型電子機器、プログラム及び情報記憶媒体を提供することにある。
本発明は、複数のサブシステムの統合システムに用いられ、ユーザにより所持される携帯型電子機器であって、前記複数のサブシステムの複数のセンサのうち、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を取得する情報取得手段と、ユーザの行動、状態及び環境の少なくとも1つについての履歴情報であって取得されたセンサ情報に基づき更新されるユーザ履歴情報を、記憶する履歴情報記憶手段と、ユーザ履歴情報を用いた制御が行われる制御対象機器を、前記複数のサブシステムの複数の制御対象機器の中から選択する制御対象機器選択手段とを含む携帯型電子機器に関係する。また本発明は、上記各手段としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
本発明によれば、複数のサブシステムの複数のセンサのうち、行動センサ、状態センサ、環境センサの少なくとも1つのセンサからのセンサ情報が取得される。そして取得されたセンサ情報に基づき更新されるユーザ履歴情報が、履歴情報記憶手段に記憶される。そしてユーザ履歴情報を用いた制御が行われる制御対象機器が、複数のサブシステムの複数の制御対象機器の中から選択されて、その制御が行われるようになる。このようにすれば、例えば第1のサブシステムにおいて更新されたユーザ履歴情報に基づいて、第2のサブシステムの制御対象機器を制御することなどが可能になり、複数のサブシステムの統合システムに好適な携帯型電子機器を提供できる。
また本発明では、前記複数のサブシステムの複数のセンサの中から、ユーザが利用中のサブシステムにおいて利用可能なセンサを選択するセンサ選択手段を含み、前記情報取得手段は、前記センサ選択手段により選択されたセンサからのセンサ情報を取得してもよい。このようにすれば、例えば第1のサブシステムのセンサからのセンサ情報に基づき更新されたユーザ履歴情報を、第2のサブシステムのセンサからのセンサ情報に基づきシームレスに更新できるようになる。
また本発明では、前記センサ選択手段は、時間情報、ユーザの場所情報及びユーザの状況情報の少なくとも1つであるTPO情報に基づいて、前記複数のサブシステムの複数のセンサの中から、ユーザが利用中のサブシステムにおいて利用可能なセンサを選択してもよい。このようにすれば、場所、時間又は状況に応じて異なったセンサを選択して、センサ情報の取得できるようになる。
また本発明では、前記制御対象機器選択手段は、時間情報、ユーザの場所情報及びユーザの状況情報の少なくとも1つであるTPO情報に基づいて、前記複数のサブシステムの複数の制御対象機器の中から、ユーザが利用中のサブシステムにおいて利用可能な制御対象機器を選択してもよい。このようにすれば、場所、時間又は状況に応じて異なった制御対象機器を選択して、制御できるようになる。
また本発明では、取得されたセンサ情報に基づいてユーザ履歴情報を更新する履歴情報更新手段を含んでもよい。
また本発明では、利用可能な制御対象機器がない場合には、ユーザ履歴情報を用いた制御対象機器の制御は行われずに、前記履歴情報更新手段によるユーザ履歴情報の更新だけが行われてもよい。また本発明では、利用可能なセンサがない場合には、前記履歴情報更新手段によるユーザ履歴情報の更新は行われずに、ユーザ履歴情報を用いた制御対象機器の制御だけが行われてもよい。このようにすれば、センサ及び制御対象機器の一方が利用不可である場合にも、ユーザ履歴情報の更新や制御対象機器の制御を無駄なく行うことができる。
また本発明では、携帯型電子機器の外部の制御対象の制御が可能な外部制御手段を含み、前記外部制御手段は、前記制御対象機器選択手段により制御対象機器が選択された場合に、選択された制御対象機器の制御対象を、ユーザ履歴情報を用いて制御してもよい。このようにすれば、外部制御手段により、制御対象機器の制御対象を直接に制御できる。
また本発明では、第1のサブシステムのセンサからのセンサ情報によりユーザ履歴情報が更新されたユーザが、第2のサブシステムの制御対象機器である第2の制御対象機器の利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定手段を含み、前記制御対象機器選択手段は、前記利用可能イベントが発生した場合に、前記第2の制御対象機器を選択してもよい。このようにすれば第1のサブシステムにおいて更新されたユーザ履歴情報を用いて、第2のサブシステムにおいて利用可能になった第2の制御対象機器を制御できる。
また本発明では、前記利用可能イベントが発生した場合に、前記第2のサブシステムのセンサからのセンサ情報に基づいてユーザ履歴情報を更新する履歴情報更新手段を含んでもよい。このようにすればユーザ履歴情報のシームレスな更新を実現できる。
また本発明では、前記利用可能イベントが発生し、前記第2の制御対象機器が選択された場合に、ユーザ履歴情報を用いた前記第2の制御対象機器の制御動作を開始させる制御処理手段を含んでもよい。
また本発明では、前記制御処理手段は、前記利用可能イベントが発生した場合に、前記第2の制御対象機器の電源をオンにする、或いは前記第2の制御対象機器を低消費電力モードから通常動作モードに復帰させる制御を行ってもよい。このようにすれば、利用可能イベントが発生するまでの間、第2の制御対象機器の電源をオフにしたり、低消費電力モードに設定したりできるため、低消費電力化を図れる。
また本発明では、前記制御処理手段は、前記利用可能イベントが発生した場合に、携帯型電子機器の電源をオフにする、或いは携帯型電子機器を通常動作モードから低消費電力モードに移行させる制御を行ってもよい。このようにすれば、利用可能イベントが発生した後は、携帯型電子機器の電源をオフにしたり、低消費電力モードに設定したりできるため、低消費電力化を図れる。
また本発明では、前記第2のサブシステムとの間で情報転送を行う情報転送手段を含み、前記制御処理手段は、前記利用可能イベントが発生した場合に、前記情報転送手段については電源をオフにしない、或いは通常動作モードに設定する制御を行ってもよい。このようにすれば、携帯型電子機器の電源がオフになったり低消費電力モードに設定されたりしても、情報転送手段については電源がオフにならない、或いは通常動作モードに設定されるため、携帯型電子機器と第2のサブシステムとの間での情報転送を継続できる。
また本発明では、前記制御処理手段は、前記第2の制御対象機器をユーザが利用できなくなる利用不可イベントが発生した場合には、前記第2の制御対象機器の電源をオフにする、或いは前記第2の制御対象機器を通常動作モードから低消費電力モードに移行させる制御を行ってもよい。このようにすれば、利用不可イベントが発生した後は、第2の制御対象機器の電源をオフにしたり、低消費電力モードに設定したりできるため、低消費電力化を図れる。
また本発明では、携帯型電子機器が前記第2のサブシステムの制御対象機器に装着された場合に、前記履歴情報記憶手段が携帯型電子機器と前記第2のサブシステムの前記第2の制御対象機器とで共用され、共用された前記履歴情報記憶手段のユーザ履歴情報が、前記第2のサブシステムのセンサからのセンサ情報に基づき更新されてもよい。このようにすれば、第2の制御対象機器に履歴情報記憶手段を設けなくても済むため、第2の制御対象機器の低コスト化等を図れる。
また本発明では、前記利用可能イベントが発生した場合に、前記履歴情報記憶手段に記憶されるユーザ履歴情報を、前記第2のサブシステムの第2の履歴情報記憶手段に転送する情報転送手段を含んでもよい。このようにすれば、利用可能イベントが発生した場合に、第2の履歴情報記憶手段に転送されたユーザ履歴情報に基づいて、第2のサブシステムの第2の制御対象機器の制御を行うことが可能になる。
また本発明では、前記情報転送手段は、前記履歴情報記憶手段に記憶されるユーザ履歴情報と前記第2のサブシステムの第2の履歴情報記憶手段に記憶されるユーザ履歴情報とを、同じ内容の情報に維持する情報同期処理を行ってもよい。このようにすれば、ユーザ履歴情報のシームレスな更新が可能になる。
また本発明では、前記第2のサブシステムとの間で無線による情報転送を行う情報転送手段を含み、前記イベント判定手段は、前記無線の強度を検出することで、前記利用可能イベントの発生を判定してもよい。このようにすれば、情報転送に必要な無線を、利用可能イベントの判断処理に兼用できる。
また本発明では、前記イベント判定手段は、前記第2のサブシステムにて利用可能なクレードルに携帯型電子機器が接続された場合に、前記利用可能イベントが発生したと判定してもよい。
また本発明では、前記履歴情報記憶手段に記憶されるユーザ履歴情報を、前記第2のサブシステムの第2の履歴情報記憶手段に転送する情報転送手段と、ユーザ履歴情報を用いた前記第2の制御対象機器の制御動作を開始させる制御処理手段を含み、前記イベント判定手段は、前記第2のサブシステムの場所に対するユーザの接近状態を判定し、前記情報転送手段は、接近状態が、第1の接近状態から、前記第1の接近状態よりも接近度合いが高い第2の接近状態になった場合に、前記履歴情報記憶手段に記憶されるユーザ履歴情報を、前記第2のサブシステムの前記第2の履歴情報記憶手段に転送し、前記制御処理手段は、ユーザの接近状態が、前記第2の接近状態から、前記第2の接近状態よりも接近度合いが高い第3の接近状態になった場合に、ユーザ履歴情報を用いた前記第2の制御対象機器の制御動作を開始させてもよい。このようにすれば、第1の接近状態から第2の接近状態になった場合に、ユーザ履歴情報を第2のサブシステム側に転送し、第2の接近状態から第3の接近状態になった場合に、第2の制御対象機器の制御動作を開始でき、情報転送と制御動作の開始をシームレスに実行できる。
また本発明では、前記情報転送手段は、ユーザの接近状態が前記第2の接近状態である期間の間、前記履歴情報記憶手段に記憶されるユーザ履歴情報と前記第2のサブシステムの前記第2の履歴情報記憶手段に記憶されるユーザ履歴情報とを、同じ内容の情報に維持する情報同期処理を行ってもよい。
また本発明では、前記制御処理手段は、ユーザの接近状態が、前記第2の接近状態から前記第1の接近状態になった場合に、ユーザ履歴情報を用いた前記第2の制御対象機器の制御動作を停止させてもよい。このようにすれば、ユーザが離れた場合に、第2の制御対象機器の動作を停止させることができ、低消費電力化を図れる。
また本発明では、前記イベント判定手段は、前記第1、第2、第3の接近状態を、距離による受信状態が異なる少なくとも2種類の無線通信を利用して判断してもよい。このようにすれば、ユーザ履歴情報の転送処理や、第2の制御対象機器の制御動作の開始処理を、距離に応じた受信状態が異なる少なくとも2種類の無線通信を利用して効率的に実現できる。
また本発明は、複数のサブシステムの統合システムに用いられ、ユーザにより所持される携帯型電子機器であって、前記複数のサブシステムの複数のセンサの中から、利用可能なセンサを選択するセンサ選択手段と、前記センサ選択手段により選択されたセンサからのセンサ情報を取得する情報取得手段と、ユーザの行動、状態及び環境の少なくとも1つについての履歴情報であって取得されたセンサ情報に基づき更新されるユーザ履歴情報を、記憶する履歴情報記憶手段とを含み、前記センサ選択手段は、時間情報、ユーザの場所情報及びユーザの状況情報の少なくとも1つであるTPO情報に基づいて、前記複数のサブシステムの複数のセンサの中から、ユーザが利用中のサブシステムにおいて利用可能なセンサを選択する携帯型電子機器に関係する。また本発明は、上記各手段としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
本発明によれば、複数のサブシステムの複数のセンサの中から、ユーザが利用中のサブシステムにおいて利用可能なセンサが、TPO情報に基づき選択される。そして選択されたセンサからのセンサ情報に基づき更新されるユーザ履歴情報が、履歴情報記憶手段に記憶されるようになる。従って、例えば第1のサブシステムのセンサからのセンサ情報に基づき更新されたユーザ履歴情報を、第2のサブシステムのセンサからのセンサ情報に基づきシームレスに更新できるようになり、統合システムに好適な携帯型電子機器を提供できる。
また本発明では、第1のサブシステムのセンサからのセンサ情報によりユーザ履歴情報が更新されたユーザが、第2のサブシステムのセンサの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定手段を含み、前記センサ選択手段は、前記利用可能イベントが発生した場合に、ユーザ履歴情報を更新するためのセンサとして、前記第2のサブシステムのセンサを選択してもよい。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.統合システム
本実施形態の統合システムについて図1を用いて説明する。図1に示すように統合システムは、モバイルサブシステム、ホームサブシステム、或いは車内サブシステムなどの複数のサブシステムにより構成される。なお本実施形態のサブシステムは、これらに限定されず、例えば会社内サブシステム、店内サブシステム、車以外の乗り物(電車、飛行機)のサブシステムなど、センサや制御対象機器を有する種々のサブシステムを考えることができる。
図1に示すようにユーザ(使用者)は、携帯型電子機器20(モバイルゲートウェイ)を所持している。またモバイル制御対象機器としてウェアラブルディスプレイ93(モバイルディスプレイ)を頭部の一方の眼の近傍に装着している。更にウェアラブルセンサ(モバイルセンサ)として種々のセンサを身体に身につけている。具体的には、屋内外センサ510、周囲温度センサ511、周辺湿度センサ512、周辺光度センサ513、腕装着型の運動計測センサ520、脈拍(心拍数)センサ521、体温センサ522、抹消皮膚温度センサ523、発汗センサ524、足圧力センサ530、発話・咀嚼センサ540、携帯型電子機器20に設けられるGPS(Global Position System)センサ550、ウェアラブルディスプレイ500に設けられる顔色センサ560や瞳孔の大きさセンサ561などを装着している。これらの携帯型電子機器20、モバイル制御対象機器、ウェアラブルセンサによりモバイルサブシステム(広義には第1のサブシステム)が構成される。
携帯型電子機器20(モバイルコンピュータ)は、PDA(Personal Digital Assistant)、ノート型PCなどの携帯情報端末であり、例えばプロセッサ(CPU)、メモリ、操作パネル、通信装置、或いはディスプレイ(サブディスプレイ)などを備える。この携帯型電子機器20は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器(ウェアラブルディスプレイ等)の制御(表示制御等)を行ったり外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお携帯型電子機器20は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
ウェアラブルディスプレイ93は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。なおユーザへの情報提示は、ヘッドフォン、バイブレータなどを用いて行ってもよい。またモバイル制御対象機器としては、ウェアラブルディスプレイ93以外にも、例えば腕時計、携帯電話、或いはポータブルオーディオなどの種々の機器を想定できる。
屋内外センサ510は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ510は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
周囲温度センサ511は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。周辺湿度センサ512は、例えば湿度によって電気抵抗が変化することを利用して周囲の湿度を計測する。周辺光度センサ513は、例えば光電素子を用いて周囲の光度を計測する。
腕装着型の運動計測センサ520は、加速度センサや角加速度センサでユーザの腕の動きを計測する。この運動計測センサ520と足圧力センサ530を用いることでユーザの日常動作、歩行状態を更に正確に計測できる。脈拍(心拍数)センサ521は、指又は耳に装着し、拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。体温センサ522、抹消皮膚温度センサ523は、サーミスタ、放射温度計、熱電対などを用いてユーザの体温、抹消皮膚温度を計測する。発汗センサ524は、例えば皮膚の表面抵抗の変化により皮膚の発汗を計測する。足圧力センサ530は、靴にかかる足裏の圧力分布を検出して、ユーザの立ち状態、座り状態、歩行状態などを計測、判定する。
発話・咀嚼センサ540は、ユーザが発話中(会話中)であるか、咀嚼中(食事中)であるかの可能性を計測するためのイヤホン型のセンサであり、その筺体内に骨伝導マイク、外界音マイクが内蔵されている。骨伝導マイクは、発話・咀嚼時に体内から生じ、体内を伝搬する振動である体内音を検出する。外界音マイクは、発話に応じて体外に伝導する振動である音声や、環境の雑音を含む外界音を検出する。そして骨伝導マイク、外界音マイクにより捕らえられた音の単位時間におけるパワーの比較処理等を行うことで、発話可能性や咀嚼可能性を計測する。
GPSセンサ550はユーザの位置を検知するセンサである。なおGPSセンサ550の代わりに携帯電話の位置情報サービスを利用してもよい。顔色センサ560は、例えば顔面近くに光センサを配置し、複数の光学的バンドパスフィルタを通過した後の光度を比較して顔色を計測する。瞳孔の大きさセンサ561は、例えば瞳孔の近くにカメラを配置し、カメラの信号を解析して瞳孔の大きさを計測する。
ホームサブシステムは、ホーム制御対象機器として、例えば、テレビモニタ、PCモニタなどのホームディスプレイや、オーディオ機器、光ディスクプレーヤなどのホームAV機器や、犬、猫、人型等のロボットや、部屋の温度を調整するエアコンや、明るさを調整する照明などを有する。なおホーム制御対象機器としては、これ以外にも、例えばゲーム機や、掃除機、炊飯器、冷蔵庫、電子レンジなどの家電機器や、セキュリティ装置などの種々の機器を想定できる。
またホームサブシステムは、ホームセンサとして、例えば、ホーム内の気温、湿度、光度、騒音、ユーザの会話、食事などを計測する環境センサや、ロボットに内蔵されるロボット搭載センサや、ホームの各室内、ドアなどに設置される人検知センサや、トイレに設置される尿検査用センサなどを有する。なおホームセンサとしては、これ以外にも、例えばセキュリティセンサ(防犯センサや、熱・煙・ガスセンサ等)、地震センサ、消費電力計測センサ、花粉センサなどの種々のセンサを想定できる。そしてこれらのホーム制御対象機器やホームセンサによりホームサブシステム(広義には第2のサブシステム)が構成される。
車内サブシステムは、車内制御対象機器として、道案内を行うカーナビ(ナビゲーション装置)や、オーディオ機器、光ディスクプレーヤなどのカーAV機器や、車内の温度を調整するエアコンなどを有する。なお車内制御対象機器としては、これ以外にも、例えばエアバックなどの安全機器や、シート調整機器や、スマートエントリシステムなどを用いた車のドアの施錠・解錠機器や、通信機器や、車載コンピュータなどの種々の機器を想定できる。
また車内サブシステムは、車内センサとして、車の速度、移動距離などを計測する走行状態センサや、ユーザの運転操作、機器操作を計測する操作状態センサや、車内の気温、湿度、光度、ユーザの会話などを計測する環境センサなどを有する。なお車内センサとしては、これ以外にも、例えば防犯センサ、人検知センサ、花粉センサなどの種々のセンサを想定できる。そしてこれらの車内制御対象機器や車内センサにより車内サブシステム(広義には第3のサブシステム)が構成される。
図1の統合システムでは、ユーザが屋外等にいる場合(モバイル環境の場合)には、モバイルサブシステムのウェアラブルセンサ(モバイルセンサ)からのセンサ情報(センサ2次情報を含む)が取得(収集)され、取得されたセンサ情報に基づいてユーザ履歴情報が更新される。またユーザ履歴情報等に基づいてモバイル制御対象機器の制御が行われる。なおユーザ履歴情報は、ユーザの行動、状態及び環境の少なくとも1つについての履歴情報(ログ情報)である。
一方、ユーザが家にいる場合(ホーム環境の場合)には、ホームサブシステムのホームセンサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ履歴情報が更新される。即ちモバイル環境で更新されたユーザ履歴情報が、ホーム環境に移行した場合にもシームレスに更新される。またユーザ履歴情報等に基づいてホーム制御対象機器の制御が行われる。
また、ユーザが車内にいる場合(車内環境の場合)には、車内サブシステムの車内センサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ履歴情報が更新される。即ちモバイル環境やホーム環境で更新されたユーザ履歴情報が、車内環境に移行した場合にもシームレスに更新される。またユーザ履歴情報等に基づいて車内制御対象機器の制御が行われる。
例えばユーザは、家に着いた場合や車内に移動した場合には、ウェアラブルセンサ(屋内外センサ等)やモバイル制御対象機器(ウェアラブルディスプレイ等)を取り外す可能性が高い。このような場合にも図1の統合システムによれば、ウェアラブルセンサの代わりにホームセンサや車内センサを用いてセンサ情報を取得できるため、シームレスなユーザ履歴情報の更新が可能になる。例えば、外出時の食事と家での食事について、食事時刻や食事にかけた時間等の履歴をとり続けることが可能になる他、内外での行動状態や心拍状態に基づく消費エネルギーやストレスの累積演算処理なども可能になる。
またモバイル制御対象機器の代わりに、ホーム制御対象機器や車内制御対象機器を制御できるようになり、ユーザの利便性を向上できる。例えば表示領域が小さなウェアラブルディスプレイではなく、表示領域が大きなホームディスプレイやカーナビディスプレイに、ユーザ履歴情報等に基づく情報を表示したり、モバイル環境では制御できなかった制御対象機器(例えばエアコン、照明、カーナビ等)を制御できるようになり、利便性を向上できる。
2.携帯型電子機器
図2に、図1の統合システムに好適な本実施形態の携帯型電子機器20の構成例を示す。なお携帯型電子機器20は、図2の構成には限定されず、その構成要素の一部(例えば情報取得部、情報転送部、操作部、表示制御部、情報記憶媒体等)を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
情報取得部30は複数のサブシステムの複数のセンサからのセンサ情報を取得する。例えばモバイルサブシステムのウェアラブルセンサ12(広義には第1のセンサ)、ホームサブシステムのホームセンサ14(広義には第2のセンサ)、車内サブシステムの車内センサ16(広義には第3のセンサ)からのセンサ情報を取得する。具体的には、ユーザの行動(歩行、会話、食事、手足の動き、感情表現又は睡眠等)を計測する行動センサや、ユーザの状態(疲労、緊張、空腹、精神状態、身体状態又はユーザに発生したイベント等)を計測する状態センサや、ユーザの環境(場所、明るさ、気温又は湿度等)を計測する環境センサからのセンサ情報を取得する。
なおセンサは、センサデバイス自体であってもよいし、センサデバイスの他に、制御部や通信部等を含むセンサ機器であってもよい。またセンサ情報は、センサから直接得られるセンサ1次情報であってもよいし、センサ1次情報を加工処理(情報処理)することで得られるセンサ2次情報であってもよい。
情報取得部30は例えば通信部32やセンサI/F(インターフェース)部34などにより実現できる。例えば赤外線やブルートゥース(Bluetoothは登録商標)のような近距離無線や無線LANなどによりセンサからセンサ情報を取得(受信)する場合には、通信部32を用いる。一方、USB、IEEE1394、カードI/Fのような有線の電気信号によりセンサからセンサ情報を取得する場合には、センサI/F部34を用いる。
処理部40は、操作部80からの操作情報や、情報取得部30で取得されたセンサ情報などに基づいて、携帯型電子機器20の動作等に必要な種々の処理を行う。この処理部40の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、情報記憶媒体84に記憶されたプログラムなどにより実現できる。
処理部40は、センサ選択部42、制御対象機器選択部44、演算部46、履歴情報更新部48、イベント判定部50、制御処理部52を含むことができる。なおこれらの構成要素の一部を省略したり、他の構成要素を追加してもよい。
センサ選択部42はセンサの選択処理を行う。具体的には、複数のサブシステムの複数のセンサの中から、ユーザが利用中のサブシステム(ユーザが所在するサブシステム)において利用可能(アクセス可能、情報取得可能)なセンサを選択する。例えばユーザがホームサブシステム(第2のサブシステム)の場所に移動した場合には、ホームサブシステムにおいて利用可能なホームセンサ14(第2のセンサ、第2のセンサ群)を選択する。またユーザが車内サブシステム(第3のサブシステム)の場所に移動した場合には、車内サブシステムにおいて利用可能な車内センサ16(第3のセンサ、第3のセンサ群)を選択する。
更に具体的にはセンサ選択部42は、時間情報(年、月、週、日、時間等)、ユーザの場所情報(位置、所属領域、距離等)及びユーザの状況情報(精神・肉体状態、ユーザに対して発生したイベント等)の少なくとも1つであるTPO(Time Place Occasion)情報に基づいて、複数のセンサの中から利用可能なセンサを選択する。即ち、同じサブシステムにおいても、TPO情報に応じて異なるセンサを選択する。
なおTPO情報は、センサからのセンサ情報に基づいて取得してもよいし、予定表データ(スケジュール情報)や、インターネットからのダウンロードデータなどに基づいて取得してもよい。またセンサの選択は直接的(能動的)なものであってもよいし、間接的(受動的)なものであってもよい。例えばセンサ自体を直接に選択するのではなく、得られるセンサ情報を選択することで間接的にセンサを選択してもよい。例えば無線によりセンサ情報が通信される場合に、各センサ情報に付加されたタグ情報などに基づいて、利用可能なセンサ情報を選択し、これによりセンサを間接的に選択してもよい。
例えば、屋内では、位置検出にGPSセンサではなく加速度センサを利用した慣性航法を利用する。従って、ユーザが屋内に入ったことがセンサ情報に基づき検出されたとき(例えば、GPSセンサからの位置情報が正しく得られなかったり、屋内にいることを示す情報が屋内外センサにより得られたりしたとき)には、GPSセンサからのセンサ情報を選択せずに、加速度センサからのセンサ情報を選択して位置を演算するようにする。このとき、GPSセンサを停止させることで、省電力化を図ったり、無線のトラフィックを軽減させたり、センサ情報処理の負荷を軽減させたりすることも可能となる。
制御対象機器選択部44は制御対象機器の選択処理を行う。具体的には、ユーザ履歴情報を用いた制御が行われる制御対象機器を、複数のサブシステムの複数の制御対象機器の中から選択する。別の言い方をすれば、複数のサブシステムの複数の制御対象機器の中から、ユーザが利用中のサブシステム(ユーザが所在するサブシステム)において利用可能(アクセス可能、制御可能)な制御対象機器を選択する。例えばユーザがホームサブシステム(第2のサブシステム)の場所に移動した場合には、ホームサブシステムにおいて利用可能なホーム制御対象機器94(広義には第2の制御対象機器)を選択する。またユーザが車内サブシステム(第3のサブシステム)の場所に移動した場合には、車内サブシステムにおいて利用可能な車内制御対象機器96(広義には第3の制御対象機器)を選択する。
更に具体的には制御対象機器選択部44は、TPO情報に基づいて複数の制御対象機器の中から利用可能な制御対象機器を選択する。即ち、同じサブシステムにおいても、TPO情報に応じて異なる制御対象機器を選択する。
なお制御対象機器の選択は直接的(能動的)なものであってもよいし、間接的(受動的)なものであってもよい。例えば制御対象機器自体を直接に選択するのではなく、制御対象機器に必要な情報(データ、信号)を出力することで、間接的にその制御対象機器を選択してもよい。
例えば、入浴中は、居間の照明・AV機器の制御や空調制御は不要であり、湯温やバスTV(テレビ)の制御がユーザにとって有効になるので、これらの制御対象機器を選択するようにする。この場合にバスTVには、ホームサーバから映像を配信することも可能であるし、好みの番組を放映しているチャンネル情報のみを送信することも可能である。
演算部46は、情報取得部30により取得されたセンサ情報のフィルタリング処理(選択処理)や解析処理のための種々の演算処理を行う。具体的には演算部46は、センサ情報の乗算処理や加算処理を行う。例えば下式(1)に示すように、複数のセンサからの複数のセンサ情報のデジタル化された計測値Xと、各係数が係数記憶部(図示せず)に記憶され、2次元行列(マトリックス)で表される係数Aijとの積和演算を行う。そうして下式(2)に示すように、積和演算の結果を多次元座標としてn次元のベクトルYとして演算する。なお、iはn次元空間のi座標であり、jは各センサに割り当てられる番号である。
Figure 0005265141
Figure 0005265141
上式(1)(2)のような演算処理を行うことで、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境(TPO情報)をセンサ情報に基づき同定するための解析処理などを実現できる。例えば脈拍(心拍数)、発汗量、体温の計測値Xに対して乗算される係数Aを、その他のセンサ情報の計測値に対する係数よりも大きな値に設定すれば、上式(1)(2)で演算された数値Yは、ユーザの状態である「興奮度」を表すものになる。また発話量の計測値Xに対して乗算される係数と、足圧力の計測値Xに対して乗算される係数を適当な値に設定することで、ユーザの行動が、着座して会話しているのか、歩きながら会話しているのか、静かに思考しているのか、睡眠状態なのか等を同定できる。
履歴情報更新部48は履歴情報の更新処理を行う。具体的には、情報取得部30により取得されたセンサ情報に基づいてユーザ履歴情報を更新する。例えばユーザが第2のサブシステムに移行した場合には、第1のサブシステムで更新されたユーザ履歴情報を、第2のサブシステムの第2のセンサからのセンサ情報に基づき更新する。そして更新されたユーザ履歴情報を履歴情報記憶部62に記憶する。この場合に、履歴情報記憶部62のメモリ容量を節約するために、新しい履歴情報を記憶する場合には、古い履歴情報を削除し、削除により空いた記憶領域に対して新しい履歴情報を記憶してもよい。或いは、各履歴情報に優先度(重み付け係数)を付与し、新しい履歴情報を記憶する場合には、優先度の低い履歴情報を削除してもよい。この場合に、各履歴情報に対する優先度の設定は、その履歴情報に基づいて制御対象機器が制御されたか否かに基づいて決めてもよい。即ち制御対象機器の制御に利用された履歴情報に対しては高い優先度を設定する。こうすれば、メモリ容量を節約しながら、制御対象機器の制御に有効な履歴情報だけを履歴情報記憶部62に残すことが可能になる。もちろん、既に記憶されている履歴情報と新しい履歴情報を演算することで履歴情報を更新(上書き)してもよい。
イベント判定部50は各種のイベントの判定処理を行う。具体的には、第1のサブシステムを利用していたユーザが、新たに第2のサブシステムの利用が可能な状態になったことを示す利用可能イベントの発生を判定する。例えば第1のサブシステム(例えばモバイルサブシステム)のセンサからのセンサ情報によりユーザ履歴情報が更新されたユーザが、第2のサブシステム(例えばホームサブシステム)の第2の制御対象機器の利用が可能な状態になったことを示す利用可能イベント(アクセス可能イベント、制御可能イベント)の発生を判定する。或いは第2の制御対象機器の利用が不可になる利用不可イベントの発生を判定する。例えば携帯型電子機器20と制御対象機器との間の情報転送が無線により行われる場合には、無線強度を検出することで利用可能イベントの発生を判定できる。或いは第2のサブシステムにて利用可能なクレードル(第2のサブシステムの場所に設置されるクレードル)に携帯型電子機器20が接続された場合に、利用可能イベントが発生したと判定してもよい。
そして制御対象機器選択部44は、利用可能イベントが発生した場合に、第2の制御対象機器を選択する。また履歴情報更新部48は、利用可能イベントが発生した場合に、第2のサブシステムのセンサからのセンサ情報を取得し、取得されたセンサ情報に基づいてユーザ履歴情報を更新する。
なお利用可能イベントが発生した場合にも、制御対象機器の選択が不要である場合には、制御対象機器を選択しないようにしてもよい。即ち利用可能か否かのみならず、選択の必要・不要も判定する。またイベント判定部50は、センサの利用可能イベントの発生についても判定できる。この場合に、制御対象機器の利用可能イベントとセンサの利用可能イベントは、同じイベントであってもよいし、別々のイベントであってもよい。
制御処理部52は制御対象機器の制御のための種々の処理を行う。例えば利用可能イベントが発生し、第2の制御対象機器が選択された場合に、ユーザ履歴情報を用いた第2の制御対象機器の制御動作を開始させる。例えば第2の制御対象機器の制御部による制御対象の制御を開始させる。或いは利用可能イベントが発生した場合に、第2の制御対象機器の電源をオン(通常動作モード復帰)にする制御(指示)を行ったり、携帯型電子機器20の電源をオフ(低消費電力モード移行)にする制御を行う。或いは、第2の制御対象機器をユーザが利用できなくなる利用不可イベントが発生した場合に、第2の制御対象機器の電源をオフ(低消費電力モード移行)にする制御を行う。
記憶部60は、処理部40、情報取得部30、情報転送部70などのワーク領域となるもので、その機能はRAMなどのメモリやHDD(ハードディスクドライブ)などにより実現できる。記憶部60が含む履歴情報記憶部62は、ユーザの行動、状態又は環境等の履歴情報であって、取得されたセンサ情報に基づき更新されるユーザ履歴情報を記憶する。出力情報記憶部64は、情報転送部70によって制御対象機器に転送される出力情報を記憶する。
情報転送部(情報出力部)70は、モバイル、ホーム、車内の制御対象機器92、94、96などに対して情報を転送するものであり、その機能は通信部72や機器I/F部74などにより実現できる。例えば無線等の通信により制御対象機器に情報(データ)を転送(送信)する場合には、通信部72を用いる。一方、有線の電気信号により制御対象機器に情報(制御信号)を転送(出力)する場合には、機器I/F部74を用いる。
操作部80は、ユーザの操作情報を入力するためのものであり、その機能は、キーボードなどの操作パネルや、タッチパネル型ディスプレイなどにより実現できる。表示制御部82は、ディスプレイ(ウェアラブルディスプレイ、サブディスプレイ)に文字、画像等の情報を表示するための表示制御処理を行うものであり、その機能は、グラフィックプロセッサなどにより実現できる。情報記憶媒体(コンピュータにより読み取り可能な媒体)84は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)などにより実現できる。処理部40は、情報記憶媒体84に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体84には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
次に図3(A)、図3(B)を用いて本実施形態の動作について説明する。図3(A)はセンサの選択処理に関するフローチャートである。
まず、センサ情報やスケジュール情報などの、TPOの判定に必要な情報を取得する(ステップS1)。そして取得された情報に基づきユーザのTPOを判定する(ステップS2)。次にセンサ選択部42が、ユーザのTPO情報に基づき利用可能なセンサを選択する(ステップS3)。そして情報取得部30が、選択されたセンサからのセンサ情報を取得する(ステップS4)。次に、履歴情報更新部48が、取得されたセンサ情報に基づきユーザ履歴情報を更新して、更新されたユーザ履歴情報を履歴情報記憶部62に記憶する(ステップS5)。
なおTPO判定用のセンサ情報を取得するためのセンサ選択においては、TPO判定に有効なセンサを選択したり、TPOが変化したことを検出できるセンサを選択すればよい。例えば前述の例では、屋内においては、屋内での位置判定(TPO判定)に有効なセンサである加速度センサを選択する。但し、加速度センサだけでは、屋内から屋外に出てGPSセンサを使えるようになったことを検出できず、センサの再選択ができなくなってしまう。従って、この場合には、前述した屋内外センサも選択しておくことが望ましい。
図3(B)は、制御対象機器の選択処理に関するフローチャートである。まず、センサ情報やスケジュール情報などの、TPOの判定に必要な情報を取得する(ステップS11)。そして取得された情報に基づきユーザのTPOを判定する(ステップS12)。次に制御対象機器選択部44が、ユーザのTPO情報に基づき利用可能な制御対象機器を選択する(ステップS13)。そしてユーザ履歴情報を履歴情報記憶部62から読み出す(ステップS14)。次に情報転送部70が、読み出されたユーザ履歴情報に基づき、選択された制御対象機器への出力情報を出力情報記憶部64から選択し(ステップS15)、選択された出力情報を制御対象機器に出力する(ステップS16)。
図3(A)では、ユーザのTPO情報に応じたセンサが選択されるため、場所、時間、状況に応じて異なったセンサを選択できるようになる。従って、どの場所、時間、状況で取得されたセンサ情報なのかに応じて、センサ情報の意味づけを異なったものにすることが可能になり、よりインテリジェントなセンサ情報の取得処理を実現できる。また場所、時間、状況に応じた適切なセンサを選択することで、ユーザ履歴情報の適正な更新が可能になる。
例えばホームサブシステムにおいて、ユーザが居間にいる場合には、照明制御や空調制御のために光度センサや気温センサを選択する。一方、ユーザがトイレにいる場合には、ユーザの健康状態の履歴情報を作成するために、尿検査用センサを選択する。またユーザがロボットに近づいた場合には、ユーザに対してロボットを対応させたり、ロボットを利用してユーザの行動の履歴情報を更新するために、ロボット搭載センサを選択する。また昼間の時間帯では、空調制御のために気温センサを選択し、夜中の時間帯では、睡眠中のユーザの体温を測ってユーザの健康状態の履歴情報を作成するために体温センサを選択したり、セキュリティのために防犯センサを選択する。またユーザが忙しい状況である場合には、ユーザをリラックスさせる照明制御のために、光度センサを選択し、ユーザが暇な状況である場合には、ユーザの暇を解消するロボット制御のために、ロボット搭載センサを選択する。
また図3(B)では、ユーザのTPO情報に応じた制御対象機器が選択されるため、場所、時間、状況に応じて異なった制御対象機器を選択できるようになり、よりインテリジェントな機器制御を実現できる。
例えばホームサブシステムにおいて、ユーザが居間にいる場合やユーザが起きている時間帯では、ユーザの暇を解消するために、ホームディスプレイやAV機器やロボットなどの制御対象機器を選択する。或いはユーザが、ホームディスプレイやAV機器やロボットに近づいた場合には、ユーザが近づいた機器を選択する。一方、ユーザが寝室にいる場合や夜中の時間帯では、ユーザの快適な睡眠を実現するために、エアコンや照明などの制御対象機器を選択する。またユーザが元気の無い状況では、ユーザを元気にするためにロボットを選択し、ユーザが忙しい状況では、ユーザをリラックスさせる音楽を流すためにホームAV機器を選択する。
図4に、家から車、屋外、屋内を経由して会社に移動した場合において、TPOにより選択されるセンサや制御対象機器の例を更に具体的に示す。
ユーザが車内の運転席に移動すると、走行状態センサ、操作状態センサ、車内の環境センサ等が選択される。また制御対象機器としてカーナビ、カーAV機器、エアコン、居眠り防止装置等が選択される。
ユーザが車から屋外に出て、歩行した場合には、GPS、加速度、脈拍等のウェアラブルセンサが選択される。またウェアラブルディスプレイ、モバイルAV機器、携帯電話、腕時計等の制御対象機器が選択される。一方、ユーザが屋内において立ち止まり中である場合には、GPS、加速度、脈拍等のウェアラブルセンサや、屋内に埋め込まれた環境センサが選択される。また制御対象機器として、ユーザの最寄りの端末やディスプレイが選択される。
ユーザが会社に行って着座すると、脈拍等のウェアラブルセンサや、屋内や職場のデスクに埋め込まれた環境・状態センサや、PCの操作履歴をモニタするためのセンサが選択される。また制御対象機器として、デスクの端末・PCや、照明、空調等が選択される。
以上の本実施形態の手法によれば、ユーザが複数のサブシステム間を移動した場合に、ユーザに対してユーザ履歴情報に応じた適切且つ効果的な情報提供が可能になる。
例えば図5(A)において、家に帰宅したユーザは、携帯型電子機器20をクレードル21に接続して、充電等を行っている。このようなクレードル21への接続により、ホームサブシステムの制御対象機器であるロボット300が選択されて起動し、その利用が可能になる。この場合に携帯型電子機器20の履歴情報記憶部62には、モバイル環境において更新されたユーザ履歴情報が記憶されており、ロボット300はこのユーザ履歴情報に基づき制御される。具体的には、ユーザが仕事の帰りに飲み会に行き、同僚との会話で盛り上がったことが、ユーザ履歴情報に基づき判断される。するとロボット300は、ユーザが近づいた時に、例えば「今日の飲み会は盛り上がったようですね」というような発話動作を行う。これによりユーザは、ロボット300がいない場所での自身の行動を、ロボット300が知っている事に対して新鮮味を感じ、ロボット300に愛着を持つことができ、これまでにないロボット制御を実現できる。また例えばユーザ履歴情報に基づき、ユーザが仕事で疲れていたり元気が無いと判断されると、ロボット300はユーザを励ます発話動作を行う。これによりユーザは、あたかも自分の状態を知っているかのように励ましてくれるロボット300に対して更に愛着を持つようになる。
また、このようにユーザが帰宅すると、ロボット300のみならず、ロボット搭載センサの利用も可能になり、モバイル環境で更新されたユーザ履歴情報を、ロボット搭載センサからのセンサ情報に基づき更新できるようになる。従って、ロボット300の発話に対するユーザの反応を、ロボット搭載の接触センサ等により検知することで、帰宅時のユーザの精神状態等を判断できる。例えば「今日の飲み会は盛り上がったようですね」という対話に対して、ユーザが肯定の反応を示した場合には、「仕事後に飲み会に出かけた」という推定結果が正しいという事を判断でき、より正確なユーザ履歴情報の作成が可能になる。
またユーザが帰宅して、例えば周囲温度センサ、周辺湿度センサ、周辺光度センサ、体温センサなどのウェアラブルセンサを取り外した場合に、これらのウェアラブルセンサの代わりにロボット搭載センサを選択することで、ロボット搭載センサにより周囲の温度、湿度、光度、ユーザの体温などを計測できるようになる。従って、ロボット搭載センサからのセンサ情報に基づき、ユーザ履歴情報のシームレスな更新処理が可能になり、より適切で正確なユーザ履歴情報を得ることができる。
図5(B)では、車に乗ったユーザは、携帯型電子機器20を車内に設けられたクレードル21に接続している。このようなクレードル21への接続や近距離無線の通信経路確立により、車内サブシステムの制御対象機器であるナビゲーション装置が選択される。この場合に携帯型電子機器20の履歴情報記憶部62には、モバイル環境やホーム環境において更新されたユーザ履歴情報が記憶されており、このユーザ履歴情報に基づきカーナビディスプレイの制御等が可能になる。具体的には、ユーザの運動量(歩行量)が不足していることが、ユーザ履歴情報に基づき判断されると、図5(C)に示すように、カーナビディスプレイには、ヘルシーな店を勧める案内画面が表示される。これによりユーザは、あたかも自分の行動履歴を知っているかのように反応するナビゲーション装置に新鮮味や驚きを感じ、これまでにないナビゲーション装置を提供できる。またユーザ履歴情報により特定されるユーザの行動履歴が、例えば予定表により特定されるユーザの予定よりも進んでいる場合には、余裕を持った道案内の経路を設定するなどのナビゲーション制御を行ってもよい。
また車内において受信感度が落ちた携帯型電子機器20の内蔵GPSセンサに代えて、ナビゲーション装置のGPSセンサやジャイロセンサを利用して、ユーザの正確な移動履歴を同定して、ユーザ履歴情報を更新できるようになる。従って、モバイル環境やホーム環境からのシームレスなユーザ履歴情報の更新処理が可能になり、より適切で正確なユーザ履歴情報を得ることができる。
なお本実施形態の手法の適用例は図5(A)〜図5(C)に限定されない。例えば帰宅したユーザが、ウェアラブルディスプレイを取り外し、ホームディスプレイに近づいた場合に、ウェアラブルディスプレイの代わりにホームディスプレイに対して、ユーザ履歴情報やそれに基づく情報を表示してもよい。またユーザ履歴情報によりユーザが精神的に疲れていると判断した場合には、カーAV機器を選択して、癒し系の音楽を流すように制御してもよい。
3.ユーザ履歴情報の更新、制御対象機器の制御
次に、ユーザ履歴情報の更新手法や制御対象機器の制御手法の具体例について図6を用いて説明する。
図6において、期間T1ではセンサ及び制御対象機器が共に利用可能になっており、期間T2では制御対象機器が利用不可になっており、期間T3ではセンサが利用不可になっており、期間T4ではセンサ及び制御対象機器が共に利用不可になっている。
そして期間T2のように、利用可能(選択可能)な制御対象機器がない場合には、ユーザ履歴情報を用いた制御対象機器の制御は行われずに、履歴情報更新部48によるユーザ履歴情報の更新だけが行われる。一方、期間T3のように、利用可能なセンサ(取得可能なセンサ情報)がない場合には、履歴情報更新部48によるユーザ履歴情報の更新は行われずに、ユーザ履歴情報を用いた制御対象機器の制御だけが行われる。なお期間T1のように、制御対象機器もセンサも利用可能である場合には、履歴情報の更新と制御対象機器の制御の両方が行われる。一方、期間T4のように、制御対象機器もセンサも利用不可である場合には、履歴情報の更新も制御対象機器の制御も行われない。
このように図6では、携帯型電子機器20は、利用可能なセンサや制御対象機器があるか否かを検索する。そして利用可能なセンサが検出された場合には、そのセンサ情報を取得して、ユーザ履歴情報を更新する。この時、利用可能な制御対象機器が検出されない場合には、ユーザ履歴情報の更新だけを継続し、制御対象機器の制御動作は行わない。そして利用可能な制御対象機器が検出・選択された時点で、更新されたユーザ履歴情報に基づいて制御対象機器の制御動作を開始する。
また利用可能なセンサが検出されず、利用可能な制御対象機器だけが検出された場合には、最後に更新されたユーザ履歴情報に基づいて制御対象機器の制御動作だけを行う。そして利用可能なセンサが検出・選択された時点で、ユーザ履歴情報の更新を再開する。
以上のような手法によれば、センサ及び制御対象機器の一方が利用不可である場合にも、ユーザ履歴情報の更新や制御対象機器の制御を無駄なく継続して行うことが可能になる。
4.選択状態の監視
携帯型電子機器20がセンサや制御対象機器を選択する場合に、選択される側であるセンサや制御対象機器も、自身が選択状態にあることを認識できることが望ましい。このような選択状態の監視手法について、図7(A)〜図7(C)を用いて説明する。
例えば図7(A)では、携帯型電子機器20のセンサ選択部42は、センサ(センサ機器)10の選択状態監視部17に対して所定のプロトコルに従った問いかけを行う。センサ10の選択状態監視部17は、センサ10が利用可能であれば、その旨を所定のプロトコルに従ってセンサ選択部42に返す。
このようにしてハンドシェークが成立すると、携帯型電子機器20は、センサ10が利用可能であると判断して、センサ10からのセンサ情報を取り込む。またハンドシェークが成立すると、選択状態監視部17は制御部18を起動し、制御部18は、センサデバイス19を制御して、センサ情報を携帯型電子機器20に対して出力させる。このような構成にすることで、センサ10が選択されるまでの間、センサ10の制御やセンサ情報に基づく処理が不要になり、処理負荷を軽減できる。
図7(B)では、携帯型電子機器20の制御対象機器選択部44は、制御対象機器90の選択状態監視部97に対して所定のプロトコルに従った問いかけを行う。選択状態監視部97は、制御対象機器90が利用可能であれば、その旨を所定のプロトコルに従って制御対象機器選択部44に返す。
このようにしてハンドシェークが成立すると、携帯型電子機器20は、制御対象機器90が利用可能であると判断して、ユーザ履歴情報やセンサ情報に基づいて制御対象機器90に必要な情報をフィルタリング(選択)して、制御対象機器90の制御部98に出力する。またハンドシェークが成立すると、選択状態監視部97は制御部98を起動し、制御部98は、携帯型電子機器20から出力された情報に基づいて制御対象99を制御する。このような構成にすることで、制御対象機器90が選択されるまでの間、制御対象機器90の制御やそのための情報の出力が不要になり、処理負荷を軽減できる。
図7(C)では、制御対象機器選択部44は、ロボット300の選択状態監視部397に対して所定のプロトコルに従った問いかけを行う。選択状態監視部397は、ロボット300が利用可能であれば、その旨を所定のプロトコルに従って制御対象機器選択部44に返す。
このようにしてハンドシェークが成立すると、選択状態監視部397はロボット制御部386を起動し、ロボット制御部386は、ロボット搭載センサ310を制御して、センサ情報を携帯型電子機器20に対して出力させる。またロボット制御部386は、ユーザ履歴情報やセンサ情報に基づいて、ロボット動作機構(アクチュエータ、スピーカ、LED等)390を制御する。またハンドシェークが成立すると、携帯型電子機器20は、ロボット300が利用可能であると判断して、ロボット搭載センサ310からのセンサ情報を取り込むと共に、ユーザ履歴情報やセンサ情報に基づいてロボット300に必要な情報をフィルタリングして、ロボット300の制御部386に出力する。このような構成にすることで、ロボット300が選択されるまでの間、選択状態監視部397以外のロボット300の各部を、低消費電力(スリープ)モードに設定でき、省電力化を図れる。
図8(A)では情報転送部70は、履歴情報記憶部62のユーザ履歴情報に基づいて出力情報を選択し、ホームディスプレイ200の表示制御部286や、ロボット300のロボット制御部386に対して出力する。これにより表示制御部286による表示部290の表示制御や、ロボット制御部386によるロボット動作機構390の制御が行われる。また情報転送部70は、車内環境では、カーナビ400の処理部440に対して情報を出力し、これにより処理部440によるカーナビ制御や表示制御部486による表示部490の表示制御が行われる。
このとき、例えばホームディスプレイ200にユーザ履歴情報自体を表示する場合には、情報転送部70は、履歴情報記憶部62のユーザ履歴情報の中から表示すべき情報を選択し、選択された情報を表示制御部286に出力する。そして表示制御部286は、表示部290を制御して、選択された文字や画像等の情報を表示させる。
一方、図5(A)のようにユーザ履歴情報に基づいてロボット300に発話動作を行わせる場合には、情報転送部70は、出力情報記憶部64の出力情報の中から発話内容を指示する情報を選択し、選択された指示情報をロボット制御部386に出力する。そしてロボット制御部386は、指示情報に基づいて発話内容を決定し、ロボット動作機構390を制御して発話動作を行わせる。なおこの場合に、情報転送部70がユーザの精神状態や身体状態などのパラメータを出力し、ロボット制御部386が、これらのパラメータに基づいて発話内容やロボットの動作を決定して、ロボット動作機構390を制御してもよい。
図8(B)では、携帯型電子機器20は、外部の制御対象の制御が可能な外部制御部71を含む。そして外部制御部71は、制御対象機器選択部44により制御対象機器が選択された場合に、選択された制御対象機器の制御対象を、ユーザ履歴情報を用いて制御する。例えば外部制御部71は、ホームディスプレイ200の表示制御部として機能して、表示部290の表示制御を行う。また外部制御部71は、ロボット300の制御部として機能して、ロボット動作機構390を制御する。また外部制御部71は、カーナビ400の表示制御部として機能して、表示部490の表示制御を行う。このようにすれば、携帯型電子機器20の外部制御部71により、制御対象機器の制御対象を直接に制御して、表示制御や動作制御を行うことが可能になる。
5.ユーザ履歴情報
次に、ユーザ履歴情報の更新処理やユーザ履歴情報の具体例について説明する。図9は、ユーザ履歴情報の更新処理の一例を示すフローチャートである。
まず、情報取得部30がセンサ情報を取得する(ステップS21)。次に、演算部46が、取得されたセンサ情報のフィルタリングや解析等の演算処理を行う(ステップS22)。そして演算結果に基づきユーザの行動、状態、環境等(TPO、情感)を推定する(ステップS23)。そして履歴情報更新部48が、推定されたユーザの行動、状態等のユーザ履歴を日時(年、月、週、日、時間)等に関連づけて履歴情報記憶部62に記憶して、ユーザ履歴情報を更新する(ステップS24)。
図10にユーザ履歴情報の具体例が模式的に示される。図10のユーザ履歴情報は、ユーザの行動等の履歴が時間帯、時刻等に関連づけられたデータ構造になっている。例えば8時にユーザは自宅を出発し、8時〜8時20分の時間帯では自宅から駅まで歩行し、8時20分に自宅の最寄りのA駅に到着している。そして8時20分〜8時45分の時間帯では電車に乗車し、8時45分に会社の最寄りのB駅で下車し、9時に会社に到着し、業務を開始している。10時〜11時の時間帯では社内のメンバとミーティングを行い、12時〜13時の時間帯では昼食をとっている。
このように図10では、センサからの情報等により推定されるユーザの行動等の履歴を、時間帯や時刻等に関連づけることで、ユーザ履歴情報が構築されている。
また図10では、時間帯や時刻に対して、センサ等により計測されるユーザの発話量、食事量、脈拍、発汗量等の計測値も関連づけられている。例えば8時〜8時20分の時間帯では、ユーザは自宅からA駅に歩いているが、この時の歩行量等がセンサにより計測されて、8時〜8時20分の時間帯に関連づけられる。この場合に、例えば歩行速度、発汗量等の歩行量以外のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの運動量等を把握することが可能になる。
10時〜11時の時間帯では、ユーザは同僚とのミーティングを行っているが、この時の発話量等がセンサにより計測されて、10時〜11時の時間帯に関連づけられる。この場合に、例えば音声状態、脈拍等のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの会話量や緊張度等を把握することが可能になる。
20時45分〜21時45分や22時〜23時の時間帯では、ユーザはゲームをプレイしたり、テレビを鑑賞しているが、この時の脈拍、発汗量等がこれらの時間帯に関連づけられる。こうすることで、これらの時間帯でのユーザの興奮度等を把握することが可能になる。
23時30分〜の時間帯では、ユーザは睡眠をしているが、この時のユーザの体温の変化がこの時間帯に関連づけられる。こうすることで、睡眠時におけるユーザの健康状態を把握することが可能になる。
なお、ユーザ履歴情報は図10のような形態に限定されず、例えばユーザの行動等の履歴を日時等に関連づけないでユーザ履歴情報を構築する変形実施も可能である。
例えば図11(A)では、センサ情報の計測値である発話量、音声状態、脈拍、発汗量等に基づいて、所定の演算式にしたがってユーザの精神状態パラメータが演算される。例えば発話量が多ければ、精神状態パラメータも高くなり、ユーザの精神状態が良好であることが示される。またセンサ情報の計測値である歩行量、歩行速度、体温等に基づいて、所定の演算式にしたがってユーザの身体状態(健康状態)のパラメータ(運動量パラメータ)が演算される。例えば歩行量が多ければ、身体状態パラメータも高くなり、ユーザの身体状態が良好であることが示される。
図11(B)に示すように、ユーザの精神状態、身体状態のパラメータ(広義には状態パラメータ)は、棒グラフ等を利用して可視化することで、ウェアラブルディスプレイやホームディスプレイやカーナビディスプレイに表示できる。従って本実施形態によれば、例えばモバイル環境において更新された精神状態、身体状態のパラメータなどのユーザ履歴情報を用いて、ホーム環境におけるホームディスプレイや、車内環境におけるカーナビディスプレイに対して、図11(B)のようにパラメータを可視化して表示することが可能になる。或いはモバイル環境で更新された精神状態、身体状態のパラメータなどに基づいて、ホーム環境のロボットを制御して、ユーザを励ましたり、ユーザに助言する動作をロボットに行わせることも可能になる。或いは車内環境において、ユーザの精神状態、身体状態のパラメータに応じたナビゲーションを行ったり、音楽を流すことも可能になる。
6.センサ、制御対象機器の選択
次に、センサや制御対象機器の選択手法の具体例について説明する。なお、以下では、説明を簡明にするため、第1のサブシステムがモバイルサブシステムであり、第2のサブシステムがホームサブシステム(ロボット)である場合を主に例にとり説明するが、本実施形態はこれに限定されるものではない。
例えば図12(A)に示すように、ユーザがモバイル環境にいる場合に、イベント判定部50が、ウェアラブルセンサ12、モバイル制御対象機器92の利用が可能であると判定すると、センサ選択部42がウェアラブルセンサ12を選択し、制御対象機器選択部44がモバイル制御対象機器92を選択する。そして履歴情報更新部48が、ウェアラブルセンサ12からのセンサ情報に基づいてユーザ履歴情報を更新する。また制御処理部52が、モバイル制御対象機器92の制御動作を開始させる。
一方、図12(B)では、ユーザがモバイル環境からホーム環境に移動し、イベント判定部50が、ホームセンサ14、ホーム制御対象機器94の利用が可能であるか否かを判定する。そして利用可能である場合には、センサ選択部42がホームセンサ14を選択し、制御対象機器選択部44がホーム制御対象機器94を選択する。また履歴情報更新部48が、ホームセンサ14からのセンサ情報に基づいてユーザ履歴情報を更新する。また制御処理部52がホーム制御対象機器94の制御動作を開始させる。
このように図12(A)、図12(B)では、ユーザがモバイル環境にいる場合にも、ホーム環境にいる場合にも、携帯型電子機器20が、センサ情報に基づく履歴情報の更新や制御対象機器の制御を行っている。
しかしながら、ユーザがホーム環境にいる場合には、携帯型電子機器20を取り外す可能性が高い。またホーム環境においても携帯型電子機器20を常時動作させると、携帯型電子機器20の電力が無駄に消費されてしまう。
そこで図13(A)〜図14では、ユーザがモバイル環境(第1のサブシステムの環境)からホーム環境(第2のサブシステムの環境)に移動した場合に、携帯型電子機器20を停止させる等の制御を行っている。
例えば図13(A)では、ユーザがモバイル環境にいるため、モバイル側は電源オン(或いは通常動作モード)になっており、ホーム制御対象機器94は電源オフ(或いは低消費電力モード)になっている。なおモバイル側、ホーム側の情報転送部70、170は、常時、電源オン(通常動作モード)になっている。
そしてモバイル側の制御対象機器選択部44がモバイル制御対象機器92を選択し、選択されたモバイル制御対象機器92の制御が行われる。またモバイル側のセンサ選択部42がウェアラブルセンサ12を選択し、モバイル側の履歴情報更新部48がウェアラブルセンサ12からのセンサ情報に基づきユーザ履歴情報を更新する。
一方、図13(B)では、ユーザがモバイル環境からホーム環境に移動している。この場合には、ホーム制御対象機器94の利用が可能か否かが判定され、利用可能である場合には、ホーム制御対象機器94が電源オン(通常動作モード)になる。そしてモバイル側の情報転送部70が、履歴情報記憶部62からユーザ履歴情報を読み出して、ホーム側に転送する。するとホーム側の情報転送部170が、このユーザ履歴情報を受けて、履歴情報記憶部162に書き込む。そしてホームセンサ14が選択されて、ホームセンサ14からのセンサ情報に基づくユーザ履歴情報の更新が開始する。またユーザ履歴情報を用いたホーム制御対象機器94の制御が開始する。そしてモバイル側が電源オフ(低消費電力モード)になる。
図14では、ユーザがホーム環境からモバイル環境に戻っている。この場合には、モバイル側が電源オン(通常動作モード)になる。そしてホーム側の情報転送部170が、履歴情報記憶部162からユーザ履歴情報を読み出して、モバイル側に転送する。するとモバイル側の情報転送部70が、このユーザ履歴情報を受けて、履歴情報記憶部62に書き込む。そしてホーム制御対象機器94が電源オフ(低消費電力モード)になる。
図13(A)〜図14の手法によれば、ユーザがモバイル環境にいる場合には、ホーム制御対象機器94(或いはホームサブシステム)が電源オフ(低消費電力モード)になり、ユーザがホーム環境にいる場合には、モバイル側が電源オフになるため、モバイル側やホーム側の低消費電力化を図れる。そしてこの場合に、図13(B)や図14に示すようにユーザ履歴情報を転送すれば、ユーザがサブシステム間を移動した場合にも、ユーザ履歴情報のシームレスな更新が可能になる。またユーザがモバイル環境にいる場合にも、ホーム環境にいる場合にも、情報転送部70、170は、常時、電源オン(通常動作モード)になっているため、ユーザ履歴情報の転送処理やユーザ環境変化の監視処理を適正に実現できる。
なおユーザがモバイル環境からホーム環境に移動した場合における、利用可能イベント発生の判断、ホーム制御対象機器94やホームセンサ14の選択、或いはホーム制御対象機器94の制御動作の開始等の処理は、ホーム側とモバイル側の共同動作により実現してもよいし(例えば図7(A)〜図7(C))、ホーム側の単独動作により実現してもよい。
図15は、図13(A)〜図14の手法の詳細な処理例を示すフローチャートである。まず、ホーム制御対象機器94の利用が可能になったか否かを判断する(ステップS31)。そして利用可能になった場合には、そのホーム制御対象機器94を選択し(ステップS32)、選択されたホーム制御対象機器94の電源をオンにする(ステップS33)。或いは低消費電力モードから通常動作モードに復帰させる。
次に、ユーザ履歴情報を履歴情報記憶部62からホームサブシステムの履歴情報記憶部162に転送する(ステップS34)。そしてホームセンサ14からのセンサ情報を用いたユーザ履歴情報の更新を開始する(ステップS35)。またユーザ履歴情報を用いたホーム制御対象機器94の制御動作を開始する(ステップS36)。
次に携帯型電子機器20の電源をオフにする(ステップS37)。或いは低消費電力モードに移行させる。但し情報転送部(通信部)70は常時電源オン(通常動作モード)のままにする。
こうして、次に、ホーム制御対象機器94の利用が不可になった否かを判断する(ステップS38)。ホーム制御対象機器94の利用が可能な間は、ホームセンサ14からのセンサ情報を用いたユーザ履歴情報の更新とこれを用いたホーム制御対象機器94の制御動作を継続する。そして利用不可になった場合には、携帯型電子機器20の電源をオンにする(ステップS39)。或いは低消費電力モードから通常動作モードに復帰させる。そしてユーザ履歴情報をホームサブシステムの履歴情報記憶部162から携帯型電子機器20の履歴情報記憶部62に転送する(ステップS40)。そしてホーム制御対象機器94の電源をオフにする(ステップS41)。或いは低消費電力モードに移行させる。
7.履歴情報記憶部等の共用
次に履歴情報記憶部等の共用手法について説明する。例えば図16(A)では、犬型のロボット300の口の部分が携帯型電子機器20のクレードルになっている。そしてユーザが携帯型電子機器20をロボット300の口の部分に装着すると、ホーム制御対象機器であるロボット300のユーザ履歴情報を用いた制御動作が開始される。
図16(B)に図16(A)の手法を実現するシステムの構成例を示す。携帯型電子機器20がロボット300に装着されていない状態では、携帯型電子機器20の履歴情報記憶部62のユーザ履歴情報は、ウェアラブルセンサ12からのセンサ情報に基づき更新される。また携帯型電子機器20の制御部86は、ウェアラブルディスプレイ93などのモバイル制御対象機器を制御する。
一方、ロボット300に携帯型電子機器20が装着されると、F1、F2に示すような切り替えが行われ、履歴情報記憶部62、制御部86が、モバイルサブシステムとホームサブシステムで共用される。即ちこの場合には、ロボット搭載センサ310と履歴情報記憶部62とが電気信号等を介して電気的に接続され、履歴情報記憶部62のユーザ履歴情報は、ウェアラブルセンサ12の代わりに、ロボット搭載センサ310からのセンサ情報に基づき更新される。また制御部86は、ウェアラブルディスプレイ93の代わりに、制御対象であるロボット動作機構390を制御する。
このように図16(A)、図16(B)では、携帯型電子機器20がホームサブシステム(第2のサブシステム)のロボット300(制御対象機器)に装着された場合に、履歴情報記憶部62が、携帯型電子機器20とホームサブシステムのロボット300とで共用される。そして共用された履歴情報記憶部62のユーザ履歴情報が、ホームサブシステムのセンサであるロボット搭載センサ310からのセンサ情報に基づき更新される。
図16(A)、図16(B)の手法によれば、ロボット300に対して履歴情報記憶部を設けなくても済むため、ロボット300の低コスト化を図れる。特に、履歴情報記憶部62が、大容量のメモリやHDDで構成される場合には、共用のメリットは大きい。またユーザ履歴情報の更新は、携帯型電子機器20に設けられた履歴情報記憶部62に対してだけ行えばよく、ロボット側において履歴情報を更新する必要がないため、処理を簡素化できる。更に制御部86についてもモバイル側とロボット側で共用できるため、更なる低コスト化、処理の簡素化を図れる。
図17は、図16(A)、図16(B)の手法の詳細な処理例を示すフローチャートである。まずロボット300が利用可能になったか否かを判断する(ステップS51)。具体的には、ロボット300に携帯型電子機器20が装着されたり、近距離無線により携帯型電子機器20の近接が検知されると、ロボット300が利用可能になったと判断される。そしてロボット300が利用可能になると、ロボット300を起動する(ステップS52)。
次に、モバイル側のウェアラブルディスプレイ93、ウェアラブルセンサ12を停止する(ステップS53)。そして携帯型電子機器20の制御部86によりロボット動作機構390を制御する(ステップS54)。また、共用の記憶部に設定された履歴情報記憶部62のユーザ履歴情報を、ロボット搭載センサ310からのセンサ情報を用いて更新する(ステップS55)。
次に、ロボット300が利用不可になったか否かを判断する(ステップS56)。具体的には、ロボット300から携帯型電子機器20が取り外されたり、近距離無線により携帯型電子機器20が離れたことが検知されると、ロボット300が利用不可になったと判断される。そして利用不可になった場合には、ウェアラブルディスプレイ93、ウェアラブルセンサ12を起動する(ステップS57)。そしてロボット300を停止する(ステップS58)。
8.無線を利用したユーザ履歴情報の転送
次に無線を利用したユーザ履歴情報の転送手法について説明する。図18にこの手法を実現するシステムの構成例を示す。
図18では、携帯型電子機器20、ロボット300に情報転送部70、370が設けられ、その通信部(通信モジュール)72、372により、無線による情報転送が行われる。例えば情報転送部70は、制御対象機器であるロボット300の利用可能イベントが発生すると、モバイル側の履歴情報記憶部62に記憶されるユーザ履歴情報を、ホーム側の履歴情報記憶部362(第2の履歴情報記憶部)に転送する。
この場合に情報転送部70(情報転送部370)はユーザ履歴情報の情報同期処理を行う。具体的には、モバイル側の履歴情報記憶部62に記憶されるユーザ履歴情報と、ホーム側の履歴情報記憶部362に記憶されるユーザ履歴情報を、同じ内容の情報に維持する情報同期処理を行う。情報同期処理は、現在利用しているサブシステムの履歴情報を、新しく利用できる状況になったサブシステムの履歴情報に上書きすることで行う。例えばモバイル側を現在利用していて、新たにホーム側が利用可能になった時には、ホーム側の履歴情報に対してモバイル側の履歴情報を上書きする。逆の場合には、モバイル側の履歴情報に対してホーム側の履歴情報を上書きする。このようにすれば、最新のユーザ履歴情報が履歴情報記憶部62、362に維持されて記憶されるようになり、ユーザが複数のサブシステム間で移動した場合にも、ユーザ履歴情報のシームレスで適切な更新が可能になる。
また図18では情報転送が無線により行われる。具体的には、例えば無線LANや、近距離無線通信である微弱無線、ブルートゥース、赤外線等により情報転送が実現される。そしてこの場合には、無線の強度を検出することで、ロボット300(制御対象機器)の利用可能イベントの発生を判定できる。具体的には携帯型電子機器20とロボット300が近接すると、無線強度が強くなり、これによりロボット300が利用可能になったと判断できる。一方、携帯型電子機器20とロボット300が離れると、無線強度が小さくなり、これによりロボット300は利用不可になったと判断できる。このような手法を用いれば、情報転送に必要な無線を、利用可能イベントや利用不可イベントの判断処理に兼用できる。
図19(A)では、帰宅するためにユーザが家に向かって移動している。この場合に図19(B)に示すように、家を中心としたエリア1、2、3が設定されている。
ここでエリア1は、無線LAN等(近距離無線通信と区別するために、ここでは以降、遠距離無線通信と呼ぶ)の有効範囲外のエリアであり、携帯型電子機器20が単独で動作するエリアである。エリア2は、遠距離無線通信の有効範囲内のエリアであり、ユーザ履歴情報の転送処理(情報同期処理)が行われるエリアである。エリア3は、ブルートゥース等の近距離無線通信の有効範囲内のエリアであり、ロボット300(広義にはホーム制御対象機器)が単独で動作するエリアである。なおエリア2は、近距離無線通信の有効範囲外のエリアになっている。
例えばユーザがエリア1からエリア2に入ると、ロボット300が起動し、モバイル側の履歴情報記憶部62からホーム側の履歴情報記憶部362にユーザ履歴情報を転送(ロード)する。またユーザがエリア2からエリア3に入ると、携帯型電子機器20を停止し、ロボット300の単独動作に切り替える。
一方、ユーザがエリア3からエリア2に入ると、携帯型電子機器20を起動し、ホーム側の履歴情報記憶部362からモバイル側の履歴情報記憶部62にユーザ履歴情報を転送する。またユーザがエリア2からエリア1に入ると、ロボット300を停止し、携帯型電子機器20の単独動作に切り替える。
即ち図19(B)では、イベント判定部50等がホームサブシステム(第2のサブシステム)の場所に対するユーザの接近状態を判定する。そして情報転送部70は、接近状態が、第1の接近状態(エリア1)から、第1の接近状態よりも接近度合いが高い第2の接近状態(エリア2)になった場合に、履歴情報記憶部62に記憶されるユーザ履歴情報を、ホーム側の履歴情報記憶部362に転送する。そして制御処理部52は、ユーザの接近状態が、第2の接近状態(エリア2)から、第2の接近状態よりも接近度合いが高い第3の接近状態(エリア3)になった場合に、ユーザ履歴情報を用いたロボット300(第2の制御対象機器)の制御動作を開始させる。
更に情報転送部70(情報転送部370)は、ユーザの接近状態が第2の接近状態(エリア2)である期間の間、履歴情報記憶部62に記憶されるユーザ履歴情報と履歴情報記憶部362に記憶されるユーザ履歴情報とを、同じ内容の情報に維持する情報同期処理を行う。即ちユーザの接近状態が第1の接近状態(エリア1)から第2の接近状態(エリア2)になった場合には、モバイル側からホーム側にユーザ履歴情報を転送し、第3の接近状態(エリア3)から第2の接近状態(エリア2)になった場合には、ホーム側からモバイル側にユーザ履歴情報を転送する。そしてユーザの接近状態が、第2の接近状態(エリア2)から第1の接近状態(エリア1)になった場合には、ユーザ履歴情報を用いたロボット300の制御動作を停止する。
なお、これらの第1、第2、第3の接近状態(エリア1、2、3)は、例えば遠距離無線通信と近距離無線通信で判断できる。即ち近距離無線及び遠距離無線によりユーザ(携帯型電子機器)が検知された場合には、ユーザはエリア3(第3の接近状態)にいると判断できる。また近距離無線ではユーザを検知できないが、遠距離無線でユーザを検知できた場合には、ユーザはエリア2(第2の接近状態)にいると判断できる。また近距離無線でも遠距離無線でもユーザを検知できなかった場合には、ユーザはエリア1(第1の接近状態)にいると判断できる。このように、距離による受信状態が異なる少なくとも2種類の無線通信(例えば有効到達距離が異なる少なくとも2種類の無線通信)を利用することで、携帯型電子機器20やロボット300の起動、停止制御や、ユーザ履歴情報の転送処理を効率的に実現できる。
なお図19(A)、図19(B)では、近距離無線、遠距離無線という2種類の無線を利用した場合を示しているが、3種類以上の無線を利用してもよい。
図20は、図19(A)、図19(B)の手法の詳細な処理例を示すフローチャートである。まず、近接状態が変化したか否かを判断し(ステップS61)、変化していない場合には所定時間毎にポーリングを行う(ステップS62)。一方、変化した場合には、ユーザがエリア2に入ったか否かを判断し(ステップS63)、入った場合には、エリア1側からエリア2に入ったか否かを判断する(ステップS64)。
エリア1側からエリア2に入った場合には、ロボット側(通信部以外の各部)を起動する(ステップS65)。そしてユニット間のハンドシェークを行い(ステップS66)、モバイル側からロボット側にユーザ履歴情報を転送する(ステップS67)。
一方、エリア1側ではなくエリア3側からエリア2に入った場合には、モバイル側を起動する(ステップS68)。そしてユニット間のハンドシェークを行い(ステップS69)、ロボット側からモバイル側にユーザ履歴情報を転送する(ステップS70)。
ステップS63で、ユーザがエリア2に入っていないと判断された場合には、エリア1に入ったか否かが判断される(ステップS71)。そしてエリア1に入った場合には、ロボット側(通信部以外)を停止する(ステップS72)。一方、ユーザがエリア1に入っていない場合には、エリア3にいると判断し、モバイル側(通信部以外)を停止する(ステップS73)。
9.システム構成例
図21(A)、図21(B)、図22に本実施形態の種々のシステム構成例を示す。図21(A)のシステムでは、携帯型電子機器20とホームサーバ120は無線LANやクレードル等で通信接続され、ホームサーバ120とロボット300は無線LAN等で通信接続される。そして携帯型電子機器20を所持したユーザが家に近づくと、無線LANにより携帯型電子機器20とホームサーバ120の間の通信が可能になる。或いは携帯型電子機器20をクレードルに置くことで、通信が可能になる。
そして通信経路が確立されると、携帯型電子機器20の記憶部60とホームサーバ120の記憶部160の間で、ユーザ履歴情報の同期処理(転送処理)が行われる。そしてロボット300は、ホームサーバ120の制御の下で動作する。即ちホームサーバ120の記憶部160に記憶されたユーザ履歴情報に基づいて制御されて動作する。図5(A)を例にとれば、ホームサーバ120の処理部140が、記憶部160のユーザ履歴情報を解析し、ユーザ履歴情報に対応した発話動作等を行うように、ロボット300に指示して制御する。
図21(A)のシステム構成によれば、ユーザが近づくと、ホームサーバ120の記憶部160に対してユーザ履歴情報が予めロードされるようになる。従って、ロボット300が起動した後に、ユーザ履歴情報に基づくロボット制御を直ぐに開始できるようになり、処理を効率化できる。またユーザ履歴情報のデータサイズが大きい場合に、ロボット300に履歴情報記憶部を設けなくても済むため、ロボット300の低コスト化やコンパクト化を図れる。
図21(B)のシステムでは、携帯型電子機器20と外部サーバ620はPHS等の無線WANで通信接続され、外部サーバ620とロボット300もPHS等の無線WANで通信接続される。携帯型電子機器20やロボット300などの各ユニットは、適宜、外部サーバ620と通信を行って、ユーザ履歴情報の同期処理を行う。例えばユニットが停止するタイミングで、そのユニットから外部サーバ620にユーザ履歴情報をアップロードし、ユニットが起動するタイミングで、外部サーバ620からそのユニットにユーザ履歴情報をダウンロードする。
なお図21(B)では、無線強度に基づくユーザと家の近接判断ができない。従って、この場合には、例えばPHSの基地局の位置登録情報などに基づいて、ユーザの位置を判断し、ユーザが家に近づいたか否かを判断すればよい。或いはウェアラブルセンサ12のGPSセンサに基づいて判断してもよい。そしてユーザが家に近づいたと判断された場合に、外部サーバ620等の制御により、ロボット300を起動すればよい。
図22のシステムでは、携帯型電子機器20と外部サーバ620はPHS等の無線WANで通信接続され、外部サーバ620とホームサーバ120はADSL等の有線WANで通信接続され、ホームサーバ120とロボット300は無線LAN等で通信接続される。そして各ユニットは、適宜、外部サーバ620と通信して、ユーザ履歴情報の同期処理を行う。また、PHSの位置登録情報、GPSセンサ、マイク等を利用して、ユーザが家に近づいたか否かを判断し、近づいた場合には、外部サーバ620の記憶部660のユーザ履歴情報を、ホームサーバ120の記憶部160にダウンロードする。
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(第1、第2、第3のサブシステム、第1、第2、第3のセンサ、第1、第2、第3の制御対象機器等)と共に記載された用語(モバイルサブシステム、ホームサブシステム、車内サブシステム、ウェアラブルセンサ、ホームセンサ、車内センサ、モバイル制御対象機器、ホーム制御対象機器、車内制御対象機器等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また携帯型電子機器やサブシステムやロボット等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。例えばセンサ選択部と制御対象機器選択部のいずれか一方を省略する変形実施も可能である。
複数のサブシステムの統合システムの説明図 本実施形態の携帯型電子機器の構成例。 図3(A)、図3(B)は本実施形態の動作を説明するためのフローチャート。 TPO情報に基づくセンサ、制御対象機器の選択手法の説明図。 図5(A)〜図5(C)は本実施形態の手法の適用例。 履歴情報の更新手法、制御対象機器の制御手法の説明図。 図7(A)〜図7(C)は選択状態の監視手法の説明図。 図8(A)、図8(B)は情報転送手法や外部制御手法の説明図。 ユーザ履歴情報の更新処理のフローチャート。 ユーザ履歴情報の説明図。 図11(A)、図11(B)はユーザ履歴情報の説明図。 図12(A)、図12(B)はセンサ、制御対象機器の選択手法の説明図。 図13(A)、図13(B)はセンサ、制御対象機器の選択手法の説明図。 センサ、制御対象機器の選択手法の説明図。 センサ、制御対象機器の選択手法を説明するためのフローチャート。 図16(A)、図16(B)は履歴情報記憶部の共用手法の説明図。 履歴情報記憶部の共用手法を説明するためのフローチャート。 無線によるユーザ履歴情報の転送手法を実現するシステムの構成例。 図19(A)、図19(B)は無線によるユーザ履歴情報の転送手法の説明図。 無線によるユーザ履歴情報の転送手法を説明するためのフローチャート。 図21(A)、図21(A)は本実施形態のシステム構成例。 本実施形態のシステム構成例。
符号の説明
10 センサ、12 ウェアラブルセンサ、14 ホームセンサ、16 車内センサ、
17 選択状態監視部、18 制御部、19 センサデバイス、
20 携帯型電子機器、30 情報取得部、32 通信部、34 センサI/F部、
40 処理部、42 センサ選択部、44 制御対象機器選択部、46 演算部、
48 履歴情報更新部、50 イベント判定部、52 制御処理部、60 記憶部、
62 履歴情報記憶部、64 出力情報記憶部、70 情報転送部、72 通信部、
74 機器I/F部、80 操作部、82 表示制御部、84 情報記憶媒体、
90 制御対象機器、92 モバイル制御対象機器、93 ウェアラブルディスプレイ、
94 ホーム制御対象機器、96 車内制御対象機器、97 選択状態監視部、
98 制御部、99 制御対象、120 ホームサーバ、140 処理部、
160 記憶部、200 ホームディスプレイ、286 表示制御部、290 表示部、
300 ロボット、310 ロボット搭載センサ 340 処理部、
386 ロボット制御部、390 ロボット動作機構、397 選択状態監視部、
400 カーナビ、440 処理部、486 表示制御部、490 表示部、
620 外部サーバ、640 処理部 660 記憶部

Claims (26)

  1. 所定の空間ごとに構成され、該空間に存在するユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサ、及び制御対象機器を含むサブシステムを複数統合した複数のサブシステムの統合システムに用いられ、前記複数のサブシステム間を移動するユーザにより所持される携帯型電子機器であって、
    ユーザが存在する前記サブシステムのセンサからのセンサ情報を取得する情報取得手段と、
    ユーザの行動、状態及び環境の少なくとも1つについてのユーザ履歴情報を記憶する履歴情報記憶手段と、
    取得されたセンサ情報に基づいて、記憶されたユーザ履歴情報を更新する履歴情報更新手段と、
    ユーザ履歴情報を用いた制御が行われる制御対象機器を、ユーザが存在する前記サブシステムの制御対象機器の中から選択する制御対象機器選択手段と、
    第1のサブシステムのセンサからのセンサ情報によりユーザ履歴情報が更新されたユーザが、第2のサブシステムの制御対象機器である第2の制御対象機器の利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定手段と、
    前記利用可能イベントが発生し、前記第2の制御対象機器が選択された場合に、ユーザ履歴情報を用いた前記第2の制御対象機器の制御動作を開始させる制御処理手段と、
    を含み、
    前記制御対象機器選択手段は、
    前記利用可能イベントが発生した場合に、前記第2の制御対象機器を選択し、
    前記制御処理手段は、
    前記利用可能イベントが発生した場合に、携帯型電子機器の電源をオフにする、或いは携帯型電子機器を通常動作モードから低消費電力モードに移行させる制御を行うことを特徴とする携帯型電子機器。
  2. 請求項1において、
    前記複数のサブシステムの複数のセンサの中から、ユーザが利用中のサブシステムにおいて利用可能なセンサを選択するセンサ選択手段を含み、
    前記情報取得手段は、
    前記センサ選択手段により選択されたセンサからのセンサ情報を取得することを特徴とする携帯型電子機器。
  3. 請求項2において、
    前記センサ選択手段は、
    時間情報、ユーザの場所情報及びユーザの状況情報の少なくとも1つであるTPO情報に基づいて、前記複数のサブシステムの複数のセンサの中から、ユーザが利用中のサブシステムにおいて利用可能なセンサを選択することを特徴とする携帯型電子機器。
  4. 請求項1乃至3のいずれかにおいて、
    前記制御対象機器選択手段は、
    時間情報、ユーザの場所情報及びユーザの状況情報の少なくとも1つであるTPO情報に基づいて、前記複数のサブシステムの複数の制御対象機器の中から、ユーザが利用中のサブシステムにおいて利用可能な制御対象機器を選択することを特徴とする携帯型電子機器。
  5. 請求項1において、
    利用可能な制御対象機器がない場合には、ユーザ履歴情報を用いた制御対象機器の制御は行われずに、前記履歴情報更新手段によるユーザ履歴情報の更新だけが行われることを特徴とする携帯型電子機器。
  6. 請求項1乃至5のいずれかにおいて、
    利用可能なセンサがない場合には、前記履歴情報更新手段によるユーザ履歴情報の更新は行われずに、ユーザ履歴情報を用いた制御対象機器の制御だけが行われることを特徴とする携帯型電子機器。
  7. 請求項1乃至6のいずれかにおいて、
    携帯型電子機器の外部の制御対象の制御が可能な外部制御手段を含み、
    前記外部制御手段は、
    前記制御対象機器選択手段により制御対象機器が選択された場合に、選択された制御対象機器の制御対象を、ユーザ履歴情報を用いて制御することを特徴とする携帯型電子機器。
  8. 請求項1乃至7のいずれかにおいて、
    前記利用可能イベントが発生した場合に、前記第2のサブシステムのセンサから取得されたセンサ情報に基づいてユーザ履歴情報を更新する履歴情報更新手段を含むことを特徴とする携帯型電子機器。
  9. 請求項1乃至8のいずれかにおいて、
    前記制御処理手段は、
    前記利用可能イベントが発生した場合に、前記第2の制御対象機器の電源をオンにする、或いは前記第2の制御対象機器を低消費電力モードから通常動作モードに復帰させる制御を行うことを特徴とする携帯型電子機器。
  10. 請求項1乃至9のいずれかにおいて、
    前記第2のサブシステムとの間で情報転送を行う情報転送手段を含み、
    前記制御処理手段は、
    前記利用可能イベントが発生した場合に、前記情報転送手段については電源をオフにしない、或いは通常動作モードに設定する制御を行うことを特徴とする携帯型電子機器。
  11. 請求項1乃至10のいずれかにおいて、
    前記制御処理手段は、
    前記第2の制御対象機器をユーザが利用できなくなる利用不可イベントが発生した場合には、前記第2の制御対象機器の電源をオフにする、或いは前記第2の制御対象機器を通常動作モードから低消費電力モードに移行させる制御を行うことを特徴とする携帯型電子機器。
  12. 請求項1乃至11のいずれかにおいて、
    携帯型電子機器が前記第2のサブシステムの制御対象機器に装着された場合に、前記履歴情報記憶手段が携帯型電子機器と前記第2のサブシステムの前記第2の制御対象機器とで共用され、
    共用された前記履歴情報記憶手段のユーザ履歴情報が、前記第2のサブシステムのセンサからのセンサ情報に基づき更新されることを特徴とする携帯型電子機器。
  13. 請求項1乃至11のいずれかにおいて、
    前記利用可能イベントが発生した場合に、前記履歴情報記憶手段に記憶されるユーザ履歴情報を、前記第2のサブシステムの第2の履歴情報記憶手段に転送する情報転送手段を含むことを特徴とする携帯型電子機器。
  14. 請求項13において、
    前記情報転送手段は、
    前記履歴情報記憶手段に記憶されるユーザ履歴情報と前記第2のサブシステムの第2の履歴情報記憶手段に記憶されるユーザ履歴情報とを、同じ内容の情報に維持する情報同期処理を行うことを特徴とする携帯型電子機器。
  15. 請求項1乃至14のいずれかにおいて、
    前記第2のサブシステムとの間で無線による情報転送を行う情報転送手段を含み、
    前記イベント判定手段は、
    前記無線の強度を検出することで、前記利用可能イベントの発生を判定することを特徴とする携帯型電子機器。
  16. 請求項1乃至14のいずれかにおいて、
    前記イベント判定手段は、
    前記第2のサブシステムにて利用可能なクレードルに携帯型電子機器が接続された場合に、前記利用可能イベントが発生したと判定することを特徴とする携帯型電子機器。
  17. 請求項1乃至16のいずれかにおいて、
    前記履歴情報記憶手段に記憶されるユーザ履歴情報を、前記第2のサブシステムの第2の履歴情報記憶手段に転送する情報転送手段含み、
    前記イベント判定手段は、
    前記第2のサブシステムの場所に対するユーザの接近状態を判定し、
    前記情報転送手段は、
    接近状態が、第1の接近状態から、前記第1の接近状態よりも接近度合いが高い第2の接近状態になった場合に、前記履歴情報記憶手段に記憶されるユーザ履歴情報を、前記第2のサブシステムの前記第2の履歴情報記憶手段に転送し、
    前記制御処理手段は、
    ユーザの接近状態が、前記第2の接近状態から、前記第2の接近状態よりも接近度合いが高い第3の接近状態になった場合に、ユーザ履歴情報を用いた前記第2の制御対象機器の制御動作を開始させることを特徴とする携帯型電子機器。
  18. 請求項17において、
    前記情報転送手段は、
    ユーザの接近状態が前記第2の接近状態である期間の間、前記履歴情報記憶手段に記憶されるユーザ履歴情報と前記第2のサブシステムの前記第2の履歴情報記憶手段に記憶されるユーザ履歴情報とを、同じ内容の情報に維持する情報同期処理を行うことを特徴とする携帯型電子機器。
  19. 請求項17又は18において、
    前記制御処理手段は、
    ユーザの接近状態が、前記第2の接近状態から前記第1の接近状態になった場合に、ユーザ履歴情報を用いた前記第2の制御対象機器の制御動作を停止させることを特徴とする携帯型電子機器。
  20. 請求項17乃至19のいずれかにおいて、
    前記イベント判定手段は、
    前記第1、第2、第3の接近状態を、距離による受信状態が異なる少なくとも2種類の無線通信を利用して判断することを特徴とする携帯型電子機器。
  21. 所定の空間ごとに構成され、該空間に存在するユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサ、及び制御対象機器を含むサブシステムを複数統合した統合システムに用いられ、前記複数のサブシステム間を移動するユーザにより所持される携帯型電子機器であって、
    ユーザが存在する前記サブシステムのセンサの中から、ユーザが利用可能なセンサを選択するセンサ選択手段と、
    前記センサ選択手段により選択されたセンサからのセンサ情報を取得する情報取得手段と、
    ユーザの行動、状態及び環境の少なくとも1つについてのユーザ履歴情報を記憶する履歴情報記憶手段と、
    取得されたセンサ情報に基づいて、記憶されたユーザ履歴情報を更新する履歴情報更新手段と
    第1のサブシステムのセンサからのセンサ情報によりユーザ履歴情報が更新されたユーザが、第2のサブシステムのセンサの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定手段と、
    前記利用可能イベントが発生した場合に、前記履歴情報記憶手段に記憶されるユーザ履歴情報を、前記第2のサブシステムの第2の履歴情報記憶手段に転送する情報転送手段と、
    を含み、
    前記センサ選択手段は、
    時間情報、ユーザの場所情報及びユーザの状況情報の少なくとも1つであるTPO情報に基づいて、ユーザが存在する前記サブシステムのセンサの中から、ユーザが利用可能なセンサを選択することを特徴とする携帯型電子機器。
  22. 請求項21において、
    記センサ選択手段は、
    前記利用可能イベントが発生した場合に、ユーザ履歴情報を更新するためのセンサとして、前記第2のサブシステムのセンサを選択することを特徴とする携帯型電子機器。
  23. 請求項21又は22において、
    前記情報転送手段は、
    前記履歴情報記憶手段に記憶されるユーザ履歴情報と前記第2のサブシステムの第2の履歴情報記憶手段に記憶されるユーザ履歴情報とを、同じ内容の情報に維持する情報同期処理を行うことを特徴とする携帯型電子機器。
  24. 所定の空間ごとに構成され、該空間に存在するユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサ、及び制御対象機器を含むサブシステムを複数統合した統合システムに用いられ、前記複数のサブシステム間を移動するユーザにより所持される携帯型電子機器のためのプログラムであって、
    ユーザが存在する前記サブシステムのセンサからのセンサ情報を取得する情報取得手段と、
    ユーザの行動、状態及び環境の少なくとも1つについてのユーザ履歴情報を記憶する履歴情報記憶手段と、
    取得されたセンサ情報に基づいて、記憶されたユーザ履歴情報を更新する履歴情報更手段と、
    ユーザ履歴情報を用いた制御が行われる制御対象機器を、ユーザが存在する前記サブシステムの制御対象機器の中から選択する制御対象機器選択手段と、
    第1のサブシステムのセンサからのセンサ情報によりユーザ履歴情報が更新されたユーザが、第2のサブシステムの制御対象機器である第2の制御対象機器の利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定手段と、
    前記利用可能イベントが発生し、前記第2の制御対象機器が選択された場合に、ユーザ履歴情報を用いた前記第2の制御対象機器の制御動作を開始させる制御処理手段として、
    コンピュータを機能させ
    前記制御対象機器選択手段は、
    前記利用可能イベントが発生した場合に、前記第2の制御対象機器を選択し、
    前記制御処理手段は、
    前記利用可能イベントが発生した場合に、携帯型電子機器の電源をオフにする、或いは携帯型電子機器を通常動作モードから低消費電力モードに移行させる制御を行うことを特徴とするプログラム。
  25. 所定の空間ごとに構成され、該空間に存在するユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサ、及び制御対象機器を含むサブシステムを複数統合した統合システムに用いられ、前記複数のサブシステム間を移動するユーザにより所持される携帯型電子機器のためのプログラムであって、
    ユーザが存在する前記サブシステムのセンサの中から、ユーザが利用可能なセンサを選択するセンサ選択手段と、
    前記センサ選択手段により選択されたセンサからのセンサ情報を取得する情報取得手段と、
    ユーザの行動、状態及び環境の少なくとも1つについてのユーザ履歴情報を記憶する履歴情報記憶手段と、
    取得されたセンサ情報に基づいて、記憶されたユーザ履歴情報を更新する履歴情報更新手段と
    第1のサブシステムのセンサからのセンサ情報によりユーザ履歴情報が更新されたユーザが、第2のサブシステムのセンサの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定手段と、
    前記利用可能イベントが発生した場合に、前記履歴情報記憶手段に記憶されるユーザ履歴情報を、前記第2のサブシステムの第2の履歴情報記憶手段に転送する情報転送手段として、
    コンピュータを機能させ、
    前記センサ選択手段は、
    時間情報、ユーザの場所情報及びユーザの状況情報の少なくとも1つであるTPO情報に基づいて、ユーザが存在する前記サブシステムのセンサの中から、ユーザが利用可能なセンサを選択することを特徴とするプログラム。
  26. コンピュータ読み取り可能な情報記憶媒体であって、請求項24又は25のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
JP2007159317A 2007-06-15 2007-06-15 携帯型電子機器、プログラム及び情報記憶媒体 Expired - Fee Related JP5265141B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007159317A JP5265141B2 (ja) 2007-06-15 2007-06-15 携帯型電子機器、プログラム及び情報記憶媒体
CN2008800203704A CN101681494B (zh) 2007-06-15 2008-06-13 便携式电子设备
PCT/JP2008/060859 WO2008153131A1 (ja) 2007-06-15 2008-06-13 携帯型電子機器、プログラム及び情報記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007159317A JP5265141B2 (ja) 2007-06-15 2007-06-15 携帯型電子機器、プログラム及び情報記憶媒体

Publications (3)

Publication Number Publication Date
JP2008312047A JP2008312047A (ja) 2008-12-25
JP2008312047A5 JP2008312047A5 (ja) 2010-07-29
JP5265141B2 true JP5265141B2 (ja) 2013-08-14

Family

ID=40129734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007159317A Expired - Fee Related JP5265141B2 (ja) 2007-06-15 2007-06-15 携帯型電子機器、プログラム及び情報記憶媒体

Country Status (3)

Country Link
JP (1) JP5265141B2 (ja)
CN (1) CN101681494B (ja)
WO (1) WO2008153131A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158424A1 (ja) * 2015-03-30 2016-10-06 株式会社 イマック 荷重計測システム

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070596A (ja) * 2009-09-28 2011-04-07 Fujitsu Ltd 情報収集システム
JP2011076454A (ja) * 2009-09-30 2011-04-14 Nippon Telegr & Teleph Corp <Ntt> 情報グループ化システム及び方法及びプログラム
JP5454212B2 (ja) * 2010-02-22 2014-03-26 トヨタ自動車株式会社 情報制御システム及び情報制御方法
US10572721B2 (en) 2010-08-09 2020-02-25 Nike, Inc. Monitoring fitness using a mobile device
KR101817048B1 (ko) * 2010-08-09 2018-01-09 나이키 이노베이트 씨.브이. 모바일 장치를 이용한 피트니스 모니터링
US9049663B2 (en) * 2010-12-10 2015-06-02 Qualcomm Incorporated Processing involving multiple sensors
CN102523401B (zh) * 2011-12-29 2015-09-30 深圳Tcl新技术有限公司 智能家居电视机控制系统及方法
US9794736B2 (en) * 2012-12-21 2017-10-17 Qualcomm Incorporated Low power always-on determination of indoor versus outdoor state
KR102031897B1 (ko) * 2013-04-05 2019-10-14 에스케이텔레콤 주식회사 상황 인식 기반의 리소스 관리 방법, 이를 위한 장치 및 단말기
JP6107944B2 (ja) * 2013-05-14 2017-04-05 富士通株式会社 携帯型情報処理装置、情報処理システム、及び情報処理方法
US20160125880A1 (en) * 2013-05-28 2016-05-05 Zhigang Zhang Method and system for identifying location associated with voice command to control home appliance
JP5976241B2 (ja) * 2014-02-07 2016-08-23 三菱電機株式会社 機能候補提示装置
WO2015194215A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6467943B2 (ja) * 2015-01-27 2019-02-13 日本精機株式会社 プラント機器状態収集システム
JP5975135B1 (ja) * 2015-03-31 2016-08-23 ダイキン工業株式会社 制御システム
JP6602551B2 (ja) * 2015-04-02 2019-11-06 株式会社東芝 危険度判定装置、および危険度判定方法
CN104879886B (zh) * 2015-04-30 2018-10-02 广东美的制冷设备有限公司 家电设备的控制方法、装置及终端
JP6255368B2 (ja) * 2015-06-17 2017-12-27 Cocoro Sb株式会社 感情制御システム、システム及びプログラム
JP2017012277A (ja) * 2015-06-29 2017-01-19 カシオ計算機株式会社 携帯型電子装置、センサ制御システム、センサ制御方法及びセンサ制御プログラム
JP6265174B2 (ja) * 2015-06-29 2018-01-24 カシオ計算機株式会社 携帯型電子装置、ディスプレイ制御システム、ディスプレイ制御方法及びディスプレイ制御プログラム
CN104917902A (zh) * 2015-06-30 2015-09-16 苏州寅初信息科技有限公司 一种控制终端音乐播放状态的方法及其系统
CN105117007B (zh) 2015-08-20 2019-02-12 小米科技有限责任公司 显示设备的控制方法、装置及智能垫体
JP6642515B2 (ja) * 2016-07-04 2020-02-05 カシオ計算機株式会社 電子機器、選択制御システム、選択方法、及びプログラム
CN107065588A (zh) * 2017-06-03 2017-08-18 合肥佳洋电子科技有限公司 一种智能家居系统
CN109087705A (zh) * 2017-06-14 2018-12-25 Gms股份有限公司 生成成长和发育信息的电子设备及其控制方法
JP7227854B2 (ja) * 2019-06-03 2023-02-22 トヨタホーム株式会社 外出プラン提案システム
JP2021018550A (ja) * 2019-07-19 2021-02-15 株式会社Lixil 支援装置、情報取得システム、及び支援プログラム
JP2021056703A (ja) * 2019-09-30 2021-04-08 前田建設工業株式会社 交通機関における情報提示システム
EP3889933A1 (en) * 2020-03-30 2021-10-06 Signify Holding B.V. A system for monitoring a space by a portable sensor device and a method thereof

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4367736B2 (ja) * 2000-01-07 2009-11-18 クラリオン株式会社 ハンズフリー型車載電話装置及びその制御方法並びに移動通信システム
JP2002027571A (ja) * 2000-07-05 2002-01-25 Toshiba Corp 電気機器制御システムに用いられる通信端末及び無線端末
JP3744375B2 (ja) * 2001-04-03 2006-02-08 オムロン株式会社 クレードル、セキュリティシステム、携帯電話機、および監視方法
JP2003111157A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 統合コントローラ、機器制御方法及び機器制御プログラム
DE60213746T2 (de) * 2001-11-28 2007-08-16 Matsushita Electric Industrial Co., Ltd., Kadoma Sicherheitssystem für ein Haus
JP4122779B2 (ja) * 2002-01-23 2008-07-23 三菱電機株式会社 家電制御システム、家電制御装置、並びに家電機器
JP3975400B2 (ja) * 2003-08-20 2007-09-12 ソニー株式会社 監視システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2005084828A (ja) * 2003-09-05 2005-03-31 Ntt Docomo Inc ユーザ支援システム、ユーザ支援方法及びユーザ支援制御システム
JP4838499B2 (ja) * 2004-05-21 2011-12-14 オリンパス株式会社 ユーザ支援装置
JP4768242B2 (ja) * 2004-07-29 2011-09-07 日本電気株式会社 省電力化装置、携帯端末及び省電力化方法
WO2006030742A1 (ja) * 2004-09-14 2006-03-23 Matsushita Electric Industrial Co., Ltd. 機器制御システムおよび機器制御方法
US20080091284A1 (en) * 2005-01-13 2008-04-17 Keiji Sugiyama Device Operation Control Device and Method Thereof
JP4759304B2 (ja) * 2005-04-07 2011-08-31 オリンパス株式会社 情報表示システム
JP5020494B2 (ja) * 2005-10-12 2012-09-05 キヤノン株式会社 無線通信装置及びその制御方法
JP4902174B2 (ja) * 2005-11-04 2012-03-21 日本電信電話株式会社 ユビキタスサービスシステム及びユビキタスサービス提供方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158424A1 (ja) * 2015-03-30 2016-10-06 株式会社 イマック 荷重計測システム

Also Published As

Publication number Publication date
JP2008312047A (ja) 2008-12-25
CN101681494B (zh) 2012-08-08
CN101681494A (zh) 2010-03-24
WO2008153131A1 (ja) 2008-12-18

Similar Documents

Publication Publication Date Title
JP5265141B2 (ja) 携帯型電子機器、プログラム及び情報記憶媒体
JP2008310680A (ja) 制御システム、プログラム及び情報記憶媒体
CN101795831B (zh) 机器人控制系统、机器人
JP5060978B2 (ja) 情報提示システム、プログラム、情報記憶媒体及び情報提示システムの制御方法
US20110118870A1 (en) Robot control system, robot, program, and information storage medium
JP6577642B2 (ja) 自動車又は携帯電子装置を使用した能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム
JP5215098B2 (ja) 情報処理システム、プログラム及び情報記憶媒体
US10360907B2 (en) Smart necklace with stereo vision and onboard processing
CN110774996B (zh) 车内环境的调节方法、装置和系统
JP6475872B2 (ja) 活動量をコントロールされる自律行動型ロボット
EP3893215A1 (en) Information processing device, information processing method, and program
US20120133514A1 (en) Pause adviser system and use thereof
CN110304067B (zh) 作业支援系统、信息处理方法及存储介质
CN110996796A (zh) 信息处理设备、方法和程序
CN105015551A (zh) 驾驶员状态监测系统、用于控制该系统的方法及车辆
JP2020169956A (ja) 車両の行先提案システム
KR20170028247A (ko) 수면 관리 방법
JP2021045568A (ja) システム及び方法
WO2019087484A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10102769B2 (en) Device, system and method for providing feedback to a user relating to a behavior of the user
JP2020089947A (ja) 情報処理装置、情報処理方法及びプログラム
US20180315393A1 (en) Display Device and Method for Controlling a Display Device
JPWO2019087490A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2003339796A (ja) 介護ロボット

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130501

R151 Written notification of patent or utility model registration

Ref document number: 5265141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees