Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7799787B2 - メガネ型情報機器、その方法及びプログラム - Google Patents
[go: Go Back, main page]

JP7799787B2 - メガネ型情報機器、その方法及びプログラム - Google Patents

メガネ型情報機器、その方法及びプログラム

Info

Publication number
JP7799787B2
JP7799787B2 JP2024189312A JP2024189312A JP7799787B2 JP 7799787 B2 JP7799787 B2 JP 7799787B2 JP 2024189312 A JP2024189312 A JP 2024189312A JP 2024189312 A JP2024189312 A JP 2024189312A JP 7799787 B2 JP7799787 B2 JP 7799787B2
Authority
JP
Japan
Prior art keywords
head
mounted display
display
notification
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024189312A
Other languages
English (en)
Other versions
JP2025003686A (ja
JP2025003686A5 (ja
Inventor
剛 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2024189312A priority Critical patent/JP7799787B2/ja
Publication of JP2025003686A publication Critical patent/JP2025003686A/ja
Publication of JP2025003686A5 publication Critical patent/JP2025003686A5/ja
Priority to JP2025272641A priority patent/JP2026034734A/ja
Application granted granted Critical
Publication of JP7799787B2 publication Critical patent/JP7799787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本発明は、例えば、通信機能や、視界に対して映像を提供する機能を備えるスマートグラスなどの片目または両目付近に装着されるメガネ型情報機器と、他の機器との通信制御などに係る技術に関する。
近年、ウェアラブル端末の1つとして、スマートグラス、HMD(ヘッドマウントディスプレイ)などと呼ばれるメガネ型情報機器が存在する。メガネ型情報機器には、通信機能に加え、VR(Virtual Reality/仮想現実)やAR(Augmented Reality/拡張現実)といった、人間のメガネを介した視野に対して映像を提供する機能を持つものもある。メガネ型情報機器は、他のウェアラブル端末と通信を行うことがある。
また、一般的に普及しているスマートフォンでも、ウェアラブル端末と連携する機能がある。例えば、特許文献1は、携帯機器が、ローカルな無線接続(例えば、Bluetooth(登録商標)、WiFi)を経由して、装着型電子装置に対して少なくともいくつかの情報(例えば、連絡先情報)を直接的にプッシュするように構成されることを記載している。
特表2017-509172公報
今後、メガネ型情報機器は、モバイルネットワーク(移動体通信網、インターネットなど)に接続し、スマートフォンなどに代わって利用されることが想定される。そのような場合には、メガネ型情報機器においても、スマートフォンが行っていた他のウェアラブル端末に対するプッシュ通知などの機能を代行することが考えられ得る。
しかしながら、メガネ型情報機器の場合は、装着されている状態や、装着されていない、かつ、折りたたまれている状態、など、スマートフォンとは異なるような状態をとることがある。そういった場合には、メガネ型情報機器で受け取ったイベント(メール受信、アプリの通知、など)を、どのようにユーザーに提供すべきか、といった点については従来、十分に検討されていなかった。
本発明は、ヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの1以上のアプリケーションからの通知を抑制する所定モードに関する設定画面を、前記所定モードを有効とする、または、無効とする設定ができるようにユーザの視界に投影するよう表示制御する表示手段と、前記ヘッドマウントディスプレイ内に、前記所定モードが有効にされたことを示す値を保存する保存手段と、前記設定画面を外部端末に表示させるための制御手段と、を有することを特徴とする。
本発明によれば、メガネ型情報機器の状態に即した、他のウェアラブル端末も含めた適切な通知の方法を提供する。
メガネ型情報機器とその他のウェアラブル端末を含むシステム構成図の例を示す図 本発明に係る各機器のハードウェア構成の例を示す図 本発明に係る各機器のソフトウェアのモジュール構成の例を示す図 実施例1におけるメガネ型情報機器による通知制御の処理を説明するためのフローチャート 本発明に係る各機器における表示制御の例 実施例2におけるメガネ型情報機器と連携するウェアラブル端末による通知制御の処理を説明するためのフローチャート 実施例3におけるメガネ型情報機器による通知制御の処理を説明するためのフローチャート メガネ型情報機器における通知設定の例を示す図
以下、本発明を実施するための形態について図面を用いて説明する。
(実施例1)
図1は、メガネ型情報機器とそれと連携するウェアラブル端末を含むシステム構成図の例を示す。メガネ型情報機器は、直接、もしくはモバイルルーター(不図示)を経由してモバイルネットワーク(移動体通信網)130、およびインターネット140と通信可能な機器であり、本発明ではその一例としてスマートグラス101を挙げている。メガネ型情報機器としては、単眼用のスマートメガネや、ヘッドマウントディスプレイなども適用可能である。また、ウェアラブル端末はディスプレイやバイブレーション機能などの通知機能と、メガネ型情報機器と通信できるBluetooth(登録商標)などの通信機能とを備えた情報機器であり、本発明ではその一例としてスマートウォッチ110を挙げている。
スマートグラス101は、ユーザが目付近に装着する装着型情報端末であって、ユーザの視界を遮ることなく視界内に虚像である映像を表示部102にて表示する。このような表示方法は、いわゆるAR(拡張現実/Augmented Reality)やMR(複合現実/Mixed Reality)と呼ばれ、透過型のディスプレイ(レンズ105)やユーザの網膜(不図示)などに情報投影する機能により提供される。図示は、片目に対して映像を提供するものだが、本発明においては、両目の視界に対して映像を投影するスマートグラス101を適用することも可能である。
また、表示部102には、ユーザの視線方向の被写体を撮影するためのカメラ部103が設けられている。104はフレームであると同時にタッチセンサーを備えており、端末を操作するための操作フレーム部である。フレーム104には、スピーカー機能が内蔵され、音をユーザに伝えることが可能である。
スマートグラス101は、eSIM(embedded Subscriber Identity Module)といった内蔵モジュールを実装することが可能で、4Gや5G回線を利用するモバイルネットワーク130を経由して、インターネット140に接続可能である。また、ユーザが保有するモバイルルーターとWi-FiまたはUSBなどで接続し、モバイルルーター経由でモバイルネットワーク130に接続することも可能である。スマートグラス101は、モバイルネットワーク130を経由せずに、Wi-Fiなどを経由してインターネット140に接続することも可能である。
スマートウォッチ110は、ユーザが手首に装着する腕時計型情報端末であって、表示部111は時刻などの情報を表示するだけでなく、タッチパネルとして機能し、端末を操作することが可能である。120はスマートグラス101とスマートウォッチ110がデータをやり取りするための無線通信を示しており、Bluetooth(登録商標)の規格の無線通信を想定するが、これに限るものではない。スマートウォッチ110は、表示以外にも、バイブレーション機能による通知機能を有している。
図2は、本発明に係る各機器のハードウェア構成の例を示す図である。
図2(A)は、スマートグラス101のハードウェア構成を示す図である。
CPU201は、ROM203に格納されているプログラムにより、内部バス206を介してスマートグラス101の各種機能を総括的に制御する。CPU201によるプログラムの実行結果はディスプレイ202により、ユーザの視界に映像として投影表示することができる。本実施例では表示方式については、ユーザが透過型のレンズ105を介した視界にディスプレイ202が投影したものを見る方式を想定している。しかしながら、ディスプレイ202が網膜に直接投影する方式などを採用することも可能である。ROM203は、フラッシュメモリ等であり、各種設定情報や、前述したようにアプリケーションプログラムなどが記憶されている。RAM204は、CPU201のメモリやワークエリアとして機能する。ネットワークI/F(インターフェース)205は、モバイルネットワーク130やWi-Fiに接続するためのハードウェアモジュールである。なお、モバイルルーターを利用する場合には、スマートグラス101のUSB I/F(不図示)を利用して、接続することも可能である。
操作部207は、操作フレーム104でユーザからの入力を受け付け、該入力に対応する信号を操作部I/F208によって前述した各処理部へ伝える。センサー部209は、1以上のセンサーを簡易的に図示している。具体的には、スマートグラス101には、GPS、ジャイロセンサー、加速度センサー、近接センサー、血圧・心拍数計測センサーなどの少なくとも何れかが実装される。また、スマートグラス101には、指紋認証、静脈認証、虹彩認証などを実現するための生体情報も検出するためのセンサーが実装されてもよい。カメラ210は、撮影機能を備えており、撮影された画像データはROM203に格納される。レーザー211は、ディスプレイ202に各種コンテンツを投影、また、網膜投影方式の場合は網膜に直接コンテンツを投影する。ストレージ装置212は、記憶媒体であり、アプリケーションなどの各種データを格納する装置である。また、記憶媒体のデータを読み出す装置や、削除する装置なども含む。端末によっては、ストレージ装置212がなく、ROM203だけの場合もある。近距離通信I/F213は、スマートウォッチ110等との通信で利用するインターフェースであり、例えば、無線通信120を実現する。
なお、図示されていないが、スマートグラス101は、現代のスマートフォンに代わって利用することが可能なように、ネットワークや電話回線を利用した音声通話を実現するための構成をさらに備えることができる。具体的には、スマートグラス101に、電話回線に接続するためのコンポーネントと、スピーカーとマイクと、音声制御チップなどを実装することになる。
図2(B)は、スマートウォッチ110のハードウェア構成を示す図である。
CPU221は、ROM223に格納されているプログラムにより、内部バス226を介してスマートウォッチ110の各種機能を総括的に制御する。CPU221によって実行されたアプリケーションプログラムの結果、スマートグラス101からの通知などは、ディスプレイ222に表示される。ROM223はフラッシュメモリ等であり、各種設定情報や、前述したようにアプリケーションプログラムなどが記憶されている。RAM224は、CPU221のメモリやワークエリアとして機能する。近距離通信I/F225は、スマートウォッチ110が無線通信120を介して、外部のネットワーク機器と片方向または双方向にデータをやり取りするための制御を行う。操作部227は、表示部111でユーザからの入力を受け付け、該入力に対応する信号を操作部I/F228によって前述した各処理部へ伝える。タッチパネルなどを利用し、ディスプレイ222と操作部227とが一体となっている形態も実現可能である。センサー部229は、1以上のセンサーを簡易的に図示している。具体的には、スマートウォッチ110には、GPS、ジャイロセンサー、加速度センサー、近接センサー、血圧・心拍数計測センサーなどの少なくとも何れかが実装される。また、スマートグラス101には、指紋認証、静脈認証、虹彩認証などを実現するための生体情報も検出するためのセンサーが実装されてもよい。
なお、前述したが、スマートグラス101は、さらに、音声による通話機能を実現するためのソフトウェアを実行することができる。
図3は、本発明に係る各機器のソフトウェアのモジュール構成の例を示す図である。
図3(A)は、スマートグラス101のソフトウェアのモジュール構成を示している。
通信部301はスマートウォッチ110への指示情報や、スマートグラス101のステータス情報をスマートウォッチ110へ送信する。また、スマートウォッチ110から送信される指示情報を受信するだけでなく、ネットワークI/F205を利用してネットワークを介して連携するアプリケーションサーバからの通知も受信する。ステータス情報とはスマートグラス101がユーザに利用されているのか否か、また、スマートグラス101のモード情報(スタンバイモード、省電力モードなど)を意味する。記憶部302はROM203、RAM204とその他処理部との情報のやり取りを行う。また、カメラ210で撮影された画像データなどを記憶する。
表示部303は、AR/MR表示など、CPU201により実行された各種アプリケーションの結果を表示する。例えば、AR技術を利用して、実空間に対して仮想的なコンテンツが重畳するように、ディスプレイ202にコンテンツを表示(情報投影)する。なお、本発明は、網膜に直接投影する方式を採用することも可能である。ここで、情報投影においては、SLAM(simultaneous localization and mapping)といった技術に基づき、実空間における自身の位置及び姿勢を推定してもよい。推定結果は、仮想的なコンテンツの表示処理に利用される。
操作部304は操作フレーム104でユーザからの入力を受け付け、各種アプリケーションの操作、ディスプレイ202への表示に対する操作の指示を受け付け、制御する。カメラ制御部305はカメラ210の起動、制止、撮影を制御し、撮影された画像データを記憶部302と連携してROM203に格納する。モード制御部306はスマートグラス101が備えている複数のモードへの切り替えを制御し、スマートグラス101をユーザが所望するモードへ切り替える。ステータス検知部307はセンサー部209により検知されたステータスの変化や利用状態などの情報を管理し、ROM203で保持する。ペアリング部308は無線通信120を介して、外部のネットワーク機器と双方向にデータ通信を可能とするようネットワークI/F205の制御を行う。アプリケーション管理部309は各種アプリケーションの実行状況、バージョン情報、サーバから受信した通知などを管理し、記憶部302を介してROM203とRAM204で管理する。
図3(B)は、スマートウォッチ110のソフトウェアのモジュール構成を示している。
時計部321はディスプレイ222に表示するための時刻情報を管理、制御する。時刻情報の管理、制御はROM223に格納されるアプリケーションプログラムでも構わない。通信部322はスマートグラス101への指示情報を送信、また、スマートグラス101のステータス情報を受信するだけでなく、アプリケーションサーバからの通知も受信する。記憶部323はROM223、RAM224とその他処理部との情報のやり取りを行う。表示部324は時計部321により管理されている時刻情報や、CPU221により実行された各種アプリケーションの結果を表示する。また、スマートグラス101から転送されたアプリケーション通知を表示する。操作部325は表示部111でユーザからの入力を受け付け、各種アプリケーションの操作、ディスプレイ222への表示を制御する。ステータス検知部326はセンサー部229により検知されたステータスの変化を情報として管理し、ROM223で保持する。ペアリング部327は無線通信120を介して、外部のネットワーク機器と双方向にデータ通信を可能とするよう近距離通信I/F225の制御を行う。アプリケーション管理部328は各種アプリケーションの実行状況、バージョン情報、サーバから受信した通知などを管理し、記憶部323を介してROM223とRAM224で管理する。
スマートグラス101、スマートウォッチ110は共に、自装置内外で実行される各種アプリケーションからの通知を受信するか否かの設定を記憶部302、及び、324に持つ。表1は、スマートグラス101の記憶部302で管理される通知設定テーブルの例である。例えば、アプリケーションの識別情報(Application ID)が”0001”である「Application0001」は、通知設定(Notification)が有効(ON)になっている。アプリケーションの識別情報が”0003”である「Application0003」は、通知設定が無効(OFF)になっている。通知設定については、アプリケーションのインストールなどのタイミングで、アプリケーションの情報がスマートグラス101に登録される際に、ユーザによって通知の許可に同意されたことに応じて有効になる。
各端末はアプリケーション通知設定テーブルの設定に従い、アプリケーション毎に通知を受信するか否か、または、受信した通知をユーザに対して提供するか否かを制御する。ユーザに対する提供方法は、前述の通り、ディスプレイ202、ディスプレイ222を用いた表示制御や、バイブレーション機能などを用いた通知が可能である。
さらに、スマートグラス101とスマートウォッチ110は共に、自装置内外で実行されるアプリケーションからの通知を受信すると、自身が通知元となり、他の連携端末にそれを転送するか否かの設定を記憶部302、及び、324に持つ。本設定は、アプリケーション毎に設定することが可能である。通知の転送先としては、ペアリングなどによる連携端末を指定することが可能である。連携端末間で、通知の転送の対象となるアプリケーションの情報を共有することが可能である。つまり、転送先となる端末側でも、今後通知が転送されてくるアプリケーションの情報を管理することが可能となる。
表2は、スマートグラス101の記憶部302で管理される通知元管理テーブルの例である。例えば、アプリケーションの識別情報が”0001”である「Application0001」による通知は、転送先(TO)に設定された端末ID(watch_110)が示すスマートウォッチ110に転送されることになる。アプリケーションの識別情報が”0003”である「Application0003」による通知は、転送元(FROM)に設定された端末ID(watch_110)が示すスマートウォッチ110から転送されてくることになる。
転送先に指定された端末とのペアリングが解除されたなど、通信ができない場合には、通知の転送は実行されない。また、表1,2で通知が有効、かつ、転送先が設定されている場合であっても、転送元である機器においても表示制御や、バイブレーション機能などを用いた通知が可能である。したがって、スマートグラス101とスマートウォッチ110の両方で、アプリケーションの識別情報が”0001”である「Application0001」による同じ通知を、ユーザに提供することも可能である。
また、スマートグラス101は、いくつかの動作モードを持ち、ユーザの操作や事前設定された条件に従い、モード制御部306にてモード遷移が制御される。本実施例ではモードの定義を下記に定めているが、これに限るものではない。
・スタンバイモード:起動中のアプリを終了させずに低消費電力で待機している状態。操作、通知を受信すると瞬時に復帰する。
・集中モード:ユーザの指示により遷移する動作モード。ユーザが利用中だが、アプリケーションからの通知など、緊急性のない情報提供を受けないようにする動作モード。
・省電力モード:一部アプリケーションやネットワーク機能、サービスだけがバックグラウンドで動作している状態。ディスプレイ202を用いた表示が実行されていない。装着中も省電力モードに遷移可能。
・ドライブモード:ユーザが乗り物の運転中などに、ユーザ指示または自動で設定されるモード。通話アプリ、ナビゲーションアプリなどの一部アプリケーションが利用出来る動作モード。
図8は、スマートグラス101における通知設定を行うための設定画面の仮想表示の例である。ディスプレイ202によってユーザの視界に投影された映像を想定している。スマートグラス101が提供するウェブサーバー(不図示)などのユーザーインターフェースに対して、PCなどの外部端末アクセスして、同様の設定を行うことも可能である。
801は、モード別の通知設定を行う設定領域を示す。スマートグラス101が各モードであった場合に、ディスプレイ202によってユーザの視界に対して通知を行うかを設定できる。図示では、集中モード、ドライブモードでは通知しない設定であり、ドライブモードでは通知を行う設定となっている。例えばメールアプリケーションからの通知を受け取った場合の表示態様の例を図5(A)で示している。また、スマートウォッチ110からの通知もこの設定に従い表示制御される。
802は、ペアリングデバイスに通知を転送するか、否かを設定する領域を示す。設定802が有効(ON)の場合には、少なくとも一部のアプリケーションからの通知がペアリングされたスマートウォッチ110に転送されることになる。
803は、設定802が有効の際に設定する項目で、スマートグラス101の利用状態がユーザによって利用されていない(非利用時)に、ディスプレイ202によるスマートグラス101での通知の表示制御を制限するかどうかを設定できる。設定803が有効(ON)の場合には、スマートグラス101が非利用時には、ディスプレイ202によるスマートグラス101での通知の表示が制限される。一方、設定803が無効(OFF)の場合には、スマートグラス101が非利用時であっても、通電状態など通知可能な条件が整っている場合は、スマートグラス101で通知のための表示制御の実行が試行される。設定803のデフォルト設定は有効である。
804は、表1で管理されている通知設定が有効となっているすべてのアプリケーションからの通知をペアリングデバイスに転送するか否かを設定するための設定領域である。設定803が有効(ON)の場合には、すべてのアプリケーションからの通知が転送される。設定803が無効(OFF)の場合には、通知を転送するアプリケーションを、通知設定が有効となっているアプリケーションの一覧から選択する。設定が有効(ON)にされたアプリケーションからの通知は転送対象となる。この設定の結果は、前述の表2でも利用される。
図4は、スマートグラス101における通知制御の処理を説明するためのフローチャートを示す。本処理は、CPU201が以下で説明する各ステップを含むプログラムを実行することで、実現される。
S401で、スマートグラス101は通信部301を介してアプリケーションからの通知を受信する。本実施におけるアプリケーション通知の一例としては、スマートグラス101にインストールされたアプリケーションが、インターネット140等のネットワークを介して連携するアプリケーションサーバ(不図示)から受信する通知がある。通知の例には、他にも、スマートグラス101にインストールされたアプリケーションが、自動で生成した通知(アラームなど)、またはユーザ操作に応じて生成した通知も含まれる。
S402で、スマートグラス101はアプリケーション通知設定テーブル(表1)を参照し、対象のアプリケーションの通知設定が有効(ON)であるか否かを判断する。S402で判断した結果、通知設定がOFFであった場合には本処理を終了する。S402で判断した結果、通知設定がONであった場合にはS403に進む。なお、S401とS402に代えて、通知設定が有効となっているアプリケーションの通知のみを要求して、受信するような制御を実現することも可能である。
S403で、スマートグラス101は通知転送管理テーブル(表2)を参照し、通知の転送先(TO)の指定があるかどうかを判定する。S403で判断した結果、対象のアプリケーションについて転送先が指定されていなかった場合にはS409に進む。S403で判断した結果、転送先が指定されていた場合にはS404に進む。
S404で、スマートグラス101は自身の利用状態がユーザによって利用されている(利用中)かどうかを判断する。本ステップは図8の設定803が無効な場合はスキップされる。S404で判断した結果、利用中であった場合にはS405に進み、利用中でなかった場合にはS406に進む。
ここで、利用状態が“利用中”とは、スマートグラス101においてディスプレイ202を用いたAR/MRなどの表示が行われている、ユーザ操作を受けてその制御の実行中などを意味する。これらの状態は、ステータス検知部307によって検知され、管理される。また、スマートグラス101のフレームが閉じており、未装着のまま、省電力モードとなっている場合は、利用中ではない(非利用時)と判断されてもよい。スマートグラス101が、未装着で、充電などを行うなどの目的で、専用ケース内にセットされている場合も、利用中ではない(非利用時)と判断されてもよい。
S405で、スマートグラス101の現在のモードが、設定801で無効に設定されたモード(所定モード)であるか否かが判断される。S405で判断した結果、現在のモードが所定のモードであった場合にはS406に進み、所定モードでなかった場合にはS407に進む。
S406で、スマートグラス101はペアリングしているスマートウォッチ110へ、アプリケーションからの通知を転送する。スマートウォッチ110の表示部324は、通信部322を介して受信したスマートグラス101からの通知を、図5(B)に示すように、ディスプレイ222に表示する。
S407で、スマートグラス101の表示部303は、アプリケーションからの通知を、ディスプレイ202を用いて、図5(A)に示すように表示制御する。図5(A)では、ユーザの視界に、501に示す通知アイコンの仮想表示が投影されている。S408で、S406と同様に、スマートグラス101はペアリングしているスマートウォッチ110へ、アプリケーションからの通知を転送する。
S409で、S405と同様に、スマートグラス101の現在のモードが、所定モードであるか否かが判断される。S409で判断した結果、現在のモードが所定のモードであった場合には本処理を終了し、所定モードでなかった場合にはS410に進む。S410で、S407と同様に、スマートグラス101の表示部303は、アプリケーションからの通知を、ディスプレイ202を用いて表示制御する。
なお、ユーザがスマートグラス101とペアリングされた端末を身に付けていないことが、該端末からの情報により検出できた場合には、S406およびS408の通知の転送処理を実行しないよう制御することも可能である。
スマートグラス101は、スマートフォンとは異なり、メガネとして装着するため、ユーザによる利用のされ方が異なる。それだけではなく、スマートグラス101は、スマートフォンとは異なり、通知などをユーザの視界に投影することができるため、特定の作業中や乗り物の運転中などには、通知によって作業や運転に対する意識が途切れてしまい、危険などが伴う場合がある。
本発明の実施例1によれば、スマートグラス101の利用状態や動作モードに応じた、スマートグラス101、および、ペアリングデバイスでの、柔軟な通知制御を実現できる。
(実施例2)
本実施例では、スマートグラス101の利用状態や動作モードに従う、スマートウォッチ110による通知制御について説明する。説明を加えない限りは、システムや各機器の内部の構成などは実施例1と同様である。
図6は、スマートウォッチ110のアプリケーション通知処理を示したフローチャートである。本処理は、CPU221が以下で説明する各ステップを含むプログラムを実行することで、実現される。本フローチャートは、スマートウォッチ110内のアラーム機能を持つ時計アプリケーションや血圧や歩数などの健康情報を提供するアプリケーションからの通知が発生した場合の処理を説明している。
S601で、スマートウォッチ110はアプリケーションからの通知イベントを検出する。S602で、スマートウォッチ110は、自装置におけるアプリケーション通知設定テーブルを参照し、対象のアプリケーションの通知設定が有効(ON)であるか否か判断する。S602で判断した結果、対象のアプリケーションの通知設定が無効(OFF)であった場合には本処理を終了し、通知設定が有効であった場合にはS603に進む。
S603で、スマートウォッチ110の表示部324は、対象のアプリケーションからの通知を、ディスプレイ222に表示する。
S604で、スマートウォッチ110は、通知転送管理テーブルを参照し、対象のアプリケーションの転送先としてペアリングデバイスであるスマートグラス101が設定されているか否かを判定する。転送設定がある場合にはS605に進み、無い場合には本処理を終了する。
S605で、スマートウォッチ110は、スマートグラス101の利用状態とモードを参照し、転送が許可される状態か否かを判断する。転送が許可される場合にはS606に進み、許可されない場合には本処理を終了する。ここでは、スマートグラス101がスマートウォッチ110の要求に応じて、利用状態とモードを応答する機能をサポートすることを想定している。なお、スマートグラス101がスマートウォッチ110に対して、利用状態とモードの変化イベントを通知する機能をサポートしてもよい。例えば、実施例1と同様に、スマートグラス101が利用中でない場合、または、集中モードとドライブモードのいずれかのモードであった場合には、S605ではNoと判断される。
S606で、スマートウォッチ110は、スマートグラス101に対して、無線通信120を介して、アプリケーションからの通知を転送する。スマートグラス101の表示部303は、転送されてきたアプリケーションからの通知を、ディスプレイ202を用いて表示制御する。
(実施例3)
本実施例では、アプリケーションからの通知内容が、特定の災害情報など、緊急性の高い通知を含む例外通知であった場合の処理について説明する。説明を加えない限りは、システムや各機器の内部の構成などは実施例1と同様であり、実施例1、2の制御に加えて、本制御を実現することが可能である。
図7は、実施例3におけるメガネ型情報機器による通知制御の処理を説明するためのフローチャートである。ここでは、図4で示したフローチャートからの差分を説明する。
S701で、S401でスマートグラス101は通信部301などを介したアプリケーションからの通知が、前述の例外通知であるか否かを判断する。例外通知とは、前述の通り、例えば自然災害、特別警報、国民保護情報などを含む、緊急性の高い通知が含まれる。S701で判断した結果、例外通知でなければS402に進み、例外通知であると判断した場合にはS407に進む。
本実施例によれば、ユーザが、例外通知を、スマートグラス101とスマートウォッチ110の双方で例外的に確認できるといった効果が得られる。
(他の実施例)
本発明は、上述した実施形態を適宜組み合わせることにより構成された装置あるいはシステムやその方法も含まれるものとする。
ここで、本発明は、上述した実施形態の機能を実現する1以上のソフトウェア(プログラム)を実行する主体となる装置あるいはシステムである。また、その装置あるいはシステムで実行される上述した実施形態を実現するための方法も本発明の一つである。また、そのプログラムは、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給され、そのシステム或いは装置の1以上のコンピュータ(CPUやMPU等)によりそのプログラムが1以上のメモリーに読み出され、実行される。つまり、本発明の一つとして、さらにそのプログラム自体、あるいは該プログラムを格納したコンピュータにより読み取り可能な各種記憶媒体も含むものとする。また、上述した実施形態の機能を実現する回路(例えば、ASIC)によっても、本発明は実現可能である。
101 スマートグラス
110 スマートウォッチ

Claims (16)

  1. ヘッドマウントディスプレイであって、
    前記ヘッドマウントディスプレイの1以上のアプリケーションからの通知を抑制する所定モードに関する設定画面を、前記所定モードを有効とする、または、無効とする設定ができるようにユーザの視界に投影するよう表示制御する表示手段と、
    前記ヘッドマウントディスプレイ内に、前記所定モードが有効にされたことを示す値を保存する保存手段と、
    前記設定画面を外部端末に表示させるための制御手段と、を有することを特徴とするヘッドマウントディスプレイ。
  2. 前記制御手段は、前記ヘッドマウントディスプレイのウェブサーバーを用いて前記外部端末に前記画面を提供することを特徴とする請求項に記載のヘッドマウントディスプレイ。
  3. 前記1以上のアプリケーションは、前記ヘッドマウントディスプレイにインストールされたアプリケーションであることを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。
  4. 前記ヘッドマウントディスプレイは、内蔵モジュールまたはモバイルルーターを用いて接続されるモバイルネットワークを介して、インターネットに接続されることを特徴とする請求項1乃至の何れか1項に記載のヘッドマウントディスプレイ。
  5. 前記1以上のアプリケーションは前記インターネットから前記通知を受信することを特徴とする請求項に記載のヘッドマウントディスプレイ。
  6. 前記ヘッドマウントディスプレイは、さらに音声通話のための機能を備えることを特徴とする請求項1乃至の何れか1項に記載のヘッドマウントディスプレイ。
  7. 前記表示手段は、前記所定モードが有効ではない場合、ユーザが前記ヘッドマウントディスプレイを装着時に、該ユーザの視界に前記1以上のアプリケーションからの通知に関する映像を投影するよう表示制御することを特徴とする請求項1乃至6の何れか1項に記載のヘッドマウントディスプレイ。
  8. 前記ヘッドマウントディスプレイが前記ユーザに装着されていない、かつ、前記ユーザが前記ヘッドマウントディスプレイを利用していない場合、前記1以上のアプリケーションからの通知に関する映像を投影するよう表示制御は抑制されることを特徴とする請求項に記載のヘッドマウントディスプレイ。
  9. 前記設定画面は、さらに、前記1以上のアプリケーションからの通知をペアリングされたデバイスに対して転送するための転送設定を設定することができることを特徴とする請求項1乃至の何れか1項に記載のヘッドマウントディスプレイ。
  10. 前記ヘッドマウントディスプレイがユーザに装着されていない、または、前記ヘッドマウントディスプレイが前記所定モードであった場合に、前記1以上のアプリケーションによる通知の発行に応じて、該通知は、前記転送設定に基づき、ペアリングされたデバイスに対して転送されることを特徴とする請求項に記載のヘッドマウントディスプレイ。
  11. 前記所定モードに従う通知の抑制は、ユーザの視界に該通知に関する映像を投影しないことを含むことを特徴とする請求項1乃至10の何れか1項に記載のヘッドマウントディスプレイ。
  12. 前記保存手段は、前記表示手段及び前記制御手段に基づく前記設定画面を介した設定に従い、前記所定モードが有効、または、無効であることを示す値を保存する、ことを特徴とする請求項1乃至11の何れか1項に記載のヘッドマウントディスプレイ。
  13. ヘッドマウントディスプレイにおける方法であって、
    前記ヘッドマウントディスプレイの1以上のアプリケーションからの通知を抑制する所定モードに関する設定画面を、前記所定モードを有効とする、または、無効とする設定ができるようにユーザの視界に投影するよう表示制御する表示工程と、
    前記ヘッドマウントディスプレイ内に、前記所定モードが有効にされたことを示す値を保存する保存工程と、
    前記設定画面を外部端末に表示させるための制御工程と、を有することを特徴とする方法。
  14. 請求項1乃至12の何れか1項に記載の各手段としてコンピュータを機能させるためのプログラム。
  15. メガネ型情報機器であって、
    前記メガネ型情報機器の1以上のアプリケーションからの通知を抑制する所定モードに関する設定画面を、前記所定モードを有効とする、または、無効とする設定ができるようにユーザの視界に投影するよう表示制御する表示手段と、
    前記メガネ型情報機器内に、前記所定モードが有効、または、無効であることを示す値を保存する保存手段と、
    前記設定画面を外部端末に表示させるための制御手段と、を有することを特徴とするメガネ型情報機器。
  16. 前記保存手段は、前記表示手段及び前記制御手段に基づく前記設定画面を介した設定に従い、前記所定モードが有効、または、無効であることを示す値を保存する、ことを特徴とする請求項15に記載のメガネ型情報機器。
JP2024189312A 2020-11-19 2024-10-28 メガネ型情報機器、その方法及びプログラム Active JP7799787B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024189312A JP7799787B2 (ja) 2020-11-19 2024-10-28 メガネ型情報機器、その方法及びプログラム
JP2025272641A JP2026034734A (ja) 2020-11-19 2025-12-22 メガネ型情報機器、その方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020192831A JP7585006B2 (ja) 2020-11-19 2020-11-19 メガネ型情報機器、その方法及びプログラム
JP2024189312A JP7799787B2 (ja) 2020-11-19 2024-10-28 メガネ型情報機器、その方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020192831A Division JP7585006B2 (ja) 2020-11-19 2020-11-19 メガネ型情報機器、その方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025272641A Division JP2026034734A (ja) 2020-11-19 2025-12-22 メガネ型情報機器、その方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2025003686A JP2025003686A (ja) 2025-01-09
JP2025003686A5 JP2025003686A5 (ja) 2025-08-28
JP7799787B2 true JP7799787B2 (ja) 2026-01-15

Family

ID=81586681

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020192831A Active JP7585006B2 (ja) 2020-11-19 2020-11-19 メガネ型情報機器、その方法及びプログラム
JP2024189312A Active JP7799787B2 (ja) 2020-11-19 2024-10-28 メガネ型情報機器、その方法及びプログラム
JP2025272641A Pending JP2026034734A (ja) 2020-11-19 2025-12-22 メガネ型情報機器、その方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020192831A Active JP7585006B2 (ja) 2020-11-19 2020-11-19 メガネ型情報機器、その方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025272641A Pending JP2026034734A (ja) 2020-11-19 2025-12-22 メガネ型情報機器、その方法及びプログラム

Country Status (3)

Country Link
US (3) US11852810B2 (ja)
JP (3) JP7585006B2 (ja)
CN (1) CN114554178B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7585006B2 (ja) * 2020-11-19 2024-11-18 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム
DE102021205572A1 (de) * 2021-06-01 2022-12-01 tooz technologies GmbH Aufrufen einer wake- up- funktion und steuern einer wearablevorrichtung unter verwendung von antippgesten
US12225283B2 (en) 2021-11-18 2025-02-11 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and information presentation system
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device
US12105926B2 (en) * 2022-07-28 2024-10-01 Ntt Docomo, Inc. XR manipulation feature with smart watch
JP7845989B2 (ja) * 2022-10-12 2026-04-14 ソフトバンクグループ株式会社 Level6 SOS
WO2024080126A1 (ja) * 2022-10-12 2024-04-18 ソフトバンクグループ株式会社 情報処理システム、情報処理装置、制御装置及びプログラム
CN115718581A (zh) * 2022-11-29 2023-02-28 维沃移动通信有限公司 信息显示方法、装置、电子设备和存储介质
US20250123691A1 (en) * 2023-10-17 2025-04-17 Meta Platforms Technologies, Llc Multi-modal inputs for wearable devices, and systems and methods of use thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016001984A1 (ja) 2014-06-30 2016-01-07 株式会社 東芝 通知情報をフィルタリングするための電子機器および方法
WO2019185601A1 (en) 2018-03-30 2019-10-03 Inflight VR Software GmbH Method, apparatus, and computer-readable medium for managing notifications delivered to a virtual reality device
JP2020514898A (ja) 2017-03-09 2020-05-21 グーグル エルエルシー コンピューティング装置の通知のための通知チャネル

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102063076B1 (ko) 2013-07-10 2020-01-07 엘지전자 주식회사 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
KR101670808B1 (ko) * 2013-09-03 2016-10-31 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
US9448755B2 (en) 2013-12-28 2016-09-20 Intel Corporation Wearable electronic device having heterogeneous display screens
RU2658794C1 (ru) * 2014-05-23 2018-06-22 Самсунг Электроникс Ко., Лтд. Способ и устройство для предоставления уведомления
JP6341755B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 情報処理装置、方法及びプログラム並びに記録媒体
KR102433291B1 (ko) 2014-07-31 2022-08-17 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
KR20160027813A (ko) 2014-09-02 2016-03-10 엘지전자 주식회사 글래스형 단말기
EP3200552B1 (en) 2014-09-23 2020-02-19 LG Electronics Inc. Mobile terminal and method for controlling same
US9578156B2 (en) * 2014-09-30 2017-02-21 Samsung Electronics Co., Ltd. Method and apparatus for operating an electronic device
KR101765838B1 (ko) 2015-01-29 2017-08-10 유퍼스트(주) 시각 장애인을 위한 착용형 장치
JP6693060B2 (ja) * 2015-07-06 2020-05-13 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
US10303345B2 (en) 2015-08-28 2019-05-28 Google Llc Transferring notifications between devices
JP2017050810A (ja) 2015-09-04 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御方法、通信端末、通信システムおよびプログラム
KR20170051013A (ko) 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
US10565854B2 (en) 2016-03-23 2020-02-18 Nec Corporation Eyeglasses-type wearable terminal, control method thereof, and control program
JP6844262B2 (ja) 2017-01-05 2021-03-17 中国電力株式会社 警告画像提供サーバ、警告画像提供システム、及び警告画像提供方法
KR101906549B1 (ko) 2017-07-03 2018-10-12 유퍼스트(주) 청각 장애인을 위한 착용형 장치
JP6495976B2 (ja) 2017-07-19 2019-04-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報表示制御方法
CN107608513B (zh) 2017-09-18 2021-07-16 联想(北京)有限公司 一种穿戴式设备及数据处理方法
CN119556794A (zh) 2018-06-21 2025-03-04 奇跃公司 用于为头戴式图像显示设备提供输入的方法和装置
JP6860635B2 (ja) 2019-10-17 2021-04-21 華為終端有限公司 情報プッシュ先端末を選択するための方法および装置
JP7585006B2 (ja) * 2020-11-19 2024-11-18 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム
JP7581075B2 (ja) * 2021-02-18 2024-11-12 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016001984A1 (ja) 2014-06-30 2016-01-07 株式会社 東芝 通知情報をフィルタリングするための電子機器および方法
JP2020514898A (ja) 2017-03-09 2020-05-21 グーグル エルエルシー コンピューティング装置の通知のための通知チャネル
WO2019185601A1 (en) 2018-03-30 2019-10-03 Inflight VR Software GmbH Method, apparatus, and computer-readable medium for managing notifications delivered to a virtual reality device

Also Published As

Publication number Publication date
CN114554178A (zh) 2022-05-27
JP2025003686A (ja) 2025-01-09
US11852810B2 (en) 2023-12-26
US20250306371A1 (en) 2025-10-02
US20220155593A1 (en) 2022-05-19
JP2026034734A (ja) 2026-02-27
JP2022081342A (ja) 2022-05-31
JP7585006B2 (ja) 2024-11-18
CN114554178B (zh) 2024-05-24
US20240077725A1 (en) 2024-03-07
US12352964B2 (en) 2025-07-08

Similar Documents

Publication Publication Date Title
JP7799787B2 (ja) メガネ型情報機器、その方法及びプログラム
JP6940702B2 (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
CN106465458B (zh) 用于提供通知的方法和设备
KR102271833B1 (ko) 전자 장치, 그 제어 방법 및 기록 매체
JP2022175629A (ja) 情報端末システム、情報端末システムの制御方法及びプログラム
US20160063767A1 (en) Method for providing visual reality service and apparatus for the same
WO2015073412A1 (en) Utilizing external devices to offload text entry on a head-mountable device
JP2015176186A (ja) 情報処理装置、情報処理方法、及び情報処理システム
WO2022176721A1 (ja) メガネ型情報機器、その方法及びプログラム
JP7822443B2 (ja) 携帯端末とヘッドマウントディスプレイ及びその連携表示システム
US20260089248A1 (en) Glasses-type information device, method, and storage medium
KR20180071012A (ko) 전자 장치 및 전자 장치 제어 방법
KR20170084782A (ko) 콘텐트 표시 방법 및 이를 수행하는 전자 장치
KR20180065203A (ko) 영상을 표시하는 전자 장치 및 방법
KR20180087643A (ko) 전자 장치 및 전자 장치 제어 방법
JP7635024B2 (ja) ウェアラブル端末、システム、その制御方法、プログラム及び記憶媒体
JP2024171489A (ja) 情報処理装置、情報処理装置の制御方法、表示装置、表示装置の制御方法、システム、プログラム
CN116508314A (zh) 图像显示装置以及图像显示方法
KR102575673B1 (ko) 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250820

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20250820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251226

R150 Certificate of patent or registration of utility model

Ref document number: 7799787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150