AR(Augmented Reality)グラス等の眼鏡型デバイスは、今後普及が進み、眼鏡型デバイス同士での通信が可能になると考えられる。しかし、目の前にいる人物の眼鏡型デバイスと、自身の眼鏡型デバイスとを通信により接続する方法が確立しておらず、容易に同じコンテンツを共有したり閲覧したりすることができない。本実施形態に係る眼鏡型デバイス100は、画像認識による眼鏡型デバイス同士を接続したり、特定の動作により眼鏡型デバイス同士を接続したりする機能を実現する。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、システム10の一例を概略的に示す。システム10は、複数の眼鏡型デバイス100及び管理サーバ300を備える。
眼鏡型デバイス100は、無線通信機能と、コンテンツを表示部に表示する表示機能を有している眼鏡型のデバイスであれば、どのようなものであってもよい。眼鏡型デバイス100は、例えば、ARグラスであってよい。
眼鏡型デバイス100は、コンテンツを透明又は半透明のグラス上に表示することによって、実空間にコンテンツが配置されている感覚をユーザ102に与えることが可能なデバイスであってよい。すなわち、眼鏡型デバイス100は、いわゆる透過型(シースルー型)のデバイスであってよい。なお、眼鏡型デバイス100は、ビデオパススルー型のデバイスであってもよい。この場合、眼鏡型デバイス100は、ユーザ102の視界に対応する範囲を撮影している撮影画像を非透過型のディスプレイに表示し、コンテンツを重畳表示してよい。
本実施形態に係る眼鏡型デバイス100は、予め定められた条件が満たされたことに応じて、他の眼鏡型デバイス100と接続を確立する。眼鏡型デバイス100は、例えば、眼鏡型デバイス100のユーザ102の視線と他の眼鏡型デバイス100の他のユーザ102の視線とが予め定められた時間継続して一致したことに応じて、他の眼鏡型デバイス100と接続を確立する。
従来の技術によれば、例えば、2人のユーザ102のそれぞれが、それぞれの眼鏡型デバイス100にメニューを表示させて選択する等の操作を行うことによって、接続を確立することが考えられる。しかし、この場合、操作に時間や手間がかかってしまい、コンテンツの共有などを容易に行うことはできない。それに対して、本実施形態に係る眼鏡型デバイス100によれば、ユーザ102にとって負担の少ない接続確立手法をユーザ102に提供することができ、コンテンツの共有等を容易に行える環境を実現することができる。
眼鏡型デバイス100は、例えば、他の眼鏡型デバイス100との間で、直接、接続を確立する。また、例えば、眼鏡型デバイス100は、管理サーバ300を介して、他の眼鏡型デバイス100と接続を確立する。
眼鏡型デバイス100は、他の眼鏡型デバイス100と、Bluetooth(登録商標)によって、無線通信してよい。また、眼鏡型デバイス100と他の眼鏡型デバイス100とは、Wi-Fi(登録商標)及びZigbee(登録商標)等の他の短距離無線通信方式を用いて、無線通信してもよい。
眼鏡型デバイス100は、管理サーバ300と、ネットワーク20を介して通信してよい。ネットワーク20は、クラウドを含む。ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、LTE(Long Term Evolution)通信方式、3G(3rd Generation)通信方式、5G(5th Generation)通信方式、6G(6th Generation)通信方式以降の通信方式のいずれに準拠していてもよい。ネットワーク20は、Wi-Fi通信方式に対応していてよい。ネットワーク20には、Wi-Fiアクセスポイントを介してアクセス可能であってよい。ネットワーク20には、その他無線通信全般を利用してアクセス可能であってよい。眼鏡型デバイス100は、移動体通信、Wi-Fi通信、その他無線通信全般によって、ネットワーク20に接続されてよい。管理サーバ300は、ネットワーク20に有線接続されてよく、無線接続されてもよい。
図2は、眼鏡型デバイス100の構成の一例を概略的に示す。眼鏡型デバイス100は、リム112及びテンプル118を有するフレーム110を備える。眼鏡型デバイス100は、眼鏡型デバイス100における各種制御を実行する制御装置200を備える。
図2における制御装置200の配置は一例であり、制御装置200は、フレーム110の他の位置に配置されてもよい。例えば、制御装置200は、フレーム110の外部に配置されてもよい。また、例えば、制御装置200は、テンプル118内に配置されてもよい。具体例として、制御装置200は、テンプル118の先端部、すなわち、モダンに配置されてもよい。制御装置200は、バッテリを備えてよい。制御装置200とバッテリは、別体として、フレーム110の別の位置に配置されてもよい。
眼鏡型デバイス100は、カメラ120を備えてよい。カメラ120の撮像範囲は、眼鏡型デバイス100を装着しているユーザ102の視界に対応する範囲であってよい。カメラ120の撮像安易は、ユーザ102の視界と実質的に同じ範囲であってよい。図2におけるカメラ120の配置は一例であり、カメラ120は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ122を備えてよい。センサ122は、眼鏡型デバイス100の周囲の環境を特定するためのセンサであってよい。センサ122は、LiDARを含んでよい。センサ122は、測距センサを含んでもよい。図2では、センサ122がブリッジ114に配置されている場合を例示しているが、図2におけるセンサ122の配置は一例であり、センサ122は、他の位置に配置されてもよい。
眼鏡型デバイス100は、視線検出部124を備えてよい。視線検出部124は、眼鏡型デバイス100の装着者であるユーザ102の視線を検出する。視線検出部124は、例えば、ユーザ102の目を撮像して監視することによって、ユーザ102の視線を検出する。図2における視線検出部124の配置は一例であり、視線検出部124は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ126を備えてよい。センサ126は、眼鏡型デバイス100における、センサ126が設置された場所に対する接触を検知するセンサであってよい。センサ126は、圧力を検出可能であってもよい。センサ126は、例えば、静電センサであってよい。図2におけるセンサ126の配置は一例であり、眼鏡型デバイス100は、図2に示す位置とは異なる位置に接触センサ126を備えてもよい。また、眼鏡型デバイス100は、図2に示す例よりも多くの場所にセンサ126を備えてもよい。例えば、センサ126は、リム112の側面や底面等にセンサ126を備えてもよい。
制御装置200は、各種入力を受け付けてよい。制御装置200は、眼鏡型デバイス100の任意の位置に配置された操作部を介して、ユーザ102からの各種入力を受け付けてよい。制御装置200は、例えば、フレーム110の任意の位置に配置されたボタン等の入力部を介して、ユーザ102からの各種入力を受け付ける。制御装置200は、例えば、スマートフォン等の携帯端末を介して、ユーザ102からの各種入力を受け付けてもよい。眼鏡型デバイス100は、例えば、Wi-Fi、Bluetooth及びZigbee等の短距離無線通信方式を用いて、携帯端末と無線接続を確立してよい。制御装置200は、ユーザ102による視線入力を受け付けてもよい。
制御装置200は、測位センサを備えてよい。制御装置200は、例えば、GPS(Global Positioning System)センサ等のGNSS(Global Naviagtion Satellite System)センサを備える。制御装置200は、加速度センサを備えてよい。制御装置200は、ジャイロセンサを備えてよい。制御装置200は、その他のセンサを備えてもよい。
制御装置200は、カメラ120の撮像範囲を示す撮像範囲情報を生成してよい。制御装置200は、眼鏡型デバイス100の位置、向き、及び姿勢に基づいて、撮像範囲情報を生成してよい。制御装置200は、各種センサの出力によって、眼鏡型デバイス100の位置、向き、及び姿勢を特定してよい。
制御装置200は、カメラ120による撮像画像を解析することによって、各種情報を取得してよい。制御装置200は、例えば、カメラ120の撮像範囲内の人物の視線を検出する。また、制御装置200は、例えば、カメラ120の撮像範囲内の物体を認識する。また、制御装置200は、例えば、カメラ120の撮像範囲内のQRコード(登録商標)等のコードを解析して、コードに符号化された情報を取得する。
制御装置200は、レンズ116への表示機能を備えてよい。レンズ116は、眼鏡型デバイス100の表示部の一例であってよい。レンズ116は、透明又は半透明のディスプレイであってよく、制御装置200は、レンズ116に各種表示を実行させてよい。すなわち、眼鏡型デバイス100は、透明又は半透明のディスプレイ型のデバイスであってよい。また、制御装置200が、レンズ116に対して表示を投影する機能を有してもよい。すなわち、眼鏡型デバイス100は、投影型のデバイスであってよい。
制御装置200は、他の眼鏡型デバイス100と無線通信する機能を有してよい。制御装置200は、Bluetooth(登録商標)によって、他の眼鏡型デバイス100の制御装置200と無線通信してよい。制御装置200は、Wi-Fi(登録商標)及びZigbee(登録商標)等の他の短距離無線通信方式を用いて、他の眼鏡型デバイス100の制御装置200と無線通信してもよい。
制御装置200は、ネットワーク20を介した通信を実行する機能を有してよい。制御装置200は、移動体通信、Wi-Fi通信、及びその他の無線通信全般の少なくともいずれかによって、ネットワーク20にアクセスしてよい。制御装置200は、ネットワーク20を介して、管理サーバ300と通信してよい。制御装置200は、ネットワーク20を介して、他の眼鏡型デバイス100と通信してもよい。
図3は、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100との接続のトリガの一例を説明するための説明図である。図3に示すように、例えば、第1の眼鏡型デバイス100及び第2の眼鏡型デバイス100は、第1の眼鏡型デバイス100を装着している第1のユーザ102の視線と、第2の眼鏡型デバイス100を装着している第2のユーザ102の視線とが予め定められた時間継続して一致したことに応じて、接続確立処理を実行してよい。接続確立処理の詳細については後述する。
視線の一致の検出は、第1の眼鏡型デバイス100及び第2の眼鏡型デバイス100のいずれかによって行われてよい。例えば、第1の眼鏡型デバイス100が、第1のユーザ102の視線と、第2のユーザ102の視線とを検出することによって、視線の一致を検出する。
また、視線の一致の検出は、管理サーバ300によって行われてもよい。例えば、管理サーバ300は、第1の眼鏡型デバイス100から第1のユーザ102の視線の情報を受信し、第2の眼鏡型デバイス100から第2のユーザ102の視線の情報を受信することによって、視線の一致を検出する。また、例えば、管理サーバ300は、第1の眼鏡型デバイス100から第2のユーザ102の視線の情報を受信し、第2の眼鏡型デバイス100から第1のユーザ102の視線の情報を受信することによって、視線の一致を検出する。管理サーバ300は、第1のユーザ102の視線と第2のユーザ102の視線とが予め定められた時間継続して一致した場合に、そのことを通知する通知情報を、第1の眼鏡型デバイス100及び第2の眼鏡型デバイス100に送信してよい。管理サーバ300は、眼鏡型デバイス100の位置やユーザ102に重畳されたコンテンツを管理する、いわゆるARクラウドのような仕組みを備えておいてもよい。
図4は、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100との接続のトリガの一例を説明するための説明図である。図4に示すように、例えば、第1の眼鏡型デバイス100は、撮像範囲内の第2の眼鏡型デバイス100又は第2のユーザ102に対応付けて接続用コンテンツ250を表示し、第1のユーザ102によって接続用コンテンツ250が指定されたことに応じて、第2の眼鏡型デバイス100との接続確立処理を実行してよい。
接続用コンテンツ250の指定は、第1のユーザ102による視線入力によって行われてよく、第1のユーザ102による眼鏡型デバイス100の操作部を介した入力によって行われてもよい。例えば、第1の眼鏡型デバイス100は、第1のユーザ102の視線が、接続用コンテンツ250に予め定められた時間継続して向けられた場合に、第1のユーザ102によって接続用コンテンツ250が指定されたと判定する。
接続用コンテンツ250の表示は、第1の眼鏡型デバイス100が主体となって行われてよい。例えば、第1の眼鏡型デバイス100は、カメラ120の撮像範囲内の第2の眼鏡型デバイス100を認識したことに応じて、眼鏡型デバイス100に対応する位置に接続用コンテンツ250を表示する。第2の眼鏡型デバイス100の認識には、センサ122の情報や、無線通信の情報を用いてもよい。第1の眼鏡型デバイス100は、他の任意の手法を用いて、カメラ120の撮像範囲内の第2の眼鏡型デバイス100が含まれることを認識してもよい。
接続用コンテンツ250の表示は、管理サーバ300が主体となって行われてもよい。例えば、管理サーバ300は、第1の眼鏡型デバイス100及び第2の眼鏡型デバイス100のそれぞれから、位置情報及び撮像範囲情報を継続的に受信して、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100との位置関係及び撮像範囲の関係を監視する。管理サーバ300は、第1の制御装置200及び第2の制御装置200から、位置情報及び撮像範囲情報を継続的に受信してよい。そして、第1の眼鏡型デバイス100の撮像範囲内に第2の眼鏡型デバイス100を装着した第2のユーザ102が含まれると判定したことに応じて、第1の眼鏡型デバイス100に、第2の眼鏡型デバイス100に対応する位置に接続用コンテンツ250を表示させる。管理サーバ300は、同様に、第2の眼鏡型デバイス100に、第1の眼鏡型デバイス100に対応する位置に接続用コンテンツ250を表示させてよい。
管理サーバ300は、第1の眼鏡型デバイス100から、撮像画像を継続的に受信して、カメラ120の撮像範囲内に第2の眼鏡型デバイス100が含まれたことを検知してもよい。管理サーバ300は、他の任意の手法を用いて、第1の眼鏡型デバイス100の撮像範囲内に第2の眼鏡型デバイス100が位置したことを検出してもよい。
図5は、眼鏡型デバイス100による接続確立処理の流れの一例を概略的に示す。ここでは、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100とが接続を確立する場合における、第1の眼鏡型デバイス100の処理内容を説明する。
ステップ(ステップをSと省略して記載する場合がある。)102では、第1の眼鏡型デバイス100が、接続確立処理を実行するトリガとして予め定められた条件が満たされたか否かを判定する。一例として、第1の眼鏡型デバイス100は、第1の眼鏡型デバイス100の第1のユーザ102の視線と、第2の眼鏡型デバイス100の第2のユーザ102の視線とが予め定められた時間継続して一致した場合に、条件が満たされたと判定する。
S104では、第1の眼鏡型デバイス100が、自動的にペアリングモードに切り替わる。このとき、第2の眼鏡型デバイス100も、自動的にペアリングモードに切り替わる。
S106では、第1の眼鏡型デバイス100が、第1のユーザ102が向いている方向の相手を特定して、接続候補として、特定した相手を示すオブジェクトを表示する。眼鏡型デバイス100は、Bluetooth等で方向を検知してよい。眼鏡型デバイス100は、各種センサの出力によって方向を検知してもよい。本例においては、第2のユーザ102を示すオブジェクトが接続候補として表示される。第2の眼鏡型デバイス100も、同様に、接続候補として、第1のユーザ102を示すオブジェクトを表示する。
S108では、第1の眼鏡型デバイス100が、第1のユーザ102によって、第2のユーザ102を示すオブジェクトが選択されたか否かを判定する。眼鏡型デバイス100は、視線入力や、操作部に対する入力による第1のユーザ102による選択を受け付けてよい。
眼鏡型デバイス100は、第1のユーザ102によって第2のユーザ102を示すオブジェクトが選択されない状態が予め定められた時間継続した場合に、選択されなかったと判定してよい。また、眼鏡型デバイス100は、例えば、第1のユーザ102によって第2のユーザ102を示すオブジェクトが選択されないまま、第2のユーザ102が第1の眼鏡型デバイス100の撮像範囲から外れた場合に、選択されなかったと判定してもよい。選択されたと判定した場合、S110に進み、選択されなかったと判定された場合、処理を終了する。
S110では、第1の眼鏡型デバイス100が、第2の眼鏡型デバイス100と接続を確立する。このように、第1のユーザ102によって第2のユーザ102を示すオブジェクトが選択されたことに応じて、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100が接続を確立するように構成してよい。また、第1のユーザ102によって第2のユーザ102を示すオブジェクトが選択されたことに応じて、第2の眼鏡型デバイス100によって第2のユーザ102に対して問い合わせが出力され、第2のユーザ102によって承認されたことに応じて、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100が接続を確立するように構成してもよい。また、第1のユーザ102によって第2のユーザ102を示すオブジェクトが選択され、かつ、第2のユーザ102によって第1のユーザ102を示すオブジェクトが選択されたことに応じて、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100が接続を確立するように構成してもよい。
上述したように、眼鏡型デバイス100による接続確立処理は、手動による相手の選択を含んでよい。また、眼鏡型デバイス100による接続確立処理は、自動的に行われてもよい。例えば、第1の眼鏡型デバイス100は、S104においてペアリングモードに切り替わったこと応じて、相手である第2の眼鏡型デバイス100と接続を確立してもよい。
図6は、制御装置200の機能構成の一例を概略的に示す。制御装置200は、格納部202、撮像画像取得部204、センサ情報取得部206、視線情報取得部208、コンテンツ取得部210、撮像範囲情報生成部212、情報送信部214、表示制御部216、モード設定部218、接続確立部220、及び共有制御部222を備える。なお、制御装置200がこれらの全てを備えることは必須とは限らない。
撮像画像取得部204は、カメラ120によって撮像された撮像画像をカメラ120から取得する。撮像画像取得部204は、取得した撮像画像を格納部202に格納する。
センサ情報取得部206は、センサ情報を取得する。センサ情報取得部206は、センサ122によって出力された情報を取得してよい。センサ情報取得部206は、センサ126によって出力された情報を取得してよい。センサ情報取得部206は、測位センサによって出力された位置情報を取得してよい。センサ情報取得部206は、加速度センサによって出力された情報を取得してよい。センサ情報取得部206は、ジャイロセンサによって出力された情報を取得してよい。センサ情報取得部206は、他のセンサによって出力された情報を取得してよい。センサ情報取得部206は、取得したセンサ情報を格納部202に格納する。
視線情報取得部208は、視線情報を取得する。視線情報取得部208は、視線検出部124によって検出された、眼鏡型デバイス100を装着しているユーザ102の視線を示す視線情報を取得してよい。
また、視線情報取得部208は、カメラ120の撮像範囲内の人物の視線を示す視線情報を取得してよい。視線情報取得部208は、撮像画像取得部204によって取得された撮像画像及びセンサ情報取得部206によって取得されたセンサ情報を用いて、カメラ120の撮像範囲内の人物の視線を示す視線情報を取得してよい。
コンテンツ取得部210は、レンズ116に表示するコンテンツを取得する。コンテンツ取得部210は、例えば、管理サーバ300からコンテンツを受信する。コンテンツ取得部210は、ネットワーク20を介して、任意の装置やサーバからコンテンツを受信してもよい。コンテンツ取得部210は、ユーザ102によって生成されたコンテンツを、ユーザ102の携帯端末や、ユーザ102のPC(Personal Computer)等から受信してもよい。コンテンツ取得部210は、取得したコンテンツを格納部202に格納する。
撮像範囲情報生成部212は、撮像範囲情報を生成する。撮像範囲情報生成部212は、センサ情報取得部206によって取得されたセンサ情報を用いて撮像範囲情報を生成してよい。撮像範囲情報生成部212は、撮像画像取得部204によって取得された撮像画像をさらに用いて撮像範囲情報を生成してもよい。
情報送信部214は、各種情報を管理サーバ300に送信する。情報送信部214は、例えば、撮像画像取得部204が取得した撮像画像を管理サーバ300に送信する。また、情報送信部214は、例えば、センサ情報取得部206が取得したセンサ情報を管理サーバ300に送信する。情報送信部214は、例えば、撮像範囲情報生成部212によって生成された撮像範囲情報を管理サーバ300に送信する。
表示制御部216は、表示部による表示を制御する。表示制御部216は、例えば、格納部202に格納されているコンテンツを、レンズ116に表示させる。表示制御部216は、ユーザ102からの指示に従って、格納部202に格納されているコンテンツをレンズ116に表示させてよい。
モード設定部218は、眼鏡型デバイス100のモードを設定する。モード設定部218は、例えば、予め定められた条件が満たされたことに応じて、眼鏡型デバイス100をペアリングモードに設定する。
また、モード設定部218は、例えば、接続モードを設定する。接続モードは、1つの他の眼鏡型デバイス100と接続を確立する単独接続モードと、複数の他の眼鏡型デバイス100と接続を確立する複数接続モードとを含んでよい。
接続確立部220は、他の眼鏡型デバイス100との接続を確立する。接続確立部220は、予め定められた条件が満たされたことに応じて、他の眼鏡型デバイス100と接続を確立してよい。
接続確立部220は、予め定められた条件が満たされたことに応じて、他の眼鏡型デバイス100との接続確立処理を実行してよい。例えば、接続確立部220は、予め定められた条件が満たされたことに応じて、モード設定部218に、眼鏡型デバイス100をペアリングモードに設定させ、接続を確立するか否かを自動的にユーザ102に問い合わせ、ユーザ102からの応答に応じて、他の眼鏡型デバイス100と接続を確立する。また、例えば、接続確立部220は、予め定められた条件が満たされたことに応じて、モード設定部218に、眼鏡型デバイス100をペアリングモードに設定させ、自動的に他の眼鏡型デバイス100と接続を確立する。
接続確立部220は、例えば、眼鏡型デバイス100を装着したユーザ102の視線に基づいて、眼鏡型デバイス100と接続を確立する。例えば、接続確立部220は、眼鏡型デバイス100のユーザ102の視線と、他の眼鏡型デバイス100の他のユーザ102の視線とが予め定められた時間継続して一致したことに応じて、他の眼鏡型デバイス100との接続確立処理を実行する。
接続確立部220は、視線情報取得部208によって取得された視線情報に基づいて、ユーザ102の視線と他のユーザ102の視線とが予め定められた時間継続して一致したことを検出してよい。接続確立部220は、例えば、ユーザ102の視線情報及び他のユーザ102の視線情報によって、視線の一致を特定し、視線が一致している時間が予め定められた時間を超えるか否かを判定してよい。
接続確立部220は、管理サーバ300からの通知によって、ユーザ102と他のユーザ102との視線が予め定められた時間継続して一致したことを検出してもよい。管理サーバ300は、眼鏡型デバイス100及び他の眼鏡型デバイス100から受信したユーザ102及び他のユーザ102の視線情報によって、視線の一致を特定し、視線が一致している時間が予め定められた時間を超えるか否かを判定してよい。
また、例えば、接続確立部220は、眼鏡型デバイス100のユーザ102の視線が、他の眼鏡型デバイス100の他のユーザ102に対応する位置に表示された接続確立用コンテンツ250に予め定められた時間継続して向けられたことに応じて、他の眼鏡型デバイス100との接続確立処理を実行する。
接続用コンテンツ250の表示は、表示制御部216が主体となって実行されてよい。表示制御部216は、例えば、カメラ120の撮像範囲に他の眼鏡型デバイス100が含まれる場合に、撮像画像取得部204によって撮像された撮像画像を解析することによって、そのことを認識する。そして、表示制御部216は、他の眼鏡型デバイス100に対応する位置に、接続用コンテンツ250を表示させる。接続用コンテンツ250の表示は、上述したように、管理サーバ300が主体となって実行されてもよい。
また、例えば、接続確立部220は、眼鏡型デバイス100のユーザ102の視線が、眼鏡型デバイス100のユーザ102と、他の眼鏡型デバイス100の他のユーザ102とが交換する予め定められた物体に向けられたことに応じて、他の眼鏡型デバイス100との接続確立処理を実行する。当該物体は、人物同士が挨拶等をするときに交換される任意の物であってよく、例として、名刺が挙げられる。接続確立部220は、撮像画像取得部204によって取得された撮像画像によって、ユーザ102と他のユーザ102とが名刺交換をしていると判定した場合に、他の眼鏡型デバイス100との接続確立処理を実行してよい。
第1のユーザ102の視線、第1のユーザ102と第2のユーザ102とが交換する予め定められた物体に向けられたことの認識は、管理サーバ300が主体となって実行されてもよい。管理サーバ300は、第1の眼鏡型デバイス100から受信する撮像画像を解析することによって、第1のユーザ102と第2のユーザ102とが交換する当該物体を認識してよい。
また、例えば、接続確立部220は、眼鏡型デバイス100のユーザ102の視線の軌跡が、他の眼鏡型デバイス100の他のユーザ102の指の軌跡と一致したことに応じて、他の眼鏡型デバイス100との接続確立処理を実行する。接続確立部220は、例えば、視線情報取得部208によって取得されたユーザ102の視線情報によってユーザ102の視線の軌跡を特定する。また、接続確立部220は、例えば、撮像画像取得部204が取得した撮像画像及びセンサ情報取得部206が取得したセンサ情報の少なくともいずれかによって、カメラ120の撮像範囲内の他のユーザ102の指の軌跡を特定する。接続確立部220は、特定したユーザ102の視線の軌跡と、他のユーザ102の指の軌跡とが一致した場合に、他の眼鏡型デバイス100との接続確立処理を実行する。これにより、ユーザ102及び他のユーザ102は、ユーザ102が他のユーザ102の指の軌跡を目で追うことによって、接続を確立することができる。眼鏡型デバイス100は、ユーザ102及び他のユーザ102が接続を確立したいと考えている意図を、高い精度で認識することができる。
第1のユーザ102の視線の軌跡と、第2のユーザ102の指の軌跡との一致の判定は、管理サーバ300が主体となって実行されてもよい。管理サーバ300は、第1の眼鏡型デバイス100又は第2の眼鏡型デバイス100から受信する第1のユーザ102の視線情報と、第1の眼鏡型デバイス100又は第2の眼鏡型デバイス100から受信する第2のユーザ102の指の軌跡の情報とを解析することによって、第1のユーザ102の視線の軌跡と、第2のユーザ102の指の軌跡との一致の判定を実行してよい。
眼鏡型デバイス100と他の眼鏡型デバイス100との接続の確立は、一方を受信可能モードに設定することによって実現されてもよい。例えば、接続確立部220は、眼鏡型デバイス100のユーザ102からの指示に応じて、モード設定部218に、眼鏡型デバイス100を、他の眼鏡型デバイス100からの接続申請を受信可能な受信可能モードに設定させる。そして、接続確立部220は、眼鏡型デバイス100が受信可能モードである場合に、他の眼鏡型デバイス100から接続申請を受信したことに応じて、他の眼鏡型デバイス100との接続確立処理を実行する。これにより、受信可能モードへの設定の手間は発生するが、接続を受け入れることを他の眼鏡型デバイス100に表明することができ、スムーズな接続の確立に貢献することができる。
接続確立部220は、カメラ120によって撮像した、他の眼鏡型デバイス100に対応する、他の眼鏡型デバイス100と接続を確立するための情報を含む物体の撮像画像に基づいて、他の眼鏡型デバイス100との接続処理を実行してもよい。当該物体は、例えば、他の眼鏡型デバイス100と接続を確立するための情報が印刷された物体である。当該物体には、例えば、他の眼鏡型デバイス100と接続を確立するための情報が符号化されたコードが印刷されている。当該コードは、QRコード及びバーコード等であってよく、他の形式のコードであってもよい。当該物体は、カードのような紙媒体であってよく、また、立体形状の媒体であってもよい。これにより、例えば、ユーザ102が、QRコードが印刷されたカードを持ち歩き、自身の眼鏡型デバイス100と他のユーザ102の眼鏡型デバイス100との接続を確立したい場合に、当該カードを提示することによって接続できる環境を提供することができる。
接続確立部220は、カメラ120によって撮像した、他の眼鏡型デバイス100及び他の眼鏡型デバイス100の他のユーザ102の撮像画像に基づいて、他の眼鏡型デバイス100との接続確立処理を実行してもよい。例えば、格納部202が、ユーザ102が接続の確立を希望する他の眼鏡型デバイス100のフレーム110の特徴や、他のユーザ102の身体的特徴を予め格納しておく。そして、接続確立部220は、カメラ120の撮像範囲内に他のユーザ102が含まれる場合に、格納部202に格納されているこれらの特徴を用いて、そのことを認識して、他の眼鏡型デバイス100との接続確立処理を実行する。例えば、眼鏡型デバイス100のサイズが比較的大きく、ユーザ102の顔の認識が難しいような場合においても、眼鏡型デバイス100のフレーム110の特徴やユーザ102の全身の特徴を用いることによって、認識率が低下してしまうことを防止することができる。
第1の眼鏡型デバイス100が撮像した撮像画像による、接続相手の識別は、管理サーバ300が主体となって実行されてもよい。管理サーバ300は、第1の眼鏡型デバイス100から受信する撮像画像を解析することによって、第1の眼鏡型デバイス100の撮像範囲内に、第1のユーザ102が接続の確立を希望する第2のユーザ102が含まれることを判定してよい。
接続確立部220は、眼鏡型デバイス100のユーザ102による眼鏡型デバイス100に対する予め定められた動作と、他の眼鏡型デバイス100のユーザ102による他の眼鏡型デバイス100に対する予め定められた動作とが検出されたことに応じて、他の眼鏡型デバイス100との接続確立処理を実行してもよい。接続確立部220は、例えば、ユーザ102及び他のユーザ102のそれぞれが、眼鏡型デバイス100及び他の眼鏡型デバイス100のそれぞれに対して、ほぼ同じタイミングで同じ動作を行ったことに応じて、他の眼鏡型デバイス100との接続確立処理を実行する。ほぼ同じタイミングで同じ動作を行うとは、予め定められた時間範囲内に同じ動作を行うことであってよい。動作の例として、フレーム110をタップすることや、フレーム110を持ち上げること等が挙げられる。具体例として、接続確立部220は、予め定められた時間範囲内に、ユーザ102が眼鏡型デバイス100のフレーム110を2回タップし、他のユーザ102が他のユーザ102のフレーム110を2回タップしたことに応じて、他の眼鏡型デバイス100との接続確立処理を実行する。
このような検出は、管理サーバ300が主体となって実行されてもよい。例えば、眼鏡型デバイス100が、ユーザ102による眼鏡型デバイス100に対する予め定められた動作を検出した場合に、その旨と眼鏡型デバイス100の位置情報とを通知する通知情報を管理サーバ300に送信する。また、同様に、他の眼鏡型デバイス100が、他のユーザ102による他の眼鏡型デバイス100に対する予め定められた動作を検出した場合に、その旨と他の眼鏡型デバイス100の位置情報とを通知する通知情報を管理サーバ300に送信する。
管理サーバ300は、複数の眼鏡型デバイス100から送信される通知情報を監視して、予め定められた範囲内に位置する2つの眼鏡型デバイス100において、予め定められた時間範囲内に予め定められた動作が行われたことを検出した場合に、その旨を2つの眼鏡型デバイス100に対して通知する。2つの眼鏡型デバイス100は、通知に応じて、接続確立処理を実行する。
共有制御部222は、接続確立部220が接続を確立した他の眼鏡型デバイス100とコンテンツを共有する。共有制御部222は、表示制御部216が格納部202に格納されているコンテンツを表示部に表示する場合に、当該コンテンツを他の眼鏡型デバイス100に送信してよい。また、共有制御部222は、他の眼鏡型デバイス100においてコンテンツが表示される場合に、他の眼鏡型デバイス100から当該コンテンツを受信して、表示制御部216に表示させてよい。
上述したように、予め定められた条件が満たされたことに応じて、他の眼鏡型デバイス100と接続を確立し、接続を確立した眼鏡型デバイス100とコンテンツを共有することによって、複数の眼鏡型デバイス100が、容易に同じコンテンツを共有したり閲覧したりできる環境を提供することができる。
接続確立部220は、モード設定部218によって単独接続モードが設定されている場合、予め定められた条件が満たされる毎に、接続を確立する相手を切り替えてよい。
接続確立部220は、自動切替を実行してよい。例えば、第1の眼鏡型デバイス100の接続確立部220は、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100とが接続を確立しているときに、第1の眼鏡型デバイス100と第3の眼鏡型デバイス100との間で予め定められた条件が満たされた場合に、自動的に、第2の眼鏡型デバイス100との接続を解除して、第3の眼鏡型デバイス100と接続を確立する。
接続確立部220は、手動切替を実行してもよい。例えば、第1の眼鏡型デバイス100の接続確立部220は、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100とが接続を確立しているときに、第1の眼鏡型デバイス100と第3の眼鏡型デバイス100との間で予め定められた条件が満たされた場合に、第1の眼鏡型デバイス100の第1のユーザ102に、接続を第3の眼鏡型デバイス100に切り替えるか否かを問い合わせる。そして、切り替える旨の回答を取得したことに応じて、接続確立部220は、第2の眼鏡型デバイス100との接続を解除して、第3の眼鏡型デバイス100と接続を確立する。
接続確立部220は、モード設定部218によって複数接続モードが設定されている場合、予め定められた条件が満たされる毎に、他の眼鏡型デバイス100と接続を確立してよい。
接続確立部220は、自動的に追加接続を実行してよい。例えば、第1の眼鏡型デバイス100の接続確立部220は、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100とが接続を確立しているときに、第1の眼鏡型デバイス100と第3の眼鏡型デバイス100との間で予め定められた条件が満たされた場合に、第2の眼鏡型デバイス100との接続を維持したまま、自動的に第3の眼鏡型デバイス100と接続を確立する。
接続確立部220は、手動によって追加接続を実行してもよい。例えば、第1の眼鏡型デバイス100の接続確立部220は、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100とが接続を確立しているときに、第1の眼鏡型デバイス100と第3の眼鏡型デバイス100との間で予め定められた条件が満たされた場合に、第1の眼鏡型デバイス100の第1のユーザ102に、第3の眼鏡型デバイス100と追加で接続を確立するか否かを問い合わせる。そして、追加で接続を確立する旨の回答を取得したことに応じて、接続確立部220は、第2の眼鏡型デバイス100との接続を維持したまま、第3の眼鏡型デバイス100と接続を確立する。
接続確立部220は、眼鏡型デバイス100が単独接続モードに設定されているときと、眼鏡型デバイス100が複数接続モードに設定されているときとで、異なる条件を用いてよい。例えば、接続確立部220は、眼鏡型デバイス100が単独接続モードに設定されているときは、眼鏡型デバイス100のユーザ102の視線と他の眼鏡型デバイス100の他のユーザ102の視線とが予め定められた時間継続して一致することを、接続確立の条件とする。そして、接続確立部220は、眼鏡型デバイス100が複数接続モードに設定されているときは、他の眼鏡型デバイス100の他のユーザ102の視線が、眼鏡型デバイス100のユーザ102に対応する位置に表示した接続確立用コンテンツに予め定められた時間継続して向けられることを、接続確立の条件とする。これにより、複数の他の眼鏡型デバイス100と接続を確立する場合に、複数の他のユーザ102の一人一人と視線を合わせる必要を無くすことができ、複数の他のユーザ102と効率的に接続を確立可能な環境を提供することができる。
図7は、管理サーバ300の機能構成の一例を概略的に示す。管理サーバ300は、格納部302、情報受信部304、コンテンツ送信部306、及び接続制御部308を備える。なお、管理サーバ300がこれらの全てを備えることは必須とは限らない。
情報受信部304は、眼鏡型デバイス100から各種情報を受信する。情報受信部304は、情報送信部214によって送信された情報を受信してよい。情報受信部304は、受信した情報を格納部302に格納する。
コンテンツ送信部306は、眼鏡型デバイス100に対してコンテンツを送信する。コンテンツ送信部306は、眼鏡型デバイス100からの要求に応じてコンテンツを送信眼鏡型デバイス100にしてよい。
接続制御部308は、情報受信部304が受信した情報に基づいて、眼鏡型デバイス100と他の眼鏡型デバイス100とに接続を確立させるよう制御する。接続制御部308は、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100との間で予め定められた条件が満たされたことに応じて、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100とに接続を確立させるよう制御してよい。接続制御部308は、例えば、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100との間で予め定められた条件が満たされたことに応じて、第1の眼鏡型デバイス100及び第2の眼鏡型デバイス100に、接続を確立する接続確立指示を送信する。
接続制御部308は、例えば、第1の眼鏡型デバイス100の第1のユーザ102の視線に基づいて、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100とに接続を確立させる。
例えば、接続制御部308は、第1のユーザ102の視線と、第2の眼鏡型デバイス100の第2のユーザ102の視線とが予め定められた時間継続して一致したことに応じて、接続確立指示を送信する。接続制御部308は、第1の眼鏡型デバイス100及び第2の眼鏡型デバイス100から受信した第1のユーザ102及び第2のユーザ102の視線情報によって、視線の一致を特定し、視線が一致している時間が予め定められた時間を超えるか否かを判定してよい。
また、例えば、接続制御部308は、第1のユーザ102の視線が、第1の眼鏡型デバイス100のレンズ116における第2のユーザ102に対応する位置に表示された接続確立用コンテンツ250に予め定められた時間継続して向けられたことに応じて、接続確立指示を送信する。
また、例えば、接続制御部308は、第1のユーザ102の視線が、第1のユーザ102と、第2のユーザ102とが交換する予め定められた物体に向けられたことに応じて、接続確立指示を送信する。接続制御部308は、第1の眼鏡型デバイス100から受信する撮像画像を解析することによって、第1のユーザ102と第2のユーザ102とが交換する当該物体を認識してよい。
また、例えば、接続制御部308は、第1のユーザ102及び第2のユーザ102の一方の視線の軌跡と、第1のユーザ102及び第2のユーザ102の他方の指の軌跡とが一致したことに応じて、接続確立指示を送信する。
接続制御部308は、第1の眼鏡型デバイス100のカメラ120によって撮像された、第2の眼鏡型デバイス100及び第2のユーザ102の撮像画像に基づいて、接続確立指示を送信してもよい。接続制御部308は、第1の眼鏡型デバイス100から受信する撮像画像を解析することによって、第1の眼鏡型デバイス100の撮像範囲内に、第1のユーザ102が接続の確立を希望する第2のユーザ102が含まれることを判定してよい。
接続制御部308は、予め定められた距離内に位置する第1の眼鏡型デバイス100及び第2の眼鏡型デバイス100において、予め定められた時間範囲内に予め定められた動作が検出された場合に、接続確立指示を送信してもよい。動作の例として、フレーム110をタップすることや、フレーム110を持ち上げること等が挙げられる。
共有制御部310は、接続制御部308による制御によって、接続を確立した第1の眼鏡型デバイス100と第2の眼鏡型デバイス100に、コンテンツを共有させる。共有制御部310は、第1の眼鏡型デバイス100が第1の眼鏡型デバイス100のレンズ116に表示するコンテンツを、第1の眼鏡型デバイス100から第2の眼鏡型デバイス100に送信させてよい。また、共有制御部310は、第2の眼鏡型デバイス100が第2の眼鏡型デバイス100のレンズ116に表示するコンテンツを、第2の眼鏡型デバイス100から第1の眼鏡型デバイス100に送信させてよい。共有制御部310は、コンテンツを第1の眼鏡型デバイス100と第2の眼鏡型デバイス100との間で直接無線送信させてよい。なお、共有制御部310は、第1の眼鏡型デバイス100と第2の眼鏡型デバイス100との間のコンテンツの送信を中継してもよい。
図8は、制御装置200又は管理サーバ300として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボード又はタッチパネルのような入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、ICカードのようなコンピュータ可読記憶媒体によって提供されてよい。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。