AR(Augmented Reality)グラスは、CG(Computer Graphics)コンテンツ等のユーザが見ている対象物に合わせた情報や、メール通知等のユーザが見ている対象物とは関係のない情報を表示し得る。例えば、ユーザが対象物を見るときのユーザの眼の焦点距離が10mであり、ユーザがARグラスに表示されるCGコンテンツを見るときのユーザの眼の焦点距離が1mである場合のような、ユーザが対象物を見るときのユーザの眼の焦点距離とユーザがCGコンテンツを見るときのユーザの眼の焦点距離とが異なる場合において、ユーザが対象物及びCGコンテンツを交互に見る場合、ユーザは、対象物を見るかCGコンテンツを見るかに応じて、ユーザの眼の焦点距離を変更しなければならない。また、CGコンテンツは、必ずしも対象物の近接した位置に対応するARグラス上の表示位置に表示されればよいわけではなく、ユーザの注視点に応じて、CGコンテンツの最適な表示位置が異なると考えられる。本実施形態に係るシステムは、例えば、ユーザが対象物を見るときのユーザの眼の焦点距離を算出し、算出されたユーザの眼の焦点距離に応じて、CGコンテンツをARグラス上に表示する表示位置を決定する仕組みを採用する。これにより、ユーザの注視点の移動や焦点の切り替えに伴うユーザの負担を軽減できる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、システム10の一例を概略的に示す。システム10は、眼鏡型デバイス100及び情報処理装置200を備えてよい。
眼鏡型デバイス100は、無線通信機能と、表示部にコンテンツを表示する表示機能とを有している眼鏡型のデバイスであれば、どのようなものであってもよい。眼鏡型デバイス100は、例えば、ARグラスである。
コンテンツは、任意のデータ形式であってよい。例えば、コンテンツは、テキストである。例えば、コンテンツは、イラストである。例えば、コンテンツは、静止画である。また、例えば、コンテンツは、動画である。例えば、コンテンツは、3DのCGデータである。コンテンツは、これらを複合的に含んでもよい。
眼鏡型デバイス100は、コンテンツを透明又は半透明のグラス上に表示することによって、眼鏡型デバイス100を装着しているユーザ102に対して、実空間にコンテンツが配置されている感覚を与えることが可能なデバイスであってよい。すなわち、眼鏡型デバイス100は、いわゆる透過型(シースルー型)のデバイスであってよい。尚、眼鏡型デバイス100は、ビデオパススルー型のデバイスであってもよい。この場合、眼鏡型デバイス100は、ユーザ102の視界に対応する範囲を撮影している撮影画像を非透過型のディスプレイに表示し、コンテンツを重畳表示してよい。
眼鏡型デバイス100は、例えば、眼鏡型デバイス100に搭載されているセンサを用いて、各種データを測定する。眼鏡型デバイス100は、ネットワーク20を介して、眼鏡型デバイス100に搭載されているセンサによって測定された測定データを情報処理装置200に送信してよい。眼鏡型デバイス100は、例えば、測定データを情報処理装置200に定期的に送信する。
ネットワーク20は、クラウドを含んでよい。ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、3G(3rd Generation)通信方式、LTE(Long Term Evolution)通信方式、5G(5th Generation)通信方式、6G(6th Generation)通信方式以降の通信方式のいずれにも準拠し得る。ネットワーク20は、Wi-Fi(登録商標)通信方式、Bluetooth(登録商標)通信方式、Zigbee(登録商標)通信方式等の短距離無線通信方式に準拠し得る。ネットワーク20は、有線を含んでもよい。
眼鏡型デバイス100は、例えば、測定データと共に、眼鏡型デバイス100の端末IDを情報処理装置200に送信する。眼鏡型デバイス100は、測定データと共に、眼鏡型デバイス100のユーザ102のユーザIDを情報処理装置200に送信してもよい。
情報処理装置200は、各種処理を実行する。情報処理装置200は、例えば、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する表示位置決定処理を実行する。情報処理装置200は、例えば、ユーザ102の眼の焦点距離を決定し、決定したユーザ102の眼の焦点距離に基づいて眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。情報処理装置200は、例えば、眼鏡型デバイス100からネットワーク20を介して受信した測定データに基づいて、ユーザ102の眼の焦点距離を決定する。
ユーザ102の眼の焦点距離は、ユーザ102からユーザ102の眼の焦点までの距離であってよい。ユーザ102の眼の焦点距離は、ユーザ102からユーザ102が視認している視認対象までの距離であってよい。眼鏡型デバイス100からユーザ102が視認している視認対象までの距離が、ユーザ102の眼の焦点距離とみなされてもよい。
情報処理装置200は、例えば、眼鏡型デバイス100によるコンテンツの表示を制御する表示制御処理を実行する。情報処理装置200は、例えば、眼鏡型デバイス100の表示部に表示されるコンテンツが表示位置決定処理で決定した表示位置に表示されるように、眼鏡型デバイス100によるコンテンツの表示を制御する。
情報処理装置200は、例えば、ネットワーク20を介して制御情報を眼鏡型デバイス100に送信することによって、眼鏡型デバイス100によるコンテンツの表示を制御する。眼鏡型デバイス100は、情報処理装置200からネットワーク20を介して受信した制御情報に基づいて、コンテンツを表示部に表示してよい。
尚、情報処理装置200によって実行される各種処理は、眼鏡型デバイス100によって実行されてもよい。眼鏡型デバイス100は、情報処理装置200を搭載してもよく、眼鏡型デバイス100及び情報処理装置200は、一体であってもよい。
図2は、眼鏡型デバイス100の構成の一例を概略的に示す。眼鏡型デバイス100は、リム112、ブリッジ114、及びテンプル118を有するフレーム110を備えてよい。
眼鏡型デバイス100は、例えば、センサ120を備える。図2では、眼鏡型デバイス100が1つのセンサ120を備える場合の一例を図示している。眼鏡型デバイス100は、複数のセンサ120を備えてもよい。
センサ120は、例えば、カメラである。眼鏡型デバイス100が複数のセンサ120を備える場合、センサ120は、ステレオカメラであってよい。センサ120は、撮像機能に加えて測距機能を有する、いわゆる深度カメラであってもよい。センサ120は、測距センサであってもよい。
センサ120は、例えば、眼鏡型デバイス100を装着しているユーザ102の視界に関連するデータを測定する。例えば、眼鏡型デバイス100が1つのセンサ120を備える場合、1つのセンサ120がユーザ102の両眼に対応する視界に関連するデータを測定する。例えば、眼鏡型デバイス100が2つのセンサ120を備える場合、一方のセンサ120がユーザ102の右眼に対応する視界に関連するデータを測定し、他方のセンサ120がユーザ102の左眼に対応する視界に関連するデータを測定する。
センサ120によって測定される測定データは、例えば、撮像データを含む。センサ120によって測定される測定データは、眼鏡型デバイス100からオブジェクトまでの距離を示す測距データを含んでもよい。
センサ120の測定範囲は、例えば、眼鏡型デバイス100を装着しているユーザ102の視界に対応する範囲である。センサ120の測定範囲は、ユーザ102の視界よりも広い範囲であってもよく、ユーザ102の視界と実質的に同じ範囲であってもよい。
図2におけるセンサ120の配置は一例である。センサ120は、フレーム110の他の位置に配置されてもよい。例えば、センサ120は、フレーム110の内部の任意の位置に配置される。センサ120は、フレーム110の外部の任意の位置に配置されてもよい。
眼鏡型デバイス100は、例えば、センサ122を備える。図2では、眼鏡型デバイス100が1つのセンサ122を備える場合の一例を図示している。眼鏡型デバイス100は、複数のセンサ122を備えてもよい。
センサ122は、例えば、視線センサである。視線センサは、例えば、カメラを含む。カメラは、例えば、可視光カメラである。カメラは、赤外線カメラであってもよい。視線センサは、赤外線LED(Light Emitting Diode)等の赤外線光源を含んでもよい。
センサ122は、例えば、眼鏡型デバイス100を装着しているユーザ102の眼に関連するデータを測定する。例えば、眼鏡型デバイス100が1つのセンサ122を備える場合、1つのセンサ122がユーザ102の両眼に関連するデータを測定する。例えば、眼鏡型デバイス100が2つのセンサ122を備える場合、一方のセンサ122がユーザ102の右眼に関連するデータを測定し、他方のセンサ122がユーザ102の左眼に関連するデータを測定する。
センサ122によって測定される測定データは、例えば、ユーザ102の視線を示す視線データを含む。ユーザ102の視線は、ユーザ102の眼の向きであってよい。ユーザ102の視線は、ユーザ102の眼の中心とユーザ102の視認対象とを結ぶ線であってもよい。センサ122によって測定される測定データは、ユーザ102の眼の角度を示す角度データを含んでもよい。
図2におけるセンサ122の配置は一例である。センサ122は、フレーム110の他の位置に配置されてもよい。例えば、センサ122は、フレーム110の内部の任意の位置に配置される。センサ122は、フレーム110の外部の任意の位置に配置されてもよい。
眼鏡型デバイス100は、例えば、制御装置150を備える。制御装置150は、眼鏡型デバイス100の各種機能を制御する。
制御装置150は、例えば、眼鏡型デバイス100の入力受付機能を制御する。眼鏡型デバイス100は、制御装置150による制御に従ってユーザ102からの各種入力を受け付けてよい。
眼鏡型デバイス100は、例えば、眼鏡型デバイス100の任意の位置に配置された操作部を介して、ユーザ102からの各種入力を受け付ける。眼鏡型デバイス100は、例えば、フレーム110の任意の位置に配置されたボタン等の入力部を介して、ユーザ102からの各種入力を受け付ける。眼鏡型デバイス100は、スマートフォン、タブレット端末、又はPC等の通信端末からネットワーク20を介して入力情報を受信することによって、ユーザ102からの各種入力を受け付けてもよい。
制御装置150は、例えば、眼鏡型デバイス100の通信機能を制御する。眼鏡型デバイス100は、制御装置150による制御に従って通信してよい。
眼鏡型デバイス100は、例えば、情報処理装置200と通信する。眼鏡型デバイス100は、その他の任意の通信端末と通信してもよい。
制御装置150は、例えば、眼鏡型デバイス100の表示機能を制御する。眼鏡型デバイス100は、制御装置150による制御に従って表示部にコンテンツを表示してよい。
表示部は、透明又は半透明のディスプレイであってよい。この場合、眼鏡型デバイス100は、透明又は半透明のディスプレイ型のデバイスであってよい。また、制御装置150は、表示部に対して表示を投影する眼鏡型デバイス100の投影機能を制御してもよい。この場合、眼鏡型デバイス100は、投影型のデバイスであってよい。眼鏡型デバイス100の投影機能は、眼鏡型デバイス100の表示機能の一例であってよい。
図2では、眼鏡型デバイス100がユーザ102の右眼に対応するレンズ115及びユーザ102の左眼に対応するレンズ117の2枚のレンズを備える場合の一例を図示している。レンズ115及びレンズ117は、眼鏡型デバイス100の表示部の一例であってよい。眼鏡型デバイス100は、ユーザ102の両眼に対応する1枚のレンズを備えてもよい。ユーザ102の両眼に対応するレンズは、眼鏡型デバイス100の表示部の一例であってよい。
制御装置150は、不図示のバッテリを備えてよい。制御装置150とバッテリは、別体として、フレーム110の別の位置に配置されてもよい。
図2における制御装置150の配置は一例である。制御装置150は、フレーム110の他の位置に配置されてもよい。制御装置150は、例えば、フレーム110の内部の任意の位置に配置される。例えば、制御装置150は、テンプル118内に配置される。具体例として、制御装置150は、テンプル118の先端部、すなわち、モダンに配置されてよい。制御装置150は、フレーム110の外部に任意の位置に配置されてもよい。
図3は、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例を説明するための説明図である。ここでは、眼鏡型デバイス100を装着しているユーザ102がディスプレイ300を視認しているものとする。
最初に、図3の上段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例を説明する。ここでは、テキスト「分析結果」であるコンテンツ125及びコンテンツ127がディスプレイ300に関連するコンテンツであり、新着メールの受信を通知するアイコンであるコンテンツ135及びコンテンツ137がディスプレイ300に関連しないコンテンツであるものとする。
情報処理装置200は、例えば、眼鏡型デバイス100から、ネットワーク20を介して、眼鏡型デバイス100に搭載されているセンサによって測定された測定データを受信する。情報処理装置200は、例えば、センサ120及びセンサ122のうちの少なくともいずれかによって測定された測定データを受信する。
情報処理装置200は、例えば、眼鏡型デバイス100から受信した測定データに基づいて、眼鏡型デバイス100を装着しているユーザ102が視認対象を視認しているときのユーザ102の眼の焦点距離である第1焦点距離を決定する。ここでは、情報処理装置200が、ユーザ102がディスプレイ300を視認しているときの第1焦点距離を決定したものとして、説明を続ける。尚、眼鏡型デバイス100に搭載されているセンサによって測定された測定データに基づいて第1焦点距離を決定する具体的な方法については、後述する。
情報処理装置200は、例えば、第1焦点距離を用いて、ユーザ102が眼鏡型デバイス100に搭載されている表示部に表示されるコンテンツを視認するときのユーザ102の眼の焦点距離である第2焦点距離を決定する。情報処理装置200は、例えば、第1焦点距離と第2焦点距離との間の距離差が、予め定められた距離差閾値より小さくなるように、第2焦点距離を決定する。情報処理装置200は、例えば、第1焦点距離と第2焦点距離とが同一の焦点距離になるように、第2焦点距離を決定する。ここでは、情報処理装置200が、ユーザ102がレンズ115に表示されるコンテンツ125及びレンズ117に表示されるコンテンツ127を視認するときの第2焦点距離を決定したものとして、説明を続ける。
情報処理装置200は、例えば、第2焦点距離に基づいて、ユーザ102の右眼に対応する表示部の第1表示領域内に表示されるコンテンツの表示位置と、ユーザ102の左眼に対応する表示部の第2表示領域内に表示されるコンテンツの表示位置とを決定する。ここでは、情報処理装置200が、第2焦点距離に基づいて、レンズ115に表示されるコンテンツ125の表示位置と、レンズ117に表示されるコンテンツ127の表示位置とを決定したものとして、説明を続ける。
情報処理装置200は、例えば、コンテンツ125がレンズ115の中央部分に表示されるようにコンテンツ125の表示位置を決定し、コンテンツ127がレンズ117の中央部分に表示されるようにコンテンツ127の表示位置を決定する。レンズ115がコンテンツを表示可能な領域は第1表示領域の一例であってよく、レンズ117がコンテンツを表示可能な領域は第2表示領域の一例であってよい。また、眼鏡型デバイス100がユーザ102の両眼に対応する1枚のレンズを備える場合、当該レンズがユーザ102の右眼に対応するコンテンツを表示可能な領域は第1表示領域の一例であってよく、当該レンズがユーザ102の左眼に対応するコンテンツを表示可能な領域は第2表示領域の一例であってよい。
情報処理装置200は、ディスプレイ300に関連するコンテンツであるコンテンツ125及びコンテンツ127については、第1焦点距離を用いて第2焦点距離を決定し、決定した第2焦点距離に基づいて表示位置を決定する。その一方で、情報処理装置200は、ディスプレイ300に関連しないコンテンツであるコンテンツ135及びコンテンツ137については、表示位置を決定しない。情報処理装置200は、コンテンツ135及びコンテンツ137についても、コンテンツ125及びコンテンツ127と同様に、表示位置を決定してもよい。
情報処理装置200は、例えば、コンテンツ125及びコンテンツ127が決定した表示位置で眼鏡型デバイス100の表示部に表示されるように、ネットワーク20を介して眼鏡型デバイス100に制御情報を送信する。制御装置150は、情報処理装置200から受信した制御情報に基づいて、眼鏡型デバイス100の表示機能を制御してよい。
次に、図3の中段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例を説明する。ここでは、図3の上段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例とは異なる点を主に説明する。尚、図3の中段に図示されている一例における第1焦点距離は、図3の上段に図示されている一例における第1焦点距離より長いものとする。
図3の中段に図示されている一例における第1焦点距離が図3の上段に図示されている一例における第1焦点距離より長いので、図3の中段に図示されている一例における第2焦点距離は、図3の上段に図示されている一例における第2焦点距離より長い。情報処理装置200は、図3の上段に図示されている一例における第2焦点距離より長い第2焦点距離に基づいて、レンズ115に表示されるコンテンツ125の表示位置と、レンズ117に表示されるコンテンツ127の表示位置とを決定する。この場合、情報処理装置200は、例えば、コンテンツ125の表示位置及びコンテンツ127の表示位置が、図3の上段に図示されている一例におけるコンテンツ125の表示位置及びコンテンツ127の表示位置よりテンプル側に位置するように、コンテンツ125の表示位置及びコンテンツ127の表示位置を決定する。
次に、図3の下段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例を説明する。ここでは、図3の上段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例とは異なる点を主に説明する。尚、図3の下段に図示されている一例における第1焦点距離は、図3の上段に図示されている一例における第1焦点距離より短いものとする。
図3の下段に図示されている一例における第1焦点距離が図3の上段に図示されている一例における第1焦点距離より短いので、図3の下段に図示されている一例における第2焦点距離は、図3の上段に図示されている一例における第2焦点距離より短い。情報処理装置200は、図3の上段に図示されている一例における第2焦点距離より短い第2焦点距離に基づいて、レンズ115に表示されるコンテンツ125の表示位置と、レンズ117に表示されるコンテンツ127の表示位置とを決定する。この場合、情報処理装置200は、例えば、コンテンツ125の表示位置及びコンテンツ127の表示位置が、図3の上段に図示されている一例におけるコンテンツ125の表示位置及びコンテンツ127の表示位置よりブリッジ側に位置するように、コンテンツ125の表示位置及びコンテンツ127の表示位置を決定する。
眼鏡型デバイスのユーザが眼鏡型デバイスの表示部に表示されるコンテンツを視認する場合において、ユーザがコンテンツを視認するときのユーザの眼の焦点距離とユーザがコンテンツ以外を視認するときのユーザの眼の焦点距離との間の距離差が大きい場合、ユーザはコンテンツを視認する度に眼の焦点を合わせる必要があるので、コンテンツを視認する際のユーザの負担が増加する。特に、ユーザがディスプレイ等に表示されている資料等に目を通しながら眼鏡型デバイスの表示部に表示されるコンテンツの内容を確認する場合等のような、ユーザの視認対象がコンテンツとコンテンツ以外との間で切り替わる頻度が高い場合において、当該距離差が大きい場合、コンテンツを視認する際のユーザの負担が著しく増加する。したがって、眼鏡型デバイスのユーザがコンテンツを視認する際のユーザの負担を軽減することによって、眼鏡型デバイスのユーザのユーザエクスペリエンスを向上させることが望ましい。
これに対して、本実施形態に係るシステム10によれば、情報処理装置200は、第1焦点距離を決定し、決定した第1焦点距離を用いて第2焦点距離を決定し、第2焦点距離に基づいて第1表示領域内に表示されるコンテンツの表示位置と第2表示領域内に表示されるコンテンツの表示位置とを決定する。情報処理装置200は、第1焦点距離を用いて決定された第2焦点距離に基づいてコンテンツの表示位置を決定することによって、眼鏡型デバイス100を装着しているユーザ102がコンテンツを視認するときのユーザ102の眼の焦点距離とユーザ102がコンテンツ以外を視認するときのユーザ102の眼の焦点距離との間の距離差がより小さくなるように、コンテンツの表示位置を適切に決定できる。これにより、情報処理装置200は、眼鏡型デバイスのユーザがコンテンツを視認する際のユーザの負担を軽減でき、その結果、眼鏡型デバイスのユーザのユーザエクスペリエンスを向上できる。
図4は、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する他の一例を説明するための説明図である。ここでは、図3に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例とは異なる点を主に説明する。尚、眼鏡型デバイス100を装着しているユーザ102がディスプレイ300を視認しているものとする。
最初に、図4の上段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例を説明する。尚、ディスプレイ300がユーザ102の正面に位置しているものとする。
情報処理装置200は、例えば、眼鏡型デバイス100から受信した測定データに含まれる、眼鏡型デバイス100に搭載されている視線センサが測定した視線データによって示されるユーザ102の視線に基づいて、ユーザ102とユーザ102の視認対象との間の位置関係を決定する。ここでは、情報処理装置200が、ユーザ102の視線に基づいて、ディスプレイ300がユーザ102の正面に位置していることを決定したものとして、説明を続ける。
情報処理装置200は、例えば、第2焦点距離に加えて、ユーザ102とユーザ102の視認対象との間の位置関係にさらに基づいて、第1表示領域内に表示されるコンテンツの表示位置と、第2表示領域内に表示されるコンテンツの表示位置とを決定する。情報処理装置200は、例えば、ユーザ102の視線の変化量がより少なくなるように、第1表示領域内に表示されるコンテンツの表示位置と、第2表示領域内に表示されるコンテンツの表示位置とを決定する。ここでは、情報処理装置200が、コンテンツ125がレンズ115の中央部分に表示されるようにコンテンツ125の表示位置を決定し、コンテンツ127がレンズ117の中央部分に表示されるようにコンテンツ127の表示位置を決定したものとして、説明を続ける。
次に、図4の中段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例を説明する。ここでは、図4の上段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例とは異なる点を主に説明する。尚、ディスプレイ300がユーザ102の正面よりも右側に位置しているものとする。
情報処理装置200は、例えば、ユーザ102の視線に基づいて、ユーザ102とユーザ102の視認対象との間の位置関係を決定する。ここでは、情報処理装置200が、ユーザ102の視線に基づいて、ディスプレイ300がユーザ102の正面よりも右側に位置していることを決定したものとして、説明を続ける。
情報処理装置200は、例えば、第2焦点距離に加えて、ユーザ102とユーザ102の視認対象との間の位置関係にさらに基づいて、第1表示領域内に表示されるコンテンツの表示位置と、第2表示領域内に表示されるコンテンツの表示位置とを決定する。ここでは、情報処理装置200が、コンテンツ125の表示位置が図4の上段に図示されている一例におけるコンテンツ125の表示位置よりテンプル側に位置し、且つ、コンテンツ127の表示位置が図4の上段に図示されている一例におけるコンテンツ127の表示位置よりブリッジ側に位置するように、コンテンツ125の表示位置及びコンテンツ127の表示位置を決定したものとして、説明を続ける。
次に、図4の下段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例を説明する。ここでは、図4の上段に図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例とは異なる点を主に説明する。尚、ディスプレイ300がユーザ102の正面よりも左側に位置しているものとする。
情報処理装置200は、例えば、ユーザ102の視線に基づいて、ユーザ102とユーザ102の視認対象との間の位置関係を決定する。ここでは、情報処理装置200が、ユーザ102の視線に基づいて、ディスプレイ300がユーザ102の正面よりも左側に位置していることを決定したものとして、説明を続ける。
情報処理装置200は、例えば、第2焦点距離に加えて、ユーザ102とユーザ102の視認対象との間の位置関係にさらに基づいて、第1表示領域内に表示されるコンテンツの表示位置と、第2表示領域内に表示されるコンテンツの表示位置とを決定する。ここでは、情報処理装置200が、コンテンツ125の表示位置が図4の上段に図示されている一例におけるコンテンツ125の表示位置よりブリッジ側に位置し、且つ、コンテンツ127の表示位置が図4の上段に図示されている一例におけるコンテンツ127の表示位置よりテンプル側に位置するように、コンテンツ125の表示位置及びコンテンツ127の表示位置を決定したものとして、説明を続ける。
図4に図示されている一例において、情報処理装置200は、第2焦点距離及び視線データに基づいて、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。情報処理装置200は、第2焦点距離及び視線データに基づいてコンテンツの表示位置を決定することによって、ユーザ102がコンテンツを視認するときのユーザ102の眼の焦点距離とユーザ102がコンテンツ以外を視認するときのユーザ102の眼の焦点距離との間の距離差をより小さくしつつ、ユーザ102がコンテンツを視認する場合におけるユーザ102の視線の変化量がより少なくなるように、コンテンツの表示位置をより適切に決定できる。これにより、情報処理装置200は、眼鏡型デバイスのユーザがコンテンツを視認する際のユーザの負担をさらに軽減でき、その結果、眼鏡型デバイスのユーザのユーザエクスペリエンスをさらに向上できる。
図5は、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する他の一例を説明するための説明図である。ここでは、図3及び図4のそれぞれに図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例とは異なる点を主に説明する。尚、図5において、テキスト「分析結果」であるコンテンツ125及びコンテンツ127がディスプレイ300に関連するコンテンツであり、テキスト「基本データ」であるコンテンツ145及びコンテンツ147がディスプレイ350に関連するコンテンツであるものとする。
ここでは、情報処理装置200が、眼鏡型デバイス100を装着しているユーザ102の視認対象が変化したか否かを判定し、判定結果に基づいて眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する場合の一例を主に説明する。尚、眼鏡型デバイス100を装着しているユーザ102がディスプレイ300を視認しており、図5の上段に図示されているように、コンテンツ125及びコンテンツ127がレンズ115及びレンズ117に表示されている状態を開始状態とする。
情報処理装置200は、例えば、眼鏡型デバイス100から受信した測定データに基づいて、ユーザ102の視認対象が変化したか否かを判定する。情報処理装置200は、例えば、第1焦点距離に基づいて、ユーザ102の視認対象が変化したか否かを判定する。情報処理装置200は、例えば、眼鏡型デバイス100から受信した測定データに含まれる、眼鏡型デバイス100に搭載されている視線センサが測定した視線データに基づいて、ユーザ102の視認対象が変化したか否かを判定する。情報処理装置200は、眼鏡型デバイス100から受信した測定データに含まれる、眼鏡型デバイス100に搭載されているカメラが、ユーザ102の視認対象を撮像した撮像データに基づいて、ユーザ102の視認対象が変化したか否かを判定してもよい。ここでは、ユーザ102の視認対象がディスプレイ300からディスプレイ350に変化したと情報処理装置200が判定したものとして、説明を続ける。
例えば、情報処理装置200は、ユーザ102の視認対象がディスプレイ300からディスプレイ350に変化したと判定したことに応じて、ユーザ102がディスプレイ350を視認しているときの第1焦点距離を用いて、ユーザ102がレンズ115に表示されるコンテンツ145及びレンズ117に表示されるコンテンツ147を視認するときの第2焦点距離を決定する。情報処理装置200は、決定した第2焦点距離に基づいて、レンズ115に表示されるコンテンツ145の表示位置と、レンズ117に表示されるコンテンツ147の表示位置とを決定する。
情報処理装置200は、例えば、コンテンツ145及びコンテンツ147が決定した表示位置でレンズ115及びレンズ117に表示され、且つ、コンテンツ125及びコンテンツ127の表示が終了されるように、ネットワーク20を介して眼鏡型デバイス100に制御情報を送信する。制御装置150は、情報処理装置200から受信した制御情報に基づいて、眼鏡型デバイス100の表示機能を制御してよい。その結果、図5の下段に図示されているように、ユーザ102の視認対象がディスプレイ300からディスプレイ350に変化したと情報処理装置200が判定した場合、眼鏡型デバイス100のレンズ115及びレンズ117に表示されるコンテンツが、コンテンツ125及びコンテンツ127からコンテンツ145及びコンテンツ147に切り替わる。
情報処理装置200は、コンテンツ145及びコンテンツ147を眼鏡型デバイス100に表示させる場合、コンテンツ125及びコンテンツ127の表示を眼鏡型デバイス100に終了させなくてもよい。情報処理装置200は、例えば、コンテンツ145及びコンテンツ147とコンテンツ125及びコンテンツ127とが、眼鏡型デバイス100の表示部に表示された場合において、コンテンツ145及びコンテンツ147のそれぞれがコンテンツ125及びコンテンツ127のそれぞれに重複しない場合、コンテンツ125及びコンテンツ127の表示を眼鏡型デバイス100に終了させない。
図5に図示されている一例において、情報処理装置200は、眼鏡型デバイス100を装着しているユーザ102の視認対象が変化したと判定したことに応じて、眼鏡型デバイス100の表示部に表示されるコンテンツを切り替える。これにより、情報処理装置200は、ユーザ102の視認対象の変化に応じて眼鏡型デバイス100の表示部に表示されるコンテンツを適切に切り替えることによって、眼鏡型デバイスのユーザのユーザエクスペリエンスをさらに向上できる。
図6は、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する他の一例を説明するための説明図である。ここでは、図3~図5のそれぞれに図示されている、情報処理装置200が眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する一例とは異なる点を主に説明する。尚、眼鏡型デバイス100を装着しているユーザ102がディスプレイ300を視認している状態を開始状態とする。
情報処理装置200は、例えば、眼鏡型デバイス100から受信した測定データに含まれる、眼鏡型デバイス100に搭載されているカメラが、眼鏡型デバイス100を装着しているユーザ102の視認対象を撮像した撮像データに基づいて、ユーザ102の視認対象を特定する。ここでは、情報処理装置200が、眼鏡型デバイス100に搭載されているカメラがディスプレイ300及びプレゼンター500を撮像した撮像データに基づいて、ユーザ102の視認対象がディスプレイ300であると特定したものとして、説明を続ける。
情報処理装置200は、例えば、第2焦点距離に加えて、撮像データにさらに基づいて、レンズ115に表示されるコンテンツ125及びレンズ117に表示されるコンテンツ127が、特定した視認対象に重畳して表示されないように、コンテンツ125の表示位置及びコンテンツ127の表示位置を決定する。情報処理装置200は、例えば、コンテンツ125及びコンテンツ127が、特定した視認対象及び予め定められた重複回避対象に重畳して表示されないように、コンテンツ125の表示位置及びコンテンツ127の表示位置を決定する。ここでは、コンテンツ125及びコンテンツ127が、ユーザ102の視認対象であるディスプレイ300及び重複回避対象の一例であるプレゼンター500に重畳して表示されないように、情報処理装置200が、コンテンツ125の表示位置及びコンテンツ127の表示位置を決定したものとして、説明を続ける。
情報処理装置200は、例えば、コンテンツ125及びコンテンツ127が、ディスプレイ300及びプレゼンター500に重畳して表示されないように、ネットワーク20を介して眼鏡型デバイス100に制御情報を送信する。制御装置150は、情報処理装置200から受信した制御情報に基づいて、眼鏡型デバイス100の表示機能を制御してよい。その結果、図6の上段に図示されているように、コンテンツ125が、ディスプレイ300及びプレゼンター500に重畳して表示されないようにレンズ115に表示される。また、コンテンツ127も、コンテンツ125と同様に、ディスプレイ300及びプレゼンター500に重畳して表示されないようにレンズ117に表示される。
その後、情報処理装置200は、例えば、眼鏡型デバイス100から受信した測定データに含まれる、眼鏡型デバイス100に搭載されている視線センサが測定した視線データに基づいて、ユーザ102の視線を決定する。情報処理装置200は、例えば、第2焦点距離に基づいて、レンズ115に表示されているコンテンツ125及びレンズ117に表示されているコンテンツ127がユーザ102の視線上に位置する場合に、ユーザ102がコンテンツ125及びコンテンツ127を視認しているか否かを判定する。例えば、コンテンツ125及びコンテンツ127とオブジェクト600とがユーザ102の視線上に位置している場合において、ユーザ102がオブジェクト600を視認している場合等のように、コンテンツ125及びコンテンツ127がユーザ102の視線上に位置する場合でも、ユーザ102がコンテンツ125及びコンテンツ127を視認していない場合がある。
情報処理装置200は、例えば、第1焦点距離と第2焦点距離との間の距離差が、予め定められた距離差閾値より大きい場合、ユーザ102がコンテンツ125及びコンテンツ127を視認していないと判定する。情報処理装置200は、例えば、ユーザ102の眼の焦点距離と第2焦点距離とが同一でない場合、ユーザ102がコンテンツ125及びコンテンツ127を視認していないと判定する。ここでは、情報処理装置200が、ユーザ102がコンテンツ125及びコンテンツ127を視認していないと判定したものとして、説明を続ける。
情報処理装置200は、例えば、ユーザ102がコンテンツ125及びコンテンツ127を視認していないと判定したことに応じて、コンテンツ125及びコンテンツ127がユーザ102の視線上に位置しないように、コンテンツ125の表示位置と、コンテンツ127の表示位置とを変更する。情報処理装置200は、例えば、コンテンツ125及びコンテンツ127が、ユーザ102の視認対象に重畳して表示されないように、コンテンツ125の表示位置と、コンテンツ127の表示位置とを変更する。ここでは、コンテンツ125及びコンテンツ127が、ユーザ102の視認対象であるオブジェクト600に重畳して表示されないように、情報処理装置200が、コンテンツ125の表示位置とコンテンツ127の表示位置とを変更したものとして、説明を続ける。
情報処理装置200は、例えば、コンテンツ125及びコンテンツ127が、オブジェクト600に重畳して表示されないように、ネットワーク20を介して眼鏡型デバイス100に制御情報を送信する。制御装置150は、情報処理装置200から受信した制御情報に基づいて、眼鏡型デバイス100の表示機能を制御してよい。その結果、図6の下段に図示されているように、コンテンツ125が、オブジェクト600に重畳して表示されないようにレンズ115に表示される。また、コンテンツ127も、コンテンツ125と同様に、オブジェクト600に重畳して表示されないようにレンズ117に表示される。
図6に図示されている一例において、情報処理装置200は、眼鏡型デバイス100の表示部に表示されるコンテンツが、眼鏡型デバイス100を装着しているユーザ102の視認対象に重畳して表示されないように、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。これにより、情報処理装置200は、眼鏡型デバイスのユーザの視認を妨げないように眼鏡型デバイスの表示部に表示されるコンテンツの表示位置を決定でき、その結果、眼鏡型デバイスのユーザのユーザエクスペリエンスをさらに向上できる。さらに、情報処理装置200は、眼鏡型デバイス100の表示部に表示されているコンテンツがユーザ102の視線上に位置する場合にユーザ102がコンテンツを視認しているか否かを判定し、ユーザ102がコンテンツを視認していないと判定した場合、眼鏡型デバイス100の表示部に表示されているコンテンツがユーザ102の視線上に位置しないように、眼鏡型デバイス100の表示部に表示されているコンテンツの表示位置を変更する。これにより、情報処理装置200は、眼鏡型デバイスの表示部に表示されているコンテンツが眼鏡型デバイスのユーザの視線上に位置する場合において、眼鏡型デバイスのユーザが当該コンテンツ以外を視認している場合に、眼鏡型デバイスのユーザの視認を妨げないように当該コンテンツの表示位置を変更でき、その結果、眼鏡型デバイスのユーザのユーザエクスペリエンスをさらに向上できる。
図7は、情報処理装置200の機能構成の一例を概略的に示す。情報処理装置200は、データ取得部202、第1焦点距離決定部204、第2焦点距離決定部206、表示位置決定部208、継続判定部210、コンテンツ格納部211、表示制御部212、移動速度設定部214、視認対象特定部216、学習データ格納部220、モデル生成部222、モデル格納部224、モデル取得部226、及び視認判定部230を備える。尚、情報処理装置200がこれらの全ての構成を備えることが必須とは限らない。
データ取得部202は、各種データを取得する。データ取得部202は、例えば、ネットワーク20を介して各種データを受信することによって、各種データを取得する。データ取得部202は、情報処理装置200が備える入力部を介して情報処理装置200のユーザからの入力を受け付けることによって、各種データを取得してもよい。情報処理装置200のユーザは、例えば、眼鏡型デバイス100に表示されるコンテンツを管理する管理者である。
データ取得部202は、例えば、眼鏡型デバイス100から各種データを取得する。データ取得部202は、例えば、眼鏡型デバイス100に搭載されているセンサによって測定された測定データを取得する。データ取得部202は、例えば、センサ120によって測定された測定データを取得する。データ取得部202は、例えば、センサ122によって測定された測定データを取得する。データ取得部202は、例えば、センサ120によって測定された測定データ及びセンサ122によって測定された測定データの両方を取得する。データ取得部202は、例えば、眼鏡型デバイス100によって測定データと共に送信された、眼鏡型デバイス100の端末IDを取得する。データ取得部202は、例えば、眼鏡型デバイス100によって測定データと共に送信された、眼鏡型デバイス100のユーザ102のユーザIDを取得する。データ取得部202は、その他の任意の通信端末から各種データを取得してもよい。
第1焦点距離決定部204は、第1焦点距離を決定する。第1焦点距離決定部204は、例えば、第1焦点距離が変化した場合、変化後の第1焦点距離を決定する。
第1焦点距離決定部204は、例えば、データ取得部202によって取得された測定データに基づいて、第1焦点距離を決定する。第1焦点距離決定部204は、例えば、データ取得部202が測定データを取得したことに応じて、データ取得部202によって取得された測定データに基づいて、第1焦点距離を決定する。
第1焦点距離決定部204は、例えば、データ取得部202によって取得された測定データに含まれる、センサ120が測定した測定データ及び視線センサが測定した視線データに基づいて、眼鏡型デバイス100を装着しているユーザ102から、視線データによって示されるユーザ102の視線上に位置しているユーザ102の視認対象までの距離を決定することによって、第1焦点距離を決定する。例えば、センサ120が1台のカメラである場合、第1焦点距離決定部204は、当該カメラがオートフォーカス機能を用いて当該カメラの焦点をユーザ102の視認対象に合わせた状態で撮像データを撮像したときの当該カメラの焦点距離を用いて、ユーザ102からユーザ102の視認対象までの距離を決定する。例えば、センサ122が2台のカメラである場合、第1焦点距離決定部204は、一方のカメラがユーザ102の視認対象を撮像した撮像データと他方のカメラがユーザ102の視認対象を撮像した撮像データとの間の、ユーザ102の視認対象の視差と、当該2台のカメラ間の距離とを用いて、ユーザ102からユーザ102の視認対象までの距離を決定する。例えば、センサ120が深度カメラである場合、第1焦点距離決定部204は、深度カメラが撮像した撮像データに含まれる測距データによって示される、眼鏡型デバイス100からユーザ102の視認対象までの距離を用いて、ユーザ102からユーザ102の視認対象までの距離を決定する。例えば、センサ120が測距センサである場合、第1焦点距離決定部204は、測距センサが測定した測距データによって示される、眼鏡型デバイス100からユーザ102の視認対象までの距離を用いて、ユーザ102からユーザ102の視認対象までの距離を決定する。
第1焦点距離決定部204は、例えば、データ取得部202によって取得された測定データに含まれる、センサ122が測定した測定データに基づいて、ユーザ102からユーザ102の眼の焦点までの距離を決定することによって、第1焦点距離を決定する。第1焦点距離決定部204は、例えば、センサ122が測定した測定データに含まれる視線データによって示される、ユーザ102の右眼の視線及びユーザ102の左眼の視線と、ユーザ102の右眼の中心とユーザ102の左眼の中心との間の距離とを用いて、ユーザ102からユーザ102の眼の焦点までの距離を決定する。第1焦点距離決定部204は、例えば、センサ122が測定した測定データに含まれる角度データによって示される、ユーザ102の右眼の角度及びユーザ102の左眼の角度と、ユーザ102の右眼の中心とユーザ102の左眼の中心との間の距離とを用いて、ユーザ102からユーザ102の眼の焦点までの距離を決定する。
第1焦点距離決定部204は、データ取得部202によって取得された測定データに含まれる、センサ120が測定した測定データに基づいて、眼鏡型デバイス100からユーザ102の視認対象までの距離を決定することによって、第1焦点距離を決定してもよい。この場合、ユーザ102は、センサ120の測定範囲の中心で視認対象を視認するものとする。
例えば、センサ120が1台のカメラである場合、第1焦点距離決定部204は、当該カメラがオートフォーカス機能を用いて当該カメラの焦点を当該カメラの撮像範囲の中心に位置するユーザ102の視認対象に合わせた状態で撮像データを撮像したときの当該カメラの焦点距離を用いて、眼鏡型デバイス100からユーザ102の視認対象までの距離を決定する。例えば、センサ122が2台のカメラである場合、第1焦点距離決定部204は、一方のカメラが撮像した撮像データと他方のカメラが撮像した撮像データとの間の、当該2台のカメラの撮像範囲の中心に位置するユーザ102の視認対象の視差と、当該2台のカメラ間の距離とを用いて、眼鏡型デバイス100からユーザ102の視認対象までの距離を決定する。例えば、センサ120が深度カメラである場合、第1焦点距離決定部204は、深度カメラが撮像した撮像データに含まれる測距データによって示される、眼鏡型デバイス100から深度カメラの撮像範囲の中心に位置するユーザ102の視認対象までの距離を用いて、眼鏡型デバイス100からユーザ102の視認対象までの距離を決定する。例えば、センサ120が測距センサである場合、第1焦点距離決定部204は、測距センサが測定した測距データによって示される、眼鏡型デバイス100から測距センサの測定範囲の中心に位置するユーザ102の視認対象までの距離を用いて、眼鏡型デバイス100からユーザ102の視認対象までの距離を決定する。
第2焦点距離決定部206は、第2焦点距離を決定する。第2焦点距離決定部206は、例えば、第1焦点距離決定部204によって決定された第1焦点距離を用いて、第2焦点距離を決定する。第2焦点距離決定部206は、例えば、第1焦点距離が変化した場合、変化後の第1焦点距離を用いて、変化後の第1焦点距離に対応する第2焦点距離を決定する。
第2焦点距離決定部206は、例えば、第1焦点距離と第2焦点距離との間の距離差が、予め定められた距離差閾値より小さくなるように、第2焦点距離を決定する。第2焦点距離決定部は、例えば、第1焦点距離と第2焦点距離とが同一の焦点距離になるように、第2焦点距離を決定する。
第2焦点距離に対して最大距離が設定され得る。第2焦点距離決定部206は、例えば、第1焦点距離が予め定められた距離閾値より長い場合、第2焦点距離を最大距離にすることによって、第2焦点距離を決定する。
表示位置決定部208は、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。表示位置決定部208は、例えば、第2焦点距離決定部206によって決定された第2焦点距離に基づいて、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。表示位置決定部208は、例えば、第2焦点距離に基づいて、眼鏡型デバイス100の表示部の第1表示領域内に表示されるコンテンツの表示位置と、眼鏡型デバイス100の表示部の第2表示領域内に表示されるコンテンツの表示位置とを決定する。
表示位置決定部208は、例えば、データ取得部202によって取得された測定データに含まれる、眼鏡型デバイス100に搭載されている視線センサが測定した視線データにさらに基づいて、第1表示領域内に表示されるコンテンツの表示位置と、第2表示領域内に表示されるコンテンツの表示位置とを決定する。表示位置決定部208は、例えば、視線データによって示されるユーザ102の視線に基づいて、ユーザ102とユーザ102の視認対象との間の位置関係を決定し、決定したユーザ102とユーザ102の視認対象との間の位置関係に基づいて、第1表示領域内に表示されるコンテンツの表示位置と、表示部の第2表示領域内に表示されるコンテンツの表示位置とを決定する。表示位置決定部208は、例えば、ユーザ102の視線の変化量がより少なくなるように、第1表示領域内に表示されるコンテンツの表示位置と、第2表示領域内に表示されるコンテンツの表示位置とを決定する。
継続判定部210は、第1焦点距離が変化した場合、変化後の第1焦点距離が、予め定められた継続期間の間、継続しているか否かを判定する。継続期間は、例えば、100msから10sの範囲の中から任意に設定される。継続期間は、100msより短く設定されてもよい。継続期間は、10sより長く設定されてもよい。
第2焦点距離決定部206は、変化後の第1焦点距離が、継続期間の間、継続していると継続判定部210が判定した場合、変化後の第1焦点距離を用いて、変化後の第1焦点距離に対応する第2焦点距離を決定してよい。第2焦点距離決定部206は、変化後の第1焦点距離が、継続期間の間、継続していてないと継続判定部210が判定した場合、変化前の第1焦点距離に対応する第2焦点距離を維持してよい。
表示位置決定部208は、例えば、第1焦点距離が変化した場合、変化後の第1焦点距離に対応する第2焦点距離に基づいて、第1表示領域内に表示されているコンテンツの表示位置と、第2表示領域内に表示されているコンテンツの表示位置とを変更する。表示位置決定部208は、例えば、第1焦点距離が変化し、且つ、変化後の第1焦点距離が、継続期間の間、継続していると継続判定部210が判定した場合、変化後の第1焦点距離に対応する第2焦点距離に基づいて、第1表示領域内に表示されているコンテンツの表示位置と、第2表示領域内に表示されているコンテンツの表示位置とを変更する。表示位置決定部208は、ユーザ102の視線が変化した場合、変化後のユーザ102の視線に基づいて、第1表示領域内に表示されているコンテンツの表示位置と、第2表示領域内に表示されているコンテンツの表示位置とを変更してもよい。
コンテンツ格納部211は、コンテンツを格納する。コンテンツ格納部211は、例えば、眼鏡型デバイス100の端末IDに対応付けてコンテンツを格納する。コンテンツ格納部211は、例えば、眼鏡型デバイス100のユーザ102のユーザIDに対応付けてコンテンツを格納する。コンテンツ格納部211は、オブジェクトを識別する識別情報に対応付けてコンテンツを格納してよい。オブジェクトは、ユーザ102の視認対象の一例であってよい。
表示制御部212は、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部212は、例えば、眼鏡型デバイス100を制御する制御情報を生成し、ネットワーク20を介して生成した制御情報を眼鏡型デバイス100に送信することによって、眼鏡型デバイス100によるコンテンツの表示を制御する。
制御情報は、例えば、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を示す表示位置情報を含む。表示位置情報は、例えば、第1表示領域内に表示されるコンテンツの表示位置と、第2表示領域内に表示されるコンテンツの表示位置とを示す。制御情報は、例えば、眼鏡型デバイス100の表示部に表示されるコンテンツを示すコンテンツ情報を含む。制御情報は、眼鏡型デバイス100の表示部に表示されるコンテンツを含んでもよい。
表示制御部212は、例えば、データ取得部202によって取得された眼鏡型デバイス100の端末IDに対応するコンテンツが眼鏡型デバイス100の表示部に表示されるように、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部212は、例えば、眼鏡型デバイス100の端末IDに対応付けてコンテンツ格納部211に格納されているコンテンツを示すコンテンツ情報を含む制御情報を眼鏡型デバイス100に送信する。表示制御部212は、眼鏡型デバイス100の端末IDに対応付けてコンテンツ格納部211に格納されているコンテンツを含む制御情報を眼鏡型デバイス100に送信してもよい。
表示制御部212は、例えば、データ取得部202によって取得された眼鏡型デバイス100のユーザ102のユーザIDに対応するコンテンツが眼鏡型デバイス100の表示部に表示されるように、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部212は、例えば、眼鏡型デバイス100のユーザ102のユーザIDに対応付けてコンテンツ格納部211に格納されているコンテンツを示すコンテンツ情報を含む制御情報を眼鏡型デバイス100に送信する。表示制御部212は、眼鏡型デバイス100のユーザ102のユーザIDに対応付けてコンテンツ格納部211に格納されているコンテンツを含む制御情報を眼鏡型デバイス100に送信してもよい。
表示制御部212は、例えば、第1表示領域内に表示されるコンテンツ及び第2表示領域内に表示されるコンテンツが、表示位置決定部208によって決定された表示位置に表示されるように、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部212は、例えば、第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツが、変更前の表示位置から変更後の表示位置へ移動するように、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部212は、例えば、第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツが、予め定められた移動速度で変更前の表示位置から変更後の表示位置へ移動するように、眼鏡型デバイス100によるコンテンツの表示を制御する。
移動速度は、例えば、眼鏡型デバイス100の表示部に表示されるコンテンツが100msから10sの範囲内で変更前の表示位置から変更後の表示位置へ移動するように設定される。移動速度は、眼鏡型デバイス100の表示部に表示されるコンテンツが100msより短い期間で変更前の表示位置から変更後の表示位置へ移動するように設定されてもよい。移動速度は、眼鏡型デバイス100の表示部に表示されるコンテンツが10sより長い期間で変更前の表示位置から変更後の表示位置へ移動するように設定されてもよい。
移動速度設定部214は、眼鏡型デバイス100の表示部に表示されるコンテンツが移動する移動速度を設定する。表示制御部212は、第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツが、移動速度設定部214によって設定された移動速度で変更前の表示位置から変更後の表示位置へ移動するように、眼鏡型デバイス100によるコンテンツの表示を制御してよい。
移動速度設定部214は、例えば、第1焦点距離が変化する頻度に基づいて、移動速度を設定する。移動速度設定部214は、例えば、第1焦点距離が変化する頻度が予め定められた頻度閾値より高い場合、第1焦点距離が変化する頻度が頻度閾値より低い場合と比較して移動速度が速くなるように移動速度を設定する。移動速度設定部214は、第1焦点距離が変化する頻度が高いほど移動速度が速くなるように移動速度を設定してもよい。
移動速度設定部214は、変化前の第1焦点距離に対応する第2焦点距離と、変化後の第1焦点距離に対応する第2焦点距離との間の距離差に基づいて、移動速度を設定してもよい。移動速度設定部214は、例えば、当該距離差が予め定められた距離差閾値より長い場合、当該距離差が距離差閾値より短い場合と比較して移動速度が速くなるように移動速度を設定する。移動速度設定部214は、当該距離差が長いほど移動速度が速くなるように移動速度を設定してもよい。
視認対象特定部216は、ユーザ102の視認対象を特定する。視認対象特定部216は、例えば、データ取得部202によって取得された測定データに含まれる、眼鏡型デバイス100に搭載されているカメラがユーザ102の視認対象を撮像した撮像データに基づいて、ユーザ102の視認対象を特定する。視認対象特定部216は、例えば、当該カメラの撮像範囲の中心に位置するオブジェクトを特定し、特定したオブジェクトがユーザ102の視認対象であると特定することによって、ユーザ102の視認対象を特定する。視認対象特定部216は、データ取得部202によって取得された測定データに含まれる、視線センサが測定した視線データにさらに基づいて、視線データによって示されるユーザ102の視線上に位置しているユーザ102の視認対象を特定してもよい。
視認対象特定部216は、撮像データに基づいて、予め定められた重複回避対象を特定してもよい。重複回避対象は、例えば、人である。重複回避対象は、例えば、人の顔である。重複回避対象は、例えば、車である。重複回避対象は、例えば、電車である。重複回避対象は、例えば、道路標識である。重複回避対象は、例えば、信号である。重複回避対象は、その他の任意のオブジェクトであってもよい。
表示位置決定部208は、第2焦点距離及び撮像データに基づいて、第1表示領域内に表示されるコンテンツ及び第2表示領域内に表示されるコンテンツが、視認対象特定部216によって特定されたユーザ102の視認対象に重畳して表示されないように、第1表示領域内に表示されるコンテンツの表示位置及び第2表示領域内に表示されるコンテンツの表示位置を決定する。表示位置決定部208は、第2焦点距離及び撮像データに基づいて、第1表示領域内に表示されるコンテンツ及び第2表示領域内に表示されるコンテンツが、視認対象特定部216によって特定されたユーザ102の視認対象及び重複回避対象に重畳して表示されないように、第1表示領域内に表示されるコンテンツの表示位置及び第2表示領域内に表示されるコンテンツの表示位置を決定する。
表示制御部212は、例えば、視認対象特定部216によって特定されたユーザ102の視認対象に対応するコンテンツが眼鏡型デバイス100の表示部に表示されるように、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部212は、例えば、視認対象特定部216によって特定されたユーザ102の視認対象を識別する識別情報に対応付けてコンテンツ格納部211に格納されているコンテンツを示すコンテンツ情報を含む制御情報を眼鏡型デバイス100に送信する。表示制御部212は、視認対象特定部216によって特定されたユーザ102の視認対象を識別する識別情報に対応付けてコンテンツ格納部211に格納されているコンテンツを含む制御情報を眼鏡型デバイス100に送信してもよい。
視認対象特定部216は、例えば、ユーザ102の視認対象が変化したか否かを判定する。視認対象特定部216は、データ取得部202によって取得された測定データに含まれる、眼鏡型デバイス100に搭載されているカメラがユーザ102の視認対象を撮像した撮像データに基づいて、ユーザ102の視認対象が変化したか否かを判定する。
視認対象特定部216は、例えば、第1焦点距離に基づいて、ユーザ102の視認対象が変化したか否かを判定する。例えば、視認対象特定部216は、第1焦点距離の変化量が予め定められた距離変化量閾値より多い場合、ユーザ102の視認対象が変化したと判定する。一方で、視認対象特定部216は、第1焦点距離の変化量が距離変化量閾値より少ない場合、ユーザ102の視認対象が変化していないと判定する。
視認対象特定部216は、データ取得部202によって取得された測定データに含まれる、眼鏡型デバイス100に搭載されている視線センサが測定した視線データに基づいて、ユーザ102の視認対象が変化したか否かを判定してもよい。例えば、視認対象特定部216は、視線データによって示されるユーザ102の視線の変化量が予め定められた視線変化量閾値より多い場合、ユーザ102の視認対象が変化したと判定する。一方で、視認対象特定部216は、ユーザ102の視線の変化量が視線変化量閾値より少ない場合、ユーザ102の視認対象が変化していないと判定する。
表示位置決定部208は、例えば、ユーザ102の視認対象が変化したと視認対象特定部216が判定した場合、ユーザ102が変化後の視認対象を視認しているときの第1焦点距離に対応する第2焦点距離に基づいて、変化後の視認対象が第1表示領域内に表示されるコンテンツの表示位置と、第2表示領域内に表示されるコンテンツの表示位置とを決定する。表示制御部212は、例えば、眼鏡型デバイス100の表示部に表示されるコンテンツを、変化前の視認対象に対応するコンテンツから変化後の視認対象に対応するコンテンツに切り替えるように、眼鏡型デバイス100によるコンテンツの表示を制御する。
データ取得部202は、眼鏡型デバイス100に搭載されているカメラが撮像した撮像データと、当該撮像データが撮像されたタイミングにおける当該眼鏡型デバイス100を装着しているユーザ102の視認対象を示す視認対象データとを含む学習データを取得してもよい。視認対象データは、当該撮像データが撮像されたタイミングにおける当該ユーザ102の視認対象を当該ユーザ102に確認することによって生成されてよい。データ取得部202は、取得した学習データを学習データ格納部220に格納してよい。
モデル生成部222は、学習データ格納部220に格納されている複数の学習データを教師データとして用いて、眼鏡型デバイス100に搭載されているカメラが撮像した撮像データから、当該撮像データが撮像されたタイミングにおいて当該眼鏡型デバイス100を装着しているユーザ102の視認対象を推定する推定モデルを機械学習により生成する。モデル生成部222は、生成した推定モデルをモデル格納部224に格納してよい。
モデル取得部226は、眼鏡型デバイス100に搭載されているカメラが撮像した撮像データから、当該撮像データが撮像されたタイミングにおいて当該眼鏡型デバイス100を装着しているユーザ102の視認対象を推定する推定モデルを取得する。モデル取得部226は、例えば、ネットワーク20を介して当該推定モデルを受信することによって、当該推定モデルを取得する。モデル取得部226は、情報処理装置200が備える入力部を介して情報処理装置200のユーザからの入力を受け付けることによって、当該推定モデルを取得してもよい。モデル取得部226は、例えば、モデル生成部222が推定モデルを生成する場合と同様にして機械学習により生成された推定モデルを取得する。モデル取得部226は、取得した当該推定モデルをモデル格納部224に格納してよい。
視認対象特定部216は、例えば、モデル格納部224に格納されている推定モデルを用いて、眼鏡型デバイス100に搭載されているカメラが撮像した撮像データから眼鏡型デバイス100を装着しているユーザ102の視認対象を推定することによって、ユーザ102の視認対象を特定する。表示位置決定部208は、第1表示領域内に表示されるコンテンツ及び第2表示領域内に表示されるコンテンツが、視認対象特定部216が推定モデルを用いて特定したユーザ102の視認対象に重畳して表示されないように、第1表示領域内に表示されるコンテンツの表示位置及び第2表示領域内に表示されるコンテンツの表示位置を決定してよい。
視認判定部230は、ユーザ102が眼鏡型デバイス100の表示部に表示されているコンテンツを視認しているか否かを判定する。視認判定部230は、例えば、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認しているか否かを判定する。
視認判定部230は、例えば、第2焦点距離と、データ取得部202によって取得された測定データに含まれる、眼鏡型デバイス100に搭載されている視線センサが測定した視線データとに基づいて、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認しているか否かを判定する。視認判定部230は、例えば、第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツが視線データによって示されるユーザ102の視線上に位置する場合に、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認しているか否かを判定する。
例えば、視認判定部230は、第1焦点距離と第2焦点距離との間の距離差が、予め定められた距離差閾値より大きい場合、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認していないと判定する。一方で、当該距離差が距離差閾値より小さい場合、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認していると判定する。
例えば、視認判定部230は、第1焦点距離と第2焦点距離とが同一でない場合、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認していないと判定する。一方で、視認判定部230は、第1焦点距離と第2焦点距離とが同一である場合、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認していると判定する。
表示位置決定部208は、例えば、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認していないと視認判定部230が判定した場合、第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツがユーザ102の視線上に位置しないように、第1表示領域内に表示されているコンテンツの表示位置と、第2表示領域内に表示されているコンテンツの表示位置とを変更する。表示位置決定部208は、例えば、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認していないと視認判定部230が判定した場合、第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツがユーザ102の視認対象に重畳して表示されないように、第1表示領域内に表示されているコンテンツの表示位置と、第2表示領域内に表示されているコンテンツの表示位置とを変更する。一方で、表示位置決定部208は、ユーザ102が第1表示領域内に表示されているコンテンツ及び第2表示領域内に表示されているコンテンツを視認していると視認判定部230が判定した場合、第1表示領域内に表示されているコンテンツの表示位置及び第2表示領域内に表示されているコンテンツの表示位置を維持してよい。
図8は、制御装置150の機能構成の一例を概略的に示す。制御装置150は、データ取得部152、第1焦点距離決定部154、第2焦点距離決定部156、表示位置決定部158、継続判定部160、コンテンツ格納部161、表示制御部162、移動速度設定部164、視認対象特定部166、モデル格納部174、モデル取得部176、及び視認判定部180を備える。尚、制御装置150がこれらの全ての構成を備えることが必須とは限らない。
データ取得部152は、各種データを取得する。データ取得部152は、例えば、眼鏡型デバイス100に搭載されているセンサによって測定された測定データを取得する。データ取得部152は、例えば、センサ120によって測定された測定データを取得する。データ取得部152は、例えば、センサ122によって測定された測定データを取得する。データ取得部152は、例えば、センサ120によって測定された測定データ及びセンサ122によって測定された測定データの両方を取得する。データ取得部152は、情報処理装置200からネットワーク20を介して制御情報を受信することによって、制御情報を取得してもよい。
第1焦点距離決定部154は、第1焦点距離を決定する。第1焦点距離決定部154は、例えば、第1焦点距離が変化した場合、変化後の第1焦点距離を決定する。第1焦点距離決定部154は、例えば、データ取得部152によって取得された測定データに基づいて、第1焦点距離を決定する。
第1焦点距離決定部154は、第1焦点距離決定部204と同様に、第1焦点距離を決定してよい。第1焦点距離決定部154は、第1焦点距離決定部204と同様の機能を有してよい。
第2焦点距離決定部156は、第2焦点距離を決定する。第2焦点距離決定部156は、例えば、第1焦点距離決定部154によって決定された第1焦点距離を用いて、第2焦点距離を決定する。第2焦点距離決定部156は、例えば、第1焦点距離が変化した場合、変化後の第1焦点距離を用いて、変化後の第1焦点距離に対応する第2焦点距離を決定する。
第2焦点距離決定部156は、第2焦点距離決定部206と同様に、第2焦点距離を決定してよい。第2焦点距離決定部156は、第2焦点距離決定部206と同様の機能を有してよい。
表示位置決定部158は、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。表示位置決定部158は、例えば、第2焦点距離決定部156によって決定された第2焦点距離に基づいて、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。表示位置決定部158は、例えば、データ取得部152によって取得された測定データに含まれる、眼鏡型デバイス100に搭載されている視線センサが測定した視線データにさらに基づいて、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。
表示位置決定部158は、表示位置決定部208と同様に、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定してよい。表示位置決定部158は、表示位置決定部208と同様の機能を有してよい。
継続判定部160は、第1焦点距離が変化した場合、変化後の第1焦点距離が、予め定められた継続期間の間、継続しているか否かを判定する。継続判定部160は、継続判定部210と同様に、変化後の第1焦点距離が、予め定められた継続期間の間、継続しているか否かを判定してよい。継続判定部160は、継続判定部210と同様の機能を有してよい。
コンテンツ格納部161は、コンテンツを格納する。コンテンツ格納部161は、例えば、眼鏡型デバイス100の端末IDに対応付けてコンテンツを格納する。コンテンツ格納部161は、例えば、眼鏡型デバイス100のユーザ102のユーザIDに対応付けてコンテンツを格納する。コンテンツ格納部161は、オブジェクトを識別する識別情報に対応付けてコンテンツを格納してよい。
表示制御部162は、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部162は、例えば、制御情報を生成し、生成した制御情報に基づいて、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部162は、例えば、データ取得部152が情報処理装置200から取得した制御情報に基づいて、眼鏡型デバイス100によるコンテンツの表示を制御する。
表示制御部162は、表示制御部212と同様に、眼鏡型デバイス100によるコンテンツの表示を制御してよい。表示制御部162は、表示制御部212と同様の機能を有してよい。
移動速度設定部164は、眼鏡型デバイス100の表示部に表示されるコンテンツが移動する移動速度を設定する。移動速度設定部164は、移動速度設定部214と同様に、移動速度を設定してよい。移動速度設定部164は、移動速度設定部214と同様の機能を有してよい。
視認対象特定部166は、ユーザ102の視認対象を特定する。視認対象特定部216は、予め定められた重複回避対象を特定してもよい。
視認対象特定部166は、視認対象特定部216と同様に、ユーザ102の視認対象や重複回避対象を特定してよい。視認対象特定部166は、視認対象特定部216と同様の機能を有してよい。
モデル取得部176は、眼鏡型デバイス100に搭載されているカメラが撮像した撮像データから、当該撮像データが撮像されたタイミングにおいて当該眼鏡型デバイス100を装着しているユーザ102の視認対象を推定する推定モデルを取得する。モデル取得部176は、例えば、情報処理装置200からネットワーク20を介して当該推定モデルを受信することによって、当該推定モデルを取得する。モデル取得部176は、眼鏡型デバイス100が備える入力受付機能を介して眼鏡型デバイス100のユーザ102からの入力を受け付けることによって、当該推定モデルを取得してもよい。モデル取得部176は、取得した当該推定モデルをモデル格納部174に格納してよい。
視認判定部180は、ユーザ102が眼鏡型デバイス100の表示部に表示されているコンテンツを視認しているか否かを判定する。視認判定部180は、視認判定部230と同様に、ユーザ102が眼鏡型デバイス100の表示部に表示されているコンテンツを視認しているか否かを判定してよい。視認判定部180は、視認判定部230と同様の機能を有してよい。
制御装置150は、眼鏡型デバイス100に搭載されているカメラが撮像した撮像データから、当該撮像データが撮像されたタイミングにおいて当該眼鏡型デバイス100を装着しているユーザ102の視認対象を推定する推定モデルを機械学習により生成する機能をさらに備えてもよい。この場合、制御装置150は、学習データ格納部220及びモデル生成部222をさらに備えてよい。
図9は、情報処理装置200の処理の流れの一例を説明するための説明図である。ここでは、眼鏡型デバイス100の表示部にコンテンツが表示されていない状態を開始状態とする。
ステップ(ステップをSと省略して記載する場合がある。)102において、データ取得部202は、眼鏡型デバイス100に搭載されているセンサによって測定された測定データを取得する。S104において、第1焦点距離決定部204は、S102でデータ取得部202が取得した測定データに基づいて、第1焦点距離を決定する。S106において、第2焦点距離決定部206は、S104で第1焦点距離決定部204が決定した第1焦点距離を用いて、第2焦点距離を決定する。S108で、表示位置決定部208は、S106で第2焦点距離決定部206が決定した第2焦点距離に基づいて、眼鏡型デバイス100の表示部に表示されるコンテンツの表示位置を決定する。
表示制御部212は、眼鏡型デバイス100の表示部に表示されるコンテンツが、表示位置決定部208によって決定された表示位置に表示されるように、眼鏡型デバイス100によるコンテンツの表示を制御する。これにより、眼鏡型デバイス100は、表示部へのコンテンツの表示を開始する。
S110において、データ取得部202は、眼鏡型デバイス100がコンテンツを表示部に表示している状態で、眼鏡型デバイス100に搭載されているセンサによって測定された測定データを取得する。S112において、第1焦点距離決定部204は、S110でデータ取得部202が取得した測定データに基づいて、第1焦点距離を決定する。
S114において、第2焦点距離決定部206は、第1焦点距離が変化したか否かを判定する。第2焦点距離決定部206は、例えば、第1焦点距離決定部204がn回目に決定した第1焦点距離と、第1焦点距離決定部204がn+1回目に決定した第1焦点距離とに基づいて、第1焦点距離が変化したか否かを判定する。尚、nは自然数であるものとする。
例えば、第2焦点距離決定部206は、第1焦点距離決定部204がn回目に決定した第1焦点距離と、第1焦点距離決定部204がn+1回目に決定した第1焦点距離との間の変化量が予め定められた距離変化量閾値より多い場合、第1焦点距離が変化したと判定する。一方で、第2焦点距離決定部206は、第1焦点距離決定部204がn回目に決定した第1焦点距離と、第1焦点距離決定部204がn+1回目に決定した第1焦点距離との間の変化量が距離変化量閾値より少ない場合、第1焦点距離が変化していないを判定する。
例えば、第2焦点距離決定部206は、第1焦点距離決定部204がn回目に決定した第1焦点距離と、第1焦点距離決定部204がn+1回目に決定した第1焦点距離とが同一でない場合、第1焦点距離が変化したと判定する。一方で、第2焦点距離決定部206は、第1焦点距離決定部204がn回目に決定した第1焦点距離と、第1焦点距離決定部204がn+1回目に決定した第1焦点距離とが同一である場合、第1焦点距離が変化していないを判定する。
第1焦点距離が変化したと第2焦点距離決定部206が判定した場合、S116に進む。第1焦点距離が変化していないと第2焦点距離決定部206が判定した場合、S120に進む。
S116において、第2焦点距離決定部206は、S112で第1焦点距離決定部204が決定した第1焦点距離を用いて、変化後の第1焦点距離に対応する第2焦点距離を決定する。S118において、表示位置決定部208は、S116で第2焦点距離決定部206が決定した変化後の第1焦点距離に対応する第2焦点距離に基づいて、眼鏡型デバイス100の表示部に表示されているコンテンツの表示位置を変更する。表示制御部212は、眼鏡型デバイス100の表示部に表示されているコンテンツが、変更前の表示位置から変更後の表示位置へ移動するように、眼鏡型デバイス100によるコンテンツの表示を制御する。これにより、眼鏡型デバイス100の表示部に表示されているコンテンツの表示位置が変更される。S120において、表示位置決定部208は、眼鏡型デバイス100の表示部に表示されているコンテンツの表示位置を維持することを決定する。
S122において、データ取得部202が終了指示を取得していない場合、S108に戻る。S122において、データ取得部202が終了指示を取得した場合、その後、情報処理装置200による処理が終了する。
図10は、制御装置150又は情報処理装置200として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、上記実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、上記実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ1226、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブ1226は、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボード1242のようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブ1226は、プログラム又はデータをDVD-ROM1227等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、DVD-ROM1227又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM1227、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、DVDドライブ1226(DVD-ROM1227)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。