JP6294183B2 - メニュー選択装置及びメニュー選択方法 - Google Patents

Description

本発明は、メニュー項目を選択する技術に関する。

バーチャルサラウンド技術を利用して、メニュー項目の選択を実現する技術が知られている。例えば、特許文献１には、仮想的な３次元音場に複数のメニュー項目に対応する複数のメニュー音像を定位させ、装着者が頭を動かすことによって任意のメニュー音像を選択し、選択されたメニュー音像に対応するメニュー項目を実行することが記載されている。また、特許文献２のように、ＡＲ（Augmented Reality）を利用して、仮想オブジェクトを表示する技術が知られている。

特開２０００−１９４４６０号公報 特開２０１４−２１５６９号公報

しかし、特許文献１に記載の発明では、メニュー項目を示す仮想オブジェクトの配置を音だけで認識しなければならないため、特に慣れていないユーザにとっては、仮想オブジェクトの配置を認識し難い場合がある。
本発明は、メニュー項目を示す仮想オブジェクトの配置を認識し易くすることを目的とする。

本発明は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置する配置部と、前記仮想オブジェクトが配置された位置から前記ユーザに至る音の伝達特性に応じた信号処理を、前記メニュー項目を示す音声信号に施す信号処理部と、前記信号処理が施された前記音声信号に応じた音を出力するスピーカーと、前記仮想オブジェクトの配置に沿って、前記仮想オブジェクトを表示する表示部と、前記ユーザの体の動作を検出する検出部と、前記仮想オブジェクトが配置された方向に前記体を動かす動作が検出されたことに応じて、前記メニュー項目を選択する選択部とを備えるメニュー選択装置を提供する。

前記メニュー選択装置は、前記メニュー項目を示す音が前記スピーカーから出力されたときに、前記メニュー項目を示す前記仮想オブジェクトの表示を変化させる表示制御部を更に備えてもよい。

前記配置部は、複数のメニュー項目を示す複数の仮想オブジェクトを配置し、前記表示部は、前記複数の仮想オブジェクトの一部を表示してもよい。

前記スピーカーは、前記複数のメニュー項目のうち、前記表示部に表示されている仮想オブジェクトが示すメニュー項目に限り、前記メニュー項目を示す音を出力してもよい。

前記選択部は、前記複数のメニュー項目のうち、前記表示部に表示されている仮想オブジェクトが示すメニュー項目に限り、選択を行ってもよい。

前記メニュー選択装置は、前記複数の仮想オブジェクトに互いに同じ大きさの複数の検知領域を設定する設定部を更に備え、前記選択部は、前記複数の検知領域のいずれかの検知領域の方向に前記体を動かす動作が検出されたことに応じて、前記検知領域が設定された仮想オブジェクトが示すメニュー項目を選択し、前記設定部は、前記表示部に表示されている仮想オブジェクトに設定された検知領域を拡大してもよい。

前記配置部は、複数のメニュー項目を示す複数の仮想オブジェクトを配置し、前記メニュー選択装置は、前記複数の仮想オブジェクトに互いに同じ大きさの複数の検知領域を設定する設定部を更に備え、前記選択部は、前記複数の検知領域のいずれかの検知領域の方向に前記体を動かす動作が検出されたことに応じて、前記検知領域が設定された仮想オブジェクトが示すメニュー項目を選択し、前記検出部は、前記ユーザの顔の向きを検出し、前記設定部は、前記検出された向きに配置された第１仮想オブジェクトに設定された検知領域を拡大してもよい。

前記表示部は、前記複数の仮想オブジェクトを表示し、前記メニュー選択装置は、前記表示部に表示された前記複数の仮想オブジェクトのうち、前記第１仮想オブジェクトを拡大する表示制御部を更に備えてもよい。

前記信号処理部は、前記第１仮想オブジェクトが示す第１メニュー項目を示す音声信号には、前記複数のメニュー項目の他のメニュー項目を示す音声信号とは異なる信号処理を施してもよい。

また、本発明は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置するステップと、前記仮想オブジェクトが配置された位置から前記ユーザに至る音の伝達特性に応じた信号処理を、前記メニュー項目を示す音声信号に施すステップと、前記信号処理が施された前記音声信号に応じた音を出力するステップと、前記仮想オブジェクトの配置に沿って、前記仮想オブジェクトを表示するステップと、前記ユーザの体の動作を検出するステップと、前記仮想オブジェクトが配置された方向に前記体を動かす動作が検出されたことに応じて、前記メニュー項目を選択するステップとを備えるメニュー選択方法を提供する。

本発明によれば、メニュー項目を示す仮想オブジェクトの配置を認識し易くすることができる。

メニュー選択システムの構成を示す図。 音声再生端末のハードウェア構成を示す図。 音声再生端末の制御部の機能構成を示す図。 表示端末のハードウェア構成を示す図。 表示端末の制御部の機能構成を示す図。 メニュー選択システムの動作を示すシーケンスチャート。 仮想アイコンの配置の一例を示す図。 仮想アイコンの表示例を示す図。 表示端末の移動の一例を示す図。 仮想アイコンの表示例を示す図。 第２実施形態に係る音声再生端末の制御部の機能構成を示す図。 第２実施形態に係るメニュー選択システムの動作を示すシーケンスチャート。 第２実施形態に係る仮想アイコンの配置の一例を示す図。 第２実施形態に係る仮想アイコンの表示例を示す図。 ユーザが頭の向きの変更の一例を示す図。 第２実施形態に係る仮想アイコンの表示例を示す図。 検知領域の大きさの変更の一例を示す図。 検知領域の大きさの変更の一例を示す図。 変形例に係る検知領域の一例を示す図。

１．第１実施形態
以下、図面を参照して本発明の第１実施形態について説明する。

（１）システムの全体構成
図１は、メニュー選択システム１の構成を示す図である。メニュー選択システム１は、音声再生端末１０と、表示端末２０とを備える。音声再生端末１０は、イヤホン型のウェアラブルコンピュータである。音声再生端末１０は、ユーザの耳に装着される。表示端末２０は、腕時計型のウェアラブルコンピュータである。表示端末２０は、ユーザの腕に装着される。音声再生端末１０と表示端末２０とは、予めペアリングされている。音声再生端末１０と表示端末２０とは連携して、ユーザによるメニュー項目の選択を実現する。つまり、本実施形態では、音声再生端末１０と表示端末２０とが協働してメニュー選択装置として機能する。

（２）音声再生端末１０の構成
音声再生端末１０は、右耳用の筐体１０１と、左耳用の筐体１０２と、ケーブル１０３と、本体１０４とを備える。筐体１０１は、ユーザの右耳に装着される。筐体１０１には、スピーカー１６‐１が収容される。筐体１０２は、ユーザの左耳に装着される。筐体１０２には、スピーカー１６‐２が収容される。ケーブル１０３は、筐体１０１と本体１０４、及び筐体１０２と本体１０４とを接続する。本体１０４は、２チャンネルの音声信号をスピーカー１６‐１及び１６‐２に供給することにより、ステレオ方式で音を再生する。

図２は、音声再生端末１０のハードウェア構成を示す図である。音声再生端末１０は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想アイコンを配置し、バーチャルサラウンドを利用してユーザに仮想アイコンの配置を認識させる機能を有する。ユーザは、仮想アイコンが配置された方向に体を動かす動作を行うことにより、その仮想アイコンが示すメニュー項目を選択することができる。音声再生端末１０は、制御部１１と、記憶部１２と、通信部１３と、操作部１４と、マイクロフォン１５と、スピーカー１６‐１及び１６‐２と、測位部１７と、センサ部１８と、電源１９とを備える。これらの構成要素は、バス又はケーブル１０３を介して接続される。なお、スピーカー１６‐１及び１６‐２以外の構成要素は、基本的には、本体１０４に収容される。ただし、センサ部１８は、筐体１０１又は１０２に収容される。

制御部１１は、記憶部１２に記憶されたプログラムを実行することにより、データの演算や他の構成要素の制御を行う。制御部１１には、例えばＣＰＵが用いられる。記憶部１２は、制御部１１により実行されるプログラムや各種のデータを記憶する。記憶部１２は、主記憶装置と補助記憶装置とを含む。主記憶装置には、例えばＲＡＭが用いられる。補助記憶装置には、例えばフラッシュメモリが用いられる。

通信部１３は、データ通信を行うための通信インタフェースである。通信部１３は、Bluetooth（登録商標）等の近距離無線通信規格に従って表示端末２０と通信を行う。操作部１４は、ユーザの操作に応じた信号を制御部１１に入力する。操作部１４には、例えばタッチセンサーが用いられる。マイクロフォン１５は、音を受信し、受信した音に応じた信号を制御部１１に入力する。スピーカー１６‐１及び１６‐２は、音声信号に応じた音を出力する。

測位部１７は、音声再生端末１０の現在の位置を測定する。測位部１７には、例えばＧＰＳ（Global Positioning System）受信機が用いられる。電源１９は、音声再生端末１０の各構成要素に電力を供給する。電源１９には、例えばバッテリーが用いられる。

センサ部１８は、ユーザの動作の検出に用いられる。センサ部１８には、例えば加速度センサ１８１と、角速度センサ１８２と、地磁気センサ１８３とが含まれる。加速度センサ１８１は、三軸方向の加速度を測定する。角速度センサ１８２は、三軸方向の角速度を測定する。地磁気センサ１８３は、三軸方向の地磁気を測定する。

図３は、制御部１１の機能構成を示す図である。制御部１１は、記憶部１２に記憶された１又は複数のプログラムを実行することにより、配置部１１１、信号処理部１１２、出力制御部１１３、送信部１１４、検出部１１５、選択部１１６、及び実行部１１７の機能を実現する。また、これらの機能は、制御部１１と他の構成要素との協働により実現されてもよい。

配置部１１１は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置する。信号処理部１１２は、仮想オブジェクトが配置された位置からユーザに至る音の伝達特性に応じた信号処理を、メニュー項目を示す音声信号に施す。出力制御部１１３は、信号処理が施された音声信号に応じた音をスピーカー１６‐１及び１６‐２から出力する。送信部１１４は、仮想オブジェクトの配置を示す配置情報を表示端末２０に送信する。検出部１１５は、ユーザの体の動作を検出する。選択部１１６は、仮想オブジェクトが配置された方向に体を動かす動作が検出されたことに応じて、メニュー項目を選択する。実行部１１７は、選択部１１６により選択されたメニュー項目に対応する処理を実行する。

（３）表示端末２０の構成
図４は、表示端末２０のハードウェア構成を示す図である。表示端末２０は、仮想アイコンを表示する機能を有する。表示端末２０は、制御部２１と、記憶部２２と、通信部２３と、操作部２４と、表示部２５と、センサ部２６と、電源２７とを備える。これらの構成要素は、バスを介して接続される。

制御部２１は、記憶部２２に記憶されたプログラムを実行することにより、データの演算や他の構成要素の制御を行う。制御部２１には、例えばＣＰＵが用いられる。記憶部２２は、制御部２１により実行されるプログラムや各種のデータを記憶する。記憶部２２は、主記憶装置と補助記憶装置とを含む。主記憶装置には、例えばＲＡＭが用いられる。補助記憶装置には、例えばフラッシュメモリが用いられる。

通信部２３は、データ通信を行うための通信インタフェースである。通信部２３は、Bluetooth（登録商標）等の近距離無線通信規格に従って音声再生端末１０と通信を行う。操作部２４は、ユーザの操作に応じた信号を制御部２１に入力する。操作部２４には、例えばタッチセンサーが用いられる。表示部２５は、情報を表示する。表示部２５には、例えば液晶ディスプレイが用いられる。電源２７は、表示端末２０の各構成要素に電力を供給する。電源２７には、例えばバッテリーが用いられる。

センサ部２６は、ユーザの動作の検出に用いられる。センサ部２６には、例えば加速度センサ２６１と、角速度センサ２６２と、地磁気センサ２６３とが含まれる。加速度センサ２６１は、三軸方向の加速度を測定する。角速度センサ２６２は、三軸方向の角速度を測定する。地磁気センサ２６３は、三軸方向の地磁気を測定する。

図５は、制御部２１の機能構成を示す図である。制御部２１は、記憶部２２に記憶された１又は複数のプログラムを実行することにより、表示制御部２１１及び送信部２１２の機能を実現する。また、これらの機能は、制御部２１と他の構成要素との協働により実現されてもよい。

表示制御部２１１は、仮想オブジェクトの配置に沿って、仮想オブジェクトを表示する。送信部２１２は、表示部２５に表示されている仮想オブジェクトを識別する情報を音声再生端末１０に送信する。

（４）動作
図６は、メニュー選択システム１の動作を示すシーケンスチャートである。この動作は、例えばユーザが音声再生端末１０を用いてメニュー項目を起動する操作を行ったときに開始される。この操作は、例えば音声認識技術を利用した音声操作である。例えば、ユーザにより「メニュー」という言葉が発せられたときに、この動作が開始される。

ステップＳ１０１において、配置部１１１は、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想アイコン（仮想オブジェクトの一例）を配置する。「仮想アイコンを配置する」とは、具体的には、仮想空間における仮想アイコンの位置を決定することをいう。仮想アイコンの配置は、例えばユーザの頭の位置を原点としたｘｙ平面上の位置を示す端末座標系に基づいて行われる。図７は、仮想アイコンの配置の一例を示す図である。図７は、仮想アイコンの配置を上から見た図である。図７では、ユーザの前方向がｙ軸方向で示され、ユーザの後ろ方向が−ｙ軸方向で示され、ユーザの右方向がｘ軸方向で示され、ユーザの左方向が−ｘ軸方向で示されている。

図７に示す例では、ｘｙ平面において、ユーザの頭の位置を中心とする仮想円Ｃ１上に、４５度間隔で仮想アイコンＩ１〜Ｉ８が配置される。仮想アイコンＩ１〜Ｉ８は、それぞれ第１〜第８メニュー項目を示す。仮想アイコンＩ１は、ユーザの前方に配置される。仮想アイコンＩ２は、ユーザの右前方に配置される。仮想アイコンＩ３は、ユーザの右に配置される。仮想アイコンＩ４は、ユーザの右後方に配置される。仮想アイコンＩ５は、ユーザの後方に配置される。仮想アイコンＩ６は、ユーザの左後方に配置される。仮想アイコンＩ７は、ユーザの左に配置される。仮想アイコンＩ８は、ユーザの左前方に配置される。

ステップＳ１０２において、送信部１１４は、仮想アイコンの配置を示す配置情報を表示端末２０に送信する。この配置情報には、仮想空間において仮想アイコンが配置された位置を示す位置座標が含まれる。図７に示す例では、配置情報には、仮想空間における仮想アイコンＩ１〜Ｉ８の位置座標が含まれる。また、この配置情報には、仮想空間におけるユーザの頭の位置を示す位置座標と、表示端末２０の位置を示す位置座標とが含まれる。この表示端末２０の位置は、例えばユーザが表示端末２０の表示部２５を見る基本的な姿勢をとったときの表示端末２０の位置であり、予め音声再生端末１０に登録される。表示端末２０は、音声再生端末１０から配置情報を受信すると、ステップＳ１０３に進む。

ステップＳ１０３において、表示制御部２１１は、受信した配置情報が示す配置に沿って、表示部２５に仮想アイコンを表示する。このとき、全ての仮想アイコンが表示されてもよいし、仮想アイコンの一部だけが表示されてもよい。後者の場合、表示制御部２１１は、仮想空間内に選択範囲を設定し、選択範囲内の仮想アイコンだけを表示部２５に表示する。仮想アイコンの表示は、表示部２５の画面の左上を原点とするＸＹ平面上の位置を示すスクリーン座標系に基づいて行われる。

図８は、仮想アイコンの表示例を示す図である。この例では、まず図７に示すｘｙ平面において、表示端末２０とユーザの頭とを含むように選択範囲Ｒ１が設定される。この選択範囲Ｒ１は、表示部２５に対応する大きさ及び形状を有する。図７に示すように、選択範囲Ｒ１には、仮想アイコンＩ１及びＩ８が含まれる。この場合、図８に示すように、表示部２５には、選択範囲Ｒ１における仮想アイコンＩ１及びＩ８の位置に基づいて、仮想アイコンＩ１及びＩ８が表示される。

具体的には、仮想アイコンＩ１は、選択範囲Ｒ１における位置に対応する画面上の位置に表示される。また、仮想アイコンＩ８は、選択範囲Ｒ１における位置に対応する画面上の位置に表示される。仮想アイコンＩ１及びＩ８の画面上の位置は、仮想アイコンＩ１及びＩ８の端末座標系の位置座標を、スクリーン座標系の位置座標に座標変換することにより求められる。

また、表示部２５には、選択範囲Ｒ１における表示端末２０の位置及び頭の位置を示すマークＷ１及びＨ１が表示される。具体的には、マークＷ１は、選択範囲Ｒ１における表示端末２０の位置に対応する画面上の位置に表示される。マークＨ１は、選択範囲Ｒ１における頭の位置に対応する画面上の位置に表示される。このマークＷ１及びＨ１の画面上の位置は、表示端末２０の端末座標系の位置座標及び頭の端末座標系の位置座標を、スクリーン座標系の位置座標に変換することにより求められる。

ユーザが表示端末２０を移動させると、その移動量に応じて選択範囲Ｒ１が移動し、表示部２５の表示が更新される。例えば、図９に示すように、ユーザが表示端末２０を右側の移動させた場合には、選択範囲Ｒ１も右側に移動する。図９に示すように、移動後の選択範囲Ｒ１には、仮想アイコンＩ１及びＩ２が含まれる。この場合、図１０に示すように、表示部２５には、移動後の選択範囲Ｒ１における仮想アイコンＩ１及びＩ２の位置に基づいて、仮想アイコンＩ１及びＩ２が表示される。また、表示部２５には、移動後の選択範囲Ｒ１における表示端末２０の位置及び頭の位置を示すマークＷ１及びＨ１が表示される。

ステップＳ１０４において、信号処理部１１２は、仮想アイコンが配置された仮想空間内の位置及び仮想空間上のユーザの位置に基づいて、仮想アイコンの位置からユーザに至るまでの音の伝達特性に応じた信号処理を、メニュー項目を示す音声信号に施す。人間は、左右の耳に伝達する音の大きさの差、時間差、周波数特性の差により、音の到来方向及び距離を認識している。そこで、仮想アイコンが配置された位置及び方向に応じて、左右のスピーカー１６‐１及び１６‐２に供給される音声信号に、音圧レベル差、時間差、周波数特性の差を付加することにより、疑似的に仮想アイコンが配置された位置から聞こえる音を作り出すことができる。この場合、仮想アイコンの位置に仮想音源があることになる。具体的には、信号処理では、仮想アイコンが配置された位置とユーザの位置とに応じた頭部伝達関数を、メニュー項目を示す音声信号に畳み込む処理が行われる。

ステップＳ１０５において、出力制御部１１３は、メニュー項目の読み上げ処理を行う。この読み上げ処理では、メニュー項目を示す音が一つずつ順番にスピーカー１６‐１及び１６‐２から出力される。メニュー項目を示す音は、例えばメニュー項目の名称を読み上げる音声である。

具体的には、出力制御部１１３は、まずメニュー項目の読み上げ順序を決定する。図７に示す例では、ユーザの前方に配置された仮想アイコンＩ１を基準として時計周りに見ると、仮想アイコンＩ１〜Ｉ８は、仮想アイコンＩ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５、Ｉ６、Ｉ７、Ｉ８という順序で配列されている。この場合、第１〜第８メニュー項目の読み上げ順序は、第１メニュー項目、第２メニュー項目、第３メニュー項目、第４メニュー項目、第５メニュー項目、第６メニュー項目、第７メニュー項目、第８メニュー項目という順序になる。

続いて、出力制御部１１３は、読み上げ順序に従って、信号処理が施されたメニュー項目を示す音声信号を一つずつ順番にスピーカー１６‐１及び１６‐２に供給する。このとき、右耳用の音声信号はスピーカー１６‐１に供給され、左耳用の音声信号はスピーカー１６‐２に供給される。これにより、第１〜第８メニュー項目を示す音が一つずつ順番にスピーカー１６‐１及びスピーカー１６‐２から出力される。

図７に示す例では、第１メニュー項目を示す仮想アイコンＩ１は、ユーザの前方に配置されている。したがって、第１メニュー項目を示す音は、疑似的にユーザの前方から聞こえる。第２メニュー項目を示す仮想アイコンＩ２は、ユーザの右前方に配置されている。したがって、第２メニュー項目を示す音は、疑似的にユーザの右前方から聞こえる。第３〜第８メニュー項目を示す音についても、同様である。これにより、ユーザは、仮想アイコンＩ１〜Ｉ８の配置を認識することができる。

他の例として、表示部２５に仮想アイコンの一部だけが表示されている場合には、表示部２５に表示されている仮想アイコンが示すメニュー項目に限り、メニュー項目を示す音が出力されてもよい。図８に示す例では、表示部２５には、仮想アイコンＩ１及びＩ８が表示されている。この場合、送信部２１２は、表示部２５に表示されている仮想アイコンＩ１及びＩ８を示す第１及び第８メニュー項目を識別するＩＤを音声再生端末１０に送信する。表示端末２０から第１及び第８メニュー項目のＩＤを受信すると、出力制御部１１３は、第１メニュー項目を示す音及び第８メニュー項目を示す音を順番にスピーカー１６‐１及び１６‐２から出力する。

ユーザが表示端末２０を移動させることにより表示部２５の表示が更新されたときにも、同様の処理が行われてもよい。例えば、図１０に示すように表示部２５の表示が更新された場合、表示部２５には、仮想アイコンＩ１及びＩ２が表示されている。この場合、送信部２１２は、表示部２５に表示されている仮想アイコンＩ１及びＩ２が示す第１及び第２メニュー項目を識別するＩＤを音声再生端末１０に送信する。表示端末２０から第１及び第２メニューのＩＤを受信すると、出力制御部１１３は、第１メニューを示す音及び第２メニュー項目を示す音を順番にスピーカー１６‐１及び１６‐２から出力する。

ステップＳ１０６において、送信部１１４は、各々のメニュー項目を示す音がスピーカー１６‐１及び１６‐２から出力される度に、そのメニュー項目を識別するＩＤを表示端末２０に送信する。例えば、第１メニュー項目を示す音がスピーカー１６‐１及び１６‐２から出力されると、第１メニュー項目を識別するＩＤが表示端末２０に送信される。第２メニュー項目を示す音がスピーカー１６‐１及び１６‐２から出力されると、第２メニュー項目を識別するＩＤが表示端末２０に送信される。表示端末２０は、音声再生端末１０からメニュー項目のＩＤを受信すると、ステップＳ１０７に進む。

ステップＳ１０７において、表示制御部２１１は、受信したＩＤにより識別されるメニュー項目を示す仮想アイコンの表示を変化させる。この表示の変化は、例えば仮想アイコンの色、形、又は大きさを変化させることが含まれる。図８に示す例では、表示部２５に第１及び第２メニュー項目を示す仮想アイコンＩ１及びＩ２が表示されている。例えば第１メニュー項目のＩＤが受信されると、第１メニュー項目を示す仮想アイコンＩ１が光る。

ユーザは、スピーカー１６‐１及び１６‐２から出力されるメニュー項目を示す音及び表示部２５に表示される仮想アイコンの配置に基づいて、仮想アイコンの配置を認識する。図７に示す例では、第１メニュー項目の音はユーザの前方から聞こえるため、第１メニュー項目を示す仮想アイコンＩ１はユーザの前方に配置されていることが分かる。また、図８に示す例では、仮想アイコンＩ１とマークＨ１の相対的な位置関係により、仮想アイコンＩ１がユーザの前方に配置されていることが分かる。例えば、第１メニュー項目を選択する場合、ユーザは、頭を前方に傾ける動作又は表示端末２０が装着された腕を前方に移動させる動作を行う。

ステップＳ１０８において、検出部１１５は、ユーザの体の動作を検出する。例えばユーザが頭を傾ける動作を行った場合、この動作は、角速度センサ１８２により測定された角速度に基づいて検出される。一方、ユーザが表示端末２０の装着された腕を移動させる動作を行った場合、この動作は、加速度センサ２６１により測定された加速度に基づいて検出される。具体的には、送信部２１２は、加速度センサ２６１により測定された加速度を音声再生端末１０に送信する。表示端末２０から加速度を受信すると、検出部１１５は、予め登録された表示端末２０の位置とこの加速度とに基づいて、表示端末２０が装着された腕を移動させる動作を検出する。

ステップＳ１０９において、選択部１１６は、仮想アイコンが配置された方向に体を動かす動作が検出されると、その仮想アイコンが示すメニュー項目を選択する。なお、仮想アイコンが配置された方向とは、必ずしも仮想アイコンが配置された位置を通る方向である必要はない。例えば、仮想アイコンが配置された位置を含む所定の範囲を通る方向も、仮想アイコンが配置された方向に含まれてもよい。例えば、頭を前方に傾ける動作又は表示端末２０が装着された腕を前方に移動させる動作が検出された場合には、ユーザの前方に配置された仮想アイコンＩ１が示す第１メニュー項目が選択される。

他の例として、選択部１１６は、表示部２５に表示されている仮想アイコンが示すメニュー項目に限り、選択を行ってもよい。図８に示す例では、表示部２５には、仮想アイコンＩ１及びＩ８が表示されている。この場合、送信部２１２は、上述したように、表示部２５に表示されている仮想アイコンＩ１及びＩ８が示す第１及び第８メニュー項目を識別するＩＤを音声再生端末１０に送信する。表示端末２０から第１及び第８メニュー項目のＩＤを受信すると、選択部１１６は、第１及び第８メニュー項目だけを選択できるようにし、それ以外の第２〜第７メニュー項目については選択できないように制限する。この場合、仮想アイコンＩ１又はＩ８が配置された方向に体を動かす動作が行われた場合には、第１又は第８メニュー項目が選択される。一方、仮想アイコンＩ２〜Ｉ７が配置された方向に体を動かす動作が行われても、第２〜第７メニュー項目は選択されない。

ステップＳ１１０において、実行部１１７は、ユーザにより選択されたメニュー項目に対応する処理を実行する。例えば、第１メニュー項目がアプリケーションに関するものである場合において、第１メニュー項目が選択されると、第１メニュー項目に対応するアプリケーションが起動される。

本実施形態によれば、ユーザは、メニュー項目を示す仮想アイコンの配置を音と表示とで認識できるため、仮想アイコンの配置が認識し易くなる。また、仮想アイコンの数が多い場合には、全て仮想アイコンを表示すると、仮想アイコンが小さくなり、互いに区別し難くなる。しかし、本実施形態のように仮想アイコンの一部だけが表示される場合には、仮想アイコンが視認し難くなるのを防ぐことができる。また、メニュー項目を示す音がスピーカー１６‐１及び１６‐２から出力されたときに、そのメニュー項目を示す仮想アイコンの表示が変化するため、メニュー項目を示す音と表示部２５に表示されている仮想アイコンとの対応関係が認識し易くなる。

２．第２実施形態
以下、図面を参照して本発明の第２実施形態を説明する。以下の説明では、第１実施形態と異なる点を中心に説明する。

第２実施形態に係るメニュー選択システム１の構成は、基本的には、第１実施形態に係るメニュー選択システム１の構成と同じである。ただし、制御部１１の機能構成が第１実施形態とは異なる。

図１１は、第２実施形態に係る制御部１１の機能構成を示す図である。第２実施形態では、制御部１１は、第１実施形態で説明した機能に加えて、設定部１１８の機能を実現する。設定部１１８は、メニュー項目に検知領域を設定する。選択部１１６は、検知領域の方向に体を動かす動作が検出されたことに応じて、検知領域が設定されたメニュー項目を選択する。

図１２は、第２実施形態に係るメニュー選択システム１の動作を示すシーケンスチャートである。この動作は、第１実施形態と同様に、例えばユーザが音声再生端末１０を用いてメニュー項目を起動する操作を行ったときに開始される。

ステップＳ２０１において、配置部１１１は、第１実施形態で説明したステップＳ１０１と同様に、ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想アイコンを配置する。図１３は、第２実施形態に係るメニュー項目の配置の一例を示す図である。図１３は、仮想アイコンの配置を上から見た図である。図１３では、ユーザの前方向がｙ軸方向で示され、ユーザの後ろ方向が−ｙ軸方向で示され、ユーザの右方向がｘ軸方向で示され、ユーザの左方向が−ｘ軸方向で示されている。

図１３に示す例では、ユーザの前方においてｘ方向に延びる仮想直線Ｌ１上に仮想アイコンＩ１〜Ｉ５が等間隔で配置される。仮想アイコンＩ１〜Ｉ５は、それぞれ第１〜第５メニュー項目を示す。仮想アイコンＩ１〜Ｉ５は、ユーザの左側から仮想アイコンＩ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５という順序で配列される。

ステップＳ２０２において、検出部１１５は、角速度センサ１８２により測定された角速度に基づいて、ユーザの頭の向きを検出する。

ステップＳ２０３において、送信部１１４は、仮想アイコンの配置を示す配置情報と、ステップＳ２０２で検出された頭の向きを示す向き情報とを表示端末２０に送信する。表示端末２０は、音声再生端末１０から配置情報及び向き情報を受信すると、ステップＳ２０４に進む。

ステップＳ２０４において、表示制御部２１１は、受信した配置情報が示す配置に沿って、表示部２５に仮想アイコンを表示する。第２実施形態では、全ての仮想アイコンが表示される。

図１４は、第２実施形態に係る仮想アイコンの表示例を示す図である。図１４に示す例では、表示部２５には、仮想アイコンＩ１〜Ｉ５の配置に沿って、仮想アイコンＩ１〜Ｉ５が表示される。また、表示部２５には、表示端末２０の位置及び頭の位置を示すマークＷ１及びＨ１が表示される。

続いて、表示制御部２１１は、受信した向き情報に基づいて、仮想アイコンの表示サイズを変更する。例えば、向き情報が示す頭の向きと仮想直線Ｌ１との交点から近いメニュー項目ほど仮想アイコンが大きくなるように、仮想アイコンが拡大されてもよい。図１３に示す例では、ユーザの顔の向きの方向に仮想アイコンＩ３（第１仮想オブジェクトの一例）が配置されている。この場合、図１４に示すように、仮想アイコンＩ３が最も大きくなるように拡大される。また、仮想アイコンＩ３の隣に配置された仮想アイコンＩ２及びＩ４が二番目に大きくなるように拡大される。

ユーザが頭の向きを変えると、表示部２５の表示が更新される。例えば、図１５に示すように、ユーザが頭を左側に回した場合、検出部１１５は、角速度センサ１８２により測定された角速度に基づいて、ユーザの頭の向きを検出する。送信部１１４は、新たに検出された頭の向きを示す向き情報を表示端末２０に送信する。音声再生端末１０から向き情報を受信すると、表示制御部２１１は、受信した向き情報に基づいて、仮想アイコンの表示サイズを変更する。図１５に示す例では、ユーザの顔の向きに仮想アイコンＩ１が配置されている。この場合、図１６に示すように、仮想アイコンＩ１が最も大きくなるように拡大される。また、仮想アイコンＩ１の隣に配置された仮想アイコンＩ２が二番目に大きくなるように拡大される。

ステップＳ２０５において、設定部１１８は、仮想アイコンに検知領域を設定する。この検知領域は、仮想アイコンが配置された位置を含む領域である。図１３に示す例では、仮想直線Ｌ１を底辺、ユーザの位置Ｐ０を頂点とする三角形の領域が、位置Ｐ０と仮想直線Ｌ１上の点Ｐ１〜Ｐ６とを結ぶ線により、検知領域Ｄ１〜Ｄ５に分割される。検知領域Ｄ１〜Ｄ５は、それぞれ仮想アイコンＩ１〜Ｉ５の位置を含む。検知領域Ｄ１〜Ｄ５の底辺の長さｌ１〜ｌ５は互いに等しい。つまり、検知領域Ｄ１〜Ｄ５は、互いに同じ大きさを有する。

また、設定部１１８は、ステップＳ２０２で検出された頭の向きに基づいて、検知領域の大きさを変更する。図１７は、検知領域の大きさの変更の一例を示す図である。この例では、ユーザの顔の向きの方向に仮想アイコンＩ３が配置されている。この場合、検知領域Ｄ３の底辺の長さｌ３が最も大きく、検知領域Ｄ３に隣接する検知領域Ｄ２及びＤ４の底辺の長さｌ２及びｌ４が二番目に大きく、検知領域Ｄ１及びＤ５の底辺の長さｌ１及びｌ５が最も小さくなるように、検知領域Ｄ１〜Ｄ５の大きさが変更される。

ユーザが頭の向きを変えると、更に検知領域の大きさが変更される。例えば、図１５に示すように、ユーザが頭を左側に回した場合、検出部１１５は、角速度センサ１８２により測定された角速度に基づいて、ユーザの頭の向きを検出する。設定部１１８は、新たに検出された頭の向きに基づいて、検知領域の大きさを変更する。この例では、ユーザの顔の向きの方向に仮想アイコンＩ１が配置されている。この場合、検知領域Ｄ１の底辺の長さｌ１が最も大きく、検知領域Ｄ１に隣接する検知領域Ｄ２の底辺の長さｌ２が二番目に大きく、検知領域Ｄ３〜５の底辺の長さｌ３〜ｌ５が最も小さくなるように、検知領域Ｄ１〜Ｄ５の大きさが変更される。

ステップＳ２０６において、信号処理部１１２は、第１実施形態で説明したステップＳ１０４と同様に、仮想アイコンが配置された位置からユーザに至るまでの音の伝達特性に応じた信号処理を、メニュー項目を示す音声信号に施す。また、信号処理部１１２は、検知領域の大きさに応じて、メニュー項目を示す音声信号に異なる信号処理を施してもよい。この信号処理は、音量レベルを変更する処理や、エコーをかける処理である。例えば、検知領域が大きいほど、その検知領域に対応するメニュー項目を示す音声信号の音量レベルを上げてもよい。他の例として、検知領域が大きいほど、その検知領域に対応するメニュー項目を示す音声信号の残響時間が大きくなるように、エコーをかけてもよい。

ステップＳ２０７において、出力制御部１１３は、第１実施形態で説明したステップＳ１０５と同様に、メニュー項目の読み上げ処理を行う。この読み上げ処理では、メニュー項目を示す音が一つずつ順番にスピーカー１６‐１及び１６‐２から出力される。図１７に示す例では、第１〜第５メニュー項目を示す音が一つずつ順番にスピーカー１６‐１及びスピーカー１６‐２から出力される。このとき、検知領域が大きいほど、メニュー項目を示す音の音量レベル又は残響時間が大きくなる。この例では、第３メニュー項目を示す音の音量レベル又は残響時間が最も大きく、第２及び第４メニュー項目を示す音の音量レベル又は残響時間が二番目に大きくなる。したがって、ユーザは、第３メニュー項目に対応する検知領域Ｄ３が最も大きく、第２及び第４メニュー項目に対応する検知領域Ｄ２及びＤ４が二番目に大きいことが分かる。

ステップＳ２０８及びＳ２０９の処理は、第１実施形態で説明したステップＳ１０６及びＳ１０７と同じである。

図１７に示す例において、第３メニュー項目を選択する場合、ユーザは、検知領域Ｄ３の方に頭を傾ける動作又は表示端末２０が装着された腕を移動させる動作を行う。ステップＳ２１０において、検出部１１５は、第１実施形態で説明したステップＳ１０８と同様に、ユーザの体の動作を検出する。

ステップＳ２１１において、選択部１１６は、検知領域の方に体を動かす動作が検出されると、そのメニュー項目を選択する。例えば、検知領域Ｄ３の底辺と交わる方向に頭を傾ける動作又は表示端末２０が装着された腕を移動させる動作が検出された場合には、検知領域Ｄ３が設定された仮想アイコンＩ３が示す第３メニュー項目が選択される。

ステップＳ２１２において、実行部１１７は、第１実施形態で説明したステップＳ１１０と同様に、ユーザにより選択されたメニュー項目に対応する処理を実行する。

第２実施形態によれば、ユーザは、メニュー項目を示す仮想アイコンの配置を音と表示とで認識できるため、仮想アイコンの配置が認識し易くなる。また、ユーザの顔の方向に配置された仮想アイコンに設定された検知領域が拡大されるため、この仮想アイコンが示すメニュー項目が選択し易くなる。さらに、ユーザの顔の方向に配置された仮想アイコンが拡大して表示されるとともに、この仮想アイコンが示すメニュー項目については、メニュー項目を示す音の音量レベル又は残響時間が他のメニュー項目を示す音とは相違するため、ユーザは、この仮想アイコンに設定された検知領域が拡大されたことを容易に認識することができる。

３．変形例
本発明は、上述した第１及び第２実施形態に限定されない。例えば、第１及び第２実施形態を以下のように変形してもよい。また、以下の変形例を組み合わせてもよい。

（１）第１実施形態において、メニュー項目に検知領域が設定されてもよい。この場合、制御部１１は、第２実施形態で説明した設定部１１８の機能を実現する。設定部１１８は、仮想アイコンに検知領域を設定する。図１９は、変形例に係る検知領域の一例を示す図である。図１９に示す例では、仮想円Ｃ１をその中心Ｐ１０と仮想円Ｃ１上の点Ｐ１１〜Ｐ１８とを結ぶ線により、検知領域Ｄ１〜Ｄ８に分割する。検知領域Ｄ１〜Ｄ８は、それぞれ仮想アイコンＩ１〜Ｉ８の位置を含む。検知領域Ｄ１〜Ｄ８の中心角は互いに等しい。つまり、検知領域Ｄ１〜Ｄ８は、互いに同じ大きさを有する。

また、設定部１１８は、表示部２５に表示された仮想アイコンに応じて、検知領域を変更する。図８に示す例では、表示部２５には、仮想アイコンＩ１及びＩ８が表示されている。この場合、まず表示部２５に表示されていない仮想アイコンＩ２〜Ｉ７に設定された検知領域Ｄ２〜Ｄ７が削除される。また、表示部２５に表示されている仮想アイコンＩ１及びＩ８に設定された検知領域Ｄ１及びＤ８をその中心角が大きくなるように拡大する。選択部１１６は、検知領域Ｄ１又はＤ８の方向、例えば検知領域Ｄ１又はＤ８の円周と交わる方向に体を動かす動作が検出されると、第１又は第８メニュー項目を選択する。この変形例によれば、表示部２５に表示されている仮想アイコンが示すメニュー項目を選択し易くなる。

（２）第１実施形態において、表示部２５に表示されている仮想アイコンが示すメニュー項目については、メニュー項目を示す音を変化させてもよい。図８に示す例では、表示部２５には、仮想アイコンＩ１及びＩ８が表示されている。この場合、送信部２１２は、表示部２５に表示されている仮想アイコンＩ１及びＩ８を示す第１及び第８メニュー項目を識別するＩＤを音声再生端末１０に送信する。表示端末２０から第１及び第８メニュー項目のＩＤを受信すると、信号処理部１１２は、第１及び第８メニュー項目を示す音声信号に、第２〜第７メニュー項目を示す音声信号とは異なる信号処理を施す。この信号処理は、音量レベル、音の高さ、又は音色を変更する処理である。出力制御部１１３は、第１〜第８メニュー項目を示す音を一つずつ順番にスピーカー１６‐１及び１６‐２から出力する。このとき、表示部２５に表示されている仮想アイコンＩ１及びＩ８が示す第１及び第８メニュー項目については、それ以外の第２〜第７メニュー項目とは、メニュー項目を示す音の音量レベル、音の高さ又は音色が異なる。そのため、表示部２５に表示されている仮想アイコンと、メニュー項目を示す音との対応関係が認識し易くなる。

（３）第１実施形態及び第２実施形態において、表示端末２０と仮想アイコンとの距離に応じて、仮想アイコンの表示サイズを変化させてもよい。例えば、ユーザが表示端末２０を仮想アイコンに近づけると、その仮想アイコンが拡大されて表示されてもよい。

（４）音声再生端末１０及び表示端末２０は、第１実施形態及び第２実施形態で説明した例に限定されない。例えば、音声再生端末１０は、イヤーフック型やオーバーヘッド型のウェアラブルコンピュータであってもよい。表示端末２０は、メガネ型のウェアラブルコンピュータや、スマートフォンであってもよい。また、音声再生端末１０と表示端末２０とが、一つの装置により実現されてもよい。例えば、メガネ型のウェアラブルコンピュータが、音声再生端末１０と表示端末２０の両方の機能を実現してもよい。

（５）メニュー項目は、第１実施形態及び第２実施形態で説明した例に限定されない。メニュー項目は、音声再生端末１０にダウンロードされた音楽や画像に関するものであってもよい。

（６）第１実施形態及び第２実施形態では、制御部１１の機能及び制御部２１の機能がソフトウェアにより実現される例について説明した。制御部１１の機能及び制御部２１の機能の少なくとも一部がハードウェアにより実現されてもよい。例えば、信号処理部１１２がハードウェアにより実現されてもよい。

（７）音声再生端末１０の制御部１１及び表示端末２０の制御部２１により実行されるプログラムは、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。

１０：音声再生端末、１６‐１，１６‐２：スピーカー、２０：表示端末、２５：表示部、１１１：配置部、１１２：信号処理部、１１３：出力制御部、１１４：送信部、１１５：検出部、１１６：選択部、１１７：実行部、１１８：設定部、２１１：表示制御部、２１２：送信部

Claims (11)

1. ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置する配置部と、
   前記仮想オブジェクトが配置された位置から前記ユーザに至る音の伝達特性に応じた信号処理を、前記メニュー項目を示す音声信号に施す信号処理部と、
   前記信号処理が施された前記音声信号に応じた音を出力するスピーカーと、
   前記ユーザの体の少なくとも一部を含むように前記仮想空間内に選択範囲を設定する選択範囲設定部と、
   前記仮想オブジェクトの配置に基づいて、前記設定された選択範囲に含まれる前記仮想オブジェクトと前記体の位置を示すマークとを、前記選択範囲における位置に対応する画面上の位置に表示する表示部と、
   前記体の動作を検出する検出部と、
   前記仮想オブジェクトが配置された方向に前記体を動かす動作が検出されたことに応じて、前記メニュー項目を選択する選択部と
   を備えるメニュー選択装置。
2. 前記メニュー項目を示す音が前記スピーカーから出力されたときに、前記メニュー項目を示す前記仮想オブジェクトの表示を変化させる表示制御部を更に備える
   請求項１に記載のメニュー選択装置。
3. 前記配置部は、複数のメニュー項目を示す複数の仮想オブジェクトを配置し、
   前記表示部は、前記複数の仮想オブジェクトの一部を表示する
   請求項１又は２に記載のメニュー選択装置。
4. 前記スピーカーは、前記複数のメニュー項目のうち、前記表示部に表示されている仮想オブジェクトが示すメニュー項目に限り、前記メニュー項目を示す音を出力する
   請求項３に記載のメニュー選択装置。
5. 前記選択部は、前記複数のメニュー項目のうち、前記表示部に表示されている仮想オブ
   ジェクトが示すメニュー項目に限り、選択を行う
   請求項３又は４に記載のメニュー選択装置。
6. 前記複数の仮想オブジェクトに互いに同じ大きさの複数の検知領域を設定する検知領域設定部を更に備え、
   前記選択部は、前記複数の検知領域のいずれかの検知領域の方向に前記体を動かす動作が検出されたことに応じて、前記検知領域が設定された仮想オブジェクトが示すメニュー項目を選択し、
   前記検知領域設定部は、前記表示部に表示されている仮想オブジェクトに設定された検知領域を拡大する
   請求項３から５のいずれか１項に記載のメニュー選択装置。
7. 前記配置部は、複数のメニュー項目を示す複数の仮想オブジェクトを配置し、
   前記複数の仮想オブジェクトに互いに同じ大きさの複数の検知領域を設定する検知領域設定部を更に備え、
   前記選択部は、前記複数の検知領域のいずれかの検知領域の方向に前記体を動かす動作が検出されたことに応じて、前記検知領域が設定された仮想オブジェクトが示すメニュー項目を選択し、
   前記検出部は、前記ユーザの顔の向きを検出し、
   前記検知領域設定部は、前記検出された向きに配置された第１仮想オブジェクトに設定された検知領域を拡大する
   請求項１に記載のメニュー選択装置。
8. 前記表示部は、前記複数の仮想オブジェクトを表示し、
   前記表示部に表示された前記複数の仮想オブジェクトのうち、前記第１仮想オブジェクトを拡大する表示制御部を更に備える
   請求項７に記載のメニュー選択装置。
9. 前記信号処理部は、前記第１仮想オブジェクトが示す第１メニュー項目を示す音声信号には、前記複数のメニュー項目の他のメニュー項目を示す音声信号とは異なる信号処理を施す
   請求項７又は８に記載のメニュー選択装置。
10. 前記選択範囲設定部は、前記表示部の位置を基準として、前記選択範囲を設定し、
    前記検出部は、前記表示部の移動量及び移動方向を検出し、
    前記選択範囲設定部は、前記検出された移動量及び移動方向に応じて前記選択範囲を移動させ、
    前記表示部は、前記選択範囲が移動されると、前記画面を更新して、前記移動された選択範囲に含まれる前記仮想オブジェクトと前記マークとを、前記移動された選択範囲における位置に対応する前記画面上の位置に表示する
    請求項１から９のいずれか１項に記載のメニュー選択装置。
11. ユーザが存在する現実空間に対応する仮想空間に、メニュー項目を示す仮想オブジェクトを配置するステップと、
    前記仮想オブジェクトが配置された位置から前記ユーザに至る音の伝達特性に応じた信号処理を、前記メニュー項目を示す音声信号に施すステップと、
    前記信号処理が施された前記音声信号に応じた音を出力するステップと、
    前記ユーザの体の少なくとも一部を含むように前記仮想空間内に選択範囲を設定するステップと、
    前記仮想オブジェクトの配置に基づいて、前記設定された選択範囲に含まれる前記仮想
    オブジェクトと前記体の位置を示すマークとを、前記選択範囲における位置に対応する画面上の位置に表示するステップと、
    前記体の動作を検出するステップと、
    前記仮想オブジェクトが配置された方向に前記体を動かす動作が検出されたことに応じて、前記メニュー項目を選択するステップと
    を備えるメニュー選択方法。

Images