JP6327417B2 - 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 - Google Patents

Description

本発明は、情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法に関し、特に例えば、ユーザに与える振動を制御する情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法に関する。

従来、装置本体に振動を与えるゲーム装置が知られている（例えば、特許文献１参照）。例えば、上記特許文献１で開示されたゲーム装置は、当該ゲーム装置に設けられたバイブレータを振動させることによって、当該ゲーム装置を把持するユーザの指や手に振動を伝える。

特開２００３−２７５４６４号公報

しかしながら、上記特許文献１で開示されたゲーム装置では、バイブレータ近傍を振動源とする単調な振動しかユーザに与えることができない。

それ故に、本発明の目的は、今までにない振動をユーザに知覚させることができる情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法を提供することである。

上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。

本発明の情報処理システムの一構成例は、音源位置設定手段、音声制御手段、および振動制御手段を備える。音源位置設定手段は、音源を定位させる位置を示す音源定位位置を設定する。音声制御手段は、設定された音源定位位置に音源が定位する音声信号を生成して出力する。振動制御手段は、音源定位位置と連係してユーザに振動を与える振動部を振動させるための振動信号を生成し、当該振動信号を出力する。

上記によれば、振動源としてユーザに知覚させる位置を、音源を定位させることが可能な空間まで広げることができ、今までにない振動をユーザに知覚させることができる。

また、上記振動制御手段は、振動源として知覚される位置が音源定位位置に応じた位置となるように振動信号を生成してもよい。

上記によれば、音源定位位置を振動源としてユーザに知覚させることができる。

また、上記音源位置設定手段は、音源定位位置が移動するように当該音源定位位置を設定してもよい。上記振動制御手段は、音源定位位置の移動に応じて振動源として知覚される位置が移動するように振動信号を生成してもよい。

上記によれば、音源の位置の移動と連係して振動源の位置を移動させることによって、バリエーションに富んだ音声および振動をユーザに与えることが可能となる。

また、上記振動制御手段は、音源定位位置に応じて振動部を振動させる振動強度が変化する振動信号を生成してもよい。

上記によれば、聴取者から音源までの距離や方向に適した振動を与えることができる。

また、上記情報処理システムは、ユーザが手に持つことができる手持ち型装置、音声出力部、および制御部を備えてもよい。音声出力部は、音声を出力する。制御部は、音源位置設定手段、音声制御手段、および振動制御手段を含む。上記手持ち型装置は、その本体に振動部を含んでもよい。上記音声制御手段は、音声信号を音声出力部に出力してもよい。上記振動制御手段は、振動信号を振動部に出力することによって、音源定位位置と連係して当該振動部を振動させてもよい。

上記によれば、手持ち型装置に振動を与えるとともに、当該手持ち型装置の外側に音源を定位させることによって、手持ち型装置の外側から振動が与えられているように知覚させることができる。

また、上記振動部は、手持ち型装置本体に設けられた複数の振動子を含んでもよい。上記振動制御手段は、音源定位位置と連係した位置が振動源として知覚されるように複数の振動子をそれぞれ振動させる振動信号をそれぞれ生成してもよい。

上記によれば、複数の振動子の間に振動源を設定することができるとともに、当該振動源の位置を音源が定位している位置へさらに移動させることができ、振動源を設定できる範囲がより広くなる。

また、上記振動制御手段は、複数の振動子を振動させる振動強度の割合を変化させることによって、移動する振動源が知覚される振動信号を生成してもよい。

上記によれば、複数の振動子を振動させる振動強度の割合を変化させることによって、容易に振動源が移動しているように知覚させることができる。

また、上記音声出力部は、複数のスピーカを含んでもよい。上記音声制御手段は、音源定位位置に音源が定位する音声を複数のスピーカからそれぞれ出力するための音声信号をそれぞれ生成してもよい。

上記によれば、音を定位させることができる範囲が広がるため、振動源を移動させる範囲も広くすることができる。

また、上記音声制御手段は、所定の聴取位置におけるユーザの左耳および右耳にそれぞれ音源から到来する音を算出する関数に基づいて、音声信号を生成してもよい。

上記によれば、音の定位感が明りょうとなるため、当該音の定位位置に移動したように知覚される振動源の位置も明りょうとなる。

また、上記関数は、周波数に応じた音圧レベル特性に基づいて設定されてもよい。

上記によれば、聴取者が知覚する音源の場所を明りょうに設定することができる。

また、上記関数は、音源方向に応じた音圧レベル特性に基づいて設定されてもよい。

上記によれば、聴取者が知覚する音源の場所を明りょうに設定することができる。

また、上記関数は、頭部伝達関数でもよい。

上記によれば、聴取者が知覚する音源の場所をより明りょうに設定することができる。

また、上記音声制御手段は、所定の聴取位置におけるユーザの左耳および右耳に音源からそれぞれ到来する音が録音されたデータを用いて、音声信号を生成してもよい。

上記によれば、聴取者の耳に至る音声の状態そのものが記録されたデータが用いられるため、音声を聴取するユーザに対して音の定位感を与えることができる。

また、上記振動制御手段は、音源が定位している方向に振動源を定位させる位置を示す振動源定位位置を設定して、当該設定した振動源定位位置に振動源が定位する振動信号を生成してもよい。

上記によれば、音源が定位している位置に振動源が移動したように明りょうに知覚させることができる。

また、上記情報処理システムは、ユーザが手に持つことができる手持ち型装置を、さらに含んでもよい。この場合、上記振動制御手段は、手持ち型装置を持つユーザから音源が定位している位置への実質的に直線上に振動源定位位置を設定してもよい。

上記によれば、音源が定位している位置に振動源が移動したようにより明りょうに知覚させることができる。

また、上記振動制御手段は、音源定位位置までの距離に応じて、手持ち型装置を振動させる振動強度が変化する振動信号を生成してもよい。

上記によれば、聴取者から音源までの距離に適した振動を与えることができる。

また、上記手持ち型装置は、画像表示部を含んでもよい。上記情報処理システムは、画像制御手段を、さらに備えてもよい。画像制御手段は、画像表示部に表示する画像を制御する。

上記によれば、表示画像に応じた音声や振動をユーザに与えることが可能となるため、リアリティの高い体験をユーザに与えることが可能となる。

また、上記画像制御手段は、少なくとも１つのオブジェクトを画像表示部に表示してもよい。上記音源位置設定手段は、オブジェクトが画像表示部に表示されている位置に応じて、音源を定位させる位置を設定してもよい。

上記によれば、オブジェクト表示位置に応じて、音源を定位させることによって、よりリアリティの高い体験をユーザに与えることができる。

また、上記音声出力部は、ヘッドホンでもよい。

上記によれば、聴取者が知覚する音源の場所が明りょうとなる音声を出力することができる。

また、本発明は、上記各手段を備える情報処理装置やコンピュータを上記各手段として機能させる情報処理プログラムや上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。

また、本発明の情報処理装置の他の構成例は、ユーザが手に持つことができる手持ち型である。情報処理装置は、複数の振動子、音源位置設定手段、音声制御手段、振動源位置設定手段、および振動制御手段を備える。複数の振動子は、情報処理装置の内部に設けられる。音源位置設定手段は、音源を定位させる位置を示す音源定位位置を情報処理装置の外部に設定することが可能である。音声制御手段は、設定された音源定位位置に音源が定位する音声信号を生成して出力する。振動源位置設定手段は、音源定位位置と連係して、複数の振動子間において振動源を定位させる位置を示す振動源定位位置を設定する。振動制御手段は、設定された振動源定位位置に振動源が定位する振動信号を生成して出力する。

上記によれば、振動源としてユーザに知覚させる位置を、音源を定位させることが可能な空間まで広げることができ、今までにない振動をユーザに知覚させることができる。また、複数の振動子の間に振動源を定位させ、音源を情報処理装置の外部に定位させることにより、情報処理装置内の振動源が当該装置外に移動したように知覚させることができる。

本発明によれば、振動源としてユーザに知覚させる位置を、音源を定位させることが可能な空間まで広げることができ、今までにない振動をユーザに知覚させることができる。

本発明の一実施例に係る情報処理装置３の外観の一例を示す平面図 情報処理装置３の構成の一例を示すブロック図 振動発生部３７の構成の一例を示すブロック図 表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪの表示位置に応じて、情報処理装置３本体が振動するとともに音声が出力される一例を示す図 情報処理装置３本体の左側に与えられる振動の一例を説明するための図 情報処理装置３本体の右側に与えられる振動の一例を説明するための図 音声出力装置４から出力される左音声の一例を説明するための図 音声出力装置４から出力される右音声の一例を説明するための図 情報処理装置３本体の左側に与えられる振動のスペクトラムの一例を説明するための図 情報処理装置３本体の右側に与えられる振動のスペクトラムの一例を説明するための図 情報処理装置３から出力される左音声のスペクトラムの一例を説明するための図 情報処理装置３から出力される右音声のスペクトラムの一例を説明するための図 音の定位位置と振動源として知覚される位置との関係の一例を示す図 情報処理装置３の記憶部３２に記憶される主なデータおよびプログラムの一例を示す図 情報処理装置３において実行される情報処理の一例を示すフローチャート

図面を参照して、本発明の一実施形態に係る情報処理プログラムを実行する情報処理装置を含む情報処理システムについて説明する。本発明の情報処理プログラムは、任意のコンピュータシステムで実行されることによって適用することができるが、情報処理装置の一例として携帯型の情報処理装置３（タブレット端末）を用い、情報処理装置３で実行される情報処理プログラムを用いて説明する。例えば、情報処理装置３は、交換可能な光ディスクやメモリーカード等の記憶媒体内に記憶された、または、他の装置から受信したプログラムや予めインストールされたプログラム（例えば、ゲームプログラム）を実行可能であり、一例として、仮想空間に設定された仮想カメラから見た仮想空間画像等のコンピュータグラフィックス処理により生成された画像を画面に表示することができる。情報処理装置３は、一般的なパーソナルコンピュータ、据置型ゲーム機、携帯電話機、携帯ゲーム機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等のデバイスであってもかまわない。なお、図１は、情報処理装置３を含む情報処理システムの外観の一例を示す平面図である。

図１において、情報処理システムは、情報処理装置３と当該情報処理装置３に接続された音声出力装置３を含む。情報処理装置３は、表示部３５、音声出力端子３８、およびアクチュエータ３７３を備えている。一例として、表示部３５は、情報処理装置３本体前面に設けられている。例えば、表示部３５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）によって構成されるが、例えばＥＬを利用した表示装置などが利用されてもよい。また、表示部３５は、立体視可能な画像を表示することが可能な表示装置であってもよい。

表示部３５の表示画面を覆うように、入力部３４の一例であるタッチパネル３４１が設けられている。タッチパネル３４１は、所定の入力面（例えば、表示部３５の表示画面）に対して入力された位置を検出する。なお、入力部３４は、情報処理装置３のユーザが操作入力可能な入力装置であり、どのような入力装置であってもよい。例えば、入力部３４として、スライドパッド、アナログスティック、十字キー、および操作ボタン等の操作部が、情報処理装置３本体の側面や背面等に備えられてもよい。また、入力部３４は、情報処理装置３本体の姿勢や動きを検出するためのセンサであってもよい。例えば、入力部３４は、情報処理装置３本体に生じる加速度を検出する加速度センサや情報処理装置３本体の回転量を検出する角速度センサ（ジャイロセンサ）等であってもよい。

アクチュエータ３７３は、情報処理装置３の本体に所定の振動を与える振動アクチュエータ（振動子）であり、後述する振動発生部３７に含まれる。図１に示した一例では、アクチュエータ３７３は、情報処理装置３本体内部の左側に設けられた左アクチュエータ３７３Ｌと、情報処理装置３本体内部の右側に設けられた右アクチュエータ３７３Ｒとを有する。具体的には、図１の破線領域で示すように、ユーザが情報処理装置３の左端部を左手で把持した場合に当該左手に近い位置となる表示部３５の左側に左アクチュエータ３７３Ｌが設けられる。また、ユーザが情報処理装置３の右端部を右手で把持した場合に当該右手に近い位置となる表示部３５の右側に右アクチュエータ３７３Ｒが設けられる。また、振動発生部３７は、後述する制御部３１から出力される振動制御信号（左振動制御信号および右振動制御信号）をＤ／Ａ変換してアナログ振動信号（左アナログ振動信号および右アナログ振動信号）を生成し、当該アナログ振動信号を増幅した駆動信号をアクチュエータ３７３（左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）へそれぞれ出力してアクチュエータ３７３を駆動させる。

音声出力端子３８は、音声出力端子３８は、情報処理装置３の外部に設けられた音声出力装置４へ音声信号を出力する端子である。例えば、音声出力端子３８は、音声出力装置４（例えば、ヘッドホンやイヤホン等のユーザの頭部や耳に装着して音声を出力する装置や外部スピーカ等）のコードに設けられた接続端子と接続される。情報処理装置３は、後述する制御部３１から音声信号（左音声制御信号および右音声制御信号）を出力する。また、後述する音声信号変換部３６において、出力された音声信号をＤ／Ａ変換してアナログ音声信号（左アナログ音声信号および右アナログ音声信号）を生成し、当該アナログ音声信号を音声出力端子３８へ出力する。そして、音声出力端子３８に接続された音声出力装置４から、上記音声信号に応じた音声が出力される。

なお、情報処理装置３は、情報処理装置３本体の上側面や背面の左右に設けられた一対のステレオスピーカ（左スピーカ３６Ｌおよび右スピーカ３６Ｒ）を含んでいてもよい。この場合、情報処理装置３は、音声出力端子３８に接続端子が接続されていない場合に情報処理装置３本体に設けられたスピーカへ上記アナログ音声信号を出力し、音声出力端子３８に接続端子が接続された場合に音声出力端子３８に接続された音声出力装置４へアナログ音声信号を出力する。

次に、図２を参照して、情報処理装置３の内部構成について説明する。なお、図２は、情報処理装置３の構成の一例を示すブロック図である。

図２において、上述した入力部３４、表示部３５、音声出力端子３８、および振動発生部３７の他に、制御部３１、記憶部３２、音声信号変換部３６、およびプログラム格納部３３を備える。なお、情報処理装置３は、制御部３１を少なくとも含む情報処理装置と他の装置とを含む１以上の装置によって構成されてもよい。

制御部３１は、各種の情報処理を実行するための情報処理手段（コンピュータ）であり、例えばＣＰＵである。制御部３１は、各種の情報処理として、入力部３４に対するユーザの操作に応じた処理等を実行する機能を有する。例えば、ＣＰＵが所定のプログラムを実行することによって、制御部３１における各機能が実現される。

制御部３１は、各種の情報処理として、表示部３５に表示する画像の表示制御を行う。また、制御部３１は、各種の情報処理として、音声制御装置４から出力する音声を制御するための音声制御信号（例えば、デジタル音声信号）を、音声信号変換部３６へ出力する。また、制御部３１は、各種の情報処理として、アクチュエータ３７３（左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）の振動を制御するための振動制御信号（例えば、デジタル振動信号）を、振動発生部３７へ出力する。

記憶部３２は、制御部３１が上記情報処理を実行する際に用いる各種のデータを記憶する。記憶部３２は、例えばＣＰＵ（制御部３１）がアクセス可能なメモリである。

プログラム格納部３３は、プログラムを記憶（格納）する。プログラム格納部３３は、制御部３１がアクセス可能な記憶装置（記憶媒体）であればどのようなものであってもよい。例えば、プログラム格納部３３は、制御部３１を含む情報処理装置３内に設けられる記憶装置であってもよいし、制御部３１を含む情報処理装置３に着脱自在に装着される記憶媒体であってもよい。また、プログラム格納部３３は、制御部３１とネットワークを介して接続される記憶装置（サーバ等）であってもよい。制御部３１（ＣＰＵ）は、ゲームプログラムの一部または全部を適宜のタイミングで記憶部３２に読み出し、読み出されたプログラムを実行するようにしてもよい。

音声信号変換部３６は、制御部３１から出力される音声信号（左音声制御信号および右音声制御信号）をＤ／Ａ変換してアナログ音声信号（左アナログ音声信号および右アナログ音声信号）を生成する。そして、音声信号変換部３６は、音声出力端子３８に音声出力装置４の接続端子が接続された場合、音声出力端子３８へアナログ音声信号を出力する。一方、音声信号変換部３６は、音声出力端子３８に接続端子が接続されていない場合、情報処理装置３に内蔵されているスピーカ（例えば、ステレオスピーカ）へ、上記アナログ音声信号を出力して音声を出力させる。なお、音声信号変換部３６は、音声出力端子３８に接続端子が接続された場合、当該接続端子が接続されて音声出力先が外部の音声出力装置４に切り替えたことを示す音声切替信号を制御部３１へ出力してもよい。

次に、図３を参照して、振動発生部３７の構成について説明する。なお、図３は、振動発生部３７の構成の一例を示すブロック図である。

図３において、振動発生部３７は、コーデック部３７１、増幅部３７２、左アクチュエータ（左振動子）３７３Ｌ、および右アクチュエータ（右振動子）３７３Ｒを備えている。

コーデック部３７１は、制御部３１から出力された振動制御信号を取得して所定の復号処理を行ってアナログ振動信号を生成し、増幅部３７２へ出力する。例えば、アクチュエータ３７３が複数設けられており、それぞれのアクチュエータ３７３（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）から独立した振動を発生させる場合、アクチュエータ３７３毎に振動を制御するための振動制御信号（例えば、左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ）が制御部３１から出力される。この場合、コーデック部３７１は、制御部３１から出力された振動制御信号をそれぞれ復号して、アクチュエータ３７３毎に振動を発生させるためのアナログ振動信号（例えば、左アナログ振動信号ＡＳＬおよび右アナログ振動信号ＡＳＲ）を生成して、増幅部３７２へそれぞれ出力する。

増幅部３７２は、コーデック部３７１から出力されたアナログ振動信号を増幅してアクチュエータ３７３を駆動するための駆動信号を生成し、アクチュエータ３７３へ出力する。例えば、アクチュエータ３７３が複数設けられている場合（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒが設けられている場合）、増幅部３７２は、コーデック部３７１から出力されたアナログ振動信号（例えば、左アナログ振動信号ＡＳＬおよび右アナログ振動信号ＡＳＲ）の電流／電圧の振幅変化をそれぞれ増大させて駆動信号（例えば、左駆動信号ＤＳＬおよび右駆動信号ＤＳＲ）を生成して、アクチュエータ３７３（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）へそれぞれ出力する。

アクチュエータ３７３は、増幅部３７２から出力された駆動信号に応じて駆動することによって、情報処理装置３の本体に当該駆動信号に応じた振動を与える。例えば、アクチュエータ３７３は、図１に示すように、表示部３５の表示画面の中心に対して情報処理装置３本体の左側と右側とにそれぞれ設けられた、左アクチュエータ３７３Ｌと右アクチュエータ３７３Ｒとによって構成される。一例として、左アクチュエータ３７３Ｌは、情報処理装置３本体においてユーザが左手で把持する部位内に配置され、右アクチュエータ３７３Ｒは、情報処理装置３本体においてユーザが右手で把持する部位内に配置される。ここで、アクチュエータ３７３が情報処理装置３本体に振動を与える方式は、どのようなものでもかまわない。例えば、アクチュエータ３７３は、偏心モーター（ＥＲＭ：Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）によって振動を生じさせる方式や、リニア・バイブレータ（ＬＲＡ：Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）によって振動を生じさせる方式や、ピエゾ（圧電）素子によって振動を生じさせる方式等を用いた構成であってもよい。アクチュエータ３７３が振動を生じさせる方式に応じて、増幅部３７２から出力される駆動信号が生成されれば、どのような方式のアクチュエータであっても様々な振動を情報処理装置３のユーザに与えることができる。

なお、振動発生部３７の構成については、１以上のコーデック部や１以上の増幅部が設けられてもよい。例えば、設けられている複数のアクチュエータ３７３毎にコーデック部や増幅部を設けることが考えられる。また、上述した説明では、コーデック部３７１で生成されたアナログ振動信号が増幅されてアクチュエータ３７３を駆動するための駆動信号が生成される例を用いたが、コーデック部３７１から増幅部３７２へ出力される信号は、デジタル信号であってもよい。例えば、パルス幅変調（ＰＷＭ：Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御によってアクチュエータ３７３を駆動する場合、コーデック部３７１がアクチュエータ３７３をオン／オフするためのパルス信号を生成すればよい。この場合、コーデック部３７１から増幅部３７２へ出力される信号は、パルス波を用いて駆動が制御されるデジタル振動信号となり、増幅部３７２は、当該デジタル振動信号を増幅することになる。

また、振動発生部３７のコーデック部３７１は、音声信号変換部３６で行われる音声信号のＤ／Ａ変換（御部３１から出力される音声信号（左音声制御信号および右音声制御信号）をＤ／Ａ変換してアナログ音声信号（左アナログ音声信号および右アナログ音声信号）を生成する処理）も行ってもよい。また、振動発生部３７の増幅部３７２は、生成されたアナログ音声信号を増幅する処理も行ってもよい。この場合、振動発生部３７と音声信号変換部３６との間で、コーデック部および／または増幅部が共用されることになる。

次に、情報処理装置３が行う具体的な処理を説明する前に、図４〜図１３を用いて情報処理装置３において行われる処理の概要について説明する。以下の説明では、表示部３５の表示画面内を仮想オブジェクトＯＢＪが移動するゲームを行う処理を、情報処理装置３において行われる情報処理の一例として用いる。なお、図４は、表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪの表示位置に応じて、情報処理装置３本体が振動するとともに音声が出力される一例を示す図である。図５は、上記ゲーム例において、情報処理装置３本体の左側に与えられる振動の一例を説明するための図である。図６は、上記ゲーム例において、情報処理装置３本体の右側に与えられる振動の一例を説明するための図である。図７は、上記ゲーム例において、音声出力装置４から出力される左音声の一例を説明するための図である。図８は、上記ゲーム例において、音声出力装置４から出力される右音声の一例を説明するための図である。図９は、上記ゲーム例において、情報処理装置３本体の左側に与えられる振動のスペクトラムの一例を説明するための図である。図１０は、上記ゲーム例において、情報処理装置３本体の右側に与えられる振動のスペクトラムの一例を説明するための図である。図１１は、上記ゲーム例において、情報処理装置３から出力される左音声のスペクトラムの一例を説明するための図である。図１２は、上記ゲーム例において、情報処理装置３から出力される右音声のスペクトラムの一例を説明するための図である。図１３は、音の定位位置と振動源として知覚される位置との関係の一例を示す図である。

図４に示す例では、仮想空間内を移動する仮想オブジェクトＯＢＪが表示部３５の表示画面に表示される。仮想オブジェクトＯＢＪは、ユーザ操作に応じて、または自動的に仮想空間内を移動して表示部３５の表示画面に表示される。図４に示した例では、表示部３５の表示画面に表示された仮想空間において、当該表示画面の奥側に配置された仮想オブジェクトＯＢＪが向かって左から右へ移動している。

仮想オブジェクトＯＢＪの移動に応じて、情報処理装置３本体が振動するとともに音声が出力される。例えば、音声出力装置４の一例であるヘッドホンに設けられた左右のスピーカからは、ユーザが把持している情報処理装置３よりユーザから見て向こう側（奥側）となる現実空間における位置に音が定位するように、仮想オブジェクトＯＢＪの移動に応じた音が出力されている。典型的には、上記音が定位する位置（音源定位位置）は、ユーザから見て表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪを通る直線上であって、当該表示画面の向こう側（奥側）となる現実空間内の位置となる。このように、仮想オブジェクトＯＢＪの表示位置と当該仮想オブジェクトＯＢＪに対応する音の音源定位位置とを実質的に一致させることによって、視覚と聴覚とを利用したリアルな体験をユーザに与えることができる。

また、情報処理装置３本体に設けられた左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒは、表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪの表示位置に応じて、それぞれ仮想オブジェクトＯＢＪが移動する際に生じる振動を生じさせる。一例として、ユーザの皮膚における異なる２点（具体的には、情報処理装置３本体を把持するユーザの左手と右手）に刺激を与えることによって擬似的な１点の刺激を知覚させるファントムセンセーションを利用して、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒは、仮想オブジェクトＯＢＪの表示位置が振動の定位位置であるように擬似的に知覚させる振動（仮想オブジェクトＯＢＪの表示位置が疑似力覚を提示する位置となる振動）を情報処理装置３のユーザに与える。

例えば、図５および図６に示すように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからそれぞれ異なる振動が情報処理装置３本体に与えられることによって、上述したファントムセンセーションを実現する。例えば、左アクチュエータ３７３Ｌから情報処理装置３本体に与えられる振動（振動信号（左側）；例えば、左アクチュエータ３７３Ｌを駆動させる駆動信号または左アナログ振動信号を示す）の振幅を、右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動（振動信号（右側）；例えば、右アクチュエータ３７３Ｒを駆動させる駆動信号または右アナログ振動信号を示す）の振幅より相対的に小さく制御する。これによって、左側から与える振動より右側から与える振動が強くなるため、表示部３５の表示画面右寄りの位置が振動源であるようにユーザに知覚させることができる。

このような振動が情報処理装置３のユーザに与えられているとき、音声出力装置４の一例であるヘッドホンに設けられた左右のスピーカからは、ユーザが把持している情報処理装置３よりユーザから見て向こう側（奥側）となる現実空間における位置に音が定位する上記振動に応じた音声が出力されている。例えば、図７および図８に示すように、上記音が定位する位置（音源定位位置）が、表示画面の向こう側（奥側）となる現実空間内の位置であって、向かって右寄りの位置となるような音声が出力される。このように、仮想オブジェクトＯＢＪの表示位置、仮想オブジェクトＯＢＪに対応する振動源位置、および当該仮想オブジェクトＯＢＪに対応する音の音源定位位置を、後述する位置関係に配置することによって、これらの位置が実質的に一致して、視覚、聴覚、および触覚を利用したリアルな体験をユーザに与えることができる。

また、右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動の振幅を、左アクチュエータ３７３Ｌから情報処理装置３本体に与えられる振動の振幅より相対的に小さく制御する。これによって、右側から与える振動より左側から与える振動が強くなるため、表示部３５の表示画面左寄りの位置が振動源であるようにユーザに知覚させることができる。この場合、音声出力装置４の左右のスピーカからは、ユーザが把持している情報処理装置３よりユーザから見て向こう側（奥側）となる現実空間における位置であって、向かって左寄りの位置に音が定位する上記振動に応じた音声が出力される。

さらに、図９および図１０に示すように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからそれぞれ複数の周波数成分を有する振動（単一の周波数成分のみの振動ではない振動）が情報処理装置３本体に与えられてもよい。例えば、図９および図１０は、ある時点において情報処理装置３本体に与えられる振動のスペクトラムの一例を示しており、所定幅を有する周波数帯域の振動（広帯域の振動）が左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられていることが示されている。より具体的には、１０Ｈｚ（ヘルツ）より低い周波数成分から１ｋＨｚ（キロヘルツ）より高い周波数成分までの周波数帯域に対する全域に対してパワーを有する振動が、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる。ここで、人間の皮膚感覚を受容する感覚受容器は、メルケル盤、マイスナー小体、パチニ小体、およびルフィニ終末等で構成されており、メルケル盤が０−２００Ｈｚの振動に応答するとされ、マイスナー小体が２０−１００Ｈｚの振動に応答し３０Ｈｚ付近の振動が最も感度が高いとされ、パチニ小体が１００−３００Ｈｚの振動に応答し２００Ｈｚ付近の振動が最も感度が高いとされている。左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動は、人間が振動を感じることができるとされる０−１ｋＨｚの周波数帯域の振動または当該周波数帯域の一部の振動を有するとともに、これらの感覚受容器がそれぞれ応答可能な周波数成分（図９および図１０に示すＡ〜Ｃ領域の周波数成分）を有しており、リアリティに富んだ触り心地を再現してユーザに提示することができる。

また、図９−図１２に示すように、情報処理装置３のユーザに与えることができる振動および情報処理装置３から出力する音声は、それぞれ別のスペクトラムを有することができる。例えば、情報処理装置３は、人間が振動を感じることができるとされる０−１０００Ｈｚの広帯域を中心とした振動をユーザに与えることができるとともに、人間が耳に聞こえる可聴周波数である２０−２００００Ｈｚの広帯域を中心とした音声を出力することができ、それぞれ別の制御信号によって別の振動体（左アクチュエータ３７３Ｌ、右アクチュエータ３７３Ｒ、および音声出力装置４のスピーカ）を制御することによってそれぞれ別のスペクトラムを有することができる。

ここで、図１３に示すように、ユーザの位置と振動の定位位置と音の定位位置とが、現実空間において直線上に並ぶ場合、振動の定位位置が音の定位位置に移動する。例えば、上述したように、疑似的に知覚させた表示画面上の振動の定位位置（振動源）は、音声出力装置４から音声出力されている音の定位位置（音源）に移動して知覚される。したがって、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒを振動させることによって、情報処理装置３を把持するユーザは、音の定位位置が振動源として振動しているように知覚する。具体的には、上記音の定位位置に定位させる音声を出力タイミングと上記振動の定位位置に定位させる振動を生成するタイミングとを一致させるとともに、双方の定位感を明りょうにすることによって、上述した振動の定位位置が音の定位位置に移動する。このような手法によって、振動源としてユーザに知覚させる位置を、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒの間だけでなく、音を定位させることが可能な空間まで広げることができる。なお、後述する立体音響の技術を用いれば、ユーザを基準として前後、左右、上下に音を定位させることができるため、振動源としてユーザに知覚させる位置も同様にユーザを基準として前後、左右、上下に広がる空間に定位させることが可能となる。このように音の定位位置に振動源として知覚される位置が移動する現象は、複数のアクチュエータ（すなわち、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）の間に振動の定位位置があるように擬似的に知覚させるような環境の場合に生じやすく、複数のアクチュエータを用いた振動制御と音の定位位置とを組み合わせることによって、より好適な操作環境となる。

一例として、ある振動強度で左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒを振動させた後、当該振動強度を小さくした場合、情報処理装置３のユーザは、振動源が遠くに移動したのか、単に振動源が発する振動の強度が小さくなったのか判別することができない。このような場合に、上記振動強度を小さくすることに応じて音源定位位置をユーザから離れるように制御することによって、情報処理装置３のユーザは、振動源が遠くに移動したと判別することが可能となる。一方、音源定位位置を固定した状態で上記振動強度を小さくするように制御することによって、情報処理装置３のユーザは、振動源が発する振動自体が小さくなったと判別することが可能となる。また、上述した音源定位位置に応じた位置に仮想オブジェクトＯＢＪを配置して表示することによって、さらに上述した判別が容易となる。

なお、現実空間において、ユーザの位置と振動の定位位置と音の定位位置とが直線上に並ぶことによって、ユーザが知覚する振動の定位位置を音の定位位置に移動させることができるが、これらの位置関係は、直線上になくてもよい。例えば、音が定位していると知覚する位置や振動が定位していると知覚する位置は、ユーザによって個体差があるとともに、厳密に直線上にない場合であっても、ユーザから見て振動の定位位置と音の定位位置とがある程度同じ方向にあれば、音と振動とが同じ位置から生じているようにユーザが知覚することができる。つまり、音が定位している方向を中心とした所定の範囲内に振動源が知覚されるような振動を左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えることによって、ユーザが知覚する振動の定位位置を音の定位位置に移動させることができる。また、表示部３５の表示画面に表示される仮想オブジェクトＯＢＪの存在を模した振動や音（例えば、移動する際の振動や移動音）を出力することによって、仮想オブジェクトＯＢＪの表示位置と音が定位している位置および振動が定位している位置とが一致しているとユーザにより明りょうに知覚させることもできる。

このように、仮想オブジェクトＯＢＪの表示位置、音の定位位置、および振動の定位位置が実質的に一致しているように知覚させることによって、視覚と聴覚と触覚とを利用したリアルな体験をユーザに与えることができる。また、仮想オブジェクトＯＢＪの存在を示す振動と音（例えば、仮想オブジェクトＯＢＪが移動する際の振動と移動音）を模して、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与える振動と音声出力装置４から出力する音声とを生成することによって、さらにリアリティを高めることが可能となる。

次に、本実施例において、音声出力装置４から出力される音声について説明する。本実施例では、音声出力装置４から音声を聴取するユーザに対して明りょうな音の定位感を与えるために、立体音響技術が用いられた音声が音声出力装置４から出力される。例えば、バイノーラル方式によって生成された音声は、聴取するユーザに対して、音の空間的方向や距離を認知させることができる。

立体音響技術の１つであるバイノーラル方式は、音源から聴取者の両耳までの音の伝達特性（頭部伝達関数）を用いて、音が到来する方向や音源までの距離を聴取者に認知させる。例えば、人が音を聴取する場合、音源から鼓膜に至るまでに周波数に応じて音圧レベル（ゲイン）が変化し、当該周波数特性が頭部伝達関数として設定される。つまり、頭部伝達関数は、聴取者の鼓膜に直接到来する直接音だけでなく、聴取者の耳たぶ、頭部、身体の各部によって回折／反射した音の影響を考慮した伝達関数である。また、上記周波数特性は、音源が配置されている場所（方位）によって異なる特性を示している。また、ある方位に配置された音源からの音に対する周波数特性についても、左耳で音を聴取する周波数特性と右耳で音を聴取する周波数特性とは、異なる特性となる。つまり、聴取者の左右の鼓膜にそれぞれ至る音の周波数特性、音量、時間差等を制御することによって、聴取者が知覚する音源の場所（方位）を制御することができる。本実施例では、このような頭部伝達関数を用いることによって、立体音響をシミュレーションして、音声出力装置４から出力する音声を生成する。

なお、所定の聴取位置におけるユーザの左耳および右耳にそれぞれ音源から到来する音を想定して算出する関数に基づいて音声を生成すればよく、頭部伝達関数以外の関数を用いて音声を生成して、音声を聴取するユーザに対して音の定位感を与えてもよい。例えば、ホロフォニックス方式やオトフォニックス方式等、バイノーラル方式と同様の効果が得られる他の方式を用いて立体音響をシミュレーションしてもよい。また、上述した実施例における頭部伝達関数を用いた立体音響技術では、音源から鼓膜に至るまでに周波数に応じて音圧レベルを制御するとともに、音源が配置されている場所（方位）によっても音圧レベルが制御されているが、何れか一方の制御を用いて音声を生成してもよい。すなわち、音源から鼓膜に至るまでに周波数に応じて音圧レベルを制御するための関数のみを用いて、音声出力装置４から出力される音声を生成してもいいし、音源が配置されている場所（方位）によっても音圧レベルを制御するための関数のみを用いて、音声出力装置４から出力される音声を生成してもよい。また、これらの関数以外でも、音源が配置されている場所（方位）に応じた音量差、伝達時間差、位相の変化、残響の変化等の少なくとも１つを用いて音圧レベルを制御するための関数のみを用いて、音声出力装置４から出力される音声を生成してもよい。また、頭部伝達関数以外の関数を用いる例として、音源が配置されている位置からユーザまでの距離に応じて音圧レベルが変化する関数を用いて、立体音響をシミュレーションしてもよい。さらに、ユーザが操作している現実空間における気圧、湿度、および温度等の少なくとも１つに応じて音圧レベルが変化する関数を用いて、立体音響をシミュレーションしてもよい。

また、バイノーラル方式を用いる場合であっても、聴取者の頭部を模したダミーヘッドに組み込まれたマイクロフォンや人間の耳の内部に装着されたマイクロフォンで録音された周辺音を用いて、音声出力装置４から出力する音声を生成してもよい。この場合、聴取者の鼓膜に至る音声の状態が、聴取者の頭蓋骨と聴覚器との類似構造またはそのものを用いて記録されるため、同様に音声を聴取するユーザに対して音の定位感を与えることができる。

また、音声出力装置４は、ユーザの耳に直接音を出力するヘッドホンやイヤホンでなくてもよく、現実空間に音声を出力する据置型のスピーカであってもよい。例えば、音声出力装置４として据置型のスピーカを用いる場合、複数のスピーカをユーザの前方または周囲に配置して、それぞれのスピーカから音声を出力することが考えられる。第１の例として、ユーザの前方の左右に一対のスピーカ（いわゆる、２チャンネルスピーカ）を配置する場合、一般的なステレオ方式による音声を当該スピーカから出力することが考えられる。第２の例として、ユーザの前後左右に５つのスピーカ（いわゆる、５チャンネルスピーカ）を配置する場合、サラウンド方式によるステレオ音声を当該スピーカから出力することが考えられる。第３の例として、ユーザの前後左右上下に多数のスピーカ（例えば、２２．２マルチチャンネルスピーカ）を配置する場合、マルチチャンネル音響システムを用いたステレオ音声を当該スピーカから出力することが考えられる。第４の例として、バイノーラルスピーカを用いて、上述したバイノーラル方式による音声を当該スピーカから出力することが考えられる。何れの例であっても、ユーザの前後、左右、および／または上下に音を定位させることができるため、当該音の定位位置を用いて上記振動の定位位置を移動させることができる。

また、音声出力装置４は、単一のスピーカであってもよい。例えば、モノラル音声を出力するスピーカをユーザの前方に配置する場合であっても、当該スピーカの位置を音の定位位置に設定することができるため、当該音の定位位置を用いて上記振動の定位位置を移動させることができる。また、情報処理装置３に単一の振動アクチュエータが備えられていても、本実施例を実現することができる。例えば、ユーザと単一の振動アクチュエータとを結ぶ延長線上の現実空間内に音の定位位置を設定することによって、当該振動アクチュエータから得られる振動が当該音の定位位置から生じているように知覚することもできる。

また、本実施例では、情報処理装置３本体に振動を与えるための振動データと情報処理装置３から音声を出力するための音声データとが、それぞれ別に予め用意されていてもよい。この場合、情報処理装置３本体に与える振動の種類に応じた振動データを、上記用意された振動データの中から抽出して読み出すことによって、振動制御信号が生成される。また、情報処理装置３から出力する音声に応じた音声データを、上記用意された音声データの中から抽出して読み出すことによって、音声制御信号が生成される。なお、上記振動データは、左アクチュエータ３７３Ｌから振動を与えるための振動データと右アクチュエータ３７３Ｒから振動を与えるための振動データとを、それぞれ別に用意してもかまわない。一例として、振動源の位置に基づいて左右一対の振動データを予め用意し、情報処理装置３本体に振動を与える際には知覚させる振動源の位置に応じた左右一対の振動データを読み出してもかまわない。また、上記音声データについても、左スピーカから音声出力するための音声データと右スピーカから音声出力するための音声データとを、それぞれ別に用意してもよいことは言うまでもない。また、予め用意されている音声データを振動データとして用いてもかまわない。音声データもスピーカの振動板を振動させて駆動するために用いられるデータであるため、振動子を振動させて駆動させるためのデータ（すなわち、振動データ）として用いることも可能である。

また、本実施例では、左アクチュエータ３７３Ｌを駆動するための振動制御信号（左振動制御信号ＣＳＬ）と右アクチュエータ３７３Ｒを駆動するための振動制御信号（右振動制御信号ＣＳＲ）とは、それぞれ独立して生成されてもいいし、１つの振動制御信号を加工することによってそれぞれ生成されてもよい。例えば、後者の場合、各アクチュエータを振動させる振動強度に応じて予め用意されている１つの振動制御信号を加工することによって、左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲを生成することが考えられる。

また、上述したゲーム例では、仮想空間内を移動する仮想オブジェクトＯＢＪの位置に応じて、知覚させる振動源の位置を設定することができるが、本発明で知覚させる振動源の位置は、移動表示される画像の位置でなくてもよい。例えば、表示部３５の表示画面に固定表示された仮想オブジェクトが振動源であるように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与えられる振動が制御されてもよい。また、実世界を撮像した画像を表示部３５の表示画面に表示する場合、当該画像に出現する実世界の撮像物の位置が振動源であるように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与えられる振動が制御されてもよい。

また、上述したように、音の定位位置に振動の定位位置を移動させる場合、ユーザまたは情報処理装置３から音の定位位置までの距離に応じて、情報処理装置３に与える振動強度を変化させてもよい。一例として、音声出力装置４による音の定位位置が遠方からユーザに向かって近づくように移動する場合、当該音の定位位置の移動に応じて情報処理装置３に与える振動強度を大きく変化させることが考えられる。

次に、情報処理装置３において行われる処理の詳細を説明する。まず、図１４を参照して、処理において用いられる主なデータについて説明する。図１４は、情報処理装置３の記憶部３２に記憶される主なデータおよびプログラムの一例を示す図である。なお、以下の処理例においては、上述したゲーム例のゲーム処理を行う際の情報処理を用いて説明を行う。

図１４に示すように、記憶部３２のデータ記憶領域には、操作データＤａ、オブジェクト位置データＤｂ、振動設定情報データＤｃ、音声設定情報データＤｄ、振動制御信号データＤｅ、音声制御信号データＤｆ、振動データＤｇ、音声データＤｈ、および表示画像データＤｉ等が記憶される。なお、記憶部３２には、図１４に示すデータの他、実行するアプリケーションで用いるデータ等、処理に必要なデータ等が記憶されてもよい。また、記憶部３２のプログラム記憶領域には、情報処理プログラムを構成する各種プログラム群Ｐａが記憶される。例えば、各種プログラム群Ｐａは、振動制御信号を生成して情報処理装置３に振動を与えるための振動生成プログラム、音声制御信号を生成して情報処理装置３から音声を出力するための音声生成プログラム、および表示部３５に画像を表示するための画像表示プログラム等が含まれる。

操作データＤａは、入力部３４に対する操作内容を示すデータであり、例えばタッチパネル３４１に対するタッチ位置を示すデータを含んでいる。なお、入力部３４が情報処理装置３本体の姿勢や動きを検出するためのセンサを含んでいる場合、操作データＤａは、情報処理装置３本体の姿勢や動きを算出するためのデータ（例えば、情報処理装置３本体に生じる加速度を示すデータや情報処理装置３本体の角速度を示すデータ）を含んでもよい。

オブジェクト位置データＤｂは、仮想空間内を移動する仮想オブジェクトＯＢＪ（図４参照）の位置を示すデータである。

振動設定情報データＤｃは、振動種類データＤｃ１および振動源位置データＤｃ２等を含む。振動種類データＤｃ１は、情報処理装置３に与える振動の種類を示すデータである。振動源位置データＤｃ２は、情報処理装置３のユーザに知覚させる振動源の位置（上述した音の定位位置へ移動する前の位置）を示すデータである。

音声設定情報データＤｄは、音源種類データＤｄ１および音源定位位置データＤｄ２等を含む。音源種類データＤｄ１は、音声出力装置４から出力する音声の種類を示すデータである。音源定位位置データＤｄ２は、音声出力装置４から出力する音声の音源定位位置を示すデータである。

振動制御信号データＤｅは、制御部３１から振動発生部３７へ出力する振動制御信号（左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ；図３参照）を示すデータである。音声制御信号データＤｆは、制御部３１から音声信号変換部３６へ出力する音声制御信号（左音声制御信号および右音声制御信号）を示すデータである。

振動データＤｇは、振動制御信号を生成するために予め用意されたデータであり、情報処理装置３本体に与える振動の種類毎（例えば、振動を生じさせる仮想オブジェクト毎）にそれぞれ格納されている。音声データＤｈは、音声制御信号を生成するために予め用意されたデータであり、情報処理装置３から出力する音声の種類毎（例えば、音声を生じさせる仮想オブジェクト毎やＢＧＭの種類毎）にそれぞれ格納されている。ここで、音声データＤｈは、音声出力装置４から音声を聴取するユーザに対して音の定位感を与える、上述した立体音響技術が用いられた音声に対応する音声データである。

表示画像データＤｉは、仮想オブジェクトＯＢＪ等の各仮想オブジェクトの画像や背景画像等を生成して表示部３５に表示するためのデータである。

次に、図１５を参照して、情報処理装置３において行われる情報処理の一例であるゲーム処理の詳細を説明する。なお、図１５は、情報処理装置３において実行されるゲーム処理の一例を示すフローチャートである。ここで、図１５に示すフローチャートにおいては、情報処理装置３における処理のうち、上記ゲーム例における仮想オブジェクトＯＢＪが仮想空間を移動することに応じた振動および音声が出力される処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。また、図１５では、制御部３１が実行する各ステップを「Ｓ」と略称する。

制御部３１のＣＰＵは、記憶部３２のメモリ等を初期化し、プログラム格納部３３から情報処理プログラムをメモリに読み込む。そして、ＣＰＵによって当該情報処理プログラムの実行が開始される。図１５に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。

なお、図１５に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび／または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートの各ステップの処理を制御部３１（ＣＰＵ）が実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を上記ＣＰＵが実行し、その他のステップの処理を上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよく、上記フローチャートにおける全部のステップの処理を上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよい。

図１５において、制御部３１は、初期設定を行い（ステップ４１）、次のステップに処理を進める。例えば、制御部３１は、表示部３５に表示するための仮想空間を構築し、各パラメータを初期設定する。一例として、制御部３１は、仮想空間における初期位置に仮想オブジェクトＯＢＪを配置してオブジェクト位置データＤｂを設定する。また、制御部３１は、表示部３５の表示画面に表示する表示範囲を仮想空間に対して設定する。

次に、制御部３１は、入力部３４から操作データを取得し、操作データＤａを更新して（ステップ４２）、次のステップに処理を進める。

次に、制御部３１は、仮想空間において仮想オブジェクトＯＢＪを移動させる処理を行い（ステップ４３）、次のステップに処理を進める。例えば、制御部３１は、仮想空間内に予め定められた移動経路に沿って、予め定められた移動速度で仮想オブジェクトＯＢＪを移動させ、当該移動後の位置を用いてオブジェクト位置データＤｂを更新する。他の例として、制御部３１は、入力部３４に対する操作（情報処理装置３本体を移動させたり傾けたりする操作を含む）に応じて仮想オブジェクトＯＢＪを移動させる場合、上記ステップ４２において取得した操作データに応じて、仮想空間内で仮想オブジェクトＯＢＪを移動させ、当該移動後の位置を用いてオブジェクト位置データＤｂを更新する。

次に、制御部３１は、振動の種類および振動源の位置を設定して（ステップ４４）、次のステップに処理を進める。例えば、制御部３１は、振動生成プログラムおよび仮想空間に配置されている仮想オブジェクトＯＢＪの種類に基づいて、当該仮想オブジェクトＯＢＪが移動する際の振動の種類を設定し、当該振動の種類を示すデータを用いて振動種類データＤｃ１を更新する。また、制御部３１は、振動生成プログラムに基づいて、オブジェクト位置データＤｂが示す位置に配置された仮想オブジェクトＯＢＪの表示位置（すなわち、表示部３５の表示画面上の位置）が、ユーザに知覚させる振動源となるように当該振動源の位置を設定し、当該位置を示すデータを用いて振動源位置データＤｃ２を更新する。

次に、制御部３１は、振動設定情報に基づいて、振動制御信号を設定し（ステップ４５）、次のステップに処理を進める。例えば、制御部３１は、振動生成プログラムおよび振動設定情報データＤｃ（振動種類データＤｃ１および振動源位置データＤｃ２）に基づいて、振動データＤｇから読み出した振動データを用いて振動制御信号（振動発生部３７へ出力する左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ；図３参照）を生成し、振動制御信号データＤｅに格納する。具体的には、制御部３１は、振動種類データＤｃ１が示す種類の振動を情報処理装置３本体に与えるとともに、振動源位置データＤｃ２が示す位置（例えば、表示部３５の表示画面上の位置）が音の定位位置へ移動する前の振動源の位置となるように、振動データＤｇからデータを読み出して当該振動に対応する左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲをそれぞれ生成する。

次に、制御部３１は、音源の種類および当該音源を定位させる位置を設定して（ステップ４６）、次のステップに処理を進める。例えば、制御部３１は、音声生成プログラムおよび仮想空間に配置されている仮想オブジェクトＯＢＪの種類に基づいて、当該仮想オブジェクトＯＢＪが移動する際の音声の種類を設定し、当該音声の種類を示すデータを用いて音源種類データＤｄ１を更新する。また、制御部３１は、音声生成プログラムに基づいて、オブジェクト位置データＤｂが示す仮想空間における仮想オブジェクトＯＢＪの位置に対応する現実空間の位置（例えば、仮想オブジェクトＯＢＪの表示位置を通る直線上であって、表示部３５の表示画面の向こう側（奥側）となる現実空間の位置）が、上記音声の音源定位位置となるように当該音源定位位置を設定し、当該音源定位位置を示すデータを用いて音源定位位置データＤｄ２を更新する。このように音源定位位置を設定することによって、現実空間において、ユーザと振動源となる位置と音源定位位置とがほぼ一直線上に並び、さらに当該直線上に仮想オブジェクトＯＢＪの表示位置も並ぶことになる。

次に、制御部３１は、音声設定情報に基づいて、音声制御信号を設定し（ステップ４７）、次のステップに処理を進める。例えば、制御部３１は、音声生成プログラムおよび音声設定情報データＤｄ（音源種類データＤｄ１および音源定位位置データＤｄ２）に基づいて、音声制御信号（音声信号変換部３６へ出力する左音声制御信号および右音声制御信号）を生成して音声制御信号データＤｆに格納する。具体的には、制御部３１は、音源種類データＤｄ１が示す種類の音声を音声出力装置４から出力されるとともに、音源定位位置データＤｄ２が示す位置が音源定位位置となるように、音声データＤｈから読み出したデータを加工して左音声制御信号および右音声制御信号をそれぞれ生成する。

次に、制御部３１は、表示制御処理を行い（ステップ４８）、次のステップに処理を進める。例えば、制御部３１は、画像生成プログラムおよびオブジェクト位置データＤｂに基づいて、仮想オブジェクトＯＢＪを配置した仮想空間の画像を生成し、設定されている表示範囲内の仮想空間の画像を表示部３５に表示する処理を行う。

次に、制御部３１は、制御信号出力処理を行い（ステップ４９）、次のステップに処理を進める。例えば、制御部３１は、振動制御信号データＤｅが示す左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲをそれぞれ振動発生部３７へ出力する。これによって、振動発生部３７は、左振動制御信号ＣＳＬに応じた振動を左アクチュエータ３７３Ｌから発生させ、右振動制御信号ＣＳＲに応じた振動を右アクチュエータ３７３Ｒから発生させる。また、制御部３１は、音声制御信号データＤｆが示す左音声制御信号および右音声制御信号をそれぞれ音声信号変換部３６へ出力する。これによって、音声信号変換部３６は、左音声制御信号および右音声制御信号をＤ／Ａ変換および増幅して、左音声制御信号に応じた音声を音声出力装置４の左スピーカから出力し、右音声制御信号に応じた音声を音声出力装置４の右スピーカから出力する。このように上記音源定位位置に音が定位した音声を出力することによって、ユーザと当該音源定位位置とを結ぶ直線上の位置に配置された振動源が当該音源定位位置に移動したように知覚されるため、音源定位位置と振動定位位置とが一致したように知覚させることができる。

次に、制御部３１は、ゲーム処理を終了するか否かを判断する（ステップ５０）。ゲーム処理を終了する条件としては、例えば、ゲーム処理を終了させる条件が満たされたことや、ユーザがゲーム処理を終了する操作を行ったこと等がある。制御部３１は、ゲーム処理を終了しない場合に上記ステップ４２に戻って処理を繰り返し、ゲーム処理を終了する場合に当該フローチャートによる処理を終了する。

このように、上述した実施例に係るゲーム処理では、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒによって与えられる広帯域の振動を情報処理装置３に与えることによって、バリエーションに富んだ振動をユーザに与えることができる。また、振動源としてユーザに知覚させる位置を、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒの間だけでなく、音を定位させることが可能な空間まで広げることができ、今までにない振動をユーザに知覚させることができる。

なお、上述した説明では情報処理（ゲーム処理）を情報処理装置３で行う例を用いたが、上記情報処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、情報処理装置３がさらに他の装置（例えば、別のサーバ、他のゲーム装置、他の携帯端末）と通信可能に構成されている場合、上記情報処理における処理ステップは、さらに当該他の装置が協働することによって実行してもよい。一例として、他の装置において、仮想空間の画像の生成処理、振動制御信号の生成処理、および音声制御信号の生成処理の少なくとも１つが行われ、当該処理の結果を示す画像データや制御信号を情報処理装置３が取得することも考えられる。このように、上記情報処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した情報処理と同様の処理が可能となる。また、上述した情報処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、情報処理装置３の制御部３１が所定の情報処理プログラムを実行することによって、上述したフローチャートによる処理が行われたが、情報処理装置３が備える専用回路によって上記情報処理の一部または全部が行われてもよい。

ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置（据置型のゲーム装置）と手持ち型の情報処理装置（手持ち型のゲーム装置）との間で上記情報処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した情報処理の各ステップの処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。

また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。また、上述した情報処理装置で用いられる各構成部品の形状、数、配置位置、部品が有する機能等は、単なる一例に過ぎず他の形状、数、配置位置であってもいいし、他の機能を有するものであっても、本実施例を実現できることは言うまでもない。一例として、情報処理装置に振動を与えるアクチュエータは、３つ以上であってもよい。また、情報処理装置は、複数の表示部を有してもよい。また、上述した説明では、携帯型の装置（例えば、タブレット端末）を情報処理装置３の一例として用いたが、情報処理装置３は、携帯型の装置より相対的に大きな手持ち型の装置または可搬型の装置でもよい。ここで、手持ち型の装置とは、ユーザが手に持って操作することができる装置であり、上述した携帯型の装置を含む概念である。また、可搬型の装置とは、当該装置を用いる際に当該装置本体を移動させたり、当該装置を用いる際に当該本体の姿勢を変えたり、当該装置本体を持ち運びしたりできる装置であり、上述した手持ち型の装置や携帯型の装置を含む概念である。

また、デバイスを把持したり身につけたりすることなく、ユーザに振動を与えるシステムを用いてもよい。例えば、超音波をユーザの皮膚に放射することによって振動を知覚させるシステム（例えば、空中超音波触覚ディスプレイ）を用いて、ユーザに振動源を知覚させ、所定の音源定位位置となる音声を当該ユーザに与えることによって、上述した情報処理を実現してもよい。この場合、情報処理装置３等の携帯型の装置がなくても、本発明を実現することが可能となる。

また、上記情報処理プログラムは、外部メモリ等の外部記憶媒体を通じて情報処理装置３に供給されるだけでなく、有線または無線の通信回線を通じて情報処理装置３に供給されてもよい。また、上記情報処理プログラムは、情報処理装置３内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記情報処理プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記情報処理プログラムを記憶する情報記憶媒体としては、上記情報処理プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のゲームプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

以上のように、本発明は、今までにない振動をユーザに知覚させる等を目的として、例えば情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法等として有用である。

３…情報処理装置
３１…制御部
３２…記憶部
３３…プログラム格納部
３４…入力部
３４１…タッチパネル
３５…表示部
３６…音声信号変換部
３７…振動発生部
３８…音声出力端子
３７１…コーデック部
３７２…増幅部
３７３…アクチュエータ
４…音声出力装置

Claims (21)

1. その本体に振動部を含み、ユーザが手に持つことができる手持ち型装置と、
   前記手持ち型装置とは別の装置に設けられ、音声を出力する音声出力部と、
   音源を定位させる位置を示す音源定位位置を、少なくとも前記手持ち型装置の外部空間に設定する音源位置設定手段と、
   前記設定された音源定位位置に音源が定位する音声信号を生成して前記音声出力部に出力する音声制御手段と、
   振動源として知覚される位置が前記音源定位位置に応じた位置となるように前記振動部を振動させるための振動信号を生成し、当該振動信号を前記振動部に出力する振動制御手段とを備える、情報処理システム。
2. 前記音源位置設定手段は、前記音源定位位置が移動するように当該音源定位位置を設定し、
   前記振動制御手段は、前記音源定位位置の移動に応じて前記振動源として知覚される位置が移動するように前記振動信号を生成する、請求項１に記載の情報処理システム。
3. 前記振動制御手段は、前記音源定位位置に応じて前記振動部を振動させる振動強度が変化する前記振動信号を生成する、請求項１または２に記載の情報処理システム。
4. 前記振動部は、前記手持ち型装置本体に設けられた複数の振動子を含み、
   前記振動制御手段は、前記音源定位位置と連係した位置が振動源として知覚されるように前記複数の振動子をそれぞれ振動させる振動信号をそれぞれ生成する、請求項１乃至３の何れか１つに記載の情報処理システム。
5. 前記振動制御手段は、前記複数の振動子を振動させる振動強度の割合を変化させることによって、移動する振動源が知覚される前記振動信号を生成する、請求項４に記載の情報処理システム。
6. 前記音声出力部は、複数のスピーカを含み、
   前記音声制御手段は、前記音源定位位置に音源が定位する音声を前記複数のスピーカからそれぞれ出力するための音声信号をそれぞれ生成する、請求項１乃至５の何れか１つに記載の情報処理システム。
7. 前記音声制御手段は、所定の聴取位置におけるユーザの左耳および右耳にそれぞれ前記音源から到来する音を算出する関数に基づいて、前記音声信号を生成する、請求項１乃至６の何れか１つに記載の情報処理システム。
8. 前記関数は、周波数に応じた音圧レベル特性に基づいて設定される、請求項７に記載の情報処理システム。
9. 前記関数は、音源方向に応じた音圧レベル特性に基づいて設定される、請求項７または８に記載の情報処理システム。
10. 前記関数は、頭部伝達関数である、請求項７乃至９の何れか１つに記載の情報処理システム。
11. 前記音声制御手段は、所定の聴取位置におけるユーザの左耳および右耳に前記音源からそれぞれ到来する音が録音されたデータを用いて、前記音声信号を生成する、請求項１乃至１０の何れか１つに記載の情報処理システム。
12. 前記振動制御手段は、前記音源が定位している方向に前記振動源を定位させる位置を示す振動源定位位置を設定して、当該設定した振動源定位位置に振動源が定位する前記振動信号を生成する、請求項１に記載の情報処理システム。
13. 前記振動制御手段は、前記手持ち型装置を持つユーザから前記音源が定位している位置への実質的に直線上に前記振動源定位位置を設定する、請求項１２に記載の情報処理システム。
14. 前記振動制御手段は、前記音源定位位置までの距離に応じて、前記手持ち型装置を振動させる振動強度が変化する前記振動信号を生成する、請求項１乃至１３の何れか１つに記載の情報処理システム。
15. 前記手持ち型装置は、画像表示部を含み、
    前記情報処理システムは、前記画像表示部に表示する画像を制御する画像制御手段を、さらに備える、請求項１乃至１４の何れか１つに記載の情報処理システム。
16. 前記画像制御手段は、少なくとも１つのオブジェクトを前記画像表示部に表示し、
    前記音源位置設定手段は、前記オブジェクトが前記画像表示部に表示されている位置に応じて、前記音源を定位させる位置を設定する、請求項１５に記載の情報処理システム。
17. 前記音声出力部は、ヘッドホンである、請求項１乃至５の何れか１つに記載の情報処理システム。
18. ユーザが手に持つことができる手持ち型の情報処理装置であって、
    振動部と、
    音源を定位させる位置を示す音源定位位置を、少なくとも当該情報処理装置の外部空間に設定する音源位置設定手段と、
    前記音源定位位置に音源が定位する音声信号を生成して別の装置に設けられた音声出力部に出力する音声制御手段と、
    振動源として知覚される位置が前記音源定位位置に応じた位置となるように前記振動部を振動させるための振動信号を生成し、当該振動信号を前記振動部に出力する振動制御手段とを備える、情報処理装置。
19. ユーザが手に持つことができる手持ち型の情報処理装置であって、
    前記情報処理装置の内部に設けられた複数の振動子と、
    音源を定位させる位置を示す音源定位位置を前記情報処理装置の外部に設定することが可能な音源位置設定手段と、
    前記設定された音源定位位置に音源が定位する音声信号を生成して別の装置に設けられた音声出力部に出力する音声制御手段と、
    振動源として知覚される位置が前記音源定位位置に応じた位置となるように、前記複数の振動子間に振動源定位位置を設定する振動源位置設定手段と、
    前記設定された振動源定位位置に振動源が定位する振動信号を生成して前記複数の振動子に出力する振動制御手段とを備える、情報処理装置。
20. その本体に振動部を含む手持ち型の情報処理装置に含まれるコンピュータで実行される情報処理プログラムであって、
    前記コンピュータを、
    音源を定位させる位置を示す音源定位位置を、少なくとも当該情報処理装置の外部空間に設定する音源位置設定手段と、
    前記音源定位位置に音源が定位する音声信号を生成して別の装置に設けられた音声出力部に出力する音声制御手段と、
    振動源として知覚される位置が前記音源定位位置に応じた位置となるように前記振動部を振動させるための振動信号を生成し、当該振動信号を前記振動部に出力する振動制御手段として機能させる、情報処理プログラム。
21. その本体に振動部を含み、ユーザが手に持つことができる手持ち型装置および当該手持ち型装置とは別の装置に設けられた音声出力部とを少なくとも含む情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
    音源を定位させる位置を示す音源定位位置を、少なくとも前記手持ち型装置の外部空間に設定する音源位置設定ステップと、
    前記音源定位位置に音源が定位する音声信号を生成して前記音声出力部に出力する音声制御ステップと、
    振動源として知覚される位置が前記音源定位位置に応じた位置となるように前記振動部を振動させるための振動信号を生成し、当該振動信号を前記振動部に出力する振動制御ステップとを含む、情報処理方法。
    

Images