JP6664145B2 - 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 - Google Patents

Description

本発明は、情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法に関し、特に例えば、装置に与える振動を制御する情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法に関する。

従来、装置本体に振動を与えるゲーム装置が知られている（例えば、特許文献１参照）。例えば、上記特許文献１で開示されたゲーム装置は、ゲーム状況に応じて装置本体に振動を与え、当該装置を把持するユーザの指や手に振動を伝える。

特開２００６−６８２１０号公報

しかしながら、上記特許文献１で開示されたゲーム装置では、ユーザの指や手に与える振動をユーザの好みに合わせて調整することができない。

それ故に、本発明の目的は、ユーザ操作に応じて、振動装置を振動させる振動を調整することができる情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法を提供することである。

上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。

本発明の情報処理装置の一構成例は、音声信号の入力に応じて音声出力装置から音声を出力するとともに、振動信号の入力に応じて振動装置を振動させる。情報処理装置は、出力調整手段、音声制御手段、および振動制御手段を備える。出力調整手段は、ユーザ操作に応じて、出力を調整するための調整量を設定する。音声制御手段は、設定された調整量に応じて音声出力装置から出力する音声の音量が変化するように音声信号を生成する。振動制御手段は、設定された調整量に応じて振動装置による振動の大きさが変化するように振動信号を生成する。

上記によれば、同じユーザ操作によって、音量と振動の大きさとを調整することができる。

また、上記出力調整手段は、ユーザが音量を調整するボリューム操作に応じて、調整量を設定してもよい。

上記によれば、ユーザが音量を調整するボリューム操作に応じて、振動の大きさを調整することができる。

また、上記振動制御手段は、ボリューム操作に応じて設定された調整量に応じて、振動装置による振動の大きさが変化するように振動信号を生成してもよい。

上記によれば、ユーザが音量を調整した調整量と同じ調整量に応じて、振動の大きさを調整することができる。

また、上記音声制御手段は、調整量の増減に応じて音声出力装置から出力する音声の音量が増減するように音声信号を生成してもよい。上記振動制御手段は、調整量の増減に応じて振動装置を振動させる強度が増減するように振動信号を生成してもよい。

上記によれば、ユーザが音量を大きくするボリューム操作に応じて、振動の大きさを大きく調整することができ、ユーザが音量を小さくするボリューム操作に応じて、振動の大きさを小さく調整することができる。

また、上記音声制御手段と上記振動制御手段とは、音量の変化と振動の大きさの変化とが同時に行われるように、それぞれ音声信号と振動信号とを生成してもよい。

上記によれば、ユーザ操作によって、音量と振動の大きさとを同時に調整することができる。

また、上記情報処理装置は、データ記憶部を、さらに備えてもよい。データ記憶部は、音声出力装置から出力される音声のソースとなる音声データと振動装置による振動のソースとなる振動データとを記憶する。この場合、上記音声制御手段は、データ記憶部に記憶された音声データに基づいて、音声信号を生成してもよい。上記振動制御手段は、データ記憶部に記憶された振動データに基づいて、振動信号を生成してもよい。

上記によれば、予め用意された振動データおよび音声データを用いることによって、バリエーションに富んだ振動や音声を提示することができる。

また、上記情報処理装置は、調整量をユーザが調整するための単一の入力手段を備えてもよい。この場合、上記出力調整手段は、入力手段に対する操作に応じて、調整量を設定してもよい。

上記によれば、単一の入力手段を用いたユーザ操作によって、音量と振動の大きさとを調整することができる。

また、上記出力調整手段は、音声出力装置から音声が出力され、振動装置が振動している間であっても、ユーザの操作に応じて、調整量を設定可能であってもよい。

上記によれば、音声出力装置から音声が出力中で、振動装置が振動している間であっても、同じユーザ操作によって音量と振動の大きさとを調整することができる。

また、上記振動信号は、周波数の可聴領域の信号を含んでもよい。

上記によれば、振動の大きさを調整することによって振動音の発生を調整することができる。

また、上記振動信号は、複数の周波数成分を有してもよい。

上記によれば、複数の周波数成分を有する振動が与えられるため、バリエーションに富んだ振動をユーザに与えることができる。

また、上記振動制御手段は、所定幅を有する周波数帯域の振動で振動装置を振動させる振動信号を生成してもよい。

上記によれば、所定幅を有する周波数帯域の振動（例えば、所定幅を有する少なくとも１つの周波数帯域において所定の大きさ以上の値が連続する振動）が与えられるため、バリエーションに富んだ振動をユーザに与えることができる。

また、本発明は、上記各手段としてコンピュータを機能させる情報処理プログラム、上記各手段を備える情報処理システム、または上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。

本発明によれば、同じユーザ操作によって、音量と振動の大きさとを調整することができる。

本発明の一実施例に係る情報処理装置３の外観の一例を示す平面図 情報処理装置３の構成の一例を示すブロック図 振動発生部３７の構成の一例を示すブロック図 情報処理装置３を用いてゲームを行う一例を示す図 情報処理装置３本体に与えられる振動の一例および情報処理装置３から出力される音声の一例を説明するための図 ユーザの音量調整操作に応じて、音量および振動の大きさが変化する一例を示す図 音量調整操作を行うためのスライダ位置と音声出力される音量との関係の一例を示すグラフ 音量調整操作を行うためのスライダ位置と振動の大きさとの関係の一例を示すグラフ 情報処理装置３の記憶部３２に記憶される主なデータおよびプログラムの一例を示す図 情報処理装置３において実行されるゲーム処理の一例を示すフローチャート

図面を参照して、本発明の一実施形態に係る情報処理プログラムを実行する情報処理装置について説明する。本発明の情報処理プログラムは、任意のコンピュータシステムで実行されることによって適用することができるが、情報処理装置の一例として携帯型の情報処理装置３（タブレット端末）を用い、情報処理装置３で実行される情報処理プログラムを用いて説明する。例えば、情報処理装置３は、交換可能な光ディスクやメモリーカード等の記憶媒体内に記憶された、または、他の装置から受信したプログラムや予めインストールされたプログラム（例えば、ゲームプログラム）を実行可能であり、一例として、仮想空間に設定された仮想カメラから見た仮想空間画像等のコンピュータグラフィックス処理により生成された画像を画面に表示することができる。情報処理装置３は、一般的なパーソナルコンピュータ、据置型ゲーム機、携帯電話機、携帯ゲーム機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等のデバイスであってもかまわない。なお、図１は、情報処理装置３の外観の一例を示す平面図である。

図１において、情報処理装置３は、表示部３５、音声出力部３６、およびアクチュエータ３７３を備えている。一例として、表示部３５は、情報処理装置３本体前面に設けられている。例えば、表示部３５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）によって構成されるが、例えばＥＬを利用した表示装置などが利用されてもよい。また、表示部３５は、立体視可能な画像を表示することが可能な表示装置であってもよい。

表示部３５の表示画面を覆うように、入力部３４の一例であるタッチパネル３４１が設けられている。タッチパネル３４１は、所定の入力面（例えば、表示部３５の表示画面）に対して入力された位置を検出する。なお、入力部３４は、情報処理装置３のユーザが操作入力可能な入力装置であり、どのような入力装置であってもよい。例えば、入力部３４として、スライドパッド、アナログスティック、十字キー、および操作ボタン等の操作部が、情報処理装置３本体の側面や背面等に備えられてもよい。また、入力部３４は、情報処理装置３本体の姿勢や動きを検出するためのセンサであってもよい。例えば、入力部３４は、情報処理装置３本体に生じる加速度を検出する加速度センサや情報処理装置３本体の回転量を検出する角速度センサ（ジャイロセンサ）等であってもよい。

音声出力部３６は、音声を出力するスピーカを含み、図１に示した一例では、情報処理装置３の上側面や背面の左右に設けられた一対のステレオスピーカ（左スピーカ３６Ｌおよび右スピーカ３６Ｒ）を含んでいる。音声出力部３６は、後述する制御部３１から出力される音声信号（左音声制御信号および右音声制御信号）をＤ／Ａ変換してアナログ音声信号（左アナログ音声信号および右アナログ音声信号）を生成し、当該アナログ音声信号をスピーカ（例えば、ステレオスピーカ）へそれぞれ出力して音声を出力させる。

アクチュエータ３７３は、情報処理装置３の本体に所定の振動を与える振動アクチュエータ（振動子）であり、後述する振動発生部３７に含まれる。図１に示した一例では、アクチュエータ３７３は、情報処理装置３本体内部の左側に設けられた左アクチュエータ３７３Ｌと、情報処理装置３本体内部の右側に設けられた右アクチュエータ３７３Ｒとを有する。具体的には、図１の破線領域で示すように、ユーザが情報処理装置３の左端部を左手で把持した場合に当該左手に近い位置となる表示部３５の左側に左アクチュエータ３７３Ｌが設けられる。また、ユーザが情報処理装置３の右端部を右手で把持した場合に当該右手に近い位置となる表示部３５の右側に右アクチュエータ３７３Ｒが設けられる。また、振動発生部３７は、後述する制御部３１から出力される振動制御信号（左振動制御信号および右振動制御信号）をＤ／Ａ変換してアナログ振動信号（左アナログ振動信号および右アナログ振動信号）を生成し、当該アナログ振動信号を増幅した駆動信号をアクチュエータ３７３（左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）へそれぞれ出力してアクチュエータ３７３を駆動させる。

なお、図１から明らかなように、情報処理装置３に設けられる表示部３５の表示画面と左音声出力部３６Ｌおよび右音声出力部３６Ｒとがそれぞれ近接する位置に配置されており、表示部３５の表示画面と左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒとがそれぞれ近接する位置に配置されている。また、左音声出力部３６Ｌおよび左アクチュエータ３７３Ｌと、右音声出力部３６Ｒおよび右アクチュエータ３７３Ｒとは、それぞれ互いに近接する位置に配置されているが、それぞれ別の位置に配設される別のユニットである。これによって、振動出力専用のユニットと音声出力専用のユニットとを備えることができるため、汎用のユニットを共用する場合と比較すると精度の高い振動および音声をそれぞれ出力することができる。なお、振動出力するためのユニットと音声出力するためのユニットとが組み合わせられて一体化されたモジュールを、情報処理装置３の左右に設けてもよい。

次に、図２を参照して、情報処理装置３の内部構成について説明する。なお、図２は、情報処理装置３の構成の一例を示すブロック図である。

図２において、上述した入力部３４、表示部３５、音声出力部３６、および振動発生部３７の他に、制御部３１、記憶部３２、およびプログラム格納部３３を備える。なお、情報処理装置３は、制御部３１を少なくとも含む情報処理装置と他の装置とを含む１以上の装置によって構成されてもよい。

制御部３１は、各種の情報処理を実行するための情報処理手段（コンピュータ）であり、例えばＣＰＵである。制御部３１は、各種の情報処理として、入力部３４に対するユーザの操作に応じた処理等を実行する機能を有する。例えば、ＣＰＵが所定のプログラムを実行することによって、制御部３１における各機能が実現される。

制御部３１は、各種の情報処理として、表示部３５に表示する画像の表示制御を行う。また、制御部３１は、各種の情報処理として、ステレオスピーカから出力する音声を制御するための音声制御信号（例えば、デジタル音声信号）を、音声出力部３６へ出力する。また、制御部３１は、各種の情報処理として、アクチュエータ３７３（左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）の振動を制御するための振動制御信号（例えば、デジタル振動信号）を、振動発生部３７へ出力する。また、制御部３１は、ユーザ操作に応じてアクチュエータ３７３を振動させる振動発生部３７の出力ゲインを調整する場合、当該ユーザ操作に応じて設定される調整量に基づいて出力ゲイン調整指示データを生成して振動発生部３７へ出力する。

記憶部３２は、制御部３１が上記情報処理を実行する際に用いる各種のデータを記憶する。記憶部３２は、例えばＣＰＵ（制御部３１）がアクセス可能なメモリである。

プログラム格納部３３は、プログラムを記憶（格納）する。プログラム格納部３３は、制御部３１がアクセス可能な記憶装置（記憶媒体）であればどのようなものであってもよい。例えば、プログラム格納部３３は、制御部３１を含む情報処理装置３内に設けられる記憶装置であってもよいし、制御部３１を含む情報処理装置３に着脱自在に装着される記憶媒体であってもよい。また、プログラム格納部３３は、制御部３１とネットワークを介して接続される記憶装置（サーバ等）であってもよい。制御部３１（ＣＰＵ）は、ゲームプログラムの一部または全部を適宜のタイミングで記憶部３２に読み出し、読み出されたプログラムを実行するようにしてもよい。

次に、図３を参照して、振動発生部３７の構成について説明する。なお、図３は、振動発生部３７の構成の一例を示すブロック図である。

図３において、振動発生部３７は、コーデック部３７１、増幅部３７２、左アクチュエータ（左振動子）３７３Ｌ、および右アクチュエータ（右振動子）３７３Ｒを備えている。

コーデック部３７１は、制御部３１から出力された振動制御信号を取得して所定の復号処理を行ってアナログ振動信号を生成し、増幅部３７２へ出力する。例えば、アクチュエータ３７３が複数設けられており、それぞれのアクチュエータ３７３（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）から独立した振動を発生させる場合、アクチュエータ３７３毎に振動を制御するための振動制御信号（例えば、左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ）が制御部３１から出力される。この場合、コーデック部３７１は、制御部３１から出力された振動制御信号をそれぞれ復号して、アクチュエータ３７３毎に振動を発生させるためのアナログ振動信号（例えば、左アナログ振動信号ＡＳＬおよび右アナログ振動信号ＡＳＲ）を生成して、増幅部３７２へそれぞれ出力する。

増幅部３７２は、コーデック部３７１から出力されたアナログ振動信号を増幅してアクチュエータ３７３を駆動するための駆動信号を生成し、アクチュエータ３７３へ出力する。例えば、アクチュエータ３７３が複数設けられている場合（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒが設けられている場合）、増幅部３７２は、コーデック部３７１から出力されたアナログ振動信号（例えば、左アナログ振動信号ＡＳＬおよび右アナログ振動信号ＡＳＲ）の電流／電圧の振幅変化をそれぞれ増大させて駆動信号（例えば、左駆動信号ＤＳＬおよび右駆動信号ＤＳＲ）を生成して、アクチュエータ３７３（例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒ）へそれぞれ出力する。なお、増幅部３７２は、制御部３１の指示に応じて出力ゲインを調整する場合、増幅部３７２から出力ゲイン調整指示データを取得し、当該出力ゲイン調整指示データに応じて出力ゲイン（例えば、アナログ振動信号を増幅する増幅率）を変更する。

アクチュエータ３７３は、増幅部３７２から出力された駆動信号に応じて駆動することによって、情報処理装置３の本体に当該駆動信号に応じた振動を与える。例えば、アクチュエータ３７３は、図１に示すように、表示部３５の表示画面の中心に対して情報処理装置３本体の左側と右側とにそれぞれ設けられた、左アクチュエータ３７３Ｌと右アクチュエータ３７３Ｒとによって構成される。一例として、左アクチュエータ３７３Ｌは、情報処理装置３本体においてユーザが左手で把持する部位内に配置され、右アクチュエータ３７３Ｒは、情報処理装置３本体においてユーザが右手で把持する部位内に配置される。ここで、アクチュエータ３７３が情報処理装置３本体に振動を与える方式は、どのようなものでもかまわない。例えば、アクチュエータ３７３は、偏心モーター（ＥＲＭ：Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）によって振動を生じさせる方式や、リニア・バイブレータ（ＬＲＡ：Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）によって振動を生じさせる方式や、ピエゾ（圧電）素子によって振動を生じさせる方式等を用いた構成であってもよい。アクチュエータ３７３が振動を生じさせる方式に応じて、増幅部３７２から出力される駆動信号が生成されれば、どのような方式のアクチュエータであっても様々な振動を情報処理装置３のユーザに与えることができる。

なお、振動発生部３７の構成については、１以上のコーデック部や１以上の増幅部が設けられてもよい。例えば、設けられている複数のアクチュエータ３７３毎にコーデック部や増幅部を設けることが考えられる。また、上述した説明では、コーデック部３７１で生成されたアナログ振動信号が増幅されてアクチュエータ３７３を駆動するための駆動信号が生成される例を用いたが、コーデック部３７１から増幅部３７２へ出力される信号は、デジタル信号であってもよい。例えば、パルス幅変調（ＰＷＭ：Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御によってアクチュエータ３７３を駆動する場合、コーデック部３７１がアクチュエータ３７３をオン／オフするためのパルス信号を生成すればよい。この場合、コーデック部３７１から増幅部３７２へ出力される信号は、パルス波を用いて駆動が制御されるデジタル振動信号となり、増幅部３７２は、当該デジタル振動信号を増幅することになる。

次に、情報処理装置３が行う具体的な処理を説明する前に、図４〜図８を用いて情報処理装置３において行われる処理の概要について説明する。以下の説明では、表示部３５の表示画面に表示された仮想オブジェクトＯＢＪが移動して表示されるゲームを行う処理を、情報処理装置３において行われる処理情報処理の一例として用いる。なお、図４は、情報処理装置３を用いて上記ゲームを行う一例を示す図である。図５は、上記ゲームを行う際に、情報処理装置３本体に与えられる振動のスペクトラムの一例および情報処理装置３に設けられたスピーカから出力される音声のスペクトラムの一例を説明するための図である。図６は、ユーザの音量調整操作に応じて、音量および振動の大きさが変化する一例を示す図である。図７は、音量調整操作を行うためのスライダ位置と音声出力される音量との関係の一例を示すグラフである。図８は、音量調整操作を行うためのスライダ位置と振動の大きさとの関係の一例を示すグラフである。

図４において、表示部３５の表示画面に仮想世界内に配置された仮想オブジェクトＯＢＪが表示される。仮想オブジェクトＯＢＪは、ユーザ操作に応じて、または自動的に仮想世界内を移動して表示部３５の表示画面に表示される。

仮想オブジェクトＯＢＪの移動に応じて、情報処理装置３本体が振動するとともに音声がスピーカから出力される。例えば、情報処理装置３本体に設けられた左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒは、表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪの表示位置に応じて、それぞれ仮想オブジェクトＯＢＪが移動する際に生じる振動を生じさせる。一例として、ユーザの皮膚における異なる２点（具体的には、情報処理装置３本体を把持するユーザの左手と右手）に刺激を与えることによって擬似的な１点の刺激を知覚させるファントムセンセーションを利用して、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒは、仮想オブジェクトＯＢＪの表示位置が振動源であるように擬似的に知覚させる振動（仮想オブジェクトＯＢＪの表示位置が疑似力覚を提示する位置となる振動）を情報処理装置３のユーザに与える。また、情報処理装置３本体に設けられた一対のステレオスピーカ（左音声出力部３６Ｌおよび右音声出力部３６Ｒ）は、音源が定位する位置が、表示部３５の表示画面に表示されている仮想オブジェクトＯＢＪの表示位置となるような音声を出力する。このように、仮想オブジェクトＯＢＪの表示位置と振動源として擬似的に知覚させる位置（疑似力覚提示位置）と音源定位位置とを実質的に一致させることによって、視覚と触覚と聴覚とを利用したリアルな体験をユーザに与えることができる。また、仮想オブジェクトＯＢＪが移動する際の振動と音とを模して、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与える振動と左音声出力部３６Ｌおよび右音声出力部３６Ｒから出力する音声とを生成することによって、さらにリアリティを高めることが可能となる。

例えば、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからそれぞれ異なる振動が所定のバランスで情報処理装置３本体に与えられることによって、上述したファントムセンセーションを実現している。例えば、表示部３５の表示画面における中央から左寄りの領域で仮想オブジェクトＯＢＪが移動表示されている場合、左アクチュエータ３７３Ｌから情報処理装置３本体に与えられる振動の振幅は、右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動の振幅より相対的に大きくなる。このように、右側から与える振動より左側から与える振動を強くすることによって、仮想オブジェクトＯＢＪを移動表示する表示画面左寄りの位置が振動源であるようにユーザに知覚させることができる。

ここで、図５に示すように、上記ゲーム例では、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからそれぞれ複数の周波数成分を有する振動（単一の周波数成分のみの振動ではない振動）が情報処理装置３本体に与えられ、スピーカから複数の周波数成分を有する音声が出力される。例えば、図５（Ａ）および図５（Ｂ）は、上記ゲーム例において情報処理装置３本体に与えられる振動のスペクトラムの一例を示しており、所定幅を有する周波数帯域の振動（広帯域の振動）が左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられていることが示されている。より具体的には、１０Ｈｚ（ヘルツ）より低い周波数成分から１ｋＨｚ（キロヘルツ）より高い周波数成分までの周波数帯域に対する全域に対してパワーを有する振動が、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる。ここで、人間の皮膚感覚を受容する感覚受容器は、メルケル盤、マイスナー小体、パチニ小体、およびルフィニ終末等で構成されており、メルケル盤が０−２００Ｈｚの振動に応答するとされ、マイスナー小体が２０−１００Ｈｚの振動に応答し３０Ｈｚ付近の振動が最も感度が高いとされ、パチニ小体が１００−３００Ｈｚの振動に応答し２００Ｈｚ付近の振動が最も感度が高いとされている。左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから情報処理装置３本体に与えられる振動は、人間が振動を感じることができるとされる０−１ｋＨｚの周波数帯域の振動または当該周波数帯域の一部の振動を有するとともに、これらの感覚受容器がそれぞれ応答可能な周波数成分（図５（Ａ）および図５（Ｂ）に示すＡ〜Ｃ領域の周波数成分）を有しており、リアリティに富んだ触り心地を再現してユーザに提示することができる。

また、図５に示すように、情報処理装置３のユーザに与えることができる振動および情報処理装置３から出力する音声は、それぞれ別のスペクトラムを有することができる。例えば、情報処理装置３は、人間が振動を感じることができるとされる０−１０００Ｈｚの広帯域を中心とした振動をユーザに与えることができるとともに、人間が耳に聞こえる可聴周波数である２０−２００００Ｈｚの広帯域を中心とした音声を出力することができ、それぞれ別の制御信号によって別の振動体（左アクチュエータ３７３Ｌ、右アクチュエータ３７３Ｒ、およびステレオスピーカ）を制御することによってそれぞれ別のスペクトラムを有することができる。

本実施例では、情報処理装置３本体に振動を与えるための振動データと情報処理装置３から音声を出力するための音声データとが、それぞれ別に予め用意されていてもよい。この場合、情報処理装置３本体に与える振動の種類に応じた振動データを、上記用意された振動データの中から抽出して読み出すことによって、振動制御信号が生成される。また、情報処理装置３から出力する音声に応じた音声データを、上記用意された音声データの中から抽出して読み出すことによって、音声制御信号が生成される。なお、上記振動データは、左アクチュエータ３７３Ｌから振動を与えるための振動データと右アクチュエータ３７３Ｒから振動を与えるための振動データとを、それぞれ別に用意してもかまわない。一例として、振動源の位置に基づいて左右一対の振動データを予め用意し、情報処理装置３本体に振動を与える際には知覚させる振動源の位置に応じた左右一対の振動データを読み出してもかまわない。また、上記音声データについても、左スピーカから音声出力するための音声データと右スピーカから音声出力するための音声データとを、それぞれ別に用意してもよいことは言うまでもない。また、予め用意されている音声データを振動データとして用いてもかまわない。音声データもスピーカの振動板を振動させて駆動するために用いられるデータであるため、振動子を振動させて駆動させるためのデータ（すなわち、振動データ）として用いることも可能である。

また、本実施例では、左アクチュエータ３７３Ｌを駆動するための振動制御信号（左振動制御信号ＣＳＬ）と右アクチュエータ３７３Ｒを駆動するための振動制御信号（右振動制御信号ＣＳＲ）とは、それぞれ独立して生成されてもいいし、１つの振動制御信号を加工することによってそれぞれ生成されてもよい。例えば、後者の場合、各アクチュエータを振動させる振動強度に応じて予め用意されている１つの振動制御信号を加工することによって、左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲを生成することが考えられる。

次に、図６を参照して、ユーザの音量調整操作によって音量および振動の大きさが変化する一例について説明する。所定の操作に応じて、表示部３５の表示画面にユーザが音量を調整するための操作画像ＩＢが表示される。図６に示した一例では、操作画像ＩＢとして、現時点において設定されている音量レベルを示すゲージ画像とともに、当該音量レベルを変化させることができるスライダ画像ＩＳが表示されている。

スライダ画像ＩＳは、入力部３４を用いたユーザ操作（典型的には、タッチパネル３４１に対するタッチ操作）に応じて上記ゲージ画像に沿って移動可能であり、スライダ画像ＩＳの移動に応じて設定する音量レベルを変化させることができる。例えば、ユーザがスライダ画像ＩＳと重なるタッチパネル３４１上の位置をタッチして、上記ゲージ画像に沿った方向にドラッグ操作することによって、スライダ画像ＩＳが当該ゲージ画像上を移動する。そして、上記ゲージ画像に対するスライダ画像ＩＳの位置に応じて音量レベルが設定され、情報処理装置３から音声出力される際の出力ゲインが当該音量レベルに基づいて調整される。

本実施例では、上述したユーザの音量調整操作に応じて、情報処理装置３のユーザに与えられる振動の大きさも同時に調整される。具体的には、入力部３４を用いたユーザ操作によって、音量レベルが大きくなるように調整された場合、当該調整に応じて情報処理装置３のユーザに与えられる振動の大きさが大きくなるようにアクチュエータを振動させる出力ゲインが調整される。一方、入力部３４を用いたユーザ操作によって、音量レベルが小さくなるように調整された場合、当該調整に応じて情報処理装置３のユーザに与えられる振動の大きさが小さくなるようにアクチュエータを振動させる出力ゲインが調整される。

一例として、図７に示されるように、上記ゲージ画像に沿ってスライダ画像ＩＳを最低音量レベル（典型的には、音量レベル０）の位置から最大音量レベルＭＡＸの位置まで移動させることに応じて、最低音量（典型的には、音量０）から最大音量ＭＡＸまで線形に増加する。また、図８に示されるように、上記ゲージ画像に沿ってスライダ画像ＩＳを最低音量レベルの位置から最大音量レベルＭＡＸの位置まで移動させることに応じて、最低の振動の大きさ（典型的には、振動の大きさ０）から最大の振動の大きさＭＡＸまで線形に増加する。

なお、図７および図８に示した一例では、スライダ画像ＩＳの位置と音量または振動の大きさとの関係が線形となっているが、他の関係でもよい。本実施例では、単一の入力手段に対するユーザ操作に応じて増減する音量に対して、アクチュエータを振動させる大きさも同時に増減するように調整されればどのような関係で調整されてもよい。例えば、スライダ画像ＩＳの位置と音量または振動の大きさとの関係が線形以外であってもいいし、２次関数や３次以上の高次関数や他の曲線で示される関数に基づいた関係であってもよい。また、所定の範囲内を示すスライダ画像ＩＳの位置に対しては、音量または振動の大きさが一定となる関係であってもよい。

また、情報処理装置３のユーザに与えられる振動の大きさを調整する方法は、任意の方法でよい。一例として、振動発生部３７内における出力ゲイン（例えば、増幅部３７２においてアナログ振動信号を増幅する増幅率）を調整することによって、情報処理装置３のユーザに与えられる振動の大きさを調整してもよい。他の例として、制御部３１から出力する振動制御信号によって示される振動の大きさ自体を調整することによって、情報処理装置３のユーザに与えられる振動の大きさを調整してもよい。

また、上述した説明では、表示部３５の表示画面に表示された操作画像ＩＢを用いて、音量および振動の大きさが調整される一例を用いたが、他の操作手段を用いて音量および振動の大きさが調整されてもよい。例えば、情報処理装置３本体の側面や背面に音量を調整するための入力部３４（例えば、操作ボタンやスライドスイッチ等）が設けられている場合、当該入力部３４に対する音量調整操作に応じて、振動の大きさも同時に調整されてもよい。また、情報処理装置３本体の姿勢を変えたり動かしたりすることに応じて音量調整が可能に構成されている場合、当該音量調整量に応じて振動の大きさも同時に調整されてもよい。

また、上述したゲーム例では、仮想世界内を移動する仮想オブジェクトＯＢＪの位置に応じて、知覚させる振動源の位置や音源を定位させる位置が設定されるが、本発明で知覚させる振動源の位置は、移動表示される画像の位置でなくてもよい。例えば、表示部３５の表示画面に固定表示された仮想オブジェクトが振動源や音源であるように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与えられる振動やスピーカから出力される音声が制御されてもよい。また、実世界を撮像した画像を表示部３５の表示画面に表示する場合、当該画像に出現する実世界の撮像物の位置が振動源や音源であるように、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与えられる振動やスピーカから出力される音声が制御されてもよい。さらに、表示部３５の表示画面に表示される画像とは無関係（例えば、表示部３５の表示画面が未表示の状態）に左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与えられる振動やスピーカから出力される音声が制御されてもよい。また、表示部３５が設けられていない情報処理装置３であっても、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒから与えられる振動やスピーカから出力される音声が制御されてもよい。

また、上述したゲーム例では、複数の周波数成分を有する振動を情報処理装置３本体に与えるとともに、複数の周波数成分を有する音声が出力される例を用いたが、他の振動が情報処理装置３本体に与えられたり、他の音声が出力されたりしてもよい。例えば、単一の周波数成分を有する振動を情報処理装置３本体に与えたり、単一の周波数成分を有する音声を出力したりしてもかまわない。

次に、情報処理装置３において行われる処理の詳細を説明する。まず、図９を参照して、処理において用いられる主なデータについて説明する。図９は、情報処理装置３の記憶部３２に記憶される主なデータおよびプログラムの一例を示す図である。なお、以下の処理例においては、上述したゲーム例のゲーム処理を行う際の情報処理を用いて説明を行う。

図９に示すように、記憶部３２のデータ記憶領域には、操作データＤａ、オブジェクト位置データＤｂ、振動設定情報データＤｃ、音声設定情報データＤｄ、振動制御信号データＤｅ、音声制御信号データＤｆ、振動データＤｇ、音声データＤｈ、調整量データＤｉ、および表示画像データＤｊ等が記憶される。なお、記憶部３２には、図９に示すデータの他、実行するアプリケーションで用いるデータ等、処理に必要なデータ等が記憶されてもよい。また、記憶部３２のプログラム記憶領域には、情報処理プログラムを構成する各種プログラム群Ｐａが記憶される。例えば、各種プログラム群Ｐａは、振動制御信号を生成して情報処理装置３に振動を与えるための振動生成プログラム、音声制御信号を生成して情報処理装置３から音声を出力するための音声生成プログラム、および表示部３５に画像を表示するための画像表示プログラム等が含まれる。

操作データＤａは、入力部３４に対する操作内容を示すデータであり、例えばタッチパネル３４１に対するタッチ位置を示すデータを含んでいる。なお、入力部３４が情報処理装置３本体の姿勢や動きを検出するためのセンサを含んでいる場合、操作データＤａは、情報処理装置３本体の姿勢や動きを算出するためのデータ（例えば、情報処理装置３本体に生じる加速度を示すデータや情報処理装置３本体の角速度を示すデータ）を含んでもよい。

オブジェクト位置データＤｂは、仮想世界内を移動する仮想オブジェクトＯＢＪ（図４、図６参照）の位置を示すデータである。

振動設定情報データＤｃは、振動種類データＤｃ１および振動源位置データＤｃ２等を含む。振動種類データＤｃ１は、情報処理装置３に与える振動の種類を示すデータである。振動源位置データＤｃ２は、情報処理装置３のユーザに知覚させる振動源の位置を示すデータである。

音声設定情報データＤｄは、音源種類データＤｄ１および音源定位位置データＤｄ２等を含む。音源種類データＤｄ１は、情報処理装置３から出力する音声の種類を示すデータである。音源定位位置データＤｄ２は、情報処理装置３から出力する音声の音源定位位置を示すデータである。

振動制御信号データＤｅは、制御部３１から振動発生部３７へ出力する振動制御信号（左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ；図３参照）を示すデータである。音声制御信号データＤｆは、制御部３１から音声出力部３６へ出力する音声制御信号（左音声制御信号および右音声制御信号）を示すデータである。

振動データＤｇは、振動制御信号を生成するために予め用意されたデータであり、情報処理装置３本体に与える振動の種類毎（例えば、振動を生じさせる仮想オブジェクト毎）にそれぞれ格納されている。音声データＤｈは、音声制御信号を生成するために予め用意されたデータであり、情報処理装置３から出力する音声の種類毎（例えば、音声を生じさせる仮想オブジェクト毎やＢＧＭの種類毎）にそれぞれ格納されている。

調整量データＤｉは、ユーザ操作によって調整された音量および振動の大きさそれぞれに関する調整量を示すデータである。例えば、ユーザが操作画像ＩＢに設けられたスライダ画像ＩＳをスライドさせることによって音量レベルを調整する場合（図６参照）、スライダ画像ＩＳの位置に応じて音量および振動の大きさに関する調整量がそれぞれ設定される。

表示画像データＤｊは、仮想オブジェクトＯＢＪ等の各仮想オブジェクトの画像や背景画像等を生成して表示部３５に表示するためのデータである。

次に、図１０を参照して、情報処理装置３において行われる情報処理の一例であるゲーム処理の詳細を説明する。なお、図１０は、情報処理装置３において実行されるゲーム処理の一例を示すフローチャートである。ここで、図１０に示すフローチャートにおいては、情報処理装置３における処理のうち、上記ゲーム例における仮想オブジェクトＯＢＪが仮想世界を移動することに応じた振動および音声が出力される処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。また、図１０では、制御部３１が実行する各ステップを「Ｓ」と略称する。

制御部３１のＣＰＵは、記憶部３２のメモリ等を初期化し、プログラム格納部３３から情報処理プログラムをメモリに読み込む。そして、ＣＰＵによって当該情報処理プログラムの実行が開始される。図１０に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。

なお、図１０に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび／または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートにおける一部のステップの処理を上記ＣＰＵが実行し、その他のステップの処理を上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよく、上記フローチャートにおける全部のステップの処理を上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよい。

図１０において、制御部３１は、初期設定を行い（ステップ４１）、次のステップに処理を進める。例えば、制御部３１は、表示部３５に表示するための仮想世界を構築し、各パラメータを初期設定する。一例として、制御部３１は、仮想世界における初期位置に仮想オブジェクトＯＢＪを配置してオブジェクト位置データＤｂを設定する。また、制御部３１は、表示部３５の表示画面に表示する表示範囲を仮想世界に対して設定する。また、制御部３１は、音量レベルの調整量を予め定められたデフォルト値や当該初期設定前に設定された値（例えば、当該ゲーム開始前に実行されていたゲーム処理等の情報処理において設定されていた値）に設定し、当該調整量を用いて調整量データＤｉを初期設定する。

次に、制御部３１は、入力部３４から操作データを取得し、操作データＤａを更新して（ステップ４２）、次のステップに処理を進める。

次に、制御部３１は、仮想世界において仮想オブジェクトＯＢＪを移動させる処理を行い（ステップ４３）、次のステップに処理を進める。例えば、制御部３１は、仮想世界内に予め定められた移動経路に沿って、予め定められた移動速度で仮想オブジェクトＯＢＪを移動させ、当該移動後の位置を用いてオブジェクト位置データＤｂを更新する。他の例として、制御部３１は、入力部３４に対する操作（情報処理装置３本体を移動させたり傾けたりする操作を含む）に応じて仮想オブジェクトＯＢＪを移動させる場合、上記ステップ４２において取得した操作データに応じて、仮想世界内で仮想オブジェクトＯＢＪを移動させ、当該移動後の位置を用いてオブジェクト位置データＤｂを更新する。

次に、制御部３１は、操作データＤａに基づいて、入力部３４を用いて出力ゲイン調整操作が行われたか否かを判定する（ステップ４４）。例えば、操作画像ＩＢに設けられたスライダ画像ＩＳをスライドさせる操作によって音量レベルが調整される場合（図６参照）、制御部３１は、スライダ画像ＩＳを移動させるような操作（例えば、タッチパネル３４１を介して、スライダ画像をドラッグするタッチ操作）が行われた場合、出力ゲイン調整操作が行われたと判定する。そして、制御部３１は、出力ゲイン調整操作が行われた場合、ステップ４５に処理を進める。一方、制御部３１は、出力ゲイン調整操作が行われていない場合、ステップ４６に処理を進める。

ステップ４５において、制御部３１は、入力部３４を用いて行われた出力ゲイン調整操作に応じて新たな調整量を設定して、ステップ４６に処理を進める。例えば、制御部３１は、出力ゲイン調整操作に応じて移動したスライダ画像ＩＳの位置に応じて、調整量を設定する。一例として、図７に示したような関数に基づいて、制御部３１は、移動後のスライダ画像ＩＳの位置に応じた音量に関する調整量を設定して、音量に関する調整量データＤｉを更新する。また、図８に示したような関数に基づいて、制御部３１は、移動後のスライダ画像ＩＳの位置に応じた振動の大きさに関する調整量を設定して、振動の大きさに関する調整量データＤｉを更新する。なお、上記ステップ４５において設定される音量に関する調整量と振動の大きさに関する調整量は、同じ値であってもいいし、異なる値であってもよい。

ステップ４６において、制御部３１は、振動の種類および振動源の位置を設定して、次のステップに処理を進める。例えば、制御部３１は、振動生成プログラムおよび仮想世界に配置されている仮想オブジェクトＯＢＪの種類に基づいて、当該仮想オブジェクトＯＢＪが移動する際の振動の種類を設定し、当該振動の種類を示すデータを用いて振動種類データＤｃ１を更新する。また、制御部３１は、振動生成プログラムに基づいて、オブジェクト位置データＤｂが示す仮想オブジェクトＯＢＪの位置が、ユーザに知覚させる振動源となるように当該振動源の位置を設定し、当該位置を示すデータを用いて振動源位置データＤｃ２を更新する。

次に、制御部３１は、振動の大きさに関する調整量および振動設定情報に基づいて、振動制御信号を設定し（ステップ４７）、次のステップに処理を進める。例えば、制御部３１は、振動生成プログラムおよび振動設定情報データＤｃ（振動種類データＤｃ１および振動源位置データＤｃ２）に基づいて、振動データＤｇから読み出した振動データを用いて振動制御信号（振動発生部３７へ出力する左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲ；図３参照）を生成し、振動制御信号データＤｅに格納する。具体的には、制御部３１は、振動種類データＤｃ１が示す種類の振動を情報処理装置３本体に与えるとともに、振動源位置データＤｃ２が示す位置が当該振動の振動源として知覚されるように、振動データＤｇからデータを読み出して当該振動に対応する左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲをそれぞれ生成する。なお、上記振動制御信号によって示される振動の大きさ自体を調整することによって、情報処理装置３のユーザに与えられる振動の大きさを調整する場合、制御部３１は、調整量データＤｉが示す振動の大きさに関する調整量に応じて振動制御信号によって示す振動の大きさを調整し、調整後の振動制御信号を用いて振動制御信号データＤｅに格納する。一方、振動発生部３７内における出力ゲイン（例えば、増幅部３７２においてアナログ振動信号を増幅する増幅率）を調整することによって、情報処理装置３のユーザに与えられる振動の大きさを調整する場合、制御部３１は、調整量データＤｉが示す振動の大きさに関する調整量に基づいて振動発生部３７に出力ゲインの調整を指示する出力ゲイン調整指示データを生成し、振動制御信号とは別に出力ゲイン調整指示データを振動制御信号データＤｅに格納する。

次に、制御部３１は、音源の種類および当該音源を定位させる位置を設定して（ステップ４８）、次のステップに処理を進める。例えば、制御部３１は、音声生成プログラムおよび仮想世界に配置されている仮想オブジェクトＯＢＪの種類に基づいて、当該仮想オブジェクトＯＢＪが移動する際の音声の種類を設定し、当該音声の種類を示すデータを用いて音源種類データＤｄ１を更新する。また、制御部３１は、音声生成プログラムに基づいて、オブジェクト位置データＤｂが示す仮想オブジェクトＯＢＪの位置が、上記音声の音源定位位置となるように当該音源定位位置を設定し、当該音源定位位置を示すデータを用いて音源定位位置データＤｄ２を更新する。

次に、制御部３１は、音量の大きさに関する調整量および音声設定情報に基づいて、音声制御信号を設定し（ステップ４９）、次のステップに処理を進める。例えば、制御部３１は、音声生成プログラムおよび音声設定情報データＤｄ（音源種類データＤｄ１および音源定位位置データＤｄ２）に基づいて、音声制御信号（音声出力部３６へ出力する左音声制御信号および右音声制御信号）を生成して音声制御信号データＤｆに格納する。具体的には、制御部３１は、音源種類データＤｄ１が示す種類の音声を情報処理装置３のステレオスピーカから出力するとともに、音源定位位置データＤｄ２が示す位置が音声定位位置となるように、音声データＤｈからデータを読み出して左音声制御信号および右音声制御信号をそれぞれ生成する。なお、上記音声制御信号によって示される音量自体を調整することによって出力音量を調整する場合、制御部３１は、調整量データＤｉが示す音量に関する調整量に応じて音声制御信号によって示す音量を調整し、調整後の音声制御信号を用いて音声制御信号データＤｆに格納する。一方、音声出力部３６内における出力ゲイン（例えば、音声出力部３６内の増幅部においてアナログ音声信号を増幅する増幅率）を調整することによって出力音量を調整する場合、制御部３１は、調整量データＤｉが示す音量に関する調整量に基づいて音声出力部３６に出力ゲインの調整を指示する出力ゲイン調整指示データを生成し、音声制御信号とは別に出力ゲイン調整指示データを音声制御信号データＤｆに格納する。

次に、制御部３１は、表示制御処理を行い（ステップ５０）、次のステップに処理を進める。例えば、制御部３１は、画像生成プログラムおよびオブジェクト位置データＤｂに基づいて、仮想オブジェクトＯＢＪを配置した仮想世界の画像を生成し、設定されている表示範囲内の仮想世界の画像を表示部３５に表示する処理を行う。

次に、制御部３１は、制御信号出力処理を行い（ステップ５１）、次のステップに処理を進める。例えば、制御部３１は、振動制御信号データＤｅが示す左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲをそれぞれ振動発生部３７へ出力する。これによって、振動発生部３７は、左振動制御信号ＣＳＬに応じた振動を左アクチュエータ３７３Ｌから発生させ、右振動制御信号ＣＳＲに応じた振動を右アクチュエータ３７３Ｒから発生させる。なお、振動制御信号データＤｅに出力ゲイン調整指示データが含まれている場合、制御部３１は、出力ゲイン調整指示データも振動発生部３７へ出力する。これによって、振動発生部３７は、出力ゲイン調整指示データに応じた出力ゲインに調整しながら、左振動制御信号ＣＳＬおよび右振動制御信号ＣＳＲに応じた振動を左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒからそれぞれ発生させる。また、制御部３１は、音声制御信号データＤｆが示す左音声制御信号および右音声制御信号をそれぞれ音声出力部３６へ出力する。これによって、音声出力部３６は、左音声制御信号に応じた音声を左スピーカから出力し、右音声制御信号に応じた音声を右スピーカから出力する。なお、音声制御信号データＤｆに出力ゲイン調整指示データが含まれている場合、制御部３１は、出力ゲイン調整指示データも音声出力部３６へ出力する。これによって、音声出力部３６は、出力ゲイン調整指示データに応じた出力ゲインに調整しながら、左音声制御信号および右音声制御信号に応じた音声を左スピーカおよび右スピーカからそれぞれ出力させる。

次に、制御部３１は、ゲーム処理を終了するか否かを判断する（ステップ５２）。ゲーム処理を終了する条件としては、例えば、ゲーム処理を終了させる条件が満たされたことや、ユーザがゲーム処理を終了する操作を行ったこと等がある。制御部３１は、ゲーム処理を終了しない場合に上記ステップ４２に戻って処理を繰り返し、ゲーム処理を終了する場合に当該フローチャートによる処理を終了する。

このように、上述した実施例に係るゲーム処理では、ユーザ操作に応じて、情報処理装置３から出力される音声の音量が調整されると同時に、情報処理装置３からユーザに与えられる振動の大きさも調整することができる。一例として、情報処理装置３から出力される音声の音量を最小にして情報処理装置３の周辺に音が出ないようにしたとしても、情報処理装置３にからユーザに振動が与えられることによる振動音が情報処理装置３の周辺にもれてしまうことが考えられる。しかしながら、情報処理装置３に与えられる振動も音声の音量調整と同時に調整することによって、振動音がもれてしまうことも防止することが可能となる。

また、左アクチュエータ３７３Ｌおよび右アクチュエータ３７３Ｒによって与えられる広帯域の振動を情報処理装置３に与えることによって、バリエーションに富んだ振動を装置本体に与えることができる。また、上述した実施例に係るゲーム処理では、仮想世界において仮想オブジェクトＯＢＪが配置されている位置が振動源であるようにユーザに知覚させることができる。ここで、上述した実施例に係るゲーム処理では、仮想世界において仮想オブジェクトＯＢＪが配置されている位置が情報処理装置３から出力される音声の音源定位位置となるように、仮想オブジェクトＯＢＪが移動する際の広帯域の音声が出力される。また、表示部３５の表示画面に表示されている仮想世界に仮想オブジェクトＯＢＪが配置されている場合、仮想オブジェクトＯＢＪが配置されている位置が表示部３５の表示画面に表示される。このように、広帯域の振動による触覚、広帯域の音声による聴覚、表示画面に移動体を表示する視覚を用いて仮想オブジェクトＯＢＪの位置を提示することによって、今までにないリアリティに富んだ体感をユーザに与えることができる。また、上述した実施例に係るゲーム処理では、情報処理装置３から出力される音声の音量が調整されると同時に、情報処理装置３からユーザに与えられる振動の大きさも調整される。したがって、音量が調整されたことに対して振動の大きさが変化しないようなバランスを欠いた状態となることを避けることが可能となり、音量が調整された状態においてもリアリティを失うことがない体感をユーザに与えることができる。

なお、上述した説明では情報処理（ゲーム処理）を情報処理装置３で行う例を用いたが、上記情報処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、情報処理装置３がさらに他の装置（例えば、別のサーバ、他のゲーム装置、他の携帯端末）と通信可能に構成されている場合、上記情報処理における処理ステップは、さらに当該他の装置が協働することによって実行してもよい。一例として、他の装置において、仮想世界の画像の生成処理、振動制御信号の生成処理、および音声制御信号の生成処理の少なくとも１つが行われ、当該処理の結果を示す画像データや制御信号を情報処理装置３が取得することも考えられる。このように、上記情報処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した情報処理と同様の処理が可能となる。また、上述した情報処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、情報処理装置３の制御部３１が所定の情報処理プログラムを実行することによって、上述したフローチャートによる処理が行われたが、情報処理装置３が備える専用回路によって上記情報処理の一部または全部が行われてもよい。

ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置（据置型のゲーム装置）と携帯型の情報処理装置（携帯型のゲーム装置）との間で上記情報処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した情報処理の各ステップの処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。

また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。また、上述した情報処理装置で用いられる各構成部品の形状、数、配置位置、部品が有する機能等は、単なる一例に過ぎず他の形状、数、配置位置であってもいいし、他の機能を有するものであっても、本実施例を実現できることは言うまでもない。一例として、情報処理装置に振動を与えるアクチュエータや情報処理装置から音声を出力するスピーカは、３つ以上であってもよい。また、情報処理装置は、複数の表示部を有してもよい。また、上述した説明では、携帯型の装置（例えば、タブレット端末）を情報処理装置３の一例として用いたが、情報処理装置３は、携帯型の装置より相対的に大きな可搬型の装置でもよい。ここで、可搬型の装置とは、当該装置を用いる際に当該装置本体を移動させたり、当該装置を用いる際に当該本体の姿勢を変えたり、当該装置本体を持ち運びしたりできる装置であり、上述した携帯型の装置を含む概念である。

また、上記情報処理プログラムは、外部メモリ等の外部記憶媒体を通じて情報処理装置３に供給されるだけでなく、有線または無線の通信回線を通じて情報処理装置３に供給されてもよい。また、上記情報処理プログラムは、情報処理装置３内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記情報処理プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記情報処理プログラムを記憶する情報記憶媒体としては、上記情報処理プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のゲームプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

以上のように、本発明は、ユーザ操作に応じて、振動装置を振動させる振動を調整すること等を目的として、例えば情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法等として有用である。

３…情報処理装置
３１…制御部
３２…記憶部
３３…プログラム格納部
３４…入力部
３４１…タッチパネル
３５…表示部
３６…音声出力部
３７…振動発生部
３７１…コーデック部
３７２…増幅部
３７３…アクチュエータ

Claims (13)

1. 音声信号の入力に応じて音声出力装置から表示画像に応じた音声を出力するとともに、振動信号の入力に応じて振動装置を当該表示画像に応じて振動させる情報処理装置であって、
   前記音声出力装置から出力される音声のソースとなる音声データと前記振動装置による振動のソースとなる振動データとを記憶するデータ記憶部と、
   ユーザ操作に応じて、出力を調整するための調整量を設定する出力調整手段と、
   前記設定された調整量に応じて前記音声出力装置から出力する音声の音量が変化するように、前記音声データに基づいて、前記音声信号を前記表示画像に応じて生成する音声制御手段と、
   前記設定された調整量に応じて前記振動装置による振動の大きさが前記出力される音声の音量とともに変化し、前記音声に応じて振動するように、前記振動データに基づいて、前記振動信号を前記表示画像に応じて生成する振動制御手段とを備える、情報処理装置。
2. 前記出力調整手段は、ユーザが音量を調整するボリューム操作に応じて、前記調整量を設定する、請求項１に記載の情報処理装置。
3. 前記振動制御手段は、前記ボリューム操作に応じて設定された調整量に応じて、前記振動装置による振動の大きさが変化するように前記振動信号を生成する、請求項２に記載の情報処理装置。
4. 前記音声制御手段は、前記調整量の増減に応じて前記音声出力装置から出力する音声の音量が増減するように前記音声信号を生成し、
   前記振動制御手段は、前記調整量の増減に応じて前記振動装置を振動させる強度が増減するように前記振動信号を生成する、請求項１乃至３の何れか１つに記載の情報処理装置。
5. 前記音声制御手段と前記振動制御手段とは、前記音量の変化と前記振動の大きさの変化とが同時に行われるように、それぞれ前記音声信号と前記振動信号とを生成する、請求項１乃至４の何れか１つに記載の情報処理装置。
6. 前記情報処理装置は、前記調整量をユーザが調整するための単一の入力手段を備え、
   前記出力調整手段は、前記入力手段に対する操作に応じて、前記調整量を設定する、請求項１乃至５の何れか１つに記載の情報処理装置。
7. 前記出力調整手段は、前記音声出力装置から音声が出力され、前記振動装置が振動している間であっても、ユーザの操作に応じて、前記調整量を設定可能である、請求項１乃至６の何れか１つに記載の情報処理装置。
8. 前記振動信号は、周波数の可聴領域の信号を含む、請求項１乃至７の何れか１つに記載の情報処理装置。
9. 前記振動信号は、複数の周波数成分を有する、請求項１乃至８の何れか１つに記載の情報処理装置。
10. 前記振動制御手段は、所定幅を有する周波数帯域の振動で前記振動装置を振動させる前記振動信号を生成する、請求項９に記載の情報処理装置。
11. 音声信号の入力に応じて音声出力装置から表示画像に応じた音声を出力するとともに、振動信号の入力に応じて振動装置を当該表示画像に応じて振動させる情報処理装置に含まれるコンピュータで実行される情報処理プログラムであって、
    前記情報処理装置は、前記音声出力装置から出力される音声のソースとなる音声データと前記振動装置による振動のソースとなる振動データとを記憶するデータ記憶部を備え、
    前記コンピュータを、
    ユーザ操作に応じて、出力を調整するための調整量を設定する出力調整手段と、
    前記設定された調整量に応じて前記音声出力装置から出力する音声の音量が変化するように、前記音声データに基づいて、前記音声信号を前記表示画像に応じて生成する音声制御手段と、
    前記設定された調整量に応じて前記振動装置による振動の大きさが前記出力される音声の音量とともに変化し、前記音声に応じて振動するように、前記振動データに基づいて、前記振動信号を前記表示画像に応じて生成する振動制御手段として機能させる、情報処理プログラム。
12. 複数の装置が通信可能に構成され、音声信号の入力に応じて音声出力装置から表示画像に応じた音声を出力するとともに、振動信号の入力に応じて振動装置を当該表示画像に応じて振動させる情報処理システムであって、
    前記音声出力装置から出力される音声のソースとなる音声データと前記振動装置による振動のソースとなる振動データとを記憶するデータ記憶部と、
    ユーザ操作に応じて、出力を調整するための調整量を設定する出力調整手段と、
    前記設定された調整量に応じて前記音声出力装置から出力する音声の音量が変化するように、前記音声データに基づいて、前記音声信号を前記表示画像に応じて生成する音声制御手段と、
    前記設定された調整量に応じて前記振動装置による振動の大きさが前記出力される音声の音量とともに変化するように、前記振動データに基づいて、前記振動信号を前記表示画像に応じて生成する振動制御手段とを備える、情報処理システム。
13. 音声信号の入力に応じて音声出力装置から表示画像に応じた音声を出力するとともに、振動信号の入力に応じて振動装置を当該表示画像に応じて振動させる少なくとも１つの装置により構成されるシステムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
    前記音声出力装置から出力される音声のソースとなる音声データと前記振動装置による振動のソースとなる振動データとがデータ記憶部に記憶されており、
    ユーザ操作に応じて、出力を調整するための調整量を設定する出力調整ステップと、
    前記設定された調整量に応じて前記音声出力装置から出力する音声の音量が変化するように、前記音声データに基づいて、前記音声信号を前記表示画像に応じて生成する音声制御ステップと、
    前記設定された調整量に応じて前記振動装置による振動の大きさが前記出力される音声の音量とともに変化するように、前記振動データに基づいて、前記振動信号を前記表示画像に応じて生成する振動制御ステップとを含む、情報処理方法。

Images