JP4929380B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法、及びプログラムに関する。

仮想空間の様子を表す画像を表示手段に表示させる画像処理装置が知られている。例えば、ゲーム空間の様子を表すゲーム画面を表示手段に表示させるゲーム装置が知られている。

特開２００１−３１４６４７号公報

上記のような画像処理装置では、例えば、暗闇や霧などによって仮想空間における視界が悪いが故に仮想空間内の物やキャラクタをおぼろげにしか認識できない様子を表現したい場合がある。

本発明は上記課題に鑑みてなされたものであって、その目的は、例えば、暗闇や霧などによって仮想空間における視界が悪いが故に仮想空間内の物やキャラクタをおぼろげにしか認識できない様子を好適に表現することが可能な画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る画像処理装置は、仮想空間の様子を表す画像を表示手段に表示させる画像処理装置において、前記仮想空間に配置されるオブジェクトのうちの所定オブジェクトが取り除かれてなる前記仮想空間を視点から見た様子を表す第１画像をグレースケールの画像として生成する第１画像生成手段と、前記第１画像の各画素に関し、前記視点からの距離に関する情報を取得する距離情報取得手段と、前記第１画像の画素の輝度を、該画素と該画素の周辺画素との間の輝度の差又は／及び前記距離の差に関する情報に基づいて増減する輝度変更手段と、前記輝度変更手段によって画素の輝度が増減された前記第１画像にぼかし処理と画素ずらし処理との少なくとも一方を施すぼかし処理／画素ずらし処理実行手段と、前記仮想空間の対象領域内に前記所定オブジェクトが含まれる場合、前記視点から前記仮想空間を見た場合の前記所定オブジェクトの様子を表す第２画像を生成する第２画像生成手段と、前記第１画像と前記第２画像とを、前記第２画像に表される前記所定オブジェクトを歪ませるようにして合成してなる画像を前記表示手段に表示させる表示制御手段と、を含むことを特徴とする。

また、本発明に係る画像処理方法は、仮想空間の様子を表す画像を表示手段に表示させる画像処理方法において、前記仮想空間に配置されるオブジェクトのうちの所定オブジェクトが取り除かれてなる前記仮想空間を視点から見た様子を表す第１画像をグレースケールの画像として生成する第１画像生成ステップと、前記第１画像の各画素に関し、前記視点からの距離に関する情報を取得する距離情報取得ステップと、前記第１画像の画素の輝度を、該画素と該画素の周辺画素との間の輝度の差又は／及び前記距離の差に基づいて増減する輝度変更ステップと、前記輝度変更ステップによって画素の輝度が増減された前記第１画像にぼかし処理と画素ずらし処理との少なくとも一方を施すぼかし処理／画素ずらし処理実行ステップと、前記仮想空間の対象領域内に前記所定オブジェクトが含まれる場合、前記視点から前記仮想空間を見た場合の前記所定オブジェクトの様子を表す第２画像を生成する第２画像生成ステップと、前記第１画像と前記第２画像とを、前記第２画像に表される前記所定オブジェクトを歪ませるようにして合成してなる画像を前記表示手段に表示させる表示制御ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、仮想空間の様子を表す画像を表示手段に表示させる画像処理装置としてコンピュータを機能させるためのプログラムであって、前記仮想空間に配置されるオブジェクトのうちの所定オブジェクトが取り除かれてなる前記仮想空間を視点から見た様子を表す第１画像をグレースケールの画像として生成する第１画像生成手段、前記第１画像の各画素に関し、前記視点からの距離に関する情報を取得する距離情報取得手段、前記第１画像の画素の輝度を、該画素と該画素の周辺画素との間の輝度の差又は／及び前記距離の差に基づいて増減する輝度変更手段、前記輝度変更手段によって画素の輝度が増減された前記第１画像にぼかし処理と画素ずらし処理との少なくとも一方を施すぼかし処理／画素ずらし処理実行手段、前記仮想空間の対象領域内に前記所定オブジェクトが含まれる場合、前記視点から前記仮想空間を見た場合の前記所定オブジェクトの様子を表す第２画像を生成する第２画像生成手段、及び、前記第１画像と前記第２画像とを、前記第２画像に表される前記所定オブジェクトを歪ませるようにして合成してなる画像を前記表示手段に表示させる表示制御手段、として前記コンピュータを機能させるためのプログラムである。

また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。

本発明によれば、例えば、暗闇や霧などによって仮想空間における視界が悪いが故に仮想空間内の物やキャラクタをおぼろげにしか認識できない様子を好適に表現することが可能になる。

また本発明の一態様では、前記表示制御手段は、前記第１画像と前記第２画像とを、前記第２画像に表される前記所定オブジェクトを前記対象領域の基準点から離れるにつれて歪みの程度が大きくなるように歪ませて合成してなる前記画像を前記表示手段に表示させるようにしてもよい。

また本発明の一態様では、前記第２画像生成手段は、前記仮想空間内の音源位置を取得する手段と、前記音源位置に基づいて前記対象領域を設定する手段と、前記対象領域の大きさを時間経過に伴って増やす手段と、を含むようにしてもよい。

本発明の実施形態に係るゲーム装置（画像処理装置）のハードウェア構成を示す図である。 仮想空間の一例を示す図である。 表示部に表示される画面の一例を示す模式図である。 ユーザキャラクタによるロッカーの認識について説明するための図である。 表示部に表示される画面の他の一例を示す模式図である。 本発明の実施形態に係るゲーム装置（画像処理装置）の機能ブロック図である。 ゲーム装置で実行される処理の一例を示すフロー図である。 処理の過程で生成される画像の一例を示す模式図である。 画像ずらし処理の一例について説明するための図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。ここでは、画像処理装置の一態様であるゲーム装置に本発明を適用した場合について説明する。本発明の実施形態に係るゲーム装置は、例えば家庭用ゲーム機（据置型ゲーム機）、携帯ゲーム機、携帯電話機、携帯情報端末（ＰＤＡ）、又はパーソナルコンピュータなどによって実現される。ここでは、本発明の実施形態に係るゲーム装置を家庭用ゲーム機によって実現する場合について説明する。

図１は、本発明の実施形態に係るゲーム装置（画像処理装置）のハードウェア構成を示す。図１に示すゲーム装置１０は、家庭用ゲーム機１１、表示部３２、音声出力部３４、及び光ディスク３６（情報記憶媒体）を含む。表示部３２及び音声出力部３４は家庭用ゲーム機１１に接続される。表示部３２としては例えば家庭用テレビ受像機又は液晶ディスプレイなどが用いられ、音声出力部３４としては例えば家庭用テレビ受像機に内蔵されたスピーカ又はヘッドホンなどが用いられる。

家庭用ゲーム機１１は公知のコンピュータシステムである。家庭用ゲーム機１１は、バス１２、制御部１４、主記憶１６、画像処理部１８、入出力処理部２０、音声処理部２２、光ディスクドライブ２４、ハードディスク２６、通信インタフェース２８、及びコントローラ３０を含む。

制御部１４は一又は複数のマイクロプロセッサを含む。制御部１４は、光ディスク３６から読み出されるプログラムに基づいて、各部の制御処理や情報処理を実行する。主記憶１６は例えばＲＡＭを含み、光ディスク３６から読み出されたプログラム及びデータが主記憶１６に書き込まれる。主記憶１６は制御部１４の作業用メモリとしても用いられる。バス１２はアドレス及びデータを家庭用ゲーム機１１の各部でやり取りするためのものである。

画像処理部１８はＶＲＡＭを含み、制御部１４から供給される画像データに基づいてＶＲＡＭ上に画面を描画する。ＶＲＡＭ上に描画された画面はビデオ信号に変換されて所定のタイミングで表示部３２に出力される。

入出力処理部２０は、制御部１４が音声処理部２２、光ディスクドライブ２４、ハードディスク２６、通信インタフェース２８、及びコントローラ３０にアクセスするためのインタフェースである。音声処理部２２はサウンドバッファを含み、光ディスク３６からサウンドバッファに読み出された音声データを音声出力部３４から出力する。通信インタフェース２８は、インターネットなどの通信ネットワークに家庭用ゲーム機１１を有線又は無線接続するためのインタフェースである。

光ディスクドライブ２４は光ディスク３６に記録されたプログラムやデータを読み取る。家庭用ゲーム機１１では各種ゲームが光ディスク３６に記録されたプログラムに基づいて実行される。ここでは、プログラムやデータを家庭用ゲーム機１１に供給するために光ディスク３６を用いるが、メモリカード等、他の情報記憶媒体を用いるようにしてもよい。また、例えば通信ネットワークを介して遠隔地からプログラムやデータを家庭用ゲーム機１１に供給するようにしてもよい。ハードディスク２６は一般的なハードディスク装置（補助記憶装置）である。光ディスク３６に記憶されることとして説明するプログラムやデータはハードディスク２６に記憶されていてもよい。

コントローラ３０はユーザが操作を行うための操作部である。入出力処理部２０は一定周期毎（例えば１／６０秒ごと）にコントローラ３０の各操作部材の状態をスキャンし、そのスキャン結果を表す操作信号をバス１２を介して制御部１４に供給する。制御部１４は操作信号に基づいてユーザの操作を判定する。

以下では、暗闇や霧などによって仮想空間（ゲーム空間）における視界が悪いが故に仮想空間内の物やキャラクタをおぼろげにしか認識できない様子を好適に表現するための技術について説明する。なお、ここでは、聴力に優れているゲームキャラクタが暗闇の中に置かれた物の存在を音を頼りに認識しながら暗闇の中を移動していくゲームがゲーム装置１０で実行される例について説明する。

図２は仮想空間の一例を示す。図２に示す仮想空間４０は、互いに直交する三つの座標軸（Ｘｗ軸、Ｙｗ軸、及びＺｗ軸）が設定された仮想的な３次元空間になっている。仮想空間４０に配置されるオブジェクトの位置などはこれら三つの座標軸の座標値によって特定される。

図２に示す仮想空間４０には、床を表すオブジェクトである床４２が配置されている。また、床４２上には、壁を表すオブジェクトである壁４４と、ロッカー（戸棚）を表すオブジェクトであるロッカー４６ａ，４６ｂとが配置されている。床４２、壁４４及びロッカー４６ａ，４６ｂは配置位置が変化しない静的オブジェクトである。なお、以下では、ロッカー４６ａ，４６ｂのことを総称して「ロッカー４６」と記載する場合がある。

さらに、床４２上には、ユーザによって操作されるキャラクタオブジェクトであるユーザキャラクタ４８と、敵キャラクタを表すオブジェクトである敵キャラクタ５０と、が配置されている。ユーザキャラクタ４８はユーザの操作に従って仮想空間４０内を移動する。一方、敵キャラクタ５０は所定のアルゴリズムに従って自律的に仮想空間４０内を移動する。ユーザキャラクタ４８及び敵キャラクタ５０は配置位置や姿勢が変化する動的オブジェクトである。

ユーザキャラクタ４８が敵キャラクタ５０から攻撃を受けると、ユーザキャラクタ４８の体力パラメータが減少する。このため、ユーザはユーザキャラクタ４８が敵キャラクタ５０からの攻撃を受けないように留意しながらユーザキャラクタ４８を移動させる。

仮想空間４０には仮想カメラ５２（視点）が設定される。図２に示す例では、仮想カメラ５２がユーザキャラクタ４８の後方かつ上方に設定されている。仮想カメラ５２はユーザキャラクタ４８の移動に従って移動する。

仮想カメラ５２から見た仮想空間４０を表す画面が表示部３２に表示される。図３は表示部３２に表示される画面の一例を示す。図３に示す画面には床４２、壁４４、ユーザキャラクタ４８、及び敵キャラクタ５０が表示されている。なお、図３において画面の大部分に付された斜線は、仮想空間４０が暗いことを表している。また、図３では床４２、壁４４、及び敵キャラクタ５０が点線で表されている。これは、画面に床４２、壁４４、及び敵キャラクタ５０がおぼろげに表示されることを示している。暗い仮想空間４０内における床４２、壁４４、及び敵キャラクタ５０をおぼろげに表示するための技術については後述する（図７のステップＳ１０２〜Ｓ１０８参照）。

図３に示す画面にはロッカー４６ａ，４６ｂが表示されていない。図３に示す画面は、ユーザキャラクタ４８がロッカー４６ａ，４６ｂの存在（輪郭や形状）を認識できていない状態を表している。このゲームでは、例えば、床４２又は壁４４を叩いた場合などに発生する音によってユーザキャラクタ４８がロッカー４６の存在を認識するようになっている。

図４はユーザキャラクタ４８によるロッカー４６の存在の認識について説明するための図である。図４に示すように、音が発生した場合には音源位置５４が設定される。例えば、ユーザキャラクタ４８が壁４４を叩いたことによって音が発生した場合には、ユーザキャラクタ４８が叩いた位置が音源位置５４に設定される。

音源位置５４が設定されると、音源位置５４に基づいて音領域５６が設定される。例えば、音領域５６は音源位置５４を中心とする球状領域である。音領域５６は音の伝搬を表しており、音領域５６は時間経過に伴って大きくなっていく。つまり、音領域５６の半径（ｒ）は時間経過に伴って所定の初期値（例えば０）から所定の最大値（Ｒ）まで徐々に大きくなっていく。そして、音領域５６の半径（ｒ）が最大値（Ｒ）になると、音領域５６は消滅する。なお、ここでは音領域５６が球状領域であることとして説明するが、音領域５６は球状領域以外の領域であってもよい。

音領域５６の表面がロッカー４６と接触した場合（言い換えれば、音領域５６内にロッカー４６に含まれる場合）、そのロッカー４６の存在がユーザキャラクタ４８によって認識されたことになり、そのロッカー４６は画面に表示される。例えば、図４に示す例では、ロッカー４６ａが音領域５６と接触しているため、ロッカー４６ａが画面に表示される。図５は、この場合に表示部３２に表示される画面の一例を示す。図５に示す画面には、ユーザキャラクタ４８が認識したロッカー４６ａが表示されている。なお、ロッカー４６ａはおぼろげに表示されるようになっている。ユーザキャラクタ４８が認識したロッカー４６ａをおぼろげに表示するための技術については後述する（図７のステップＳ１１１，Ｓ１１２参照）。

以下、以上に説明したような画面を表示するための構成について説明する。図６は、ゲーム装置１０で実現される機能ブロックのうち、本発明に関連する機能ブロックを主として示す機能ブロック図である。図６に示すように、ゲーム装置１０は、データ記憶部６０、第１画像生成部６２、距離情報取得部６４、輝度変更部６６、ぼかし処理／画像ずらし処理実行部６８、第２画像生成部７０、及び表示制御部７２を含む。

データ記憶部６０は例えば主記憶１６及び光ディスク３６によって実現される。データ記憶部６０は各種データを記憶する。例えば、仮想空間４０に配置される各オブジェクトの形状データがデータ記憶部６０に記憶される。また、静的オブジェクト（例えば、床４２、壁４４、及びロッカー４６）の位置データがデータ記憶部６０に記憶される。

さらに、ゲームの状況を示すゲーム状況データがデータ記憶部６０に記憶される。例えば、下記に示すようなデータがゲーム状況データに含まれる。
［１］ユーザキャラクタ４８及び敵キャラクタ５０の状態データ（例えば位置、姿勢、移動方向、及び移動速度など）
［２］ユーザキャラクタ４８のパラメータデータ（例えば体力パラメータ）
［３］仮想カメラ５２の状態データ（例えば位置、視線方向、及び画角）
［４］音領域フラグ、音源位置５４、及び音領域５６の半径（ｒ）

なお、音領域フラグは、音領域５６が発生中であるか否かを示す情報、言い換えれば、音源位置５４で発生した音が伝搬中である否かを示す情報である。音領域フラグは「０」又は「１」の値をとる。値「０」は音領域５６が発生中でないことを示し、値「１」は音領域５６が発生中であることを示す。また、音領域５６が発生中である場合には、音領域５６の基準位置である音源位置５４と、音領域５６の現在の半径（ｒ）と、がゲーム状況データの一部として記憶される。

データ記憶部６０以外の機能ブロックは、制御部１４が光ディスク３６に記憶されたプログラムに従って処理を実行することによって実現される。図７は、制御部１４が所定時間（例えば１／６０秒）ごとに実行する処理のうち、本発明に関連する処理の一例を主に示すフロー図である。以下、図７に示す処理を説明しながら、データ記憶部６０以外の機能ブロックの動作について説明する。

図７に示すように、まず制御部１４はゲーム状況データを更新する（Ｓ１０１）。例えば、制御部１４はユーザキャラクタ４８の状態データをユーザの操作に基づいて更新し、敵キャラクタ５０の状態データを所定のアルゴリズムに基づいて更新する。また、制御部１４は仮想カメラ５２の状態データも更新する。

また例えば、制御部１４は、ユーザキャラクタ４８が敵キャラクタ５０から攻撃を受けたか否かを判定する。そして、ユーザキャラクタ４８が敵キャラクタ５０から攻撃を受けた場合、制御部１４はユーザキャラクタ４８のパラメータデータ（例えば体力パラメータ）を更新する。

また例えば、制御部１４は音発生条件が満足されたか否かを判定する。「音発生条件」は、例えば、ユーザキャラクタ４８が壁４４などを叩いたか否かの条件である。音発生条件が満足された場合、制御部１４は音源位置５４をゲーム状況データの一部として記憶させるとともに、音領域フラグを「０」から「１」に更新する。また、音領域フラグが「１」である場合、制御部１４は、ゲーム状況データの一部として記憶される音領域５６の半径（ｒ）を更新する。上述したように、制御部１４は、音領域５６の半径（ｒ）を時間経過に伴って徐々に増加することによって、音領域５６の大きさを時間経過に伴って徐々に増やす。なお、音領域５６の半径（ｒ）が最大値（Ｒ）になると、音領域フラグは「１」から「０」に更新される。

ステップＳ１０１の処理が実行された後、制御部１４（第１画像生成部６２）は、仮想カメラ５２から見た仮想空間４０の様子を表す背景画像（第１画像）をＶＲＡＭ上に生成する（Ｓ１０２）。このとき、仮想空間４０に配置されるオブジェクトのうち、所定オブジェクトが取り除かれている。また、背景画像はグレースケールの画像として生成される。

本実施形態の場合、ロッカー４６（所定オブジェクト）が仮想空間４０から取り除かれる。また、ユーザキャラクタ４８及び敵キャラクタ５０も仮想空間４０から取り除かれる。そして、それらのオブジェクトが取り除かれてなる仮想空間４０を仮想カメラ５２から見た様子を表す画像が背景画像として生成される。

この場合、仮想空間４０から取り除かれないオブジェクト（例えば床４２や壁４４など）にマッピングされるテクスチャ画像は、そのテクスチャ画像の各画素の輝度に基づいてグレースケールの画像に変換される。そして、グレースケールに変換されたテクスチャ画像に基づいて背景画像が生成される。その結果、背景画像はグレースケールの画像になる。図８（Ａ）は、ステップＳ１０２で生成される背景画像の一例を示す模式図である。

ステップＳ１０２の処理が実行された後、制御部１４（距離情報取得部６４）は、ステップＳ１０２で生成された背景画像（第１画像）の距離情報（深度情報）を取得する（Ｓ１０３）。制御部１４は、背景画像の各画素について、仮想カメラ５２からの距離に関する距離情報を取得する。この距離情報は、画素に表示される仮想空間４０内の位置と、仮想カメラ５２の位置と、の間の距離に関する情報である。例えば、壁４４上の一点が表示される画素の場合、壁４４上の該点と仮想カメラ５２の位置との間の距離に関する情報が取得される。なお、上記距離は仮想カメラ５２から視線方向への奥行き（深さ）に相当するため、以下では上記距離のことを「深度」と記載する。例えば、深度は０〜２５５の数値で表される。

ステップＳ１０３の処理が実行された後、制御部１４（輝度変更部６６）は、ステップＳ１０２で生成された背景画像（第１画像）の画素の輝度を変更する（Ｓ１０４）。制御部１４は、背景画像の画素の輝度を、該画素と該画素の周辺画素との間の輝度差又は／及び深度差に関する情報に基づいて増減する。

ステップＳ１０４では、例えば、周辺画素との間の輝度差が大きい画素の輝度が元々の輝度よりも高くなるように（言い換えれば、より白くなるように）変更される。この場合、画素（対象画素）とその周辺画素との間の輝度差が大きいか否かは下記に説明するようにして判定される。まず、制御部１４は対象画素の周辺画素の輝度の平均を算出する。「対象画素の周辺画素」は、例えば、「対象画素を中心とする縦：ｍ（例えば３）画素×横：ｎ（例えば３）画素の領域」に含まれるｍ×ｎ個の画素のうちの対象画素以外の画素である。そして、制御部１４は、対象画素の輝度と、周辺画素の輝度の平均と、の間の差が第１基準値よりも大きいか否かを判定する。上記差が第１基準値よりも大きい場合、制御部１４は対象画素とその周辺画素との間の輝度差が大きいと判定し、対象画素の輝度を元々の輝度よりも高くなるように変更する。

またステップＳ１０４では、例えば、周辺画素との間の輝度差が小さい画素の輝度が元々の輝度よりも低くなるように（言い換えれば、より黒くなるように）変更される。この場合、画素（対象画素）とその周辺画素との間の輝度差が小さいか否かは下記に説明するようにして判定される。まず、制御部１４は対象画素の周辺画素の輝度の平均を算出する。その後、制御部１４は、対象画素の輝度と、周辺画素の輝度の平均と、の間の差が第２基準値よりも小さいか否かを判定する。そして、上記差が第２基準値よりも小さい場合、制御部１４は対象画素と周辺画素との間の輝度差が小さいと判定し、対象画素の輝度を元々の輝度よりも低くなるように変更する。

またステップＳ１０４では、例えば、周辺画素との間の深度差が大きい画素の輝度が元々の輝度よりも高くなるように（言い換えれば、より白くなるように）変更される。この場合、画素（対象画素）とその周辺画素との間の深度差が大きいか否かは下記に説明するようにして判定される。まず、制御部１４は対象画素の周辺画素の深度の平均を算出する。その後、制御部１４は、対象画素の深度と、周辺画素の深度の平均と、の間の差が第３基準値よりも大きいか否かを判定する。そして、上記差が第３基準値よりも大きい場合、制御部１４は対象画素と周辺画素との間の深度差が大きいと判定し、対象画素の輝度を元々の輝度よりも高くなるように変更する。

またステップＳ１０４では、例えば、周辺画素との間の深度差が小さい画素の輝度が元々の輝度よりも低くなるように（言い換えれば、より黒くなるように）変更される。この場合、画素（対象画素）とその周辺画素との間の深度差が小さいか否かは下記に説明するようにして判定される。まず、制御部１４は対象画素の周辺画素の深度の平均を算出する。その後、制御部１４は、対象画素の深度と、周辺画素の深度の平均と、の間の差が第４基準値よりも小さいか否かを判定する。そして、上記差が第４基準値よりも小さい場合、制御部１４は対象画素と周辺画素との間の深度差が小さいと判定し、対象画素の輝度を元々の輝度よりも低くなるように変更する。

ステップＳ１０４の処理が実行される結果として、背景画像において、輝度や深度が大きく変化する部分、つまり各オブジェクトの境界（輪郭）部分が強調され、それ以外の部分はぼかされる。

ステップＳ１０４の処理が実行された後、制御部１４（ぼかし処理／画像ずらし処理実行部６８）は、ステップＳ１０４で画素の輝度が変更された背景画像（第１画像）にぼかし処理を施す（Ｓ１０５）。ここでは一般的なぼかし処理が用いられる。さらに、制御部１４（ぼかし処理／画像ずらし処理実行部６８）は、ステップＳ１０５でぼかし処理が施された背景画像（第１画像）に画素ずらし処理を施す（Ｓ１０６）。

図９は画素ずらし処理の一例について説明するための図である。本実施形態の場合、制御部１４は、背景画像８０の画素８２を正弦波に基づいて所定方向にずらす。具体的には、各画素８２に正弦波の振幅値が関連づけられる。図９に示す例では、各画素列８４ごとに正弦波の振幅値が関連づけられている。そして、制御部１４は、画素８２を、その画素８２に関連づけられた振幅値に対応する画素数だけ上方向又は下方向にずらす。振幅値が正の値である場合に画素８２は上方向にずらされ、振幅値が負の値である場合に画素８２は下方向にずらされる。なお、各画素行８６ごとに正弦波の振幅値が関連づけるようにしてもよい。また制御部１４は、画素８２を、その画素８２に関連づけられた振幅値に対応する画素数だけ右方向又は左方向にずらすようにしてもよい。

さらに、本実施形態の場合、ステップＳ１０６で画素ずらし処理が施された背景画像に対して、前フレームにおいて生成された背景画像（ぼかし処理及び画素ずらし処理が施された背景画像）が半透明合成される。

ステップＳ１０６の処理が実行された後、制御部１４は敵キャラクタ画像をＶＲＡＭ上に生成する（Ｓ１０７）。ステップＳ１０７では、例えば、敵キャラクタ５０が床４２や壁４４とともに配置された仮想空間４０を仮想カメラ５２から見た様子を表す画像が敵キャラクタ画像として生成される。この敵キャラクタ画像では、敵キャラクタ５０が描画された部分以外の部分が透明に設定される。図８（Ｂ）は、ステップＳ１０７で生成される敵キャラクタ画像の一例を示す模式図である。

なお、ステップＳ１０７では、仮想カメラ５２の位置、視線方向、及び画角が、ステップＳ１０２における仮想カメラ５２の位置、視線方向、及び画角と同じに設定される。また、ステップＳ１０７では、ライティングが、敵キャラクタ５０のうちの、光源からの光が当たっている部分が青白くなり、かつ、敵キャラクタ５０のうちの、光源からの光が当たっていない部分が黒くなるように設定される。さらに、敵キャラクタ画像は、ステップＳ１０２で生成される背景画像よりも低い解像度の画像として生成される。例えば、ステップＳ１０２で生成される背景画像の解像度は「１０２４×６００」に設定され、敵キャラクタ画像の解像度は「１２８×９０」に設定される。

ステップＳ１０７の処理が実行された後、制御部１４は、ステップＳ１０６で画素ずらし処理が施された背景画像に対して、ステップＳ１０７で生成された敵キャラクタ画像を半透明合成する（Ｓ１０８）。この場合、敵キャラクタ画像はぼかし処理が施され、かつ、背景画像と同じ大きさまで伸張された状態で背景画像に半透明合成される。ステップＳ１０７，Ｓ１０８の処理が実行される結果として、敵キャラクタ５０のうちの、光源からの光が当たっている部分のみが青白く表示されるようになり、敵キャラクタ５０が画面におぼろげに表示されることになる。

ステップＳ１０８の処理が実行された後、制御部１４はユーザキャラクタ画像を生成する（Ｓ１０９）。ステップＳ１０９では、ユーザキャラクタ４８が床４２、壁４４、及び敵キャラクタ５０とともに配置された仮想空間４０を仮想カメラ５２から見た様子を表す画像がユーザキャラクタ画像として生成される。なお、この場合、仮想カメラ５２の位置、視線方向、及び画角は、ステップＳ１０２における仮想カメラ５２の位置、視線方向、及び画角と同じに設定される。また、このユーザキャラクタ画像では、ユーザキャラクタ４８が描画された部分以外の部分が透明に設定される。図８（Ｃ）は、ステップＳ１０９で生成されるユーザキャラクタ画像の一例を示す模式図である。

ステップＳ１０９の処理が実行された後、制御部１４は音領域フラグが「１」であるか否かを判定する（Ｓ１１０）。音領域フラグが「１」である場合、すなわち、音領域５６が発生中である場合、制御部１４（第２画像生成部７０）はロッカー画像（第２画像）を生成する（Ｓ１１１）。すなわち、制御部１４は、音領域５６（対象領域）内に含まれるロッカー４６（所定オブジェクト）の画像を生成する。

ステップＳ１１１では、まず、音領域５６がゲーム状況データに基づいて特定される。さらに、音領域５６内に含まれるロッカー４６が検出される。例えば、ロッカー４６の全体又は一部が音領域５６内に含まれる場合、そのロッカー４６は音領域５６内に含まれると判断される。そして、音領域５６内に含まれるロッカー４６が床４２、壁４４、ユーザキャラクタ４８、及び敵キャラクタ５０とともに配置された仮想空間４０を仮想カメラ５２から見た様子を表す画像がロッカー画像として生成される。

なお、この場合、仮想カメラ５２の位置、視線方向、及び画角は、ステップＳ１０２における仮想カメラ５２の位置、視線方向、及び画角と同じに設定される。また、この場合、ロッカー４６には、歪んだ空間内に配置されたロッカーを表現するべく予め作成されたテクスチャ画像がマッピングされる。また、ここで生成されるロッカー画像では、ロッカー４６が描画された部分以外の部分が透明に設定される。図８（Ｄ）は、ステップＳ１１１で生成されるロッカー画像の一例を示す模式図である。

ステップＳ１１１の処理が実行された後、制御部１４（表示制御部７２）は表示部３２に表示する画像を生成する（Ｓ１１２）。制御部１４は、ステップＳ１０８で敵キャラクタ画像が半透明合成された背景画像（第１画像）と、ステップＳ１１１で生成されたロッカー画像（第２画像）とを合成してなる画像を生成する。なお、「ステップＳ１０８で敵キャラクタ画像が半透明合成された背景画像」は、「背景画像と敵キャラクタ画像とを半透明合成してなる画像」と言い換えることができる。

背景画像とロッカー画像とを半透明合成する場合、制御部１４は、背景画像とロッカー画像とを、ロッカー画像に表されるロッカー４６を歪ませるようにして半透明合成する。すなわち、制御部１４はロッカー画像を歪ませ、歪んだロッカー画像を背景画像と半透明合成する。また、ロッカー画像を歪ませる場合、制御部１４は、音源位置５４（音領域５６の基準位置）から離れるにつれて歪みの程度が大きくなるようにして、ロッカー画像を歪ませる。

なお、ロッカー画像に表されるロッカー４６を歪ませるための処理としては様々な処理を用いることができる。例えば、制御部１４は画素ずらし処理をロッカー画像に施すことによって、ロッカー画像に表されるロッカー４６を歪ませる。またこの場合、制御部１４は、音源位置５４から離れるにつれてずらしの程度が大きくなるようにして、画素ずらし処理をロッカー画像に施す。さらにこの場合、画素をずらす方向は一定方向としてもよいし、ステップＳ１０６と同様に、正弦波に基づいて、画素をずらす方向が決定されるようにしてもよい。

さらに、ステップＳ１１２において、制御部１４は、背景画像とロッカー画像とを半透明合成してなる画像に対して、ステップＳ１０９で生成されたユーザキャラクタ画像を合成する。そして、このようにして生成された画像が表示部３２に表示される。

一方、音領域フラグが「１」でない場合、ステップＳ１１１の処理を実行せずに、制御部１４（表示制御部７２）は表示部３２に表示する画像を生成する（Ｓ１１２）。この場合のステップＳ１１２では、ステップＳ１０８で敵キャラクタ画像が半透明合成された背景画像に対して、ステップＳ１０９で生成されたユーザキャラクタ画像が合成される。そして、こうして生成された画像が表示部３２に表示される。

以上に説明したゲーム装置１０（画像処理装置）では、図７のステップＳ１０２〜Ｓ１０８の処理が実行されることによって、暗い仮想空間４０内における床４２、壁４４、及び敵キャラクタ５０をおぼろげに画面に表示される。また、図７のステップＳ１１１，Ｓ１１２の処理が実行されることによって、ユーザキャラクタ４８が音を頼りに認識したロッカー４６がおぼろげに画面に表示される。ゲーム装置１０によれば、暗闇内で音を頼りに物（ロッカー４６）の存在を認識するが故に物の存在をおぼろげにしか認識できないことを好適に表現できるようになる。

なお、本発明は以上に説明した実施の形態に限定されるものではない。

（１）例えば、図７のステップＳ１０５，Ｓ１０６の一方を省略するようにしてもよい。例えば、図７のステップＳ１０５は省略するようにしてもよい。

（２）また例えば、ユーザキャラクタ４８が過去に認識したロッカー４６（すなわち、過去に音領域５６内に含まれたことがあるロッカー４６）は、音領域５６に含まれていない場合であっても、画面に表示されるようにしてもよい。

この場合、図７のステップＳ１０１では、ユーザキャラクタ４８が過去に認識したことがないロッカー４６（すなわち、過去に音領域５６に含まれたことがないロッカー４６）が仮想空間４０から取り除かれる。また、ユーザキャラクタ４８及び敵キャラクタ５０も仮想空間４０から取り除かれる。そして、それらのオブジェクトが取り除かれてなる仮想空間４０を仮想カメラ５２から見た様子を表す画像が背景画像として生成される。また、図７のステップＳ１１１では、音領域５６（対象領域）内に含まれるロッカー４６であって、それまでユーザキャラクタ４８が認識していなかったロッカー４６（つまり、それまで音領域５６内に含まれたことがなかったロッカー４６）の画像が生成される。

（３）また例えば、仮想空間４０には、ロッカー４６以外の物を表すオブジェクトが配置されるようにしてもよい。例えば、他の家具（ベッド、テーブル、又はいすなど）を表すオブジェクトが配置されるようにしてもよい。また例えば、家具以外の物を表すオブジェクトが配置されるようにしてもよい。これらのオブジェクトに関してはロッカー４６と同様に処理を実行するようにすればよい。

（４）以上では、ユーザキャラクタ４８が暗闇の中で音を頼りに物（ロッカー４６）の存在を認識するゲームに本発明を適用した例について説明したが、例えば、ユーザキャラクタ４８が暗闇の中でペンライトなどの弱い光を頼りに物の存在を認識するゲームにも本発明を適用することができる。

この場合、音領域５６の代わりに、ペンライトの光が届く領域を示す光領域を設定するようにすればよい。この場合、光領域の基準位置は光源位置（ペンライト又はユーザキャラクタの位置）となり、光領域は光源位置に基づいて設定される。例えば、光源位置を中心とする所定半径の球状領域が光領域として設定される。

このようにすれば、暗闇内で弱い光を頼りに物の存在を認識するが故に物の存在をおぼろげにしか認識できないことを好適に表現できるようになる。

（５）以上では、ユーザキャラクタ４８が暗闇の中を移動するゲームに本発明を適用した例について説明したが、例えば、ゲームキャラクタが深い霧の中を移動するゲームにも本発明は適用することができる。本発明は、視界の悪い仮想空間（見通しの悪い仮想空間）内をゲームキャラクタが移動するゲームに適用することができる。

なお、例えば、ゲームキャラクタが深い霧の中を移動するゲームの場合、そのような状況に応じたオブジェクトが仮想空間４０に配置される。例えば、床４２の代わりに、地面を表すオブジェクトが配置される。また例えば、ロッカー４６の代わりに、例えば、宝箱を表すオブジェクトが配置される。

（６）また例えば、仮想カメラ５２（視点）はユーザキャラクタ４８の目の位置に設定されるようにしてもよい。

（７）また例えば、本発明はゲーム装置１０以外の画像処理装置に適用することができる。本発明は、仮想空間の様子を表す画像を生成する画像処理装置に適用することができる。

１０ ゲーム装置、１１ 家庭用ゲーム機、１２ バス、１４ 制御部、１６ 主記憶、１８ 画像処理部、２０ 入出力処理部、２２ 音声処理部、２４ 光ディスクドライブ、２６ ハードディスク、２８ 通信インタフェース、３０ コントローラ、３２ 表示部、３４ 音声出力部、３６ 光ディスク、４０ 仮想空間、４２ 床、４４ 壁、４６ａ，４６ｂ ロッカー、４８ ユーザキャラクタ、５０ 敵キャラクタ、５２ 仮想カメラ、５４ 音源位置、５６ 音領域、６０ データ記憶部、６２ 第１画像生成部、６４ 距離情報取得部、６６ 輝度変更部、６８ ぼかし処理／画素ずらし処理実行部、７０ 第２画像生成部、７２ 表示制御部、８０ 背景画像、８２ 画素、８４ 画素列、８６ 画素行。

Claims (5)

1. 仮想空間の様子を表す画像を表示手段に表示させる画像処理装置において、
   前記仮想空間に配置されるオブジェクトのうちの所定オブジェクトが取り除かれてなる前記仮想空間を視点から見た様子を表す第１画像をグレースケールの画像として生成する第１画像生成手段と、
   前記第１画像の各画素に関し、前記視点からの距離に関する情報を取得する距離情報取得手段と、
   前記第１画像の画素の輝度を、該画素と該画素の周辺画素との間の輝度の差又は／及び前記距離の差に関する情報に基づいて増減する輝度変更手段と、
   前記輝度変更手段によって画素の輝度が増減された前記第１画像にぼかし処理と画素ずらし処理との少なくとも一方を施すぼかし処理／画素ずらし処理実行手段と、
   前記仮想空間の対象領域内に前記所定オブジェクトが含まれる場合、前記視点から前記仮想空間を見た場合の前記所定オブジェクトの様子を表す第２画像を生成する第２画像生成手段と、
   前記第１画像と前記第２画像とを、前記第２画像に表される前記所定オブジェクトを歪ませるようにして合成してなる画像を前記表示手段に表示させる表示制御手段と、
   を含むことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記表示制御手段は、前記第１画像と前記第２画像とを、前記第２画像に表される前記所定オブジェクトを前記対象領域の基準点から離れるにつれて歪みの程度が大きくなるように歪ませて合成してなる前記画像を前記表示手段に表示させることを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記第２画像生成手段は、
   前記仮想空間内の音源位置を取得する手段と、
   前記音源位置に基づいて前記対象領域を設定する手段と、
   前記対象領域の大きさを時間経過に伴って増やす手段と、を含む、
   ことを特徴とする画像処理装置。
4. 仮想空間の様子を表す画像を表示手段に表示させる画像処理方法において、
   前記仮想空間に配置されるオブジェクトのうちの所定オブジェクトが取り除かれてなる前記仮想空間を視点から見た様子を表す第１画像をグレースケールの画像として生成する第１画像生成ステップと、
   前記第１画像の各画素に関し、前記視点からの距離に関する情報を取得する距離情報取得ステップと、
   前記第１画像の画素の輝度を、該画素と該画素の周辺画素との間の輝度の差又は／及び前記距離の差に基づいて増減する輝度変更ステップと、
   前記輝度変更ステップによって画素の輝度が増減された前記第１画像にぼかし処理と画素ずらし処理との少なくとも一方を施すぼかし処理／画素ずらし処理実行ステップと、
   前記仮想空間の対象領域内に前記所定オブジェクトが含まれる場合、前記視点から前記仮想空間を見た場合の前記所定オブジェクトの様子を表す第２画像を生成する第２画像生成ステップと、
   前記第１画像と前記第２画像とを、前記第２画像に表される前記所定オブジェクトを歪ませるようにして合成してなる画像を前記表示手段に表示させる表示制御ステップと、
   を含むことを特徴とする画像処理方法。
5. 仮想空間の様子を表す画像を表示手段に表示させる画像処理装置としてコンピュータを機能させるためのプログラムであって、
   前記仮想空間に配置されるオブジェクトのうちの所定オブジェクトが取り除かれてなる前記仮想空間を視点から見た様子を表す第１画像をグレースケールの画像として生成する第１画像生成手段、
   前記第１画像の各画素に関し、前記視点からの距離に関する情報を取得する距離情報取得手段、
   前記第１画像の画素の輝度を、該画素と該画素の周辺画素との間の輝度の差又は／及び前記距離の差に基づいて増減する輝度変更手段、
   前記輝度変更手段によって画素の輝度が増減された前記第１画像にぼかし処理と画素ずらし処理との少なくとも一方を施すぼかし処理／画素ずらし処理実行手段、
   前記仮想空間の対象領域内に前記所定オブジェクトが含まれる場合、前記視点から前記仮想空間を見た場合の前記所定オブジェクトの様子を表す第２画像を生成する第２画像生成手段、及び、
   前記第１画像と前記第２画像とを、前記第２画像に表される前記所定オブジェクトを歪ませるようにして合成してなる画像を前記表示手段に表示させる表示制御手段、
   として前記コンピュータを機能させるためのプログラム。

Images