JP7611550B2 - アプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラム - Google Patents

Description

本明細書における開示は、仮想キャラクタとのインタラクションを提供するアプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラムに関する。より具体的には、本明細書における開示は、ヘッドマウントディスプレイにより検出される検出情報に応じた仮想キャラクタとのインタラクションを提供するアプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラムに関する。

仮想キャラクタとのインタラクションを提供するアプリケーションとして、仮想キャラクタとインタラクションを行うことが可能なシミュレーションゲームが知られている。かかるシミュレーションゲームは、例えば、特開２０１２－０５５６４４号公報（特許文献１）に開示されている。

このような仮想キャラクタとのインタラクションを提供するゲームにおいて、ゲームへの没入感を高めるために、ヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある。）が利用されることがある。例えば、ＨＭＤに仮想空間を表示し、この仮想空間内に登場する仮想キャラクタとＨＭＤを用いてインタラクションできるＶＲゲームが知られている。この種のＶＲゲームとして、株式会社バンダイナムコエンターテインメントの「サマーレッスン」がある（非特許文献１参照）。

ＨＭＤは、特開２０１７－０５８９６９号公報（特許文献２）に記載されているように、ユーザの頭部の位置及び向きを検出するためのトラッキングセンサを備えている。ＨＭＤを用いてプレイするＶＲゲームでは、このトラッキングセンサにより検出された検出情報に基づいて仮想空間内における視点が定められ、このようにして定められた視点から見た仮想空間の画像がＨＭＤに表示される。

上記の「サマーレッスン」では、ＨＭＤのトラッキングセンサにより検出された検出情報に応じて、仮想キャラクタに対するアクションを特定し、この特定されたアクションに対するリアクションを仮想キャラクタに行わせることで、ユーザと仮想キャラクタとの間でのインタクラクションが実現されている。例えば、ＨＭＤに表示されている仮想キャラクタの問いかけに応答して当該ＨＭＤを装着したユーザが頷くと、この頷きに対応するユーザの頭部の動きが検出され、この検出された頭部の動きに基づいて仮想空間内におけるユーザから仮想キャラクタへのアクションが特定される。例えば、頷きに対応するユーザの頭部の動きが検出された場合には、仮想空間におけるユーザから仮想キャラクタへのアクションとして、当該仮想キャラクタからの問いかけに肯定的な返答を行うというアクシ
ョンが特定される。また、ＨＭＤにより首を振る動きに対応するユーザの頭部の動きが検出された場合には、仮想キャラクタへのアクションとして、当該仮想キャラクタからの問いかけに否定的な返答を行うという仮想空間内でのアクションが特定される。このようにして特定されたユーザのアクションに対する仮想キャラクタのリアクションが決定され、この決定されたリアクションを行う仮想キャラクタの画像がＨＭＤに表示される。

ＨＭＤの検出情報に基づいて特定されるユーザの仮想空間におけるアクションは、頷く、首を横に振るといったユーザの頭部の動き及び仮想キャラクタの特定の部位を凝視するというユーザの視線の動きと関連づけられたものに限られている。このように、ＨＭＤの検出信号によって特定されるユーザから仮想キャラクタへのアクションのバリエーションは限定的である。

ユーザの身体の頭部以外の部位（例えば、手）に関連づけられたアクションを仮想空間における当該ユーザのアクションとして特定することができれば、仮想キャラクタとユーザとの間でのインタラクションのバリエーションが豊富化される。ユーザの身体の頭部以外の部位に関連づけられたアクションは、従来、ＨＭＤとは別の操作コントローラからの入力に基づいて特定されている。従来の典型的な操作コントローラは、ユーザによって把持されるように構成されている。例えば、特許第６１８９４９７号明細書には、ユーザによって把持される操作コントローラへの操作に基づいて、仮想空間内においてユーザの仮想的な手の位置を特定し、この仮想的な手により当該仮想空間内のオブジェクトに触れるアクションを行うことが開示されている。

特開２０１２－０５５６４４号公報 特開２０１７－０５８９６９号公報 特許第６１８９４９７号明細書

"サマーレッスン"、［ｏｎｌｉｎｅ］、平成２９年１２月１２日検索、インターネット（ＵＲＬ： HYPERLINK "http://summer-lesson.bn-ent.net/" http://summer-lesson.bn-ent.net/）

上記のように、従来は、仮想空間におけるユーザのアクションのうちユーザの頭部の動きと関連づけられていないアクション（例えば、仮想空間において手で触れるというアクション）を特定するために、ＨＭＤとは別の操作コントローラが使用されている。このような操作コントローラの使用は、アプリケーションへの没入感を損なうことがある。また、ＨＭＤの装着時には、実空間における視界が遮られるため、操作コントローラの操作が難しいという問題がある。

ＨＭＤとは別の操作コントローラを用いなくとも、仮想空間においてユーザの頭部の動きと関連づけられていない仮想キャラクタへのアクションを行うことが可能なアプリケーション処理システムが求められる。

本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。

本開示の具体的な目的の一つは、ユーザの頭部の動きと関連づけられていないアクションを仮想キャラクタに対して行うことが可能なアプリケーション処理システムにおける技術的な改善を提供することである。

本開示のより具体的な目的の一つは、ヘッドマウントディスプレイによる検出情報に基づいて、ユーザの頭部の動きと関連づけられていないアクションを仮想キャラクタに対して行うことが可能なアプリケーション処理システムを提供することである。

本開示のより具体的な目的の一つは、仮想キャラクタに対して行われるユーザの頭部の動きと関連づけられていないアクションのバリエーションを豊富化することである。

本開示のこれら以外の目的は、本明細書全体を参照することにより明らかとなる。

本発明の一態様によるアプリケーション処理システムは、一又は複数のコンピュータプロセッサを備え、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することにより前記ユーザに前記仮想キャラクタとのインタラクションを提供する。一態様において、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、前記ヘッドマウントディスプレイによって検出される一又は複数の検出情報に基づいて、前記仮想キャラクタに対して行われるアクションであって前記仮想空間における前記ユーザの頭部の動きと関連づけられている第１アクションを特定し、前記仮想空間に含まれている特定オブジェクトが選択されたことに応じて、前記一又は複数の検出情報に基づいて、前記仮想キャラクタに対し
て行われるアクションであって前記仮想空間における前記ユーザの頭部の動きと関連づけられていない第２アクションを特定する。

本発明の一態様によるアプリケーション処理システムにおいて、前記第２アクションは、前記仮想空間における前記ユーザの手の動きに関連づけられたアクションである。

本発明の一態様によるアプリケーション処理システムにおいて、前記第２アクションは、前記仮想空間における前記ユーザによる道具の使用に関連づけられたアクションである。

本発明の一態様によるアプリケーション処理システムにおいて、前記特定オブジェクトの選択に応じて、前記仮想キャラクタ上に一又は複数のキャラクタ注視位置が設定され、前記仮想キャラクタ上に設定された一又は複数のキャラクタ注視位置のうちの少なくとも一つが注視されたことに応じて前記第２アクションが特定される。

本発明の一態様によるアプリケーション処理システムにおいて、前記一又は複数のキャラクタ注視位置は、第１キャラクタ注視位置及び第２キャラクタ注視位置を含み、前記第２アクションは、第１注視位置アクション及び第２注視位置アクションを含み、前記第１キャラクタ注視位置の注視により、第１注視位置アクションが前記第２アクションとして特定され、前記第２キャラクタ注視位置の注視により、第２注視位置アクションが前記第２アクションとして特定される。

本発明の一態様によるアプリケーション処理システムにおいて、前記特定オブジェクトは、第１メニューアイテム及び第２メニューアイテムに関連づけられており、前記第２アクションは、前記第１メニューアイテムに関連づけられた第１メニューアイテムアクション、及び、前記第２メニューアイテムに関連づけられた第２メニューアイテムアクションを含み、前記第１メニューアイテムの注視後に前記一又は複数のキャラクタ注視位置のうちの少なくとも一つが注視されることにより、前記第１メニューアイテムアクションが前記第２アクションとして特定され、前記第２メニューアイテムの注視後に前記一又は複数のキャラクタ注視位置のうちの少なくとも一つが注視されることにより、前記第２メニューアイテムアクションが前記第２アクションとして特定される。

本発明の一態様によるアプリケーション処理システムにおいて、前記一又は複数のコンピュータプロセッサは、第１シーンにおいて前記仮想空間における第１主表示領域を特定し、前記特定オブジェクトは、前記第１シーンにおいて、前記第１主表示領域の外に配置される。

本発明の一態様によるアプリケーション処理システムにおいて、前記一又は複数のコンピュータプロセッサは、第２シーンにおいて前記仮想空間における第２主表示領域を特定し、前記特定オブジェクトは、前記第２シーンにおいて、前記第２主表示領域の外に配置される。

本発明の一態様によるアプリケーション処理システムにおいて、前記一又は複数のコンピュータプロセッサは、前記仮想空間に前記第１アクション又は前記第２アクションに応じたリアクションを行う前記仮想キャラクタが含まれるように前記仮想空間を構成する。

一態様によるアプリケーション処理方法は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することで前記ユーザに前記仮想キャラクタとのインタラクションを提供する。当該アプリケーション処理方法は、前記ヘッドマウントディスプレイによって検出される一又は複数の検出情報に基づいて、前記仮想キャラクタに対して行われるアクションであって前記仮想空間における前記ユーザの頭部の動きと関連づけられている第１アクションを特定する工程と、前記仮想空間に含まれている特定オブジェクトが選択されたことに応じて、前記一又は複数の検出情報に基づいて、前記仮想キャラクタに対して行われるアクションであって前記仮想空間における前記ユーザの頭部の動きと関連づけられていない第２アクションを特定する工程と、を備える。

本発明の一態様によるアプリケーション処理プログラムは、一又は複数のコンピュータプロセッサに実行されることにより、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することで前記ユーザに前記仮想キャラクタとのインタラクションを提供する。当該アプリケーション処理プログラムは、前記一又は複数のコンピュータプロセッサに、前記ヘッドマウントディスプレイによって検出される一又は複数の検出情報に基づいて、前記仮想キャラクタに対して行われるアクションであって前記仮想空間における前記ユーザの頭部の動きと関連づけられている第１アクションを特定する工程と、前記仮想空間に含まれている特定オブジェクトが選択されたことに応じて、前記一又は複数の検出情報に基づいて、前記仮想キャラクタに対して行われるアクションであって前記仮想空間における前記ユーザの頭部の動きと関連づけられていない第２アクションを特定する工程と、を実行させる。

本明細書に開示された実施形態によれば、ユーザの頭部の動きと関連づけられていないアクションを仮想キャラクタに対して行うことが可能なアプリケーション処理システムにおける技術的な改善が提供される。

一実施形態によるアプリケーション処理システムを示すブロック図である。 図１のアプリケーション処理システムにおいて利用可能なヘッドマウントディスプレイを示す模式図である。 ユーザに装着されたヘッドマウントディスプレイを模式的に示す図である。 一実施形態によるアプリケーション処理システムにおける仮想空間を模式的に示す図である。図４ａにおいては、仮想空間においてユーザが立位姿勢を取っている。 一実施形態によるアプリケーション処理システムにおける仮想空間を模式的に示す図である。図４ｂにおいては、仮想空間においてユーザが仰臥位姿勢を取っている。 一実施形態によるアプリケーション処理システムにより処理されるゲームのモード移行を説明する図である。 一実施形態におけるチャットモードでの処理の流れを示すフロー図である。 一実施形態におけるチャットモードでの表示画像の例を示す図である。 一実施形態におけるＶＲモードでの処理の流れを示すフロー図である。 一実施形態におけるＶＲモードでの表示画像の例を示す図である。 一実施形態において第２アクションを特定する処理の流れを示すフロー図である。 一実施形態におけるＶＲモードでの表示画像の例を示す図である。図１１ａの表示画像には、メニューアイテムアイコンを示す画像が含まれている。 一実施形態におけるＶＲモードでの表示画像の例を示す図である。図１１ｂの仮想キャラクタには、複数のキャラクタ注視位置が設定されている。 一実施形態におけるＶＲモードでの表示画像の例を示す図である。図１１ｃの表示画像には、仮想空間におけるユーザの第２アクションを示す画像が含まれている。 一実施形態におけるＶＲモードでの表示画像の例を示す図である。図１１ｄの表示画像には、仮想空間におけるユーザの第２アクションを示す画像が含まれている。 本発明の他の実施形態によるアプリケーション処理システムを示すブロック図である。

以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。

図１から図３を参照して、一実施形態によるアプリケーション処理システムについて説明する。図１は、一実施形態によるアプリケーション処理システム１を示すブロック図であり、図２は、アプリケーション処理システム１において用いられるヘッドマウントディスプレイ１０（以下、「ＨＭＤ１０」という。）の模式図であり、図３は、ユーザ５に装着されたＨＭＤ１０を模式的に示す図である。

一実施形態によるアプリケーション処理システム１は、アプリケーション処理プログラムを実行することにより様々なアプリケーションを提供する。このアプリケーションの例は、ビデオゲームである。ユーザは、アプリケーション処理システム１を利用して、ゲーム媒体を利用した各種ゲームをプレイすることができる。ゲーム媒体は、アプリケーション処理システム１で実現されるゲームにおいて使用される電子データであり、ユーザによってゲーム内で取得、所有、使用、管理、交換、合成、強化、売却、廃棄、贈与、又は前記以外の方法で使用され得る。ゲーム媒体には、例えば、カード、アイテム、仮想通貨、チケット、キャラクタ、アバタ、レベル情報、ステータス情報、及びパラメータ情報（体力値や攻撃力など）、能力情報スキル、アビリティ、呪文、ジョブ、及びこれら以外のゲ
ームで利用可能な各種電子データを含む。アプリケーション処理システム１で利用可能なゲーム媒体及びその利用態様は本明細書で明示されるものに限られない。アプリケーション処理システム１は、例えば、仮想空間において仮想キャラクタとユーザとがインタラクションを行うゲームを実現することができる。アプリケーション処理システム１により実現されるゲームは、第１モードと第２モードとを有する。第１モードの例はチャットモードであり、第２モードの例はＶＲモードである。第１モード及び第２モードについては後述される。

アプリケーション処理システム１は、ゲーム以外のアプリケーションを処理するように構成されてもよい。アプリケーション処理システム１は、例えば、運転やその他の分野におけるシミュレーション、医療又はそれ以外の分野におけるトレーニング用アプリケーション、製品やサービスを体験するためのアプリケーション、映画やそれ以外の各種エンターテインメントを鑑賞するためのアプリケーション、及びこれら以外の各種アプリケーションを提供するように構成されてもよい。

アプリケーション処理システム１は、ＨＭＤ１０と、サーバ５０と、を備える。ＨＭＤ１０とサーバ５０とは、ネットワーク４０を介して相互に通信可能に接続されている。

ＨＭＤ１０は、図２に示されているように、人間の頭部に装着される装着具１１と、この装着具１１に取り付けられる情報処理装置２０と、を備えている。

装着具１１は、開口１１ｄが形成されたゴーグル型の筐体１１ａと、この筐体１１ａに取り付けられた第１ベルト１１ｂ及び第２ベルト１１ｃと、蓋１１ｅと、を有する。蓋１１ｅは、筐体１１ａに開閉自在に取り付けられている。筐体１１ａの前方には開口１１ｄが形成されている。図２においては、蓋１１ｅは開放されている。ＨＭＥ１０の使用時には、蓋１１ｅは、開口１１ｄを閉塞するように閉じられる。

情報処理装置２０は、ＨＭＤ１０の蓋１１ｅの内側に、着脱可能に設けられる。情報処理装置２０は、ディスプレイ２４を備えている。情報処理装置２０は、蓋１１ｅが閉じられたときに、ディスプレイ２４が筐体１１ａの内側を向くように蓋１１ｅに取り付けられる。情報処理装置２０は、ＨＭＤ１０の使用時に装着具１１に取り付けられる。情報処理装置２０は、ＨＭＤ１０を使用しないときには、装着具１１から取り外される。

図示の実施形態において、情報処理装置２０は、スマートフォンである。情報処理装置２０は、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の各種情報処理装置であってもよい。ＨＭＤ１０から取り外された情報処理装置２０は、その本来の目的に応じて利用される。

情報処理装置２０は、上記のように、ディスプレイ２４を備えている。図示の実施形態においては、情報処理装置２０が装着具１１に取り付けられたときには、ディスプレイ２４がＨＭＤ１０における画像表示のための装置として機能する。よって、ＨＭＤ１０を用いてゲームをプレイする場合には、ディスプレイ２４に当該ゲームの仮想空間、仮想キャラクタ、及びこれら以外のゲームに関連する画像が表示される。

装着具１１の形状は、図示されたゴーグル型に限られない。装着具１１は、装着されたユーザの頭部の動きに追従して動き、装着されたときにディスプレイ２４を当該ユーザの眼前に配置できる任意の形状の構造体を含み得る。装着具１１は、例えば眼鏡を模した形状、帽子を模した形状、又はヘルメットを模した形状であってもよい。ユーザの没入感を向上させるためには、ＨＭＤ１０は、装着具１１がユーザの頭部に装着されたときに、ディスプレイ２４が当該ユーザの両目を覆うように構成されていることが望ましい。

ＨＭＤ１０は、使用時において、図３に示されているように、装着具１１を介してユーザ５の頭部に取り付けられる。ユーザ５の頭部に装着されている装着具１１には、情報処理装置２０が取り付けられている。

再び図１を参照して、情報処理装置２０についてさらに説明する。図示のように、一実施形態において、情報処理装置２０は、コンピュータプロセッサ２１、メモリ２２、通信Ｉ／Ｆ２３、ディスプレイ２４、センサユニット２５、集音装置２６、及びストレージ２７を備えている。

コンピュータプロセッサ２１は、ストレージ２７又はそれ以外のストレージからオペレーティングシステムやゲームロジックを実現する様々なプログラムをメインメモリ２２にロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ２１は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＧＰＵ又はこれら以外の各種演算装置である。プロセッサ２１は、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、ＭＣＵ等の集積回路により実現されてもよい。図１においては、コンピュータプロセッサ２１が単一の構成要素として図示されているが、コンピュータプロセッサ２１は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ２１によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ２１によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより分散して実行されてもよい。

メモリ２２は、コンピュータプロセッサ２１が実行する命令及びそれ以外の各種データを格納するために用いられる。一実施形態によるアプリケーション処理プログラムの少なくとも一部は、ゲームの進行に応じて、随時メモリ２２にロードされる。メモリ２２は、例えば、コンピュータプロセッサ２１が高速にアクセス可能な主記憶装置（メインメモリ）である。メモリ２２は、例えば、ＤＲＡＭやＳＲＡＭ等のＲＡＭによって構成される。

通信Ｉ／Ｆ２３は、ハードウェア、ファームウェア、又はＴＣＰ／ＩＰドライバやＰＰＰドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。情報処理装置２０は、通信Ｉ／Ｆ２３を介して、他の装置とデータを送受信することができる。

ディスプレイ２４は、表示パネル２４ａと、タッチパネル２４ｂと、を有する。例えば、タッチパネル２４ｂは、表示パネル２４ａの上面又は下面に積層されている。表示パネル２４ａは、液晶パネル、有機ＥＬパネル、無機ＥＬパネル、又はこれら以外の画像を表示可能な任意の表示パネルである。タッチパネル２４ｂは、ユーザのタッチ操作を検出することができるように構成されている。タッチパネル２４ｂは、ユーザのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。

センサユニット２５は、一又は複数のセンサを備える。センサユニット２５は、例えば、ジャイロセンサ、加速度センサ、および地磁気センサのうち少なくとも１つのセンサを含む。センサユニット２５は、ユーザの眼球の動きを直接的に検出するアイトラッキングセンサを備えてもよい。アイトラッキングセンサは、例えば、虹彩内に近赤外光を入射しその反射光を検出する視線検出センサである。センサユニット２５により検出された検出情報に基づいて、ユーザ５の頭部に装着されたＨＭＤ１０の位置及び向きが特定される。ＨＭＤ１０の位置及び向きは、例えば、三次元直交座標系での位置および各軸回りの角度として算出される。この三次元直交座標系は、例えば、前後方向に沿ったロール軸、上下方向に沿ったヨー軸、左右方向に沿ったピッチ軸から成る直交座標系である。センサユニット２５を構成する各種センサの少なくとも一部は、装着具１１及び／又は装着具１１以外の情報処理装置２０とは異なる部材に設けられてもよい。

集音装置２６は、音声を集音することができるように構成されている。集音装置２６は、例えば、マイクロフォンである。集音装置２６により集音された音声情報に基づいて、ユーザ５の音声が検出される。

ストレージ２７は、コンピュータプロセッサ２１によりアクセスされる外部記憶装置である。ストレージ２７は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ２７には、アプリケーション処理プログラム等の様々なプログラムが記憶される。また、ストレージ２７には、ゲームにおいて用いられる各種データも記憶される。ストレージ２７に記憶され得るプログラム及び各種データの少なくとも一部は、情報処理装置２０とは物理的に別体のストレージに格納されてもよい。

図示の実施形態において、ストレージ２７には、画像データ２８ａ、チャットデータ２８ｂ、シナリオデータ２８ｃ、イベントデータ２８ｄ、ゲーム進行データ２８ｅ、及び前記以外のゲームの進行のために必要な様々なデータが記憶される。

画像データ２８ａには、ゲームの行われる仮想空間の背景を描画するためのデータ、仮想キャラクタを描画するためのデータ、及びゲームで用いられる仮想キャラクタ以外のオブジェクトを描画するためのデータが含まれる。画像データ２８ａには、仮想空間内におけるオブジェクトの位置情報を含んでもよい。画像データ２８ａには、上記の各データが、シナリオごと、イベントごと、又はシーンごとに関連づけて記憶されていてもよい。

チャットデータ２８ｂには、仮想キャラクタのアイコンを描画するためのデータ、ユーザ５のアイコンを描画するためのデータ、仮想キャラクタの複数のメッセージを特定するためのデータ、当該仮想キャラクタの複数のメッセージの各々に対する応答メッセージの選択肢を示すデータ、及びこれら以外のチャットモードで用いられるデータが含まれる。仮想キャラクタの複数のメッセージは、各メッセージに対応するノードを有し、当該ノード同士がアークで接続されたツリー構造で定義されてもよい。このツリー構造では、例えば、最上位のルートノードである開始メッセージから複数のアークが伸びており、各アークが下位ノードに接続される。この下位ノードからもアークが延び、当該アークがさらに下位のノードに接続される。下位ノードの各々は、開始メッセージよりも後に表示され得
る仮想キャラクタのメッセージの候補に対応する。また、チャットデータ２８ｂには、チャットモードからＶＲモードへの移行を開始する条件であるモード移行条件が含まれてもよい。モード移行条件には、例えば、ゲームがチャットモードで開始されてからの経過時間が所定時間以上であること、ツリー構造のメッセージにおいて末端のノードまでチャットが進行したこと、及びこれら以外の条件が含まれる。チャットデータ２８ｂには、移行オブジェクトの選択が完了しなかった後に再開されたチャットモードで表示されるメッセージを示すデータが含まれてもよい。

シナリオデータ２８ｃには、ゲームにおいてユーザ５によって体験されるシナリオを定義するデータが含まれる。ゲームにおいてユーザ５によって体験されるシナリオが複数ある場合、シナリオデータ２８ｃは、複数のシナリオの各々についてシナリオデータを定義してもよい。シナリオデータ２８ｃは、複数のイベントの集合として定義されてもよい。シナリオデータ２８ｃに含まれる複数のイベントは、各イベントに対応するノードを有し、当該ノード同士がアークで接続されたツリー構造で定義されてもよい。このツリー構造では、例えば、最上位のルートノードである冒頭イベントから複数のアークが伸びており、各アークが下位ノードに接続されている。この下位ノードからもアークが延び、当該アークがさらに下位のノードに接続される。あるシナリオにおける下位ノードの各々は、当
該シナリオにおいて冒頭イベントよりも後に発生し得るイベントの候補に対応する。シナリオデータ２８ｃには、上記の各データが、シナリオごとごとに関連づけて記憶されていてもよい。

イベントデータ２８ｄは、シナリオデータ２８ｃを構成するイベントの各々を定義するためのデータである。イベントデータ２８ｄは、ゲームにおける仮想キャラクタの複数のアクションを特定するためのデータの集合として定義されてもよい。仮想キャラクタの複数のアクションは、各アクションに対応するノードを有し、当該ノード同士がアークで接続されたツリー構造で定義されてもよい。このツリー構造では、例えば、最上位のルートノードである冒頭アクションから複数のアークが伸びており、各アークが下位ノードに接続されている。この下位ノードからもアークが延び、当該アークがさらに下位のノードに接続される。あるイベントにおける下位ノードの各々は、当該イベントにおいて冒頭アクションよりも後に発生し得るアクションの候補に対応する。イベントデータ２８ｄは、ノ
ードごとに、当該ノードに対応するアクションに対応する動画像データ、仮想キャラクタに対してユーザが取ることができるアクションに関するデータ、及びこれら以外の仮想キャラクタのアクションに関するデータを含むことができる。

ゲーム進行データ２８ｅには、ゲームの進行の管理に用いられるデータが含まれる。ゲーム進行データ２８ｅは、ゲームの進行に応じて更新されてもよい。ゲーム進行データ２８ｅには、例えば、仮想キャラクタのユーザに対する好感度に関するデータ、ゲームにおいてユーザが獲得したポイントに関するデータ、及びこれら以外のゲームの進行に応じて変化しえる各種データが含まれ得る。

図１に示されている情報処理装置２０の構成要素及び機能は例示である。本発明に適用可能な情報処理装置２０は、図示されていない様々な構成要素を備え得る。例えば、情報処理装置２０は、ゲームの効果音や仮想キャラクタの音声を出力するスピーカを備えてもよい。

図１に示されている情報処理装置２０の構成要素及び機能は例示である。本発明に適用可能な情報処理装置２０は、図示されていない様々な構成要素を備え得る。例えば、情報処理装置２０は、ゲームの効果音や仮想キャラクタの音声を出力するスピーカを備えてもよい。

続いて、ＨＭＤ１０の機能について説明する。図示の実施形態においては、情報処理装置２０のコンピュータプロセッサ２１においてコンピュータ読み取り可能な命令を実行することにより、ＨＭＤ１０の各種機能が実現される。コンピュータプロセッサ２１において実行される命令には、一実施形態によるアプリケーション処理プログラムに含まれる命令が含まれる。

コンピュータプロセッサ２１によって一実施形態によるアプリケーション処理プログラムが実行されることにより、アプリケーション処理システム１において第１モード及び当該第１モードとは異なる第２モードを有するゲームが実現される。アプリケーション処理システム１において実現されるゲームは、第１モード及び第２モード以外のモードを有していてもよい。

アプリケーション処理システム１において実現されるゲームの第１モードでは、ＨＭＤ１０がユーザ５に装着されていないときに、すなわち、情報処理装置２０が装着具１１から取り外されているときに、情報処理装置２０により検出された第１検出情報に応じてゲームに関する処理が行われる。この第１検出情報には、情報処理装置２０のタッチパネル２４ｂにより検出されるユーザ５のタッチ操作に関する情報、集音装置２６により検出されるユーザの音声に関する情報、及びＨＭＤ１０がユーザ５に装着されていない場合に情報処理装置２０において検出可能な前記以外の検出情報を含み得る。ユーザ５は、第１モードにおいては、装着具１１から取り外された情報処理装置２０を用いてゲームに関する操作を行うことができる。第１モードにおいては、ＨＭＤ１０がユーザ５に装着されていないときにゲームを進行させることが想定されているため、一実施形態において、ディスプレイ２４には、立体視画像以外の画像が表示される。

アプリケーション処理システム１において実現されるゲームの第２モードでは、ユーザ５の頭部に装着されたＨＭＤ１０によって検出される第２検出情報を用いてゲームが進行される。この第２検出情報は、例えば、センサユニット２５によって検出される検出情報である。この第２検出情報に基づいて、ユーザ５の頭部の位置及び向きを特定するためのヘッドトラッキング情報が算出される。第２モードにおけるゲームの進行のための処理は、例えば、第２検出情報に基づいて算出されたヘッドトラッキング情報に基づいて実行される。第２モードにおけるゲームの進行のための処理は、ヘッドトラッキング情報に加えて、当該ヘッドトラッキング情報以外の情報も用いて実行されてもよい。ユーザ５は、第２モードでゲームをプレイする準備として、情報処理装置２０を装着具１１に取付け、この情報処理装置２０が取り付けられた装着具１１を頭部に装着する。このように、第２モードにおいては、ＨＭＤ１０がユーザ５に装着されているときにゲームを進行させることが想定されているため、一実施形態において、第２モードでは、ユーザ５によって立体視される立体視画像がディスプレイ２４に表示される。立体視画像は、例えば、視差バリア方式によって、ディスプレイ２４に表示される。視差バリア方式においては、左目用画像及び右目用画像がディスプレイ２４に表示される。このように、立体視画像は、ディスプレイに表示されることによって、左右の目の視差を利用して立体視されるように構成された左目用画像及び右目用画像を含む画像のセットである。

第１モードは、例えば、チャットモードである。チャットモードは第１モードの例示である。チャットモードにおいては、ユーザが仮想キャラクタとテキストメッセージを介してチャットする機能が実現される。ユーザは、第１モードにおいては、仮想キャラクタとチャットを行うことにより、当該仮想キャラクタとのインタラクションを体験することができる。チャットモードにおける処理の具体的な内容は後述される。インタラクションとは、広義には、プレイヤが実行したアクションに対して仮想キャラクタがリアクションすることを意味する。仮想キャラクタとのインタラクションには、仮想キャラクタとの会話などによるコミュニケーションとしてなされるインタラクションが含まれる。本明細書においては、仮想キャラクタとのコミュニケーションとして行われるインタラクションをコミュニケーティブインタラクションと呼ぶことがある。仮想キャラクタとのインタラクションには、コミュニケーティブインタラクションの他に、仮想キャラクタとの対戦、仮想キャラクタと協力してゲームをプレイする協力プレイ、及びこれら以外の仮想キャラクタとの相互作用が含まれ得る。本明細書においては、仮想キャラクタとの対戦として行われるインタラクションを対戦インタラクションと呼ぶことがある。本明細書においては、仮想キャラクタとの協力プレイとして行われるインタラクションを協力インタラクションと呼ぶことがある。

第２モードは、例えば、ＶＲモードである。ＶＲモードにおいては、情報処理装置２０のディスプレイに表示される仮想空間に登場する仮想キャラクタと様々なインタラクションを行うための機能が実現される。ＶＲモードにおける処理の具体的な内容は後述される。ＶＲモードは第２モードの例示であり、第２モードには、ヘッドトラッキング情報を用いてゲーム進行のための処理が行われる任意のゲームモードが含まれ得る。

一実施形態において、アプリケーション処理システム１で実現される第１モード及び第２モードを有するゲームは、仮想キャクタとコミュニケーティブインタラクション以外のインタラクションを行うゲームであってもよい。アプリケーション処理システム１で実現されるゲームでは、コミュニケーティブインタラクションが行われなくともよい。一実施形態におけるゲームでは、第１モードでは２次元空間でプレイされ、第２モードでは３次元空間でプレイされる。一実施形態におけるゲームでは、第１モードでは３次元空間でプレイされ、第２モードでは当該第１モードの３次元空間とは異なる表示態様で表示される（又は当該第１モードの３次元空間とは異なる態様で構成される）３次元空間でプレイされる。一実施形態において、アプリケーション処理システム１で実現されるゲームは、第
１モード及び第２モードで共通のゲーム媒体を使用するものであってもよい。このゲーム媒体に関連付けられたパラメータは、第１モードと第２モードとの間で引き継がれてもよい。例えば、第１モードでのプレイ中に特定のゲーム媒体のパラメータが変更され、その後に第２モードへ移行した場合には、変更後のパラメータが設定された当該特定のゲーム媒体が第２モードで用いられる。一実施形態において、特定のゲーム媒体のパラメータは、第１モードから第２モードへの移行時及び第２モードから第１モードへの移行時の少なくとも一方において、変更されてもよい。このゲーム媒体のパラメータの変更は、プレイヤ５にとってゲームの進行上有利となる変更であってもよいし、不利となる変更であってもよい。一実施形態において、第１モードでのプレイ結果が第２モードでのゲームに反映
されてもよいし、第２モードでのプレイ結果が第１モードでのゲームに反映されてもよい。例えば、第１モードで獲得されたプレイヤ５の経験値が第２モードにおいて引き継がれてもよい。

上記のとおり、アプリケーション処理システム１において実現されるゲームの第１モードと第２モードとは互いから識別されるモードである。つまり、第１モードは第２モードと異なるモードである。一実施形態においては、アプリケーション処理システム１において実現されるゲームが第１モードでプレイされる場合には、ＨＭＤ１０がユーザ５の頭部に装着されないのに対し、当該ゲームが第２モードでプレイされる場合には、ＨＭＤ１０がユーザ５の頭部の頭部に装着される。この場合、第１モードにおいては、ユーザ５の頭部に装着されていない情報処理装置２０により検出された第１検出情報に応じてゲームの処理が行われ、第２モードにおいては、ユーザ５の頭部に装着されたＨＭＤ１０により検出された第２検出情報に応じてゲームの処理が行われる。

一実施形態において、第２モードでは、立体視画像がディスプレイ２４に表示されるのに対し、上述したように、第１モードでは立体視画像以外の画像がディスプレイ２４に表示される。第２モードでは、ゲーム用の画像のうち少なくとも仮想キャラクタの画像が立体視画像として表示され、第１モードでは、仮想キャラクタの画像が立体視画像以外の画像として表示される。

一実施形態において、第１モードにおいては第２検出情報に基づいて算出されるヘッドトラッキング情報を用いずにゲームを進行させる処理がなされるのに対して、第２モードにおいては当該ヘッドトラッキング情報に基づいてゲームを進行させる処理がなされる。

一実施形態において、第１モードにおいてはタッチパネル２４ｂにより検出されるタッチ操作に応じてゲームを進行させる処理がなされるのに対して、第２モードにおいてはタッチパネル２４ｂのタッチ操作に応じた処理はなされない。

一実施形態において、アプリケーション処理システム１において実現されるゲームにおいて仮想キャラクタとのインタラクションが提供される場合には、第１モードにおいては、ユーザ５の頭部に装着されていない情報処理装置２０により検出された第１検出情報に応じた当該仮想キャラクタとのインタラクションが提供され、第２モードにおいては、ユーザ５の頭部に装着されたＨＭＤ１０により検出された第２検出情報に応じた当該仮想キャラクタとのインタラクションが提供される。

ゲームを開始した後には、上記のように区別される第１モードと第２モードとの間での移行が可能となる。図５を参照して、アプリケーション処理システム１により処理されるゲームのモード移行の概略を説明する。図示のように、ステップＳ１においてゲームが開始されると、ステップＳ２において第１モードであるチャットモードＳ２が開始される。このチャットモードにおいて、第２モードであるＶＲモードへ移行するための移行処理が開始されると、ステップＳ３に移行し、第２モードへの移行処理が行われる。移行処理が完了すると、ステップＳ４において第２モードであるＶＲモードが開始される。ＶＲモードが終了又は中断されると、チャットモードへの復帰処理が行われる。

次に、コンピュータプロセッサ２１により実現される機能についてより具体的に説明する。コンピュータプロセッサ２１は、コンピュータ読み取り可能な命令を実行することにより、チャットモード実行部２１ａ、移行処理部２１ｂ、及びＶＲモード実行部２１ｃとして機能する。コンピュータプロセッサ２１により実現される機能の少なくとも一部は、ゲームシステム１のコンピュータプロセッサ２１以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ２１により実現される機能の少なくとも一部は、例えば、サーバ５０に搭載されているコンピュータプロセッサにより実現されてもよい。

チャットモード実行部２１ａは、一実施形態によるアプリケーション処理プログラムを実行することにより、第１モードであるチャットモードでゲームを提供するための処理を行う。チャットモード実行部２１ａは、ユーザ５と仮想キャラクタとの間でチャットを行うための機能を実現する。チャットモード実行部２１ａは、チャットモードへのログイン後に、仮想キャラクタのメッセージ及びユーザ５により入力又は選択されたメッセージをディスプレイ２４に表示し、当該仮想キャラクタとユーザ５との間でチャットを行わせることができる。チャットモード実行部２１ａは、仮想キャラクタのメッセージに続けて、当該メッセージ対するユーザ５の応答に関する複数の選択肢をディスプレイ２４に表示してもよい。ユーザ５の操作に応じて当該複数の選択肢からユーザ５のメッセージが特定され、この特定されたメッセージが、仮想キャラクタのメッセージに続けて、ユーザ５のメッセージとして表示される。ユーザ５は、タッチパネル２４ｂへのタッチ操作により、表示された選択肢のうち所望のものを選択することができる。仮想キャラクタのメッセージ及び当該メッセージに対するユーザの選択肢は、アプリケーション処理プログラムに従って、チャットデータ２８ｂを参照して特定することができる。仮想キャラクタのメッセージは、当該仮想キャラクタの画像とともに表示されてもよく、ユーザ５のメッセージは、当該ユーザ５の画像とともに表示されてもよい。仮想キャラクタのメッセージには、第２モードであるＶＲモードへの移行を促すメッセージ、当該ＶＲモードにおける設定をユーザ５に選択させるためのメッセージ、及びこれら以外の当該ＶＲモードに関連づけられたメッセージが含まれていてもよい。

チャットモードにおいては、チャットの進行に応じて、第２モードであるＶＲモードへの移行を開始するための移行開始オブジェクトが表示される。移行開始オブジェクトの表示は、アプリケーション処理プログラムに従って、モード移行条件が成立したときに行われる。タッチパネル２４ｂ又はそれ以外のユーザインタフェースからの検出信号に基づいて移行開始オブジェクトが選択されたことが検知されると、第２モードであるＶＲモードへの移行処理が開始される。

移行処理部２１ｂは、第１モードから第２モードへ移行するための移行処理を行う。この移行処理には、情報処理装置２０を装着具１１へ装着するように促すガイダンスをディスプレイ２４に表示すること、及び、ユーザの注視によって選択可能な移行オブジェクトをディスプレイ２４に表示させること、を含んでもよい。この移行オブジェクトを表示させた後、移行処理部２１ｂは、センサユニット２５又はそれ以外のセンサの検出信号を受信し、この検出信号に基づいて移行オブジェクトが注視によって選択されたか否かを判定することができる。この判定のために、移行処理部２１ｂは、センサユニット２５の検出信号に基づいてＨＭＤ１０の位置及び向きを算出し、この算出されたＨＭＤ１０の位置及び向きに基づいて、ユーザ５の注視位置を特定する。注視位置の特定は、様々な公知の方
法により行われ得る。例えば、アイトラッキングセンサの検出信号に基づいて注視位置を特定してもよい。移行処理部２１ｂは、例えば、注視位置が移行開始オブジェクト上にある時間（注視時間）を計測し、この注視時間が所定時間に達したときに、移行開始オブジェクトの選択が完了したと判断する。移行処理部２１ｂは、移行オブジェクトの選択が完了したと判断すると第２モードであるＶＲモードを開始させる。

ＶＲモード実行部２１ｃは、仮想キャラクタ及びそれ以外のオブジェクトを含む仮想空間を構成し、この仮想空間を表示するための画像情報をディスプレイ２４に出力する。ＶＲモード実行部２１ｃは、仮想空間６０の画像情報を、ゲームの進行に応じて定められるシーンに対応するように生成することができる。

ＶＲモード実行部２１ｃによって構成される仮想空間について、図４ａをさらに参照して説明する。図４ａは、ＶＲモード実行部２１ｃによって構成される仮想空間６０を模式的に示す図である。図４ａには、第１シーンにおける初期設定時の仮想空間６０が示されている。ＶＲモード実行部２１ｃは、第１シーンの初期設定に基づいて、仮想空間６０内でのユーザ６１の位置及び基準視線６２を特定し、また、仮想空間６０全体のうち基準視線６２を中心として所定の範囲にある領域を初期表示領域６３として特定する。この初期表示領域６３は、例えば、基準視線６２を中心として所定の画角内にある範囲とされる。初期表示領域６３は、非表示領域と境界線６３ａによって区画される。ＶＲモード実行部２１ｃは、第１シーンの処理が開始されるときに、仮想空間６０全体のうち初期表示領域６３内の仮想空間の画像を示す画像情報を生成し、生成した画像情報をディスプレイ２４に出力する。このようにして生成された画像情報に基づいて、初期表示領域６３に相当する仮想空間６０の画像がディスプレイ２４に表示される。画像情報の生成には、例えば、ストレージ２７に記憶された画像データ２８ａ、シナリオデータ２８ｃ、イベントデータ２８ｄ、ゲーム進行データ２８ｅ、及びこれら以外のデータが用いられ得る。

ＶＲモードにおいて第１シーンの処理を開始した後にＨＭＤ１０によってユーザ５の頭部の動きが検出されると、ＶＲモード実行部２１ｃは、この検出されたユーザ５の頭部の動きに追従するように、基準視線６２を移動させ、この移動後の基準視線６２を中心として所定の画角内にある範囲を新たな表示領域として特定する。このように、ＶＲモード実行部２１ｃは、ＨＭＤ１０によってユーザ５の頭部の動きに応じて表示領域を随時更新し、この更新された表示領域に対応する仮想空間６０の画像をディスプレイ２４に出力する。この結果、ディスプレイ２４に表示される仮想空間６０の画像も表示領域に応じて変化する。ユーザ５は、このようにして、自らの頭部の動きに応じて変化する仮想空間６０の画像を見ることができる。ユーザ６１が仮想空間６０内で移動する場合には、基準視線６２の向きは、当該ユーザ６１の仮想空間６０内の位置に応じて変化する。

仮想空間６０には、主表示領域６４が設けられている。主表示領域６４は、第１主表示領域の例である。この主表示領域６４は、シーンごとに定められる仮想空間６０の所定の位置に設けられる。主表示領域６４は、境界線６４ａによって他の領域と区画される。主表示領域６４は、例えば、各シーンにおいて、ユーザ５の視線が向けられやすい位置を含む領域とされる。主表示領域６４は、例えば、各シーンの初期設定に基づいて定められる初期表示領域６３の内部に配置される。あるシーンにおける主表示領域６４は、例えば、当該シーンの初期設定に基づいて定められる初期表示領域６３の中に、インタラクションを行う仮想キャラクタを示すオブジェクトの少なくとも一部が含まれるように設定される。主表示領域６４は、初期表示領域６３の一部をなす領域であってもよいし、初期表示領域６３と一致する領域であってもよい。図４ａに示されている第１シーンにおいては、立位姿勢にあるユーザ６１の基準視線６２の周囲に主表示領域６４が設けられている。

仮想空間６０内には、仮想キャラクタのオブジェクト及びそれ以外の様々なオブジェクトが配置される。仮想空間６０に含まれるオブジェクトには、ユーザ５の注視によって選択可能な特定オブジェクトが含まれてもよい。図４ａには、このような特定オブジェクトの例として、メニューオブジェクト６６が示されている。

メニューオブジェクト６６には、ユーザ５の注視によって選択可能な一又は複数のメニューアイテムが関連づけられていてもよい。この一又は複数のメニューアイテムの各々は、仮想空間６０内でのユーザ６１のアクションと関連づけられていてもよい。メニューオブジェクト６６に含まれるメニューアイテムは、仮想空間６０におけるユーザ６１の頭部の動きと関連づけられていないアクション、例えば、仮想空間６０におけるユーザ６１の手の動きに関連するハンドアクション、又は、仮想空間６０におけるユーザ６１による道具の使用に関する道具アクションに関連づけられていてもよい。道具アクションは、例えば、ユーザ６１が仮想空間６０内でカメラを用いて写真撮影を行う写真アクションである。メニューオブジェクト６６に複数のメニューアイテムが関連づけられている場合、ゲー
ムの進行に応じて、そのうちの一部のみが選択可能とされてもよい。

図４ａに示されているように、メニューオブジェクト６６は、仮想空間６０において主表示領域６４に含まれない位置に配置される。つまり、メニューオブジェクト６６は、主表示領域６４の外に配置される。メニューオブジェクト６６は、初期表示領域６３の内側に配置されてもよく、初期表示領域６３の外側に配置されてもよい。

図４ｂには、第２シーンにおける仮想空間６０が示されている。第２シーンは、第１シーンとは異なるゲームシーンである。第２シーンは、第１シーンよりも前に又は第２シーンよりも後に実行される図示のように、第２シーンにおいては、仰臥位姿勢にあるユーザ６１の基準視線６２の周囲に主表示領域６４が設けられている。この第２シーンにおいても、メニューオブジェクト６６は、主表示領域６４の外に配置されている。

ＶＲモード実行部２１ｃは、アプリケーション処理プログラムに従って、仮想空間に仮想キャラクタの画像を表示し、この仮想キャラクタとユーザ５との間でのインタラクションを実現する。ＶＲモード実行部２１ｃは、アプリケーション処理プログラムに従って、仮想空間内での仮想キャラクタの行動を決定し、この仮想キャラクタの行動に対応する画像情報及び音声情報を生成する。当該画像情報はディスプレイ２４に出力され、当該音声情報はＨＭＤ１０が有するスピーカに出力される。これにより、ディスプレイ２４には、仮想空間内で仮想キャラクタが動く画像が表示され、スピーカからは仮想キャラクタの動きに対応した音声が出力される。例えば、仮想キャラクタがユーザ５に話しかける場合には、仮想キャラクタの頭部及び口が動く動く画像がディスプレイ２４に表示され、仮想キ
ャラクタの発言に対応する音声がスピーカから出力される。仮想キャラクタの行動に対応する画像情報及び音声情報の生成には、例えば、ストレージ２７に記憶された画像データ２８ａ、シナリオデータ２８ｃ、イベントデータ２８ｄ、ゲーム進行データ２８ｅ、及びこれら以外のデータが用いられ得る。一実施形態において、ＶＲモード及びチャットモードの各々においてユーザ５とインタラクトする仮想キャラクタは、同じ仮想キャラクタである。例えば、ＶＲモードに登場する仮想キャラクタとチャットモードに登場するキャラクタと同じ名前を有し、同一のキャラクタと認識できる程度の外観上の共通性を有する。ただし、ＶＲモードにおいては仮想キャラクタの画像が立体視画像として表示されるのに対し、チャットモードにおいては仮想キャラクタの画像が立体視画像以外の画像として表
示される点で、両モードにおける仮想キャラクタの画像は互いと相違している。しかし、このような表現形式の相違は、仮想キャラクタの同一性を妨げることはない。

上記の機能に加えて、ＶＲモード実行部２１ｃは、センサユニット２５からの検出信号に基づいて、仮想空間６０におけるユーザ６１のアクションを特定する機能を有する。仮想空間６０におけるユーザ６１のアクションは、例えば、仮想空間６０に登場する仮想キャラクタに対するユーザ６１からのアクションである。仮想空間６０におけるユーザ６１のアクションは、仮想空間６０内における仮想的なものであるため、現実空間におけるユーザ５の身体動作又は現実空間におけるユーザ５の動きと一致する場合もあるし一致しない場合もある。

仮想空間６０におけるユーザ６１のアクションには、ユーザ６１の頭部の動きと関連づけられる第１アクションと、ユーザ６１の頭部の動きと関連づけられていない第２アクションと、が含まれる。仮想空間６０におけるユーザ６１の頭部の動きと関連づけられる第１アクションには、ユーザ６１が仮想空間６０において頷くというアクション、ユーザ６１が仮想空間６０において首を横に振るというアクション、及びこれら以外の仮想空間６０におけるユーザ６１の頭部の動きと関連づけられたアクションが含まれる。ＶＲモード実行部２１ｃは、ユーザ５の頭部に装着されているＨＭＤ１０に備えられたセンサユニット２５によって検出された検出情報に基づいてＨＭＤ１０の位置及び向きを算出することにより、現実空間におけるユーザ５の頭部の動きを特定することができる。

ＶＲモード実行部２１ｃは、ＨＭＤ１０により検出された一又は複数の検出情報に基づいて、実世界におけるユーザ５の頭部の動きを検出し、この検出したユーザ５の頭部の実世界における動きに一致又は対応するアクションを、仮想空間６０におけるユーザ６１の第１アクションとして特定する。例えば、ユーザ５が頷く動作を行ったことが検出された場合には、仮想空間６０におけるユーザ６１の第１アクションとして、（仮想空間６０において）ユーザ６１が頷くというアクションが特定される。仮想空間６０におけるユーザ６１の第１アクションは、仮想空間６０が一人称視点の画像としてディスプレイ２４に表示される場合には、その仮想空間６０の画像には含まれない。

仮想空間６０におけるユーザ６１の第２アクションは、仮想空間６０におけるユーザ６１の頭部の動きと関連づけられていない。この第２アクションは、仮想空間６０におけるユーザ６１の頭部以外の部位の動き、例えばユーザ６１の手の動きと関連づけられている。第２アクションには、ユーザ６１が仮想空間６０において「撫でる」というアクション、ユーザ６１が仮想空間６０において「つつく」というアクション、及びこれら以外の仮想空間６０におけるユーザ６１の頭部以外の部位の動きと関連づけられたアクションが含まれる。「撫でる」というアクションは第１注視位置アクションの例であり、「つつく」というアクションは第２注視位置アクションの例である。

一実施形態において、ＶＲモード実行部２１ｃは、メニューオブジェクト６６が選択されたことに応じて、第２アクションの特定を行うように構成される。ＶＲモード実行部２１ｃは、ＨＭＤ１０の検出信号に基づいて算出される注視位置に基づいて、メニューオブジェクト６６が選択されたことを検出することができる。例えば、ＶＲモード実行部２１ｃは、注視位置がメニューオブジェクト６６上に所定時間以上あるか否かによって、メニューオブジェクト６６の選択が完了したか否かを判定することができる。例えば、注視位置がメニューオブジェクト６６上に所定時間以上あれば、メニューオブジェクト６６の選択が完了したと判定される。

メニューオブジェクト６６に複数のメニューアイテムが含まれる場合には、ＶＲモード実行部２１ｃは、当該複数のメニューアイテムのうちの一つの上に注視位置が所定時間以上ある場合に、当該メニューアイテムが選択されたことを検出することができる。

ＶＲモード実行部２１ｃは、メニューオブジェクト６６の選択又はメニューオブジェクト６６に含まれるメニューアイテムのうちの一つの選択を検出すると、この選択されたメニューオブジェクト６６又は選択されたメニューアイテムに対応するアクションを、ユーザ６１が仮想キャラクタに対して行う選択アクションとして設定する。上述のように、メニューアイテムには、仮想空間６０におけるユーザ６１の手の動きに関連するハンドアクションに対応するメニューアイテム、及び、仮想空間６０における写真撮影に関連する写真アクションに対応するメニューアイテムが含まれていてもよい。このハンドアクションに関連づけられているメニューアイテムが選択された場合、ＶＲモード実行部２１ｃは、このハンドアクションを仮想キャラクタに対する選択アクションとして設定する。

ＶＲモード実行部２１ｃは、第２アクションが設定されると、仮想キャラクタ上に一又は複数のキャラクタ注視位置を設定してもよい。ＶＲモード実行部２１ｃは、当該一又は複数の注視位置のうちの少なくとも一つの注視位置が選択されたときに、その選択された注視位置と選択アクションとに基づいて、仮想キャラクタに対するアクションを特定することができる。例えば、ハンドアクションに対応するメニューアイテムが選択された場合に、仮想キャラクタの頭部に設定された注視位置が選択されると、当該仮想キャラクタの頭を撫でるというアクションが特定され、この特定されたアクションが仮想空間６０において行われる。

ＶＲモード実行部２１ｃは、ユーザ６１のアクションに応じて仮想キャラクタの仮想空間内での行動（リアクション）を決定することができる。ＶＲモード実行部２１ｃは、ユーザ５のアクションに応じて決定された仮想キャラクタの行動を表示するための画像情報を生成し、この生成された画像情報を立体視画像としてディスプレイ２４に出力する。これにより、ディスプレイ２４には、ユーザ５のアクションに応じて決定された行動を行う仮想キャラクタの画像が表示される。このように、ＶＲモード実行部２１ｃは、ユーザ６１のアクションに対する仮想キャラクタの行動（リアクション）を決定し、その決定された行動に対応する仮想キャラクタの画像情報をディスプレイ２４に出力する。ＶＲモードでは、このようにしてユーザ５と立体視画像として表示される仮想キャラクタとの間での
インタラクションを実現している。

ＶＲモード実行部２１ｃは、終了条件が満たされるとＶＲモードを終了するための終了処理を行う。終了条件は、例えば、ＶＲモードの開始から所定時間（例えば、１分）経過したこと、終了対象操作が検知されたこと、ＶＲモードで実行されているシナリオに含まれる最後のイベントが終了したこと、及びこれら以外の条件である。終了条件が満たされたときに行われる終了処理には、情報処理装置２０を装着具１１から取り外すよう促すガイダンスをディスプレイ２４に表示すること、及び、第１モードであるチャットモードへのログイン画面を表示させることが含まれてもよい。

次に、図６及び図７を参照して、チャットモードにおけるチャット処理について説明する。図６は、一実施形態におけるチャットモードでの処理の流れを示すフロー図であり、図７は、チャットモードにおける表示画像の例を示す。チャットモードの開始時においては、ＨＭＤ１０はユーザ５の頭部に装着されておらず、また、情報処理装置２０は装着具１１から取り外されていることが想定されている。

アプリケーション処理システム１において、ゲームは、チャットモードで開始される。ステップＳ１１では、チャットモードへログインするためのログイン画面が情報処理装置２０のディスプレイ２４に表示される。ユーザ５によってログイン処理がなされると、当該チャット処理は、ステップＳ１２に移行する。

ステップＳ１２においては、ユーザ５と仮想キャラクタとの間でメッセージが交換され、これにより両者の間でチャットが行われる。チャットモードへのログインがなされると、ユーザ５と仮想キャラクタとの間で行われるチャットを表示するためのチャット表示画像が生成され、当該チャット表示画像がディスプレイ２４に表示される。図７は、ディスプレイ２４に表示されるチャット表示画像の一例であるチャット表示画像７０を示す。チャット表示画像７０は、ユーザ５に対応するアイコン７３と、仮想キャラクタに対応するアイコン７４と、ユーザ５のメッセージ７５ａと、仮想キャラクタのメッセージ７６ａ，７６ｂと、移行開始オブジェクト７８と、を含むチャット表示領域７１を含む。また、チャット表示画像７０は、チャット表示領域７１の上部に配されたメニュー領域７２を含む
。仮想キャラクタのメッセージ７６ａ，７６ｂは、アプリケーション処理プログラムに従って、ストレージ７２に記憶されているチャットデータ２８ｂ及びこれ以外のデータに基づいて特定される。例えば、仮想キャラクタのメッセージは、ツリー構造で定義されているチャットデータ２８ｂを参照して、ルートノードにあるメッセージから順に表示される。ノードの分岐点においては、分岐条件に応じたノードが選択され、当該選択されたノードに対応するメッセージが表示される。

ユーザ５は、チャット表示画像７０に含まれる選択肢のうちの一つを選択することができる。この選択は、ディスプレイ２４において選択したい選択肢が表示されている領域を指で接触することで行われる。この選択がなされると、選択された選択肢に対応するメッセージ７５ｂが、ユーザ５のメッセージとしてチャット表示領域７１に新たに表示される。

ステップＳ１３では、第１モードから第２モードへのモード移行条件が成立したか否かが判定される。第１モードから第２モードへのモード移行条件として、例えば、チャットモード開始から所定時間（例えば、１分）が経過したことという条件が用いられる。チャットモード開始からの経過時間は、例えばシステムクロックを用いて計測される。モード移行条件が成立したと判断されるまで、ステップＳ１２に戻ってチャット処理が継続される。他方、モード移行条件が成立したと判断されると、チャット処理は、ステップＳ１４に移行する。

ステップＳ１４においては、移行開始オブジェクト７８移行開始オブジェクト７８がディスプレイ２４に表示され、チャット処理は、ステップＳ１５に進む。図７に示されているように、移行開始オブジェクト７８は、例えばチャット領域７１内に、外縁が円形のオブジェクトとして表示される。ステップＳ１５において、移行開始オブジェクトの選択が確認されると、チャット処理は、ステップＳ１６に進む。他方、移行開始オブジェクトが表示されてから所定時間（例えば、１０秒）経過しても移行開始オブジェクトの選択が確認されない場合には、移行開始オブジェクトの選択がなされなかったと判定され、チャット処理が終了する。移行開始オブジェクトの選択がなされなかったと判定されたときに、ステップＳ１２に戻り、チャットを再開するための処理が行われてもよい。移行開始オブジェクトの選択がなされたか否かは、タッチパネル２４ｂへの操作に応じて判断されてもよい。例えば、移行開始オブジェクトの表示領域と重複する位置へのタッチ操作（例えば、タップ操作）がなされたことがタッチパネル２４ｂによる検出信号から検出されたときに、当該移行開始オブジェクトが選択されたと判断される。

ステップＳ１６では、第２モードであるＶＲモードへの移行処理が開始される。移行処理が開始されると、チャット処理は終了する。チャットモードにおいては、移行先のＶＲモードにおけるシーンの選択肢がディスプレイ２４に表示されてもよい。ユーザ５は、この選択肢の中から好みのシーンを選択することができる。

以上のチャット処理は、チャットモード実行部２１ａにより実行される。チャットモード実行部２１ａは、単独で又は他の機能と適宜協働して、上記のチャット処理を実行することができる。チャット処理の実行に際しては、ストレージ２７に格納されているデータ以外にも、必要に応じて、他のストレージに格納されているデータ、各種センサによって検出された検出情報、またはこれら以外のデータが用いられ得る。

第１モードであるチャットモードから第２モードであるＶＲモードへのモード移行処理においては、ＨＭＤ１０を装着するように促すガイダンスが、情報処理装置２０のディスプレイ２４に表示される。このガイダンスに続いて、ディスプレイ２４には、移行オブジェクトが表示される。この移行オブジェクトがユーザ５によって選択されるとＶＲモードが開始される。ユーザ５は、ＨＭＤ１０を装着し、移行オブジェクトを所定時間継続して注視することにより、この移行オブジェクトを選択することができる。

次に、図８及び図９を参照して、ＶＲモードにおけるＶＲ処理について説明する。図８は、一実施形態におけるＶＲモードでのＶＲ処理の流れを示すフロー図であり、図９は、ＶＲモードにおける表示画像の例を示す。ＶＲモードの開始時においては、ＨＭＤ１０はユーザ５の頭部に装着されていることが想定されている。以下のＶＲモードに関する説明では、チャットモードにおいて、ユーザ５により第１シーンが選択されたものとする。第１シーンとして、様々なシーンが設定され得る。例えば、第１シーンは、屋内又は屋外の任意の場所において会話を行うためのシーンであってもよい。図８のＶＲ処理は、終了条件が成立するまで繰り返し行われる。終了条件は、例えば、ＶＲモードの開始から所定時間（例えば、１分）経過したこと、終了対象操作が検知されたこと、ＶＲモードで実行さ
れているシナリオに含まれる最後のイベントが終了したこと、及びこれら以外の条件である。

ＶＲモードが開始されると、ステップＳ２１において、第１シーンに対応する仮想空間の画像情報が生成され、当該画像情報に対応する画像がディスプレイ２４に出力される。第１シーンにおける仮想空間６０の画像情報は、例えば画像データ２８ａを参照することにより生成される。ステップＳ２１においては、まず、第１シーンにおける仮想空間６０のうち初期表示領域６３の画像情報が生成され、当該画像情報に対応する画像がディスプレイ２４に出力される。図９は、第１シーンの初期表示領域６３の表示画像の例を示している。図９に示されているＶＲ画像８０は、仮想キャラクタ６５、メニューオブジェクト６６、背景に相当するオブジェクト８２ａ～８２ｃ、及びこれら以外の各種オブジェクトを示す画像を含んでいる。メニューオブジェクト６６は、主表示領域６４の外に配されている。ＶＲ画像８０は、一人称視点の画像であるため、ユーザ６１を示す画像は表示されていない。

仮想キャラクタ画像６５は、様々なアクションを仮想空間内で行うことができる。例えば、仮想キャラクタ画像６５のアクションには、ユーザ６１に向かって（仮想空間内のユーザ６１の位置に向かって）話しかける、仮想空間内を移動する、仮想空間内に配置されたオブジェクトを手に取る、及びこれら以外の仮想空間内における様々なアクションが含まれる。

ＶＲ画像８０がディスプレイ２４に表示されている間に、ＨＭＤ１０のセンサユニット２５によってユーザ５の頭部の動きが検出されると、この検出された頭部の動きに基づいて仮想空間６０内でのユーザ６１の第１アクションが特定される。そして、特定されたユーザ６１の第１アクションに応じた仮想キャラクタの行動（リアクション）が決定され、この決定された行動を行う仮想キャラクタ６５の画像情報が生成される。このようにして生成された画像情報は、ディスプレイ２４に出力される。例えば、ユーザ５が首を縦方向に振る動作（頷く動作）を行ったことが検出されると、ＨＭＤ１０の検出情報に基づいてユーザ６１の仮想空間６０内における第１アクションとして頷くというアクションが特定される。そして、このユーザ６１の頷くという第１アクションへのリアクションを取る仮
想キャラクタ画像６５の画像情報が生成され、当該画像情報がディスプレイ２４に表示される。このように、ＶＲモードでは、仮想キャラクタの立体視画像を用いて、ユーザと仮想キャラクタ６５との間でのインタラクションが実現される。

ステップＳ２２では、ＶＲ画像表示処理を終了するための終了条件が成立したか否かが判定される。終了条件が成立していないと判定された場合には、ステップＳ２１に戻ってＶＲ画像表示処理が継続される。他方、終了条件が成立したと判定された場合には、ＶＲ処理は、ステップＳ２３に進む。

ステップＳ２３では、ＶＲモードの終了処理がなされる。この終了処理には、情報処理装置２０を装着具１１から取り外すよう促すガイダンスをディスプレイ２４に表示すること、及び、第１モードであるチャットモードへのログイン画面を表示させることが含まれてもよい。

以上のＶＲ処理は、ＶＲモード実行部２１ｃにより実行される。ＶＲモード実行部２１ｃは、単独で又は他の機能と適宜協働して、上記のＶＲ処理を実行することができる。

次に、図１０及び図１１ａ～図１１ｄを参照して、第２アクションを特定するための第２アクション特定処理について説明する。図１０は、一実施形態における第２アクション特定処理の流れを示すフロー図であり、図１１ａ～図１１ｄは、第２アクションを特定するための処理における表示画像の例を示す。第２アクションを特定するための処理は、図８を参照して説明したＶＲ処理と並行して行われる。

まず、ステップＳ３１において、メニューオブジェクト６６の選択が行われたか否かが判断される。例えば、メニューオブジェクト６６を注視する注視時間が所定時間に達したときに、メニューオブジェクト６６の選択が行われたと判断される。メニューオブジェクト６６の選択が行われなかった場合には、ステップ３１の判断が繰り返し行われる。他方、メニューオブジェクト６６の選択が行われたと判断された場合には、第２アクション特定処理は、ステップＳ３２に移行する。

ステップＳ３２では、当該メニューオブジェクト６６に関連づけられているメニューアイテムがディスプレイ２４に表示される。図１１ａに、メニューオブジェクト６６に関連づけられているメニューアイテムを含む仮想空間の画像の例を示す。図１１ａに示されているＶＲ画像８０は、２つのメニューアイテムにそれぞれ対応するアイコンを含んでいる。具体的には、ＶＲ画像８０は、メニュー画像６７を含み、このメニュー画像６７に、メニューアイテムアイコン６８ａ及びメニューアイテムアイコン６８ｂが含まれている。メニューアイテムアイコン６８ａは、仮想空間６０におけるユーザ６１の手の動きに関連するハンドアクションに対応するメニューアイテムを示すアイコンであり、メニューアイテムアイコン６８ｂは、仮想空間６０における写真撮影に関連する写真アクションに対応す
るメニューアイテムを示すアイコンである。メニューアイテムをディスプレイ２４へ表示するための処理が行われると、第２アクション特定処理は、ステップＳ３３へ移行する。仮想空間内に表示されるメニューアイテムアイコン６８ａ及びメニューアイテムアイコン６８ｂは、当該仮想空間内に配置されている仮想的な構造物の一つの面に平行となるように表示されてもよい。例えば、図示の実施形態においては、メニューアイテムアイコン６８ａ及びメニューアイテムアイコン６８ｂは、図１１ａに示されている仮想空間における部屋の床面、壁面、又は天井面に平行となるように表示されてもよい。メニューアイテムアイコン６８ａ及びメニューアイテムアイコン６８ｂのこのような配置により、当該メニューアイテムアイコン６８ａ及びメニューアイテムアイコン６８ｂを仮想空間内に配置さ
れた仮想的な物体であるかのように表示することができる。これにより、ユーザ６１の没入感を損なわないようにすることができる。メニューアイテムアイコン６８ａは、仮想空間において、メニューアイテムアイコン６８ｂが配置されている面と異なる面に配置されてもよい。メニューアイテムアイコン６８ａ及びメニューアイテムアイコン６８ｂ以外のメニュー画像６７の構成要素も仮想空間内に配置されている仮想的な構造物の一つの面に平行となるように表示されてもよい。

ステップＳ３３では、ステップＳ３２で表示されたメニューアイテムアイコンのうちのいずれかの選択がなされたか否かが判断される。例えば、ＶＲ画像８０に含まれているメニューアイテムアイコンのうちのいずれかを注視する注視時間が所定時間に達したときに、当該メニューアイテムアイコンが選択されたと判断される。図示の例においては、メニューアイテムアイコン６８ａを注視する注視時間が所定時間に達したときにメニューアイテムアイコン６８ａの選択が行われたと判断され、メニューアイテムアイコン６８ｂを注視する注視時間が所定時間に達したときにメニューアイテムアイコン６８ｂの選択が行われたと判断される。２つ以上のメニューアイテムアイコンが選択されてもよい。ステップ３３において、メニューアイテムアイコンの選択が確認されない場合には、当該メニューアイテムアイコンの表示を中止し、第２アクション特定処理は、ステップＳ３１へ戻る。他方、メニューアイテムアイコンが選択されたと判断された場合には、第２アクション特定処理は、ステップＳ３４へ進む。

ステップＳ３４では、仮想キャラクタ６５上に、一又は複数のキャラクタ注視位置が設定される。仮想キャラクタ６５上におけるキャラクタ注視位置の設定について、図１１ｂを参照して説明する。図１１ｂは、仮想キャラクタ６５の上に設定されたキャラクタ注視位置を説明するために、ＶＲ画像８０内にキャラクタ注視位置を模式的に示している。キャラクタ注視位置は、ＶＲ画像８０においてユーザ５によって視認可能に設定されてもよいし、視認できないように設定されてもよい。図１１ｂに示した例では、仮想キャラクタ６５上に複数のキャラクタ注視位置８１ａ～８１ｄが設定されている。仮想キャラクタ６５上に設定される一又は複数のキャラクタ注視位置はそれぞれ、仮想キャラクタ６５の特定の部位に対応付けられている。図１１ｂの例においては、キャラクタ注視位置８１ａ～
８１ｄはそれぞれ、女性の人物を模した仮想キャラクタ６５の頭部、頭髪、肩、及び腕に対応付けられている。仮想キャラクタ６５上にキャラクタ注視位置が設定されると、第２アクション特定処理は、ステップＳ３５へ移行する。

ステップＳ３５では、仮想キャラクタ６５上に設定された一又は複数のキャラクタ注視位置のうち、いずれかのキャラクタ注視位置が注視されたか否かが判断される。図１１ｂに示されている例においては、キャラクタ注視位置８１ａ～８１ｄのいずれかを注視する注視時間が所定時間に達したときに、当該キャラクタ注視位置が選択されたと判断される。ステップ３５において、いずれのキャラクタ注視位置も注視されなかった場合には、キャラクタ注視位置の設定を取り消し、第２アクション特定処理は、ステップＳ３１へ戻る。他方、いずれのキャラクタ注視位置に対して注視がなされたと判断された場合には、第２アクション特定処理は、ステップＳ３６へ進む。

ステップＳ３６では、ステップＳ３３で選択されたメニューアイテム及びステップＳ３５で注視されたキャラクタ注視位置に基づいて、仮想キャラクタ６５に対するアクションが特定され、特定されたアクションが仮想キャラクタ６５に対して行われる。例えば、ステップＳ３３において、ハンドアクションに対応付けられているメニューアイテムアイコン６８ａが選択され、ステップＳ３５において仮想キャラクタ６５の頭部に対応付けられたキャラクタ注視位置８１ａが注視された場合には、仮想キャラクタ６５の頭部を撫でるというアクションが、仮想空間６０内におけるユーザ６１の仮想キャラクタ６５に対する第２アクションとして特定される。

メニューアイテムアイコン６８ａが選択された場合において、注視されたキャラクタ注視位置に応じて、異なる第２アクションが特定されてもよい。例えば、上記の例と同様にメニューアイテムアイコン６８ａが選択された場合であっても、キャラクタ注視位置８１ａに代えてキャラクタ注視位置８１ｃが注視された場合には、「撫でる」というアクションとは異なるアクションが第２アクションとして特定されてもよい。メニューアイテムアイコン６８ａが選択され、キャラクタ注視位置８１ｃが注視された場合には、例えば、仮想キャラクタ６５の肩を「つつく」というアクションが第２アクションとして特定されてもよい。

第２アクションが特定されると、この特定された第２アクションが仮想キャラクタ６５に対して行われる。例えば、仮想キャラクタ６５の頭部を撫でるというアクションが第２アクションとして特定された場合には、図１１ｃに示すように、当該第２アクションを表現する画像がＶＲ画像８０としてディスプレイ２４に表示される。図１１ｃに示されている例では、ユーザ６１が仮想空間６０内で仮想キャラクタ６５の頭部を撫でるというアクションを示すために、仮想キャラクタ６５の頭部付近にユーザ６１の仮想的な手を示す画像８３ａが表示される。他の例において、仮想キャラクタ６５の肩をつつくというアクションが第２アクションとして特定された場合には、図１１ｄに示すように、ユーザ６１が仮想空間６０内で仮想キャラクタ６５の肩をつつくというアクションを示すために、仮想キャラクタ６５の肩付近にユーザ６１の仮想的な手を示す画像８３ｂが表示される。画像８３ａ及び画像８３ｂは、仮想キャラクタ６５に対して行われるアクションの違いを表現するために、互いに異なっていてもよい。仮想キャラクタ６５は、このユーザ６１の第２アクションに応じて、アプリケーション処理プログラムに従った動作（リアクション）を行う。

ステップＳ３３では、写真アクションに対応付けられているメニューアイテムアイコン６８ｂが選択され、ステップＳ３５において仮想キャラクタ６５上に設定されたキャラクタ注視位置のうちの一つ（例えばキャラクタ注視位置８１ａ）が注視されてもよい。この場合には、当該仮想キャラクタ６５を含む写真を撮影するというアクションが第２アクションとして特定される。メニューアイテムアイコン６８ｂが選択されたことに応じて、仮想キャラクタ６５は、ユーザ６１が構えるカメラに対してポーズを取るアクションを行ってもよい。また、仮想キャラクタ６５上に設定されたキャラクタ注視位置のうちの一つの選択に応じて、シャッターを切る動作がおこなわれても良い。この場合、キャラクタ注視位置のうちの一つが選択されたときにディスプレイ２４に出力されている画像が、写真ア
クションにより撮影されたアクションとして、ストレージ２７に記憶される。

以上の第２アクション特定処理は、ＶＲモード実行部２１ｃにより実行される。ＶＲモード実行部２１ｃは、単独で又は他の機能と適宜協働して、上記の第２アクション特定処理を実行することができる。

続いて、他の実施形態によるアプリケーション処理システムについて図１２を参照して説明する。図１２は、他の実施形態によるアプリケーション処理システム１０１を示すブロック図である。アプリケーション処理システム１０１は、情報処理装置２０、ＨＭＤ１１０、及びＨＭＤ１１０を備えている。アプリケーション処理システム１０１は、情報処理装置２０をＨＭＤ１１０に取り付けることなくＶＲモードを提供できる点で、アプリケーション処理システム１と異なっている。以下、アプリケーション処理システム１０１について、アプリケーション処理システム１と相違する点に着目して説明する。

ＨＭＤ１１０と、情報処理装置２０と、サーバ５０とは、ネットワーク４０を介して相互に通信可能に接続されている。ＨＭＤ１１０と情報処理装置２０とは、ネットワーク４０を介さずに、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線方式に従って通信可能に接続されていてもよい。ＨＭＤ１１０は、情報処理装置２０が取り付けられなくともＶＲモードを提供可能な点で、アプリケーション処理システム１のＨＭＤ１０と異なっている。

ＨＭＤ１１０は、コンピュータプロセッサ１２１と、メモリ１２２と、通信Ｉ／Ｆ１２３と、ディスプレイ１２４と、センサユニット１２５と、集音装置１２６と、ストレージ１２７と、を備えている。コンピュータプロセッサ１２１、メモリ１２２、通信Ｉ／Ｆ１２３、ディスプレイ１２４、センサユニット１２５、集音装置１２６、及びストレージ１２７は、情報処理装置２０のコンピュータプロセッサ２１、メモリ２２、通信Ｉ／Ｆ２３、ディスプレイ２４、センサユニット２５、集音装置２６、及びストレージ２７と同様に構成される。ただし、ディスプレイ１２４は、タッチパネルを備えなくともよい。これらのＨＭＤ１１０の各構成要素は、筐体内に組み付けられている。この筐体は、筐体１１ａと同様にゴーグル型に形成されてもよい。画像データ２８ａ、チャットデータ２８ｂ、シ
ナリオデータ２８ｃ、イベントデータ２８ｄ、及びゲーム進行データ２８ｅは、ストレージ１２７に記憶されてもよいし、ストレージ２７又はそれ以外のストレージに記憶されてもよい。

チャットモード実行部２１ａ、移行処理部２１ｂ、及びＶＲモード実行部２１ｃの機能は、情報処理装置２０とＨＭＤ１１０とで分担して担われる。具体的には、チャットモード実行部２１ａの機能は情報処理装置２０において実現され、ＶＲモード実行部２１ｃの機能はＨＭＤ１１０において実現される。移行処理部２１ｂの機能は、その一部が情報処理装置２０で実現され、残部がＨＭＤ１１０において実現される。

アプリケーション処理システム１０１においてゲームを開始するときには、ユーザ５は、情報処理装置２０を用いてチャットモードを開始する。このチャットモードの処理は、情報処理装置２０のチャットモード実行部２１ａにより行われる。

チャットモードにおいてモード移行条件が成立し、移行開始オブジェクトが選択された場合には、ＶＲモードへのモード移行処理が開始される。

ＶＲモードが開始されたときには、当該ＶＲモードの処理は、ＨＭＤ１１０のＶＲモード実行部２１ｃにより行われる。

このように、アプリケーション処理システム１０１は、ＨＭＤ１１０を介して仮想キャラクタをとのインタラクションをユーザ５に提供することができる。

上記の実施形態によれば、以下の効果が得られる。上記のアプリケーション処理システム１，１０１によれば、メニューオブジェクト６６の選択後に仮想キャラクタ６５上のキャラクタ注視位置８１ａ～８１ｄを注視することにより、仮想空間６０においてユーザ６１の頭部の動きと関連づけられていない第２アクションを特定することが出来る。これにより、手で把持するように設計されている操作コントローラ等のヘッドマウントディスプレイ１０，１１０以外の操作機器を用いずに、仮想空間６０におけるユーザ６１の頭部の動きと関連づけられていない第２アクションを行うことができる。

仮想空間６０におけるユーザの手の動きと関連づけられた第２アクションには、例えば、仮想空間６０において仮想キャラクタ６５に対する「撫でる」、「叩く」、「つつく」、及び「つねる」というアクション、仮想キャラクタの「手を握る」というアクション、手により物品を扱うアクション（例えば、写真を撮るというアクション）、及びこれら以外の仮想空間６０におけるユーザ６１の手の動きに関連づけられるアクションが含まれる。

上記のアプリケーション処理システム１，１０１によれば、仮想空間６０におけるユーザ６１の手の動きと関連づけられた第２アクションが、現実世界におけるユーザの手の位置や動きではなく、仮想キャラクタ６５に設定されたキャラクタ注視位置８１ａ～８１ｄの注視により特定される。これにより、ユーザは、ヘッドマウントディスプレイ１０，１１０以外の操作機器を用いずに、ユーザの頭部の動きと関連づけられていない第２アクションを行うことができる。

上記のアプリケーション処理システム１，１０１によれば、特定オブジェクトの選択を行うことにより、ユーザの頭部の動きと関連づけられていない第２アクションを行うことが可能となる。

上記のアプリケーション処理システム１，１０１によれば、キャラクタ注視位置８１ａ～８１ｄに応じて、第１注視位置アクション及び第２注視位置アクションを含む複数の第２アクションを使い分けることが可能となる。これにより、ユーザ６１の頭部の動きと関連づけられていない第２アクションのバリエーションが豊富となる。

上記のアプリケーション処理システム１，１０１によれば、選択されるメニューアイテムに応じて、様々な種類の第２アクションを使い分けることが可能となる。これにより、ユーザ６１の頭部の動きと関連づけられていない第２アクションのバリエーションが豊富となる。

上記の実施形態において、メニューオブジェクト６６は、第２アクションを可能とするための機能的なオブジェクトである。仮想空間における配置や表示態様によっては、ユーザ５は、メニューオブジェクト６６を意図せずに選択してしまう可能性がある。また、メニューオブジェクト６６のような機能的オブジェクトは、ユーザの仮想空間への没入感を減退させ得る。上記のアプリケーション処理システム１，１０１によれば、メニューオブジェクト６６が仮想空間６１における主表示領域６３の外に配置されるため、誤選択や没入感の減退を抑制することが可能となる。

上記のアプリケーション処理システム１，１０１によれば、シーンに応じて適切な主表示領域を定めることができる。例えば、第１シーンと第２シーンとでは、ユーザ６１の姿勢に応じて主表示領域６３の位置が変更されている。

上記のアプリケーション処理システム１，１０１によれば、ユーザ６１のアクションに応じたリアクションを仮想キャラクタ６５に行わせ、これによりユーザと仮想キャラクタ６５とのインタラクションを実現することができる。

本発明の実施形態は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で様々な変更が可能である。例えば、コンピュータプロセッサ２１及びコンピュータプロセッサ１２１で実行される機能の一部又は全部は、発明の趣旨を逸脱しない限り、上記の実施形態では図示されていないコンピュータプロセッサにより実現されてもよい。例えば、アプリケーション処理システム１及びアプリケーション処理システム１０１は、アプリケーション処理プログラムの少なくとも一部を実行するゲーム機を備えてもよく、コンピュータプロセッサ２１又はコンピュータプロセッサ１２１の処理によって実現される機能の一部は、当該ゲーム機における処理によって実現されてもよい。

本願発明の実施形態には、上記以外にも様々な装置、デバイス、及び電子部品を備えることができる。例えば、アプリケーション処理システム１及びアプリケーション処理システム１０１は、情報処理装置２０及びＨＭＤ１０，１１０以外に、ユーザ５の操作を受け付けるための操作機器を備えてもよい。アプリケーション処理システム１及びアプリケーション処理システム１０１は、当該操作機器によってユーザ５の操作を検出し、当該検出した操作に応じてゲームの処理をおこなっても良い。

本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程（ステップ）の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び／又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。

以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
[１]
一又は複数のコンピュータプロセッサを備え、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することにより前記ユーザに前記仮想キャラクタとのインタラクションを提供するアプリケーション処理システムであって、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
前記ヘッドマウントディスプレイによって検出される検出情報に基づいて、前記仮想空間に含まれるメニューアイコンが選択されたことを検出し、
前記メニューアイコンが選択されたことを検出した場合に、前記仮想キャラクタに設定された第１注視位置又は第２注視位置が注視されたことを前記ヘッドマウントディスプレイによって検出される検出情報に基づいて検出し、
前記第１注視位置が注視されたことを検出した場合に、前記ユーザの前記仮想キャラクタに対するアクションとして第１ユーザアクションを特定し、
前記第２注視位置が注視されたことを検出した場合に、前記ユーザの前記仮想キャラクタに対するアクションとして前記第１ユーザアクションとは異なる第２ユーザアクションを特定する、
アプリケーション処理システム。
[２]
前記一又は複数のコンピュータプロセッサは、前記仮想キャラクタに対するアクションとして前記第１ユーザアクションが特定された場合には、前記第１ユーザアクションに対応する第１アクション画像を前記ヘッドマウントディスプレイに表示させ、前記仮想キャラクタに対するアクションとして前記第２ユーザアクションが特定された場合には、前記第２ユーザアクションに対応しており前記第１アクション画像とは異なる第２アクション画像を前記ヘッドマウントディスプレイに表示させる、
[１]に記載のアプリケーション処理システム。
[３]
前記メニューアイコンは、前記仮想空間に含まれる仮想的な構造物の一つの面に平行に配置される、
[１]又は[２]に記載のアプリケーション処理システム。
[４]
前記第１ユーザアクション及び前記第２ユーザアクションの少なくとも一方は、前記仮想空間における前記ユーザの手の動きに関連づけられたアクションである、
[１]から[３]のいずれか１項に記載のアプリケーション処理システム。
[５]
前記一又は複数のコンピュータプロセッサは、前記仮想キャラクタに前記第１ユーザアクション及び前記第２ユーザアクションの少なくとも一方に応じたリアクションを行わせる、[１]から[４]のいずれか１項に記載のアプリケーション処理システム。
[６]
前記メニューアイコンは、前記仮想空間に含まれている特定オブジェクトが選択されたことに応じて選択可能とされる、
[１]から[５]のいずれか１項に記載のアプリケーション処理システム。
[７]
前記仮想空間の画像は、前記ユーザの基準視線を中心とする表示領域における画像であり、
前記一又は複数のコンピュータプロセッサは、第１シーンにおいて前記仮想空間における第１主表示領域を特定し、
前記第１主表示領域は、前記基準視線を含むように設定され、
前記特定オブジェクトは、前記第１シーンにおいて、前記第１主表示領域の外に配置される、
[６]に記載のアプリケーション処理システム。
[８]
前記一又は複数のコンピュータプロセッサは、第２シーンにおいて前記仮想空間における第２主表示領域を特定し、
前記第２主表示領域は、前記基準視線を含むように設定され、
前記特定オブジェクトは、前記第２シーンにおいて、前記第２主表示領域の外に配置される、
[７]に記載のアプリケーション処理システム。
[９]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することで前記ユーザに前記仮想キャラクタとのインタラクションを提供するアプリケーション処理方法であって、
前記ヘッドマウントディスプレイによって検出される検出情報に基づいて、前記仮想空間に含まれるメニューアイコンが選択されたことを検出する工程と、
前記メニューアイコンが選択されたことを検出した場合に、前記仮想キャラクタに設定された第１注視位置又は第２注視位置が注視されたことを前記ヘッドマウントディスプレイによって検出される検出情報に基づいて検出する工程と、
前記第１注視位置が注視されたことを検出した場合に前記ユーザの前記仮想キャラクタに対するアクションとして第１ユーザアクションを特定し、前記第２注視位置が注視されたことを検出した場合に前記ユーザの前記仮想キャラクタに対するアクションとして前記第１ユーザアクションとは異なる第２ユーザアクションを特定する工程と、
を備えるゲーム処理方法。
[１０]
一又は複数のコンピュータプロセッサに実行されることにより、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することで前記ユーザに前記仮想キャラクタとのインタラクションを提供するアプリケーション処理プログラムであって、
前記一又は複数のコンピュータプロセッサに、
前記ヘッドマウントディスプレイによって検出される検出情報に基づいて、前記仮想空間に含まれるメニューアイコンが選択されたことを検出する工程と、
前記メニューアイコンが選択されたことを検出した場合に、前記仮想キャラクタに設定された第１注視位置又は第２注視位置が注視されたことを前記ヘッドマウントディスプレイによって検出される検出情報に基づいて検出する工程と、
前記第１注視位置が注視されたことを検出した場合に前記ユーザの前記仮想キャラクタに対するアクションとして第１ユーザアクションを特定し、前記第２注視位置が注視されたことを検出した場合に前記ユーザの前記仮想キャラクタに対するアクションとして前記第１ユーザアクションとは異なる第２ユーザアクションを特定する工程と、
を実行させるアプリケーション処理プログラム。

１，１０１ アプリケーション処理システム

Claims (8)

1. 一又は複数のコンピュータプロセッサを備え、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することにより前記ユーザに前記仮想キャラクタとのインタラクションを提供するアプリケーション処理システムであって、
   前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
   前記ヘッドマウントディスプレイによって検出される検出情報に基づいて、前記仮想空間に含まれるメニューアイコンが選択されたことを検出し、
   前記メニューアイコンが選択されたことを検出した場合に、前記仮想キャラクタに設定されている第１注視位置及び第２注視位置のいずれかが注視されたことを前記ヘッドマウントディスプレイによって検出される検出情報に基づいて検出し、
   前記第１注視位置が注視されたことを検出した場合に、前記ユーザの前記仮想キャラクタに対するアクションとして第１ユーザアクションを特定し、
   前記第２注視位置が注視されたことを検出した場合に、前記ユーザの前記仮想キャラクタに対するアクションとして第２ユーザアクションを特定し、
   前記第１ユーザアクションは、第１の種類のアクションであり、且つ、前記第１注視位置に対応する部位に対して実行されるアクションであり、
   前記第２ユーザアクションは、前記第１の種類のアクションとは別の第２の種類のアクションであり、且つ、前記第１注視位置に対応する部位とは異なる、前記第２注視位置に対応する部位に対して実行されるアクションであり、
   前記メニューアイコンは、前記仮想空間に含まれている特定オブジェクトが選択されたことに応じて選択可能とされ、
   前記仮想空間の画像は、前記ユーザの基準視線を中心とする表示領域における画像であり、
   前記一又は複数のコンピュータプロセッサは、
   第１シーンの初期設定に基づいて前記仮想空間における第１初期表示領域を特定し、
   前記第１初期表示領域内に、前記第１シーンの開始時における前記基準視線を含むとともに前記仮想キャラクタの少なくとも一部が含まれるように第１主表示領域を特定し、
   前記第１シーンの開始時に、前記第１主表示領域の外に前記特定オブジェクトを配置し、
   前記第１シーンの開始時に、前記ヘッドマウントディスプレイに前記第１初期表示領域の画像を出力する、
   アプリケーション処理システム。
2. 前記一又は複数のコンピュータプロセッサは、前記仮想キャラクタに対するアクションとして前記第１ユーザアクションが特定された場合には、前記第１ユーザアクションに対応する第１アクション画像を前記ヘッドマウントディスプレイに表示させ、前記仮想キャラクタに対するアクションとして前記第２ユーザアクションが特定された場合には、前記第２ユーザアクションに対応する第２アクション画像を前記ヘッドマウントディスプレイに表示させ、
   前記第１アクション画像は、前記第１の種類のアクションを表すための前記ユーザの仮想的な画像であり、
   前記第２アクション画像は、前記第２の種類のアクションを表すための前記ユーザの仮想的な画像であり、且つ、前記第１アクション画像とは異なる外観を呈する画像である、
   請求項１に記載のアプリケーション処理システム。
3. 前記メニューアイコンは、前記仮想空間に含まれる仮想的な構造物の一つの面に平行に配置される、
   請求項１又は２に記載のアプリケーション処理システム。
4. 前記第１ユーザアクション及び前記第２ユーザアクションの少なくとも一方は、前記仮想空間における前記ユーザの手の動きに関連づけられたアクションである、
   請求項１から３のいずれか１項に記載のアプリケーション処理システム。
5. 前記一又は複数のコンピュータプロセッサは、前記仮想キャラクタに前記第１ユーザアクション及び前記第２ユーザアクションの少なくとも一方に応じたリアクションを行わせる、請求項１から請求項４のいずれか１項に記載のアプリケーション処理システム。
6. 前記一又は複数のコンピュータプロセッサは、
   第２シーンの初期設定に基づいて前記仮想空間における第２初期表示領域を特定し、
   前記第２初期表示領域内に、前記第１シーンの開始時における前記基準視線を含むとともに前記仮想キャラクタの少なくとも一部が含まれるように第２主表示領域を特定し、
   前記第２シーンの開始時に、前記第２主表示領域の外に前記特定オブジェクトを配置し、
   前記第２シーンの開始時に、前記ヘッドマウントディスプレイに前記第２初期表示領域の画像を出力する、
   請求項１から５のいずれか１項に記載のアプリケーション処理システム。
7. 一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することで前記ユーザに前記仮想キャラクタとのインタラクションを提供するアプリケーション処理方法であって、
   前記ヘッドマウントディスプレイによって検出される検出情報に基づいて、前記仮想空間に含まれるメニューアイコンが選択されたことを検出する工程と、
   前記メニューアイコンが選択されたことを検出した場合に、前記仮想キャラクタに設定されている第１注視位置及び第２注視位置のいずれかが注視されたことを前記ヘッドマウントディスプレイによって検出される検出情報に基づいて検出する工程と、
   前記第１注視位置が注視されたことを検出した場合に前記ユーザの前記仮想キャラクタに対するアクションとして第１ユーザアクションを特定し、前記第２注視位置が注視されたことを検出した場合に前記ユーザの前記仮想キャラクタに対するアクションとして第２ユーザアクションを特定する工程と、
   を備え、
   前記第１ユーザアクションは、第１の種類のアクションであり、且つ、前記第１注視位置に対応する部位に対して実行されるアクションであり、
   前記第２ユーザアクションは、前記第１の種類のアクションとは別の第２の種類のアクションであり、且つ、前記第１注視位置に対応する部位とは異なる、前記第２注視位置に対応する部位に対して実行されるアクションであり、
   前記メニューアイコンは、前記仮想空間に含まれている特定オブジェクトが選択されたことに応じて選択可能とされ、
   前記仮想空間の画像は、前記ユーザの基準視線を中心とする表示領域における画像であり、
   前記アプリケーション処理方法は、
   第１シーンの初期設定に基づいて前記仮想空間における第１初期表示領域を特定する工程と、
   前記第１初期表示領域内に、前記第１シーンの開始時における前記基準視線を含むとともに前記仮想キャラクタの少なくとも一部が含まれるように第１主表示領域を特定する工程と、
   前記第１シーンの開始時に、前記第１主表示領域の外に前記特定オブジェクトを配置し、
   前記第１シーンの開始時に、前記ヘッドマウントディスプレイに前記第１初期表示領域の画像を出力する工程と、
   をさらに備える、
   ゲーム処理方法。
8. 一又は複数のコンピュータプロセッサに実行されることにより、ユーザの頭部に装着されるヘッドマウントディスプレイに仮想キャラクタを含む仮想空間の画像を出力することで前記ユーザに前記仮想キャラクタとのインタラクションを提供するアプリケーション処理プログラムであって、
   前記一又は複数のコンピュータプロセッサに、
   前記ヘッドマウントディスプレイによって検出される検出情報に基づいて、前記仮想空間に含まれるメニューアイコンが選択されたことを検出する工程と、
   前記メニューアイコンが選択されたことを検出した場合に、前記仮想キャラクタに設定されている第１注視位置及び第２注視位置のいずれかが注視されたことを前記ヘッドマウントディスプレイによって検出される検出情報に基づいて検出する工程と、
   前記第１注視位置が注視されたことを検出した場合に前記ユーザの前記仮想キャラクタに対するアクションとして第１ユーザアクションを特定し、前記第２注視位置が注視されたことを検出した場合に前記ユーザの前記仮想キャラクタに対するアクションとして第２ユーザアクションを特定する工程と、
   を実行させ、
   前記第１ユーザアクションは、第１の種類のアクションであり、且つ、前記第１注視位置に対応する部位に対して実行されるアクションであり、
   前記第２ユーザアクションは、前記第１の種類のアクションとは別の第２の種類のアクションであり、且つ、前記第１注視位置に対応する部位とは異なる、前記第２注視位置に対応する部位に対して実行されるアクションであり、
   前記メニューアイコンは、前記仮想空間に含まれている特定オブジェクトが選択されたことに応じて選択可能とされ、
   前記仮想空間の画像は、前記ユーザの基準視線を中心とする表示領域における画像であり、
   前記アプリケーション処理プログラムは、前記一又は複数のコンピュータプロセッサに、
   第１シーンの初期設定に基づいて前記仮想空間における第１初期表示領域を特定する工程と、
   前記第１初期表示領域内に、前記第１シーンの開始時における前記基準視線を含むとともに前記仮想キャラクタの少なくとも一部が含まれるように第１主表示領域を特定する工程と、
   前記第１シーンの開始時に、前記第１主表示領域の外に前記特定オブジェクトを配置し、
   前記第１シーンの開始時に、前記ヘッドマウントディスプレイに前記第１初期表示領域の画像を出力する工程と、
   をさらに実行させる、
   アプリケーション処理プログラム。