JP4738896B2

JP4738896B2 - 仮想現実感提示装置及び仮想現実感提示方法、並びにプログラム

Info

Publication number: JP4738896B2
Application number: JP2005159855A
Authority: JP
Inventors: 泰弘奥野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-05-31
Filing date: 2005-05-31
Publication date: 2011-08-03
Anticipated expiration: 2025-05-31
Also published as: JP2006338163A

Description

本発明は、仮想現実感提示装置及び仮想現実感提示方法、並びにプログラムに関し、特に３次元的にモデリングされたＣＧオブジェクトによって生成された映像を表示し、かつ、観察者頭部位置の変化に応じて観察者視界前面にある映像を表示する仮想現実感提示装置及び仮想現実感提示方法、並びにプログラム関する。

従来より、仮想現実感（VR : Virtual Reality）提示装置が存在する。仮想現実感提示装置とは、たとえば、頭部装着型ディスプレイ（ＨＭＤ: Head Mounted Display）のような映像表示装置と、位置姿勢検出手段（たとえば位置姿勢センサ）と、ＣＧ映像生成手段を備えている。

位置姿勢検出手段は、観察者の視点の位置姿勢を検出するためや仮想空間内でのＣＧオブジェクトの位置姿勢を指定するために用いる。具体的には、磁気方式による位置姿勢センサなどが用いられる。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Polhemus）社の製品FASTRAKなどがあげられる。これは特定の領域内で、センサの３次元位置（X,Y,Z）と姿勢（Pitch, Yaw, Roll）をリアルタイムに検出する装置である。これを観察者が装着するＨＭＤに取り付ければ観察者頭部の位置姿勢の値が検出でき、また、仮想空間内でセンサを移動操作することでＣＧオブジェクトの位置姿勢を指定することなどが出来る。

ＣＧ映像生成手段は、三次元モデリングされたＣＧオブジェクトを現実空間と同じスケールの仮想空間に配置し、その仮想空間を前記位置姿勢検出手段によって検出された観察者の視線位置姿勢に基づきレンダリングするものである。

このようにして生成されたＣＧ映像を映像表示装置（ＨＭＤなど）に表示することにより、観察者はあたかも仮想のＣＧ空間の中に没入しているような感覚を得ることができる。また、位置姿勢センサによってＣＧオブジェクトを操作することなども可能である。

仮想現実感提示装置においては、観察者の振舞い（頭部位置姿勢の変化、ＣＧオブジェクトの操作）に対して、ある程度の応答時間内に振舞いに応じた画像を更新しないと仮想現実感の自然さが損なわれてしまうため、ある程度以上の映像フレームレートを維持できる時間以内に画像更新処理を終了させるのが一般的である。

ＣＧオブジェクト同士の衝突・干渉判定を行う手段は従来から周知のものであり、ビデオゲームやＣＡＤシステムにおいて一般に用いられている（例えば、特許文献１参照）。
特開平６−２５９５０６号公報

しかしながら、ＣＧオブジェクトの衝突・干渉判定にかかる処理時間は、判定対象となるＣＧオブジェクトの数、形状、ポリゴン数、干渉点の多さ、干渉判定の精度、などに影響を受ける。ＣＧオブジェクト同士が明らかに干渉していないと判別できるような遠い位置関係にあれば判定処理は短時間に終了することが出来るが、ＣＧオブジェクト同士が近接していたりすでに干渉していたりする状態ではＣＧオブジェクトを構成している多数のポリゴンを詳細に検査する必要があり、処理に時間がかかり、場合によっては所望のフレーム時間間隔以内では処理が完結しないことがありうる。

また、このように、所望のフレーム時間間隔以内では処理が完結しない場合、ＣＧオブジェクトの操作に対する応答が滞り、操作がしづらくなり、自然な操作感が失われるという課題が存在した。例えば、ひとたび干渉状態になり描画更新のフレームレートが極端に落ちてしまうと、ＣＧオブジェクトを操作してもＣＧオブジェクトがどの位置に移動したのかをすぐに確認することが出来なくなるため、どのように操作をすれば干渉状態から抜け出せるのかがわかりにくく、操作がしづらいといった課題があった。また、観察者の操作がすぐに映像に反映されなくなるために仮想現実感提示装置に必要な自然な操作感が失われるといった課題があった。

本発明の目的は、ＣＧデータの精度や干渉判定の精度を下げることなく干渉が検知された直後のシステム応答を改善し、観察者に対して自然な仮想現実感を提示することができる仮想現実感提示装置及び仮想現実感提示方法、並びにプログラムを提供することにある。

上記目的を達成するために、請求項１記載の仮想現実感提示装置は、３次元的にモデリングされたＣＧオブジェクトによって生成された映像を表示し、観察者の視線位置の変化に応じた映像を表示する仮想現実感提示装置において、前記ＣＧオブジェクト間の干渉を検知する干渉検知手段と、前記干渉検知手段による干渉の検知から検知抑止時間内の前記干渉の検知を抑止する干渉検知抑止手段とを備え、前記干渉検知抑止手段は、直前の干渉検知に要した処理時間を計測する処理時間計測手段と、前記計測された処理時間に応じて、前記検知抑止時間を設定する検知抑止時間設定手段とを備えることを特徴とすることを特徴とする。

請求項２記載の仮想現実感提示方法は、３次元的にモデリングされたＣＧオブジェクトによって生成された映像を表示し、観察者の視線位置の変化に応じた映像を表示する仮想現実感提示装置が行う仮想現実感提示方法において、前記仮想現実感提示装置が備える干渉検知手段が、前記ＣＧオブジェクト間の干渉を検知する干渉検知ステップと、前記仮想現実感提示装置が備える干渉検知抑止手段が、前記干渉検知ステップにおける干渉の検知から検知抑止時間内の前記干渉の検知を抑止する干渉検知抑止ステップとを有し、前記干渉検知抑止ステップでは、前記干渉検知抑止手段が有する処理時間計測手段が、直前の干渉検知に要した処理時間を計測する処理時間計測ステップと、前記干渉検知抑止手段が有する検知抑止時間設定手段が、前記計測された処理時間に応じて、前記検知抑止時間を設定する検知抑止時間設定ステップとを有することを特徴とする。

請求項３記載のプログラムは、請求項１に記載の仮想現実感提示装置としてコンピュータを動作させるためのプログラムであることを特徴とする。

本発明によれば、ＣＧオブジェクトの干渉の検知から検知抑止時間内は、ＣＧオブジェクトの干渉の検知を抑止するので、ＣＧデータの精度や干渉判定の精度を下げることなく干渉が検知された直後のシステム応答を改善し、観察者に対して自然な仮想現実感を提示することができる。

好ましくは、干渉検知に要した処理時間を計測し、その計測された処理時間に応じて、上記検知抑止時間を設定することにより、上記計測された処理時間が短かく干渉判定処理の負荷が軽いデータに対して、無駄に長い干渉検知抑止時間を設定することを防止することができる。

以下、本発明の実施の形態を図面を用いて詳述する。

図１は、本発明の実施の形態に係る仮想現実感提示装置の構成を概略的に示すブロック図である。

図１において、仮想現実感提示装置１００は、装置全体を制御するＣＰＵ１０１と、各種プログラムを備えるメモリ１０３と、各種データを備えるメモリ１０４と、映像表示装置であるＨＭＤ１０５と、位置姿勢センサ１０７, １０８, １０９を有する位置姿勢センサコントローラ１０６とを備え、これらはバス１０２を介して互いに接続する。

位置姿勢センサ１０７は、ＨＭＤ１０５にとりつけられており、ＨＭＤ１０５の位置姿勢、即ち、観察者の視線位置の変化を検出する。

位置姿勢センサ１０８と位置姿勢センサ１０９は、夫々観察者の操作（以下、ユーザ操作）を検知するものであり、これらのセンサの出力に基づき仮想空間に表示するＣＧオブジェクトの位置姿勢が指定される。ここで、本実施の形態では、位置姿勢センサによりＣＧオブジェクトの位置姿勢の指定をユーザ操作で行うが、ユーザ操作による指定が可能であればこれに限定されるものでなく、例えば、キーボード、マウス、ジョイスティックなどの他の入力手段を用いてもよい。

メモリ１０３には、位置姿勢センサコントローラ１０６を用いて位置姿勢センサ１０７, １０８,１０９のそれぞれの位置姿勢を取得する位置姿勢取得手段１１０と、メモリ１０４中のデータからからＣＧオブジェクトが配置されている仮想空間を観察したようにレンダリングしたＣＧ映像を生成するＣＧ映像生成手段１２１と、ＣＧオブジェクト間の干渉を検知する干渉検知手段１１１を実現するプログラムが格納され、ＣＰＵ１０１がこのプログラムを実行する。

メモリ１０４には、次の各種データを格納するための領域が設けられている。即ち、位置姿勢取得手段１１０から位置姿勢センサ１０７で検出されたＨＭＤ１０５の位置姿勢を取得・格納する頭部位置姿勢１２０と、位置姿勢取得手段１１０から位置姿勢センサ１０８の位置姿勢を取得・格納する第１ＣＧ位置姿勢１２１と、位置姿勢取得手段１１０から位置姿勢センサ１０９の位置姿勢を取得・格納する第２ＣＧ位置姿勢１２２と、位置姿勢センサ１０８及び位置姿勢センサ１０９で操作可能な２つのＣＧオブジェクトの形状データは事前にモデリングされたデータとして記録するＣＧデータ１２３と、干渉検知を行うときにFalseとし、干渉検知を行わないとき（スキップ（抑止）するとき）にTrueとする論理値を持つＳＫＩＰ変数１２７と、ひとたび干渉が検知されると、その直後からの干渉の検知をスキップする時間間隔を指定する変数である干渉検知スキップ時間１２４と、干渉が生じた時刻である干渉時刻１２８とを備える。

本実施の形態では、各種プログラムをメモリ１０３に，各種データをメモリ１０４に分けて保存しているが、全て１つのメモリに保存してもよい。

また、位置センサコントローラ１０６が有する位置姿勢センサの数は３つであるが、センサの数はこれに限定されるものではなく、検知する対象物の数に応じて増減するようにしてよい。また、ＣＧデータ１２３は、ＣＧオブジェクトの形状データとして、位置姿勢センサ１０８，１０９によりユーザ操作作可能な２つのＣＧオブジェクトの形状データのみを記録するが、ユーザ操作されないＣＧオブジェクトの形状データについて記録していてもよい。

さらに、後述する図２の仮想現実感提示処理では、上記２つのＣＧオブジェクト間の干渉のみを検知するが、ユーザ操作が可能な位置姿勢センサが３つ以上ある場合は、その各ＣＧオブジェクトの間に生じる干渉についての処理を行ってもよいし、またユーザ操作による指定がされないＣＧオブジェクトについても干渉判定処理を行ってもよい。

また、本実施の形態では、ＨＭＤ１０５は１つとしたが、２つ以上用意して、夫々に位置姿勢センサを取り付け、２人以上の観察者が仮想空間を観察できるようにしてもよい。

図２は、図１の仮想現実感提示装置１００により実行される仮想現実感提示処理の手順を示すフローチャートである。

本フローチャートは、仮想現実感提示装置１００が、ユーザ操作に基づき２つのＣＧオブジェクト間の位置姿勢と、位置姿勢センサ１０７により検出されたＨＭＤ１０５の位置姿勢とに関する１フレーム分のＣＧ映像をＨＭＤ１０５に表示することにより仮想現実感を提示する処理である。この処理をくり返し行うことで、ＨＭＤ１０５を装着した観察者の振る舞いに応じた仮想空間のＣＧ映像を動画としてＨＭＤ表示することができる。

まず、本処理を行う以前に初期値の設定が行なわれる。具体的には、メモリ１０４中のＳＫＩＰ変数１２７をFalseにセットし、メモリ１０４中の干渉検知スキップ時間１２４に適当な値（例えば、１秒）をセットし、メモリ１０４中の干渉時刻１２８を初期値を設定した時刻に設定しておく。

図２において、まず最初に、位置姿勢取得手段１１０を用いて、位置姿勢センサコントローラ１０６で位置姿勢センサ１０７,１０８,１０９のそれぞれの位置姿勢を取得し（ステップＳ２０１）、これらの取得した位置姿勢を夫々メモリ１０４の頭部位置姿勢１２０、第１ＣＧ位置姿勢１２１、第２ＣＧ位置姿勢１２２に格納する。その後、第１ＣＧ位置姿勢１２１、第２ＣＧ位置姿勢１２２に格納された位置姿勢に従ってＣＧデータ１２３を設定し、ＣＧシーン（仮想空間）におけるＣＧ配置が決定する（ステップＳ２０２）。これにより、観察者はＣＧ配置を位置姿勢センサ１０８，１０９で操作すると、仮想空間においてＣＧオブジェクトを移動操作しているように感じることができる。

その後、ＣＧシーンを構成する１フレーム分のＣＧを描画する際の位置姿勢を、メモリ１０４中の頭部位置姿勢１２０に従って設定し、これに基づき、ＣＧデータ１２３が設定されることによりＣＧシーン（仮想空間）をレンダリングする位置姿勢が決定される（ステップＳ２０３）。

次に、ＳＫＩＰ変数１２７がTrueであるかFalseであるかを判別し（ステップＳ２０４）、Falseであるときは、２つのＣＧオブジェクトは本処理の直前においては干渉状態ではなかったと判断し、干渉判定手段１１１を用いて、ステップＳ２０１で観察者の操作により位置姿勢が指定された２つのＣＧオブジェクトの間で現在干渉が生じているか否かを判別する（ステップＳ２０５）。

ステップＳ２０５の判別の結果、干渉が生じているときは、メモリ１０４中の干渉時刻１２８に現時刻をセットした後（ステップＳ２０６）、ＳＫＩＰ変数１２７にTrueをセットして（ステップＳ２０７）、干渉通知を行う（ステップＳ２０８）。ここで、ステップＳ２０８の干渉通知は、２つのＣＧオブジェクトが干渉状態にあることを観察者に知らせるためのものであり、例えば、不図示のスピーカから音を出力したり、ＨＭＤ１０５に表示されるＣＧオブジェクトの色を変更することにより行う。

次に、ＣＧ映像生成手段１２１によりステップＳ２０３で決定されたレンダリングする位置姿勢に基づきＣＧシーンを生成し、このＣＧシーンをＨＭＤ１０５に表示して（ステップＳ２０９）、本処理を１フレーム分終了する。これにより、頭部位置姿勢１２０の位置姿勢からＣＧオブジェクトが配置されている仮想空間を観察したようにレンダリングした映像がＨＭＤ１０５に表示することができる。

一方、ステップＳ２０４の判別の結果、Trueであるときは、２つのＣＧオブジェクトは本処理の直前において干渉状態であったと判断して、現時刻とステップＳ２０６で設定された干渉時刻１２８の差分の値が干渉検知スキップ時間１２４を超えているかどうかを判定する（ステップＳ２１０）。

ステップＳ２１０の判別の結果、現時刻と干渉時刻１２８の差分の値が干渉検知スキップ時間１２４を超えているときは、ＳＫＩＰ変数１２７をFalseにセットし（ステップＳ２１１）、干渉検知を行うべく、ステップＳ２０５の処理に進む。

一方、ステップＳ２１０の判別の結果、現時刻と干渉時刻１２８の差分の値が干渉検知スキップ時間１２４を超えていないときは、ＳＫＩＰ変数１２７をTrueのままにし、干渉検知を行わずに（スキップして）ステップＳ２０９の処理に進み、本処理を１フレーム分終了する。

図２の処理によれば、１フレーム分のＣＧシーン（仮想空間）をレンダリングする位置姿勢を決定した後（ステップＳ２０３）、ＣＧオブジェクトは本処理の前に干渉状態であり（ステップＳ２０４でＹｅｓ）、且つ現時刻と干渉状態であると判断された際にセットされた干渉時刻１２８の差分の値が干渉検知スキップ時間１２４を超えていないときは（ステップＳ２１０でＮＯ）、上記ＣＧオブジェクトの間で現在干渉が生じているか否かを判別することなく、上記決定された位置姿勢に基づき１フレーム分のＣＧシーン（仮想空間）をＣＧ映像生成手段１２１により生成する（ステップＳ２０９）ので、ＣＧデータの精度や干渉判定の精度を下げることなく干渉が検知された直後のシステム応答を改善し、観察者に対して自然な仮想現実感を提示することができる。

本実施の形態においては、干渉検知スキップ時間１２４の値はすべての処理を始める前に固定的に設定していたが、別途入力手段を用意し、観察者が仮想現実感体験中に変更するようにしてもよい。

また、現在干渉が生じているか否かを判別するのにかかった処理時間を計測しておき、その値をもとに干渉検知スキップ時間１２４の値を設定するようにしてもよい。例えば、上記計測された処理時間が短かかったときは、干渉検知スキップ時間１２４を短かく（もしくはゼロに）してフレーム毎あるいはそれに近い頻度で現在干渉が生じてるか否かを判別し、上記計測された処理時間が長かったときは、干渉検知スキップ時間１２４を長くする。これにより、上記計測された処理時間が短かく干渉判定処理の負荷が軽いデータに対して、無駄に長い干渉検知スキップ時間１２４を設定することを防止することができる。

また、ユーザ操作の対象となるＣＧデータ間で干渉のチェックを判定していたが、ユーザ操作の対象となるＣＧデータと仮想空間に配置されユーザ操作の対象となっていないＣＧデータとの間の干渉チェックを判定する構成としても良い。

また、本発明の目的は、上記実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム又は装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、上記プログラムは、上述した実施の形態の機能をコンピュータで実現することができればよく、その形態は、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給されるスクリプトデータ等の形態を有するものでもよい。

プログラムを供給する記録媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムを記憶できるものであればよい。或いは、上記プログラムは、インターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続される不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。

本発明の実施の形態に係る仮想現実感提示装置の構成を概略的に示すブロック図である。図１の仮想現実感提示装置により実行される仮想現実感提示処理の手順を示すフローチャートである。

符号の説明

１０１ＣＰＵ
１０２バス
１０３,１０４メモリ
１０５ＨＭＤ
１０６位置姿勢センサコントローラ
１０７,１０８,１０９位置姿勢センサ

Claims

３次元的にモデリングされたＣＧオブジェクトによって生成された映像を表示し、観察者の視線位置の変化に応じた映像を表示する仮想現実感提示装置において、
前記ＣＧオブジェクト間の干渉を検知する干渉検知手段と、
前記干渉検知手段による干渉の検知から検知抑止時間内の前記干渉の検知を抑止する干渉検知抑止手段とを備え、
前記干渉検知抑止手段は、
直前の干渉検知に要した処理時間を計測する処理時間計測手段と、
前記計測された処理時間に応じて、前記検知抑止時間を設定する検知抑止時間設定手段と
を備えることを特徴とする仮想現実感提示装置。
３次元的にモデリングされたＣＧオブジェクトによって生成された映像を表示し、観察者の視線位置の変化に応じた映像を表示する仮想現実感提示装置が行う仮想現実感提示方法において、
前記仮想現実感提示装置が備える干渉検知手段が、前記ＣＧオブジェクト間の干渉を検知する干渉検知ステップと、
前記仮想現実感提示装置が備える干渉検知抑止手段が、前記干渉検知ステップにおける干渉の検知から検知抑止時間内の前記干渉の検知を抑止する干渉検知抑止ステップと
を有し、
前記干渉検知抑止ステップでは、
前記干渉検知抑止手段が有する処理時間計測手段が、直前の干渉検知に要した処理時間を計測する処理時間計測ステップと、
前記干渉検知抑止手段が有する検知抑止時間設定手段が、前記計測された処理時間に応じて、前記検知抑止時間を設定する検知抑止時間設定ステップと
を有することを特徴とする仮想現実感提示方法。
請求項１に記載の仮想現実感提示装置としてコンピュータを動作させるためのプログラム。