JP6263917B2 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

プロジェクタを利用して、仮想的な情報を現実世界の物体に重ね合わせて表示する、投影型拡張現実感システムと呼ばれる技術についての研究が進められている（例えば、特許文献１等参照）。既存の投影型拡張現実感システムの研究では、ユーザを誘導するための矢印を床や壁に投影したり、テーブルに物体を表示したり、模型の車に架空の色をつけたり、首から下げられる小型のプロジェクタを用いて腕に時計を表示したりする例が提案されている。

特表２０１３−５２０７５１号公報

投影型拡張現実感システムでは、環境を理解する能力が極めて重要である。なぜならば、投影型拡張現実感システムではプロジェクタは移動可能であり、プロジェクタの設置場所がユーザによって異なる。従って、プロジェクタの投影対象が常に一定であるとは限らないからである。

人間は、環境をひと目見るだけで、その環境内で取ることが出来る行動をある程度判断できる能力を備えている。心理学では、環境から知覚できる、行動の実現可能性をアフォーダンスと呼んでいる。そのアフォーダンスの自動的理解を投影型拡張現実感システムに適用できれば、投影対象に応じた映像の瞬時の決定が出来ることになる。

そこで、本開示では、人間にとっての環境の行動実現可能性を自動的に理解して、その行動実現可能性を投影する映像に反映することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提案する。

本開示によれば、環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、前記ユーザにとっての該環境の行動実現可能性を解析する行動実現可能性解析部と、前記行動実現可能性解析部の解析結果を用いて前記環境へ投影する映像を生成する映像生成部と、を備える、情報処理装置が提供される。

また本開示によれば、環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、前記ユーザにとっての該環境の行動実現可能性を解析するステップと、解析された前記行動実現可能性を用いて前記環境へ投影する映像を生成するステップと、を備える、情報処理方法が提供される。

また本開示によれば、コンピュータに、環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、前記ユーザにとっての該環境の行動実現可能性を解析するステップと、解析された前記行動実現可能性を用いて前記環境へ投影する映像を生成するステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、人間にとっての環境の行動実現可能性を自動的に理解して、その行動実現可能性を投影する映像に反映することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る投影型拡張現実感システムの構成例を示す説明図である。 深度センサ、ＲＧＢカメラ、及びプロジェクタが一体型の装置となっている場合の装置の外観例を示す説明図である。 深度センサ、ＲＧＢカメラ、プロジェクタが、それぞれ別々の装置として環境に設置されている状態を示す説明図である。 本開示の一実施形態に係る映像生成装置の動作例を示す流れ図である。 プロジェクタが設置される環境の一例を示す説明図である。 環境の各座標値の近辺の３次元データを取得する例を示す説明図である。 ボクセルの例を示す説明図である。 ランダムに生成されたボクセルのデータと、そのボクセルのデータでの行動の実行可否の例を示す説明図である。 映像を投影しようとする環境の一例を示す説明図である。 環境にプロジェクタから映像が投影された状態を示す説明図である。 環境にプロジェクタから映像が投影された状態を示す説明図である。 環境にプロジェクタから映像が投影された状態を示す説明図である。 環境にプロジェクタから映像が投影された状態を示す説明図である。 環境にプロジェクタから映像が投影された状態を示す説明図である。 環境にプロジェクタから映像が投影された状態を示す説明図である。 環境にプロジェクタから映像が投影された状態を示す説明図である。 環境にプロジェクタから映像が投影された状態を示す説明図である。 ハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態
１．１．概要
１．２．システム構成例
１．３．動作例
１．４．投影映像の例
２．ハードウェア構成例
３．まとめ

＜１．本開示の一実施形態＞
［１．１．概要］
まず、本開示の一実施形態に係る投影型拡張現実感システムの概要について説明する。投影型拡張現実感システムとは、プロジェクタを利用して仮想的な情報を現実世界のオブジェクトに重ね合わせて表示する技術を用いたシステムのことである。例えば、壁や床にナビゲーション用の矢印を表示したり、テーブルに物体を表示したり、模型の車に架空の色を付けたり、首から下げられる小型プジェクタを用いて自分の腕に時計を表示したりといった例が提案されている。

プロジェクタの性能が年々向上し、プロジェクタから出力できる映像の質も向上してきていることを考慮すると、いずれは携帯可能な小型プロジェクタによって、環境全体に仮想的な映像を投影することが可能になると考えられる。

投影型拡張現実感システムにとって、映像を投影する環境を理解する能力は極めて重要である。近年広まっている、建物に映像を投影する技術であるプロジェクションマッピングは、投影対象が予め決まっているため、映像を投影する環境の情報を、時間を掛けて手作業でシステムに覚えさせることが可能である。しかし、一般的な投影型拡張現実感システムは、プロジェクタは移動可能であり、プロジェクタの設置場所がユーザによって異なる。従って、プロジェクタの投影対象が常に一定であるとは限らない。そのため投影型拡張現実感システムは、環境の理解を自動的に行う能力を有することが求められる。

上述したように、人間は、環境をひと目見るだけで、その環境内で取ることが出来る行動をある程度判断できる能力を備えている。以下で説明する本開示の一実施形態に係る投影型拡張現実感システムは、環境のアフォーダンス（行動実現可能性）を自動的に理解して、投影する映像に、その理解した環境のアフォーダンスを反映させることを特徴としている。

［１．２．システム構成例］
続いて、図面を参照しながら本開示の一実施形態に係る投影型拡張現実感システムの構成例について説明する。図１は、本開示の一実施形態に係る投影型拡張現実感システム１の構成例を示す説明図である。以下、図１を用いて本開示の一実施形態に係る投影型拡張現実感システム１の構成例について説明する。

図１に示した投影型拡張現実感システム１は、環境に映像を投影することで、仮想的な情報を現実世界の物体に重ね合わせて表示するシステムである。本実施形態では、映像が投影される環境は、室内、室外を問わないものとする。環境内のいずれの表面も映像の投影対象となり得るだけでなく、人物の体の表面も映像の投影対象となり得る。

図１に示したように、本開示の一実施形態に係る投影型拡張現実感システム１は、深度センサ１０と、ＲＧＢカメラ２０と、プロジェクタ３０と、映像生成装置１００と、を含んで構成される。

深度センサ１０は、プロジェクタ３０が映像を投影する環境における物体の奥行きを検知するセンサである。深度センサ１０は、例えば、物体へ向けて赤外線を照射し、その赤外線の反射の度合いによって物体の奥行きを検知する。深度センサ１０は、検知の結果として得られる深度データを映像生成装置１００に供給する。なお、本開示の一実施形態に係る投影型拡張現実感システム１に設けられる深度センサ１０は、１つだけでも良く、複数でも良い。

ＲＧＢカメラ２０は、プロジェクタ３０が映像を投影する環境の動画像を撮像するカメラである。ＲＧＢカメラ２０は、撮像の結果として得られるＲＧＢデータを映像生成装置１００に供給する。なお、本開示の一実施形態に係る投影型拡張現実感システム１に設けられるＲＧＢカメラ２０は、１つだけでも良く、複数でも良い。

プロジェクタ３０は、環境へ映像を投影する装置である。環境へ投影される映像は静止画像であっても動画像であっても良い。本実施形態では、プロジェクタ３０が投影する映像は映像生成装置１００で生成される。プロジェクタ３０は、映像生成装置１００から投影映像データを受け取り、その受け取った投影映像データに基づいて映像を照射する。なお、本開示の一実施形態に係る投影型拡張現実感システム１に設けられるプロジェクタ３０は、１つだけでも良く、複数でも良い。

上述したように、本実施形態では、プロジェクタ３０から映像が投影される環境は、室内、室外を問わないものとする。環境内のいずれの表面もプロジェクタ３０からの映像の投影対象となり得るだけでなく、人物の体の表面も映像の投影対象となり得る。

深度センサ１０、ＲＧＢカメラ２０、プロジェクタ３０は、一体型の装置として構成されてもよく、別々の装置で構成されても良い。図２は、深度センサ１０、ＲＧＢカメラ２０、及びプロジェクタ３０が一体型の装置となっている場合の装置の外観例を示す説明図である。また図３は、深度センサ１０、ＲＧＢカメラ２０、プロジェクタ３０が、それぞれ別々の装置として、プロジェクタ３０が映像を投影する環境Ｃに設置されている状態を示す説明図である。なお図３では、プロジェクタ３０が環境Ｃに２つ設置されている状態が示されているが、上述したように、深度センサ１０、ＲＧＢカメラ２０、プロジェクタ３０の数は図３に示したものに限定されるものではない。

映像生成装置１００は、深度センサ１０及びＲＧＢカメラ２０から送られてくるデータに基づき、プロジェクタ３０が投影する映像を生成する装置である。映像生成装置１００は、本開示の情報処理装置の一例である。本実施形態に係る映像生成装置１００は、深度センサ１０から送られてくる深度データに基づいて、プロジェクタ３０が映像を投影する環境のアフォーダンス（行動実現可能性）を理解し、その理解したアフォーダンスに基づいて、プロジェクタ３０が投影する映像を生成する。

図１に示したように、本実施形態に係る映像生成装置１００は、アフォーダンス解析部１１０と、インタラクション解析部１２０と、投影映像生成部１３０と、行動可否データベース１４０と、を含んで構成される。

アフォーダンス解析部１１０は、深度センサ１０が出力する深度データを用いて、プロジェクタ３０が映像を投影する環境のアフォーダンス（行動実現可能性）を解析する。アフォーダンス解析部１１０は、本開示の行動実現可能性解析部の一例である。そしてアフォーダンス解析部１１０は、環境のアフォーダンスの解析結果に基づき、プロジェクタ３０が映像を投影する環境について、人間が採り得る行動の可否を決定する。アフォーダンス解析部１１０は、プロジェクタ３０が映像を投影する環境について、人間が採り得る行動の可否を決定すると、その可否の情報を投影映像生成部１３０に送る。

インタラクション解析部１２０は、深度センサ１０が出力する深度データを用いて、プロジェクタ３０が映像を投影する環境でユーザが行った行動の内容を解析する。インタラクション解析部１２０は、プロジェクタ３０が映像を投影する環境でユーザが行った行動の内容の解析結果を投影映像生成部１３０に送る。例えばプロジェクタ３０が映像を投影している環境においてユーザが歩く、座る、跳ぶ等の行動を行なうと、インタラクション解析部１２０は、その行動の結果、プロジェクタ３０が投影した映像にどのような影響をもたらすかを、深度データの解析によって判断する。

なおインタラクション解析部１２０は、アフォーダンス解析部１１０が環境のアフォーダンスを解析した際の深度データと、ユーザが行った行動の内容を解析する際の深度データとの差分を用いて、ユーザが行った行動の内容を解析してもよい。後述するが、アフォーダンス解析部１１０が環境のアフォーダンスを解析した際の深度データは、人間や動物等が存在しない環境での深度データであることが望ましい。従ってインタラクション解析部１２０は、アフォーダンス解析部１１０が環境のアフォーダンスを解析した際の深度データと、ユーザが行った行動の内容を解析する際の深度データとの差分を用いることで、ユーザが行った行動の内容を効率的に解析できる。

投影映像生成部１３０は、アフォーダンス解析部１１０の解析により決定された、プロジェクタ３０が映像を投影する環境における人間が採り得る行動の可否の情報を用いて、プロジェクタ３０が投影する映像を生成する。また投影映像生成部１３０は、アフォーダンス解析部１１０からの情報に加え、インタラクション解析部１２０の解析結果も取得し、プロジェクタ３０が投影する映像を生成する。

投影映像生成部１３０は、アフォーダンス解析部１１０の解析結果を用いることで、環境に応じた映像の生成はもちろん、その環境でユーザが行える行動に応じた映像の生成が可能になる。すなわち投影映像生成部１３０は、壁や机、椅子、台などに適切に表示される映像を生成することが出来るだけでなく、ユーザが台の上から跳んだ場合に届くような位置に図形や記号等を表示するような映像を生成することが出来る。

なお、投影映像生成部１３０は、映像の生成に際して、ＲＧＢカメラ２０から送られるＲＧＢデータに基づいて、生成する映像の色を決定しても良い。例えば投影映像生成部１３０は、白色の物体には白色ではなく赤色の映像がプロジェクタ３０から照射されるように色を決定してもよい。また例えば投影映像生成部１３０は、青色の壁には青色ではなく黄色の映像がプロジェクタ３０から照射されるように色を決定してもよい。

また投影映像生成部１３０は、映像の生成に際して、予め環境におけるプロジェクタ３０の場所を把握しておく。図２のように深度センサ１０、ＲＧＢカメラ２０、及びプロジェクタ３０が一体型の装置となっている場合は、深度センサ１０の場所とプロジェクタ３０の場所とがほぼ同じとみなせる。従って、投影映像生成部１３０は深度センサ１０により得られた環境の３次元データから、プロジェクタ３０の場所の把握が可能である。

一方、図３のように、深度センサ１０、ＲＧＢカメラ２０、及びプロジェクタ３０が別々の場所に設置される場合は、ユーザがプロジェクタ３０の場所を投影映像生成部１３０に設定することで、投影映像生成部１３０はプロジェクタ３０の場所の把握が可能である。

投影映像生成部１３０は、プロジェクタ３０が投影した映像をＲＧＢカメラ２０で撮像した画像を用いることで、プロジェクタ３０の位置を推定してもよい。また投影映像生成部１３０は、プロジェクタ３０が投影した映像をＲＧＢカメラ２０で撮像した画像を用いることでプロジェクタ３０から投影する映像を校正してもよい。また例えば、投影映像生成部１３０は、ＲＧＢカメラ２０が撮像した画像からＡＲＴｏｏｌｋｉｔ等のＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実）技術用のライブラリを用いて、プロジェクタ３０が投影したマーカを認識することで、プロジェクタ３０の位置を取得しても良い。

行動可否データベース１４０は、どのような形状の物体であればどのような行動を行なうことが出来るか否かが記録されたデータベースである。行動可否データベース１４０は、例えば、座る、立つ、歩く、跳ぶ等の人間が行い得る行動のそれぞれについて、形状ごとに行動の実行の可否を記録している。例えば、行動可否データベース１４０は、３次元形状を、３次元空間での正規格子で表したボクセル（ｖｏｘｅｌ）データで近似した上で、人間の行動がそのボクセルデータでは実行出来るか否かを記録する。

アフォーダンス解析部１１０は、行動可否データベース１４０に記録されている、行動可否のデータを用いて、プロジェクタ３０が映像を投影する環境のアフォーダンスを解析することが出来る。具体的な例は詳述するが、例えばアフォーダンス解析部１１０は、行動可否データベース１４０の情報と照合することで、プロジェクタ３０が映像を投影する環境のアフォーダンスを解析してもよい。

行動可否データベース１４０に記録される行動可否のデータは、ランダムに生成したボクセルデータに対して物理シミュレーションを実行することで生成される。この物理シミュレーションは、例えば人間の体を複数の剛体の組み合わせと見なしたシンプルなモデルを構築し、そのモデルを使って特定の行動が実行可能かどうかを検証する。

例えば、環境内のある座標（ｘ，ｙ，ｚ）において「立つ」という行動が実行可能かどうかについて検証する場合を考える。この場合、環境の３次元データの座標（ｘ，ｙ，ｚ）の位置に、人間の体のモデルが環境と干渉することなく、かつバランスを保って配置できれば、座標（ｘ，ｙ，ｚ）において「立つ」という行動が実行可能と判断できる。人間の体のモデルが環境と干渉する場合とは、例えば立った場合に頭が天井に当たってしまう場合などである。またバランスを保って配置できない場合とは、例えば過剰に傾いた床や、円錐状に尖った床に立つ場合などである。上記のような検証は極めて単純な物理モデルでシミュレートすることが可能である。

また例えば、環境内のある座標（ｘ，ｙ，ｚ）において「垂直にジャンプする」という行動が実行可能かどうかについて検証する場合を考える。この場合、「垂直にジャンプする」という行動の開始時において、人間の体のモデルに環境との干渉やバランスの崩壊が無いことに加えて、行動の最中（すなわちジャンプしている最中）にも同様に、人間の体のモデルと環境との干渉が無いかどうかをシミュレートする。例えば、ある座標（ｘ，ｙ，ｚ）に立った際に、人間の体のモデルの身長より３ｃｍ高い位置に天井がある場合、「立つ」ことは出来ても、「垂直にジャンプする」ことは出来ないと判断することが出来る。

このように、行動の種類によっては異なる手順で検証することになるが、共通しているのは人間の体を剛体の組み合わせと見なした簡単なモデルを使用することである。このようにモデルを使って特定の行動が実行可能かどうかを検証することで、行動可否データベース１４０に記録される行動可否のデータの蓄積が可能となる。

なお、図１では、映像生成装置１００の内部に行動可否データベース１４０が含まれている構成が示されているが、本開示は係る例に限定されるものではない。行動可否データベース１４０は、映像生成装置１００と別の装置に設けられていても良い。行動可否データベース１４０が映像生成装置１００と別の装置に設けられている場合は、映像生成装置１００と当該別の装置とが有線または無線で接続され得る。

本開示の一実施形態に係る映像生成装置１００は、図１に示した構成を有することで、深度センサ１０から提供される深度データから環境のアフォーダンスを自動的に理解し、その理解した環境のアフォーダンスを、プロジェクタ３０から投影する映像の生成に反映させることが出来る。

以上、図１を用いて本開示の一実施形態に係る投影型拡張現実感システム１の構成例について説明した。続いて、本開示の一実施形態に係る映像生成装置１００の動作例について説明する。

［１．３．動作例］
図４は、本開示の一実施形態に係る映像生成装置１００の動作例を示す流れ図である。図４に示した流れ図は、プロジェクタ３０が映像を照射する環境での行動実現可能性を映像生成装置１００で決定する際の動作例である。以下、図４を用いて本開示の一実施形態に係る映像生成装置１００の動作例について説明する。

まず映像生成装置１００は、深度センサ１０を利用して、プロジェクタ３０が設置される環境の３次元形状を取得する（ステップＳ１０１）。３次元形状の取得はアフォーダンス解析部１１０が実行し得る。具体的には、アフォーダンス解析部１１０は、深度センサ１０から提供される深度データを取得することで、プロジェクタ３０が設置される環境の３次元形状を取得する。

なお、プロジェクタ３０が設置される環境の３次元形状を取得する際には、上述したように、人間や動物などが存在しない状態で、深度センサ１０から提供される深度データを取得することが望ましい。

図５は、プロジェクタ３０が設置される環境Ｃの一例を示す説明図である。プロジェクタ３０が設置される環境Ｃに設置された深度センサ１０から深度データを取得することで、映像生成装置１００は、プロジェクタ３０が設置される環境Ｃの３次元形状を取得することが出来る。

上記ステップＳ１０１でプロジェクタ３０が設置される環境の３次元形状を取得すると、続いて映像生成装置１００は、環境内の各座標値（ｘ，ｙ，ｚ）の近辺の３次元データを取得する（ステップＳ１０２）。環境内の各座標値（ｘ，ｙ，ｚ）の近辺の３次元データの取得はアフォーダンス解析部１１０が実行し得る。

図６は、環境Ｃの各座標値（ｘ，ｙ，ｚ）の近辺の３次元データを取得する例を示す説明図である。図６に示したのは、環境Ｃにおける所定の点Ｃ１の近辺の範囲Ｃ１１の３次元データを取得する例である。この範囲Ｃ１１は、人間が立つ、座る、歩く、跳ぶなどの行動を実行出来るかどうかを判断するための範囲である。

アフォーダンス解析部１１０は、解析する行動に応じて範囲Ｃ１１を変化させてもよい。例えば立つ、座る等の人間がその場で実行する簡単な動作を判断する場合は、アフォーダンス解析部１１０は、所定の点Ｃ１の周囲５０センチメートル程度の範囲を、点Ｃ１の近辺の範囲Ｃ１１としてもよい。また例えば歩く、跳ぶ等の、その場だけでは実行できない動作を判断する場合、またその場で実行する動作であっても大きなアクションを伴う動作を判断する場合は、アフォーダンス解析部１１０は、人間がその場で実行する動作を判断する場合に比べて広い範囲、例えば所定の点Ｃ１の周囲１〜２メートル程度の範囲を、点Ｃ１の近辺の範囲Ｃ１１としてもよい。

上記ステップＳ１０２で環境内の各座標値（ｘ，ｙ，ｚ）の近辺の３次元データを取得すると、続いて映像生成装置１００は、取得した、各座標値（ｘ，ｙ，ｚ）の近辺の３次元データを、３次元空間での正規格子で表したボクセルの集合体で近似する（ステップＳ１０３）。この３次元データをボクセルの集合体で近似する処理は、アフォーダンス解析部１１０が実行し得る。

図７は、３次元データをボクセルの集合体で近似した例を示す説明図である。図７に示したボクセルの集合体は、説明を簡単にするために任意の方向から見た２次元で示したものであり、実際のボクセルは３次元のデータである。

上記ステップＳ１０３で３次元データをボクセルの集合体で近似すると、続いて映像生成装置１００は、そのボクセルの集合体に対して、人間の行動可否を評価する（ステップＳ１０４）。このボクセルの集合体に対して人間の行動可否を評価する処理は、アフォーダンス解析部１１０が実行し得る。

本実施形態では、ボクセルの集合体に対して人間の行動可否を評価する際に、行動実行可否データベース１４０に記録されているデータが用いられ得る。行動実行可否データベース１４０に記録されているデータは、ランダムに生成されたボクセルのデータに対する行動の可否についての情報である。

図８は、ランダムに生成されたボクセルのデータと、そのボクセルのデータでの行動の実行可否の例を示す説明図である。図８に示したボクセルのデータは上から見た場合の例である。例えば、平坦な面の上では座ることはできるが、剣山のような環境では座ることができない、などの情報が行動実行可否データベース１４０に記録されている。

アフォーダンス解析部１１０は、ボクセルの集合体で近似した３次元データと、行動実行可否データベース１４０に記録されているデータと照らし合わせることで、環境内の各座標値（ｘ，ｙ，ｚ）における行動の実行可否を評価する。ただし、全く同じボクセルが行動実行可否データベース１４０に記録されている可能性は低い。

従ってアフォーダンス解析部１１０は、サポートベクタマシン（ＳＶＭ）やベイジアンフィルタなどの判定器を用いて、環境内の各座標値（ｘ，ｙ，ｚ）における行動の実行可否を評価する。指定の行動が実行可能な環境と、そうでない環境のサンプルを大量に判定器に与えることで、ある座標を中心とした所定の範囲の３次元データが与えられた際に、当該範囲で所定の行動が実行可能かどうか瞬時に判定出来る。

なお、評価対象の行動が「立つ」「座る」等の単純なものであれば、アフォーダンス解析部１１０は、判定器を用いるのではなく、評価対象のボクセルに対する単純計算を行っても良い。例えば「立つ」という行動について実行可否を評価する場合、アフォーダンス解析部１１０は、立つ場所の下にある程度の大きさの平面があれば、そこで人間が立てると評価しても良い。

上記ステップＳ１０４で、ボクセルの集合体に対して人間の行動可否を評価すると、続いて映像生成装置１００は、人間の行動可否の評価結果に基づいて、環境内の各座標値の行動可否を決定する（ステップＳ１０５）。この決定処理はアフォーダンス解析部１１０が実行し得る。

映像生成装置１００は、このように一連の動作を実行することで、プロジェクタ３０が映像を照射する環境での行動実現可能性を自動的に決定することができる。そして映像生成装置１００は、プロジェクタ３０が映像を照射する環境での行動実現可能性を自動的に決定することで、その行動実現可能性に合わせてプロジェクタ３０が投影する映像を生成することが出来る。

以上、図４を用いて本開示の一実施形態に係る映像生成装置１００の動作例について説明した。続いて、本開示の一実施形態に係る映像生成装置１００が生成する映像をプロジェクタ３０から投影した際の例を示す。

［１．４．投影映像の例］
［１．４．１．アクションゲームの実現］
まず、映像生成装置１００が生成する映像をプロジェクタ３０から投影することで、投影型拡張現実感システム１がアクションゲームを実現する例を説明する。以下で説明するアクションゲームは、敵を倒したり、アイテムを獲得したりすることで得点が得られるゲームであるとする。本実施形態に係る投影型拡張現実感システム１によって、このアクションゲームを現実世界で実現することが出来る。

図９は、プロジェクタ３０が映像を投影しようとする環境の一例を示す説明図である。図９に示した環境Ｃの行動実現可能性を、深度センサ１０から提供される深度データを用いて決定することで、映像生成装置１００は環境Ｃの形状や、行動実現可能性に応じた映像を生成して、プロジェクタ３０に投影させることが出来る。なお図９には、プロジェクタ３０が投影する映像でアクションゲームを行なうユーザＵの姿を示しているが、上述したように、映像生成装置１００が環境Ｃの行動実現可能性を決定する際には、環境ＣにはユーザＵがいない方がより望ましい。

図１０は、図９に示した環境Ｃに、プロジェクタ３０から映像が投影された状態を示す説明図である。プロジェクタ３０は、環境Ｃの形状や行動実現可能性に応じて映像生成装置１００が生成した映像を投影することが出来る。

図１１及び図１２は、図９に示した環境Ｃに、プロジェクタ３０から映像が投影された状態を示す説明図である。図１１及び図１２には、図１０に示したようなプロジェクタ３０からの映像に加え、アイテムＩ１がプロジェクタ３０から環境Ｃに照射されている状態が示されている。図１２に示したように、ユーザＵが環境Ｃの左側の山から跳ぶことでぎりぎりアイテムＩ１に届くような場所に表示されるよう、投影映像生成部１３０がこのアイテムＩ１の表示位置を決定する。

図１３は、図９に示した環境Ｃに、プロジェクタ３０から映像が投影された状態を示す説明図である。図１３には、図１１及び図１２に示したような映像に加え、敵Ｅ１がプロジェクタ３０から環境Ｃに照射されている状態が示されている。この敵Ｅ１は、ユーザＵがアイテムＩ１を取ろうとする際にユーザＵの邪魔をするものである。

このようにプロジェクタ３０から映像を投影することで、ユーザＵがアイテムＩ１に触れたことがインタラクション解析部１２０の解析結果によって判定されれば得点が与えられるようなアクションゲームが、投影型拡張現実感システム１によって実現可能となる。また、ユーザＵが敵Ｅ１に触れたことがインタラクション解析部１２０の解析結果によって判定されれば減点されるようなアクションゲームが、投影型拡張現実感システム１によって実現可能となる。

［１．４．２．モグラ叩きゲームの実現］
続いて、映像生成装置１００が生成する映像をプロジェクタ３０から投影することで、投影型拡張現実感システム１がモグラ叩きゲームを実現する例を説明する。モグラ叩きゲームは、次々に現れるモグラを叩くことで得点が得られるゲームであるが、本実施形態に係る投影型拡張現実感システム１によって、このモグラ叩きゲームを現実世界で実現することが出来る。

図１４は、図９に示した環境Ｃに、プロジェクタ３０から映像が投影された状態を示す説明図である。図１４には、図１０に示したような映像に加え、モグラＭ１がプロジェクタ３０から環境Ｃに照射されている状態が示されている。このようにプロジェクタ３０から映像を投影することで、プロジェクタ３０から照射されているモグラＭ１の映像にユーザＵが触れるとモグラＵが消滅するようなモグラ叩きゲームが、投影型拡張現実感システム１によって実現可能となる。

図１５は、図９に示した環境Ｃに、プロジェクタ３０から映像が投影された状態を示す説明図である。図１５には、図１４に示したモグラＭ１の映像にユーザＵが触れた状態が示されている。図１５のように、モグラＭ１の映像にユーザＵが触れたことがインタラクション解析部１２０の解析結果によって判定されれば、投影映像生成部１３０はモグラＭ１の表示をやめる。

図１６は、図９に示した環境Ｃに、プロジェクタ３０から映像が投影された状態を示す説明図である。図１６には、図１０に示したような映像に加え、モグラＭ２がプロジェクタ３０から環境Ｃに照射されている状態が示されている。図１６に示したように、モグラＭ１の映像に触れた後に、ユーザＵが急げばぎりぎりモグラＭ２の映像に届くような場所に表示されるよう、投影映像生成部１３０がこのモグラＭ２の表示位置を決定する。

このようにプロジェクタ３０から映像を投影することで、ユーザＵがモグラＭ１、Ｍ２の映像に触れたことがインタラクション解析部１２０の解析結果によって判定されれば得点が与えられるようなモグラ叩きゲームが、投影型拡張現実感システム１によって実現可能となる。

［１．４．３．エクサササイズアプリケーションの実現］
続いて、映像生成装置１００が生成する映像をプロジェクタ３０から投影することで、投影型拡張現実感システム１がエクサササイズアプリケーションを実現する例を説明する。投影型拡張現実感システム１は、プロジェクタ３０が映像を投影する環境と、予め登録されたユーザの健康状態等の情報とに基づいて、その環境でユーザにとって最適なエクササイズを提供することができる。ユーザの健康状態等の情報には、例えば、ユーザの性別、年齢、身長、体重、血圧、心拍数等の情報が含まれ得る。

図１７は、図９に示した環境Ｃに、プロジェクタ３０から映像が投影された状態を示す説明図である。図１７には、図１０に示したような映像に加え、ユーザＵが手や足で触る目印Ｍ１がプロジェクタ３０から環境Ｃに照射されている状態が示されている。

図１７に示したように、ユーザＵにとって最適なエクササイズ効果が出るような位置に目印Ｍ１の映像が表示されるよう、投影映像生成部１３０がこの目印Ｍ１の表示位置を決定する。目印Ｍ１の表示位置は、プロジェクタ３０が映像を投影する環境におけるアフォーダンスだけでなく、ユーザの健康状態等の情報にも基づいて決定され得る。図１７に示した例では、ユーザＵが手を乗せることが出来るとアフォーダンス解析部１１０が判断し、かつ、ユーザＵにとって最適なエクササイズ効果が出ると判断した位置に目印Ｍ１が表示されるよう、投影映像生成部１３０がプロジェクタ３０から投影される映像を生成している。

このようにプロジェクタ３０から映像を投影することで、ユーザＵが目印Ｍ１の映像に触ることでユーザＵにエクササイズ効果が出るようなエクサササイズアプリケーションが、投影型拡張現実感システム１によって実現可能となる。

投影型拡張現実感システム１がエクサササイズアプリケーションを実現する場合は、ユーザが希望するエクササイズの種類に応じて環境に投影される映像を投影映像生成部１３０が生成しても良い。例えば瞬発力を鍛えるエクササイズをユーザが希望する場合は、短時間で目印の位置が変化するような映像を投影映像生成部１３０が生成し、筋力を鍛えるエクササイズをユーザが希望する場合は、目印の位置が変化しないような映像を投影映像生成部１３０が生成してもよい。

なお、投影型拡張現実感システム１によって実現できるゲームやアプリケーションは上述してきた例に限定されないことは言うまでもない。

＜２．ハードウェア構成例＞
上記の各アルゴリズムは、例えば、図１８に示す情報処理装置のハードウェア構成を用いて実行することが可能である。つまり、当該各アルゴリズムの処理は、コンピュータプログラムを用いて図１８に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、接触式又は非接触式のＩＣチップ、接触式又は非接触式のＩＣカード、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図１８に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、センサ、カメラ及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、プロジェクタ、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は接触又は非接触通信用のデバイス等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

＜３．まとめ＞
以上説明したように、本開示の一実施形態によれば、環境のアフォーダンス（行動実現可能性）を解析し、そのアフォーダンスに基づいて環境に投影する映像を生成する、映像生成装置１００が提供される。

映像生成装置１００は、深度センサ１０から送られてくる深度データを用いた環境のアフォーダンスの解析をアフォーダンス解析部１１０で実行する。アフォーダンス解析部１１０は、深度データから得られる環境の３次元データについて、ユーザの採り得る行動の実現可能性を決定する。アフォーダンス解析部１１０は、ユーザの採り得る行動の実現可能性を決定する際には行動可否データベース１４０に格納されている情報と照合する。

本開示の一実施形態に係る映像生成装置１００は、環境のアフォーダンス（行動実現可能性）を解析し、そのアフォーダンスに基づいて環境に投影する映像を生成することで、人間にとっての環境の行動実現可能性を自動的に理解して、その行動実現可能性を投影する映像に反映することができる。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

例えば、上記実施形態では、プロジェクタ３０のみから映像が出力されていたが、本開示は係る例に限定されるものではない。環境のアフォーダンスを考慮した映像は、プロジェクタに加えて映像を表示するディスプレイからも表示され得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、前記ユーザにとっての該環境の行動実現可能性を解析する行動実現可能性解析部と、
前記行動実現可能性解析部の解析結果を用いて前記環境へ投影する映像を生成する映像生成部と、
を備える、情報処理装置。
（２）
前記行動実現可能性解析部は、前記環境の所定の位置を含んだ所定の範囲における前記三次元形状のデータに対して前記ユーザの行動可否を評価することで、前記所定の位置における前記環境の行動実現可能性を解析する、前記（１）に記載の情報処理装置。
（３）
ユーザの行動の実行可否が形状ごとに記録された行動実行可否データベースをさらに備え、
前記行動実現可能性解析部は、前記行動実行可否データベースに保持されたデータと照らし合わせることで前記ユーザの行動可否を評価する、前記（２）に記載の情報処理装置。
（４）
前記行動実現可能性解析部は、サポートベクタマシンを使用して前記行動実行可否データベースに保持されたデータと照らし合わせる、前記（３）に記載の情報処理装置。
（５）
前記行動実行可否データベースは、ランダムに生成された環境に対するシミュレーションによりユーザの行動の実行可否が形状ごとに記録される、前記（３）または（４）に記載の情報処理装置。
（６）
前記行動実現可能性解析部は、ユーザの所定の行動については前記三次元形状のデータを直接解析して前記ユーザの行動可否を評価する、前記（２）〜（５）のいずれかに記載の情報処理装置。
（７）
前記三次元形状のデータの分析により前記環境におけるユーザの動作を解析するインタラクション解析部をさらに備える、前記（１）〜（７）のいずれかに記載の情報処理装置。
（８）
前記映像生成部は、前記行動実現可能性解析部の解析結果及び前記インタラクション解析部の解析結果を用いて投影する映像を生成する、前記（７）に記載の情報処理装置。
（９）
前記環境の三次元形状のデータは、少なくとも１つの深度センサにより取得された深度データに基づく、前記（１）〜（８）のいずれかに記載の情報処理装置。
（１０）
環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、前記ユーザにとっての該環境の行動実現可能性を解析するステップと、
解析された前記行動実現可能性を用いて前記環境へ投影する映像を生成するステップと、
を備える、情報処理方法。
（１１）
コンピュータに、
環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、前記ユーザにとっての該環境の行動実現可能性を解析するステップと、
解析された前記行動実現可能性を用いて前記環境へ投影する映像を生成するステップと、
を実行させる、コンピュータプログラム。

１ 投影型拡張現実感システム
１０ 深度センサ
２０ ＲＧＢカメラ
３０ プロジェクタ
１００ 映像生成装置
Ｃ 環境
Ｕ ユーザ

Claims (9)

1. 現実環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、体の形状について所定のモデル化を行った代表的なユーザにとっての解析の対象となる該現実環境での現実の行動実現可能性を解析する行動実現可能性解析部と、
   前記行動実現可能性解析部の解析結果を用いて前記現実環境へ投影する映像を生成する映像生成部と、
   前記ユーザの行動の実行可否が物体の形状ごとに記録された行動実行可否データベースと、
   を備え、
   前記行動実現可能性解析部は、前記行動実行可否データベースに保持されたデータと照らし合わせることで、前記現実環境の所定の位置を含んだ所定の範囲における前記三次元形状のデータに対して前記ユーザの行動可否を評価する、情報処理装置。
2. 前記行動実現可能性解析部は、サポートベクタマシンを使用して前記行動実行可否データベースに保持されたデータと照らし合わせる、請求項１に記載の情報処理装置。
3. 前記行動実行可否データベースは、ランダムに生成された仮想環境に対するシミュレーションによりユーザの行動の実行可否が物体の形状ごとに記録される、請求項１または２に記載の情報処理装置。
4. 前記行動実現可能性解析部は、ユーザの所定の行動については前記三次元形状のデータを直接解析して前記ユーザの行動可否を評価する、請求項１〜３のいずれかに記載の情報処理装置。
5. 前記三次元形状のデータの分析により前記現実環境におけるユーザの動作を解析するインタラクション解析部をさらに備える、請求項１〜４のいずれかに記載の情報処理装置。
6. 前記映像生成部は、前記行動実現可能性解析部の解析結果及び前記インタラクション解析部の解析結果を用いて投影する映像を生成する、請求項５に記載の情報処理装置。
7. 前記現実環境の三次元形状のデータは、少なくとも１つの深度センサにより取得された深度データに基づく、請求項１〜６のいずれかに記載の情報処理装置。
8. 現実環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、体の形状について所定のモデル化を行った代表的なユーザにとっての解析の対象となる該現実環境での現実の行動実現可能性を解析するステップと、
   前記ユーザの行動の実行可否が物体の形状ごとに記録された行動実行可否データベースに保持されたデータと照らし合わせて前記現実環境の所定の位置を含んだ所定の範囲における前記三次元形状のデータに対して前記ユーザの行動可否を評価することにより解析された前記行動実現可能性を用いて前記現実環境へ投影する映像を生成するステップと、
   を備える、情報処理方法。
9. コンピュータに、
   現実環境の三次元形状のデータを取得し、前記三次元形状のデータの分析により、体の形状について所定のモデル化を行った代表的なユーザにとっての解析の対象となる該現実環境での現実の行動実現可能性を解析するステップと、
   前記ユーザの行動の実行可否が物体の形状ごとに記録された行動実行可否データベースに保持されたデータと照らし合わせて前記現実環境の所定の位置を含んだ所定の範囲における前記三次元形状のデータに対して前記ユーザの行動可否を評価することにより解析された前記行動実現可能性を用いて前記現実環境へ投影する映像を生成するステップと、
   を実行させる、コンピュータプログラム。
   

Images