JP5722603B2 - 拡張現実感提示装置、拡張現実感提示方法及びプログラム - Google Patents

Description

本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な技術に関するものである。

近年、ＡＲ（Augmented Reality）の技術を利用して試着する試みが広まってきている。非特許文献１に開示されている技術は、腕時計型のマーカを手首に装着し、カメラで捉えた実際の腕のマーカ位置に、腕時計の画像を重畳表示するものである。腕時計以外にも、ネクタイ型のマーカを使ってネクタイを試着するような仕組みも実用化されている。また、非特許文献２に開示されている技術は、マーカを装着することなく、カメラで捉えた人物の顔に、サングラスの画像を重畳表示するものである。

これら従来の技術は仮想装着物を簡単に試着することはできるが、単品の試着であり、仮想装着物同士のコーディネートをすることまでは想定されていない。例えば、複数のマーカを装着して一つのカメラ画像に収まれば、そのマーカ毎に対応する仮想画像がマーカ位置に重畳表示されるが、マーカ同士が前後に重なって撮影されると、後ろ側のマーカは隠れてしまい、位置や形状が認識されないため、仮想画像は表示されなくなってしまう。所謂、重ね着のように複数のアイテムを同時に前後に重ねてＡＲで試着することはできなかった。

ＴＩＳＳＯＴ ＲＥＡＬＩＴＹ、インターネット＜ＵＲＬ：http://www.tissot.ch/reality/＞ ＲＡＹ−ＢＡＮ Ｏｆｆｉｃａｌ Ｗｅｂ Ｓｉｔｅ、インターネット＜ＵＲＬ：http://www.ray-ban.com/france/science/virtual-mirror＞

また、シャツとジャケットでの重ね着を考えた場合、シャツの襟をジャケットの内側に着る方法と、襟をジャケットの外側に出して着る方法とを比較したくても、そのような表示はできなかった。ＡＲでは、カメラからの相対位置で、近い側のオブジェクトを、遠い側のオブジェクトより手前側に表示するということは行われている。しかしながら、このような技術を用いたとしても、例えばジャケットをシャツより手前側に表示すると、シャツの画像は完全にジャケットの後ろ側に表示されてしまうため、試着しているような画像を得ることはできなかった。

そこで、本発明の目的は、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することにある。

本発明は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、撮影により取得された人物の３次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、前記認識手段による認識結果に基づいて、前記人物の３次元画像データと複数のオブジェクトの３次元画像データとの位置合わせを行う位置合わせ手段と、ユーザから指示を受けた場合、前記複数のオブジェクトに含まれる第１のオブジェクトの３次元画像データの外側に配置される、前記複数のオブジェクトに含まれる第２のオブジェクトの３次元画像データの部分を抜き加工する加工手段と、前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の３次元画像データの外側に前記複数のオブジェクトの３次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第１のオブジェクトの３次元画像データの外側に、前記加工手段により抜き加工された前記第２のオブジェクトの３次元画像データを配置して表示手段に表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することが可能となる。

本発明の第１の実施形態に係るＡＲ表示システムの構成を概略的に示す図である。 本発明の第１の実施形態に係るＡＲ表示システムの機能的な構成を示すブロック図である。 本発明の実施形態における拡張現実感提示装置のハードウェア構成を示す図である。 本発明の第１の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。 ステップＳ２０５における各オブジェクトの配置処理を具体的に説明するための図である。 ステップＳ２０５における抜き加工処理について詳細に説明するための図である。 ステップＳ２０６における抜き加工処理を具体的に説明するための図である。 本発明の第２の実施形態に係るＡＲ表示システムの機能的な構成を示すブロック図である。 本発明の第２の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。 ステップＳ４０７における各オブジェクトの配置処理を具体的に説明するための図である。 本発明の第２の実施形態における抜き加工処理について詳細に説明するための図である。 本発明の第３の実施形態に係るＡＲ表示システムの構成を概略的に示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係るＡＲ表示システムの構成を概略的に示す図である。図１に示すように、本実施形態に係るＡＲ表示システムは、撮影により被写体の３次元画像データを生成する３次元カメラ２０と、３次元カメラ２０により生成された３次元画像データを入力してディスプレイに表示するとともに、当該被写体の３次元画像データと整合する位置に衣服等のオブジェクトの３次元画像データを合成表示する拡張現実感提示装置１０とにより構成される。拡張現実感提示装置１０は、例えばワイシャツやＴシャツ等の装着物のオブジェクトの３次元画像データを格納しており、これらのオブジェクトの３次元画像データ３０、４０を、被写体である人物の３次元画像データ５０と整合する位置に合成表示することにより、仮想的に人物がワイシャツやＴシャツを試着しているような映像を提示することができる。以下では、このように現実空間の映像にコンピュータグラフィックス画像データを合成表示して拡張された現実感を演出することを、ＡＲ（Augmented Reality）表示と称することがある。なお、３次元カメラ２０と拡張現実感提示装置１０とはＬＡＮ等の通信回線により接続されている。

以下で説明する実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例としてＰＣ型のＡＲ表示デバイスを挙げているが、これに限られない。例えば、カメラ機能と画像表示機能とが搭載された携帯端末型のＡＲ表示デバイスも適用することができる。

図２は、本実施形態に係るＡＲ表示システムの機能的な構成を示すブロック図である。図２において、３次元カメラ２０は、３次元画像撮影部２０１と画像データ送信部２０２とを備える。３次元画像撮影部２０１は、撮影により人物の３次元画像データを生成する。画像データ送信部２０２は、３次元画像撮影部２０１により生成された３次元画像データを拡張現実感提示装置１０に対して送信する。

拡張現実感提示装置１０は、画像データ受信部１０１、人体認識部１０２、オブジェクト格納部１０３、オブジェクト検索部１０４、位置合わせ部１０５、オブジェクト配置部１０６、抜き加工部１０７、色指定部１０８及び表示制御部１０９を備える。

画像データ受信部１０１は、３次元カメラ２０の画像データ送信部２０２より送信された人物の３次元画像データを受信する。人体認識部１０２は、人物の３次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズの認識等、人体に関する認識処理を行う。オブジェクト格納部１０３は、ワイシャツやＴシャツ等、装着物のオブジェクトの３次元画像データを格納している。オブジェクト検索部１０４は、人体認識部１０２の認識結果に基づいて、人体に適合するオブジェクトの３次元画像データを検索する。位置合わせ部１０５は、人体認識部１０２の認識結果に基づいて、人物の３次元画像データと、オブジェクト検索部１０４で検索されたオブジェクトの３次元画像データとの位置合わせを行う。オブジェクト配置部１０６は、位置合わせ部１０５による位置合わせの結果に応じてオブジェクトの３次元画像データを仮想３次元空間内に配置する。これにより、人物の３次元画像データと各オブジェクトの３次元画像データとが整合した位置に配置され、人物が各装着物のオブジェクトを試着したように見える。

色指定部１０８は、ユーザに任意の色を指定させる操作手段に対応する。抜き加工部１０７は、人物の３次元画像データのうち、色指定部１０８によって指定された色に該当する部分に重畳する、各オブジェクトの３次元画像データの部分を抜き加工する。抜き加工とは、対象となる部分を透明化することである。例えば、仮想３次元空間において、第１のオブジェクトと第２のオブジェクトとが奥行き方向に重なるように配置された状態（第１のオブジェクトが奥、第２のオブジェクトが手前に配置された状態）において、第２のオブジェクトのある部分が抜き加工されると、その部分に隠れていた第１のオブジェクトの部分の３次元画像データが透けて見えるようになる。表示制御部１０９は、仮想３次元空間に配置された各３次元画像データをディスプレイ３０７に表示する。

図３は、本実施形態における拡張現実感提示装置１０のハードウェア構成を示す図である。図３において、ＣＰＵ３０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ３０２には、ＣＰＵ３０１の制御プログラムであるオペレーティングシステム（ＯＳ）が記憶されている。ＨＤＤ３０５には、図２に示した各機能を実現するためのプログラムが記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ３０４は、ネットワークを介して外部機器（例えば、３次元カメラ２０）との通信制御処理を実行する。なお、ＨＤＤ３０５の代替手段として、ＳＤＤ（Solid State Drive）を用いてもよい。ディスプレイコントローラ３０６は、ディスプレイ３０７に対する画像表示を制御する。

図２における、画像データ受信部１０１は、通信Ｉ／Ｆコントローラ３０４に対応する構成である。人体認識部１０２、オブジェクト検索部１０４、位置合わせ部１０５、オブジェクト配置部１０６、抜き加工部１０７は、ＣＰＵ３０１及びＨＤＤ３０５に記憶されるプログラムに対応する構成である。表示制御部１０９は、ディスプレイコントローラ３０６に対応する構成である。オブジェクト格納部１０３は、ＨＤＤ３０５に対応する構成である。色指定部１０８は、不図示のマウスやキーボード等の操作手段に対応する構成である。

図４は、第１の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。以下、図４を参照しながら、本実施形態に係るＡＲ表示システムの動作を詳細に説明する。

ステップＳ１０１において、３次元画像撮影部２０１は、被写体である人物を撮影し、当該人物の３次元画像データを生成する。ステップＳ１０２において、画像データ送信部２０２は、３次元画像撮影部２０１により生成された人物の３次元画像データを拡張現実感提示装置１０に対して送信する。ステップＳ１０３において、３次元カメラ２０は、ユーザによる撮影終了の操作があったか否かを判定する。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップＳ１０１に戻り、人物の３次元画像データの生成、送信が繰り返される。

ステップＳ２０１において、画像データ受信部１０１は、３次元カメラ２０から人物の３次元画像データを受信する。ステップＳ２０２において、人体認識部１０２は、人物の３次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズ等を認識する。人体の所定の部位の認識方法としては、例えば、モデルとなる顔や両肩等の画像データを予め用意しておき、人物の３次元画像データとマッチングすることにより、これらの部位を認識する方法等が挙げられる。

また、人体の骨格モデル情報を骨格モデルデータベース（図示せず）で保持し、カメラで撮影された３次元画像データに対して不自然な部位認識をしないようにすることもできる。例えば、撮影された人物像の顔部分と背景部分に基づいて背景を誤って人体と認識してしまう可能性がある。誤認識を起こすと、顔と体の相対位置がずれてしまったり、肘や膝が本来曲がらない反対側に曲がって判断されてしまう等の不都合が生じる。そこで、人体の骨格モデル情報として、顔と体の相対位置や肘・膝の曲がり方向・角度等を保持し、認識された顔等を基準に骨格モデル情報に適合した人体の部位を特定するようにするとよい。

その他、人物の３次元画像データをディスプレイに表示させ、ユーザに顔や両肩等を指示入力させることにより、これらの部位を認識するようにしてもよい。なお、ここで認識する部位は、人物の３次元画像データとオブジェクトの３次元画像データとの位置を整合させるために利用するものであるため、顔や両肩に限定されないことは勿論である。例えば、オブジェクトがズボンである場合には、腰や足首等を認識するようにすればよい。また、人体のサイズの認識方法は、例えば、人物との被写体距離と当該人物の撮影画像のサイズとに基づいて認識する方法等が挙げられる。人体のサイズは、当該人物がキーボード等の操作手段を使用して自ら入力するようにしてもよい。

ステップＳ２０３において、オブジェクト検索部１０４は、人物の３次元画像データに基づいて、オブジェクト格納部１０３から当該人物に適合するオブジェクトの３次元画像データを検索する。ここでは、ステップＳ２０２において認識された人体のサイズに合ったオブジェクトの３次元画像データが検索される。なお、本実施形態は、現実の重ね着に近い着用状態をＡＲ表示にて表現するものであるため、ステップＳ２０３では、当該人物について少なくとも２以上のオブジェクトの３次元画像データが検索されるものとする。

ステップＳ２０４において、位置合わせ部１０５は、人物の３次元画像データに基づいて、人物の３次元画像データと、オブジェクト検索部１０４で検索された各オブジェクトの３次元画像データとの位置合わせを行う。即ち、位置合わせ部１０５は、人体認識部１０２によって認識された人体の部位を基準にして各オブジェクトの３次元画像データの位置を決定する。例えば、両肩が認識されている場合、その両肩と、ワイシャツやＴシャツのオブジェクトの両肩部分が一致するように、ワイシャツやＴシャツの配置位置及び向きが決定される。また、顔の認識されている場合には、目や口等の位置からどの方向に顔が向いているのか判定し、顔の向きと整合するように帽子の配置位置及び向きが決定される。

ステップＳ２０５において、オブジェクト配置部１０６は、位置合わせ部１０５による位置合わせの結果に応じて、各オブジェクトの３次元画像データを仮想３次元空間内に配置する。これにより、人物が各オブジェクトを試着したような配置状態となる。

図５は、ステップＳ２０５における各オブジェクトの配置処理を具体的に説明するための図である。図５において、５０１は、仮想３次元空間内に人物の３次元画像データだけが配置されている状態を表している。５０２は、位置合わせ部１０５の位置合わせの結果に応じて、ワイシャツ（第１のオブジェクト）の３次元画像データを人物の３次元画像データと整合するように配置した状態を表している。５０３は、位置合わせ部１０５の位置合わせの結果に応じて、Ｔシャツ（第２のオブジェクト）の３次元画像データを人物の３次元画像データと整合するように配置した状態を表している。このとき、５０３に示すように、ワイシャツの３次元画像データはＴシャツの３次元画像データの内側に配置されているが、ワイシャツの襟の部分がＴシャツの外側に出てしまうようなワイシャツの形状の場合がある。この状態においても現実の重ね着に近い状態が表現されているが、ユーザによっては、ワイシャツの襟がＴシャツの内側に入った状態も見たいという場合がある。このような場合、ユーザがその旨の指示を与えると、抜き加工部１０７は、ワイシャツの襟の部分のうち、Ｔシャツと重畳する部分を抜き加工する。これにより、Ｔシャツの外側に出ていたワイシャツの襟の部分が透明化され、ワイシャツの襟がＴシャツの内側に入ったような状態となる。

図６は、上記の抜き加工について詳細に説明するための図である。図６において、６０１は、ワイシャツの３次元画像データとＴシャツの３次元画像データとの位置関係を示している。６０１の破線がＴシャツの３次元画像データの位置を表している。６０２は、ワイシャツの襟のうち、Ｔシャツと重畳する部分、即ち、Ｔシャツの外側に出ている襟の部分を示しており、一点鎖線で囲まれた部分がそれに該当する。この一点鎖線で囲まれた部分を抜き加工（透明化）することにより、その奥に位置するワイシャツの部分が透けて表示され、図５の５０４に示すように、ワイシャツの襟がＴシャツの内側に入ったような状態となる。

ステップＳ２０６において、抜き加工部１０７は、仮想３次元空間内に人物の３次元画像データ及び各オブジェクトの３次元画像データが配置された状態において、人物の３次元画像データのうち、色指定部１０８により指定された色に該当する部分と重畳する、各オブジェクトの３次元画像データの部分を抜き加工する。例えば、色指定部１０８により髪の色が指定された場合、人物の３次元画像データのうち、髪の色と同一色の部分（髪の部分）と重畳する各オブジェクトの３次元画像データの部分が抜き加工される。これにより、人物の３次元画像データの外側に各オブジェクトの３次元画像データが配置される際に、人物の髪は必ず各オブジェクトの外側に位置するように表示されることになる。

図７は、ステップＳ２０６における抜き加工処理を具体的に説明するための図である。人物の外側に、ワイシャツの３次元画像データとＴシャツの３次元画像データとを配置すると、７０１に示すように、髪の外側にワイシャツやＴシャツが出ているような状態になることがある。実際の着用状態においては、髪の外側にワイシャツやＴシャツが出ているようなことは殆どないので、実際の衣服の着用状態に近づけるように３次元画像データを加工することが望ましい。そこで本実施形態では、色指定部１０８により髪の色が指定されると、人物の３次元画像データのうち、指定された色と同一色の部分と重畳するワイシャツやＴシャツの３次元画像データの部分７０１１を抜き加工する。これにより、７０２に示すように、ワイシャツやＴシャツの３次元画像データに隠れていた髪の部分が見えるようになり、ワイシャツやＴシャツの外側に髪が出たような状態となる。

また、特定のオブジェクトについては、ステップＳ２０６における抜き加工処理を無効化するようにしてもよい。具体的には、例えば帽子、フード等の髪の上に表示させたいオブジェクトについては、仮に髪と重畳する位置にそれらのオブジェクトが配置されていても抜き加工処理は実行しないようにする。これにより、帽子やフード等を頭にかぶった状態を表現することができる。

ステップＳ２０７において、表示制御部１０９は、人物や各オブジェクトの３次元画像データをディスプレイ３０７に表示する。このとき、ディスプレイ３０７は平面形状であるため、３次元画像データから２次元画像データへの変換処理が行われる。

ステップＳ２０８において、拡張現実感提示装置１０は、ユーザによる撮影終了の操作があったか否かを判定する。この判定処理は、ステップＳ１０３と連動するものであってもよいし、拡張現実感提示装置１０単独のものであってもよい。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップＳ２０１に戻り、３次元カメラ２０から受信する３次元画像データに基づくＡＲ表示が繰り返される。

次に、本発明の第２の実施形態について説明する。第２の実施形態に係るＡＲ表示システムの概略構成は、図１に示す構成と略同一であり、３次元カメラ２０が２次元カメラ１０に代わることと、拡張現実感提示装置１０が２次元画像データに対応した機能を持つことが第１の実施形態と相違する。

図８は、本実施形態に係るＡＲ表示システムの機能的な構成を示すブロック図である。図８において、２次元カメラ８０は、２次元画像撮影部８０１と画像データ送信部８０２とを備える。２次元画像撮影部８０１は、撮影により人物の２次元画像データを生成する。画像データ送信部８０２は、２次元画像撮影部８０１により生成された２次元画像データを拡張現実感提示装置９０に対して送信する。

拡張現実感提示装置９０は、画像データ受信部９０１、人体認識部９０２、オブジェクト格納部９０３、オブジェクト検索部９０４、変換部９０５、位置合わせ部９０６、第１の抜き加工部９０７、オブジェクト配置部９０８、第２の抜き加工部９０９、色指定部９１０、表示制御部９１１を備える。

画像データ受信部９０１は、２次元カメラ８０の画像データ送信部８０２により送信された人物の２次元画像データを受信する。人体認識部９０２は、人物の２次元画像データに基づいて、顔や両肩等の人物の所定の部位や人体のサイズの認識等、人体に関する認識処理を行う。オブジェクト格納部９０３は、ワイシャツやＴシャツ等、装着物のオブジェクトの３次元画像データを格納している。オブジェクト検索部９０４は、人体認識部９０２の認識結果に基づいて、人体に適合するオブジェクトの３次元画像データを検索する。位置合わせ部９０６は、人体認識部９０２の認識結果に基づいて、人物の３次元画像データと各オブジェクトの３次元画像データとの位置合わせを行う。変換部９０５は、位置合わせ部９０６による位置合わせの結果に応じて、オブジェクト検索部９０４によって検索された各オブジェクトの３次元画像データを２次元画像データに変換する。第１の抜き加工部９０７は、或るオブジェクト（第１のオブジェクト）の２次元画像データ上に重ねて配置される他のオブジェクト（第２のオブジェクト）の２次元画像データの所定の部分を抜き加工する処理を行う。オブジェクト配置部９０８は、位置合わせ部９０６による位置合わせの結果に応じてオブジェクトの２次元画像データを配置する。これにより、人物の２次元画像データと各オブジェクトの２次元画像データとが整合する位置に配置され、人物が各装着物のオブジェクトを試着したように見える。

色指定部９１０は、ユーザに任意の色を指定させる操作手段に対応する。第２の抜き加工部９０９は、人物の２次元画像データのうち、色指定部９１０によって指定された色に該当する部分に重畳する、各オブジェクトの２次元画像データの部分を抜き加工する。２次元画像データの抜き加工も３次元画像データの抜き加工と同様である。例えば、第１のオブジェクトと第２のオブジェクトとが奥行き方向に重なるように配置された状態（第１のオブジェクトが奥、第２のオブジェクトが手前に配置された状態）において、第２のオブジェクトのある部分が抜き加工されると、その部分に隠れていた第１のオブジェクトの部分の２次元画像データが透けて見えるようになる。表示制御部９１１は、配置された各２次元画像データをディスプレイ９１２に表示する。

なお、第２の実施形態における拡張現実感提示装置９０のハードウェア構成は、図３に示す構成と同様である。即ち、図８の画像データ受信部９０１は、通信Ｉ／Ｆコントローラ３０４に対応する構成である。人体認識部９０２、オブジェクト検索部９０４、変換部９０５、位置合わせ部９０６、第１の抜き加工部９０７、オブジェクト配置部９０８、第２の抜き加工部９０９は、ＣＰＵ３０１及びＨＤＤ３０５に記憶されるプログラムに対応する構成である。表示制御部９１１は、ディスプレイコントローラ３０６に対応する構成である。オブジェクト格納部９０３は、ＨＤＤ３０５に対応する構成である。色指定部９１０は、不図示のマウスやキーボード等の操作部に対応する構成である。

図９は、第２の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。以下、図９を参照しながら、本実施形態に係るＡＲ表示システムの動作を詳細に説明する。

ステップＳ３０１において、２次元画像撮影部８０１は、被写体である人物を撮影し、当該人物の２次元画像データを生成する。ステップＳ３０２において、画像データ送信部８０２は、２次元画像撮影部８０１により生成された人物の２次元画像データを拡張現実感提示装置９０に対して送信する。ステップＳ３０３において、２次元カメラ８０は、ユーザによる撮影終了の操作があったか否かを判定する。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップＳ３０１に戻り、人物の２次元画像データの生成、送信が繰り返される。

ステップＳ４０１において、画像データ受信部９０１は、２次元カメラ８０から人物の２次元画像データを受信する。ステップＳ４０２において、人体認識部９０２は、人物の２次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズ等を認識する。人体の部位の認識方法としては、第１の実施形態と同様の方法が挙げられる。また、認識する部位が顔や両肩に限定されないことも第１の実施形態と同様である。さらに、人体のサイズの認識方法についても第１の実施形態と同様である。

ステップＳ４０３において、オブジェクト検索部９０４は、人物の２次元画像データに基づいて、オブジェクト格納部９０３から当該人物に適合するオブジェクトの２次元画像データを検索する。ここでのオブジェクトの検索方法も第１の実施形態と同様である。また、本実施形態においても、現実の重ね着に近い着用状態をＡＲ表示にて表現するものであるため、ステップＳ４０３では、当該人物について少なくとも２以上のオブジェクトの２次元画像データが検索されるものとする。

ステップＳ４０４において、位置合わせ部９０６は、人物の２次元画像データに基づいて、人物の２次元画像データと、オブジェクト検索部９０４により検索された各オブジェクトの２次元画像データとの位置合わせを行う。即ち、位置合わせ部９０６は、人体認識部９０２によって認識された人体の部位を基準にして各オブジェクトの３次元画像データの位置を決定する。例えば、両肩が認識されている場合、その両肩と、ワイシャツやＴシャツのオブジェクトの両肩部分が一致するように、ワイシャツやＴシャツの配置位置及び向きが決定される。また、顔の認識されている場合には、目や口等の位置からどの方向に顔が向いているのか判定し、顔の向きと整合するように帽子の配置位置及び向きが決定される。

ステップＳ４０５において、変換部９０５は、位置合わせ部９０６により決定された各オブジェクトの３次元画像データの配置位置や向き等に応じて、オブジェクト検索部９０４により検索された各オブジェクトの３次元画像データを２次元画像データに変換する。即ち、変換部９０５は、ディスプレイ３０７上で夫々のオブジェクトが上記配置位置において上記の向きで見えるように３次元画像データから２次元画像データへの変換を行う。

ステップＳ４０６において、第１の抜き加工部９０７は、或るオブジェクト（第１のオブジェクト）の２次元画像データ上に重ねて配置される他のオブジェクト（第２のオブジェクト）の２次元画像データの所定の部分を抜き加工する処理を行う。ステップＳ４０７において、オブジェクト配置部９０８は、位置合わせ部９０６による位置合わせの結果に応じて、各オブジェクトの２次元画像データを配置する。ここで配置される２次元画像データには、第１の抜き加工部９０７によって抜き加工が施されたオブジェクトの２次元画像データも含まれる。

図１０は、ステップＳ４０７における各オブジェクトの配置処理を具体的に説明するための図である。図１０において、１００１は、人物の２次元画像データだけが配置されている状態を表している。１００２は、位置合わせ部９０６の位置合わせの結果に応じて、ワイシャツ（第１のオブジェクト）の２次元画像データを人物の２次元画像データと整合するように配置した状態を表している。１００３は、位置合わせ部９０６の位置合わせの結果に応じて、Ｔシャツ（第２のオブジェクト）の２次元画像データを人物の２次元画像データと整合するように配置した状態を表している。１００３に示す状態においては、Ｔシャツの２次元画像データは、ワイシャツの２次元画像データ上に単純に重ね合わされているため、ワイシャツの２次元画像データのうち、Ｔシャツの２次元画像データと重畳する部分は全て隠れてしまう。従って、ワイシャツの襟がＴシャツの内側に入ったような状態となり、実際の重ね着の状態でワイシャツの襟がＴシャツの外側に出ていることを想定しているユーザにとっては、違和感のあるＡＲ表示となる。従って、本実施形態では、ユーザによってワイシャツの襟をＴシャツの外側に出した状態の重ね着を見たい旨の指示があった場合、第１の抜き加工部９０７は、ワイシャツの襟の部分のうち、Ｔシャツと重畳する部分を抜き加工する。これにより、Ｔシャツの内側に入っていたワイシャツの部分が透明化され、ワイシャツの襟がＴシャツの外側に出たような状態となる。また、ワイシャツとジャケットとの関係を考えた場合、単にワイシャツの２次元画像データの手前にジャケットの２次元画像データを配置すると、ワイシャツの２次元画像データの殆どがジャケットの２次元画像データに隠れてしまい、重ね着したような状態とはならない。そこで本実施形態のような抜き加工処理をジャケットの２次元画像データの該当する部分に実行すると、奥のワイシャツの２次元画像データが見えるようになり、重ね着したような状態となる。

図１１は、上記の抜き加工について詳細に説明するための図である。図１１において、１１０１は、ワイシャツの３次元画像データとＴシャツの３次元画像データとの位置関係を示しており、単純に、ワイシャツの２次元画像データ上にＴシャツの２次元画像データを重ねた状態を表している。なお、１１０１の破線がＴシャツに隠れたワイシャツの襟の部分を表している。１１０２は、Ｔシャツとワイシャツの襟とが重畳する部分、即ち、抜き加工の対象となるＴシャツの部分を示しており、一点鎖線で囲まれた部分がそれに該当する。この一点鎖線で囲まれた部分を抜き加工（透明化）することにより、ワイシャツの襟の部分が透けて表示され、図１０の１００４に示すように、ワイシャツの襟がＴシャツの外に出たような状態となる。

ステップＳ４０８において、第２の抜き加工部９０９は、人物の２次元画像データ及び各オブジェクトの２次元画像データが配置された状態において、人物の２次元画像データのうち、色指定部９１０により指定された色に該当する部分と重畳する、各オブジェクトの２次元画像データの部分を抜き加工する。これにより、図７を用いて説明したように、実際の重ね着に近い着用状態に２次元画像データを加工することができる。また第２の実施形態においても、第１の実施形態と同様に、特定のオブジェクトについてはステップＳ２０６における抜き加工処理を無効化するようにしてもよい。

ステップＳ４０９において、表示制御部９１１は、人物や各オブジェクトの２次元画像データをディスプレイ３０７に表示する。ステップＳ４１０において、拡張現実感提示装置９０は、ユーザによる撮影終了の操作があったか否かを判定する。この判定処理は、ステップＳ３０３と連動するものであってもよいし、拡張現実感提示装置９０単独のものであってもよい。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップＳ４０１に戻り、２次元カメラ８０から受信する２次元画像データに基づくＡＲ表示が繰り返される。

次に、本発明の第３の実施形態について説明する。第１、第２の実施形態では、人物の画像データ（３次元画像データ、２次元画像データ）に基づいて、拡張現実感提示装置が自動的に当該人物（人体）に適合するオブジェクトを検索したが、本発明はこれに限定されない。即ち、人物の画像データ（３次元画像データ、２次元画像データ）を外部の通信端末に送信し、外部装置を使用する者が当該画像データに基づいて当該人物（人体）に適合するオブジェクトを推奨するようにしてもよい。

図１２は、第３の実施形態に係るＡＲ表示システムの構成を概略的に示す図である。図１２に示すように、本実施形態に係るＡＲ表示システムは、撮影により被写体である人物の３次元画像データを生成する３次元カメラ１２２０と、３次元カメラ１２２０により生成された３次元画像データを拡張現実感提示装置１２１０を介して受信し、当該３次元画像データに基づいて店舗側から推奨されたオブジェクトの３次元画像データを拡張現実感提示装置１２１０に返す店舗ＰＣ１２３０と、当該人物が店舗ＰＣ１２３０を設置する店舗で購入した商品（オブジェクト）の履歴を管理する購入商品管理テーブル１２４０と、３次元カメラ１２２０によって生成された３次元画像データと、店舗ＰＣ１２３０から受信した各オブジェクトの３次元画像データとをディスプレイに合成表示する拡張現実感提示装置１２１０とにより構成される。なお、拡張現実感提示装置１２１０と店舗ＰＣ１２３０とはインターネットを介して接続される。

以下、第３の実施形態に係るＡＲ表示システムの動作について説明する。３次元カメラ１２２０で生成された人物の３次元画像データは拡張現実感提示装置１２１０を介して店舗ＰＣ１２３０に対して送信される。店舗ＰＣ１２３０は人物の３次元画像データをディスプレイに表示する。店舗側では、当該３次元画像データを参照しつつ、店舗ＰＣ１２３０に接続される購入商品管理テーブル１２４０から当該人物がこれまで購入してきたオブジェクトの履歴を検索し、当該人物に適合する（似合う）オブジェクトを選択する。オブジェクトが選択されると、店舗ＰＣ１２３０は、選択された各オブジェクトの３次元画像データを購入商品管理テーブル１２４０から取得し、拡張現実感提示装置１２１０に対して送信する。拡張現実感提示装置１２１０は、各オブジェクトの３次元画像データを受信すると、各オブジェクトの３次元画像データを人物の３次元画像データと整合する位置に合成表示する。この合成表示のための処理は、図４のステップＳ２０１〜ステップＳ２０８と同様である。ここでは、３次元画像データを対象に説明したが、２次元画像データを対象とした場合、合成表示のための処理は図９のステップＳ４０１〜ステップＳ４１０と同様の処理を適用することになる。なお、３次元カメラ又は２次元カメラから店舗ＰＣに対して送信される人物の画像データは、録画したものであってもよいし、リアルタイムのものでもよい。

その他の実施形態として、単一の店舗で購入したオブジェクトだけから当該人物に似合うオブジェクトが推奨されるのではなく、複数の店舗で購入したオブジェクトから当該人物に似合うオブジェクトを推奨するようにしてもよい。この場合、例えば、複数の店舗で購入した装着物がクローゼットに格納されており、クローゼット内で各装着物を吊り下げているハンガーにＲＦＩＤを取り付けておくことで、各装着物のＩＤを読み取れるようにしておく。そして、読み取った各装着物のＩＤ、当該ＩＤに対応する各装着物の画像データ、及び、当該人物の画像データを友人のＰＣに送信することにより、友人から装着物の推奨を受けることができる。なお、各ＩＤに対応する装着物の画像データの管理場所は当該人物側でなくてもよい。友人のＰＣが各ＩＤを受信すると、ＩＤをキーにして外部サイトから該当する画像データを取得するようにしてもよい。

上述した実施形態によれば、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することが可能となる。より具体的には、複数の装着物のオブジェクトを重ねてＡＲ表示する際に、実際の重ね着に近い状態で表現することができるとともに、装着物のオブジェクトのある部分を、他の装着物のオブジェクトの手前或いは奥に表示させるのか自由に選択することが可能となる。また、上述した実施形態では、装着物として衣服を例示したが、広義の人物の装着物として車にも適用することができる。これにより、所望の車を試乗した状態をＡＲ表示により閲覧することができる。

なお、上述した実施形態では詳述を省略したが、重畳表示するオブジェクトの画像データは、所謂ポリゴンデータ等で作成しておくことで、人物の動作に合わせて重畳するオブジェクトの形状を変更することができる。例えば、人物が腕を伸ばした状態から肘を曲げた状態に動くと、重畳されるワイシャツ等のオブジェクトも肘を曲げた形状に変形できる。これにより、実際に人物が肘を曲げているにも関わらず、ワイシャツの袖がまっすぐに伸びて重畳表示されてしまう等の不自然さをなくすことができる。

１０：拡張現実感提示装置、１０１：画像データ受信部、１０２：人体認識部、１０３：オブジェクト格納部、１０４：オブジェクト検索部、１０５：位置合わせ部、１０６：オブジェクト配置部、１０７：抜き加工部、１０８：色指定部、１０９：表示制御部、２０：３次元カメラ、２０１：３次元画像撮影部、２０２：画像データ送信部、８０：２次元カメラ、８０１：２次元画像撮影部、８０２：画像データ送信部、９０：拡張現実感提示装置、９０１：画像データ受信部、９０２：人体認識部、９０３：オブジェクト格納部、９０４：オブジェクト検索部、９０５：変換部、９０６：位置合わせ部、９０７：第１の抜き加工部、９０８：オブジェクト配置部、９０９：第２の抜き加工部、９１０：色指定部、９１１：表示制御部

Claims (16)

1. 現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、
   撮影により取得された人物の３次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、
   前記認識手段による認識結果に基づいて、前記人物の３次元画像データと複数のオブジェクトの３次元画像データとの位置合わせを行う位置合わせ手段と、
   ユーザから指示を受けた場合、前記複数のオブジェクトに含まれる第１のオブジェクトの３次元画像データの外側に配置される、前記複数のオブジェクトに含まれる第２のオブジェクトの３次元画像データの部分を抜き加工する加工手段と、
   前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の３次元画像データの外側に前記複数のオブジェクトの３次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第１のオブジェクトの３次元画像データの外側に、前記加工手段により抜き加工された前記第２のオブジェクトの３次元画像データを配置して表示手段に表示させる表示制御手段と、
   を有することを特徴とする拡張現実感提示装置。
2. 前記部分は、前記第１のオブジェクトの３次元画像データと前記第２のオブジェクトの３次元画像データとが重畳する部分のうちの一部であることを特徴とする請求項１に記載の拡張現実感提示装置。
3. 任意の色を指定可能な指定手段を更に有し、
   前記加工手段は、前記指定手段により指定された色である前記人物の３次元画像データの部分と重畳する、前記複数のオブジェクトの３次元画像データの部分を抜き加工することを特徴とする請求項１又は２に記載の拡張現実感提示装置。
4. 前記人物に係る情報に基づいて、前記位置合わせ手段が３次元画像データの位置合わせを行う前記複数のオブジェクトを検索する検索手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の拡張現実感提示装置。
5. 前記人物に係る情報に基づいて推奨された前記複数のオブジェクトに係る情報を外部装置から受信する受信手段を更に有し、
   前記位置合わせ手段は、前記人物の３次元画像データと、前記受信手段により受信された前記複数のオブジェクトの３次元画像データとの位置合わせを行うことを特徴とする請求項１乃至４の何れか１項に記載の拡張現実感提示装置。
6. 前記人物に係る情報は、前記人物の３次元画像データであることを特徴とする請求項４又は５に記載の拡張現実感提示装置。
7. 現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、
   撮影により取得された人物の２次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、
   前記認識手段による認識結果に基づいて、前記人物の２次元画像データと複数のオブジェクトの２次元画像データとの位置合わせを行う位置合わせ手段と、
   ユーザから指示を受けた場合、前記複数のオブジェクトに含まれる第１のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる第２のオブジェクトの２次元画像データの部分を抜き加工する第１の加工手段と、
   前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の２次元画像データ上に前記複数のオブジェクトの２次元画像データが重なり、且つ、前記第１のオブジェクトの２次元画像データ上に前記第１の加工手段により抜き加工された前記第２のオブジェクトの２次元画像データが重なるように表示手段に表示させる表示制御手段と、
   を有することを特徴とする拡張現実感提示装置。
8. 前記部分は、前記第１のオブジェクトの２次元画像データと前記第２のオブジェクトの２次元画像データとが重畳する部分のうちの一部であることを特徴とする請求項７に記載の拡張現実感提示装置。
9. 任意の色を指定可能な指定手段と、
   前記指定手段により指定された色である前記人物の２次元画像データの部分と重畳する、前記複数のオブジェクトの２次元画像データの部分を抜き加工する第２の加工手段とを更に有することを特徴とする請求項７又は８に記載の拡張現実感提示装置。
10. 前記人物に係る情報に基づいて、前記位置合わせ手段が２次元画像データの位置合わせを行う前記複数のオブジェクトを検索する検索手段を更に有することを特徴とする請求項７乃至９の何れか１項に記載の拡張現実感提示装置。
11. 前記人物に係る情報に基づいて推奨された前記複数のオブジェクトに係る情報を外部装置から受信する受信手段を更に有し、
    前記位置合わせ手段は、前記人物の２次元画像データと、前記受信手段により受信された前記複数のオブジェクトの２次元画像データとの位置合わせを行うことを特徴とする請求項７乃至１０の何れか１項に記載の拡張現実感提示装置。
12. 前記人物に係る情報は、前記人物の２次元画像データであることを特徴とする請求項１０又は１１に記載の拡張現実感提示装置。
13. 現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、
    撮影により取得された人物の３次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
    前記認識ステップによる認識結果に基づいて、前記人物の３次元画像データと複数のオブジェクトの３次元画像データとの位置合わせを行う位置合わせステップと、
    ユーザから指示を受けた場合、前記複数のオブジェクトに含まれる第１のオブジェクトの３次元画像データの外側に配置される、前記複数のオブジェクトに含まれる第２のオブジェクトの３次元画像データの部分を抜き加工する加工ステップと、
    前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の３次元画像データの外側に前記複数のオブジェクトの３次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第１のオブジェクトの３次元画像データの外側に、前記加工ステップにより抜き加工された前記第２のオブジェクトの３次元画像データを配置して表示手段に表示させる表示制御ステップと、
    を含むことを特徴とする拡張現実感提示方法。
14. 現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、
    撮影により取得された人物の２次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
    前記認識ステップによる認識結果に基づいて、前記人物の２次元画像データと複数のオブジェクトの２次元画像データとの位置合わせを行う位置合わせステップと、
    ユーザから指示を受けた場合、前記複数のオブジェクトに含まれる第１のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる第２のオブジェクトの２次元画像データの部分を抜き加工する加工ステップと、
    前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の２次元画像データ上に前記複数のオブジェクトの２次元画像データが重なり、且つ、前記第１のオブジェクトの２次元画像データ上に前記加工ステップにより抜き加工された前記第２のオブジェクトの２次元画像データが重なるように表示手段に表示させる表示制御ステップと、
    を含むことを特徴とする拡張現実感提示方法。
15. コンピュータに、
    撮影により取得された人物の３次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
    前記認識ステップによる認識結果に基づいて、前記人物の３次元画像データと複数のオブジェクトの３次元画像データとの位置合わせを行う位置合わせステップと、
    ユーザから指示を受けた場合、前記複数のオブジェクトに含まれる第１のオブジェクトの３次元画像データの外側に配置される、前記複数のオブジェクトに含まれる第２のオブジェクトの３次元画像データの部分を抜き加工する加工ステップと、
    前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の３次元画像データの外側に前記複数のオブジェクトの３次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第１のオブジェクトの３次元画像データの外側に、前記加工ステップにより抜き加工された前記第２のオブジェクトの３次元画像データを配置して表示手段に表示させる表示制御ステップと、
    を実行させるためのプログラム。
16. コンピュータに、
    撮影により取得された人物の２次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
    前記認識ステップによる認識結果に基づいて、前記人物の２次元画像データと複数のオブジェクトの２次元画像データとの位置合わせを行う位置合わせステップと、
    ユーザから指示を受けた場合、前記複数のオブジェクトに含まれる第１のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる第２のオブジェクトの２次元画像データの部分を抜き加工する加工ステップと、
    前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の２次元画像データ上に前記複数のオブジェクトの２次元画像データが重なり、且つ、前記第１のオブジェクトの２次元画像データ上に前記加工ステップにより抜き加工された前記第２のオブジェクトの２次元画像データが重なるように表示手段に表示させる表示制御ステップと、
    を実行させるためのプログラム。

Images