JP6845982B2 - 表情認識システム、表情認識方法及び表情認識プログラム - Google Patents

Description

この発明は、ヘッドマウントディスプレイに関する。

近赤外光などの非可視光をユーザの眼に照射し、その反射光を含むユーザの眼の画像を解析することでユーザの視線方向を検出する技術が知られている。検出したユーザの視線方向の情報は、例えばＰＣ（Personal Computer）やゲーム機等のモニタに反映させ、ポインティングデバイスとして用いることも現実のものとなってきている。

特開平２−２６４６３２号公報

ＵＲＬ：http://www.hao-li.com/publications/papers/siggraph2015FPSHMD.pdf（２０１５年１１月２４日現在）

ヘッドマウントディスプレイには、装着したユーザに三次元的な映像を提示する機能を有するものがある。ヘッドマウントディスプレイは、一般に、ユーザの視界を覆うようにして装着して使用される。そして、上述のように、ユーザの視線方向をポインティングデバイスとして用いるコンテンツにおいては、よりユーザの興味を引くコンテンツの提供が望まれる。

本発明は、上述のような要望に鑑みてなされたものであり、その目的は、ユーザがより興味を引き得るコンテンツの提供のための情報を出力できるヘッドマウントディスプレイを提供することにある。

上記課題を解決するために、本発明のある態様は、ユーザの眼を撮像する第１カメラ、ユーザの口元を撮像する第２カメラ、並びに、第１カメラにより撮像された第１画像及び第２カメラにより撮像された第２画像を出力する出力部を有するヘッドマウントディスプレイと、出力部により出力された第１画像及び第２画像を受信する受信部、並びに、第１画像及び第２画像に基づいて、ユーザの表情を認識する表情認識部を有する表情認識装置とを備える表情認識システムである。

また、ヘッドマウントディスプレイは、さらに、ユーザの眼に非可視光を照射する光源、及びユーザの眼により反射された非可視光を撮像する第３カメラを有し、出力部は、第３カメラが撮像した第３画像を出力し、表情認識装置は、さらに、受信部により受信された第３画像に基づいて、ユーザの視線方向を検出する視線検出部を有することとしてもよい。

表情認識装置は、さらに、受信部により受信された第１画像及び第２画像を合成して合成画像を作成する合成部を備え、表情認識部は、合成画像に基づいて、ユーザの表情を認識することとしてもよい。

また、第２カメラは、ヘッドマウントディスプレイに着脱自在に取り付けられることとしてもよい。

また、第２カメラは、ユーザがヘッドマウントディスプレイを装着した場合に、ユーザの鼻から肩までの範囲を撮像可能な画角となるように、ヘッドマウントディスプレイに取り付けられていることとしてもよい。

また、表情認識装置は、さらに、受信部により受信された第２画像に基づいて、ユーザの姿勢を推定する姿勢推定部を有することとしてもよい。

また、ヘッドマウントディスプレイは、ユーザの眼の周囲を覆い、ユーザの口元を覆わないように構成されていることとしてもよい。

第１カメラ及び第２カメラは撮像対象までの距離を示す深度情報を取得するカメラであり、表情認識システムは、さらに、第１カメラが撮像したユーザの眼と、第２カメラが撮像したユーザの口元との画像に基づいて、ユーザの眼と口の３次元形状を特定し、特定した３次元形状に基づいて、ユーザのアバターの眼と口の形状に反映させたアバター画像を生成するアバター画像生成部を備えることとしてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ユーザの顔全体の顔画像を取得しにくいヘッドマウントディスプレイであっても、ユーザの眼と、口元を別々に撮像して、それらを合成することで、ユーザの顔画像に想到する合成画像を取得して、表情認識処理を行うことができる。したがって、ユーザの表情を反映させたコンテンツを提供することができる。

実施の形態に係るヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。 実施の形態に係るヘッドマウントディスプレイシステムの構成を示すブロック図である。 実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。 ユーザの角膜の位置座標を説明する模式図である。 （ａ）は、実施の形態に係るヘッドマウントディスプレイシステムが撮像するユーザの目の周りの画像例である。（ｂ）は、実施の形態に係るヘッドマウントディスプレイシステムが撮像するユーザの口元周りの画像例である。 実施の形態に係るヘッドマウントディスプレイが撮像したユーザを示す合成画像の例である。 実施の形態に係るヘッドマウントディスプレイシステムの動作を示すフローチャートである。 実施の形態に係るヘッドマウントディスプレイが撮像したユーザを示す合成画像の例である。 （ａ）、（ｂ）は、ヘッドマウントディスプレイにカメラを着脱自在にした場合の構造を示す外観図である。 ヘッドマウントディスプレイに設けたカメラ１６０のカメラアングルを変更する例を示す外観図である。 （ａ）は、ユーザを撮像した画像であり、（ｂ）は撮像したユーザの表情をアバター画像に反映させた画像である。

＜発明者らが得た知見＞
上述のようなヘッドマウントディスプレイにおいては、ユーザの表情を認識できれば、よりリアルかつアクティブなコンテンツを提供することができる。例えば、ユーザが制御するキャラクタの表情をユーザの表情に応じて変えたり、ヘッドマウントディスプレイに表示するキャラクタの対応を変えたりするといった使用方法が考えられる。

しかしながら、現状のヘッドマウントディスプレイは、通常、ユーザの頭部のうち、目の周りを覆うようにした形状にすることが多い。ヘッドマウントディスプレイをこのような形状とする理由としては、フルヘルメット型にすると、ユーザに対して圧迫感を与えるだけでなく、ヘッドマウントディスプレイとして重量が増し、ユーザに負荷を与えてしまうという問題があるためである。しかし、そのような構造故に、ヘッドマウントディスプレイ内にカメラを設けて、ユーザの眼の周りの画像を撮像することはできるものの、ユーザ全体の顔画像を取得することはかなわない。

このような形状のヘッドマウントディスプレイにおいて、表情認識を実現する手法としては、非特許文献１に記載の技術がある。当該文献によれば、ヘッドマウントディスプレイ外部に湾曲型のアームを取り付け、取り付けた側とは反対側にカメラを載置することで、ユーザの口元を撮像して表情認識を実現している。しかし、非特許文献１に示される形状の場合、取り付けた湾曲型のアームのために、ヘッドマウントディスプレイ全体としての重心がユーザ前方に偏ることになり、取り扱いが難しくなるとともに、ヘッドマウントディスプレイ全体の重量が増すという問題があることを発明者らは知見した。

また、発明者らは、非特許文献１に記載の技術では、筋電センサ（Strain Sensor）によりユーザの目の周りの表情筋の動きを検出して、目の周りの表情認識を実現しているものの、筋電センサを用いる手法では、ユーザの視線検出にはそぐわないことも知見した。

そこで、発明者らは、現在のユーザの視界を覆うタイプのヘッドマウントディスプレイにおいて、表情認識を実行しつつ、視線検出も実行できる構成を発明するに至った。以下、本発明に係るヘッドマウントディスプレイについて詳細に説明する。

＜実施の形態＞
本発明の一態様に係る表情認識システム１は、ユーザの眼を撮像する第１カメラ（１８１）、ユーザの口元を撮像する第２カメラ（１８０）、並びに、第１カメラにより撮像された第１画像及び第２カメラにより撮像された第２画像を出力する出力部（１１８）を有するヘッドマウントディスプレイ（１００）と、出力部により出力された第１画像及び第２画像を受信する受信部（２２０）、受信部により受信された第１画像及び第２画像を合成して合成画像を作成する合成部（２２２）、並びに、合成部により作成された合成画像に基づいて、ユーザの表情を認識する表情認識部（２２３）を有する表情認識装置（２００）とを備える表情認識システムである。

また、ヘッドマウントディスプレイは、さらに、ユーザの眼に非可視光を照射する光源（１０３）、及びユーザの眼により反射された非可視光を撮像する第３カメラ（１６１）を有し、出力部は、第３カメラが撮像した第３画像を出力し、表情認識装置は、さらに、受信部により受信された第３画像に基づいて、ユーザの視線方向を検出する視線検出部（２２１）を有する。以下、詳細に説明する。

図１は、実施の形態に係る表情認識システム１の概観を模式的に示す図である。実施の形態に係る表情認識システム１は、ヘッドマウントディスプレイ１００と視線検出装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。

視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。

なお、図１は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。

ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、ヘッドフォン１７０、およびカメラ１８０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。

ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。

カメラ１８０は、図１に示すように、ユーザ３００がヘッドマウントディスプレイ１００を装着した際に、ユーザの顔半分を含む画像を撮像できるように配されている。すなわち、その撮像画角がユーザ３００の顔下半分（ユーザの鼻の下あたりから、ユーザの肩の方まで）を撮像できる画角になるように配置されている。すなわち、図７（ｂ）に示すような第１画像８０１を撮像する。本明細書においては、当該画像（ユーザの顔下半分を含む画像）を、第１画像と呼称する。図１には、図示してはいないが、カメラ１８０は、後述する第１通信部１１８に接続されている。カメラ１８０が撮像した第１画像は、第１通信部１１８により、視線検出装置２００に出力される。カメラ１８０としては、可視光カメラまたは深度カメラを用いる。カメラ１８０として深度カメラを用いた場合には、カメラ１８０から撮像対象までの距離を特定できるので、ユーザの顔の下半分の３次元的形状を特定できる。なお、深度カメラとは、カメラから被写体までの奥行き情報がとれるカメラ又は被写体の３次元形状が取得できるカメラのことをいい、深度カメラの具体例としては、ステレオカメラ、ライトフィールドカメラ、Structure Lightを用いたカメラ、照度差ステレオ法を用いたカメラなどが挙げられる。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。

図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。

以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。

レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。また、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易でからである。

上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。

図３は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図２に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、第１通信部１１８、およびカメラ１８１を備える。

赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。

画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００内の映像出力部２２４が生成する。映像出力部２２４については後述する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）を用いて実現できる。

ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。

凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。

凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。

複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。

図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。

上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。

ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。

なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。なお、ユーザの視線について、奥行き方向の焦点座標に関する情報を必要としない場合には、いずれか一方の視線検出で事足りる。

第１通信部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、第１通信部１１８は、カメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する視線検出部２２１の詳細については後述するが、視線検出装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。

詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。

以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。

ここまでは、視線検出をヘッドマウントディスプレイにおいて実現するための光学構成になるが、本実施の形態に係るヘッドマウントディスプレイにおいては、さらに、ユーザの表情を認識する表情認識を実現するための光学構成も備える。具体的には、図３に示すように、ヘッドマウントディスプレイ１００は、ユーザの眼の周りを撮像するためのカメラ１８１を備える。

カメラ１８１は、ユーザの眼の周りを撮像するカメラであり、可視光カメラ又は深度カメラを用いる。カメラ１８１として深度カメラを用いた場合には、カメラ１８１から撮像対象までの距離を特定できるので、ユーザの顔の下半分の３次元的形状を特定できる。図３に示すようにカメラ１８１は、ヘッドマウントディスプレイ内であって、凸レンズ１１４に正対するユーザの眼を、当該凸レンズ１１４越しに撮像する位置であって、画像表示素子１０８を注視するユーザの視界を妨げない位置に配される。図３においては、画像表示系１３０の上部に配しているが、カメラ１８１は、ユーザの視界を妨げない位置であって、ユーザの眼の周りを撮像できる位置であれば、上部ではなく、下部や左右に配することとしてもよい。図３においては、図面を見やすくするために図示していないが、カメラ１８１は、第１通信部１１８に接続されており、カメラ１８１は撮像した画像を第１通信部１１８に伝達する。そして、第１通信部１１８は、カメラ１８１が撮像する画像を視線検出装置２００に出力する。以下、本明細書においては、カメラ１８１が撮像するユーザの眼の周りの画像を、第２画像と呼称する。

図４は、表情認識システム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。図４に示すように、また、上述したとおり、表情認識システム１は、互いに通信を実行するヘッドマウントディスプレイ１００と視線検出装置２００とを含む。

図４に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４とを備える。

第１通信部１１８は、視線検出装置２００の第２通信部２２０と通信を実行する機能を有する通信インターフェースである。上述したとおり、第１通信部１１８は、有線通信又は無線通信により第２通信部２２０と通信を実行する。使用可能な通信規格の例は上述した通りである。第１通信部１１８は、カメラ１１６または画像処理部１２３から伝送された視線検出に用いる画像データを第２通信部２２０に送信する。また、第１通信部１１８は、視線検出装置２００から送信された三次元画像データを表示部１２１に伝達する。第１通信部１１８は、カメラ１１６が撮像した視線検出のための画像と、第１画像及び第２画像とで、それぞれを区別可能にＩＤ付けを行って、表情認識装置２００に送信する。

表示部１２１は、第１通信部１１８から伝達された三次元画像データを画像表示素子１０８に表示する機能を有する。三次元画像データは、右目用視差画像と左目用視差画像とを含み、それらは視差画像対となっている。

赤外光照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。

画像処理部１２３は、必要に応じて、カメラ１１６が撮像した画像に画像処理を行い、第１通信部１１８に伝達する。

撮像部１２４は、右目用のカメラ１１６と、左目用のカメラ１１７とを用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。撮像部１２４は、撮像して得た画像を、第１通信部１１８又は画像処理部１２３に伝達する。また、撮像部１２４は、カメラ１８０を用いて撮像した画像と、カメラ１８１を用いて撮像した画像とを、第１通信部１１８又は画像処理部１２３に伝達する。

図４に示すように視線検出装置２００は、第２通信部２２０と、視線検出部２２１と、合成部２２２と、表情認識部２２３と、映像出力部２２４と、記憶部２２５とを備える。

第２通信部２２０は、ヘッドマウントディスプレイ１００の第１通信部１１８と通信を実行する機能を有する通信インターフェースである。上述したとおり、第２通信部２２０は、有線通信又は無線通信により第１通信部１１８と通信を実行する。第２通信部２２０は、視線検出のための左目画像または右目画像に係るデータを受信した場合には、当該データを視線検出部２２１に伝達する。また、第２通信部２２０は、ユーザの顔画像に係るデータ（ユーザの眼の周りの画像または、ユーザの顔の下半分の画像）、すなわち、第１画像または第２画像に係るデータを受信した場合には、当該データを合成部２２２に伝達する。

視線検出部２２１は、第２通信部２２０からユーザの右目の視線検出用の画像データを受け付けて、ユーザの右目の視線方向を検出する。視線検出部２２１は、後述する手法を用いて、ユーザの右目の視線方向を示す右目視線ベクトルを算出する。

同様に、視線検出部２２１は、第２通信部２２０からユーザの左目の視線検出用の画像データを受け付けて、ユーザの左目の視線方向を検出する。視線検出部２２１は、後述する手法を用いて、ユーザの左目の視線方向を示す左目視線ベクトルを算出する。

視線検出部２２１は、ユーザの右目視線ベクトルと左目視線ベクトルとに基づいて、奥行き方向の情報も含むユーザの注視する焦点座標を特定する。なお、視線検出部２２１は、右目若しくは左目のいずれか一方の画像のみを用いる場合には、奥行き方向の情報を含まないユーザの注視する焦点座標を特定する。

合成部２２２は、第２通信部２２０から伝達された第１画像と、第２画像とを用いて、合成画像を作成する。合成部２２２は、第１画像と、第２画像とを合成する位置関係についての情報を予め保持しており、当該位置関係に合致するように、第１画像と第２画像とを合成する。なお、当該位置関係については、カメラ１８０、１８１それぞれのカメラアングルと撮像範囲と、ユーザまでの距離等に応じて定まる。合成部２２２は、第１画像と第２画像とが合成されることにより、簡易のユーザの顔画像を得ることができる。合成部２２２は、合成して得られたユーザの顔画像を表情認識部２２３に伝達する。

表情認識部２２３は、合成部２２２から伝達されたユーザの顔を示す合成画像に基づいて、表情認識処理を実行する。表情認識処理とは、ユーザがどのような表情をしているのかを特定するための顔画像の特徴点を抽出する処理であり、そこから、ユーザの表情から類推される感情を特定する処理を含んでもよい。顔画像を用いた表情認識の手法としては、例えば、顔画像から特徴点を抽出し、パターンマッチングを用いた表情の推定方法があり、これを用いてもよい。表情認識部２２３は、推定したユーザ３００の表情を映像出力部２２４に伝達する。

映像出力部２２４は、ヘッドマウントディスプレイ１００の表示部１２１に表示させる三次元画像データを生成し、第２通信２２０に伝達する。また、映像出力部２２４は、視線検出のためのキャリブレーションに用いるマーカー画像データを生成し、第２通信部２２０に伝達する。映像出力部２２４は、出力する三次元画像の座標系並びに当該座標系において表示されるオブジェクトの三次元の位置座標を示す情報を保持する。

また、映像出力部２２４は、ヘッドマウントディスプレイ１００の表示部１２１に表示させる動画やゲーム画像などを出力する機能も有する。例えば、映像出力部２２４は、ユーザ３００が操作するキャラクタの画像（アバター画像）を出力する機能を有する場合に、その表情を、表情認識部２２３が推定した表情に適合する表情の画像を生成して出力する。また、あるいは、映像出力部２２４は、例えば、ユーザ３００が映像出力部２２４により出力されヘッドマウントディスプレイ１００に表示されたキャラクタとのコミュニケーションをとっている場合には、ユーザ３００の推定された表情に応じた反応を示すキャラクタ画像を生成して出力する。

記憶部２２５は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。

次に、実施の形態に係る視線方向の検出について説明する。

図５は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し第１通信部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２２１が解析することにより実現される。

映像出力部２２４は、図５に示すような点Ｑ_１〜Ｑ_９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ_１〜点Ｑ_９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ_１〜Ｑ_９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。

図６は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の視線検出部２２１は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２２１は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。

視線検出部２２１はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２２１は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。

図５において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ_１〜点Ｑ_９の座標をそれぞれＱ_１（ｘ_１，ｙ_１）^Ｔ，Ｑ_２（ｘ_２，ｙ_２）^Ｔ・・・，Ｑ_９（ｘ_９，ｘ_９）^Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ_１〜点Ｑ_９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ_１〜Ｐ_９とする。このとき、２次元座標系３０６における点Ｐ_１〜Ｐ_９の座標をそれぞれＰ_１（Ｘ_１，Ｙ_１）^Ｔ，Ｐ_２（Ｘ_２，Ｙ_２）^Ｔ，・・・，Ｐ_９（Ｚ_９，Ｙ_９）^Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。

いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。

このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
Ｐ_Ｎ＝ＭＱ_Ｎ （Ｎ＝１，・・・，９） （２）

上記式（２）を具体的に書き下すと以下の式（３）のようになる。

式（３）を変形すると以下の式（４）を得る。

ここで、

とおくと、以下の式（５）を得る。
ｙ＝Ａｘ （５）

式（５）において、ベクトルｙの要素は視線検出部２２１が画像表示素子１０８に表示させる点Ｑ_１〜Ｑ_９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２２１は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。

式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２２１がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。

ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘ_ｏｐｔは、以下の式（６）で求められる。
ｘ_ｏｐｔ＝（Ａ^ＴＡ）^−１Ａ^Ｔｙ （６）
ここで「−１」は逆行列を示す。

視線検出部２２１は、求めたベクトルｘ_ｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２２１は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８が表示する動画像上のどこを注視しているかを２次元の範囲で推定できる。これにより、視線検出部２２１は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様にして、ユーザの左目が反射した近赤外光を撮像した画像を用いることで、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。

そして、視線検出部２２１は、右目の視線ベクトルと、左目の視線ベクトルとを用いて、その交点をユーザの焦点として検出することができる。両視線ベクトルが交点を有しない場合には、その他の手法、例えば、両視線ベクトルにおいて両視線ベクトル間の距離が最も近くなる点を結ぶ線分の中点を焦点としたり、奥行き方向に平面があると見立て、当該平面と両視線ベクトルとの交点を特定し、その交点同士を結ぶ線分の中点を焦点としたりしてもよい。なお、いずれか一方の視線ベクトルだけでも、表示された３Ｄ画像の平面上の注視位置（奥行き情報を含まない注視座標位置）を特定することはできる。

＜動作＞
ここから、表情認識システム１における表情認識に係る動作を説明する。図９は、表情認識システム１の動作を示すフローチャートである。

図９に示すように、撮像部１２４は、カメラ１８０を動作させて、ユーザの顔の下半分の画像、すなわち、第１画像を撮像する（ステップＳ９０１）。当該撮像により得られる第１画像７０１の画像例を図７（ａ）に示す。撮像部１２４は、撮像して得られた第１画像を、第１通信部１１８に伝達する。第１通信部１１８は、伝達された第１画像を、表情認識装置２００に送信する。

次に、撮像部１２４は、カメラ１８１を動作させて、ユーザの上半分（目の周囲）の画像、すなわち、第２画像を撮像する（ステップＳ９０２）。当該撮像により得られる第２画像７０２の画像例を図７（ｂ）に示す。撮像部１２４は、撮像して得られた第２画像を、第１通信部１１８に伝達する。第１通信部１１８は、伝達された第１画像を、表情認識装置２００に送信する。

第１画像及び第２画像を受信した表情認識装置２００の第２通信部２２０は、第１画像及び第２画像を合成部２２２に伝達する。合成部２２２は、伝達された第１画像７０１及び第２画像７０２を所定のアルゴリズムに従って、合成し、ユーザ３００の顔画像を示す合成画像を生成する（ステップＳ９０３）。当該合成により得られる合成画像８０１の画像例を図８に示す。合成部２２２は生成した合成画像８０１を表情認識部２２３に伝達する。

表情認識部２２３は、伝達された合成画像８０１に対して、所定のアルゴリズムに従って、表情認識処理を実行し、ユーザ３００の表情を認識、推定する（ステップＳ９０４）。表情認識部２２３は、推定したユーザ３００の表情情報を映像出力部２２４に伝達する。

映像出力部２２４は、伝達された表情情報を用いて、コンテンツに反映させる（ステップＳ９０５）。
以上が、表情認識システム１の表情認識に係る動作である。

＜表情認識の活用例＞
ここで、上記表情認識システムが実行する表情認識のコンテンツの反映方法について説明する。

上述の表情認識部２２３による表情認識により表情の動きや、ユーザがどのような感情を抱いているかを認識することができる。したがって、以下のような応用方法が考えられる。

（活用例１）
複数のヘッドマウントディスプレイと少なくとも１台のサーバシステムが通信により接続された通信システムを想定する。そして、当該サーバシステムにより、複数のキャラクタが動作する仮想現実空間が提供されているものとする。ヘッドマウントディスプレイを装着したユーザ達は、各々のアバターを作成し、そのアバターを用いて、仮想現実空間により提供される仮想世界を行き来するものとする。

そのような場合に、上述のヘッドマウントディスプレイ１００を用いて、ユーザ３００の表情を推定することで、対応するアバターにユーザ３００の表情を反映する。このようにすることで、より現実に近い仮想現実空間を提供できるようになるとともに、仮想現実空間におけるコミュニケーションをより活発にすることができる。

（活用例２）
活用例２においても、活用例１と同様のシステムを想定する。そして、サーバシステムは、ユーザが操作していない、いわゆるノンプレイヤーキャラクターを操作しているものとする。

そして、ユーザが自身のアバターを用いて、そのようなノンプレイヤーキャラクターとコミュニケーションをとっている際に、上述のヘッドマウントディスプレイ１００を用いて、ユーザ３００の表情を推定し、サーバシステムに通知することで、ユーザの表情に基づく反応をノンプレイヤーキャラクターに反映する。例えば、ユーザが笑っていると認識した場合には、ノンプレイヤーキャラクターも笑わせたり、照れさせたりし、ユーザが怒っていると認識した場合には、ノンプレイヤーキャラクターに怒り返させたり、おびえさせたりしてもよい。

（活用例３）
活用例３としては、映像出力部２２４が、ユーザのアバター画像を出力する機能を有する場合を想定する。このとき、カメラ１８０からの第１画像に基づいて得られる口の形状をそのままアバター画像に反映させ、カメラ１８１からの第２画像に基づいて得られる目の形状をそのままアバター画像に反映させることにより、リアルなアバター表現を実現できる。図１３にその一例を示す。図１３（ａ）には、カメラ１８０とカメラ１８１とが撮像した画像１３０１、１３０２を示している。図１３（ａ）に示すように、撮像された画像からユーザが驚いている様子が認識できる。そして、映像出力部２２４は、図１３（ｂ）に示すように、視線検出システム１が認識したユーザの驚いている様子を反映させたアバター画像１３０３を出力する。このとき、カメラ１８０及びカメラ１８１として深度カメラを用いる場合には、３次元形状のアバター画像を生成するのに特に有効である。

（活用例４）
活用例４としては、映像出力部２２４が出力する映像に対するユーザの反応を見るためのマーケティングに応用することができる。すなわち、視線検出システム１は、視線検出システム１の視線検出装置２００が検出したユーザの視線方向の先に表示している対象物を特定し、その対象物に対してユーザが抱いた感想を表情認識部２２３が検出したユーザの表情に基づいて推定する。例えば、ユーザの表情が優しげな表情をしていることを認識した場合には、表示対象物に対して好意的感情を抱いていることを推定できるし、ユーザの表情が嫌悪感を示すものであることを認識した場合には、表示対象物に対して反感を抱いていることを推定できる。これにより、例えば、表示対象物が何らかの商品などである場合に、その商品をユーザが気に入ったかどうかの情報を収集でき、そのような情報を様々なユーザから収取すれば、どのような商品が人気が高くなるかのマーケティングを行うことができる。

（活用例５）
活用例５としては、映像出力部２２４が出力する映像に対してユーザが示した表情に基づいて、映像の内容を変更することができる。すなわち、映像出力部２２４が出力する映像として、映像に分岐点を設け、その分岐点から派生する互いに異なる映像を用意し、いわばマルチエンディングストーリーのように、結末が異なるような映像を用意する。そして、ユーザが映像に対して示した表情について、好意的な表情を示したか否かに応じて、ユーザに対して出力する映像を決定し、ストーリーを分岐させた映像を出力することしてもよい。これにより、ユーザにとってより好ましいストーリーの映像を提供することができる。

（活用例６）
活用例６としては、映像出力部２２４がゲーム画像を出力している場合に、ユーザの表情に基づいて、ゲームの難易度を動的に変更することができる。具体的には、ヘッドマウントディスプレイ１００を用いてゲームをプレイしているユーザの表情が険しいものであると認識した場合に、ユーザにとってそのゲームは難しいことになるので、映像出力部２２４はゲームの難易度を下げ、難易度が下がったゲーム画像を出力する。逆に、ユーザの表情が余裕を感じさせるものであると認識した場合に、ユーザにとってそのゲームは容易であることになるので、映像出力部２２４はゲームの難易度を上げ、難易度が上がったゲーム画像を出力する。なお、ここでは、映像出力部２２４がゲームエンジンを兼任するものとして記載しているが、ゲームエンジンは映像出力部２２４とは別に設け、映像出力部２２４は、ゲームエンジンから伝達される画像をヘッドマウントディスプレイ１００に出力することとしてもよい。

（活用例７）
活用例７としては、ヘッドマウントディスプレイ１００を利用したリアルタイムの実況を行う際に、ヘッドマウントディスプレイ１００を示すユーザ画像を、カメラ１８０、１８１を用いて撮像した画像に基づいて、インタラクティブに変化させることができる。

＜まとめ＞
上述のように、本発明に係るヘッドマウントディスプレイによれば、ユーザの顔画像を、複数のカメラでそれぞれ別の箇所を撮像して、合成することで、取得することができる。これによって、表情認識を行うことができ、様々なコンテンツに反映することができる。

＜補足＞
本発明に係る表情認識システムは、上記実施の形態に限定されるものではなく、その発明の思想を実現するための他の手法により実現されてもよいことは言うまでもない。以下、本発明の思想として含まれる例を説明する。

（１）上記実施の形態においては、ユーザ３００の視線を検出するために、ユーザ３００の眼を撮像する手法として、ホットミラー１１２で反射させた映像を撮像しているが、これは、ホットミラー１１２を通さずに直接ユーザ３００の眼を撮像してもよい。

（２）上記実施の形態においては、ユーザ３００の表情認識を行うために、第１画像と第２画像とをそれぞれカメラ１８０、１８１で撮像して、顔の合成画像を得ることにより実現していた。しかし、ユーザの表情認識を行う手法は、これに限るものではない。

ユーザの顔の表情筋の動きを検出することで、ユーザの目の周りの動きを推定し、表情認識に応用することもできる。具体的には、ヘッドマウントディスプレイ１００は、ユーザがヘッドマウントディスプレイ１００を装着した際に、ユーザの目の周りに接触する位置にユーザの表情を特定できる接触センサ、例えば、筋電センサを設けることとしてもよい。そして、表情認識部２２３は、接触センサが検出したユーザの目の周りの動きを示すデータに基づいて、目の周りの表情を認識することとしてもよい。

（３）上記実施の形態においては、ユーザ３００の表情を認識するにとどめている。しかし、カメラ１８０の画角に基づく撮像範囲によっては、表情以外についてのユーザ３００の状態も認識し、各種のコンテンツに反映できる。

例えば、カメラ１８０は、ユーザ３００の肩まで映るように撮像するように配されていてもよい。そうすると、合成部２２２が第１画像と第２画像とを合成して得られる合成画像１００１には、図１０に示すように、ユーザ３００の肩の状態まで認識可能な画像が得られる。図１０の合成画像１００１の場合では、ユーザ３００の左肩が、画像の前側に位置していることが解析できることから、例えば、ユーザ３００のアバター画像を生成する場合に、アバターの左肩を前側に傾けさせた画像を生成するとよい。

この画像１００１を画像認識部２２３が解析することにより、ユーザの体の姿勢を推定することができる。そして、推定した姿勢に基づいて、例えば、ユーザが操作するキャラクタの姿勢を制御することとしてもよい。なお、別途、合成画像からユーザの姿勢を推定する姿勢推定部を表情認識装置２００に設けることとしてもよい。

なお、当該解析には、従来の画像解析技術を用いた人体の姿勢推定技術、例えば、マーカーレスモーションキャプチャ技術や、ユーザの各種の姿勢を示すサンプル画像を利用したパターンマッチングなどを利用するとよい。

（４）上記実施の形態においては、カメラ１８０は、ヘッドマウントディスプレイ１００に設ける構成としているが、これは、着脱自在に構成されてもよい。その一例を図１１に示す。

図１１（ａ）は、ヘッドマウントディスプレイ１００にカメラ１８０を取り付ける例をヘッドマウントディスプレイ１００の上部から見た斜視図であり、図１１（ｂ）は、ヘッドマウントディスプレイ１００の下部から見た斜視図である。

図１１（ａ）、（ｂ）に示すように、カメラ１８０は、コの字型の部材１１０１に取り付けられている。また、ヘッドマウントディスプレイ１００には、スライド溝１１０２が設けられている。部材１１０１の両端部には、スライド溝１１０２に嵌合するように凸部が設けられている。そして、当該凸部を、スライド溝１１０２にスライドして挿入することでカメラ１８０をヘッドマウントディスプレイに装着する。このとき、部材１１０１は、スライド溝１１０２の数か所で固定できるように構成されていてもよい。

この場合、カメラ１８０には、無線通信機能を持たせ、ヘッドマウントディスプレイ１００の第１通信部１１８がカメラ１８０により撮像された第１画像を受信するように構成するとよい。

なお、図１１に示した取り付け例は一例でしかなく、その他の方法を用いて着脱自在に構成されてもよいことは言うまでもない。例えば、ヘッドマウントディスプレイにほぞ穴を設け、カメラ１８０側に当該ほぞ穴に嵌合するほぞを設けて着脱自在としてもよいし、あるいは、ねじ止めにより実現してもよい。

（５）上記実施の形態におけるカメラ１８０は、回動自在にヘッドマウントディスプレイ１００に設けられていてもよい。すなわち、カメラ１８０は、図１２に示すような形態でヘッドマウントディスプレイ１００に設けられてもよい。

図１２は、ヘッドマウントディスプレイ１００の側面であって、カメラ１８０が取り付けられている箇所の拡大図である。図１２に示すように、カメラ１８０は、保持部１２０２により支持される回動軸１２０１で回動するように、ヘッドマウントディスプレイ１００に取り付けられている。このように構成することで、ユーザの体格等に応じて、第１画像を撮像する際に適切な角度にして撮像することができる。

また、回動軸１２０１は、所定の回動角で固定できるように構成されてもよい。こうすることがで、ユーザ３００が動いても、カメラ１８０が撮像する角度が変わらないようにすることができる。更には、回動軸１２０１に回動モーターを備えて、撮像時に撮像部１２４が当該回動モーターを制御して、望ましい第１画像を撮像できるようにしてもよい。また、様々な回動角で複数の第１画像を撮影し、撮影された複数の第１画像と第２画像とを合成部２２２で合成することとしてもよい。こうすることで、ユーザ３００の状態を示すより大きな画像を取得することができる。

（６）上記実施の形態においては、ユーザの眼の周囲を覆うタイプのヘッドマウントディスプレイを例示したが、これはその限りではない。例えば、フルフェイス型のヘッドマウントディスプレイであってもよく、その場合に、ユーザの顔を撮像するためのカメラを複数備え、それぞれで撮像された画像を合成して得られる顔画像で、表情認識を行ってもよい。

（７）上記実施の形態においては、合成部２２２を備えて、カメラ１８０とカメラ１８１とが撮像した画像を合成した上で、ユーザの表情認識を実現することとした。しかし、視線検出システム１は、合成部２２２を備えずに、カメラ１８０が撮像した画像に基づいてユーザの口元の形状を特定し、カメラ１８１が撮像した画像に基づいてユーザの眼の形状を特定し、それぞれ独立で特定した眼と口の形状に基づいて表情認識を実現することとしてもよい。また、その場合に、表情認識をすることなく、視線検出システム１に備えられたアバター画像生成部がユーザのアバター画像を生成する場合に、部分部分で検出された目や口の形状をそれぞれのパーツごとに反映させることとしてもよい。すなわち、例えば、カメラ１８０が撮像した画像に基づいてユーザの口元の形状を特定し、特定した口元の形状だけをアバター画像に反映させることとしてもよい。

また、上記表情認識について、アバター画像に反映させる手法としては、以下のような手法を採用することとしてもよい。記憶部２２５は、予め、ユーザの表情を分類する
以下の手法により、視線検出と表情認識のための撮像を実現してもよい。例えば、怒り、嫌悪、恐れ、幸福感、悲しみ、驚きなどの分類を用意し、各分類に応じた表情を示す顔画像のパターン（顔の各パーツの配置やそれぞれの感情に応じた表情に対応するパーツの形状パターン）を対応付けた対応表を記憶する。そして、表情認識システムは、表情認識部２２３が認識した表情に該当する分類に基づいて、特定した分類に対応する顔画像のパターンを特定し、特定したパターンを反映させたアバター画像を生成するアバター画像生成部を備えることとしてもよい。

このとき、対応表において、各分類は、各表情（感情）の度合に応じた顔画像のパターンを対応付けられても良い。例えば、怒りの分類について例示すれば、「少し怒っている」という状態から、「とても怒っている」という状態まで５段階の度合を設け、とても怒っている場合には、少し怒っている場合よりも、眉の上がり具合が大きく、口角の下がり具合が大きく、ほほの膨れ具合が大きいというような顔画像のパターンを対応付けておくとよい。また、表情認識部２２３は、認識した表情についても各分類について、その段階も判定する。当該段階は、カメラ１８１が撮像した画像に基づく、眉尻の上下の度合、眦の上下の度合、目の開き具合、カメラ１８０が撮像した画像に基づく、口角の上下の度合、口の開く具合などから、判定する。このようにして、表情認識システムは、表情認識を実現し、アバター画像に反映させることとしてもよい。

（８）上記実施の形態においては、カメラ１１６とカメラ１８１とを別個のカメラとして用いることとしたが、これらのカメラは共有のカメラを用いることとしてもよい。例えば、カメラ１８１を用いずにカメラ１１６のみを用いることとし、カメラ１１６としては、可視光カメラを採用して、ステレオカメラで、目を３次元で捉え、立体的に眼球の形状を捉え、視線方向を検出する。表情認識には、そのままの画像を用いる。

また、あるいは、カメラ１１６として、可視光モードでの撮像と、赤外モードでの撮像との両機能を備えるカメラを用い、ヘッドマウントディスプレイ１００は、視線検出を行う際には赤外モードでの撮像を行い、表情認識を行う際には、可視光モードでの撮像を行うように切り替えることとしてもよい。当該切り替えは、例えば、赤外パスフィルタ、可視光パスフィルタのフィルタの切り替えにより実現できる。

なお、ここでは、カメラ１８１を用いずにカメラ１１６を用いる場合を例に説明したが、これは、カメラ１１６を用いずにカメラ１８１を用いることとしてもよいことは言うまでもない。この場合には、ホットミラー１１２を備える必要はない。

（９）また、上記実施の形態においては、表情認識の手法として、表情認識装置２００のプロセッサが視線検出プログラム等を実行することにより、ユーザが注視している箇所を特定することとしているが、これは表情認識装置２００に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。

また、上記視線検出プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記検索プログラムは、当該検索プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記視線検出プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記視線検出プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語などを用いて実装できる。

（１０）上記実施の形態において示した構成、及び、各補足に記載の内容は、適宜組み合わせて用いることとしてもよい。

１ 表情認識システム、 １００ ヘッドマウントディスプレイ、 １０３ａ 赤外光源（第２赤外光照射部）、 １０３ｂ 赤外光源（第１赤外光照射部）、 １０５ 輝点、 １０８ 画像表示素子、 １１２ ホットミラー、 １１４，１１４ａ，１１４ｂ 凸レンズ、 １１６ カメラ、 １１８ 第１通信部、 １２１ 表示部、 １２２ 赤外光照射部， １２３ 画像処理部、 １２４ 撮像部、 １３０ 画像表示系、 １５０ 筐体、 １５２ａ，１５２ｂ レンズ保持部、 １６０ 装着具、 １７０ ヘッドフォン、１８０，１８１ カメラ、 ２００ 表情認識装置、 ２２０ 第２通信部、 ２２１ 視線検出部、 ２２２ 合成部、 ２２３ 表情認識部、２２４ 映像出力部、 ２２５ 記憶部。

この発明は、ヘッドマウントディスプレイに利用可能である。

Claims (18)

1. ユーザの眼を撮像する第１カメラ、
   前記ユーザの口元を撮像する第２カメラ、
   前記第１カメラにより撮像された第１画像及び前記第２カメラにより撮像された第２画像を出力する出力部、並びに
   前記第１カメラ、前記第２カメラ、前記出力部を搭載し、前記ユーザの頭部に装着した際にユーザの眼の周りを覆う筐体
   を有するヘッドマウントディスプレイと、
   前記出力部により出力された前記第１画像及び前記第２画像を受信する受信部、並びに、
   前記第１画像及び前記第２画像に基づいて、前記ユーザの表情を認識する表情認識部
   を有する表情認識装置と
   を備える表情認識システム。
2. 前記認識した表情を反映させたコンテンツを出力する映像出力部をさらに備えることを特徴とする請求項１に記載の表情認識システム。
3. 前記第１カメラは前記筐体内に配置されることを特徴とする請求項１又は２に記載の表情認識システム。
4. 前記ヘッドマウントディスプレイは、さらに、
   前記ユーザの眼に非可視光を照射する光源、及び
   前記ユーザの眼により反射された前記非可視光を撮像する第３カメラ
   を有し、
   前記出力部は、前記第３カメラが撮像した第３画像を出力し、
   前記表情認識装置は、さらに、
   前記受信部により受信された前記第３画像に基づいて、前記ユーザの視線方向を検出する視線検出部を有する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の表情認識システム。
5. 前記表情認識装置は、さらに、
   前記受信部により受信された前記第１画像及び前記第２画像を合成して合成画像を作成する合成部を備え、
   前記表情認識部は、前記合成画像に基づいて、前記ユーザの表情を認識する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表情認識システム。
6. 前記第２カメラは、前記ヘッドマウントディスプレイに着脱自在に取り付けられることを特徴とする請求項１乃至５のいずれか１項に記載の表情認識システム。
7. 前記第２カメラは、前記ユーザが前記ヘッドマウントディスプレイを装着した場合に前記筐体下部に取り付けられ、前記ユーザの鼻から肩までの範囲を撮像可能な画角となるように、前記ヘッドマウントディスプレイに取り付けられていることを特徴とする請求項１乃至６のいずれか１項に記載の表情認識システム。
8. 前記表情認識装置は、さらに、
   前記受信部により受信された前記第２画像に基づいて、前記ユーザの姿勢を推定する姿勢推定部を有する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の表情認識システム。
9. 前記ヘッドマウントディスプレイは、ユーザの口元を覆わないように構成されていることを特徴とする請求項１乃至８のいずれか１項に記載の表情認識システム。
10. 前記第１カメラ及び前記第２カメラは撮像対象までの距離を示す深度情報を取得するカメラであり、
    前記表情認識システムは、さらに、
    前記第１カメラが撮像したユーザの眼と、前記第２カメラが撮像したユーザの口元との画像に基づいて、ユーザの眼と口の３次元形状を特定し、特定した３次元形状に基づいて、ユーザのアバターの眼と口の形状に反映させたアバター画像を生成するアバター画像生成部を備える
    ことを特徴とする請求項１乃至９のいずれか１項に記載の表情認識システム。
11. 前記表情認識装置は、さらに、複数の表情の分類に応じて、顔画像のパターンを記憶した対応表を記憶する記憶部を備え、
    前記表情認識部は、ユーザの表情がいずれの分類に該当するかを前記第２画像に基づいて認識し、
    前記表情認識システムは、さらに、
    前記対応表を参照して、前記表情認識部が認識した表情に対応する顔画像のパターンを特定し、特定した顔画像のパターンに基づいて前記ユーザのアバター画像を生成するアバター画像生成部を備える
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の表情認識システム。
12. 前記第１カメラ及び第３カメラは、同一のカメラである
    ことを特徴とする請求項４乃至１１のいずれか１項に記載の表情認識システム。
13. ユーザの頭部に装着した際にユーザの眼の周りを覆う筐体を有するヘッドマウントディスプレイと、表情認識装置とを含む表情認識システムによる表情認識方法であって、
    前記ヘッドマウントディスプレイによりユーザの眼を示す第１画像を撮像する第１撮像ステップと、
    前記ヘッドマウントディスプレイにより前記ユーザの口元を示す第２画像を撮像する第２撮像ステップと、
    前記表情認識装置により前記第１画像と前記第２画像とを合成し、合成画像を作成する合成ステップと、
    前記合成画像に基づいて、前記ユーザの表情を認識する認識ステップと
    を含む表情認識方法。
14. 前記認識した表情を反映させたコンテンツを出力するステップをさらに含む請求項１３に記載の表情認識方法。
15. 前記ユーザの眼を撮影するカメラは前記筐体内に配置されることを特徴とする請求項１３又は１４に記載の表情認識方法。
16. 表情認識装置のコンピュータに、
    ユーザの頭部に装着した際にユーザの眼の周りを覆う筐体を有するヘッドマウントディスプレイにより撮像されたユーザの眼を示す第１画像を取得する第１取得機能と、
    前記ヘッドマウントディスプレイにより撮像された前記ユーザの口元を示す第２画像を取得する第２取得機能と、
    前記第１画像と前記第２画像とを合成し、合成画像を作成する合成機能と、
    前記合成画像に基づいて、前記ユーザの表情を認識する認識機能と
    を実現させる表情認識プログラム。
17. 前記認識した表情を反映させたコンテンツを出力する機能をさらに実現させる請求項１６に記載の表情認識プログラム。
18. 前記ユーザの眼を撮影するカメラは前記筐体内に配置されることを特徴とする請求項１６又は１７に記載の表情認識プログラム。
    
    

Images