JP4985531B2 - ミラーシステム - Google Patents

Description

本発明は、ミラーシステムに関する。

従来、ユーザの鏡像を映し出すハーフミラーと、ハーフミラーのユーザ反対側に設けられた拡散層に投射光を投射して情報等を表示する情報表示機能付きミラーシステムが知られている。このミラーシステムによると、鏡像の他に、鏡像として映るユーザに対応して、小鳥や犬などの映像を映し出すことができ、ユーザ自身の鏡像と映像とが一体となった表示を行うことができる（特許文献１参照）。
特開２００６−３３００１１号公報（段落[００４４]参照）

ここで、特許文献１に記載のシステムは、カメラにより撮影された人の形と大きさから、表示装置に対する人の位置と距離とを計算して鏡に反射されている人の鏡像を推定し、推定された鏡像に応じて、小鳥や犬などの映像の位置や大きさを決定している。このため、特許文献１に記載のシステムは、ユーザの鏡像を推定するという複雑な処理が必要となってしまう。

また、特許文献１に記載のシステムを含む従来のミラーシステムは、ユーザの鏡像の手が、映像光によって示される映像に触れる（すなわちユーザから重なって見える）動作を行ったとしても、その動作は何ら反映されることがなかった。また、特許文献１に記載のシステムの技術を応用し、ユーザが操作対象映像光によって映し出される操作対象に触れる動作を行ったときに何らかの制御を行うシステムを提供しようとした場合、処理が非常に複雑となってしまう。すなわち、特許文献１に記載のシステムの技術を応用した場合、ユーザの鏡像を推定し、ユーザの鏡像のうち、手の位置が操作対象映像光の投射位置に合致することを演算等により求める必要がある。このため、激しく動かすことが可能な手について手が動くごとに鏡像を推定する必要があり、処理が非常に複雑となってしまう。

本発明は、上記問題点を解決するために成されたものであり、その目的とするところは、ユーザが操作対象映像光によって示される操作対象に触れる動作を行った場合の判断における処理負荷を軽減させることが可能なミラーシステムを提供することである。

本発明に係るミラーシステムは、映像光を投射する投光手段と、投光手段に投射された映像光を映して映像をユーザに視認可能とさせると共に、ユーザ自身の鏡像を表示可能な表示部と、ユーザを撮像するカメラと、カメラにより撮像された画像上におけるユーザの目の位置を検出する目位置検出手段と、カメラにより撮像された画像上におけるユーザの手の位置を検出する手位置検出手段と、投光手段から投射される映像光のうち、ユーザの操作対象を映し出す操作対象映像光の表示部上における投射位置を制御値に基づいて制御する制御手段と、を備え、制御手段は、目位置検出手段により検出された画像上における目の位置と、手位置検出手段により検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたか否かを判断することを特徴とする。

このミラーシステムによれば、目位置検出手段により検出された画像上における目の位置と、手位置検出手段により検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたか否かを判断する。ここで、ユーザは、ユーザから表示部までの距離の約２倍の位置に自己の鏡像を視認する。すなわち、ユーザとユーザの鏡像との中間に表示部が存在するような状態ともいえる。しかも、表示部は、ユーザから表示部との距離に拘わらず、常に中間に位置している。そして、ユーザの目と鏡像の手との中間にも表示部が存在するといえ、ユーザの視点からすると、ユーザの目の位置と鏡像の手の位置との中間地点に、操作対象映像光の投射位置が位置していれば、ユーザには手が操作対象に触れたように認識される。このように、ユーザが操作対象に触れたか否かを判断するにあたり、鏡像の推定は必要なく、ユーザの目の位置の情報と、ユーザの手の位置の情報と、操作対象映像光の投射位置を示す制御値の情報があれば足りる。従って、ユーザが操作対象映像光によって示される操作対象に触れる動作を行った場合の判断における処理負荷を軽減させる。

また、本発明に係るミラーシステムにおいて、制御手段は、カメラにより撮像された画像上における中間位置の座標値を座標変換して表示部上における第１座標値とすると共に、この第１座標値と、制御値が示す表示部上における第２座標値との差が所定値以内である場合に、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断することが好ましい。

このミラーシステムによれば、画像上における中間位置の座標値を座標変換して表示部上における第１座標値を求め、この第１座標値と制御値が示す第２座標値との差が所定値以内である場合に、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断する。このため、中間位置を求めた後は、既存技術である座標値の変換と、制御値が示す座標値との比較のみで、操作対象映像光に触れたか否かを判断でき、処理負荷を軽減させることができる。

また、本発明に係るミラーシステムにおいて、制御手段は、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断した場合、予め定められた制御を実行することが好ましい。

このミラーシステムによれば、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断した場合、予め定められた制御を実行するため、ユーザが操作対象映像光を操作して機器等を制御させるという新たな機器操作を提案することができる。

また、本発明に係るミラーシステムにおいて、制御手段は、表示部に向き合った状態でユーザに運動を促すエクササイズコンテンツを選択させる操作対象を表示させ、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断した場合、エクササイズコンテンツを実行することが好ましい。

このミラーシステムによれば、表示部に向き合った状態でユーザに運動を促すエクササイズコンテンツを選択させる操作対象を表示させ、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断した場合、エクササイズコンテンツを実行する。このため、エクササイズのコンテンツを実行するにあたり、ユーザは各機器のスイッチ操作等を行うために、表示部の前から離れ、その後表示部の前に移動し、エクササイズを行うという煩わしさがなく、表示部の前から移動しないまま、操作対象に触れてエクササイズコンテンツを実行させることができる。

また、本発明に係るミラーシステムにおいて、エクササイズコンテンツは、ユーザ以外から与えられた動力によって動作する他動運動器具をユーザが使用している際に、ユーザに運動を促すコンテンツであって、制御手段は、エクササイズコンテンツの実行中において、表示部に操作対象映像光を投射させ、この操作対象映像光によって示される操作対象にユーザ自身の鏡像の手が触れたと判断した場合、得点を加算又は減算させることが好ましい。

このミラーシステムによれば、他動運動器具をユーザが使用している際に表示部に操作対象映像光を投射させ、この操作対象映像光によって示される操作対象にユーザ自身の鏡像の手が触れたと判断した場合、得点を加算又は減算させるため、単に他動運動器具を使用しているだけでなく、他動運動器具の使用に加えて、エクササイズを行うことができ、一層エクササイズ効果を高めることができる。さらに、得点の加減算を行っているため、ゲーム感覚を与えることができる。

また、本発明に係るミラーシステムにおいて、制御手段は、エクササイズコンテンツ実行中において、ユーザの手の位置を動かす経路を示す操作対象映像光を表示部に投射させ、この操作対象映像光に沿ってユーザの手が動いていると判断した場合、操作対象映像光によって示される操作対象の色を変化させることが好ましい。

このミラーシステムによれば、ユーザの手の位置を動かす経路を示す操作対象映像光を表示部に投射させるため、ユーザが行うべき動きを表現することができる。また、操作対象に沿ってユーザの手が動いていると判断した場合、操作対象の色を変化させる。このため、ユーザが適切な動きを行った場合に、その告知を行うことができる。

本発明に係るミラーシステムよれば、ユーザが操作対象映像光によって示される操作対象に触れる動作を行った場合の判断における処理負荷を軽減させることができる。

以下、図面を参照して、本発明の実施の形態を説明する。図１は、本発明の実施形態に係るミラーシステムを示す外観構成図である。ミラーシステム１は、ユーザＨの鏡像を映し出すと共に、映像を表示するものである。このミラーシステム１は、プロジェクタ（投光手段）１０と、表示部２０と、正面カメラ（カメラ）３０と、コンピュータ（制御手段）４０とを備えている。なお、図１では、ユーザＨが表示部２０の表示面に対して正対している例を図示している。

プロジェクタ１０は、映像光を投射するものである。表示部２０は、プロジェクタ１０によって投射された映像光を映して映像をユーザＨに視認可能とさせると共に、ユーザＨ自身の鏡像を表示可能なものである。正面カメラ３０は、ユーザＨを撮像するものである。コンピュータ４０は、正面カメラ３０により撮像された撮像画像に基づいて、各種制御を行うものである。以下、各部について詳細に説明する。

プロジェクタ１０は、表示部２０の裏側ＢＳに設置され、映像光を表示部２０の裏側ＢＳから投射するものである。このプロジェクタ１０は、コンピュータ４０から映像ケーブル或いは無線通信により映像データを受信し、この受信した映像データに基づいて映像光を投射する構成となっている。また、プロジェクタ１０は、コンピュータ４０からの指示に基づいて、操作対象映像光を投射する。操作対象映像光とは、映像光の１種であって、ユーザの操作対象となるアイコン映像や丸形の映像（後述の図６及び図７等参照）などを映し出す光である。

表示部２０は、プロジェクタ１０が投射する映像光を拡散する拡散層２１と、入射する光の一部を反射し、一部を透過するハーフミラー２３と、拡散層２１とハーフミラー２３の間に位置する透明板２２とを備えている。すなわち、表示部２０は、拡散層２１及びハーフミラー２３を、透明板２２を介して重ね合わせることにより構成されている。

拡散層２１は、例えばシート状の拡散部材で形成されており、透明板２２に貼り付けられて設置されている。なお、拡散層２１は、透明板２２の一部に研磨加工などを施して透明板２２の裏側ＢＳの主面に拡散機能を持たせることにより形成されていてもよい。

透明板２２はアクリル又はガラスを材料として構成されている。なお、透明板２２は、これに限らず、透明材料であれば他の材料により構成されていてもよい。ハーフミラー２３は、半透過膜シートを透明板２２の表面に貼り付けて構成されている。また、ハーフミラー２３は、透明板２２の表面に金属膜を金属蒸着させて構成されていてもよい。

また、表示部２０は、透明板２２を有さず、拡散層２１とハーフミラー２３とを直接貼り合わせたものであってもよい。なお、透明板２２を有する方が有さない場合よりも表示部２０の平面度を保つ点で有利である。さらに、表示部２０は、表側ＦＳからみて、拡散層２１、透明板２２及びハーフミラー２３の順に配置されていなくともよく、ハーフミラー２３、拡散層２１及び透明板２２の順に配置されていてもよいし、透明板２２、ハーフミラー２３及び拡散層２１の順に配置されていてもよい。

正面カメラ３０は、表示部２０の裏側ＢＳに配置され、ハーフミラー２３の上記性質（一部光を透過する性質）を利用することにより、表示部２０を介してユーザＨを撮像するものである。また、正面カメラ３０は、例えば、ＵＳＢケーブルにより通信が可能なＵＳＢカメラにより構成されている。この場合、正面カメラ３０は、コンピュータ４０とＵＳＢケーブルにより接続されることとなる。なお、本実施形態では、正面カメラ３０は表示部２０の裏側ＢＳに設置されているが、設置位置はこれに限らず、表示部２０の表面ＦＳに設置されていてもよい。また、正面カメラ３０のように、ユーザを正面から撮像するものでなくともよく、側方や上方等から撮像するものであってもよい。

図２は、図１に示したコンピュータ４０の詳細を示す構成図である。コンピュータ４０は、データの演算処理機能を備える処理演算部（ＣＰＵ）４１と、データを格納するデータベース４２と、プロジェクタ１０、及び正面カメラ３０との間でデータの入出力を制御する入出力部４３を備える。

処理演算部４１は、正面カメラ３０により撮像された画像上におけるユーザＨの目の位置を検出する目位置検出部（目位置検出手段）４１ａと、正面カメラ３０により撮像された画像上におけるユーザＨの手の位置を検出する手位置検出部（手位置検出手段）４１ｂとを備えている。また、処理演算部４１は、プロジェクタ１０からの投射される操作対象映像光の表示部２０上における投射位置を制御値に基づいて制御する投射位置制御部４１ｃと、ユーザＨ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたか否かを判断する接触判断部４１ｄと、接触判断部４１ｄによりユーザＨ自身の鏡像の手が操作対象に触れたと判断された場合に予め定められた制御を実行する対応制御部４１ｅを備えている。

データベース４２は、映像データ格納部４２ａと、プログラムデータ部４２ｂとを備えている。映像データ格納部４２ａは、プロジェクタ１０から投射される映像光のデータを格納しており、例えば後述するアイコン映像のデータや、丸形の映像のデータなどを格納している。プログラムデータ部４２ｂは、処理演算部４１が行う演算処理のアルゴリズムを規定したコンピュータプログラムのデータを格納したものである。コンピュータプログラムには、正面カメラ３０で撮影した映像をプロジェクタ１０で表示部２０に投影するためのアプリケーションソフトウェア（ＦＬＡＳＨ、Ｃ＋＋などのプログラミング言語で記述されたもの）やオペレーティングシステム（ＯＳ）等の基本ソフトウェアが含まれる。

次に、処理演算部４１の各部について詳細に説明する。目位置検出部４１ａは、正面カメラ３０により撮像された画像を処理し、画像内から目を抽出して画像上における目の位置を検出する。具体的に、目位置検出部４１ａは、まず画像内からユーザＨの顔を特定する。次いで、目位置検出部４１ａは、顔の画像を２値化処理し、顔の暗い部分（例えば、眉、アイライン、鼻の穴、上唇と下唇との境界）を抽出する。その後、目位置検出部４１ａは、顔の暗い部分の配置関係から、目の位置を検出する。なお、目の位置の検出については、種々の方法があり、目位置検出部４１ａは、テンプレートマッチングや濃淡画像マッチングなど他の方法により、目の位置を検出してもよい。

手位置検出部４１ｂは、正面カメラ３０により撮影された画像から手を抽出して画像上におけるユーザＨの手の位置を検出するものである。例えば、手位置検出部４１ｂは、ユーザの身体画像のうち、肌色の部分や、体の輪郭などを利用して手の位置を検出する。

投射位置制御部４１ｃは、操作対象映像光の表示部２０上における投射位置を制御するものである。この投射位置制御部４１ｃは、操作対象映像光を投射させる際、データベース４２から表示部２０上のどの位置に投射するかを示す制御値の情報を読み出し、読み出した制御値に従って投射位置を決定する。そして、投射位置制御部４１ｃは、決定した投射位置に操作対象が映るように、プロジェクタ１０を制御することとなる。

接触判断部４１ｄは、目位置検出部４１ａにより検出された画像上における目の位置と、手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたか否かを判断するものである。

図３は、図２に示した接触判断部４１ｄによる接触判断方法を説明する側面図である。図３に示すように、ユーザＨは、ユーザＨの目からハーフミラー２３の反射面までの距離αの２倍離れた位置に自己の目の位置を視認することができる。また、ユーザＨは、ユーザＨの目からハーフミラー２３の反射面までの距離α’の２倍離れた位置に自己の手の位置を視認することができる。このとき、ユーザＨは、自己の手を表示部２０上において点Ｓの位置で視認することとなる。

そして、点Ｓの位置は、ユーザＨの表示部２０に対する距離に拘わらず、ほぼ不変となっている。図４は、距離に応じた手の位置を説明する簡略図であり、（ａ）は距離が短い場合を示し、（ｂ）は距離が長い場合を示している。

図４（ａ）に示すように、ユーザＨの目の位置ｅとし、ユーザＨの手の位置ｈとし、鏡像における目の位置ｅ’とし、鏡像における手の位置ｈ’とした場合、ユーザＨは、表示部２０上において、点ｅ，ｈ’の中間位置である点Ｓの位置で手の鏡像を確認することとなる。一方、図４（ｂ）に示すように、表示部２０に対する距離が離れた場合、ユーザＨは、表示部２０上において、点ｅ，ｈ’の中間位置である点Ｓの位置で手の鏡像を確認することとなる。この点Ｓは、図４（ａ）及び図４（ｂ）に示すように、地面からの距離がγであり、一致している。

このように、ユーザＨの表示部２０に対する距離に拘わらず、点Ｓは同じとなる。より数学的に説明すると、点Ｓの位置は、図３から明らかなように、ユーザの目の位置とユーザの手の位置とを結ぶ直線ｌの中点ｍから表示部２０に対して法線を引いた位置に該当し、ユーザＨの目と手との位置にのみ依存することがわかる。このため、ユーザＨの目の位置や手の位置が変わらない限り、ユーザＨが表示部２０に対して離れたり近寄ったりしても、点Ｓの位置は不変となる。そして、点Ｓの位置は、ユーザＨの目の位置や手の位置が変化した場合のみ、他の位置に変位することとなる。よって、本実施形態では、ユーザＨの目の位置と手の位置とを検出し、点Ｓに該当する位置を求め、投射位置が点Ｓ（具体的には表示部２０の厚みを考慮して点Ｓ’）の位置となっていれば、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたか否かを判断できることとなる。

この点Ｓを求めるにあたり、接触判断部４１ｄは、まず、正面カメラ３０により撮像された画像上における目の位置と手の位置との情報を取得し、画像上においてこれらの中間位置の座標値を求める。そして、接触判断部４１ｄは、求めた座標値を座標変換して、表示部２０上における第１座標値（すなわち図３でいうところの点Ｓの位置）を求める。

具体的に説明すると、画像上における目の位置が座標（ｘ₀，ｙ₀）にあり、手の位置が座標（ｘ₁，ｙ₁）であるとすると、接触判断部４１ｄは、中間位置である座標値（（ｘ₁−ｘ₀）／２，（ｙ₁−ｙ₀）／２）を算出する。そして、接触判断部４１ｄは、座標変換を行って、例えば表示部２０上における第１座標値（例えば（ｘ₂，ｙ₂））を算出する。

また、投射位置は投射位置制御部４１ｃからの制御値に基づいて判断できる。このため、接触判断部４１ｄは、投射位置制御部４１ｃから制御値の情報を読み込んで、制御値から表示部２０上における第２座標値（例えば（ｘ₂’，ｙ₂’））を求める。そして、接触判断部４１ｄは、第１座標値と第２座標値との差が所定値以内である場合（すなわち（ｘ₂，ｙ₂）と（ｘ₂’，ｙ₂’）との距離が所定値よりも近い場合）、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたと判断する。

以上から、本実施形態に係る接触判断部４１ｄは、ユーザＨの鏡像を推定することなく、簡易にユーザＨが操作対象映像光に触れた状態を判断することとなる。

なお、上記実施形態ではユーザＨを撮影するものとして正面カメラ３０が１つだけ設けられているが、これに限らず、複数のカメラを備えていてもよい。

図５は、本実施形態に係るミラーシステム１の変形例を示す構成図である。図５に示すように、変形例に係るミラーシステム１は、表示部２０の裏面ＢＳに２つのカメラ３０ａ，３０ｂを有している。これらのカメラ３０ａ，３０ｂは、プロジェクタ１０のからの投射光の邪魔にならない位置、具体的には表示部２０の左右両端位置に設けられている。この構成により、ステレオ立体視の原理を用いて、ユーザＨの目及び手について、より詳細に求めることができる。すなわち、正面カメラ３０が１つだけであると、正面カメラ３０に対して真っ直ぐに手を近づけたり離したりしても、画像上における手の位置は同じ位置に検出されてしまう。このため、座標変換をして点Ｓの位置を求めようとしても、不正確となってしまう可能性がある。ところが、複数のカメラ３０ａ，３０ｂを備える場合、表示部２０からユーザＨの手までの距離を求めることができ、点Ｓの位置を正確に求めることができる。なお、上記では手の位置について説明したが、目の位置についても同様であり、表示部２０からユーザＨの目までの距離を求めることで、点Ｓの位置を正確に求めることができる。また、上記では複数のカメラ３０ａ，３０ｂを備える場合を説明したが、これに限らず、距離画像カメラや距離センサ（レーザ方式及び超音波方式など）を用いてもよい。

再度、図２を参照する。図２に示す対応制御部４１ｅは、接触判断部４１ｄによりユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたと判断された場合に予め定められた制御を実行するものであって、例えば、後述する図６に示すようなアイコン映像（操作対象映像光によって示される操作対象の１つ）が表示部２０上に表示された状態において、ユーザＨ自身の手の鏡像がアイコン映像に触れたと判断した場合に、アイコンの指定操作の制御を行う構成となっている。この対応制御部４１ｅについて詳細に説明する。

図６は、アイコンの指定操作画面を示す図である。図６に示すように、プロジェクタ１０からの投射光によって、表示部２０上にアイコン映像１０１〜１０４が表示されている。第１アイコン映像１０１は、ユーザＨに運動を促すエクササイズコンテンツを選択させるための操作対象である。第２アイコン映像１０２は、ユーザＨの身体特徴（体重、身長及び体脂肪率など）を表示するための操作対象である。第３アイコン映像１０３は、ユーザＨが過去に行ったエクササイズの履歴を参照するための操作対象である。第４アイコン映像１０４は、ユーザＨのエクササイズや身体的特徴について、より詳細に参照させるための詳細表示用の操作対象である。

このようなアイコン映像１０１〜１０４が表示されている状態において、ユーザＨの手が鏡像上において第１アイコン映像１０１と重なるように移動させられたとする。この場合、接触判断部４１ｄは、図３及び図４に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象である第１アイコン映像１０１に触れたと判断する。そして、対応制御部４１ｅは、プロジェクタ１０からサブアイコン映像１０１ａ，１０１ｂ（操作対象映像光によって示される操作対象の１つ）を投射させ、表示部２０は、サブアイコン映像１０１ａ，１０１ｂを表示させる。

第１サブアイコン映像１０１ａは、他動運動器具をユーザＨが使用している際に、ユーザＨに運動を促す運動コンテンツを実行するための操作対象である。ここで、他動運動器具とは、ユーザＨ以外から与えられた動力によって動作する器具である。また、第２サブアイコン映像１０１ａは、ユーザＨのバランスを矯正するための矯正コンテンツを実行するための操作対象である。

このようなサブアイコン映像１０１ａ，１０１ｂが表示されている状態において、ユーザＨの鏡像の手が表示部２０上においてサブアイコン映像１０１ａ，１０１ｂと重なるように移動させられたとする。この場合、接触判断部４１ｄは、図３及び図４に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象映像光によって示されるサブアイコン映像１０１ａ，１０１ｂに触れたと判断する。そして、対応制御部４１ｅは、運動コンテンツ又は矯正コンテンツを実行する。

図７は、ユーザＨ自身の手の鏡像が第１サブアイコン映像１０１ａに触れたと判断した場合に実行される運動コンテンツを示す図である。図７に示すように、運動コンテンツにおいては、丸形の操作対象１１０ａ〜１１０ｆがユーザＨの周囲に映し込まれている。また、ユーザＨは、他動運動器具１１１である乗馬型振動マシーンに乗っており、その鏡像Ｉが表示部２０に写し込まれている。

このような状態において、ユーザＨの手が操作対象１１０ａ〜１１０ｆの位置と重なるように移動させられると、接触判断部４１ｄは、図３及び図４に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象１１０ａ〜１１０ｆに触れたと判断する。そして、対応制御部４１ｅは、得点を加算又は減算させていき、ユーザＨの運動結果を得点により示すように制御する。これにより、ユーザＨにゲーム性を感じさせつつ、運動を促すようにしている。

なお、運動コンテンツでは、複数の操作対象１１０ａ〜１１０ｆのうち、いずれか１つを順次表示させ、ユーザＨ自身の手の鏡像が順番に各操作対象１１０ａ〜１１０ｆに触れるように促してもよい。さらに、触れるべき操作対象１１０ａ〜１１０ｆについてのみ色を変更して表示するようにしてもよい。

図８は、ユーザＨが第２サブアイコン映像１０１ｂに触れたと判断した場合に実行される矯正コンテンツを示す図であり、（ａ）が矯正運動前の状態を示し、（ｂ）は矯正運動中の状態を示している。図８（ａ）に示すように、矯正コンテンツにおいては、丸形の操作対象１２０がユーザＨの左側に映し込まれている。また、ユーザＨの鏡像Ｉが表示部２０に写し込まれている。

このような状態において、ユーザＨ自身の手の鏡像が丸形の操作対象１２０の位置と重なるように移動させられると、接触判断部４１ｄは、図３及び図４に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象１２０に触れたと判断する。そして、対応制御部４１ｅは、プロジェクタ１０から図８（ｂ）に示す８の字型の操作対象１２１を投射させる。

これにより、ユーザＨは８の字型の操作対象１２１に沿って手を動かすようにしむけられることとなる。そして、腕の振り、体重移動、腰の向きの変化、及び膝の動きなどから、バランスが矯正されることとなる。なお、矯正コンテンツにおいて接触判断部４１ｄが操作対象１２１に沿ってユーザの手が動いていると判断した場合、対応制御部４１ｅは、操作対象１２１の色を変化させる。これにより、ユーザＨが正確に手を動かしたことをユーザＨに告知することとなる。このときの接触判断についても、図３及び図４に示した理論に基づくこととなる。特に、操作対象１２１が長い距離を有するため、接触判断部４１ｄは、所定距離毎にポイントを設け、ユーザＨ自身の手の鏡像が各ポイントに触れたか否かを判断するようにしている。

次に、本実施形態に係るミラーシステム１の動作について説明する。図９は、本実施形態に係るミラーシステム１の動作を示すフローチャートである。図９に示すように、まず、投射位置制御部４１ｃは、操作対象映像光の投射位置を決定する（Ｓ１）。このとき、投射位置制御部４１ｃは、制御値を求めることにより投射位置を決定する。次に、処理演算部４１は、制御値に基づいてプロジェクタ１０を駆動させて投射位置に操作対象映像光を投射させる（Ｓ２）。

その後、目位置検出部４１ａは、正面カメラ３０により撮影された画像上におけるユーザＨの目の位置を検出する（Ｓ３）。次に、手位置検出部４１ｂは、正面カメラ３０により撮影された画像上におけるユーザＨの手の位置を検出する（Ｓ４）。

次いで、接触判断部４１ｄは、ステップＳ３において検出した目の位置、及び、ステップＳ４において検出した手の位置から、画像上における目と手との中間位置を算出する（Ｓ５）。その後、接触判断部４１ｄは、中間位置の座標値を座標変換して表示部２０上における第１座標値を算出する（Ｓ６）。その後、接触判断部４１ｄは、制御値の情報を入力し（Ｓ７）、第２座標値を求める（Ｓ８）。

次いで、接触判断部４１ｄは、ステップＳ６において算出した第１座標値、及び、ステップＳ７において算出した第２座標値に基づいて、ユーザＨの手が操作対象映像光に触れたか否かを判断する（Ｓ９）。このとき、接触判断部４１ｄは、第１座標値と第２座標値との距離が所定距離以内であるかに基づいて、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたか否かを判断することとなる。

ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れていないと判断した場合（Ｓ９：ＮＯ）、処理はステップＳ３に移行する。一方、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたと判断した場合（Ｓ９：ＹＥＳ）、対応制御部４１ｅは、予め定められた制御を実行する（Ｓ１０）。このときの制御は、図６を参照して説明したアイコン映像１０１〜１０４及びサブアイコン映像１０１ａ，１０１ｂの指定制御であったり、図７を参照して説明した得点の加減算制御であったりする。また、図８を参照して説明した制御であってもよい。

そして、予め定められた制御の実行後、図９に示す処理は終了する。なお、図９に示す処理は、ミラーシステム１の電源がオフとなるまで、繰り返し実行される。

このようにして、本実施形態に係るミラーシステム１によれば、目位置検出部４１ａにより検出された画像上における目の位置と、手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザＨ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたか否かを判断する。ここで、ユーザＨは、ユーザＨから表示部２０までの距離の約２倍の位置に自己の鏡像Ｉを視認する。すなわち、ユーザＨとユーザＨの鏡像Ｉとの中間に表示部２０が存在するような状態ともいえる。しかも、表示部２０は、ユーザＨから表示部２０との距離に拘わらず、常に中間に位置している。そして、ユーザＨの目と鏡像Ｉの手との中間にも表示部２０が存在するといえ、ユーザＨの視点からすると、ユーザＨの目の位置と鏡像Ｉの手の位置との中間地点に、操作対象映像光の投射位置が位置していれば、ユーザＨには手が操作対象に触れたように認識される。このように、ユーザＨが操作対象に触れたか否かを判断するにあたり、鏡像Ｉの推定は必要なく、ユーザＨの目の位置の情報と、ユーザＨの手の位置の情報と、操作対象映像光の投射位置を示す制御値の情報があれば足りる。従って、ユーザＨが操作対象映像光によって示される操作対象に触れる動作を行った場合の判断における処理負荷を軽減させる。

また、画像上における中間位置の座標値を座標変換して表示部２０上における第１座標値を求め、この第１座標値と制御値が示す第２座標値との差が所定値以内である場合に、ユーザＨ自身の鏡像Ｉの手が操作対象映像光によって示される操作対象に触れたと判断する。このため、中間位置を求めた後は、既存技術である座標値の変換と、制御値が示す座標値との比較のみで、操作対象映像光に触れたか否かを判断でき、処理負荷を軽減させることができる。

また、ユーザＨ自身の鏡像Ｉの手が操作対象映像光によって示される操作対象に触れたと判断した場合、予め定められた制御を実行するため、ユーザＨが操作対象映像光を操作して機器等を制御させるという新たな機器操作を提案することができる。

また、表示部２０に向き合った状態でユーザに運動を促すエクササイズコンテンツを選択させるアイコン映像１０１，１０１ａ，１０１ｂを表示させ、ユーザＨ自身の鏡像Ｉの手がアイコン映像１０１，１０１ａ，１０１ｂに触れたと判断した場合、エクササイズコンテンツを実行する。このため、エクササイズのコンテンツを実行するにあたり、ユーザＨは各機器のスイッチ操作等を行うために、表示部２０の前から離れ、その後表示部２０の前に移動し、エクササイズを行うという煩わしさがなく、表示部２０の前から移動しないまま、アイコン映像１０１，１０１ａ，１０１ｂに触れてエクササイズコンテンツを実行させることができる。

また、他動運動器具１１１をユーザＨが使用している際に表示部２０に操作対象映像光１１０ａ〜１１０ｆを投射させ、この操作対象映像光によって示される操作対象１１０ａ〜１１０ｆにユーザＨ自身の鏡像Ｉの手が触れたと判断した場合、得点を加算又は減算させるため、単に他動運動器具１１１を使用しているだけでなく、他動運動器具１１１の使用に加えて、エクササイズを行うことができ、一層エクササイズ効果を高めることができる。さらに、得点の加減算を行っているため、ゲーム感覚を与えることができる。

また、ユーザＨの手の位置を動かす経路を示す操作対象映像光１２１を表示部２０に投射させるため、ユーザＨが行うべき動きを表現することができる。また、操作対象映像光によって示される操作対象１２１に沿ってユーザの手が動いていると判断した場合、操作対象１２１の色を変化させる。このため、ユーザが適切な動きを行った場合に、その告知を行うことができる。

以上、本発明に係るミラーシステムを実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、本実施形態では、図６〜図８に示す各操作対象映像光を説明したが、これらに限らず、他の操作対象映像光を表示してもよい。

また、上記実施形態において接触判断部４１ｄは座標変換を行っているが、この座標変換の精度を向上させるため、以下のような制御を行ってもよい。すなわち、プロジェクタ１０は、予め表示部２０上における座標値（ｘ₃，ｙ₃）の位置に操作対象映像光を投射する。そして、ユーザＨに、音声や表示によって操作対象映像光によって示される操作対象に触れる旨を提示する。これにより、ユーザＨの鏡像Ｉの手は操作対象に触れることとなり、触れたときの目と手の位置の中間位置と、座標値（ｘ₃，ｙ₃）とが対応関係にあることが明らかとなる。そして、接触判断部４１ｄは、この対応関係を基準に座標変換式を構築し、以後の座標変換処理に用いるようにするとよい。

なお、この場合、画像の歪みなどを考慮して、表示部２０上における各位置に操作対象映像光によって示される操作対象を表示させる。例えば表示部２０を１６分割して１６個の操作対象を表示させる。そして、ユーザＨにそれぞれの操作対象に触れる旨を提示する。これにより、画像の歪みを考慮して、より詳細な座標変換式を構築することができ、一層精度を高めることができる。

さらに、上記の処理は、定期的に行うことが望ましい。これにより、ミラーシステム１を長期に使用して、プロジェクタ１０や正面カメラ３０の設置位置にずれが生じたとしても、ズレを補正するような座標変換式を構築でき、一層精度を高めることができる。

本発明の実施形態に係るミラーシステムを示す外観構成図である。 図１に示したコンピュータの詳細を示す構成図である。 図２に示した接触判断部による接触判断方法を説明する側面図である。 距離に応じた手の位置を説明する簡略図であり、（ａ）は距離が短い場合を示し、（ｂ）は距離が長い場合を示している。 本実施形態に係るミラーシステムの変形例を示す構成図である。 アイコンの指定操作画面を示す図である。 ユーザＨが第１サブアイコン映像に触れたと判断した場合に実行される運動コンテンツを示す図である。 ユーザＨが第２サブアイコン映像に触れたと判断した場合に実行される矯正コンテンツを示す図であり、（ａ）が矯正運動前の状態を示し、（ｂ）は矯正運動中の状態を示している。 本実施形態に係るミラーシステムの動作を示すフローチャートである。

符号の説明

１ ミラーシステム
１０ プロジェクタ
２０ 表示部
２１ 拡散層
２２ 透明板
２３ ハーフミラー
３０ 正面カメラ（カメラ）
４０ コンピュータ（制御手段）
４１ 処理演算部
４１ａ 目位置検出部（目位置検出手段）
４１ｂ 手位置検出部（手位置検出手段）
４１ｃ 投射位置制御部
４１ｄ 接触判断部
４１ｅ 対応制御部
４２ データベース
４２ａ 映像データ格納部
４２ｂ プログラムデータ部
４３ 入出力部

Claims (6)

1. 映像光を投射する投光手段と、
   前記投光手段に投射された映像光を映して映像をユーザに視認可能とさせると共に、ユーザ自身の鏡像を表示可能な表示部と、
   ユーザを撮像するカメラと、
   前記カメラにより撮像された画像上におけるユーザの目の位置を検出する目位置検出手段と、
   前記カメラにより撮像された画像上におけるユーザの手の位置を検出する手位置検出手段と、
   前記投光手段から投射される映像光のうち、ユーザの操作対象を映し出す操作対象映像光の前記表示部上における投射位置を制御値に基づいて制御する制御手段と、を備え、
   前記制御手段は、前記目位置検出手段により検出された画像上における目の位置と、前記手位置検出手段により検出された画像上における手の位置との中間位置と、前記制御値との対応関係から、ユーザ自身の鏡像の手が前記操作対象映像光によって示される操作対象に触れたか否かを判断する
   ことを特徴とするミラーシステム。
2. 前記制御手段は、前記カメラにより撮像された画像上における前記中間位置の座標値を座標変換して前記表示部上における第１座標値とすると共に、この第１座標値と、前記制御値が示す表示部上における第２座標値との差が所定値以内である場合に、ユーザ自身の鏡像の手が前記操作対象映像光によって示される操作対象に触れたと判断する
   ことを特徴とする請求項１に記載のミラーシステム。
3. 前記制御手段は、ユーザ自身の鏡像の手が前記操作対象映像光によって示される操作対象に触れたと判断した場合、予め定められた制御を実行する
   ことを特徴とする請求項１又は請求項２のいずれかに記載のミラーシステム。
4. 前記制御手段は、表示部に向き合った状態でユーザに運動を促すエクササイズコンテンツを選択させる操作対象を表示させ、ユーザ自身の鏡像の手が前記操作対象映像光によって示される操作対象に触れたと判断した場合、エクササイズコンテンツを実行する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載のミラーシステム。
5. 前記エクササイズコンテンツは、ユーザ以外から与えられた動力によって動作する他動運動器具をユーザが使用している際に、ユーザに運動を促すコンテンツであって、
   前記制御手段は、前記エクササイズコンテンツの実行中において、前記表示部に前記操作対象映像光を投射させ、この操作対象映像光によって示される操作対象にユーザ自身の鏡像の手が触れたと判断した場合、得点を加算又は減算させる
   ことを特徴とする請求項４に記載のミラーシステム。
6. 前記制御手段は、前記エクササイズコンテンツ実行中において、ユーザの手の位置を動かす経路を示す操作対象映像光を前記表示部に投射させ、この操作対象映像光に沿ってユーザの手が動いていると判断した場合、操作対象映像光によって示される操作対象の色を変化させる
   ことを特徴とする請求項４に記載のミラーシステム。

Images