JP5360166B2

JP5360166B2 - 画像表示装置

Info

Publication number: JP5360166B2
Application number: JP2011187402A
Authority: JP
Inventors: 英範栗林
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-09-22
Filing date: 2011-08-30
Publication date: 2013-12-04
Anticipated expiration: 2031-08-30
Also published as: JP2012088688A

Description

本発明は、画像表示装置に関する。

次のような操作制御装置が知られている。この操作制御装置は、ユーザーの手の動きに応じた画像を操作することができる（例えば、特許文献１）。

特開２０１０−８１４６６号公報

しかしながら、従来の操作制御装置では、手をイメージ化した図形を画像上に表示することでユーザーに手を検出したことを報知するため、画像が見難くなるという問題があった。

本発明による画像表示装置は、人物の手または前記人物の手に持っている物体を検出する検出手段と、検出手段によって人物の手または人物の手に持っている物体が検出されたときに、画像を３次元表示する表示制御手段と、を備えることを特徴とする。

本発明によれば、画像を３次元表示することで、ユーザーに対象物体を検出したことを報知するので、画像が見難くならない。

画像表示装置の一実施の形態の構成を示すブロック図である。デジタルフォトフレームの外観例を模式的に示した図である。画像の再生状態の変更処理の流れを示すフローチャート図である。再生中の画像を３Ｄ表示した場合の具体例を示す第１の図である。再生中の画像を３Ｄ表示した場合の具体例を示す第２の図である。第２の実施の形態において画像を３Ｄ表示した場合の具体例を示す図である。第３の実施の形態において画像を３Ｄ表示した場合の具体例を示す図である。第３の実施の形態において画像を３Ｄ表示した場合の具体例を示す図である。第４の実施の形態において画像を３Ｄ表示した場合の具体例を示す図である。第５の実施の形態において画像を３Ｄ表示した場合の具体例を示す図である。変形例（１２）において画像を３Ｄ表示した場合の具体例を示す図である。

（第１の実施の形態）
図１は、第１の実施の形態における画像表示装置の構成を示すブロック図である。画像表示装置としては、例えば、図２に示すようなデジタルフォトフレーム１００が用いられ、このデジタルフォトフレーム１００は、操作部材１０１と、３次元位置検出カメラ１０２と、接続ＩＦ（インターフェース）１０３と、制御装置１０４と、記憶媒体１０５と、３Ｄモニタ１０６とを備えている。

操作部材１０１は、デジタルフォトフレーム１００のユーザーによって操作される種々の装置、例えば操作ボタン等を含む。あるいは、３Ｄモニタ１０６にタッチパネルを搭載し、ユーザーは、タッチパネルを用いてデジタルフォトフレームを操作するようにしてもよい。

３次元位置検出カメラ１０２は、被写体の３次元位置を検出することができるカメラである。なお、３次元位置検出カメラ１０２としては、例えば単眼式３Ｄカメラ、２眼式３Ｄカメラ、または距離画像センサ等が用いられる。この３次元位置検出カメラ１０２は、図２に示すように、デジタルフォトフレーム１００の前面に配置され、デジタルフォトフレーム１００に対面するユーザーを撮影することができる。３次元位置検出カメラ１０２が備えるイメージセンサから出力される画像信号は制御装置１０４へ出力され、制御装置１０４は、画像信号に基づいて画像データを生成する。

接続ＩＦ１０３は、デジタルフォトフレーム１００と外部機器とを接続するためのインターフェースである。本実施の形態では、デジタルフォトフレーム１００は、この接続ＩＦ１０３を介して画像データが記録されている外部機器、例えばデジタルカメラ等と接続される。そして、制御装置１０４は、接続ＩＦ１０３を介して外部機器から画像データを取り込んで、記憶媒体１０５に記録する。なお、接続ＩＦ１０３としては、外部機器とデジタルフォトフレーム１００とを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。あるいは、接続ＩＦ１０３の代わりにメモリカードスロットを設け、該メモリカードスロットに画像データが記録されたメモリカードを挿入することにより、画像データを取り込むようにしてもよい。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、デジタルフォトフレーム１００の全体を制御する。なお、制御装置１０４を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。

記憶媒体１０５は、フラッシュメモリ等の不揮発性のメモリであって、制御装置１０４によって実行されるプログラムや、接続ＩＦ１０３を介して取り込まれた画像データ等が記録される。３Ｄモニタ１０６は、３次元表示が可能なモニタであって、図２に示すように、再生対象の画像２ｂを３Ｄ表示することが可能である。なお、３Ｄモニタ１０６は、画像２ｂを３次元表示だけでなく２次元表示することもできる。また、３次元表示が可能なモニタとしては、例えば裸眼式や眼鏡式等の公知の方式で３Ｄ表示を行う３Ｄモニタが用いられる。

本実施の形態におけるデジタルフォトフレーム１００は、制御装置１０４は、３次元位置検出カメラ１０２によって撮影された画像に基づいてユーザーの手２ａの３次元位置、およびフレーム間での３次元位置の変化を検出し、その検出結果に応じて画像２ｂの再生状態を変更する。以下、制御装置１０４による、ユーザーの手２ａの３次元位置、およびフレーム間での３次元位置の変化に応じた画像２ｂの再生状態の変更処理について説明する。なお、以下の説明では、制御装置１０４は、３次元位置検出カメラ１０２から入力される画像内にユーザーの手２ａが写っていない場合には、画像２ｂを３Ｄモニタ１０６に２次元表示させ、手２ａが写っていることを検出したときに３次元表示に変化させる例について説明する。

図３は、ユーザーの手２ａの３次元位置、およびフレーム間での３次元位置の変化に応じた画像の再生状態の変更処理の流れを示すフローチャートである。図３に示す処理は、３Ｄモニタ１０６への画像２ｂの再生が開始されると起動するプログラムとして、制御装置１０４によって実行される。なお、プログラムの実行開始時点では、まだユーザーの手２ａの３次元位置は検出されていないので、上述したように画像２ｂは３Ｄモニタ１０６に２次元表示される。

ステップＳ１０において、制御装置１０４は、３次元位置検出カメラ１０２による画像の撮影を開始する。本実施の形態では、例えば、３次元位置検出カメラ１０２は、所定のフレームレートで撮影を行うこととし、制御装置１０４には、３次元位置検出カメラ１０２から該フレームレートに応じた所定の時間間隔で連続して画像データが入力される。その後、ステップＳ２０へ進む。

ステップＳ２０では、制御装置１０４は、３次元位置検出カメラ１０２から入力される画像データに基づいて、入力画像内におけるユーザーの手２ａの３次元位置を検出したか否かを判断する。例えば、あらかじめユーザーの手２ａの画像をテンプレート画像として記録しておき、制御装置１０４は、入力画像とテンプレート画像とをマッチングすることにより、入力画像内にユーザーの手２ａが写っているか否かを判定し、写っていた場合には、その手２ａの３次元位置を検出する。ステップＳ２０で否定判断した場合には、後述するステップＳ６０へ進む。これに対して、ステップＳ２０で肯定判断した場合には、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０４は、ユーザーと再生中の画像２ｂとの間の奥行き方向（前後方向）の距離を視覚的に変化させることにより、３Ｄモニタ１０６に再生中の画像２ｂを２次元表示から３次元表示へ切り替える。例えば、制御装置１０４は、２次元表示の状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的に短くすることにより、図４（ｂ）に示すように、画像２ｂが手前に飛び出すように３次元表示する。これにより、ユーザーに、３Ｄモニタ１０６に手をかざすと画像２ｂが手に吸い寄せられるような感覚を与えることができる。なお、制御装置１０４は、画像２ｂを視覚的にユーザーの手２ａに近い位置まで飛び出させることにより、ユーザーに、視覚的に画像２ｂに触れたような感覚を与えることができる。

あるいは、制御装置１０４は、２次元表示の状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的に長くすることにより、図５（ｂ）に示すように、画像２ｂが奥に沈み込むように３次元表示する。これにより、ユーザーに、３Ｄモニタ１０６に手をかざすと、その手によって画像２ｂが奥に押し込まれたような感覚を与えることができる。なお、ステップＳ３０において、制御装置１０４が図４（ｂ）に示すように３次元表示に切り替えるか、図５（ｂ）に示すように３次元表示に切り替えるかは、ユーザーによってあらかじめ選択され、設定されているものとする。

その後、ステップＳ４０へ進み、制御装置１０４は、３次元位置検出カメラ１０２から時系列で入力される画像データ間での画像内における手２ａの３次元位置の変化を監視することにより、ユーザーの手２ａの動きを検出する。ステップＳ４０でユーザーの手２ａの動きを検出しない場合には、後述するステップＳ６０へ進む。これに対して、ステップＳ４０でユーザーの手２ａの動きを検出した場合には、ステップＳ５０へ進む。

ステップＳ５０では、制御装置１０４は、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的にさらに変化させる。まず、図４（ｂ）に示したように、画像２ｂを手前に浮かび上がらせることによって３次元表示した場合について説明する。この場合には、制御装置１０４は、例えば、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６に近づく方向に移動したことを検出した場合には、図４（ｃ）に示すように、図４（ｂ）に示した状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を短くして、画像２ｂの飛び出し量を大きくする。これによって、ユーザーには、手を３Ｄモニタ１０６に近づけたことにより、さらに画像２ｂが手に吸い寄せられてくるような感覚を与えることができる。

また、制御装置１０４は、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６から遠ざかる方向に移動したことを検出した場合には、図４（ｂ）に示した状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を長くして、画像２ｂの飛び出し量を小さくする。これによって、ユーザーには、手を３Ｄモニタ１０６から遠ざけたことにより、画像２ｂが手から遠ざかったような感覚を与えることができる。なお、この場合の画像の飛出し量は、ユーザーにとって手２ａと画像２ｂとの距離が視覚的に常に一定になるように変化させるようにするとともに、画像の飛出し量の最大量を両眼視差量で１度程度として、画像２ｂの自然な立体感を損なわないようにする。

次に、図５（ｂ）に示したように、画像２ｂを奥に沈み込むように変化させることによって３次元表示した場合について説明する。この場合には、制御装置１０４は、例えば、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６に近づく方向に移動したことを検出した場合には、図５（ｃ）に示すように、図５（ｂ）に示した状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を長くして、画像２ｂの沈み込み量を大きくする。これによって、ユーザーには、手を３Ｄモニタ１０６に近づけたことにより、さらに画像が押し込まれたような感覚を与えることができる。

また、制御装置１０４は、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６から遠ざかる方向に移動したことを検出した場合には、図４（ｂ）に示した状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を短くして、画像２ｂの沈み込み量を小さくする。これによって、ユーザーには、手を３Ｄモニタ１０６から遠ざけたことにより、画像２ｂの沈み込みが小さくなったような感覚を与えることができる。なお、この場合の画像の沈み込み量は、ユーザーにとって手２ａと画像２ｂとの距離が視覚的に一定になるように変化させるようにするとともに、画像の沈み込み量の最大量を両眼視差量で１度程度として、画像２ｂの自然な立体感を損なわないようにする。

その後、ステップＳ６０へ進み、制御装置１０４は、ユーザーによって、画像の再生を終了するように指示されたか否かを判断する。ステップＳ６０で否定判断した場合には、ステップＳ２０へ戻る。これに対して、ステップＳ６０で肯定判断した場合には、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、３次元位置検出カメラ１０２からの入力画像に基づいてユーザーの手２ａの３次元位置を検出したときに、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的に変化させることにより、３Ｄモニタ１０６に再生中の画像２ｂを２次元表示から３次元表示へ切り替えるようにした。これによって、ユーザーは、３Ｄモニタ１０６に手をかざしたときに、画像２ｂがユーザーの手に吸い寄せられるような感覚や、画像を奥に押し込む感覚を受けることができる。

（２）制御装置１０４は、ユーザーの手２ａの動きを検出し、手２ａの動きに応じて、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的にさらに変化させるようにした。これによって、ユーザーは、手を動かすことによって直感的に画像２ｂの飛出し量や沈み込み量を変化させることができる。

（３）制御装置１０４は、ユーザーにとって手２ａと画像２ｂとの距離が視覚的に常に一定になるように、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的に変化させるようにした。これによって、ユーザーは、手の動きに追従して画像の飛出し量や沈み込み量が変化しているように感じることができる。

（４）制御装置１０４は、２次元表示の状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的に短くすることにより、画像２ｂが手前に飛び出すように３次元表示するようにした。これにより、ユーザーに、３Ｄモニタ１０６に手をかざすと画像２ｂが手に吸い寄せられるような感覚を与えることができる。

（５）制御装置１０４は、画像２ｂを視覚的にユーザーの手２ａに近い位置まで飛び出させるようにした。これによって、ユーザーに、視覚的に画像２ｂに触れたような感覚を与えることができる。

（６）制御装置１０４は、２次元表示の状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的に長くすることにより、画像２ｂが奥に沈み込むように３次元表示するようにした。これにより、ユーザーに、３Ｄモニタ１０６に手をかざすと、その手によって画像２ｂが奥に押し込まれたような感覚を与えることができる。

（第２の実施の形態）
図面を参照して、本発明による第２の実施の形態について説明する。第２の実施の形態では、第１の実施の形態と画像２ｂの再生状態の変更処理が異なっているため、相違点を中心に詳しく説明する。なお、画像２ｂの再生状態の変更処理以外については、第１の実施の形態と同様のため、説明を省略する。

第２の実施の形態の制御装置１０４は、ユーザーの手２ａの３次元位置を検出した場合には、３Ｄモニタ１０６に再生中の画像２ｂの形状を球状に変化させると共にその球状に応じた奥行きを視覚的に与えるように３次元表示させる。

たとえば、制御装置１０４は、図６（ａ）に示す２次元表示の状態から、図６（ｂ）に示すように画像２ｂの形状を画面から手前に飛び出すような球状に３次元表示させる。これにより、ユーザーに、３Ｄモニタ１０６に手２ａをかざすと画像２ｂが手２ａに吸い寄せられるような感覚を与えることができる。

また、制御装置１０４は、２次元表示の状態から、画像２ｂの形状を画面の奥に沈み込むような球状に３次元表示させるようにしてもよい。これにより、ユーザーに、３Ｄモニタ１０６に手２ａをかざすと、その手２ａによって画像２ｂが奥に押し込まれたような感覚を与えることができる。

なお、制御装置１０４が手前に飛び出すような３次元表示に切り替えるか、奥に沈み込むような３次元表示に切り替えるかは、ユーザーによってあらかじめ選択され、設定されているものとする。

その後、制御装置１０４は、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６に近づく方向に移動したことを検出した場合には、画像２ｂの飛び出し量または沈み込み量を大きくする。これにより、手２ａを３Ｄモニタ１０６に近づけたことで画像２ｂがさらに吸い寄せられた感覚、または、押し込まれた感覚をユーザーに与えることができる。

一方、制御装置１０４は、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６から遠ざかる方向に移動したことを検出した場合には、画像２ｂの飛び出し量または沈み込み量を小さくする。これにより、手２ａを３Ｄモニタ１０６から遠ざけたことで画像２ｂの吸い寄せ量、または、押し込み量が小さくなった感覚をユーザーに与えることができる。

以上説明した第２の実施の形態によれば、以下のような作用効果を得ることができる。
（１）デジタルフォトフレーム１００は、ユーザーの手２ａを検出する制御装置１０４と、制御装置１０４によってユーザーの手２ａが検出されたときに、画像２ｂを３次元表示する制御装置１０４とを備えるので、画像２ｂを３次元表示することでユーザーに手２ａを検出したことを報知でき、画像２ｂが見難くならない。

（２）上記（１）のデジタルフォトフレーム１００において、制御装置１０４は、ユーザーの手２ａが検出されたときに、画像２ｂの形状を変化させると共に該形状に応じた奥行きを視覚的に与えるように３次元表示するように構成したので、ユーザーに手２ａを検出したことを一段とわかりやすく報知できる。

（第３の実施の形態）
図面を参照して、本発明による第３の実施の形態について説明する。第３の実施の形態では、第１の実施の形態と画像２ｂの再生状態の変更処理が異なっているため、相違点を中心に詳しく説明する。なお、画像２ｂの再生状態の変更処理以外については、第１の実施の形態と同様のため、説明を省略する。

図７（ａ）に示すように、ユーザーが手２ａを横に移動するときには、手２ａが３Ｄモニタ１０６の奥行き方向に対して、たとえば肩などを支点として円弧状に移動する。そこで、第３の実施の形態では、手２ａの横方向の移動に応じて、画像２ｂが奥行き方向に対して円弧状に移動するように表示する。

たとえば、制御装置１０４は、ユーザーの手２ａの３次元位置を検出した場合には、２次元表示の状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向（前後方向）の距離を視覚的に変化させることにより、画像２ｂが画面から手前に飛び出すように３次元表示する。

その後、手２ａの３次元位置が横方向に移動したことを検出した場合には、図７（ｂ）および図８に示すように、制御装置１０４は、手２ａの移動方向に画像２ｂを移動させると共に、画像２ｂが画面の左端または右端に近づくほど画像２ｂの飛び出し量を小さくし、画像２ｂが画面の中央に近づくほど画像２ｂの飛びだし量を大きくする。すなわち、手２ａが３Ｄモニタ１０６に近づくほど画像２ｂが手２ａに近づき、手２ａが３Ｄモニタ１０６から離れるほど画像２ｂが手２ａから遠ざかるように表示する。これにより、手２ａの動きに連動して画像２ｂが移動しながら手前に吸い寄せられる感覚をユーザーに与えることができる。

また、制御装置１０４は、ユーザーの手２ａの３次元位置を検出した場合には、２次元表示の状態から、ユーザーと再生中の画像２ｂとの間の奥行き方向（前後方向）の距離を視覚的に変化させることにより、画像２ｂが画面の奥に沈み込むように３次元表示してもよい。

この場合、手２ａの３次元位置が横方向に移動したことを検出した場合には、図７（ｃ）に示すように、制御装置１０４は、手２ａの移動方向に画像２ｂを移動させると共に、画像２ｂが画面の左端または右端に近づくほど画像２ｂの沈み込み量を小さくし、画像２ｂが画面の中央に近づくほど画像２ｂの沈み込み量を大きくする。すなわち、手２ａが３Ｄモニタ１０６に近づくほど画像２ｂが手２ａから遠ざかり、手２ａが３Ｄモニタ１０６から離れるほど画像２ｂが手２ａへ近づくように画像２ｂを表示する。これにより、手２ａの動きに連動して画像２ｂが移動しながら画面の奥に押し込まれる感覚をユーザーに与えることができる。

以上説明した第３の実施の形態によれば、以下のような作用効果を得ることができる。
（１）デジタルフォトフレーム１００は、ユーザーの手２ａを検出する制御装置１０４と、制御装置１０４によってユーザーの手２ａが検出されたときに、画像２ｂを３次元表示する制御装置１０４とを備えるので、画像２ｂを３次元表示することでユーザーに手２ａを検出したことを報知でき、画像２ｂが見難くならない。

（２）上記（１）のデジタルフォトフレーム１００において、ユーザーの手２ａの動きを検出する制御装置１０４をさらに備え、制御装置１０４は、ユーザーの手２ａの動きが検出された場合には、ユーザーの手２ａの動きに応じて、ユーザーの手２ａと画像２ｂとの間の前後方向の距離を変化させるように構成したので、ユーザーは手２ａを動かすことによって、直感的に画像２ｂの操作を指示することができる。

（３）上記（２）のデジタルフォトフレーム１００において、制御装置１０４は、ユーザーの手２ａの動きに応じて、ユーザーの手２ａと画像２ｂとの間の前後方向の距離を変化させながら画像２ｂを移動させるように構成したので、手２ａの動きに連動して画像２ｂの操作を行い得ることをユーザーにわかりやすく報知することができる。

（第４の実施の形態）
図面を参照して、本発明による第４の実施の形態について説明する。第４の実施の形態は、動画像を２次元表示させ、動画像を操作するための操作アイコンを３次元表示させるように構成される。なお、第１の実施の形態と画像表示装置の構成（図１）は同様であるため、説明を省略する。

第４の実施の形態の制御装置１０４は、図９（ａ）に示すように、３Ｄモニタ１０６に動画像３を２次元表示させるとともに、３次元位置カメラ１０２による画像の撮影を行う。

そして、制御装置１０４は、３次元位置検出カメラ１０２から入力された画像データに基づいて、ユーザーの手２ａの３次元位置を検出した場合には、図９（ｂ）に示すように、３Ｄモニタ１０６に操作アイコン４ａ〜４ｃを画面から手前に飛び出すように３次元表示させる。たとえば、操作アイコン４ａは動画像の巻き戻しに対応するアイコンであり、操作アイコン４ｂは動画像の停止に対応するアイコンであり、操作アイコン４ｃは動画像の早送りに対応するアイコンである。これにより、ユーザーには、３Ｄモニタ１０６に手２ａをかざすと、操作アイコン４ａ〜４ｃが手２ａに吸い寄せられるような感覚を与えることができる。

その後、制御装置１０４は、手２ａの３次元位置が３Ｄモニタ１０６に近づく方向に移動したことを検出した場合には、図９（ｃ）に示すように、図９（ｂ）に示した状態から、手２ａと操作アイコン４ａ〜４ｃとの間の奥行き方向の距離を短くして、操作アイコン４ａ〜４ｃの飛び出し量を大きくする。これによって、ユーザーには、手２ａを３Ｄモニタ１０６に近づけたことにより、さらに操作アイコン４ａ〜４ｃが手２ａに吸い寄せられてくるような感覚を与えることができる。

またこのとき制御装置１０４は、手２ａの３次元位置に対応する操作アイコン（すなわち手２ａの３次元位置と表示位置が最も近い操作アイコン）４ａの色を、他の操作アイコン４ｂ、４ｃと異なる色で表示させることにより、操作アイコン４ａを強調表示する。これによって、ユーザーに、操作アイコン４ａが操作候補であることを報知することができる。

さらに制御装置１０４は、図９（ｄ）に示すように、手２ａの３次元位置が３Ｄモニタ１０６にさらに近づく方向に移動し、手２ａと３Ｄモニタ１０６との距離が所定値（たとえば５ｃｍ）以内になったことを検出した場合には、強調表示していた操作アイコン４ａに対応する処理（ここでは動画像３の巻き戻し）を実行する。これにより、ユーザーには、手２ａが操作アイコン４ａにタッチして操作アイコン４ａに対応する処理が実行されたような感覚を与えることができる。

一方、制御装置１０４は、手２ａの３次元位置が３Ｄモニタ１０６に遠ざかる方向に移動したことを検出した場合には、手２ａと操作アイコン４ａ〜４ｃとの間の奥行き方向の距離を長くして、操作アイコン４ａ〜４ｃの飛び出し量を小さくする。これによって、ユーザーには、手２ａを３Ｄモニタ１０６から遠ざけたことにより、操作アイコン４ａ〜４ｃが手２ａから遠ざかったような感覚を与えることができる。

以上説明した第４の実施の形態によれば、以下のような作用効果を得ることができる。
（１）デジタルフォトフレーム１００は、ユーザーの手２ａを検出する制御装置１０４と、制御装置１０４によってユーザーの手２ａが検出されたときに、操作アイコン４ａ〜４ｃを３次元表示する制御装置１０４とを備えるので、操作アイコン４ａ〜４ｃを３次元表示することでユーザーに手２ａを検出したことを報知でき、操作アイコン４ａ〜４ｃが見難くならない。

（２）上記（１）のデジタルフォトフレーム１００において、ユーザーの手２ａの動きを検出する制御装置１０４をさらに備え、制御装置１０４は、ユーザーの手２ａの動きが検出された場合には、ユーザーの手２ａの動きに応じて、ユーザーの手２ａと操作アイコン４ａ〜４ｃとの間の前後方向の距離を変化させるように構成したので、ユーザーは手２ａを動かすことによって、直感的に操作アイコン４ａ〜４ｃの操作を指示することができる。

（３）上記（２）のデジタルフォトフレーム１００において、制御装置１０４は、ユーザーの手２ａが３Ｄモニタ１０６に近づく方向へ動き、ユーザーの手２ａと３Ｄモニタ１０６との距離が所定値以下になったことを検出した場合には、操作アイコン４ａに対応付けられた処理を実行するように構成したので、ユーザーは手２ａを動かすことによって、直感的に操作アイコン４ａに対応付けられた処理の実行を指示することができる。

（第５の実施の形態）
図面を参照して、本発明による第５の実施の形態について説明する。第５の実施の形態では、第１の実施の形態と、画像２ｂの再生状態の変更処理が異なっているため、相違点を中心に詳しく説明する。なお、画像２ｂの再生状態の変更処理以外については、第１の実施の形態と同様のため、説明を省略する。

第５の実施の形態の制御装置１０４は、ユーザーの手２ａの３次元位置を検出した場合には、ユーザーと再生中の画像２ｂとの間の奥行き方向の距離を視覚的に長くすることにより、図１０（ａ）に示すように、画像２ｂが奥に沈み込むように３次元表示する。

その後、制御装置１０４は、手２ａの３次元位置が３Ｄモニタ１０６に近づく方向に移動したことを検出した場合には、図１０（ｂ）に示すように、画像２ｂを徐々に縮小させて表示すると共に、画像２ｂの周囲に画像２ｂの前後複数枚の画像（２ｃ〜２ｊ）を縮小して表示する。すなわち、３Ｄモニタ１０６には、これらの画像２ｂ〜２ｊが格子状（たとえば３×３）に並んでサムネイル表示される。なお、サムネイル表示とは、サムネイルと呼ばれる縮小画像を並べて表示することである。また制御装置１０４は、これらのサムネイル画像２ｂ〜２ｊを、図１０（ａ）に示した状態から、沈み込み量が大きくなるように３次元表示する。

さらにこのとき制御装置１０４は、矩形枠であるカーソルＣｓを、画像２ｂを囲む位置に表示させる。このカーソルＣｓは、サムネイル画像を選択するために用いられる。

その後、手２ａが上下左右に移動したことを検出した場合には、制御装置１０４は、手の２ａの移動方向に応じてカーソルＣｓを移動させる。たとえば、図１０（ｂ）の状態で手２ａが左に移動した場合には、図１０（ｃ）に示すように、カーソルＣｓは画像２ｂの左隣の画像２ｉに移動される。

この状態で、手２ａが３Ｄモニタ１０６から遠ざかる方向に移動したことを検出した場合には、制御装置１０４は、図１０（ｄ）に示すように、検出した時点でカーソルＣｓが位置していた画像２ｉのみを拡大して表示する。このとき、制御装置１０４は、拡大した画像２ｉを、図１０（ｃ）に示した状態から、沈み込み量が小さくなるように３次元表示する。

その後、手２ａが再び３Ｄモニタ１０６に近づく方向に移動したことを検出した場合には、制御装置１０４は、図１０（ｅ）に示すように、再生していた画像２ｉを徐々に縮小して表示すると共に、画像２ｉの周囲に画像２ｉの前後複数枚の画像（２ｂ、２ｆ〜２ｈ、２ｊ〜２ｍ）を縮小表示する。また制御装置１０４は、これらのサムネイル画像（２ｂ、２ｆ〜２ｍ）を、図１０（ｄ）に示した状態から、沈み込み量を大きくするように３次元表示する。

さらにこの状態で、手２ａの横方向の移動量が所定閾値以上であることにより、手２ａが横に大きく移動したことを検出した場合には、制御装置１０４は、サムネイル表示している９枚の画像（２ｂ、２ｆ〜２ｍ）を、手２ａの移動方向にまとめてスライドさせると共に、さらに前または後ろの９枚の画像もスライドさせて表示する。制御装置１０４は、このとき新たに表示する画像も奥に沈み込むように３次元表示する。なお、制御装置１０４は、手２ａの横方向の移動量が所定閾値未満である場合には、上述したように、手２ａの移動に応じてカーソルＣｓを移動させる。

また、図１０（ｄ）に示した状態で、手２ａが３Ｄモニタ１０６からさらに遠ざかる方向に移動したことを検出した場合には、制御装置１０４は、画像２ｉを２次元表示に戻す。

このように制御装置１０４は、手２ａが３Ｄモニタ１０６に近づくと、サムネイル表示に切り替える。これにより、ユーザーは、画像を奥に押し込むような手２ａの動きによって、サムネイル表示を直感的に指示することができる。

そして、制御装置１０４は、サムネイル表示の状態において、手２ａが上下左右に移動されるとカーソルＣｓを移動させ、手２ａが横に大きく移動されるとサムネイル画像をスライドして切り替える。これにより、ユーザーは、手２ａの振りによって、カーソルＣｓの移動やサムネイル画像の切替えを直感的に指示することができる。

また、制御装置１０４は、サムネイル表示の状態において、手２ａが３Ｄモニタ１０６から遠ざかると、カーソルＣｓによって選択された画像を拡大表示する。これにより、ユーザーは、画像を手前に吸い寄せるような手２ａの動きによって、画像の拡大を直感的に指示することができる。

以上説明した第５の実施の形態によれば、以下のような作用効果を得ることができる。
（１）デジタルフォトフレーム１００は、ユーザーの手２ａを検出する制御装置１０４と、制御装置１０４によってユーザーの手２ａが検出されたときに、画像２ｂを３次元表示する制御装置１０４とを備えるので、画像２ｂを３次元表示することでユーザーに手２ａを検出したことを報知でき、画像２ｂが見難くならない。

（３）上記（２）のデジタルフォトフレーム１００において、制御装置１０４は、３Ｄモニタ１０６に近づく方向へのユーザーの手２ａの動きが検出された場合には、画像２ｂを含む複数枚の画像２ｂ〜２ｊを縮小して３次元表示するように構成したので、ユーザーは手２ａを動かすことによって、直感的に画像２ｂの縮小表示を指示することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、デジタルフォトフレーム１００は、フラッシュメモリ等の不揮発性のメモリで構成される記憶媒体１０５を備え、該記憶媒体１０５に再生対象の画像データを記録する例について説明した。しかしながら、記憶媒体１０５の代わりにメモリカードスロットを設け、該メモリカードスロットに記録されている画像データを再生対象とするようにしてもよい。

（２）上述した実施の形態では、図４や図５に示したように、制御装置１０４は、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６に近づいたか遠ざかったかによって画像２ｂの飛出し量や沈み込み量を変化させる例について説明した。しかしながら、制御装置１０４は、ユーザーが手２ａをかざしている時間の長さに応じて、画像２ｂの飛出し量や沈み込み量を変化させるようにしてもよい。例えば、図４に示す例では、制御装置１０４は、ユーザーの手２ａの検出を開始してからの経過時間が長くなるほど、徐々に再生中の画像２ｂの飛出し量を大きくするようにしてもよい。これによって、ユーザーには、手を３Ｄモニタ１０６に長くかざすほど、画像が手に吸い寄せられてくるような感覚を与えることができる。あるいは、図５に示す例では、制御装置１０４は、ユーザーの手２ａの検出を開始してからの経過時間が長くなるほど、徐々に再生中の画像２ｂの沈み込み量を大きくするようにしてもよい。これによって、ユーザーには、手を３Ｄモニタ１０６に長くかざすほど、画像が奥に押し込まれていくような感覚を与えることができる。

（３）上述した実施の形態では、ステップＳ３０において、制御装置１０４が図４（ｂ）に示すように３次元表示に切り替えるか、図５（ｂ）に示すように３次元表示に切り替えるかは、ユーザーによってあらかじめ選択され、設定されている例について説明した。しかしながら、制御装置１０４は、ユーザーの手２ａの３次元位置を検出した段階では、画像２ｂを２次元表示したままとし、その後、ユーザーの手２ａが３Ｄモニタ１０６から遠ざかったことを検出した場合には、図４（ｂ）に示したように画像２ｂが飛び出すように３次元表示させ、ユーザーの手２ａが３Ｄモニタ１０６に近づいたことを検出した場合には、図５（ｂ）に示したように画像２ｂが沈み込むように３次元表示させるようにしてもよい。これにより、ユーザーには、３Ｄモニタ１０６から手を遠ざけると、それにともなって画像２ｂが手に吸い寄せられるような感覚を与えることができる。また、その一方で、３Ｄモニタ１０６に手を近づけると、それにともなって画像２ｂが奥に押し込まれるような感覚を与えることができる。

あるいは、制御装置１０４は、再生中の画像２ｂに応じて図４（ｂ）に示す３次元表示方法と図５（ｂ）に示す３次元表示方法とを切り替えるようにしてもよい。例えば、再生中の画像２ｂが風景画である場合には、ユーザーの手２ａの３次元位置を検出したときに図５（ｂ）に示す３次元表示に切り替え、再生中の画像２ｂが風景画以外の場合には、ユーザーの手２ａの３次元位置を検出したときに図４（ｂ）に示す３次元表示に切り替えるようにしてもよい。これによって、風景画のように、ユーザー２ａから遠くにある景色を再生する場合には、ユーザーに画像２ｂが奥に沈み込んで遠くに表示されているような感覚を与えることができる。

（４）上述した実施の形態では、３次元位置検出カメラ１０２によって取得された画像内からユーザーの手２ａの３次元位置が１つだけ検出される例について説明した。しかしながら、手が複数ある場合には、複数の手の３次元位置が検出されることも考えられる。その場合には、制御装置１０４は、選択した１つの手に注目して上記処理を行えばよい。例えば、制御装置１０４は、画像の中心に最も近い位置に存在する手に注目してもよいし、画像内で一番大きく写っている手に注目するようにしてもよい。あるいは、制御装置１０４は、時間的に最も早く検出した手に注目するようにしてもよい。

（５）上述した実施の形態では、３次元位置検出カメラ１０２は、図２に示すように、デジタルフォトフレーム１００の前面に配置され、デジタルフォトフレーム１００に対面するユーザーを撮影する例について説明した。この場合、３次元位置検出カメラ１０２に対してユーザーがどの位置に立つかは不明であるため、ユーザーの立つ位置によっては、ユーザーの手２ａが３次元位置検出カメラ１０２の画角内に収まらない可能性がある。よって、これを避けるために、３次元位置検出カメラ１０２を首振り可能な構成として、３次元位置検出カメラ１０２は、撮影範囲を変更しながらユーザーの手２ａが検出できるカメラの向きを探すようにしてもよい。あるいは、ユーザーの手２ａが３次元位置検出カメラ１０２の画角内に収まっていないことをユーザーに報知して、ユーザーに移動を促すようにしてもよい。ユーザーへの報知は、例えば不図示のスピーカーから音を出力して行ってもよいし、３Ｄモニタ１０６上にメッセージを表示するようにしてもよい。この場合、ユーザーの手２ａの３次元位置が検出可能になった時点で、再度音やメッセージを出力したり、画像２ｂに枠を付けて強調表示したりして、ユーザーに手２ａの３次元位置が検出可能になったことを報知してもよい。

（６）上述した実施の形態では、制御装置１０４は、ユーザーの手２ａの３次元位置を検出したときに、画像２ｂを３次元表示する例について説明した。しかしながら、制御装置１０４は、ユーザーの手２ａ以外の対象物の３次元位置を検出したときに、画像２ｂを３次元表示するようにしてもよい。例えば、ユーザーが指示棒を３Ｄモニタ１０６にかざす場合には、制御装置１０４は、指示棒を対象物として検出したときに、画像２ｂを３次元表示するようにしてもよい。

（７）上述した実施の形態では、制御装置１０４は、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６に対して垂直方向に移動したことを検出したとき、すなわち手２ａの３次元位置が３Ｄモニタ１０６に近づいたか遠ざかったことを検出したときに、画像２ｂの飛出し量または沈み込み量を変化させる例について説明した。しかしながら、制御装置１０４は、ユーザーの手２ａの３次元位置が３Ｄモニタ１０６に対して水平方向、すなわち横方向に移動したことを検出した場合に、ユーザーの手２ａの動きに従って再生中の画像２ｂを左右に動かすようにしてもよい。これによって、ユーザーは、手の振りによって直感的に画像２ｂを動かすように指示することができる。あるいは、制御装置１０４は、ユーザーの手２ａの横方向の移動に伴って、再生中の画像２ｂを拡大、縮小したり、再生中の画像を切り替えたりするようにしてもよい。

（８）上述した実施の形態では、制御装置１０４は、画像２ｂの再生開始時は２次元表示することとし、ユーザーの手２ａを検出したタイミングで３次元表示に切り替える例にすいて説明した。しかしながら、制御装置１０４は、再生対象の画像２ｂが３次元画像である場合には、再生開始時から３次元表示するようにしてもよい。また、制御装置１０４は、再生対象の画像２ｂが２次元画像であっても再生開始時から３次元表示するようにしてもよい。

（９）上述した実施の形態では、カメラとして３次元位置検出カメラ１０２を用いる例について説明した。しかしながら、被写体の３次元位置を検出することができない通常のカメラを用いてもよい。この場合、図３のステップＳ２０では、制御装置１０４は、カメラで撮影した画像内からユーザーの手２ａを検出した場合に肯定判断すればよい。また、ステップＳ４０では、制御装置１０４は、カメラから時系列で入力される画像データ間での画像内における手２ａの位置や大きさの変化を監視することにより、ユーザーの手２ａの動きを検出するようにすればよい。

（１０）上述した実施の形態では、画像表示装置としてデジタルフォトフレームを用いる例について説明した。しかしながら、３次元位置検出カメラと３Ｄモニタとを備え、画像再生機能を有する他の機器、例えばデジタルカメラや携帯電話にも本発明は適用可能である。また、テレビや画像を投影するプロジェクタ装置にも本発明は適用可能である。

（１１）上述した第２の実施の形態では、画像２ｂを徐々に球状に変化させる例について説明した。しかしながら、上述した球状に限ることはなく、画像２ｂを凸面または凹面の奥行き感を表現できる形状に変化させればよい。たとえば、多角形や円筒状などに変化させるようにしてもよい。

（１２）上述した第４の実施の形態では、動画像を操作するための操作アイコン４ａ〜４ｃを３次元表示させる例について説明した。しかしながら、以下に述べるような画像を３次元表示させてもよい。

たとえば、変形例１２の制御装置１０４は、電源がオンされると、図１１（ａ）に示すように、３Ｄモニタ１０６に、アプリケーションプログラム（以下、アプリと呼ぶ）の起動を指示するためのアイコン（以下、アプリアイコンと呼ぶ）ａ１〜ａ９を格子状に並べて２次元表示させる。たとえば、アプリアイコンａ７は静止画像を再生するアプリに対応し、アプリアイコンａ８は動画像を再生するアプリに対応する。

そして、制御装置１０４は、ユーザーの手２ａの３次元位置を検出した場合には、図１１（ｂ）に示すように、３Ｄモニタ１０６に、アプリアイコンａ１〜ａ９を飛び出すように３次元表示させる。

その後、制御装置１０４は、手２ａの３次元位置が３Ｄモニタ１０６に近づく方向に移動したことを検出した場合には、図１１（ｃ）に示すように、図１１（ｂ）に示した状態から、手２ａとアプリアイコンａ１〜ａ９との間の奥行き方向の距離を短くして、アプリアイコンａ１〜ａ９の飛び出し量を大きくする。

またこのとき制御装置１０４は、手２ａの３次元位置に対応するアプリアイコンａ７の色を、他のアプリアイコンａ１〜ａ６、ａ８、ａ９と異なる色で表示させることにより、アプリアイコンａ７を強調表示する。これによって、ユーザーに、アプリアイコンａ７が操作候補であることを報知することができる。

さらに制御装置１０４は、図１１（ｄ）に示すように、手２ａの３次元位置が３Ｄモニタ１０６にさらに近づく方向に移動し、手２ａと３Ｄモニタ１０６との距離が所定値（たとえば５ｃｍ）以内になったことを検出した場合には、強調表示していたアプリアイコンａ７に対応するアプリ（ここでは、静止画像の再生アプリ）を起動する。

（１３）上述した第４の実施の形態では、手２ａの３次元位置に対応する操作アイコン４ａの色を異なる色で表示させることで強調表示する例について説明した。しかしながら、強調表示の方法はこれに限らなくてもよく、たとえば、操作アイコン４ａを枠で囲んだり、他の操作アイコンよりも大きくしたり、輝度を高めたり、飛び出し量を大きくしたりすることによって強調表示するようにしてもよい。

（１４）なお、上記の各実施の形態では、手の動きにより操作を行ったが、手の動きに加えて、指の動きにより操作を行うようにしてもよい。例えば、指を握った状態から指を広げた状態への変化を検出した場合は、表示している画像を拡大し、逆に、指を広げた状態から指を握った状態への変化を検出した場合は、表示している画像を縮小させる。また、指を立てる本数により、操作を行う例として、指を１本立てたら、動画を通常の速度で再生し、指を２本立てたら、動画を２倍の速度で再生し、指を３本立てたら、動画を４倍の速度で再生するようにする。これにより、操作のバリエーションを増やすことができる。

また、上記の各実施の形態では、手の動きにより操作を行ったが、手の代わりに、頭の動きにより、手の動きと同様の操作を行っても良い。これにより、パソコンを操作する際に、キーボードや、マウスを操作するために、手の動きによる操作ができない場合でも、頭の動きにより操作を行うことができる。

なお、上記の各実施の形態では、手の動きにより操作を行ったが、手に持っている物体（ペン等）の動きにより操作を行うようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態どうしを組み合わせてもよいし、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００デジタルフォトフレーム、１０１操作部材、１０２３次元位置検出カメラ、１０３接続ＩＦ、１０４制御装置、１０５記憶媒体、１０６３Ｄモニタ

Claims

人物の手または前記人物の手に持っている物体を検出する検出手段と、
前記検出手段によって前記人物の手または前記人物の手に持っている物体が検出されたときに、画像を３次元表示する表示制御手段と、を備えることを特徴とする画像表示装置。
請求項１に記載の画像表示装置において、
前記人物の手または前記人物の手に持っている物体の動きを検出する動き検出手段をさらに備え、
前記表示制御手段は、前記動き検出手段によって前記人物の手または前記人物の手に持っている物体の動きが検出された場合には、前記人物の手または前記人物の手に持っている物体の動きに応じて、前記人物の手または前記人物の手に持っている物体と前記画像との間の前後方向の距離を変化させることを特徴とする画像表示装置。
請求項２に記載の画像表示装置において、
前記表示制御手段は、前記人物の手または前記人物の手に持っている物体と前記画像との間の前後方向の距離が視覚的に常に一定になるように変化させることを特徴とする画像表示装置。
請求項１〜３のいずれか一項に記載の画像表示装置において、
前記表示制御手段は、前記人物の手または前記人物の手に持っている物体と前記画像との間の前後方向の距離を視覚的に短くすることにより、前記画像が手前に飛び出すように３次元表示することを特徴とする画像表示装置。
請求項４に記載の画像表示装置において、
前記表示制御手段は、前記画像を視覚的に前記人物の手または前記人物の手に持っている物体に近い位置まで飛び出させることを特徴とする画像表示装置。
請求項１〜３のいずれか一項に記載の画像表示装置において、
前記表示制御手段は、前記人物の手または前記人物の手に持っている物体と前記画像との間の前後方向の距離を視覚的に長くすることにより、前記画像が奥に沈み込むように３
次元表示することを特徴とする画像表示装置。
請求項１〜３のいずれか一項に記載の画像表示装置において、
前記表示制御手段は、前記人物の手または前記人物の手に持っている物体と前記画像との間の前後方向の距離を視覚的に短くすることにより、前記画像が手前に飛び出すように３次元表示する第１の方法と、前記人物の手または前記人物の手に持っている物体と前記画像との間の前後方向の距離を視覚的に長くすることにより、前記画像が奥に沈み込むように３次元表示する第２の方法とを、前記人物によってあらかじめ設定された設定操作または再生中の画像が風景画かそれ以外かによって、切り替えることを特徴とする画像表示装置。
請求項７に記載の画像表示装置において、
前記表示制御手段は、前記画像に応じて、または前記人物の手または前記人物の手に持っている物体の移動方向に応じて、前記第１の方法と前記第２の方法とを切り替えることを特徴とする画像表示装置。
請求項１〜３のいずれか一項に記載の画像表示装置において、
前記表示制御手段は、前記検出手段によって前記人物の手または前記人物の手に持っている物体が検出されたときに、前記画像の形状を変化させると共に前記形状に応じた奥行きを視覚的に与えるように３次元表示することを特徴とする画像表示装置。
請求項２に記載の画像表示装置において、
前記表示制御手段は、前記人物の手または前記人物の手に持っている物体の動きに応じて、前記人物の手または前記人物の手に持っている物体と前記画像との間の前後方向の距離を変化させながら前記画像を移動させることを特徴とする画像表示装置。
請求項２に記載の画像表示装置において、
前記人物の手または前記人物の手に持っている物体が表示部に近づく方向へ動き、前記人物の手または前記人物の手に持っている物体と表示部との距離が所定値以下になったことが前記動き検出手段によって検出された場合には、前記画像に対応付けられた処理を実行する処理実行部をさらに備えることを特徴とする画像表示装置。
請求項２に記載の画像表示装置において、
前記表示制御手段は、前記動き検出手段によって表示部に近づく方向への前記人物の手または前記人物の手に持っている物体の動きが検出された場合には、前記画像を含む複数枚の画像を縮小して３次元表示することを特徴とする画像表示装置。
請求項１１に記載の画像表示装置において、
前記画像は動画像を操作するための操作アイコンであることを特徴とする画像表示装置。
請求項１１に記載の画像表示装置において、
前記画像はアプリケーションプログラムの起動を指示するためのアイコンであることを特徴とする画像表示装置。