JP5034880B2 - 電子カメラ、画像表示装置 - Google Patents

Description

本発明は、電子カメラおよび画像表示装置に関する。

従来、カメラに記録されている撮影画像の中から、所望の画像を検索するための様々な方法が提案されている。特許文献１には、ファイル名、撮影日時、名前などのキーワードをユーザが入力すると、そのキーワードに基づいて、記録されている撮影画像の中から該当する画像を検索する電子カメラが開示されている。

特開２００６−１６６１９３号公報

特許文献１に開示される電子カメラでは、検索用のキーワードを入力しなければならないため、ユーザにとって煩わしい。そこで、キーワードを入力しなくても、予め記録された画像の中から、撮影状況に応じた画像を簡単に検索して表示できる方法が求められている。

請求項１の発明による電子カメラは、被写体を撮像してスルー画像を取得する撮像部と、撮像部で取得したスルー画像を表示する表示部と、位置および方向を検出する検出部と、検出部により検出された位置および方向に基づいて、予め記録された画像からスルー画像に関連する画像を検索する検索部と、表示部に表示されているスルー画像を検索部で検索された画像に切り替える制御部とを備え、検索部は、位置もしくは方向を変更した画像、または位置からのズーム可能範囲外の画像を検索することを特徴とする。
請求項９の発明による画像表示装置は、地図を表示する表示部と、位置および方向を検出する検出部と、前記検出部により検出された位置および方向と、撮影情報とに基づいて、被写体を特定する特定部と、地図上で指定された地点から、特定部で特定された被写体を撮影した画像を検索する検索部とを備え、検索部は、位置もしくは方向を変更した画像、または位置からのズーム可能範囲外の画像を検索し、検索部で検索された画像を地図に切り替えて表示部に表示することを特徴とする。

本発明によれば、予め記録された画像の中から、撮影状況に応じた画像を簡単に検索して表示することができる。

−第１の実施の形態−
以下に図面を用いて本発明の一実施の形態について説明する。図１は、本発明の一実施形態によるデジタルカメラを含むカメラシステムの構成図である。図１に示すカメラシステムは、デジタルカメラ１、アクセスポイント２およびサーバ装置３によって構成される。アクセスポイント２とサーバ装置３は、インターネットを介して接続されている。

デジタルカメラ１は、ユーザの撮影指示に応じて被写体を撮影し、撮影画像情報を取得する電子カメラである。また、デジタルカメラ１は、アクセスポイント２と無線通信を行うための無線通信機能を有している。この無線通信により、アクセスポイント２およびインターネットを介して、デジタルカメラ１とサーバ装置３が接続される。なお、デジタルカメラ１の構成については、後で図２および図３を用いて詳細に説明する。

アクセスポイント２は、デジタルカメラ１を含む無線通信機能を備えた各種の機器がインターネット等のネットワークを利用して通信できるようにするための装置である。デジタルカメラ１とアクセスポイント２が無線通信を行うことにより、前述のようにデジタルカメラ１とサーバ装置３が接続される。

サーバ装置３は、時空データベースと呼ばれる情報のデータベースを格納している。この時空データベースには、様々な情報がその情報の取得位置および取得時刻と関連付けて記録されている。たとえば、デジタルカメラ１または他のカメラによって取得された撮影画像情報や、文字情報、音声情報などが、その取得位置および取得時刻と関連付けて時空データベースに記録されている。

次に、デジタルカメラ１の構成について説明を行う。図２は、デジタルカメラ１の外観を示す図である。図２の外観図において、デジタルカメラ１は、シャッターボタン１１、電源ボタン１２、ズームボタン１３、再生ボタン１４、メニューボタン１５、削除ボタン１６、ジョグダイヤル１７、決定ボタン１８、ＬＡＮ（Local Area Network）アクセス用ＬＥＤ（Light Emitting Diode）１９、ストロボ充電用ＬＥＤ２０、ＡＦ（Auto Focus）用ＬＥＤ２１、メモリアクセス用ＬＥＤ２２、電源用ＬＥＤ２３およびモニタ１０４を備える。

シャッターボタン１１は、ユーザがデジタルカメラ１に対して撮影の指示などを行うための操作ボタンであり、半押し、全押しの２段階のスイッチを有する。電源ボタン１２は、ユーザがデジタルカメラ１のメイン電源をオンからオフに、またはオフからオンに切り替えるための操作ボタンである。ズームボタン１３は、ユーザがデジタルカメラ１の撮影レンズの焦点距離を変化させる際などに使用する操作ボタンである。

再生ボタン１４は、ユーザがデジタルカメラ１に画像データの再生指示などを行うための操作ボタンである。メニューボタン１５は、ユーザがデジタルカメラ１に対してメニュー画面の呼び出し指示などを行うための操作ボタンである。削除ボタン１６は、ユーザがデジタルカメラ１に装填されたメモリカードから画像データを削除する際などに用いられる操作ボタンである。

ジョグダイヤル１７は、画面中のカーソルの移動指示などをユーザが行うための回転可能な操作部材である。決定ボタン１８は、ユーザがメニュー画面において設定内容の決定などを行うための操作ボタンである。

ＬＡＮアクセス用ＬＥＤ１９は、デジタルカメラ１がアクセスポイント２と無線通信を行っているときなどに点灯する表示装置である。ＬＡＮアクセス用ＬＥＤ１９が点灯することにより、デジタルカメラ１が通信中であることをユーザに知らせることができる。ストロボ充電用ＬＥＤ２０は、ストロボの充電中に点灯する表示装置である。ストロボ充電用ＬＥＤ２０が撮影前に点灯することにより、ストロボ充電中であり撮影準備が完了していないことをユーザに知らせることができる。

ＡＦ用ＬＥＤ２１は、ＡＦの合焦状態をユーザに知らせるための表示装置である。メモリアクセス用ＬＥＤ２２は、メモリアクセス状態のとき、すなわち、デジタルカメラ１に装填されたメモリカードにデータを書き込んでいるとき、および、メモリカードからデータを読み込んでいるときに点灯する表示装置である。電源用ＬＥＤ２３は、デジタルカメラ１が電源投入状態のときに点灯する表示装置である。

モニタ１０４は、ＬＣＤ（Liquid Crystal Display）等を用いたカラー表示装置であり、各種の画像を表示する。たとえば、モニタ１０４がスルー画像を表示することにより、モニタ１０４は撮影時のビューファインダとして用いられる。なお、スルー画像（スルー画）とは、撮影時にリアルタイムでモニタ１０４に表示される被写体の撮影画像である。さらに、モニタ１０４は、撮影画像の再生表示や、メニュー画面の表示等を行うこともできる。

図３は、デジタルカメラ１のブロック図である。このブロック図に示すように、デジタルカメラ１は、ＣＰＵ１０１、圧縮／伸張回路１０２、表示ドライバ１０３、モニタ１０４、キー入力部１０５、無線ＬＡＮ回路１０６、ＧＰＳ（Global Positioning System）センサ１０７、モーションセンサ１０８、コンデンサ１０９、バッテリ１１０、ストロボ１１１、ＣＣＤ（Charge Coupled Device）ドライバ１１２、ＣＣＤ１１３およびメモリ１１４を有している。また、記録媒体であるメモリカード１１５が不図示のカードスロットに装填されている。

ＣＰＵ１０１は、様々な処理や制御を実行するための回路であり、マイコン等を用いて構成される。圧縮／伸張回路１０２は、撮影画像データの圧縮／伸張を行う回路である。表示ドライバ１０３は、モニタ１０４に表示する映像をコントロールする駆動回路である。キー入力部１０５は、デジタルカメラ１に設けられたボタン、スイッチ、ダイヤル等の操作を検出する回路である。

無線ＬＡＮ回路１０６は、無線で外部機器と通信するための通信回路である。この無線ＬＡＮ回路１０６によってアクセスポイント２との間で無線通信を行うことにより、デジタルカメラ１がインターネットを介してサーバ装置３に接続される。なお、無線ＬＡＮを利用してＷｉＦｉ測位しても良い。この場合、ＧＰＳは不要となる。

ＧＰＳセンサ１０７は、ＧＰＳ衛星から送信されるＧＰＳ信号を受信し、ＣＰＵ１０１へ出力する。このＧＰＳ信号に基づいて、ＣＰＵ１０１においてデジタルカメラ１の現在位置が検出される。モーションセンサ１０８は、デジタルカメラ１の姿勢変化を、ピッチ、ヨー、ロールの各方向について検出する。なお、デジタルカメラ１において光軸を水平方向に向けたときに、ピッチ方向の姿勢変化は、その光軸と水平に直交する軸回りの姿勢変化、すなわち仰角の変化を表し、ヨー方向の姿勢変化は、その光軸と垂直に直交する軸回りの姿勢変化、すなわち方位角の変化を表している。また、ロール方向の姿勢変化は、光軸回りの姿勢変化、すなわちデジタルカメラ１の傾きの変化を表している。

コンデンサ１０９は、バッテリ１１０からの電力を受けて充電し、ストロボ１１１の発光に使用する。また、緊急時のバックアップ電源としてカメラの駆動に使用する。バッテリ１１０は、デジタルカメラ１を動作させるために必要な電力を供給するリチウムイオン充電池等の電源である。

ストロボ１１１は、被写体に補助光を照射することにより暗い環境でも撮影を可能にする。ＣＣＤドライバ１１２は、ＣＣＤ１１３を駆動するための回路である。ＣＣＤ１１３は、撮影レンズを介した被写体像を撮像するための撮像素子である。ＣＣＤ１１３によって被写体像が撮像されると、ＣＣＤ１１３からＣＣＤドライバ１１２へ撮像信号が出力される。この撮像信号は、ＣＣＤドライバ１１２において撮像画像データに変換された後、ＣＰＵ１０１へ出力される。

メモリ１１４は、不揮発性の半導体メモリであり、ＣＰＵ１０１が実行する制御に用いるためのプログラムやデータ等を記憶している。メモリカード１１５は、ＣＰＵ１０１の制御により、デジタルカメラ１によって取得された撮影画像情報など各種の情報が記録される。なお、メモリカード１１５には、前述の図１のサーバ装置３と同様に、取得位置および取得時刻と関連付けて情報が記録されている。すなわち、メモリカード１１５には、デジタルカメラ１において取得された情報による時空データベースが格納されている。

続いて、デジタルカメラ１の動作について説明する。デジタルカメラ１は、撮影画像を取得するための撮影モードをユーザの操作に応じて設定することができる。

撮影モードが設定されている場合、デジタルカメラ１は、被写体の撮影を行う前には、ＣＣＤ１１３によって撮像された被写体の像に基づいて、前述したようにスルー画像を取得し、モニタ１０４に表示する。シャッターボタン１１をユーザが操作することによって撮影指示が行われると、デジタルカメラ１はその撮影指示に応じて、被写体を撮影して撮影画像を取得し、取得した撮影画像の情報をメモリカード１１５に記録する。

メモリカード１１５に撮影画像情報を記録する際、デジタルカメラ１は、その撮影画像情報に撮影時の様々な情報をメタ情報として付加する。たとえば、撮影時刻、撮影画像の画角、焦点距離、シャッター速度、主要被写体の位置、主要被写体までの距離など、様々な情報をメタ情報として撮影画像情報に付加して、メモリカード１１５に記録する。このメタ情報には、ＧＰＳセンサ１０７を用いて撮影時に検出されたデジタルカメラ１の位置情報も含まれる。すなわち、ＣＣＤ１１３で撮像した画像は、ＧＰＳセンサ１０７から出力されたＧＰＳ信号に基づいてＣＰＵ１０１で検出された位置に関する情報（データ）をメタ情報として有している。このようなメタ情報が付加された撮影画像情報がメモリカード１１５に記録されることで、デジタルカメラ１において取得された撮影画像の情報が、その取得位置および取得時刻と関連付けて、メモリカード１１５の時空データベースに記録される。

さらにこのとき、デジタルカメラ１は、モーションセンサ１０８によって検出されたデジタルカメラ１の姿勢変化に基づいて、撮影時のデジタルカメラ１の向きを検出する。このとき、デジタルカメラ１の水平方向の向きを表す方位角と、デジタルカメラ１の鉛直方向の向きを表す仰角とを求めることにより、撮影時のデジタルカメラ１の向きを検出する。こうして検出された撮影時の向きの情報をメタ情報に加えることで、撮影画像情報をさらに取得方向と関連付けてメモリカード１１５の時空データベースに記録してもよい。

なお、メモリカード１１５に記録された撮影画像情報の一部を、ユーザの操作に応じてデジタルカメラ１からサーバ装置３へ送信し、サーバ装置３において時空データベースに記録するようにしてもよい。このとき、撮影画像を取得したときに検出されたデジタルカメラ１の位置や向き、時間などの情報が、撮影画像情報と共にメタ情報として送信される。これらのメタ情報を撮影画像情報と共に記録することにより、サーバ装置３の時空データベースにおいて、撮影画像情報がその取得位置、取得時間、取得方向などと関連付けて記録される。すなわち、メモリカード１１５またはサーバ装置３の時空データベースには、位置に関するデータや、向きに関するデータ、当該情報が作成された時間データなどを、メタ情報として有する情報が記録されている。

デジタルカメラ１は、さらに時空ズーム機能を有している。時空ズーム機能とは、時空データベースに記録されている撮影画像の中から、撮影時にデジタルカメラ１が表示している被写体のスルー画像に関連する画像を検索して表示する機能である。この時空ズーム機能を用いることにより、デジタルカメラ１は、撮影状況に応じた画像を時空データベースから簡単に検索して表示することができる。なお、時空ズーム機能によってサーバ装置３の時空データベースに記録されている画像が検索された場合は、その画像がインターネットおよびアクセスポイント２を介してデジタルカメラ１へ送信される。

上記の時空ズーム機能の具体例について説明する。たとえば、図４に示すようなスルー画像がデジタルカメラ１においてＣＣＤ１１３により取得され、モニタ１０４に表示されているとする。図４のスルー画像には、山３１が被写体として撮影されている。

図４のスルー画像が表示されているときに、ズームボタン１３においてユーザからの操作が検出されると、撮影レンズの焦点距離が変化することにより、スルー画像の画角が変化してスルー画像が拡大または縮小される。こうしてスルー画像の画角を変化させる操作を、以下ではズーム操作と称する。このズーム操作により、撮影レンズの焦点距離が最大ズーム距離、すなわちテレ端側に設定されると、たとえば図５のようなスルー画像が表示される。図５のスルー画像では、山３１が図４よりも拡大して表示されている。

デジタルカメラ１において最大ズーム距離が設定され、図５のスルー画像が表示されると、このスルー画像に関連する撮影画像が時空データベースから検索される。このとき、スルー画像を取得した際のデジタルカメラ１の位置および方向に基づいて、スルー画像に関連する画像が検索される。このようして検索される画像を、以下では時空ズーム画像と称する。

たとえば、図５のスルー画像を取得したときのデジタルカメラ１の位置および方向と同じ撮影位置および撮影方向で撮影され、スルー画像よりも画角が狭い画像を、スルー画像に関連する時空ズーム画像として検索する。すなわち、スルー画像を取得したのと同じ場所から、デジタルカメラ１の最大ズーム距離よりも長いズーム距離で撮影された画像を、時空ズーム画像として検索する。

上記のようにして時空ズーム画像が検索されると、図５のスルー画像中に画角枠３２が表示される。この画角枠３２は、時空ズーム画像の画角を示している。このような画角枠３２が図５のスルー画像中に表示されることで、ユーザは検索された時空ズーム画像がスルー画像中のどの範囲に対応しているかを知ることができる。なお、時空ズーム画像が検索されなかった場合は、図５のスルー画像において画角枠３２は表示されない。

画角枠３２を表示するための画角の情報は、前述のメタ情報として撮影画像に付加され、時空データベースに記録されている。この画角の情報に基づいて、時空ズーム画像として検索された撮影画像の画角が求められ、求められた画角に応じた大きさで画角枠３２がスルー画像中に表示される。また、画角枠３２の表示位置は、前述のメタ情報として撮影画像に付加された撮影時のデジタルカメラ１の向き情報に基づいて決定される。

図５のスルー画像において画角枠３２が表示された後、さらにテレ側の方向にズームボタン１３が操作されると、検索された時空ズーム画像がスルー画像に切り替えて表示される。たとえば、図５のスルー画像に切り替えて、図６のような撮影画像が時空ズーム画像として表示される。この時空ズーム画像では、山３１が図５よりもさらに拡大して表示されている。なお、図６の時空ズーム画像の画角は、図５に示す画角枠３２の範囲に対応している。

以上説明したような時空ズーム画像を検索して表示することにより、デジタルカメラ１は、ズーム可能な範囲を超えているため実際には観察できないような画像を、ユーザに提示することができる。

あるいは、図５のスルー画像を取得したときのデジタルカメラ１の方向と同じ撮影方向で撮影され、デジタルカメラ１がスルー画像を取得した位置よりも被写体である山３１までの距離が近い撮影位置で撮影された画像を、スルー画像に関連する時空ズーム画像として検索してもよい。すなわち、スルー画像を取得した場所よりも被写体に近い位置で、スルー画像と同じ方向で撮影された画像を、時空ズーム画像として検索する。このような時空ズーム画像を表示することでも、デジタルカメラ１のズーム可能な範囲を超えて画像を提供することができる。

さらに、障害物等に遮られており、スルー画像の取得位置から実際は見えない物体の撮影画像を、スルー画像に関連する時空ズーム画像として検索することとしてもよい。たとえば、スルー画像中に壁などが被写体として写っているときに、その壁の向こう側で同じ撮影方向により撮影された画像を、スルー画像に関連する時空ズーム画像として検索する。すなわち、スルー画像を取得したときのデジタルカメラ１の方向と同じ撮影方向で撮影され、スルー画像中の被写体よりも当該撮影方向にある撮影位置で撮影された画像を、スルー画像に関連する時空ズーム画像として検索する。このような時空ズーム画像を表示すれば、あたかも壁などを通り抜けて撮影したような視覚効果をユーザに対して与えることができる。

なお、上記のような時空ズーム画像の検索および表示を、光学ズームとデジタルズームを併用したデジタルカメラにおいて実行してもよい。すなわち、光学ズーム可能な範囲を超えて所定倍率のデジタルズームを行った後、そのデジタルズームの範囲を超えた撮影画像を時空ズーム画像として時空データベースから検索し、表示することもできる。

デジタルカメラ１は、以上説明したような処理を実行することにより、時空データベースからスルー画像に関連する時空ズーム画像を検索して表示する。図７は、このときの処理の流れを示すフローチャートである。このフローチャートは、ＣＰＵ１０１によって実行される。以下、図７のフローチャートについて説明する。

ステップＳ１０では、ＣＣＤ１１３からの撮像信号に基づく撮影画像データをＣＣＤドライバ１１２から受信して、被写体のスルー画像を取得する。ステップＳ２０では、ステップＳ１０で取得したスルー画像をモニタ１０４に表示する。これにより、図４または図５のようなスルー画像が表示される。

ステップＳ３０では、撮影レンズの焦点距離が最大ズーム距離に設定されているか否かを判定する。最大ズーム距離に設定されている場合は、次のステップＳ４０へ進む。最大ズーム距離に設定されていない場合は、ステップＳ１０へ戻ってスルー画像の取得を続ける。なお、このときユーザがシャッターボタン１１を操作して撮影指示を行うと、その撮影指示に応じて撮影画像が取得され、撮影画像情報がメモリカード１１５に記録される。

ステップＳ４０では、カメラ位置の検出を行う。ここでは、ＧＰＳセンサ１０７によりＧＰＳ信号を受信することで、そのＧＰＳ信号に基づいて、デジタルカメラ１の現在位置を示すカメラ位置を検出する。次のステップＳ５０では、カメラ姿勢の検出を行う。ここでは、モーションセンサ１０８によって検出されたデジタルカメラ１の姿勢変化に基づいて、デジタルカメラ１の現在の向きを示すカメラ向きを検出する。ステップＳ４０およびステップＳ５０が実行されることにより、ステップＳ１０でスルー画像を取得した位置および方向が検出される。

ステップＳ６０では、ステップＳ４０で検出したカメラ位置と、ステップＳ５０で検出したカメラ向きとに基づいて、時空ズーム画像の検索を行う。ここでは、前述したいずれかの方法により、ステップＳ１０で取得したスルー画像に関連する時空ズーム画像を時空データベースから検索する。すなわち、スルー画像を取得した位置および方向と同じ撮影位置および撮影方向で撮影され、スルー画像よりも画角が狭い画像や、スルー画像を取得した方向と同じ撮影方向であり、スルー画像を取得した位置よりも被写体までの距離が近い撮影位置で撮影された画像、または、スルー画像を取得した方向と同じ撮影方向であり、被写体よりも撮影方向にある撮影位置で撮影された画像を、時空ズーム画像として時空データベースから検索する。これにより、ステップＳ１０でスルー画像を取得した位置および方向に基づいて、そのスルー画像に関連する時空ズーム画像が検索される。

ステップＳ７０では、ステップＳ６０において、ステップＳ１０で取得したスルー画像に関連する時空ズーム画像が検索されたか否かを判定する。上記のいずれかの条件を満たす時空ズーム画像が時空データベースから検索された場合は、ステップＳ８０へ進む。一方、上記のような条件を満たす画像が時空データベースに記録されておらず、したがって時空ズーム画像を検索できなかった場合は、ステップＳ１０へ戻り、スルー画像の取得からやり直す。

ステップＳ８０では、ステップＳ６０で検索された時空ズーム画像の画角を示す枠を、ステップＳ２０で表示したスルー画像中に表示する。これにより、図５のスルー画像において画角枠３２が表示される。なお、ステップＳ６０において複数の時空ズーム画像が検索された場合は、その複数の時空ズーム画像に対して画角枠をそれぞれ表示する。

ステップＳ９０では、ズームボタン１３においてユーザからテレ側の方向に対するズーム操作があったか否かを判定する。このようなズーム操作がズームボタン１３によって検出された場合は、ステップＳ１００へ進む。ズーム操作が検出されなかった場合は、ステップＳ１０へ戻る。

ステップＳ１００では、ステップＳ９０でズームボタン１３によって検出されたズーム操作に応じて、ステップＳ６０で検索された時空ズーム画像をモニタ１０４に表示する。これにより、ステップＳ２０で表示したスルー画像に切り替えて、そのスルー画像に関連する図６のような時空ズーム画像がモニタ１０４に表示される。なお、ステップＳ６０において複数の時空ズーム画像が検索された場合は、その全てを表示してもよいし、あるいは、検索された時空ズーム画像のうちいずれを表示するかをユーザに選択させるようにしてもよい。たとえば、ステップＳ８０でスルー画像中に複数表示された画角枠のいずれかをジョグダイヤル１７の操作等によってユーザに選択させたり、デジタルカメラ１の向きを変化させたりすることで、時空ズーム画像の選択を行うことができる。なお、ジョグダイヤル１７の操作とは、例えば、フォーカスセレクターの操作のことである。

ステップＳ１００を実行したら、図７のフローチャートを終了する。デジタルカメラ１は、以上説明した処理をＣＰＵ１０１において実行することにより、スルー画像に関連する時空ズーム画像を検索してユーザに提示する。

以上説明した第１の実施の形態によれば、次の作用効果を奏する。
（１）デジタルカメラ１は、ＣＣＤ１１３で被写体を撮像してスルー画像を取得し（ステップＳ１０）、取得したスルー画像をモニタ１０４に表示する（ステップＳ２０）。そして、ＣＰＵ１０１の処理により、時空データベースに予め記録された画像からスルー画像に関連する時空ズーム画像を検索し（ステップＳ６０）、検索された時空ズーム画像をスルー画像に切り替えてモニタ１０４に表示する（ステップＳ１００）こととした。このようにしたので、予め記録された画像の中から、撮影状況に応じた画像を簡単に検索して表示することができる。

（２）デジタルカメラ１は、ＣＰＵ１０１の処理により、ステップＳ４０、Ｓ５０において、カメラ位置とカメラ向きをそれぞれ検出する。ステップＳ６０では、この検出結果を用いて、スルー画像を取得した位置および方向に基づいて、スルー画像に関連する時空ズーム画像を検索する。このようにしたので、時空データベースから時空ズーム画像を確実に検索することができる。

（３）ステップＳ６０では、スルー画像に関連する時空ズーム画像として、スルー画像を取得した位置および方向と同じ撮影位置および撮影方向で撮影され、スルー画像よりも画角が狭い画像を検索することができる。こうして検索された画像をモニタ１０４に表示することにより、デジタルカメラ１は、ズーム可能な範囲を超えているため実際には観察できないような画像をユーザに提示することができる。

（４）また、ステップＳ６０では、スルー画像に関連する時空ズーム画像として、スルー画像を取得した方向と同じ撮影方向であり、スルー画像を取得した位置よりも被写体までの距離が近い撮影位置で撮影された画像を検索することもできる。こうして検索された画像をモニタ１０４に表示することにより、デジタルカメラ１は、上記と同様に、ズーム可能な範囲を超えているため実際には観察できないような画像をユーザに提示することができる。

（５）さらに、ステップＳ６０では、スルー画像に関連する時空ズーム画像として、スルー画像を取得した方向と同じ撮影方向であり、被写体よりも撮影方向にある撮影位置で撮影された画像を検索することもできる。こうして検索された画像をモニタ１０４に表示することにより、デジタルカメラ１は、あたかも壁などを通り抜けて撮影したような視覚効果をユーザに対して与えることができる。

（６）デジタルカメラ１は、モニタ１０４において、スルー画像に対して時空ズーム画像の画角枠を表示する（ステップＳ８０）。これにより、ステップＳ６０で検索された時空ズーム画像の画角をスルー画像中に示すこととした。このようにしたので、検索された時空ズーム画像がスルー画像中のどの範囲に対応しているかをユーザに分かりやすく知らせることができる。

（７）ズームボタン１３でズーム操作が検出されると（ステップＳ９０）、そのズーム操作に応じてステップＳ１００を実行し、ステップＳ６０で検索された時空ズーム画像をスルー画像に切り替えてモニタ１０４に表示することとした。このようにしたので、ユーザは特に意識しなくても、簡単に時空ズーム機能を利用することができる。

−第２の実施の形態−
次に本発明の第２の実施の形態について説明する。本実施形態では、前述とは異なる方法を用いて、スルー画像に関連する時空ズーム画像を時空データベースから検索する例を説明する。

たとえば、図８に示すようなスルー画像がデジタルカメラ１においてＣＣＤ１１３により取得され、モニタ１０４に表示されているとする。図８のスルー画像には、東京タワー３３が被写体として撮影されている。このとき、デジタルカメラ１の位置や向き、撮影レンズの焦点距離や焦点調節状態などに基づいて、図８のスルー画像における被写体が東京タワーであると特定される。スルー画像を解析して被写体を特定してもよい。被写体が複数存在する場合は、フォーカスセレクターのユーザ操作により所望の被写体を選択しても良い。

図８のスルー画像が表示されているときに、デジタルカメラ１においてメニューボタン１５や決定ボタン１８等を用いて所定の地図表示要求操作が行われると、たとえば図９に示すような地図がモニタ１０４に表示される。図９の地図では、カーソル３４により、現在のカメラ位置すなわち図８のスルー画像の取得位置が表示されている。なお、地図は、２次元（２Ｄ）の地図または３次元（３Ｄ）の地図のどちらでも良い。

図９の地図において、ユーザがジョグダイヤル１７等を操作すると、その操作に応じてカーソル３４の位置が移動する。カーソル３４を地図上で任意の位置に移動させた後、たとえば決定ボタン１８をユーザが操作すると、そのときカーソル３４によって選択されていた地点が時空ズーム画像の検索対象地点として指定される。こうして時空ズーム画像の検索対象地点が指定されると、その地点から図８のスルー画像の被写体である東京タワー３３を撮影した画像が、時空ズーム画像として時空データベースから検索される。なお、時空ズーム画像を検索可能な地点を地図上に示すようにしてもよい。

以上説明したようにして、地図上で指定された検索対象地点において被写体を撮影した時空ズーム画像が検索されたら、その時空ズーム画像をモニタ１０４に表示する。こうして時空ズーム画像が検索されて表示されることにより、実際の位置移動を要することなく、任意の位置において被写体を撮影した画像をユーザに提示することができる。

たとえば、図１０に示すように、東京タワーに程近い地点にカーソル３４が地図上で移動され、この地点が時空ズーム画像の検索対象地点として指定されたとする。この場合、図１１に示すように、東京タワー３３を真下から見上げて撮影したような画像が時空ズーム画像として時空データベースから検索され、モニタ１０４に表示される。

なお、以上説明したような時空ズーム画像の検索を、スルー画像を取得せずに行うようにしてもよい。たとえば、上記のようにして地図を表示し、その地図上のいずれかの地点を検索対象地点としてユーザに指定させると共に、検索対象とする被写体を特定するための情報をユーザに入力させる。このときユーザは、たとえば、「東京タワー」などのキーワードを入力したり、地図上で被写体とする東京タワーの位置を指定したりすることで、被写体を特定するための情報を入力する。こうして入力された情報に基づいて、被写体を特定し、その被写体を撮影した画像を時空ズーム画像として検索することができる。また、ユーザ入力は、キーワードを発話しても良い。この場合、音声認識によってキーワードを選択する。

さらに、検索する時空ズーム画像の時間範囲をデジタルカメラ１において指定できるようにしてもよい。たとえば、デジタルカメラ１の傾きをユーザが変化させると、その傾きに応じた時間範囲を設定して、時空ズーム画像を検索する。これにより、たとえば図１１の時空ズーム画像に代えて、夜景の東京タワーの撮影画像や、建設中の東京タワーの撮影画像が表示される。なお、他の方法で時間範囲を設定してもよい。

デジタルカメラ１は、以上説明したような処理を実行することにより、地図上で指定された地点から被写体を撮影した画像を、時空ズーム画像として時空データベースから検索して表示する。図１２は、このときの処理の流れを示すフローチャートである。このフローチャートは、ＣＰＵ１０１によって実行される。以下、図１２のフローチャートについて説明する。

ステップＳ１１０およびＳ１２０では、図７のフローチャートのステップＳ１０およびＳ２０と同様の処理を実行する。すなわち、ステップＳ１１０で被写体のスルー画像を取得し、ステップＳ１２０でそのスルー画像をモニタ１０４に表示する。これにより、図８のようなスルー画像が表示される。なお、前述のようにスルー画像を取得せずに時空ズーム画像の検索を行う場合は、ステップＳ１１０およびＳ１２０の処理を実行しなくてもよい。

ステップＳ１３０では、所定の地図表示要求操作が行われたか否かを判定する。メニューボタン１５や決定ボタン１８等による地図表示要求操作が検出されたら、次のステップＳ１４０へ進む。地図表示要求操作が検出されない場合は、ステップＳ１１０へ戻ってスルー画像の取得を続ける。なお、このときユーザがシャッターボタン１１を操作して撮影指示を行うと、その撮影指示に応じて撮影画像が取得され、撮影画像情報がメモリカード１１５に記録される。

ステップＳ１４０では、図７のステップＳ４０と同様に、カメラ位置の検出を行う。ステップＳ１５０では、図７のステップＳ５０と同様に、カメラ姿勢の検出を行う。これにより、ステップＳ１１０でスルー画像を取得した位置および方向が検出される。

ステップＳ１６０では、ステップＳ１４０で検出したカメラ位置付近の地図をモニタ１０４に表示する。さらに、表示した地図上に、ステップＳ１４０で検出したカメラ位置をスルー画像の取得位置として表示する。これにより、図９のような地図が表示される。

ステップＳ１７０では、被写体の特定を行う。ここでは、たとえばステップＳ１４０およびＳ１５０で検出されたデジタルカメラ１の位置や向きに基づいて、ステップＳ１１０で取得したスルー画像に写っている被写体を特定する。このとき、スルー画像取得時の撮影レンズの焦点距離や焦点調節状態などを用いてもよい。また、ステップＳ１１０で取得したスルー画像を解析して被写体を特定してもよい。一方、前述のようにスルー画像を取得せずに時空ズーム画像の検索を行う場合は、入力されたキーワードや、地図上で指定された被写体の位置などに基づいて、被写体を特定する。

ステップＳ１８０では、ジョグダイヤル１７や決定ボタン１８の操作により、ステップＳ１６０で表示した地図上のいずれかの地点が時空ズーム画像の検索対象地点として指定されたか否かを判定する。図１０のようにして、時空ズーム画像の検索対象地点が地図上で指定された場合は、ステップＳ１９０へ進む。

ステップＳ１９０では、時空ズーム画像の検索を行う。ここでは、ステップＳ１８０で指定された検索対象地点において、ステップＳ１７０で特定した被写体を撮影した時空ズーム画像を、時空データベースから検索する。これにより、ステップＳ１０で取得したスルー画像に関連する時空ズーム画像として、同じ被写体を別の地点から撮影した画像が検索される。このとき前述のようにして、検索する時空ズーム画像の時間範囲をデジタルカメラ１において指定するようにしてもよい。なお、時空データベースは、カメラ内のメモリ１１４に格納されていても良く、これによりサーバ装置がなくても良い。この場合は自身が撮影した写真、および別手段でカメラにダウンロードした他人の写真を見ることができる。

ステップＳ２００では、ステップＳ１９０において時空ズーム画像が検索されたか否かを判定する。上記のような時空ズーム画像が時空データベースから検索された場合は、ステップＳ２１０へ進む。一方、指定された検索対象地点において当該被写体を撮影した画像が時空データベースに記録されておらず、したがって時空ズーム画像を検索できなかった場合は、ステップＳ１８０へ戻り、別の検索対象地点が指定されるのを待つ。

ステップＳ２１０では、ステップＳ１９０で検索された時空ズーム画像をモニタ１０４に表示する。これにより、ステップＳ１６０で表示した地図に切り替えて、図１１のような時空ズーム画像がモニタ１０４に表示される。

ステップＳ２１０を実行したら、図１２のフローチャートを終了する。デジタルカメラ１は、以上説明した処理をＣＰＵ１０１において実行することにより、スルー画像に関連する時空ズーム画像を検索してユーザに提示する。

以上説明した第２の実施の形態によれば、デジタルカメラ１は、地図をモニタ１０４に表示する（ステップＳ１６０）と共に、スルー画像を取得し（ステップＳ１１０）、そのスルー画像の被写体を特定する（ステップＳ１７０）。そして、地図上で指定された地点から当該被写体を撮影した時空ズーム画像を、スルー画像に関連する画像として検索し（ステップＳ１９０）、検索された時空ズーム画像を地図に切り替えてモニタ１０４に表示する（ステップＳ２１０）こととした。このようにしたので、予め記録された画像の中から、撮影状況に応じた画像を簡単に検索して表示することができる。

上記の各実施の形態では、電子カメラであるデジタルカメラ１を例に説明したが、他の装置についても本発明を適用可能である。たとえば、カメラ付きの携帯電話などの携帯電子機器に適用することができる。あるいは、撮影を行わないデジタル式の双眼鏡やフィールドスコープなどにおいて、予め時空データベースに記録された画像情報などの各種情報を検索して表示する際に、本発明を適用してもよい。

以上説明した各実施の形態や各種の変形例はあくまで一例に過ぎない。したがって、本発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。

本発明の一実施の形態によるカメラシステムの構成図である。 本発明の一実施の形態によるデジタルカメラの外観を示す図である。 本発明の一実施の形態によるデジタルカメラのブロック図である。 第１の実施の形態におけるスルー画像の例を示す図である。 最大ズーム距離におけるスルー画像の例を示す図である。 第１の実施の形態において検索されて表示される時空ズーム画像の例を示す図である。 時空データベースからスルー画像に関連する時空ズーム画像を検索して表示するときの処理の流れを示すフローチャートを示す図である。 第２の実施の形態におけるスルー画像の例を示す図である。 地図表示要求操作が行われると表示される地図の例を示す図である。 地図上で検索対象地点を指定した例を示す図である。 第２の実施の形態において検索されて表示される時空ズーム画像の例を示す図である。 地図上で指定された地点から被写体を撮影した画像を時空ズーム画像として検索して表示するときの処理の流れを示すフローチャートを示す図である。

符号の説明

１：デジタルカメラ
２：アクセスポイント
３：サーバ装置

Claims (9)

1. 被写体を撮像してスルー画像を取得する撮像部と、
   前記撮像部で取得したスルー画像を表示する表示部と、
   位置および方向を検出する検出部と、
   前記検出部により検出された位置および方向に基づいて、予め記録された画像から前記スルー画像に関連する画像を検索する検索部と、
   前記表示部に表示されている前記スルー画像を前記検索部で検索された画像に切り替える制御部とを備え、
   前記検索部は、前記位置もしくは前記方向を変更した画像、または前記位置からのズーム可能範囲外の画像を検索することを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記制御部は、ズーム操作に応じて、前記表示部に表示されている前記スルー画像を、前記検索部で検索された位置もしくは前記方向を変更した画像、または前記ズーム可能範囲外の画像に切り替えることを特徴とする電子カメラ。
3. 請求項１または請求項２に記載の電子カメラにおいて、
   前記検索部は、前記スルー画像に関連する画像として、前記スルー画像を取得した位置および方向と同じ撮影位置および撮影方向で撮影され、前記スルー画像よりも画角が狭い画像を検索することを特徴とする電子カメラ。
4. 請求項１または請求項２に記載の電子カメラにおいて、
   前記検索部は、前記スルー画像に関連する画像として、前記スルー画像を取得した方向と同じ撮影方向であり、前記スルー画像を取得した位置よりも前記被写体までの距離が近い撮影位置で撮影された画像を検索することを特徴とする電子カメラ。
5. 請求項１または請求項２に記載の電子カメラにおいて、
   前記検索部は、前記スルー画像に関連する画像として、前記スルー画像を取得した方向と同じ撮影方向であり、前記被写体よりも前記撮影方向にある撮影位置で撮影された画像を検索することを特徴とする電子カメラ。
6. 請求項１〜５のいずれか一項に記載の電子カメラにおいて、
   前記表示部は、前記検索部によって検索された画像の画角を前記スルー画像中に示すことを特徴とする電子カメラ。
7. 請求項１〜６のいずれか一項に記載の電子カメラにおいて、
   前記スルー画像の画角を変化させるズーム操作を検出するための操作部をさらに備え、
   前記操作部で検出されたズーム操作により前記スルー画像が所定倍率に拡大された場合に、前記検索部で検索された画像を前記スルー画像に切り替えて前記表示部に表示することを特徴とする電子カメラ。
8. 請求項１に記載の電子カメラにおいて、
   前記表示部に地図を表示し、
   前記検索部は、前記スルー画像に関連する画像として、前記地図上で指定された地点から前記被写体を撮影した画像を検索することを特徴とする電子カメラ。
9. 地図を表示する表示部と、
   位置および方向を検出する検出部と、
   前記検出部により検出された位置および方向と、撮影情報とに基づいて、被写体を特定する特定部と、
   前記地図上で指定された地点から、前記特定部で特定された被写体を撮影した画像を検索する検索部とを備え、
   前記検索部は、前記位置もしくは前記方向を変更した画像、または前記位置からのズーム可能範囲外の画像を検索し、前記検索部で検索された画像を前記地図に切り替えて前記表示部に表示することを特徴とする画像表示装置。
   

Images