JP6314427B2 - 撮像装置、情報処理装置、制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置で撮像中の領域にある属性情報を、撮像画像に合成して表示する撮像装置に関する。

近年、携帯端末の位置測位機能により取得する位置情報を利用して、近くにある施設や象徴物の案内情報をサーバ等から自動で取得し、携帯端末の撮像機能で撮像された撮像画像に合成して、表示部（ディスプレイ）に表示するシステムが普及している。その代表例が、頓智ドット株式会社が提供するセカイカメラ（登録商標）である。セカイカメラ（登録商標）は、撮像機能によって目の前の景色を画面上に映し出された上で、その場所・対象物（建物・看板など）に関連する「エアタグ」と呼ばれる付加情報を重ねて表示するものである。

また、特許文献１は、撮像装置などを介して撮像された現実の画像とその画像内に映り込んでいる物に関するバーチャルな情報とをリアルタイムで合成し、表示すること可能にするビューア装置が開示されている。

特開２００６−５９１３６号公報

しかしながら、現状のセカイカメラ（登録商標）や特許文献１に記載のビューア装置では、撮像範囲内に存在するある程度の距離以内の「エアタグ」と呼ばれる付加情報や属性情報が全て表示されてしまうため、撮像方向に複数の「エアタグ」が存在する場合、複数の「エアタグ」や属性情報が重なり、奥にある「エアタグ」や属性情報が埋もれて確認できないという問題が生じている。

セカイカメラ（登録商標）の場合は、奥にある「エアタグ」を確認するために、以下の操作により対応することができる。

・手前にある「エアタグ」をスワイプ（たとえば、手前の「エアタグ」を画面外へフリック）する。
・表示する情報の条件を絞り込む（ラーメン屋関係の情報のみなど）

しかし、セカイカメラ（登録商標）の技術は、ユーザが気付かない付加情報を「エアタグ」として表示して、ユーザに気付かせることが目的の一つと考えられるため、確認したい場所の付加情報を最初から表示しておく方が望ましい。

本発明は、上記の課題を解決するために、不要な付加情報を自動で排除し、注目している位置の付加情報を撮像画像に付加して表示し、撮像範囲で付加情報を表示している領域を調整および認識させる仕組みを提供することを目的とする。

上記課題を解決するために、本発明は、 位置情報と対応付けられた付加情報を記憶している記憶手段を有する付加情報管理サーバと通信可能な、所定の撮像範囲を撮像する撮像装置であって、前記撮像範囲にある対象物を特定する特定手段と、前記特定された対象物の位置を取得する取得手段と、前記撮像範囲のうち前記取得された前記対象物の位置の周辺の領域を設定する領域設定手段と、前記撮像範囲を撮像した画像において、前記設定された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該設定された周辺の領域にある対象物の付記情報として表示する第１の表示制御手段と、前記領域設定手段で設定された周辺の領域を識別可能に表示する第２の表示制御手段とを有し、前記第２の表示制御手段は、前記撮像範囲のうち前記設定された周辺の領域の範囲を変更する操作を受け付け、当該範囲が変更された周辺の領域を識別可能に表示し、前記第１の表示制御手段は、前記範囲が変更された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該範囲が変更された周辺の領域にある対象物の付記情報として表示することを特徴とする。

本発明によれば、不要な付加情報を自動で排除し、注目している位置の付加情報を撮像画像に付加して表示し、撮像範囲で付加情報を表示している領域を調整および認識させることができるという効果を有する。

本発明の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る付加情報管理サーバのハードウェア構成を示すブロック図である。 本発明の一実施形態を示すシステムの全体構成を示すシステム構成図である。 本発明の撮像システムにおいて、撮像装置が付加情報管理サーバから付加情報を受信し、付加情報を合成するまでの流れを説明するシーケンスチャートである。 本発明における被写体と撮像装置の位置関係とその撮像結果および文字合成結果の一例を示す模式図である。 本発明における付加情報抽出範囲を設定する設定画面のイメージの一例を示す模式図である。 撮像画像と付加情報とをディスプレイ部１１７に表示した一例をしめした模式図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。まず、図１を参照して、本発明を実施する撮像装置１００のハードウェア構成について説明する。なお、撮像装置１００は必ずしも撮像専用ではなくてもよく、携帯端末や携帯電話が以下の機能を有していてもよい。

撮像装置１００は、いわゆるデジタルカメラから成り、撮像用のレンズ１０１、撮像素子（以下、「ＣＣＤ」と称する）１０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）１０３、画像処理部１０４、システムコントローラ１１０、バッファメモリ１１１、フラッシュＲＯＭ１１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）１１３、カードホルダ１１４、メモリカード１１５、ディスプレイドライバ１１６、および操作部１２０を備える。

レンズ１０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子１０２は、レンズ１０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。

カメラ信号処理部（ＡＤＣ）１０３は、撮像素子１０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、サウンドドライバ１１８、ＬＥＤドライバ１２８、および操作部１２０に接続されている

画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、カメラ信号処理部１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。

前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。

ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。

電子ズーム処理部１０７は、例えば、撮像された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。

圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。

バッファメモリ１１１には、画像処理部１０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮像装置１００の各種設定情報や、後述する指定された構図情報等が保存される。Ｉ／Ｆ回路１１３は、システムコントローラ１１０から出力される画像データを、メモリカード１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、メモリカード１１５から読み出された画像データ等を、システムコントローラ１１０で処理可能なデータ形式に変換する。

カードホルダ１１４は、記録媒体であるメモリカード１１５を撮像装置１００に着脱可能にする機構を備えると共に、メモリカード１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮像装置１００で利用される記録媒体の種類に応じた構造を有する。メモリカード１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記録媒体である。メモリカード１１５には、撮像装置１００で撮像された画像データを記録することができる。

ディスプレイドライバ１１６は、システムコントローラ１１０から出力される画像データをディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、システムコントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズをディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。

サウンドドライバ１１８は、システムコントローラ１１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ドライバ１２８は、システムコントローラ１１０から出力される命令に従いランプ１２９の制御を行う。

操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮像ボタン１２３、タッチパネルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。

モードダイヤル（選択ボタン）１２２は、撮像動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を操作することで、複数の撮像動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル１２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。

また、撮像動作モードの例として、構図を用いて撮像を行う場合、その構図の指示入力を受付けることが可能なモード等があるが、尚、このようなモードへの切替方法については、ダイヤルに限定されず、ディスプレイ１１７上のタッチパネル（不図示）などによる切替方法であってもよい。

閲覧ボタン１２６は、撮像した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮像モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、前述のように、閲覧ボタン１２６の押下に限定されず、ディスプレイ１１７上のタッチパネルなどによる移行方法であってもよい。

閲覧モードでは、システムコントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されているメモリカード１１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリカード１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。

メモリカード１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびシステムコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データをディスプレイ１１７に表示させる。

タッチパネルキー１２４は、ディスプレイ上に表示される操作キーであり、ユーザが撮像装置１００に対する所定の指示や機能選択を行うためのキーである。ユーザは、タッチパネルキー１２４により、撮像装置１００に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。

また、タッチパネルキー１２４により、ディスプレイ１１７にメニュー画面や撮像装置１００に対して各種設定情報を設定するための画面を表示したり、撮像装置１００が有する所定の機能を選択することができる。

さらに、タッチパネルキー１２４により、撮像装置１００で撮像された画像データをディスプレイ１１７上にプレビュー表示させることができる。プレビュー表示とは、撮像装置１００で撮像した画像を、その直後にディスプレイ１１７に表示させる機能である。

なお、プレビュー表示については、ディスプレイ１１７上に撮像した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、タッチパネルキー１２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。

レンズ制御部１２７は、レンズ１０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮像装置１００は、被写体を撮像して画像データを得る撮像モードと当該撮像モードで得た画像データを表示する閲覧（再生）モードとを備える。

なお、音声についてはマイクやスピーカを用いることで、撮像装置１００と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部１０８および伸長部１０９で、映像と音声が多重化される。

また、撮像装置１００における撮像動作について図１を用いて説明する。まず、ユーザが電源スイッチ１２１を操作し、撮像装置１００の電源をＯＮにする。すると、撮像装置１００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮像装置１００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。

撮像装置１００は、電源ＯＦＦ時に電源スイッチ１２１が押下されると電源ＯＮとなり、自動的に撮像モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。

撮像装置１００が撮像モードに移行すると、光学画像がレンズ１０１を介して撮像装置１００内へ入射し、撮像素子（ＣＣＤ）１０２に結像される。ＣＣＤ１０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）１０３へ出力する。ＡＤＣ１０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ１０３から出力されるデジタル信号は画像処理部１０４に入力される。

画像処理部１０４内の前処理部１０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部１０４内のＹＣ処理部１０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。

色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部１０５およびＹＣ処理部１０６で画像処理を行う際は、画像データを一時的にバッファメモリ１１１に保存し、随時バッファメモリ１１１に保存されている画像データを読み出しながら画像処理が行われる。

画像処理部１０４から出力される画像データ（非圧縮）はシステムコントローラ１１０に入力される。システムコントローラ１１０は、画像処理部１０４から出力される画像データを、ディスプレイドライバ１１６へ出力する。

ディスプレイドライバ１１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズをディスプレイ１１７で表示可能なサイズに調整する。

また、ディスプレイドライバ１１６は、ディスプレイ１１７に画像を表示させるよう制御する。このとき、ディスプレイ１１７に表示される画像は、ＣＣＤ１０２、ＡＤＣ１０３、および画像処理部１０４で、連続的に信号処理されて生成される画像（スルー画像）である。

ディスプレイ１１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮像ボタン１２３を操作すると、システムコントローラ１１０は画像処理部１０４に制御信号を出力する。画像処理部１０４に制御信号が入力されると、圧縮部１０８は、前処理部１０５およびＹＣ処理部１０６で画像処理された画像データをバッファメモリ１１１へ保存し、圧縮処理を行う。

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ１１０およびディスプレイドライバ１１６を介してディスプレイ１１７に表示される。また、圧縮された画像データは、カードホルダ１１４を介してメモリカード１１５に記録される。

撮像ボタン１２３が操作される前にズームボタン１２５が操作されると、システムコントローラ１１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン１２５の操作後、撮像ボタン１２３が操作されると、拡大または縮小された画像の画像データがメモリカード１１５へ記録される。

次に、図２を参照して、本発明で利用する付加情報管理サーバ２００のハードウェア構成について説明する。

図２は、本発明の実施形態における付加情報管理サーバ２００に適用可能な情報処理装置のハードウェア構成図である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像管理を実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボードやポインティングデバイス等の入力装置２０９からの入力を制御する。２０６はビデオコントローラで、ディスプレイ装置２１０等の表示器への表示を制御する。これらは必要に応じて操作者が使用するものである。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

また、外部メモリ２１１のハードディスク（ＨＤ）は、撮像装置１００から送信される撮像画像を受信し、記憶する大容量のメモリ領域を有している。

２０８は通信Ｉ／Ｆ（インタフェース）コントローラで、ネットワーク（例えば、無線ＬＡＮなど）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述するフローチャートに示す各ステップの処理は、コンピュータで読み取り実行可能なプログラムにより実行され、そのプログラムは外部メモリ２１１に記録されている。そして、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

次に、図３のシステムブロック図を参照して、本発明のシステム構成を説明する。

図３は、本発明の一実施形態を示すシステムの全体構成を示すシステム構成図の一例である。

撮像装置１００ａ〜ｃは、図１で説明した撮像機能を有する装置の例である。なお、撮像装置１００ａ〜ｃは、図１により説明した撮像装置の機能の他に、位置情報検出機能は有している。なお、図１により説明した全て機能を有していなくても良い。

付加情報管理サーバ２００は、図２で説明した情報処理機能を有する装置の例である。撮像装置１００ａ〜ｃと、付加情報管理サーバ２００は、無線ＬＡＮやＷｉ−Ｆｉ（登録商標）などによりお互いに通信可能である。付加情報管理サーバ２００は、位置情報毎の付加情報を保存・管理する付加情報管理サーバであり、各撮像装置１００ａ〜ｃからの位置情報を受信し、受信した位置情報を参照して、各撮像装置１００ａ〜ｃの周囲の付加情報を送信してきた撮像装置に配信する処理を行う。

次に、図４のフローチャートを参照して、撮像装置が付加情報を表示し撮像する処理手順について説明する。

図４は、本発明の撮像システムにおいて、撮像装置が付加情報管理サーバから付加情報を受信し、付加情報を合成するまでの流れを説明するシーケンスチャートであり、撮像装置１００及び付加情報管理サーバ２００のそれぞれのシステムコントローラ（図１の１１０）及びＣＰＵ（図２の２０１）の制御の下、処理が実行される。なお、Ｓ４０１〜Ｓ４１３は各処理ステップを示す。

図４のフローチャートは、撮像装置を起動し、ユーザが撮像操作を開始すると開始される。

ユーザが、撮像したい被写体に撮像装置を向けて撮像を開始すると、ステップＳ４０１の処理を開始し、ステップＳ４０１において、撮像装置１００のシステムコントローラ１１０は、被写体にピントを合わせ、ステップＳ４０２において、被写体へのピントがあったかどうかを判断する、ピントが合わない間はピント調整を続け、ピントがあったと判断された場合は、次のステップＳ４０３へと処理を進める。

ステップＳ４０３では、撮像装置１００のシステムコントローラ１１０は、ピントがあった被写体を背景と共に撮像する。

次に、ステップＳ４０４において、撮像装置１００のシステムコントローラ１１０は、撮像装置１００の位置情報をＧＰＳ通信などにより取得する（位置検出部）。また、撮像装置の撮像方位情報を電子コンパスなどにより測定する（方位検出部）。

次に、ステップＳ４０５において、撮像装置１００のシステムコントローラ１１０は、撮像装置１００の周辺の付加情報を受信するため、ステップＳ４０４で取得した位置情報を付加情報管理サーバに送信する。

次に、付加情報管理サーバのＣＰＵ２０１は、ステップＳ４０６において、撮像装置１００から受信した位置情報の周辺の付加情報を付加情報記憶部から抽出する。その後、ステップＳ４０７において、ステップＳ４０６で抽出した付加情報ならびにその付加情報の位置情報を撮像装置１００に送信する。

送信された付加情報およびその付加情報の位置情報を、ステップＳ４０８において、撮像装置１００のシステムコントローラ１１０が、付加情報管理サーバから受信する（付加情報取得部）。

次に、ステップＳ４０９において、撮像装置１００のシステムコントローラ１１０は、ステップＳ４０３で撮像した際の撮影距離（ピントの合う距離）を取得する。撮影距離は、たとえば、撮像時に取得したＥｘｉｆ情報の被写体距離などを利用する。

次に、ステップＳ４１０において、撮像装置１００のシステムコントローラ１１０は、ステップＳ４０９で取得した撮影距離、ステップＳ４０４で取得した位置情報および撮像方位情報を利用して、被写体の位置候補を算出する。被写体の位置候補を算出した結果の例を図５、図６を参照して説明する。

図５は、本発明における被写体と撮像装置の位置関係とその撮像結果および文字合成結果の一例を示す模式図である。図５（ａ）は、本発明における地図上の被写体の配置を示した図であり、２０が撮像装置の位置を示す。また、破線で囲まれた扇形で示される範囲が撮像装置の撮像範囲（撮像エリア特定部）になる。２２から２５の星や黒丸が付加情報を有する位置であり、ユーザが２２の星印の被写体を中心に撮像した撮像画像が図５（ｃ）である。

破線で囲まれた扇形の撮像範囲の中で、ユーザがピントを合わせた距離周辺の付加情報のみを表示させるために、ステップＳ４０９で取得した撮影距離を利用する。なお、撮影距離が「１０．４３ｍ」などのように範囲を持たず一つの値しか持ち得ない場合は、図６のような距離情報に幅を持たせる値を入力する画面を表示し、ユーザの入力を促しても良い（距離範囲変更部）。図６を参照して、付加情報を取得する前後の幅の変更画面を説明する。

図６は、本発明における付加情報抽出範囲を設定する設定画面のイメージの一例を示す模式図である。

図６の６００は、撮影距離の前後の付加情報を抽出する範囲を指定する画面イメージであり、撮影距離から、前方６０１の距離と後方６０２の距離だけ付加情報を抽出する範囲を指定可能になる。

なお、付加情報を抽出する範囲はデフォルトで前後数メートルと設定しても良いし、撮影距離の前後１／１０と設定していても良い。

図６の設定画面によって設定された付加情報抽出範囲は、図５（ａ）の灰色領域２６として表示する。図５（ａ）の図面は、ディスプレイ部１１７に表示される図５（ｃ）の２１の部分に表示されている。

また、図６による付加情報抽出範囲の設定方法の他に、たとえば、図５（ｃ）に表示されている２１の部分をユーザが操作することにより付加情報抽出範囲を設定することも可能である。図５（ｃ）の２１を拡大した図が図５（ａ）に対応するが、図５（ａ）に対し、灰色領域２６の幅２７を、たとえばタッチスクリーンなどの入力手段により手動で広げることによって、付加情報抽出範囲を拡大することができる。タッチスクリーンなどにより付加情報抽出範囲、すなわち灰色領域２６を広げた結果が図５（ｂ）の図になる。図５（ｂ）は、付加情報抽出範囲である灰色領域２６が図５（ａ）よりも広がっており、図５（ｂ）では、図５（ａ）で付加情報抽出範囲に含まれていなかった２４の付加情報も抽出されることになる。図４のフローチャートの説明に戻る。

ステップＳ４１０において、付加情報の抽出範囲を算出すると、次に図４のステップＳ４１１において、撮像装置１００のシステムコントローラ１１０は、ステップＳ４０８で取得した付加情報の内、付加情報の位置情報が付加情報抽出範囲内の付加情報を抽出する。

続いて、ステップＳ４１２において、撮像装置１００のシステムコントローラ１１０は、ステップＳ４１１で抽出した付加情報を撮像画像に合成し、ステップＳ４１３において、合成された撮像画像を表示して、本発明の処理を終える。合成された撮像画像の例を図５を参照して説明する。

図５（ｃ）は付加情報抽出範囲が図５（ａ）の場合の付加情報が付加された撮像画像であり、図５（ｄ）は付加情報抽出範囲が図５（ｂ）の場合の付加情報が付加された撮像画像である。撮像画像である図５（ｃ）や図５（ｄ）には、各被写体（位置情報）２２〜２４のそばに、付加情報が吹き出しとして表示されている。図５（ｃ）と図５（ｄ）の違いとしては、図５（ｃ）には表示されていない２４の付加情報が、図５（ｄ）では表示されている点である。これは、ステップＳ４１０において、ユーザが付加情報抽出範囲を図５（ａ）より図５（ｂ）に広げ、被写体（位置情報）２４を含むことになったためである。

以上のように、撮像装置の撮影距離を利用して抽出する付加情報を制限することにより、複数ある付加情報の中でユーザがピント（焦点）を合わせた領域の付加情報のみを表示することが出来る効果を有する。

また、別の実施例として、撮像状況での被写界深度と撮影距離とにより、ピント（焦点）が合う範囲（距離範囲）を算出し、撮像範囲の中からピントが合う範囲の付加情報のみを取得しても良い。なお、被写界深度の前端と後端はレンズの焦点距離、レンズの絞り値などにより算出され、被写界深度の前端と後端内をピントが合う距離範囲としても良い。

また、別の実施例として、ディスプレイ部１１７に付加情報の吹き出しを表示する際に、被写体をオブジェクトと認識して、オブジェクトと付加情報の吹き出しが重ならないように表示することも可能である。図7を参照して、実施例の説明を行う。

図7は、撮像画像と付加情報とをディスプレイ部１１７に表示した一例をしめした模式図である。

図7の７００は、オブジェクト３２と吹き出し３３が重なっている例である。この吹き出しの位置ではオブジェクト３２の詳細が確認できない。これは、吹き出しを付加情報が有する位置情報の右側に必ず表示するように設定されているためである。

本発明では、７１０の３５や３６のように撮像画像に撮像されている被写体をオブジェクトとして認識する（オブジェクト検出部）。オブジェクト認識技術は、公知の技術を利用し、たとえば輪郭抽出やパターンマッチングなどを利用する。

撮像装置の撮像位置と撮像方位から、オブジェクトと認識された被写体の位置に存在する付加情報を特定し、付加情報３３や３４をオブジェクト３５や３６と重ならないように表示する。その結果、７１０の吹き出し３３のようにオブジェクトと重なることなく表示することができる。

この処理により、付加情報がオブジェクトと重なって、他の付加情報を有するオブジェクトが確認できない（たとえば、７００の場合、３２が見辛い）点を改善することができる。

以上の処理により、付加情報管理サーバから付加情報を受信し、撮像装置に付加情報を表示する際の付加情報と背景画像の見やすさを改善することができる。

上記実施形態では、撮像装置と付加情報管理サーバとに適用する場合を説明したが、付加情報管理サーバの構成を撮像装置に持たせることにより、撮像装置のみで実施することも可能である。

なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバ−ジョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。

さらに、各種プログラムに従属するデータも同じディレクトリに管理されている。また、インスト−ルするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。

本実施形態における図４に示す機能が外部からインスト−ルされるプログラムによって、撮像機能を有する情報処理装置により遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。

以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコ−ドを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュ−タ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコ−ドを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコ−ド自体が本発明の新規な機能を実現することになり、そのプログラムコ−ドを記憶した記録媒体は本発明を構成することになる。

プログラムコ−ドを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テ−プ，不揮発性のメモリカ−ド，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュ−タが読み出したプログラムコ−ドを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコ−ドの指示に基づき、コンピュ−タ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコ−ドが、コンピュ−タに挿入された機能拡張ボ−ドやコンピュ−タに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコ−ドの指示に基づき、その機能拡張ボ−ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベ−ス等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ａ〜ｃ 撮像装置
２００ 付加情報管理サーバ

Claims (6)

1. 位置情報と対応付けられた付加情報を記憶している記憶手段を有する付加情報管理サーバと通信可能な、所定の撮像範囲を撮像する撮像装置であって、
   前記撮像範囲にある対象物を特定する特定手段と、
   前記特定された対象物の位置を取得する取得手段と、
   前記撮像範囲のうち前記取得された前記対象物の位置の周辺の領域を設定する領域設定手段と、
   前記撮像範囲を撮像した画像において、前記設定された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該設定された周辺の領域にある対象物の付記情報として表示する第１の表示制御手段と、
   前記領域設定手段で設定された周辺の領域を識別可能に表示する第２の表示制御手段と
   を有し、
   前記第２の表示制御手段は、前記撮像範囲のうち前記設定された周辺の領域の範囲を変更する操作を受け付け、当該範囲が変更された周辺の領域を識別可能に表示し、
   前記第１の表示制御手段は、前記範囲が変更された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該範囲が変更された周辺の領域にある対象物の付記情報として表示することを特徴とする撮像装置。
2. 前記第２の表示制御手段は、前記設定された周辺の領域の前後の境界を変更する操作を受け付け可能であることを特徴とする請求項１に記載の撮像装置。
3. 位置情報と対応付けられた付加情報を記憶している記憶手段を有する付加情報管理サーバと通信可能な、所定の撮像範囲を撮像した画像を表示する情報処理装置であって、
   前記撮像範囲にある対象物を特定する特定手段と、
   前記特定された対象物の位置を取得する取得手段と、
   前記撮像範囲のうち前記取得された前記対象物の位置の周辺の領域を設定する領域設定手段と、
   前記撮像範囲を撮像した画像において、前記設定された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該設定された周辺の領域にある対象物の付記情報として表示する第１の表示制御手段と、
   前記領域設定手段で設定された周辺の領域を識別可能に表示する第２の表示制御手段と
   を有し、
   前記第２の表示制御手段は、前記撮像範囲のうち前記設定された周辺の領域の範囲を変更する操作を受け付け、当該範囲が変更された周辺の領域を識別可能に表示し、
   前記第１の表示制御手段は、前記範囲が変更された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該範囲が変更された周辺の領域にある対象物の付記情報として表示することを特徴とする情報処理装置。
4. 位置情報と対応付けられた付加情報を記憶している記憶手段を有する付加情報管理サーバと通信可能な、所定の撮像範囲を撮像する撮像装置の制御方法であって、
   前記撮像範囲にある対象物を特定する特定工程と、
   前記特定された対象物の位置を取得する取得工程と、
   前記撮像範囲のうち前記取得された前記対象物の位置の周辺の領域を設定する領域設定工程と、
   前記撮像範囲を撮像した画像において、前記設定された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該設定された周辺の領域にある対象物の付記情報として表示する第１の表示制御工程と、
   前記領域設定工程で設定された周辺の領域を識別可能に表示する第２の表示制御工程と
   を有し、
   前記第２の表示制御工程は、前記撮像範囲のうち前記設定された周辺の領域の範囲を変更する操作を受け付け、当該範囲が変更された周辺の領域を識別可能に表示し、
   前記第１の表示制御工程は、前記範囲が変更された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該範囲が変更された周辺の領域にある対象物の付記情報として表示することを特徴とする制御方法。
5. 位置情報と対応付けられた付加情報を記憶している記憶手段を有する付加情報管理サーバと通信可能な、所定の撮像範囲を撮像した画像を表示する情報処理装置の制御方法であって、
   前記撮像範囲にある対象物を特定する特定工程と、
   前記特定された対象物の位置を取得する取得工程と、
   前記撮像範囲のうち前記取得された前記対象物の位置の周辺の領域を設定する領域設定工程と、
   前記撮像範囲を撮像した画像において、前記設定された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該設定された周辺の領域にある対象物の付記情報として表示する第１の表示制御工程と、
   前記領域設定工程で設定された周辺の領域を識別可能に表示する第２の表示制御工程と
   を有し、
   前記第２の表示制御工程は、前記撮像範囲のうち前記設定された周辺の領域の範囲を変更する操作を受け付け、当該範囲が変更された周辺の領域を識別可能に表示し、
   前記第１の表示制御工程は、前記範囲が変更された周辺の領域にある対象物に対応する付加情報に基づく情報を、当該範囲が変更された周辺の領域にある対象物の付記情報として表示することを特徴とする制御方法。
6. 請求項４または５に記載された制御方法の各工程をコンピュータに実行させるためのプログラム。
   

Images