JP4440964B2 - 撮影システム - Google Patents

Description

本発明は、デジタルカメラ等の各種のカメラを用いて被写体を撮影する時に採用される画像処理方法および装置、カメラならびに撮影システムの技術分野に属し、詳しくは、カメラの性能や機能を大幅に向上することができる撮影システムに関する。

カメラの性能は年々向上しており、撮影時に焦点を自動的に合わせるＡＦ（auto focus）機能や、露出を自動的に調整するＡＥ（auto exposure）機能を有するカメラは、もはや常識となっている。

また、複数の露出プログラム（シャッタースピードと絞り値との組み合わせ）を有し、撮影環境、撮影対象（被写体や被写体の状態）、ユーザの好み等に応じて、適正な露出プログラムをユーザが選択、あるいはカメラが自動選択することができるカメラも多機種にわたる。さらに、このような露出プログラム等を、ＩＣカードなどのアクセサリ（付属部品）等に記憶しておき、ユーザの好みや用途等に応じた露出プログラムを、適宜、カメラにダウンロードできる機種も少なくない。

このように、カメラの性能は、近年、非常に高くなっているが、やはり、カメラに搭載されるＣＰＵの処理能力、すなわちカメラで行うことができる処理には限界がある。そのため、例えば、ユーザの希望に応じたより複雑な処理を行うことはできない。

そこで、本発明は、カメラの機能や性能を大幅に向上して、従来の自動焦点合わせや自動露出のみならず、被写体や撮影シーン等に応じたより高度なカメラの制御、画像合成や画像補正等、各種の処理を行うことを可能にする撮影システムを提供することを目的とする。

上記目的を達成するために、本発明は、カメラと処理装置とを備えた撮影システムであって、撮影により得られた画像データを生成するとともに、この画像データと、撮影に関する付属情報とを送信するカメラと、カメラから送信された前記画像データと前記付属情報とを受信し、受信した前記付属情報を用いて情報処理を行い、この情報処理により得られた情報データを、前記カメラに送信する処理装置と、を有し、前記付属情報は、前記カメラが入力を受け付けた撮影地点の概略位置情報を含み、前記処理装置では、カメラから送信された前記画像データと前記概略位置情報とを受信し、受信した前記概略位置情報に基づいて、予め保有する地図情報から、仮想的視野の画像を複数生成するとともに、これらの仮想的視野の画像と前記画像データの再現する撮影画像とのパターンマッチングを行って、最適にマッチングした仮想的視野の画像に対応した、前記概略位置情報に比べて精度の高い位置情報を導出するとともに、この位置情報と、この位置情報に対応する地図の画像データとを、前記情報データとして前記カメラに送信することを特徴とする撮影システムを提供する。

特に、前記概略位置情報は、地図中に記載される通りの名称、町名及び番地の少なくとも１つの情報を含むものであることが好ましい。

また、前記概略位置情報は、位置検出器から得られた情報であることも好ましい。
また、前記カメラから前記処理装置へ送信される情報は、前記画像データと前記概略位置情報の他に、前記カメラで撮影した撮影方位の情報を含むことも好ましい。
さらに、前記カメラは、同一の撮影地点で、異なる撮影方位で撮影画像を撮影した複数組の画像データを前記処理装置に送信し、前記処理装置は、送信された撮影方位の異なる複数組の画像データを用いて、前記概略位置情報に比べて精度の高い位置情報を導出することが好ましい。

また、前記カメラで撮影され、前記処理装置に送信される画像は、同一視野のシーンを、多段フォーカス撮影にて複数回撮影して得られた複数の画像であり、前記情報処理装置でパターンマッチングを行う際、多段フォーカス撮影にて複数回撮影して得られた複数の画像から求められる撮影画像の奥行き情報と、仮想的視野の画像の奥行き情報とのマッチングを行うことが好ましい。

前記処理装置は、複数設けられ、前記カメラは、これら複数の処理装置の中から、前記仮想的視野の画像を複数生成するとともに、前記パターンマッチングを行って、最適にマッチングした仮想的視野の画像に対応した前記位置情報を導出する情報処理の機能を備える装置か否かを確認して装置を選択し、選択した装置に前記カメラは、前記画像データと前記概略位置情報とを送信することが好ましい。

あるいは、前記付属情報は、撮影日時の情報または撮影位置の情報を含み、前記情報データは、撮影した被写体の関連情報を含むことも同様に好ましい。
あるいは、前記付属情報は、撮影した画像中の特定エリアの指定情報と検索指示情報を含み、前記処理装置は、前記特定エリアに基づいて、前記処理装置が有するデータベースを用いて検索することにより被写体を判定し、この判定した被写体から被写体関連情報を前記情報データとして導出することも好ましい。
あるいは、また、前記付属情報は、前記カメラに入力された撮影被写体の輪郭図形の情報を含み、前記処理装置は、前記輪郭図形の情報に基づいて、前記処理装置が有するデータベースの形状データとマッチング検索を行うことにより、検索画像のデータを、前記情報データとして得ることも同様に好ましい。

前記処理装置は、複数設けられ、前記処理装置には、少なくともパーソナルコンピュータが含まれ、前記パーソナルコンピュータが前記情報処理の機能を備える場合、優先的に選択することが好ましい。

本発明の撮影システムによれば、カメラの機能や性能を大幅に向上して、主要被写体を考慮したＡＦやＡＥ、画像の補正や画像合成、撮影者の位置検出等、従来のカメラでは不可能であった各種の処理を簡易かつ迅速に行うことができる。

本発明に係る撮影システムを添付の図面に示す好適実施例に基づいて以下に詳細に説明する。

図１に、本発明の撮影システムの一実施例の概念図を示す。図１に示される撮影システム１０は、基本的に、カメラ１２と、情報処理装置１４と、カメラ１２と情報処理装置１４を有線または無線で接続するための、カメラ側の通信部１６ａおよび装置側の通信部１６ｂからなる通信手段１６とを有する。

本発明の撮影システム１０において、カメラ１２は、ＣＣＤセンサ等のイメージセンサ１８と、イメージセンサ１８によって撮影された（光電的に読み取られた）画像等を撮影画像データとして記憶する画像記録媒体１９と、撮影画像を表示するモニタ２０と、カメラ全体の制御を行なうＣＰＵ２１と、カメラ側の通信部１６ａとを有するものである。本発明においては、ＣＣＤ等のイメージセンサ１８を有し、画像記録媒体１９としてスマートメディアやメモリスティックやフロッピー（登録商標）ディスク（ＦＤ）等の画像データ記録媒体を用い、これに撮影画像データを記録するものであれば、各種のカメラが利用可能であり、デジタルスチルカメラやデジタルビデオカメラが例示され、さらには、ファインダ等として機能するイメージセンサ１８およびモニタ２０を有し、イメージセンサ１８による撮影画像データの取得が可能であれば、画像記録媒体１９として写真フィルムを用い、これに画像を撮影するカメラであってもよい。このような従来型の光学カメラの場合には、イメージセンサ１８による撮影画像は、シャッタースピードや絞り等の自動設定（ＡＥ）や撮影倍率や撮影距離の自動設定（ＡＦ）等のカメラ制御情報の自動設定や撮影画像の確認等に用いられる。

図示例の撮影システム１０においては、好ましい態様として、カメラ１２には接続部２３が設けられ、ＰＤＡ（personal digital assistant＝携帯情報端末）やパーソナルコンピュータ等の外部装置２２、および携帯電話やＰＨＳ等の移動電話機２４等が接続可能に構成されている。

情報処理装置１４は、ラボ店やサービスセンター等に設置されるものであり、図１に示すように、ＣＰＵ２６ａを備える情報処理部２６と、データベース２８と、装置側の通信部１６ｂとを有する。このような情報処理装置１４は、例えばパーソナルコンピュータやデータベース等から構成されるものであっても良い。後に詳述するが、この情報処理装置１４は、情報処理部２６において、カメラ１２から通信部１６ｂに転送された撮影画像データ、仮カメラ制御情報、付加情報、要望する処理内容の指示情報などの各種の情報を用いて、カメラの制御情報などの撮影制御に関する情報（以下、撮影制御関連情報ともいう）、カメラの位置情報などの撮影画像に関する情報（以下、撮影画像関連情報ともいう）等を生成（演算）して、通信部１６ｂからカメラ１２に転送し、またプリント作成、画像データ記録媒体への記録再生、ネット配信のための画像処理条件などの画像処理に関する情報（以下、画像処理関連情報ともいう）等を演算（導出）する。もちろん、情報処理装置１４で演算された画像処理関連情報を通信部１６ｂからカメラ１２に転送しても良い。

なお、情報処理装置１４は、こうして得られた画像処理条件などの画像処理関連情報を用いて撮影画像データに画像処理を施して処理画像データを生成して、カメラ１２に転送しても良いし、この画像処理条件などの画像処理関連情報とともに、出力画像のプリント出力などを行うデジタルフォトプリンタなどの出力機３０に供給しても良い。なお、出力機３０は、出力画像をプリントとして出力するデジタルフォトプリンタの他、出力画像（処理画像データ）をＭＯやＦＤ等の各種の画像データ記録媒体に記録および／または再生するメディアドライバや、インターネットなどの通信網を介してネット転送（配信および／または再生）サービスを行う手段であっても良い。なお、以下の説明においては、出力画像を、主としてプリントとして出力する出力形態を代表例として説明するが、画像データ記録媒体記録再生用出力画像、またはネット配信用出力画像として出力する出力形態であっても良いことはもちろんである。

カメラ１２と情報処理装置１４とは、カメラ側通信部１６ａおよび装置側通信部１６ｂからなる通信手段１６で接続され、互いに情報の転送が行われる。通信手段１６は、公衆通信網を利用する公知の情報通信手段であっても、専用通信網を利用する通信手段であっても良く、例えば、インターネットやコンピュータ通信ネットワーク、電話回線を利用する通信手段、無線通信を利用する通信手段等であり、有線であっても無線であっても、両方を併用するものであってもよい。また、カメラ側通信部１６ａは少なくとも送信部である必要があり、装置側通信部１６ｂは少なくとも受信部である必要があるが、両者とも双方向の送受信が可能な双方向通信手段（送受信手段）であるのが好ましい。

なお、本発明において、カメラ１２から情報処理装置１４に転送される撮影画像データ、仮カメラ制御情報、付加情報、指示情報等の各種の情報、および情報処理装置１４において導出または生成され、カメラ１２に転送される撮影制御に関する情報、撮影画像に関する情報、画像処理に関する情報は、以下のように説明できる。まず、撮影画像データは、カメラ１２で被写体を撮影した画像の画像データであり、デジタル画像データであるのが良い。仮カメラ制御情報は、カメラ１２で被写体を撮影する際、実際の撮影の前に、情報処理装置１４に転送するためにカメラ１２側で仮に設定される撮影倍率（撮影距離）やシャッタースピードや絞りなどのカメラ１２を制御するためのカメラ制御情報である。例えば、通常の撮影の場合、構図などを確認したり、変更したり、決めたりするために行うフォーカスロック時に仮に設定される種々のカメラ制御情報も含まれる。

付加情報は、カメラ１２内で自動生成する撮影制御以外の時計データや位置データなどのデータと、外部装置２２や移動電話機２４等の外部接続機器からカメラ１２への入力データと、撮影者によるカメラ１２への入力データと、の少なくとも１つである。指示情報は、撮影者が要望する画像処理の内容を選択または指示するデータである。

撮影制御に関する情報は、カメラ１２のＡＥ、ＡＦ、撮影倍率等のカメラ制御情報と、マニュアル撮影における撮影補助情報（カメラ制御情報を含んでいても良い）と、撮影位置や撮影方位のデータと、の少なくとも１つである。画像処理に関する情報は、カメラ１２側で実行する画像処理に対する画像処理条件（例えば、処理内容および設定パラメータ）またはカメラ１２側への返送画像に対する画像処理条件または返送画像そのものと、出力画像（例えば、プリント、画像データ記録媒体への記録再生、ネット配信）に対する画像処理条件または出力画像そのものと、の少なくとも１つである。撮影画像に関する情報は、被写体に関するデータ（例えば、被写体の撮影結果、その画面内エリアに関するデータ、被写体にまつわる関連データなど）と、撮影状況に関するデータ（例えば、撮影者、撮影地点、撮影日時等の各種データ、それらにまつわる関連データ）と、の少なくとも１つである。

このような本発明の撮影システム１０においては、従来のカメラシステムでは不可能であった、各種の高機能かつ高精度な処理を行うことができる。

一例として、カメラ１２のイメージセンサ１８で撮影した画像を用いて、カメラ単体が有する性能、すなわちカメラ１２のＣＰＵ２１のカメラ制御性能を超えた、より高精度な自動焦点合わせ（ＡＦ）や自動露出調整（ＡＥ）を行うことができる。

この処理においては、プリントのための撮影に先立ち、イメージセンサ１８で撮影した画像（画像データ）を、通信手段１６によって情報処理装置１４に転送する。なお、転送時間や通信費用等の点で、画像は符号化圧縮したデータや間引きデータとして転送するのが好ましい（この点に関しては、以下に示す各例における情報通信も同様である）。情報処理装置１４は、情報処理部２６において画素の連続性、形状認識、ＧＵＩ（graphical user interface） を用いたオペレータによる切り出し等の公知の方法で、画像から主要被写体を抽出し、撮影制御関連情報となる主要被写体の情報を通信手段１６によってカメラ１２に転送する。カメラ１２においては、送られた主要被写体の情報を用いて、ＡＦ、ＡＥ、ホワイトバランス調整等を行い、プリントのための撮影を行う。あるいは、カメラ１２におけるＡＦやＡＥ等の制御を情報処理装置１４で設定して、カメラ制御情報としてカメラ１２に転送してもよい。すなわち、本態様によれば、主要被写体情報を利用して、カメラ性能を超えたより高精度なＡＦやＡＥ等を行うことができる。

上記処理においては、プリントのための撮影後、撮影した画像を情報処理装置１４に送り、情報処理装置１４で画像処理を行って、処理済の画像をカメラ１２に再転送して、ユーザがカメラ１２のモニタ２０で、画像の確認を行ってもよい（すなわち、モニタ２０を用いて、ユーザによる検定を行ってもよい）。この確認によって、プリントの依頼時に、ユーザが希望する画像の色／濃度調整をラボ店に指示することが可能となる。あるいは、モニタ２０で画像確認を行い、希望する色／濃度調整が有る場合には、その情報を情報処理装置１４に送信して、画像処理条件を変更してもよい。

以上の処理において、複数の主要被写体が抽出された場合には、抽出した主要被写体に優先順位を付けてもよい。この際においては、優先順位に応じて、モニタ２０に表示した画像に枠等で主要被写体を表示し、ユーザが確認して、適正な主要被写体ではない場合には、次の主要被写体を要求して表示させることを繰り返し、適正な主要被写体が表示された時点で、主要被写体を確定する旨の指示を出し、確定した主要被写体に応じて、前記ＡＦやＡＥ等を行ってもよい。

このようなカメラ制御情報の生成において、カメラがビデオカメラ（動画の撮影）である場合には、多段フォーカス画像を利用してもよい。まず、被写体の動きが少ない状態で、複数の合焦フォーカス位置を変えた画像、すなわち多段フォーカス画像を撮影し、これを通信手段１６によって情報処理装置１４に転送する。情報処理手段１４は、転送された多段フォーカス画像を用いて、各画素の奥行き情報を算出し、この奥行き情報を用いて主要被写体を抽出して、主要被写体の情報をカメラ１２に転送する。なお、多段フォーカス画像から、各画素の奥行き情報を導出する手法は、「多重画像の統合（電子情報通信学会誌 Ｖｏｌ７９、Ｎｏ．５ ４９０ページ〜４９９ページ）」に詳述される。また、各画素の奥行き情報から主要被写体を抽出する手法は、本出願人による特開平５−１２７２７０号公報に詳述される。カメラ１２は、画像を小さいブロックに分割して、転送された主要被写体情報を用いて、ブロック単位で主要被写体の動きの追跡処理を行い、この動き情報を用いて、ＡＦやＡＥを行う。また、主要被写体が抽出されているので、画像を再生する際に、主要被写体エリアと背景エリアとで、個別に輝度調整を行ってもよい。本態様においても、主要被写体情報およびその動き情報を利用して、カメラ性能を超えたより高精度なＡＦやＡＥ等を行うことができる。

多段フォーカス画像の撮影および情報処理装置１４への転送は、カメラ１２による撮影シーンが変わる毎に行うのが好ましい。また、デジタルビデオカメラによる動画撮影であっても、前述の例と同様に、１枚（１フレーム）の画像から主要被写体抽出を行って、ＡＦやＡＥを行ってもよいのは、もちろんである。

別の態様として、本発明の撮影システムによれば、カメラ１２を用いた指示で、各種の画像補正も行うことができる。例えば、以下のようにして、カメラ１２のレンズ性能等に起因する周辺光量低下を補正することができる。

この際には、モード選択等によって、図２（Ａ）に示されるように、カメラ１２のモニタ２０表示を、カメラ１２のレンズの光軸を中心とする同心円で示されるエリアに分割できるようにする。このモードにおいて、例えば壁のような均一濃度の被写体をイメージセンサ１８で撮影した画像（これを壁画像という）をモニタ２０に表示して、ユーザがモニタ２０を見て、モニタ２０の表示を用いたＧＵＩや外部装置２２によって、画像全体の濃度（輝度）が均一になるように各エリア毎に濃度調節を行い、この調整パラメータ（例えば、各エリア毎の調整量）を、このカメラ１２に固有の周辺光量補正情報として、カメラ１２のメモリ等に記憶する。調整パラメータを設定したら、カメラ１２で画像を撮影し、撮影した画像と調整パラメータ（周辺光量補正情報）とをセットにして、通信手段１６を用いて、情報処理装置１４に転送する。なお、カメラ１２で撮影した壁画像（データ）を情報処理装置１４に転送し、情報処理装置１４側で周辺光量補正情報を計算させてもよい。

情報処理装置１４においては、転送された調整パラメータに応じて、カメラ１２で撮影され、転送された全コマの画像の各エリアの濃度を調整し、カメラ１２の周辺光量低下に起因する濃度ムラを補正した画像として、プリンタ等に供給する。必要に応じて、通信手段１６を用いて、補正を行った画像を情報処理装置１４からカメラ１２に転送して、画像をモニタ２０に表示して、ユーザが補正結果の確認を行ってもよい。

本態様においては、周辺光量低下の補正以外にも、シャープネス強調または平滑化処理についても、エリア毎に強度設定を行って、情報処理装置１４において画像の補正を行ってもよい。また、濃度（輝度）調整やシャープネス強度調整は、画像全体を均一にするのに限定はされず、例えば、意図的にある領域のみを強調するようにしてもよい。なお、この場合には、調整パラメータと対象となる画像（コマ）とを対応付けて、情報処理装置１４に送る。さらに、画面のエリア分割をユーザが任意に設定できるようにしてもよい。

さらに、本発明の撮影システムによれば、以下のようにして、画像に各種の幾何学的な調整（補正）を行うこともできる。例えば、カメラ１２のレンズ収差等に起因する画像の歪曲（幾何学歪み）の補正方法としては、カメラ１２で撮影した画像をモニタ２０に表示して、明らかに直線である部分（例えば、建造物や電柱等）が歪んでいる場合には、図２（Ｂ）に示されるように、ユーザが、その部分を３点指示（図中、点ａ，ｂおよびｃ）し、これを同様に、このカメラ１２に固有の調整パラメータ（歪み補正情報）として記憶する。調整パラメータを設定したら、カメラ１２で撮影した画像と、調整パラメータとをセットにして、通信手段１６によって情報処理装置１４に転送する。情報処理装置１４は、この調整パラメータ（歪み補正情報）を用いて、対称的な全画面分の幾何学歪み補正パラメータを算出して、これを用いて、転送された全コマの画像の幾何学歪みを補正する。また、必要に応じて、通信手段１６を用いて補正を行った画像をカメラ１２に転送して、カメラ１２のモニタ２０に表示して、ユーザが補正結果の確認を行ってもよい。

この画像補正（調整）においても、意図的に画像を歪めるような調整パラメータを設定してもよい。例えば、カメラ１２のモニタ２０に撮影した画像を表示して、図２（Ｃ）に示されるように、モニタ２０上において、ＧＵＩ等によって画像の任意の点を始点とし、終点まで画像を歪める指示を意味する矢印を設定し、これを調整パラメータとして画像と組み合わせて情報処理装置１４に転送して、画像を意図的に歪ませる処理を行ってもよい。また、図２（Ｄ）に示されるような、歪みのパターンを予め設定しておき、このパターンを調整パラメータとして画像とを組み合わせて情報処理装置１４に転送して、同様に処理を行ってもよい。なお、以上の例においても、調整パラメータと対象となる画像とを、対応付けて情報処理装置１４等に供給する。

以上の説明より明らかなように、これらの態様によれば、周辺光量低下に起因する画像濃度補正の程度や、シャープネス強調または平滑化処理のエリア毎の強度、また、レンズの収差に起因する画像の幾何学的な歪みを、ユーザの好みに応じて設定および調整することができる。また、任意に調整程度を変えて、意図的な濃度差や鮮鋭度差、歪みを有する加工画像が作成できるので、プリントの娯楽性を向上することができる。その他、濃度や色別の階調調整をマニュアルで行えるようにしても良い。さらに、上述した各種の画像処理の適用エリアを任意に指定できるようにしても良い。

以上説明した画像補正については、調整パラメータおよび画像データは、必ずしも、通信手段１６を用いて情報処理装置１４等に提供される必要はなく、例えば、両者を有する画像ファイルとしてスマートメディアなどの記憶媒体に記憶して、ラボ店などの情報処理装置１４に提供してもよい。また、周辺光量補正や幾何学歪補正等の処理は、必ずしも情報処理装置１４で行うのに限定はされず、例えば、調整パラメータを用いて、ラボ店のプリンタが有する画像情報の処理手段で行ってもよい。さらに、必要に応じて、各種の調整パラメータをカメラ１２に固有の調整パラメータとして、カメラ１２に対応付けて、情報処理装置１４やラボ店における画像情報の処理手段等に記憶して、以降、同じカメラ１２の画像が供給された場合には、このパラメータを用いて画像の調整（補正）を行ってもよい。

別の態様として、本発明の撮影システムによれば、カメラ１２を用いた指示で、カメラ１２で撮影した画像（以下、撮影画像とする）に、任意の画像や文字を合成する処理も容易に行うことができる。

この態様においては、カメラ１２に、撮影画像、音声、キーボードやボタンによる操作、手書き画像（データ）等の各種のデータ入力機能、ならびに、モニタ２０を用いたＧＵＩ等による合成位置指定機能を持たせる。データ入力機能は、外部装置２２、移動電話機２４等を用いた公知の手段で構成すればよい。カメラ１２のユーザは、このデータ入力機能を用いて、撮影画像に合成する画像や文字（以下、合成画像とする）に対応するデータを入力すると共に、変換パターン指示情報（後に詳述する）をカメラ１２に入力し、通信手段１６を用いて、情報処理装置１４に転送する。情報処理装置１４においては、変換パターン指示情報に応じて、入力されたデータを変換して合成画像の画像データとし、この画像データを通信手段１６を用いてユーザのカメラ１２に転送する。

カメラ１２では、前記合成位置指定機能を用いて、合成画像の合成位置を指定すると共に、転送された合成画像をモニタ２０に表示し、あるいは撮影画像と合成画像とを合成したプリント画像としてモニタ２０に表示し、適正であれば、プリント画像を、例えば情報処理装置１４に転送して、プリンタ等に供給する。あるいは、このプリント画像を画像ファイルとして記憶媒体に記憶し、ラボ店にプリント作成を依頼する。なお、この際において、入力データ（合成画像）が情報処理装置１４に残っている場合には、カメラ１２による撮影画像のみを情報処理装置１４に転送して、画像合成を行って、プリント画像としてもよい。

前述の変換パターン指示情報としては、以下に示すものが例示される。入力データが撮影画像（動画を含む）である場合には、入力データを合成画像に対応する画像（２値化画像、インデックス化）の画像データに変換する変換パターン指示が例示される。入力データが時刻表のような書面等を撮影した画像である場合には、入力データを合成画像に対応する文書の画像データに変換する変換パターン指示が例示される。また、この場合には、音声データに変換してもよい。入力データが音声である場合には、公知の方法で音声認識を行って、入力データを合成画像に対応する文字や画像（撮影画像、背景画像、各種キャラクタ等）等の画像データに変換する変換パターン指示が例示される。入力データがキー操作やボタン操作によるものである場合には、入力データを合成画像に対応する文字や画像等の画像データに変換する変換パターン指示が例示される。さらに、入力データが手書き文字である場合には、必要に応じて公知の方法で文字認識を行い、入力データを合成画像に対応する文字や画像等の画像データに変換する変換パターン指示が例示される。

また、入力データに変えて、ラボ店等が提供する合成用のテンプレートを情報処理手段１４および通信手段１６等を用いてカメラ１２に供給してもらい、モニタ２０に表示して選択し、その画像データをカメラ１２が取得してもよい。

以上の説明より明らかなように、本態様によれば、プリントに各種のメッセージや画像等を容易に合成することができ、また、仕上がりの確認も迅速かつ容易に行うことができる。

上記処理において、入力データを文字や画像に変換する方法としては、一例として、画像データ（撮影画像、背景画像、キャラクタ、テンプレート、各種のマーク等）や文字データ（直筆サイン、各種コメントや俳句や詩などの文章等）およびその指定領域と、入力データとなる参照語（例えば、文字、音声、キーやボタン等で入力されたキーワード）や指示ボタン（キー）等とを関連付けて、情報処理手段１４やカメラ１２に接続される外部装置２２等に登録／記憶する方法が例示される。また、データそのものではなく、フィルムＩＤ、コマ番号、画像データ（ファイル）名、キャラクタパターンの記述ファイル名、限定エリア情報（形状、中心座標や輪郭画像座標等）を登録してもよい。

また、入力データに対応する合成画像の画像データ群を設定しておき、入力データに応じて、対応する画像データ群を読み出してもよい。例えば、人名で「Ａ子」という入力データと、過去に処理した「Ａ子」の画像とを対応付けて登録しておき、音声等で「Ａ子」と入力されたら、「Ａ子」の画像を読み出して、カメラ１２に転送してもよい。

また、画像処理の内容と、カメラ１２のユーザ独自の参照語や指示ボタン等とを対応付けて登録しておき、前述の入力データと同様にして画像処理の指示を入力して、ユーザが所望する仕上がりの撮影画像を再現したプリントを出力できるようにしてもよい。この際においては、処理の適用範囲、処理の強度、その他の各種の処理パラメータ等も画像処理の内容に含めてもよい。

別の態様として、本発明の撮影システム１０によれば、カメラ１２で撮影した画像および簡易な撮影位置情報を利用してＧＰＳ（global positioning system汎地球測位システム）等を用いることなく、ユーザ（撮影者）が自分の位置を高い精度で知ることもできる。

カメラ１２のユーザは、画像を撮影して、外部装置２２や移動電話機２４を用いて、この画像を撮影した大まかな位置（通りの名前、町名、番地等）の情報をカメラ１２に入力し、通信手段１６を用いて、撮影した画像と共に情報処理装置１４に転送する。位置情報には、ＰＨＳの位置情報サービスを利用してもよい。また、位置情報には、撮影方位の情報を含めてもよい。さらに、方向を変えて複数枚の撮影を行うことで、検出精度を上げることができる。

この態様においては、情報処理装置１４は地図情報（高さ等の、建造物や山などに関する情報を含んでもよい）を有しており、転送された撮影画像と位置情報とを用いて、予想されるカメラ位置を複数箇所検出し、各位置について、シミュレーションによって仮想的視野の画像を生成し、撮影画像とのパターンマッチングを行う。上記パターンマッチング処理の結果、一致度が所定値を超えた地点を撮影場所の候補地点として、情報処理装置１４は、その位置のデータ、あるいは、その位置の地図の画像データをカメラ１２に転送する。これをカメラ１２のモニタ２０に表示することにより、ユーザは、自分の位置を検知することができる。

また、カメラ１２がビデオカメラである場合には、多段フォーカス画像を用いてもよい。すなわち、同様にして、ユーザは、多段フォーカス画像と位置情報とを情報処理装置１４に転送する。情報処理装置１４では、同様に、予想されるカメラ位置を検出し、各位置について仮想的視野の奥行きデータを生成し、撮影画像（多段フォーカス画像）から求めた奥行きデータとのパターンマッチングを行う。以下、同様にして、一致度が所定値を超えた地点を撮影場所の候補地点としてその位置のデータをカメラ１２に転送し、モニタ２０に表示して、ユーザが位置確認を行う。なお、この方法においては、カメラ１２に複数ポイントの測距機能が付いている場合には、多段フォーカス画像から奥行きデータを求める代わりに、直接、測距データを用いてもよい。

また、本発明の撮影システム１０においては、上述した以外の態様の種々の処理、例えば、本出願人の出願に係る特開２０００−６６３１２号公報、同２０００−１０５４３１号公報、同２０００−１１５６８６号公報、同２０００−７６４２７号公報、特願平１１−２００５７２号の明細書、および特願平１１−３０６６００号の明細書に記載の種々の処理をネットなどを経由することにより、行うことができる。例えば、特開２０００−６６３１２号公報に開示された処理を行う場合には、撮影画像データと、日時情報または位置情報とをカメラ１２から情報処理装置１４に伝送し、情報処理装置１４で被写体関連情報等を導出し、カメラ１２に再び返送しても良い。この時、画像に追加する付加情報として、カメラユーザが取捨選択して設定するのが好ましい。

また、特開２０００−１０５４３１号公報および同２０００−１１５６８６号公報に開示された処理を行う場合には、カメラとカートリッジＩＣとの間の情報処理を、カメラ１２と情報処理装置１４との間に置き換えて実行すれば良い。例えば、撮影画像の特定エリアの指定情報および検索指示の情報をカメラ１２から情報処理装置１４に伝送し、情報処理装置１４では、データベース２８内に記憶されている百科事典データベースを利用し、パターンマッチング等による被写体判定および被写体関連情報の導出を行い、カメラ１２に再び返送しても良い。また、特開２０００−７６４２７号公報に開示された処理を行う場合には、眼領域の指定をカメラ１２側で行い、その指定情報とその画像（デ−タ）を情報処理装置１４に伝送し、情報処理装置１４で赤目修正処理を実行し、修正済画像（デ−タ）をカメラ１２に返送し、カメラ１２の画像記録媒体１９に記録し、さらに、フォトプリンタなどに供給して、プリントを出力する。

さらに、特願平１１−２００５７２号の明細書に記載された処理を行う場合には、カメラ１２側で大まかな輪郭図形を手書き入力して、カメラ１２から情報処理装置１４に転送し、情報処理装置１４側でデ−タベ−ス２８の形状デ−タによるマッチング検索を行い、ヒットした検索画像をカメラ１２に返送する。なお、撮影画像デ−タを転送し、公知の濃度・色味を用いたマッチング手法の画像検索処理であっても良い。さらにまた、特願平１１−３０６６００号の明細書に記載された処理を行う場合には、被写体や撮影状況に応じて、画像処理の内容を制御したり、データベース２８から導出したイベント情報等をカメラ１２に返送することもできる。なお、各画像処理に関する付加情報入力用、または指示情報入力用のユーザインタフェースプログラムを、情報処理装置１４側からカメラ１２側へ転送するようにしても良い。

このような本発明の撮影システム１０において、上述した各種の処理は、必ずしも、カメラ１２から情報処理装置１４に情報を転送して行う必要はなく、例えば、指定された処理が、カメラ１２に接続されるパーソナルコンピュータ等の外部装置２２で実行可能か否かを判定し、可能な場合には、外部装置２２によって処理を行ってもよい。例えば、処理内容を示す管理データをカメラ１２と外部装置２２の双方で持ち、管理データを用いて外部装置２２に指示された処理機能が搭載されているか否かをチェックし、外部装置２２に機能が搭載されている場合には、外部装置２２で処理を行い、外部装置２２に機能が搭載されておらず、処理が不可能であると判定した場合には、通信手段１６を用いて、必要な情報を情報処理装置１４に転送して、処理を行う。

通常、ラボ店等が有する情報処理装置１４における処理は、手数料や通信コストがかかるので、優先順位を低くし、指示された処理の処理機能を外部装置２２が搭載している場合には、外部装置２２での処理を優先的に選択するのが好ましい。ただし、外部装置２２に機能が搭載されていても、処理内容によっては、外部装置２２では演算時間が膨大になってしまう場合や、通信の契約内容によって通信費が割安になる場合もあり、また、処理精度等の点で情報処理装置１４で処理を行うのが好ましい場合もある。従って、外部装置２２と情報処理装置１４の何れで処理を行うかは、ユーザが選択可能にしてもよく、処理内容毎に優先順位を設定してもよく、手動で優先順位を変更可能にしてもよく、これらを併用してもよい。また、処理内容に応じて、依頼先（情報処理装置）を複数の中から選択するようにしてもよい。

以上、本発明の撮影システムについて詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。

本発明の撮影システムの一実施例の概念図である。 （Ａ），（Ｂ），（Ｃ）および（Ｄ）は、本発明の撮影システムで実行する処理の一例を説明するための概念図である。

符号の説明

１０ 撮影システム
１２ カメラ
１４ 情報処理装置
１６ 通信手段
１６ａ カメラ側通信部
１６ｂ 装置側通信部
１８ イメージセンサ
１９ 画像記録媒体
２０ モニタ
２１ ＣＰＵ
２２ 外部装置
２３ 接続部
２４ 移動電話機
２６ 情報処理部
２６ａ ＣＰＵ
２８ データベース
３０ 出力機

Claims (11)

1. カメラと処理装置とを備えた撮影システムであって、
   撮影により得られた画像データを生成するとともに、この画像データと、撮影に関する付属情報とを送信するカメラと、
   カメラから送信された前記画像データと前記付属情報とを受信し、受信した前記付属情報を用いて情報処理を行い、この情報処理により得られた情報データを、前記カメラに送信する処理装置と、を有し、
   前記付属情報は、前記カメラが入力を受け付けた撮影地点の概略位置情報を含み、
   前記処理装置では、カメラから送信された前記画像データと前記概略位置情報とを受信し、受信した前記概略位置情報に基づいて、予め保有する地図情報から、仮想的視野の画像を複数生成するとともに、これらの仮想的視野の画像と前記画像データの再現する撮影画像とのパターンマッチングを行って、最適にマッチングした仮想的視野の画像に対応した、前記概略位置情報に比べて精度の高い位置情報を導出するとともに、この位置情報と、この位置情報に対応する地図の画像データとを、前記情報データとして前記カメラに送信することを特徴とする撮影システム。
2. 前記概略位置情報は、地図中に記載される通りの名称、町名及び番地の少なくとも１つの情報を含むものである請求項１に記載の撮影システム。
3. 前記概略位置情報は、位置検出器から得られた情報である請求項１に記載の撮影システム。
4. 前記カメラから前記処理装置へ送信される情報は、前記画像データと前記概略位置情報の他に、前記カメラで撮影した撮影方位の情報を含む請求項１〜３のいずれか１項に記載の撮影システム。
5. 前記カメラは、同一の撮影地点で、異なる撮影方位で撮影画像を撮影した複数組の画像データを前記処理装置に送信し、前記処理装置は、送信された撮影方位の異なる複数組の画像データを用いて、前記概略位置情報に比べて精度の高い位置情報を導出する請求項１〜４のいずれか１項に記載の撮影システム。
6. 前記カメラで撮影され、前記処理装置に送信される画像は、同一視野のシーンを、多段フォーカス撮影にて複数回撮影して得られた複数の画像であり、
   前記情報処理装置でパターンマッチングを行う際、多段フォーカス撮影にて複数回撮影して得られた複数の画像から求められる撮影画像の奥行き情報と、仮想的視野の画像の奥行き情報とのマッチングを行う請求項１〜５のいずれか１項に記載の撮影システム。
7. 前記処理装置は、複数設けられ、
   前記カメラは、これら複数の処理装置の中から、前記仮想的視野の画像を複数生成するとともに、前記パターンマッチングを行って、最適にマッチングした仮想的視野の画像に対応した前記位置情報を導出する情報処理の機能を備える装置か否かを確認して装置を選択し、選択した装置に前記カメラは、前記画像データと前記概略位置情報とを送信する請求項１〜６のいずれか１項に記載の撮影システム。
8. 前記付属情報は、撮影日時の情報または撮影位置の情報を含み、
   前記情報データは、撮影した被写体の関連情報を含む請求項１に記載の撮影システム。
9. 前記付属情報は、撮影した画像中の特定エリアの指定情報と検索指示情報を含み、
   前記処理装置は、前記特定エリアに基づいて、前記処理装置が有するデータベースを用いて検索することにより被写体を判定し、この判定した被写体から被写体関連情報を前記情報データとして導出する請求項１に記載の撮影システム。
10. 前記付属情報は、前記カメラに入力された撮影被写体の輪郭図形の情報を含み、
    前記処理装置は、前記輪郭図形の情報に基づいて、前記処理装置が有するデータベースの形状データとマッチング検索を行うことにより、検索画像のデータを、前記情報データとして得る請求項１に記載の撮影システム。
11. 前記処理装置は、複数設けられ、
    前記処理装置には、少なくともパーソナルコンピュータが含まれ、
    前記パーソナルコンピュータが前記情報処理の機能を備える場合、優先的に選択する請求項１〜１０のいずれか１項に記載の撮影システム。

Images