JP7500236B2 - 撮像装置、撮像装置の制御方法、撮像システム、およびプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、撮像システム、およびプログラムに関する。

デジタルカメラ等の撮像装置はさまざまな画像処理機能を有するが、年々進化する種々の画像処理機能をその撮像装置において維持することは難しい。

特許文献１および２には、撮像装置で撮影された画像がネットワークを介してサーバに転送されサーバにおいて画像処理が行われ、画像処理が適用された画像がネットワークを介して撮像装置に返送される技術が開示されている。

特開２００３－２５９２８１号公報 特開２００３－１５７４２５号公報

上記した従来技術においては、撮像装置で撮影された画像は全て、ネットワークを介してサーバに転送されサーバにおいて画像処理が行われる。しかし、画像によっては画像処理を施しても画質が向上しないなど、画像処理を適用する意味のないものもある。したがって、全ての画像を一律に画像処理させるのでは、ネットワークを介したサーバとの通信やサーバ内でのＣＰＵ処理などのコストが無駄になってしまう場合が少なからず発生しうる。また、ユーザ側の観点でも、サーバ処理が有償サービスである場合、コストを払ってサーバ処理を実行しても期待した結果が得られないというケースも発生してしまう。

本発明は、例えば、画像処理の高機能化を低コストで実現する上で有利な技術を提供することを目的とする。

本発明の一側面によれば、撮像光学系により結像された像を撮像する撮像手段と、実行要求に応じて所定の画像処理を実行可能な外部装置と通信する通信手段と、前記撮像手段によって生成された画像を、前記通信手段を介して前記外部装置に送信し、前記外部装置に、前記画像に対する前記所定の画像処理を実行させる制御手段と、を有し、前記制御手段は、前記画像に対する前記所定の画像処理の前記外部装置での実行の推奨または非推奨を示す情報を取得し、前記取得された情報に基づく指標を表示手段に表示させる、ように構成されており、前記指標は、前記外部装置により未処理であることを示す第１指標と、前記外部装置により処理済であることを示す第２指標とを含み、前記制御手段は、前記取得された情報に基づいて、前記第１指標および前記第２指標のうちのいずれか一方を前記表示手段に表示させる、ことを特徴とする撮像装置が提供される。

本発明によれば、例えば、画像処理の高機能化を低コストで実現する上で有利な技術を提供することができる。

撮像システムの構成を示す図。 デジタルカメラの構成を示すブロック図。 サーバの構成を示すブロック図。 デジタルカメラの制御方法のフローチャート。 所定の画像処理のサーバでの実行の推奨または非推奨の情報を取得する処理のフローチャート。 所定の画像処理のサーバでの実行の推奨または非推奨の情報を取得するために参照されるテーブルの例を示す図。 サーバによる所定の画像処理に関する制御方法のフローチャート。 表示部による画像の表示例を示す図。 サーバによる所定の画像処理に関する制御方法のフローチャート。 表示部による画像の表示例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１実施形態］
＜システム構成＞
撮像システムは、撮像装置と、該撮像装置と通信可能であり、実行要求に応じて所定の画像処理を実行可能なサーバとを含みうる。撮像装置は、デジタルカメラ、カメラ付き携帯電話、スマートフォン、タブレット端末、カメラ付きパーソナルコンピュータ等のいずれかでありうるが、ここでは撮像装置の一例としてデジタルカメラが示される。サーバは、撮像装置に対する外部装置であって、実行要求に応じて所定の画像処理を実行可能な、いわゆるクラウドサービスを提供するサーバでありうる。

図１は、実施形態に係る撮像システムの構成を示す図である。撮像システムは、撮像装置であるデジタルカメラ１００と、外部装置であるサーバ２００および第２サーバ３００とを含みうる。デジタルカメラ１００と、サーバ２００と、第２サーバ３００とは、ネットワーク４００を介して互いに通信可能に接続される。ネットワーク４００を介した接続は、有線接続であるか無線接続であるかを問わない。また、図１には、デジタルカメラ１００はネットワーク４００を介してサーバ２００および第２サーバ３００と通信可能に接続される構成が示されているが、ネットワークを介さずに直接接続される構成であってもよい。第１サーバ２２０と第２サーバ３００とは互いに異なるクラウドサービスを提供するように構成されうる。ただし、本発明はデジタルカメラ１００と接続可能なサーバの数が特定の数に限定されるものではない。以下では、説明を簡単にするため、デジタルカメラ１００に対してクラウドサービスを提供する外部装置としてサーバ２００のみが使用される形態を説明する。

図２は、デジタルカメラ１００の構成を示すブロック図である。ＣＰＵ１０１は、デジタルカメラ１００が有する各ブロックの動作を制御する制御部である。具体的にはＣＰＵ１０１は、ＲＯＭ１０２に記憶されている撮影処理や再生処理等のプログラムをＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、上記のとおり、撮影処理や再生処理等のプログラムを記憶する。ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリ（例えばフラッシュＲＯＭ）によって構成され、デジタルカメラ１００が有する各ブロックの動作に必要なパラメータやユーザ設定情報等を記憶することができる。ＲＡＭ１０３は、プログラムのワークエリアを提供する他、各ブロックの動作において出力された中間データ等も格納することができる。ＲＡＭ１０３は、揮発性メモリによって構成されうる。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を含み、撮像光学系１０４により受光面に結像された光学像を光電変換して得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。撮像光学系１０４は、被写体像を撮像部１０５の撮像素子に結像するための光学素子である。撮像光学系１０４は、撮像部１０５と一体化されたモジュールとして構成されてもよいし、交換可能なモジュールであってもよい。また、撮像光学系１０４は、ＣＰＵ１０１からの指示に応じて駆動する不図示の駆動部を含み、撮像光学系１０４の状態がＲＡＭ１０３に格納されうる。

通信部１０７は、所定のプロトコルに従って、外部装置であるサーバ２００および第２サーバ３００と通信するための通信インタフェースである。通信部１０７は、外部装置に画像処理を実行させるための命令である実行要求を送信し、外部装置で処理された画像の受信を行うことができる。

表示部１０９は、ＬＣＤ等で構成され、Ａ／Ｄ変換部１０６から出力された後に所定の画像処理が適用されて得られた画像や記録媒体１１０に記録されている画像等を表示する。表示部１０９への画像の表示は、表示制御部１０８によって制御される。ユーザは表示部１０９を通じて画像情報の確認をすることができる。

記録媒体１１０は、撮像により得られた画像、画像処理が適用された画像等を記憶する。記録媒体１１０は、デジタルカメラ１００の内蔵メモリとして構成されてもよいし、デジタルカメラ１００に対して着脱可能に接続されたメモリカードやＨＤＤ等の記録装置として構成されてもよい。

操作入力部１１１は、シャッタボタン、モードダイアル、メニューボタン等のユーザインタフェースを含みうる。操作入力部１１１は、表示部１０９上に構成されたタッチパネルを含んでいてもよい。操作入力部１１１は、それらユーザインタフェースを介してなされた操作に対応する制御信号をＣＰＵ１０１に伝送する。

画像処理部１２０は、所定の画像処理を実行する。例えば、画像処理部１２０は、撮像によりＡ／Ｄ変換部１０６から出力された画像に対して、記録あるいは表示に係る予め定められた処理を実行する。また、画像処理部１２０は、画像の再生時には、記録媒体１１０から読み出された画像に対して表示に係る予め定められた処理を実行する。画像処理部１２０は、補正処理部１２１、現像処理部１２２、符号化部１２３、および復号部１２４を含みうる。これらの各部は、それぞれ異なるハードウェアで構成されてもよいし、各処理を実行するためのプログラムを画像処理部１２０が読み込み、画像処理部１２０が実行するソフトウェアモジュールとして構成されてもよい。

補正処理部１２１は、画像補正処理を行うモジュールである。具体的には補正処理部１２１は、ＲＡＭ１０３に記憶されている画像について、撮像光学系１０４や撮像部１０５の特性によって劣化した信号を画像処理によって補正するモジュールである。さらに詳細に説明すると、撮像光学系１０４においては、その収差特性によって画質が劣化し、撮像部１０５においては、一部の欠陥画素やフィルタの光学特性によって画質が劣化しうる。補正処理部１２１では、事前に求められた撮像光学系１０４や撮像部１０５の劣化特性に基づいて画像を補正する。

現像処理部１２１は、現像処理を行うモジュールである。一般に、撮像部１０５の撮像素子は、画素ごとに異なる色感度特性を持っている。現像処理部１２１は、最終的には鑑賞用の画像とするために、色画素間の補間を行い、視覚特性や官能特性を考慮して最終的な画素値を生成する。現像処理部１２１は更に、画素間の平均をとることで画像のノイズを低減するノイズ低減処理（以下、ＮＲ (Noise Reduction) という。）を行うことができる。

符号化部１２３は、符号化処理を行うモジュールである。具体的には符号化部１２３は、ＲＡＭ１０３に記憶されている画像に対して、記録ファイル形式に対応する符号化処理を実行する。

復号部１２４は、復号処理を行うモジュールである。具体的には復号部１２４は、例えば記録媒体１１０から読み出された記録画像に対して、記録ファイル形式に対応する復号処理を実行する。

画像処理部１２０は、更に、符号化部１２３により符号化された記録ファイル形式の画像を記録媒体１１０に記録する記録処理、および、記録媒体１１０に記録された画像の再生制御を行う再生制御処理を行いうる。

図３は、サーバ２００および第２サーバ３００の構成を示すブロック図である。サーバ２００および第２サーバ３００は同一の構成を有し、それぞれが、上述の所定の画像処理の全てを実行する機能を有するものとして説明する。

サーバＣＰＵ２０１は、サーバ２００が有する各ブロックの動作を制御する。具体的にはサーバＣＰＵ２０１は、サーバＲＯＭ２０２あるいはサーバ記録媒体２０５に記憶された、所定の画像処理のプログラムをサーバＲＡＭ２０３に展開して実行することにより、各ブロックの動作を制御する。なお、以下の説明では、プログラムはサーバＲＯＭ２０２に記憶されているものとする。

サーバＲＯＭ２０２は、所定の画像処理のプログラムを記憶するとともに、各ブロックの動作に必要な動作パラメータ等を記憶する。サーバＲＯＭ２０２は、例えば書き換え可能な不揮発性メモリによって構成されうる。サーバＲＡＭ２０３は、プログラムのワークエリアを提供する他、各ブロックの動作において出力された中間データ等も格納することができる。サーバＲＡＭ２０３は、揮発性メモリによって構成されうる。

サーバ通信部２０４は、所定のプロトコルに従って、デジタルカメラ１００および第２サーバ３００と通信するための通信インタフェースである。サーバ通信部２０４は、デジタルカメラ１００から実行要求を受信し、所定の画像処理が適用された後の画像をデジタルカメラ１００に送信することができる。

サーバ記録媒体２０５は、受信した画像または所定の画像処理が適用された後の画像等を記憶する。サーバ記録媒体２０５は、例えばＨＤＤやＳＳＤ等の記録装置でありうる。

＜撮影処理＞
ＣＰＵ１０１は、撮像によって生成された画像に対する所定の画像処理を画像処理部１２０に行わせるかわりに、該画像を通信部１０７を介してサーバ２００に送信し、サーバ２００に該画像に対する所定の画像処理を実行させることができる。画像処理部１２０で画像処理を実施する場合、その画像処理は、組み込まれた画像処理部１２０の動作精度でしか実施することはできない。一方、サーバ側では柔軟に処理機能を改善強化することが可能であるため、サーバは画像処理部１２０に比べて強化された画像処理を行いうる。しかし、そのようなサーバ側の画像処理の効果は処理対象の画像等によって異なり、サーバ側で画像処理を実施すれば画像処理部１２０で行った場合と比べて有意な効果が必ず得られるとは限らない。有意な効果が得られないのであれば外部に画像処理を委託する意味はない。そこで本実施形態では、ＣＰＵ１０１は、画像ごとに、所定の画像処理を画像処理部１２０に行わせるかサーバ２００に行わせるかを判断する。具体的には、ＣＰＵ１０１は、画像に対する所定の画像処理のサーバ２００での実行の推奨または非推奨を示す情報を取得し、取得された情報がサーバ処理の推奨を示す場合に、該画像に対する所定の画像処理の実行要求をサーバ２００に送信する。

図４は、実施形態におけるデジタルカメラ１００の制御方法のフローチャートである。このフローチャートに対応するプログラムは例えばＲＯＭ１０２に記憶されているプログラムに含まれ、ＲＡＭ１０３にロードされた後、ＣＰＵ１０１によって実行される。この制御処理は、例えば、複数の撮影モードのいずれかが選択された状態でデジタルカメラ１００が起動された際に開始される。

Ｓ４０１では、ＣＰＵ１０１は、ユーザによる操作入力部１１１の操作状態に応じて撮影モードを設定する。撮影モードの設定項目は例えば、撮像光学系１０４の焦点距離および絞り（Ｆ値）、撮像部１０５のＩＳＯ感度、シャッタースピード等を含みうる。その他の設定項目として、撮像光学系１０４の収差補正機能の有無、ＮＲ機能の有無または強弱等もありうる。操作入力部１１１のモードダイアルがオートにセットされている場合には、これらの設定項目の値は自動的に決定されうる。

Ｓ４０２では、操作入力部１１１のシャッタボタンが押されたことに応じて、ＣＰＵ１０１は、Ｓ４０１で設定された撮影モードに従い撮影処理（撮像）を実行する。撮影動作を経ることで最終的に設定された撮影条件が確定するので、Ｓ４０３において、ＣＰＵ１０１は、その撮影条件を取得する。取得された撮影条件は、撮像により生成された画像とともに、該画像に付随するメタデータとして、記録媒体１１０に記憶される。なお、メタデータは、Exif画像ファイルの規格に準拠した形式で記録媒体１１０に記録されてもよい。

次に、Ｓ４０４では、ＣＰＵ１０１は、撮像により得られた画像に対する所定の画像処理のサーバ２００での実行の推奨または非推奨を示す情報を取得する。ここで、「所定の画像処理のサーバ２００での実行の推奨」とは、サーバ２００で所定の画像処理を実施すれば画像処理部１２０で行った場合と比べて有意な効果が得られるので所定の画像処理をサーバ２００で実行することが推奨されることをいう。一方、「所定の画像処理のサーバ２００での実行の非推奨」とは、サーバ２００で所定の画像処理を実施しても画像処理部１２０で行った場合と比べて有意な効果を望めないため所定の画像処理をサーバ２００で実行することは推奨されないことをいう。以下では、所定の画像処理のサーバでの実行のことを「サーバ処理」ともいう。サーバ処理の推奨または非推奨を示す情報を取得するための処理については、図５および図６を参照して後述する。

Ｓ４０５では、ＣＰＵ１０１は、「推奨」とされた画像処理の実行要求を、通信部１０７を介してサーバ２００に送信する。この実行要求に応答してサーバ２００で実行される画像処理については、図７を参照して後述する。

Ｓ４０６では、ＣＰＵ１０１は、サーバ２００からの実行可能応答を待つ。実行可能応答が受信されると、Ｓ４０７で、ＣＰＵ１０１は、撮像により得られた画像（対象画像）およびこれに付随するメタデータをサーバ２００に送信する。

Ｓ４０８で、ＣＰＵ１０１は、サーバ２００で画像処理が行われた画像を受信する。Ｓ４０９で、ＣＰＵ１０１は、受信された処理後の画像を記録媒体１１０に格納する。このとき、Ｓ４０２で取得された元の画像に、受信された処理後の画像を上書きしてもよいし、元の画像が残るよう別の領域に処理後の画像を記録してもよい。

なお、図４は、撮像により１枚の画像が得られる都度、Ｓ４０３以降の処理が行われるフローとなっているがこれに限定されない。例えば、連写等によって複数の画像が生成され記録媒体１１０に記憶された後に、それぞれの画像についてＳ４０３以降の処理が実行されるフローであってもよい。

次に、Ｓ４０４における推奨または非推奨の情報を取得する処理について説明する。所定の画像処理のうちの１つでありうる収差補正処理に関して言えば、例えば高性能な撮像光学系で撮影が行われた場合、一般には、サーバ２００で現像処理を実施しても顕著な効果が得られることは期待できない。したがって、そのような場合にはわざわざサーバ２００に現像処理を行わせる必要はない。逆に、撮像光学系１０４の収差が大きい場合には、補正処理部１２１では十分な補正ができないため、サーバ２００で補正を行わせるのが有効である。一般的にユーザは撮像光学系１０４のどのような条件で収差が発生するのかは判断できないため、収差の発生に関して自動で判定することが求められる。ＮＲについても同様であり、ＩＳＯ感度が低い場合は発生するノイズは少ないので現像処理部１２２の処理によって十分な効果を期待できるが、ＩＳＯ感度が高い場合は現像処理部１２２の処理では十分な効果が得られないケースが増えてくる。この点に関してもユーザは効果の判断が難しいため、自動で判断することが求められる。

図５は、Ｓ４０４における、サーバ処理の推奨または非推奨の情報を取得する処理のフローチャートである。Ｓ４０４では、画像の撮像時における撮像光学系１０４および撮像部１０５の少なくともいずれかの状態に基づいて推奨または非推奨の情報を取得する処理が行われる。
Ｓ５０１では、ＣＰＵ１０１は、各フラグ変数の初期化を行う。具体的には、失敗写真フラグ、収差補正フラグ、およびＮＲフラグがそれぞれ０に初期化される。

次に、Ｓ５０２で、ＣＰＵ１０１は、撮像により得られた画像（対象画像）が失敗画像か否かを判定する。例えば、対象画像が明らかな露出オーバーまたは露出アンダーの画像、あるいは、完全なピンボケ画像である場合、そのような画像に画像処理を適用するのは無駄であるから、対象画像を失敗画像と判定する。ＣＰＵ１０１は、対象画像を解析して得られる該画像の輝度値およびエッジ量に基づいて対象画像が失敗画像か否かを判定することができる。例えば、ＲＯＭ１０２には、図６（ａ）に示すような、画像の明るさとエッジ量と判定値（失敗画像／成功画像）との間の予め得られた関係を表す参照テーブルが記憶されている。図６（ａ）の参照テーブルにおいては、失敗画像を表す判定値は０、成功画像を表す判定値は１で示されている。

ＣＰＵ１０１は、対象画像を解析し、対象画像が図６（ａ）の参照テーブルのどの条件に該当するかを判定する。明るさは、例えば対象画像全体の輝度値の平均によって表される。エッジ量は、対象画像に対して所定のエッジ抽出フィルタを適用した結果の値の積分値によって表される。例えば、対象画像が全域ほぼ真っ暗でかつエッジもほとんどない画像である場合、対象画像は、図６（ａ）における明るさ０、エッジ量０に分類される。図６（ａ）において、エッジ量０、明るさ０の場合の判定値は、失敗画像を表す０である。この場合、Ｓ５０３において対象画像は失敗写真と判定され、Ｓ５０４において、ＣＰＵ１０１は、失敗写真フラグを１に変更する。また、対象画像が明るさ１、エッジ量１に分類された場合、判定値は、成功画像を表す１である。この場合、処理はＳ５０５に進む。この場合、処理はＳ５０４には進まないので、失敗画像判定フラグは０のままである。後述するように、失敗画像判定フラグが１とされた場合、対象画像に対するサーバ処理は非推奨とされる。したがって、その画像は、サーバ２００には送信されないか、サーバ２００に送信されても処理されないことになる。なお、上記した参照テーブルを用いた判定結果は、ユーザの意図と異なる場合もありうるので、ユーザが参照テーブルを変更できるようにしてもよい。

Ｓ５０５では、ＣＰＵ１０１は、収差補正処理に関して、サーバ２００での実行が推奨か非推奨かの判定を行う。ここで、収差補正とは、例えば、周辺光量補正、歪曲収差補正、色収差補正等でありうる。また、収差補正は、球面収差等による画質劣化を回復させる回復処理であってもよい。周辺光量補正、歪曲収差補正、色収差補正、球面収差等は、デジタルカメラ１００内の補正処理部１２１でも実施されうるが、それぞれ以下の理由により十分に補正できない場合がある。周辺光量補正の場合は、一定の補正量を超えるとノイズの悪化が目立ってしまうため十分な補正をするのが難しい。歪曲収差補正の場合は、歪量が極端に大きい補正した結果、解像感の劣化が大きくなり十分補正できない場合がある。色収差補正の場合は、画像周辺に余剰画素がないと十分な補正ができない場合がある。回復処理の場合は、補正処理部１２１の補正フィルタのタップ数に補正精度の制約を受けるし、ノイズ悪化のため強度も所望の補正ができない場合がある。

補正量が小さい場合には、撮像装置１００内の補正処理部１２１での補正で十分な場合もある。しかし、上記のような判定をユーザ側で実施することは現実的には難しい。一般的に、撮像光学系１０４の特性の詳細は開示されてない場合が多く、さらに、補正の効果は補正処理部１２１の能力によっても影響するためである。

本実施形態では、ＣＰＵ１０１は、対象画像の撮像時における撮像光学系１０４の焦点距離と絞りとに基づいて収差補正処理についての推奨または非推奨を示す情報を取得することができる。撮像光学系１０４の光学特性（収差）は、焦点距離と絞りに応じて変動しうる。そこで、ＲＯＭ１０２には、図６（ｂ）に示すような、焦点距離と絞りと判定値（推奨／非推奨）との間の予め得られた関係を表す参照テーブルが記憶されている。図６（ｂ）の参照テーブルにおいては、収差補正処理がサーバ２００で実行されることに関して「推奨」を表す判定値は１、「非推奨」を表す判定値は０で示されている。例えば、Ｓ４０３で取得された撮影条件に含まれる絞りおよび焦点距離がそれぞれ、絞り０、焦点距離１に分類された場合の判定値は、「推奨」を表す１である。この場合、Ｓ５０６において収差補正処理についてはサーバ処理が推奨されると判定され、Ｓ５０７において、ＣＰＵ１０１は、収差補正フラグを１に変更する。Ｓ５０６において、収差補正処理についてサーバ処理は非推奨と判定された場合には、収差補正フラグは０のままとされる。

なお、ここでは、収差補正処理に関して図６（ｂ）に示されるような１つの参照テーブルを例示したが、このような参照テーブルを補正の対象とする複数の収差のそれぞれごとに作成してもよい。また、焦点距離や絞りのみならず、ピント位置、瞳距離等の特性値が変数項目に追加されてもよい。また、交換レンズシステムの撮像装置の場合、新たに開発された撮像光学系が装着される場合もある。その場合は、新たな撮像光学系の内部のＲＯＭに参照テーブルを記録しておき、その撮像光学系が新たに装着された際にその参照テーブルが撮像装置１００のＲＯＭ１０２に転送されるような構成が採用されてもよい。

次に、Ｓ５０８では、ＣＰＵ１０１は、ＮＲ処理に関して、サーバ２００での実行が推奨か非推奨かの判定を行う。ＮＲ処理は、例えば、画像の平均値処理によりノイズを平滑化する処理である。しかし、単純な平滑化を実施すれば同時に解像感も落ちてしまうため、様々な工夫により解像感を保ちながらノイズを低減する方法がある。デジタルカメラ１００の現像処理部１２２では、複雑なアルゴリズムでノイズ低減を行うことには対処できない場合がある。そのような場合は、サーバ上に画像を転送してＮＲ処理をした方が良好な結果が得られることも多い。一方で、ＩＳＯ感度が低い撮影条件であったため画像にノイズがあまり発生していない場合は、現像処理部１２２での処理で十分効果が得られる場合もある。この条件はデジタルカメラの特性や、現像処理部１２２の特性によって変わりうるため、ユーザが判定することは難しい。

そこで本実施形態では、ＣＰＵ１０１は、対象画像の撮像の際の撮像部１０５のＩＳＯ感度に基づいてＮＲ処理についてのサーバ処理の推奨または非推奨を示す情報を取得することができる。例えば、ＲＯＭ１０２は、図６（ｃ）に示すような、ＩＳＯ感度と判定値（推奨／非推奨）との間の予め得られた関係を表す参照テーブルが記憶されている。図６（ｃ）の参照テーブルにおいては、ＮＲ処理がサーバ２００で実行されることに関して「推奨」を表す判定値１、「非推奨」を表す判定値０で示されている。例えば、Ｓ４０３で取得された撮影条件に含まれるＩＳＯ感度がＩＳＯ感度３に分類された場合の判定値は、「推奨」を表す１である。この場合、Ｓ５０９においてＮＲ処理についてサーバ処理が推奨されると判定され、Ｓ５１０において、ＣＰＵ１０１は、ＮＲフラグを１に変更する。Ｓ５０９においてＮＲ処理についてサーバ処理が非推奨と判定された場合には、ＮＲフラグは０のままとされる。

以上の処理によれば、失敗写真フラグ、収差補正フラグ、ＮＲフラグのそれぞれは、所定の画像処理がサーバ２００で実行されることが推奨されるか否かの情報を反映している。Ｓ５１１では、ＣＰＵ１０１は、失敗写真フラグ、収差補正フラグ、ＮＲフラグそれぞれの値を、例えば、対象画像のメタデータに記録する。

なお、以上のＳ４０４の処理は、サーバ２００において実施する構成としてもよい。そのような態様については第２実施形態において後述する。

＜実行要求について＞
以上のＳ４０４の処理によって、各画像処理についてのサーバ処理の推奨／非推奨の情報が取得される。したがって、Ｓ４０５では、ＣＰＵ１０１は、対象画像のメタデータに記録されている各フラグの値をチェックする。ここで、収差補正フラグおよびＮＲフラグのうちの少なくともいずれかが１であれば、ＣＰＵ１０１は、実行要求をサーバ２００に送信する。実行要求は、実行を要求する画像処理の種別（収差補正処理／ＮＲ処理）を特定するフィールドを含みうる。失敗写真フラグが１であれば、ＣＰＵ１０１はサーバ２００に実行要求を送信しない。また、収差補正フラグおよびＮＲフラグがともに０であれば、ＣＰＵ１０１は実行要求をサーバ２００に送信しない。実行要求をサーバ２００に送信しない場合には、例えば自動的にまたはユーザによる操作指示に応じて、画像処理部１２０によって所定の画像処理が行われうる。

また、実行要求には、サーバで画像処理が実行された画像のサーバからの返送の要否の指示が記述される返送要否フィールドを含みうる。例えば、再生（表示）される画像がサーバでどのような画像処理が実行された画像であるのかを確認することをユーザが希望する場合には、ユーザによる操作により、返送要否フィールドに「返送要」の指示を記述することができる。そのような確認をユーザは希望しない場合には、返送要否フィールドに「返送不要」の指示を含めればよい。その場合、Ｓ４０８における画像の受信は行われない。

＜サーバによる画像処理＞
図７は、サーバ２００による所定の画像処理の実行に関する制御方法のフローチャートである。このフローチャートに対応するプログラムは例えばサーバＲＯＭ２０２に記憶されているプログラムに含まれ、サーバＲＡＭ２０３にロードされた後、サーバＣＰＵ２０１によって実行される。この制御処理は、例えば、サーバ２００の起動後に開始され、繰り返し実行されるものとして説明する。

Ｓ７０１では、サーバＣＰＵ２０１は、サーバ通信部２０４を介してデジタルカメラ１００からの実行要求（Ｓ４０５参照）が受信されるのを待つ。実行要求が受信されると、サーバＣＰＵ２０１は該実行要求をサーバＲＡＭ２０３に格納した後、Ｓ７０２で、実行要求に含まれている画像処理の種別（収差補正処理／ＮＲ処理）を読み出すことで、要求されている画像処理を判定する。

Ｓ７０３で、サーバＣＰＵ２０１は、要求された画像処理をサーバ２００が実行可能な状態であることを確認した後、実行可能応答を、サーバ通信部２０４を介してデジタルカメラ１００に送信する。上記したように、デジタルカメラ１００は、実行可能応答を受信したこと（Ｓ４０６）に応答して対象画像およびメタデータを送信する（Ｓ４０７）ので、Ｓ７０４で、サーバＣＰＵ２０１はこれを受信（取得）する。受信された対象画像およびメタデータは一時的にサーバＲＡＭ２０３に格納される。

Ｓ７０５で、サーバＣＰＵ２０１は、Ｓ７０２で判定された画像処理のプログラムをサーバＲＯＭ２０２から読み出してサーバＲＡＭ２０３にロードし、サーバＲＡＭ２０３に格納された対象画像に対して画像処理を実行する。Ｓ７０６で、サーバＣＰＵ２０１は、画像処理が実行された後の画像を、いったんサーバＲＡＭ２０３に格納する。このときサーバＣＰＵ２０１は、画像処理が実行された後の画像をサーバ記録媒体２０５に格納してもよい。また、このときサーバＣＰＵ２０１は、Ｓ７０２で判定された種別の画像処理のサーバ２００による実行の履歴をメタデータに追記する。

Ｓ７０７では、サーバＣＰＵ２０１は、実行要求の返送要否フィールドの値が「返送要」を示している否か確認する。実行要求の返送要否フィールドの値が「返送要」である場合、Ｓ７０８で、サーバＣＰＵ２０１は、処理済み画像をデジタルカメラ１００に送信する。

＜再生表示＞
ＣＰＵ１０１は、記録媒体１１０に記憶されている１つ以上の画像のうちから選択された画像を表示部１０９に表示させることができる。ここで、記録媒体１１０に記憶されている各画像は画像処理の適用の履歴が異なりうる。すなわち、記録媒体１１０に記憶されている画像には、サーバで処理済みの画像とそうでない画像とが混在しうる。より具体的には、記録媒体１１０に記憶されている画像は、以下のような状態を有しうる。
Ａ．サーバ処理「非推奨」、
Ｂ．サーバ処理「推奨」であるがサーバ処理は未済、
Ｃ．サーバ処理「推奨」で、サーバ処理済み。

そのため、画像を表示した際にそのような履歴を容易に確認可能であることが望まれる。そこで本実施形態では、表示部１０９に画像が表示されるとともに、該画像についての、推奨または非推奨を示す情報、およびサーバ処理の履歴を表す情報が表示部１０９に表示される。

図８に、表示部１０９における画像の表示態様の例を示す。図８（ａ）において、ユーザによって選択された画像８０１が、表示部１０９のサイズに合わせて縮小表示されている。表示部１０９のサイズによっては縮小率が大きくなり、その画像を見ただけでは、適用された画像処理の効果が把握しにくくなる場合がある。画面８０２には、画像８０１の撮影条件が表示される。画面８０２に表示される項目は、ユーザによって選択された項目であってもよいし、サーバ処理の推奨／非推奨の判定に利用された項目であってもよい。画面８０３には、画像８０１に対するサーバ処理（クラウド現像）の履歴が表示される。

図８（ｂ）は、前述の状態Ａ（サーバ処理「非推奨」）の画像が選択されたときの表示例である。ここには、サーバ処理（クラウド現像）が推奨されない例として完全なピンボケ写真の例が示されている。このような場合、画像から有効なエッジは検出されず失敗写真と判定される。そのような画像に対しては、失敗写真と判定されたことを示すアイコン８０４が表示される。

図８（ｃ）は、前述の状態Ｂ（サーバ処理「推奨」であるがサーバ処理は未済）の画像が選択されたときの表示例である。ここには、それぞれの画像処理についてサーバ処理（クラウド現像）が推奨であるがクラウド現像は済んでいないことを示すアイコン８０５が表示される。

図８（ｄ）は、前述の状態Ｃ（サーバ処理「推奨」で、サーバ処理済み）の画像が選択されたときの表示例である。サーバ処理（クラウド現像）が有効と判断され、かつクラウド現像が済んでいることを示すアイコン８０６が表示される。

以上のように、画像再生時にサーバ処理の履歴を表示することにより、表示された画像の状態をユーザが直観的に理解できる。なお、このような態様の画像表示は、撮影した機器（デジタルカメラ１００）とは異なる機器（例えばパーソナルコンピュータ）上のアプリケーションによって行われてもよい。

［第２実施形態］
上述の第１実施形態では、サーバ処理の推奨／非推奨の判定をデジタルカメラ１００内のＲＯＭ１０２に記録された参照テーブル（図６）を用いて行った。しかし、サーバ側での画像処理には更新により高性能な処理に改善できるという利点があり、参照テーブルをＲＯＭ１０２に記録した当時よりも性能が向上する可能性がある。ＲＯＭ１０２に記録された参照テーブルを更新すること可能であるが、その方法では改善された画像処理に追従することは難しい。

本実施形態では、サーバ処理の推奨／非推奨の判定もサーバ側で行うことができる。

図９は、第２実施形態における、サーバ２００による所定の画像処理の実行に関する制御方法のフローチャートである。このフローチャートに対応するプログラムは例えばサーバＲＯＭ２０２に記憶されているプログラムに含まれ、サーバＲＡＭ２０３にロードされた後、サーバＣＰＵ２０１によって実行される。この制御処理は、例えば、サーバ２００の起動後に開始され、繰り返し実行されるものとして説明する。

図９において本実施例のサーバ上の処理について説明を行う。図９において、Ｓ７０１～Ｓ７０８は、図７と同様でありこれらの説明は省略する。ただし本実施形態では、Ｓ７０１とＳ７０２の間に、Ｓ９０１～Ｓ９０３の処理ステップが入る。Ｓ９０２は、サーバ処理の推奨／非推奨を判定する処理であり、これは、第１実施形態ではデジタルカメラ１００側で行われていた処理（Ｓ４０４）に相当する。Ｓ９０３は、サーバ側で実行すべき処理モードを判定する処理である。サーバ２００は、例えばモード１，２，３の３つの処理モードを有する。デジタルカメラ１００では、サーバの処理モードの選択を行うことができ、サーバをどのモードで動作させるかの指示を実行要求に含めることができるものとする。

モード１は、各画像処理についてのサーバ処理の推奨／非推奨の判定結果だけを提供する処理モードである。一般的に、サーバの維持・運営・レンタルに対してコストがかかるため、サーバ現像処理は、その処理量に応じて課金されるサービスとして提供されることが多い。ユーザとしては、効果の薄いサーバ処理に料金を支払うことは避けたいところである。そのような場合にモード１を選択すると、ユーザは、極めて少ないサーバ負荷によって、各画像処理についてのサーバ処理の推奨／非推奨の情報のみを取得することができる。ユーザは、このモード１によって取得された情報をみて、その後で他のモード（例えばモード２）を指定して実行要求を出すようにすればよい。

モード２は、サーバでの画像処理を簡易的に行う処理モードである。モード２は、サーバでの画像処理に対して画像枚数に応じて課金されるシステムにおいて、ユーザが少しでも処理済み画像を見て画像処理の効果を判断したいと思う場合に有効である。モード２では、サーバは、対象画像の一部の領域のみに対して画像処理を行い、その結果を送信する。サーバは、例えば、ユーザが指定した部分領域または主被写体が存在する可能性が高い測距枠付近の部分領域に対して画像処理を実施し、その処理済み画像と推奨／非推奨の判定結果とをデジタルカメラ１００に送信する。これにより、ユーザは、判定結果とともに、領域の一部ではあるが実際の処理済み画像を確認できる。ユーザはその後、例えばモード２を指定して実行要求を出すようにすることができる。

モード３は、図７で示したような、対象画像の全体に対して画像処理を行いその結果を送信する処理モードである。なお、モード３は、例えば、サーバ処理の効果の量（例えば大、中、小など）を判定し、その判定結果が所定の条件を満たしていれば自動的にサーバ処理を実施する処理モードとして構成されてもよい。このようなモード３によれば、モード１，２のようにいったん判定のためにサーバに処理を依頼する必要がなく、一度に対象画像にサーバ処理を適用することができる。

Ｓ９０１では、サーバＣＰＵ２０１は、デジタルカメラ１００から対象画像およびそのメタデータを受信する。Ｓ９０２では、サーバＣＰＵ２０１は、図５で示したようなフローに従い、対象画像に対するサーバ処理の推奨／非推奨の判定を行う。この場合、サーバＲＯＭ２０２に図６（ａ）～（Ｃ）で示したような参照テーブルが記憶されており、判定はこれらの参照テーブルを用いて行われる。なお、サーバ側では画像処理の結果を高精度に判定できるため、期待される効果の量（大、中、小など）も合わせて判定するようにしてもよい。その場合は、効果の量（大、中、小など）に応じた参照テーブルを別途作成しておく必要がある。

Ｓ９０３では、サーバＣＰＵ２０１は、実行要求において指定されている処理モードを判定する。判定された処理モードがモード１である場合、処理はＳ９０４へ進む。判定された処理モードがモード２である場合、処理はＳ９１１へ進む。判定された処理モードがモード３である場合、処理はＳ７０２へ進む。

モード１におけるＳ９０４では、サーバＣＰＵ２０１は、Ｓ９０２での判定結果である、対象画像に対するサーバ処理の推奨／非推奨の情報（失敗写真フラグ、収差補正フラグ、ＮＲフラグそれぞれの値）を、デジタルカメラ１００に送信する。モード１はこのような情報の送信のみであるから、サーバ上の負荷を最小に抑えることができる。

モード２におけるＳ９１１では、サーバＣＰＵ２０１は、実行要求に含まれている画像処理の種別を読み出すことで、要求されている画像処理を判定する。Ｓ９１２では、サーバＣＰＵ２０１は、要求された画像処理をサーバ２００が実行可能な状態であることを確認した後、実行可能応答を、サーバ通信部２０４を介してデジタルカメラ１００に送信する。デジタルカメラ１００は、実行可能応答を受信したことに応答して、対象画像のうちのユーザによって指定された一部の領域の画像である部分画像を送信する。Ｓ９１３で、サーバＣＰＵ２０１はこの部分画像を受信する。受信された部分画像は一時的にサーバＲＡＭ２０３に格納される。Ｓ９１３では、デジタルカメラ１００から送信された部分画像を受信するのではなく、Ｓ９０１で受信した画像のうち主被写体が存在する可能性が高い測距枠付近の部分領域の画像である部分領域を取得してもよい。

Ｓ９１４で、サーバＣＰＵ２０１は、Ｓ９１１で判定された画像処理のプログラムをサーバＲＯＭ２０２から読み出してサーバＲＡＭ２０３にロードし、サーバＲＡＭ２０３に格納された部分画像に対して画像処理を実行する。Ｓ９１５で、サーバＣＰＵ２０１は、Ｓ９０２での対象画像に対するサーバ処理の推奨／非推奨の情報と、Ｓ９１４で行われた画像処理後の部分画像とを、デジタルカメラ１００に送信する。

Ｓ９０３で処理モードがモード３と判定された場合は、Ｓ７０２～Ｓ７０８の処理が実行される。これらの処理の説明は省略する。ただし、Ｓ７０８では、サーバＣＰＵ２０１は、処理済み画像を、Ｓ９０２での対象画像に対するサーバ処理の推奨／非推奨の情報とともに、デジタルカメラ１００に送信する。

図１０に、モード２によって取得された部分画像の、デジタルカメラ１００の表示部１０９による表示態様の例を示す。画面１００１には対象画像の全体像が表示されている。この全体像の上に表示されている枠１００２は、部分画像の領域を示している。画面１００３には、枠１００２内の部分画像に対するサーバ処理の履歴が表示される。図１０の例では、画面１００３は、ＮＲ処理と収差補正処理の両方がサーバで実施済みであることを示している。

画面１００４には、サーバ処理前の枠１００２内の部分画像が拡大表示され、画面１００５には、サーバ処理後の枠１００２内の部分画像が拡大表示される。このようにサーバ処理前の部分画像とサーバ処理後の部分画像が隣接して表示されるので、ユーザはサーバ処理の効果を容易に確認することができる。

以上説明した第２実施形態によれば、有償のサーバシステムにおいても、効率よくサーバ処理の効果を確認することができる。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、２００：サーバ、３００：第２サーバ、４００：ネットワーク

Claims (14)

1. 撮像光学系により結像された像を撮像する撮像手段と、
   実行要求に応じて所定の画像処理を実行可能な外部装置と通信する通信手段と、
   前記撮像手段によって生成された画像を、前記通信手段を介して前記外部装置に送信し、前記外部装置に、前記画像に対する前記所定の画像処理を実行させる制御手段と、を有し、
   前記制御手段は、
   前記画像に対する前記所定の画像処理の前記外部装置での実行の推奨または非推奨を示す情報を取得し、
   前記取得された情報に基づく指標を表示手段に表示させる、ように構成されており、
   前記指標は、前記外部装置により未処理であることを示す第１指標と、前記外部装置により処理済であることを示す第２指標とを含み、
   前記制御手段は、前記取得された情報に基づいて、前記第１指標および前記第２指標のうちのいずれか一方を前記表示手段に表示させる、
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記画像の撮像時における前記撮像光学系および前記撮像の少なくともいずれかの状態に基づいて前記情報を取得する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記所定の画像処理は、前記画像に対する収差補正処理を含み、
   前記制御手段は、前記画像の撮像時における前記撮像光学系の焦点距離と絞りとに基づいて前記収差補正処理の前記外部装置での実行の推奨または非推奨を示す情報を取得する、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記所定の画像処理は、前記画像に対するノイズ低減処理を含み、
   前記制御手段は、前記画像の撮像時における前記撮像手段のＩＳＯ感度に基づいて前記ノイズ低減処理の前記外部装置での実行の推奨または非推奨を示す情報を取得する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、さらに、前記画像を解析して得られる前記画像の輝度値およびエッジ量に基づいて前記情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記画像および該画像に付随するメタデータを記憶する記憶手段を更に有し、
   前記メタデータは、前記情報を含む、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記メタデータは、前記所定の画像処理の前記外部装置による実行の履歴を更に含む、ことを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、前記画像および前記情報を表示手段に表示させる、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像光学系により結像された像を撮像する撮像手段と、
   実行要求に応じて所定の画像処理を実行可能な外部装置と通信する通信手段と、
   前記撮像手段によって生成された画像を、前記通信手段を介して前記外部装置に送信し、前記外部装置に、前記画像に対する前記所定の画像処理を実行させる制御手段と、を有し、
   前記制御手段は、
   前記画像に対する前記所定の画像処理の前記外部装置での実行の推奨または非推奨を示す情報を取得し、
   前記取得された情報に基づく指標を表示手段に表示させる、ように構成されており、
   前記指標は、前記所定の画像処理の前記外部装置での実行の推奨を示す第１指標と、前記所定の画像処理の前記外部装置での実行の非推奨を示す第２指標とを含み、
   前記第１指標は、前記外部装置により未処理であることを示す第３指標または前記外部装置により処理済であることを示す第４指標を更に含む、
   ことを特徴とする撮像装置。
10. 前記所定の画像処理は、複数種類の画像処理を含み、
    前記制御手段は、各種類の画像処理に対する指標を前記表示手段に表示させる、
    ことを特徴とする請求項１に記載の撮像装置。
11. 前記所定の画像処理は、複数種類の画像処理を含み、
    前記制御手段は、前記複数種類の画像処理に対する指標を前記表示手段に一緒に表示させる、
    ことを特徴とする請求項１に記載の撮像装置。
12. 撮像により画像を生成する撮像手段と、所定の画像処理を実行可能な外部装置と通信する通信手段とを有する撮像装置の制御方法であって、
    前記撮像手段によって生成された画像に対する前記所定の画像処理の前記外部装置での実行の推奨または非推奨を示す情報を取得する取得ステップと、
    前記取得された情報に基づく指標を表示手段に表示させる表示制御ステップと、
    を有し、
    前記指標は、前記外部装置により未処理であることを示す第１指標と、前記外部装置により処理済であることを示す第２指標とを含み、
    前記表示制御ステップでは、前記取得された情報に基づいて、前記第１指標および前記第２指標のうちのいずれか一方を前記表示手段に表示させる、
    ことを特徴とする制御方法。
13. 撮像装置と、前記撮像装置と通信可能であり、所定の画像処理を実行可能な外部装置と、を含む撮像システムであって、
    前記撮像装置は、
    撮像により画像を生成する撮像手段と、
    前記撮像手段によって生成された画像に対する前記所定の画像処理を前記外部装置に実行させるために、前記画像を前記外部装置に送信する制御手段と、を有し、
    前記制御手段は、
    前記画像に対する前記所定の画像処理の前記外部装置での実行の推奨または非推奨を示す情報を取得し、
    前記取得された情報に基づく指標を表示手段に表示させる、ように構成されており、
    前記指標は、前記外部装置により未処理であることを示す第１指標と、前記外部装置により処理済であることを示す第２指標とを含み、
    前記制御手段は、前記取得された情報に基づいて、前記第１指標および前記第２指標のうちのいずれか一方を前記表示手段に表示させる、
    ことを特徴とする撮像システム。
14. 撮像により画像を生成する撮像手段と、実行要求に応じて所定の画像処理を実行可能な外部装置と通信する通信手段とを有する撮像装置のコンピュータを、請求項１乃至１１のいずれか１項に記載の撮像装置における制御手段として機能させるためのプログラム。

Images