JP7633796B2 - Information processing device, image processing device, control method thereof, and image processing system - Google Patents
Information processing device, image processing device, control method thereof, and image processing system Download PDFInfo
- Publication number
- JP7633796B2 JP7633796B2 JP2020186751A JP2020186751A JP7633796B2 JP 7633796 B2 JP7633796 B2 JP 7633796B2 JP 2020186751 A JP2020186751 A JP 2020186751A JP 2020186751 A JP2020186751 A JP 2020186751A JP 7633796 B2 JP7633796 B2 JP 7633796B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- processing device
- information processing
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Studio Devices (AREA)
Description
本発明は情報処理装置、画像処理装置およびそれらの制御方法、ならびに画像処理システムに関する。 The present invention relates to an information processing device, an image processing device, and a control method therefor, as well as an image processing system.
デジタルカメラやデジタルビデオカメラなどの撮像装置では、撮像素子から読み出された画像データ（ＲＡＷデータ）を、他の機器で利用可能な汎用的な形式の画像データに変換するための各種の画像処理を実行するハードウェアおよびソフトウェアを有している。 Imaging devices such as digital cameras and digital video cameras have hardware and software that perform various types of image processing to convert image data (RAW data) read from the image sensor into image data in a general-purpose format that can be used by other devices.
撮像装置が備えるハードウェアおよびソフトウェアは、不具合の改善を目的とした更新を除けば基本的に発売当初のままであり、後で発売される機種で新たに搭載される機能を利用することができないのが一般的である。これは、例えば、新たに搭載された機能の実施に必要な仕様を古い機種のハードウェアが満たさないという理由による。 The hardware and software of imaging devices remain essentially the same as when they were first released, except for updates to correct malfunctions, and it is common that new functions added to models released later cannot be used. This is because, for example, the hardware of older models does not meet the specifications required to implement the newly added functions.
また、撮像装置から画像データを取り込んだスマートフォンやタブレットコンピュータであれば、アプリケーションをアップロードすることにより、後で開発された機能を利用することができる。しかしながら、演算内容が非常に高度であったり、演算量が膨大であったりするような機能については、搭載されたハードウェアでは対応できず、スマートフォンやタブレットコンピュータであっても利用できない場合がある。
このように、デジタルカメラやデジタルビデオカメラに限らず、スマートフォンやタブレットコンピュータ等も含む情報処理装置の全般において、同様の課題が生じうる。
Furthermore, if the smartphone or tablet computer captures image data from an imaging device, it is possible to use functions that are developed later by uploading an application. However, functions that require highly advanced calculations or a huge amount of calculations may not be available on the smartphone or tablet computer because the installed hardware cannot handle them.
As described above, similar problems can occur not only in digital cameras and digital video cameras, but also in information processing devices in general, including smartphones, tablet computers, and the like.
特許文献１には、ＲＡＷ形式の画像データとともにＲＡＷデータの処理プログラムを出力するようにして、画像処理を外部装置で実行する構成が開示されている。この構成によれば、情報処理装置よりも高い能力を必要とする画像処理をＲＡＷデータに適用することも可能である。
しかし、ＲＡＷデータはデータ量が非常に大きい。その上、処理プログラムも外部装置に送信するため、特許文献１の構成はデータ送信に時間を要する。データ送信が有料の場合には通信料が増加するという問題もある。特に、撮像で得られた全てのＲＡＷデータを外部装置に送信すると、これらの問題は非常に大きくなる。
However, RAW data is very large in volume. Furthermore, since the processing program is also sent to the external device, the configuration of
本発明は、このような従来技術の問題点を少なくとも緩和することを目的としたものである。本発明によれば、外部装置における画像処理を効率的に利用可能とする情報処理装置およびその制御方法が提供される。また、本発明によれば、このような情報処理装置の外部装置として好適な画像処理装置およびその制御方法と、情報処理装置および画像処理装置を有する画像処理システムが提供される。 The present invention aims to at least alleviate the problems of the conventional technology. According to the present invention, an information processing device that enables efficient use of image processing in an external device and a control method thereof are provided. Furthermore, according to the present invention, an image processing device that is suitable as an external device for such an information processing device and a control method thereof, and an image processing system having the information processing device and the image processing device are provided.
上述の目的は、通信手段および制御手段を有する情報処理装置であって、制御手段は、通信手段を通じて第１外部装置に撮像画像の縮小画像データを送信し、第１外部装置から縮小画像データに対する評価処理の結果を受信し、評価処理の結果に基づいて、縮小画像データの元データのうち、第２外部装置で画像処理を適用する元データを決定し、決定した元データを通信手段を通じて第２外部装置に送信し、第２外部装置から、元データに対する画像処理の結果を受信する、ことを特徴とする情報処理装置によって達成される。 The above-mentioned object is achieved by an information processing device having a communication means and a control means, characterized in that the control means transmits reduced image data of a captured image to a first external device through the communication means, receives a result of an evaluation process on the reduced image data from the first external device, determines, based on the result of the evaluation process, original data of the reduced image data to which image processing is applied in a second external device, transmits the determined original data to the second external device through the communication means, and receives the result of image processing on the original data from the second external device.
本発明によれば、外部装置における画像処理を効率的に利用可能とする情報処理装置およびその制御方法が提供される。 The present invention provides an information processing device and a control method thereof that enable efficient use of image processing in an external device.
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 The present invention will be described in detail below based on an exemplary embodiment with reference to the attached drawings. Note that the following embodiment does not limit the invention according to the claims. In addition, although multiple features are described in the embodiment, not all of them are necessarily essential to the invention, and multiple features may be combined in any manner. Furthermore, in the attached drawings, the same reference numbers are used for the same or similar configurations, and duplicate explanations are omitted.
なお、以下の実施形態では、本発明を情報処理装置の一例としての撮像装置で実施する場合に関して説明する。しかし、本発明は画像データを取り扱い可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。 In the following embodiment, the present invention will be described with respect to a case where the present invention is implemented in an imaging device as an example of an information processing device. However, the present invention can be applied to any electronic device capable of handling image data. Such electronic devices include video cameras, computer devices (personal computers, tablet computers, media players, PDAs, etc.), mobile phones, smartphones, game consoles, robots, drones, and drive recorders. These are merely examples, and the present invention can be applied to other electronic devices.
●（第１実施形態）
図１（ａ）は、本発明の第１実施形態に係る画像処理システムの構成例を模式的に示した図である。画像処理システムは、撮像装置１００と外部装置であるサーバ装置２００（第１および第２外部装置）とがネットワーク３００を通じて通信可能に接続された構成を有する。なお、撮像装置１００はネットワーク３００に複数接続されていてもよい。撮像装置１００とサーバ２００装置とは、ネットワーク３００の種類に応じた通信プロトコルを用いて相互に通信可能である。例えばネットワーク３００がインターネットであれば、ＴＣＰ／ＩＰやＵＤＰといったプロトコルを用いた通信が可能である。ここで、ネットワーク３００は例えばインターネットなどの公衆ネットワークであるか、利用または通信量に対して費用が発生するネットワークであるものとする。
● (First embodiment)
1A is a diagram showing a schematic configuration example of an image processing system according to a first embodiment of the present invention. The image processing system has a configuration in which an
図１（ｂ）は、撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は典型的にはデジタル（ビデオ）カメラであるが、撮像機能を有し、ネットワーク３００を通じてサーバ装置２００（以下、単にサーバ２００とも言う）と通信可能な任意の電子機器であってよい。
制御部１０１は例えばＣＰＵ（ＭＰＵやマイクロプロセッサとも呼ばれる）であり、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み込んで実行することにより、撮像装置１００の各部の動作を制御し、撮像装置１００の様々な機能を実現する。なお、光学系１０４が交換式の場合、制御部１０１は光学系１０４が有するコントローラとの通信を通じて光学系１０４の動作を制御する。
1B is a block diagram showing an example of the functional configuration of the
The
ＲＯＭ１０２は制御部１０１が実行するプログラム、撮像装置１００の各種の設定値、ＧＵＩデータなどを記憶する。ＲＯＭ１０２は電気的に書き換え可能であってよい。ＲＡＭ１０３は、制御部１０１がプログラムを実行する際に用いるメインメモリである。また、ＲＡＭ１０３は画像データのバッファメモリや、表示部１０９のビデオメモリとして用いられてもよい。
The
光学系１０４は、ズームレンズ、フォーカスレンズなどの可動レンズを含み、被写体像を撮像部１０５の撮像面上に形成する。光学系１０４の可動レンズの駆動は制御部１０１が制御する。
The
撮像部１０５は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサーなどの撮像素子を有する。撮像素子には複数の光電変換部が２次元配列され、光学系１０４により撮像面上に形成された被写体像を光電変換部によってアナログ画像信号に変換する。Ａ／Ｄ変換部１０６は、撮像部１０５から入力されたアナログ画像信号をデジタル画像データに変換する。なお、Ａ／Ｄ変換部１０６は撮像部１０５が備えてもよい。
The
デジタル画像データはＲＡＭ１０３に一時的に記憶される。画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部１０７は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。
The digital image data is temporarily stored in
ここで、画像処理部１０７が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理や同時化処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正（ガンマ処理）、光学系１０４の光学収差や周辺減光の影響を補正する処理、色を補正する処理などが含まれる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。
データ加工処理には、合成処理、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出処理などが含まれる。
特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理などが含まれる。
なお、これらは画像処理部１０７が適用可能な画像処理の例示であり、画像処理部１０７が適用する画像処理を限定するものではない。
The image processing applied by the
Pre-processing includes signal amplification, reference level adjustment, defective pixel correction, etc. Color interpolation is a process that interpolates the values of color components that are not included in the image data read from the pixels, and is also called demosaic processing or synchronization processing.
The correction processing includes white balance adjustment, gradation correction (gamma processing), processing for correcting the effects of optical aberration and peripheral light falloff of the
The detection process includes detection of characteristic regions (for example, face regions and human body regions) and their movements, and person recognition processing.
The data processing includes synthesis, scaling, encoding and decoding, header information generation, and the like.
The evaluation value calculation process includes the generation of signals and evaluation values used in automatic focus detection (AF), and the calculation of evaluation values used in automatic exposure control (AE).
Special effects include blurring, changing color tones, relighting, and the like.
Note that these are merely examples of image processing that the
上述した画像処理のうち、Ａ／Ｄ変換部１０６から画像処理部１０７に供給されるデジタル画像データは、それを構成する画素データが、撮像素子の有するカラーフィルタの色配列に応じた１つの色成分の値を有する状態である。このような画像データをＲＡＷデータと呼ぶ。また、画像処理部１０７がＲＡＷデータに対して適用する画像処理のうち、ＲＡＷデータを写真のデータとして表示や印刷などに利用可能な汎用的な形式の画像データに変換するための一連の画像処理を現像処理と呼ぶ。一般に現像処理はホワイトバランス処理および色補完処理を含み、その他にもレンズ収差補正処理、ノイズ低減（ＮＲ）処理、ガンマ（階調変換）処理などが含まれうる。
Of the image processes described above, the digital image data supplied from the A/
記録部１０８は、記録媒体に撮像画像のデータを記録したり、記録媒体に記録された撮像画像のデータを読み出したりする。記録媒体は例えば着脱可能なメモリカードであってよい。記録部１０８は、画像処理部１０７により現像処理が適用されてＲＡＭ１０３に記憶された記録用の撮像画像データ（動画または静止画データ）および／またはＲＡＷデータと、プロキシ画像データとを記録媒体に記録する。
The
プロキシ画像データは記録用の撮像画像データやＲＡＷデータよりもデータ量が少ない画像データであり、静止画についてはサムネイル画像であってもよい。サムネイル画像は現像処理後の元画像を縮小した画像であり、サムネイル画像データは縮小画像データである。プロキシ画像データは、記録用の撮像画像データやＲＡＷデータよりも例えば解像度が低い、および／またはビット深度が小さい画像データであってよい。静止画の場合、プロキシ画像データは例えばＲＡＷデータより解像度の低い、現像処理が適用された（現像済みの）画像データ（サムネイル画像データ）であってよい。動画の場合、プロキシ画像データは例えばＲＡＷデータよりもビットレートが低い、現像済みの動画データであってよい。なお、プロキシ画像データは必ずしも現像済みでなくてもよいが、現像済みの方がデータ量を削減できる。 Proxy image data is image data with a smaller amount of data than captured image data for recording or RAW data, and for still images, it may be a thumbnail image. A thumbnail image is an image obtained by reducing the size of an original image after development processing, and thumbnail image data is reduced image data. Proxy image data may be image data with, for example, a lower resolution and/or a smaller bit depth than captured image data for recording or RAW data. In the case of still images, proxy image data may be image data (thumbnail image data) with a lower resolution than RAW data and to which development processing has been applied (developed). In the case of videos, proxy image data may be developed video data with a lower bit rate than RAW data. Note that proxy image data does not necessarily have to be developed, but developed image data can reduce the amount of data.
表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３のビデオメモリ領域に記憶されている画像データに対応した表示を行う。表示部１０９は、撮影された画像や画像から得られる情報（例えば輝度ヒストグラム）、撮像装置１００の設定値、ＧＵＩ要素（メニュー画面や撮影された画像に重畳されるアイコンやマークなど）を表示する。
The
通信部１１０は、例えば公知の無線もしくは有線通信規格の１つ以上に準じた通信インタフェースを有し、外部機器と撮像装置１００との間のデータ通信を実現する。通信部１１０は例えば、ＬＴＥや５Ｇなどの規格に準じた携帯電話網を利用したデータ通信や、無線ＬＡＮ、Ｂｌｕｅｔｏｏｈ（登録商標）などの規格に準じたデータ通信をサポートすることができる。また、通信部１１０は、ＵＳＢやイーサネット（登録商標）などの通信規格をサポートすることもできる。本実施形態においては通信部１１０は、ネットワーク３００を通じた撮像装置１００とサーバ２００との通信を実現する。制御部１０１は、通信部１１０を通じ、サーバ２００と画像データなどを送受信する。
The
操作部１１１は、ユーザが撮像装置１００に各種の指示を入力するためのボタンやスイッチなどの入力デバイスの総称である。表示部１０９がタッチディスプレイである場合、タッチパネルも入力デバイスに含まれる。操作部１１１を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。例えば、操作部１１１には、撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチ、撮影モードを選択するための撮影モード選択スイッチ、メニューボタン、方向キー、決定キーなどが含まれる。同一の入力デバイスに複数の機能が割り当てられてもよい。また、入力デバイスはソフトウェアボタン／キーであってもよい。また、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスが操作部１１１に含まれてもよい。
The
図１（ｃ）は、サーバ２００の機能構成例を示すブロック図である。サーバ２００は典型的にはネットワーク上の汎用コンピュータであるが、サーバ機能を有し、ネットワーク３００を通じて撮像装置１００と通信可能な任意の電子機器であってよい。
制御部２０１は例えばＣＰＵ（ＭＰＵやマイクロプロセッサとも呼ばれる）であり、ＲＯＭ２０３や記憶部２０５に記憶されたプログラムをＲＡＭ２０２に読み込んで実行することにより、サーバの様々な機能を実現する。なお、サーバ２００においては、ＣＰＵに加えて、ＧＰＵなど画像処理の実行に適した補助プロセッサを用いてもよい。ＲＯＭ２０３はサーバ２００が提供する画像処理機能を実現するためのアプリケーションプログラムや起動時に実行されるプログラム、各種の設定値などが記憶されている。
1C is a block diagram showing an example of the functional configuration of the
The
ここでは、画像処理機能を実現するためのアプリケーションプログラムの例として、画像認識プログラム２１０と画像処理プログラム２１１とがＲＯＭ２０３に記憶されている。サーバ２００が提供する画像処理機能は、典型的には撮像装置１００で適用できない機能か、処理時間および処理品質の少なくとも一方について撮像装置１００で適用する場合よりも優位な機能である。サーバ２００は例えば通信部２０４を通じ、ネットワーク３００を介して通信可能な他の装置から、最新の画像処理技術に基づいたプログラムを随時入手することができる。そのため、ソフトウェアのアップデートが容易でない撮像装置１００と比較して、技術の進歩の恩恵を容易に享受することができる。例えば、近年実用化が著しいディープラーニングなどの機械学習技術を利用した画像認識プログラムなどの利用が容易である。
Here, an
ＲＡＭ２０２は、制御部２０１がプログラムを実行する際に用いるメインメモリである。また、ＲＡＭ２０２は画像データのバッファメモリや、表示部２０７のビデオメモリとして用いられてもよい。
通信部２０４は、例えば公知の無線もしくは有線通信規格に準じた通信インタフェースを有し、外部機器とサーバ２００との間のデータ通信を実現する。本実施形態において通信部２０４は、ネットワーク３００を通じたサーバ２００と撮像装置１００との通信を実現する。制御部２０１は、通信部２０４を通じ、撮像装置１００と画像データなどを送受信する。
The
記憶部２０５は例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などの大容量記憶装置であってよい。記憶部２０５は例えばＯＳ、アプリケーションプログラム、ユーザデータなどの記憶に用いられる。ＲＯＭ２０３は記憶部２０５の一部であってもよい。
The
操作部２０６はユーザがサーバ２００に指示を入力するための入力デバイスの総称であり、典型的にはキーボード、マウス、タッチパッドなどである。
The
表示部２０７は、ＬＣＤ等の表示デバイスであり、ＲＡＭ２０２のビデオメモリ領域に記憶されている画像データに対応した表示を行う。表示部２０７は、ＯＳが提供するユーザインタフェース要素や、アプリケーションに関する情報などを表示する。
The
なお、ネットワーク３００は撮像装置１００とサーバ２００とのデータ通信をサポートすることが可能な任意の構成であってよく、その具体的な構成は任意であるため説明を省略する。
The
次に撮像装置１００とサーバ２００との相互動作に関して図２のフローチャートを参照して説明する。以下において、撮像装置１００が主体として説明される動作は制御部１０１（ＣＰＵ）が、サーバ２００が主体として説明される動作は制御部（ＣＰＵ）２０１がそれぞれ実際の主体である。また、撮像装置１００において、画像処理部１０７は、撮影で得られた画像データから記録用の画像データを生成する際、対応するプロキシ画像データも生成する。そして、記録部１０８には記録用の画像データとプロキシ画像とが関連づけられて記録されているものとする。
Next, the interaction between the
Ｓ４０１において、撮像装置１００は記録部１０８に記録されているプロキシ画像データを、通信部１１０から、ネットワーク３００を介してサーバ２００に送信する。なお、サーバ２００との通信に必要な設定や情報は予め登録され、ＲＯＭ１０２に記憶されているものとする。Ｓ４０１を実行するタイミングに特に制限はなく、例えば未処理のＲＡＷデータが記録部１０８に存在することが確認された時点で開始してもよいし、ユーザの指示によって開始してもよい。また、送信するプロキシ画像データは、ＲＡＷデータに対応するものであっても、現像済みの画像データに対応するものであっても、ユーザが選択したものであってもよい。あるいは、全てのプロキシ画像データを送信してもよい。
In S401, the
また、ＲＡＷデータのうち、現像処理されていない（未処理の）ＲＡＷデータに対応するプロキシ画像データを送信してもよい。この場合、例えば、対応する汎用形式（例えばＪＰＥＧ形式）の画像データが記録されていないＲＡＷデータを未処理のＲＡＷデータと判別することができる。あるいは、未処理か否かを判別可能なファイル名を付与するようにして、ファイル名から未処理のＲＡＷデータを判別してもよい。 Proxy image data corresponding to RAW data that has not been developed (unprocessed) may also be transmitted. In this case, for example, RAW data that does not have image data recorded in a corresponding general format (e.g., JPEG format) can be determined to be unprocessed RAW data. Alternatively, a file name that can be determined to be unprocessed or not may be given to the data, and unprocessed RAW data may be determined from the file name.
Ｓ４０２においてサーバ２００は撮像装置１００から通信部２０４を通じてプロキシ画像データを受信する。サーバ２００は受信したプロキシ画像データをＲＡＭ２０２に記憶する。
In S402, the
Ｓ４０３でサーバ２００は、ＲＯＭ２０３に記憶されている画像認識プログラム２１０をＲＡＭ２０２にロードして実行する。画像認識プログラム２１０は画像データに対して公知の顔認識処理を適用して顔領域を検出する機能と、検出した顔領域の特徴と予め登録された人物の顔領域の特徴とを比較することにより、検出した顔領域の人物を認識する被写体認識機能とを提供する。制御部２０１は、画像認識プログラム２１０を実行することにより、撮像装置１００が外部装置で画像処理を適用する画像データを決定するための判断基準となる情報を生成する評価処理を、プロキシ画像データに適用する。被写体認識処理は評価処理の一例であり、他の情報をプロキシ画像データに基づいて生成してもよい。
In S403, the
検出対象の人物の顔領域もしくはその特徴情報は、サーバ２００に予め登録されているものとする。この登録は例えば撮像装置１００から検出対象の人物の顔が写っている画像のデータをサーバ２００に送信し、サーバ２００が画像認識プログラム２１０を用いて顔領域から抽出した特徴情報を登録することによって実現できる。なお、検出対象の人物の登録は他の方法で行ってもよい。ここでは、図３に示すような画像を用いて、人物５０１および５０２が検出対象の人物して登録されているものとする。また、サーバ２００は検出対象の人物ごとに特徴情報に固有の識別情報（ＩＤ）を付与して例えば記憶部２０５に記憶する。ここでは、人物５０１にＩＤ１、人物５０２にＩＤ２が付与されているものとする。
The face area or feature information of the person to be detected is preregistered in the
図４に示すフローチャートを用いて、Ｓ４０３における被写体認識処理の詳細について説明する。この処理は、制御部２０１（ＣＰＵ）が画像認識プログラム２１０を実行することにより実現される。
The object recognition process in S403 will be described in detail with reference to the flowchart shown in FIG. 4. This process is realized by the control unit 201 (CPU) executing the
Ｓ６０１で制御部２０１は、ＲＡＭ２０２に記憶されているプロキシ画像データの１つに対して、顔認証処理を適用する。顔認証処理は、プロキシ画像データから顔領域を検出する処理と、検出した顔領域が登録された人物のものかどうかを判定する処理である。制御部２０１は検出した顔領域の特徴が、登録されている人物の特徴と同一と判定されるか、高い類似性を有すると判定されれば、登録されている人物の顔領域であると判定することができる。なお、プロキシ画像データから顔領域が複数検出された場合、制御部２０１は検出した顔領域ごとに、登録された人物のものかどうかを判定する。
In S601, the
Ｓ６０２～Ｓ６０３、Ｓ６０５～Ｓ６０６において制御部２０１は、Ｓ６０１の顔認証処理の結果に基づいて、プロキシ画像データにタグを付与する。
Ｓ６０２で制御部２０１は、Ｓ６０１の顔認証処理により、プロキシ画像データから検出された顔領域がＩＤ１として登録された人物の顔領域であると判定されていればＳ６０６を実行し、判定されていなければＳ６０３を実行する。
Ｓ６０３で制御部２０１は、Ｓ６０１の顔認証処理により、プロキシ画像データから検出された顔領域がＩＤ２として登録された人物の顔領域であると判定されていればＳ６０５を実行し、判定されていなければＳ６０４を実行する。
In steps S602 to S603 and S605 to S606, the
In S602, if the
In S603, if the
Ｓ６０５で制御部２０１はプロキシ画像データにＩＤ２のタグを付与する。また、Ｓ６０６で制御部２０１はプロキシ画像データにＩＤ１のタグを付与する。なお、プロキシ画像データから顔領域が複数検出されている場合、制御部２０１は顔領域ごとにＳ６０２～Ｓ６０３を実行する。
In S605, the
Ｓ６０４で制御部２０１は、プロキシ画像データに、登録済みの人物が写っていないと判定されたことを示すタグ（不一致タグ）を付与する。
In S604, the
Ｓ６０７で制御部２０１は、受信した全てのプロキシ画像データに対して被写体認識処理を適用したと判定されれば被写体認識処理を終了し、判定されなければ被写体認識処理を適用していないプロキシ画像データを対象としてＳ６０１以降の処理を適用する。
In S607, if the
ここでは登録されている人物がＩＤ１、ＩＤ２の２人である例を示したが、登録されている人物の数にかかわらず、制御部２０１は同様のタグ付け処理を行う。このようにして、被写体認識処理により、撮像装置１００から受信したプロキシ画像データに対して、プロキシ画像に写っていると判定された登録済みの人物のＩＤのタグ、もしくは登録済みの人物が写っていないことを示すタグが付与される。
In this example, two people, ID1 and ID2, are registered, but the
図２に戻り、Ｓ４０４でサーバ２００は、Ｓ４０３で付与したタグの情報（被写体認識結果）をネットワーク３００を介して撮像装置１００に送信する。サーバ２００は、例えばプロキシ画像データを特定する情報と、そのプロキシ画像データに対して付与されたタグの情報とを関連づけたデータを、タグの情報として送信する。プロキシ画像データは送信しないことで、送信データ量を低減し、処理遅延を削減することができる。タグの情報は例えば１つ以上の人物ＩＤもしくは不一致であることを示す情報であってよい。
Returning to FIG. 2, in S404, the
Ｓ４０５で撮像装置１００は、サーバ２００からタグの情報を受信し、ＲＡＭ１０３に記憶する。
Ｓ４０６で撮像装置１００は、受信した人物タグの情報に基づいて、サーバ２００で画像処理を適用する画像データ（ここではＲＡＷデータ）を決定する。ここでは、一例として、１つ以上の人物ＩＤが関連づけられたプロキシ画像の元データを、サーバ２００で画像処理を適用する画像データとして決定するものとする。なお、プロキシ画像の元データとは、プロキシ画像の元になった画像データであり、ＲＡＷデータでも現像済みの画像データでもよい。
In S<b>405 , the
In S406, the
この場合、Ｓ４０６で撮像装置１００は、Ｓ４０１で送信したプロキシ画像データの１つについて、サーバ２００から受信したタグ情報に１つ以上の人物ＩＤが関連づけられているか否かを判定する。そして、撮像装置１００は、１つ以上の人物ＩＤが関連づけられていると判定されれば、対応するＲＡＷデータをサーバ２００で画像処理を適用するＲＡＷデータとして決定し、Ｓ４０７を実行する。一方、撮像装置１００は、１つ以上の人物ＩＤが関連づけられていると判定されなければ、Ｓ４０７を実行せずにＳ４１３を実行する。
In this case, in S406, the
Ｓ４０７で撮像装置１００は、ＲＡＷデータをサーバ２００に送信し、現像結果の受信を待機する。
Ｓ４０８でサーバ２００は、撮像装置１００からＲＡＷデータを受信すると、ＲＡＭ２０２や記憶部２０５に記憶する。
In S407, the
In S<b>408 , when the
Ｓ４０９でサーバ２００は、画像処理プログラム２１１をＲＯＭ２０３からＲＡＭ２０２にロードして実行する。画像処理プログラム２１１はＲＡＷデータに現像処理を適用する。現像処理は例えばホワイトバランス処理、レンズ収差補正、ノイズ低減（ＮＲ）処理、色補間処理、ガンマ処理などを含む。また、現像処理後に符号化処理を適用して例えばＪＰＥＧ形式など所定形式の画像データファイルを生成してもよい。
In S409, the
サーバ２００で適用する現像処理は、撮像装置１００の画像処理部１０７よりも新しいおよび／または複雑な手法に基づくものであり、撮像装置１００で適用する現像処理よりも良好な処理結果が得られる。これはサーバ２００の処理能力が撮像装置１００の処理能力より高いこと、またサーバ２００が実行する画像処理プログラム２１１が、撮像装置１００の画像処理部１０７よりも新しい技術に基づくものであることによる。
The development processing applied by the
Ｓ４１０でサーバ２００はＳ４０９で現像処理を適用した画像データをネットワーク３００を介して撮像装置１００に送信する。
Ｓ４１１で撮像装置１００はサーバ２００から現像処理後の画像データを受信する。
In S410, the
In S<b>411 , the
Ｓ４１２で撮像装置１００は現像処理後の画像データを画像処理部１０７に供給し、記録用の画像データと表示用の画像データとを生成させる。そして、撮像装置１００は、表示用の画像データを表示部１０９に表示させ、記録用の画像データを記録部１０８に記録する。
In S412, the
Ｓ４１３で撮像装置１００は、Ｓ４０１で送信したプロキシ画像データの全てについて処理したか否かを判定し、全てについて処理したと判定されればＲＡＷデータの現像処理を終了する。一方、全てについて処理したと判定されなければ、未処理のプロキシ画像データについて、Ｓ４０６からの処理を適用する。
In S413, the
本実施形態の撮像装置は、記録された画像データのプロキシ画像データに対して外部装置で所定の画像処理を適用した結果に基づいて、プロキシ画像データの元データに対する画像処理を外部装置で実行するか否かを決定する。そのため、撮像装置では適用できない、あるいは精度の低い処理しか適用できない画像処理の処理結果に基づいて、画像処理を外部装置で適用すべきか否かを決定することができる。 The imaging device of this embodiment determines whether or not to execute image processing on the original data of the proxy image data in an external device based on the results of applying a specified image processing to the proxy image data of the recorded image data in the external device. Therefore, it is possible to determine whether or not to apply image processing in an external device based on the results of image processing that cannot be applied by the imaging device or that can only be applied with low accuracy.
例えば、撮像装置で精度の良い被写体認識処理を適用できない場合、プロキシ画像データに対して外部装置で精度の良い被写体認識処理を適用した結果を利用することで、外部装置で処理を行うべき画像データをより正確に決定することができる。なお、本実施形態では外部装置で登録済みの人物が写っているか否かを判別した結果を利用する例について説明した。しかし、例えば、人物以外の被写体認識処理や、シーン判別処理の結果など、他の画像処理の結果を用いることもできる。 For example, if the imaging device cannot apply accurate subject recognition processing, the image data to be processed by the external device can be more accurately determined by using the results of applying accurate subject recognition processing to the proxy image data by the external device. Note that in this embodiment, an example has been described in which the results of determining whether or not a registered person is captured by the external device are used. However, it is also possible to use the results of other image processing, such as the results of subject recognition processing for objects other than people or the results of scene determination processing.
本実施形態では撮像装置１００による、外部装置で処理を行うべき画像データとの決定についてユーザが関与できない構成について説明した。しかし、外部装置で処理を行うべきと決定された画像データの一覧を選択可能に表示部１０９に表示し、ユーザが一覧から選択した画像データだけを外部装置に送信するようにしてもよい。また、最終的に外部装置で適用する画像処理はＲＡＷデータの現像処理に限定されず、任意の画像処理であってよい。さらに、外部装置で画像処理を適用する画像データはＲＡＷデータに限定されず、現像された記録用画像データであってもよい。
In this embodiment, a configuration has been described in which the user cannot be involved in the decision by the
●（第２実施形態）
次に、本発明の第２実施形態について説明する。図５（ａ）は、本実施形態に係る画像処理システムの構成例を模式的に示した図であり、第１実施形態と同様の構成要素には図１（ａ）と同じ参照数字を付して説明を省略する。本実施形態では、プロキシ画像データに対して実施する画像処理を、ネットワーク３００上のサーバ２００ではなく、撮像装置１００から見てネットワーク３００よりも手前に位置する外部装置であるエッジデバイス４００で行う。したがって、本実施形態ではエッジデバイス４００が第１外部装置、サーバ２００が第２外部装置である。
(Second embodiment)
Next, a second embodiment of the present invention will be described. Fig. 5A is a diagram showing a schematic configuration example of an image processing system according to this embodiment, and components similar to those in the first embodiment are given the same reference numerals as in Fig. 1A, and description thereof will be omitted. In this embodiment, image processing performed on proxy image data is performed not by the
エッジデバイス４００は、撮像装置１００と通信可能であるほか、ネットワーク３００を通じてサーバ２００とも通信可能な画像処理装置である。ここではエッジデバイス４００の一例として、スマートフォンやタブレットコンピュータなど、通信機能を有するコンピュータ機器を用いる構成について説明する。なお、撮像装置１００の代わりにスマートフォンを用いている場合には、このスマートフォンよりも高性能な、例えば、据え置き型のコンピュータをエッジデバイス４００として用いることが考えられる。
The
近年、スマートフォンやタブレットコンピュータには機械学習技術を利用した画像処理を高速に実行するためのプロセッサを搭載したものが多くなっている。そのため、エッジデバイスとして好適に利用することができる。なお、サーバ２００と同様の汎用コンピュータをエッジデバイス４００として用いてもよい。
In recent years, many smartphones and tablet computers are equipped with processors that use machine learning technology to perform image processing at high speed. This makes them suitable for use as edge devices. Note that a general-purpose computer similar to the
撮像装置１００とエッジデバイス４００との間の通信方法に特に制限は無く、有線通信であっても無線通信であってもよい。撮像装置１００は、サーバ２００およびエッジデバイス４００との通信に、同じ通信方法を用いても、異なる通信方法を用いてもよい。異なる通信方法を用いる場合、通信部１１０はそれぞれの通信方法に対応した通信インタフェースを有する（図１５を参照）。通信方法に応じて通信部１１０を複数設けてもよい。ここで、撮像装置１００とエッジデバイス４００との通信には費用が発生しないものとする。
There are no particular limitations on the communication method between the
図５（ｂ）はエッジデバイス４００の機能構成例を示すブロック図である。制御部４０１は例えばＣＰＵ（ＭＰＵやマイクロプロセッサとも呼ばれる）であり、ＲＯＭ４０２や記録部４０７に記憶されたプログラムをＲＡＭ４０３に読み込んで実行することにより、エッジデバイス４００の様々な機能を実現する。
Figure 5(b) is a block diagram showing an example of the functional configuration of the
ＲＯＭ４０２は制御部４０１が実行するプログラム、エッジデバイス４００の各種の設定値、ＧＵＩデータなどを記憶する。ＲＯＭ４０２は電気的に書き換え可能であってよい。ＲＡＭ４０３は、制御部４０１がプログラムを実行する際に用いるメインメモリである。また、ＲＡＭ４０３はデータのバッファメモリや、表示部４０８のビデオメモリとして用いられてもよい。
The
画像認識部４０４は、事前に登録された人物が画像中に写っているか否かを判定する被写体認識処理を実行する。画像認識部４０４が被写体認識処理は、第１実施形態においてサーバ２００が実行する被写体認識処理と同様の処理であってよい。
The
画像処理部４０５は、ＲＡＭ４０３に記憶されている画像データに対して、予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部４０５が適用可能な画像処理は、撮像装置１００の画像処理部１０７が適用する画像処理や、サーバ２００が画像処理プログラム２１１によって適用される画像処理と同様であってよい。
The
操作部４０６はユーザがエッジデバイス４００に指示を入力するための入力デバイスの総称であり、典型的にはキーボード、マウス、タッチパッドなどである。表示部４０８がタッチディスプレイの場合、タッチディスプレイが備えるタッチパネルは操作部４０６に含まれる。
The
記録部４０７は、記録媒体にデータを記録したり、記録媒体に記録されたデータを読み出したりする。記録媒体は例えば着脱可能なメモリカードであってもよいし、固定された記憶デバイスであってよい。
The
表示部４０８は、ＬＣＤ等の表示デバイスであり、ＲＡＭ４０３のビデオメモリ領域に記憶されている画像データに対応した表示を行う。表示部４０８は、記録部４０７に記憶されているデータや、アプリケーションやＯＳに係るＧＵＩ要素などを表示する。表示部４０８はタッチディスプレイであってもよい。
The
本実施形態のエッジデバイス４００は、２つの通信部４０９および４１０を有する。ここでは、ネットワーク３００上の外部機器（例えばサーバ２００）との通信に通信部４１０を、撮像装置１００との通信に通信部４０９を用いるものとする。なお、複数の通信方法をサポートする通信部を１つ設けてもよい。あるいは、通信部４０９および４１０の一方を用いてネットワーク３００上の外部機器と撮像装置１００の両方と通信してもよい。
The
次に、撮像装置１００、エッジデバイス４００、およびサーバ２００との相互動作に関して図６のフローチャートを参照して説明する。以下、撮像装置１００が主体として説明される動作は制御部１０１（ＣＰＵ）が、サーバ２００が主体として説明される動作は制御部（ＣＰＵ）２０１が、エッジデバイス４００が主体として説明される動作は制御部４０１（ＣＰＵ）が、それぞれ実際の主体である。また、図６において、第１実施形態で説明した動作と同じ動作を行うステップには図２と同じ参照数字を付してある。なお、サーバ２００およびエッジデバイス４００との通信に必要な設定や情報は予め登録され、ＲＯＭ１０２に記憶されているものとする。また、エッジデバイス４００と通信する前にエッジデバイス４００を通信相手として登録しておく必要がある場合、そのような登録も事前に行われているものとする。
Next, the interaction between the
Ｓ４０１およびＳ４０５は、通信相手がサーバ２００でなくエッジデバイス４００であることを除き、第１実施形態と同様である。
また、エッジデバイス４００は、Ｓ４０２～Ｓ４０４において、第１実施形態でサーバが実施する処理と同様の処理を実行する。
Ｓ４０２においてエッジデバイス４００は撮像装置１００から通信部４０９を通じてプロキシ画像データを受信する。エッジデバイス４００は受信したプロキシ画像データをＲＡＭ４０３に記憶する。
Steps S401 and S405 are the same as those in the first embodiment, except that the communication partner is the
Furthermore, in steps S402 to S404, the
In S402, the
Ｓ４０３でエッジデバイス４００は、画像認識部４０４により、ＲＡＭ４０３に記憶されている画像データに対して上述した被写体認識処理を実行する。被写体認識処理の手法は、サーバ２００が用いる手法と同一でなくてもよい。
Ｓ４０４でエッジデバイス４００は、Ｓ４０３で付与したタグの情報（被写体認識結果）を通信部４０９を通じて撮像装置１００に送信する。
In S403, the
In S404, the
Ｓ４０５～Ｓ４０６で撮像装置１００は、Ｓ４０１で送信したプロキシ画像データに対応するＲＡＷデータのうち、外部装置（ここではサーバ２００）で画像処理を適用させるＲＡＷデータを第１実施形態と同様に決定する。
そして、Ｓ４０７で撮像装置１００は、決定したＲＡＷデータをサーバ２００に送信する。
In S405 and S406, the
Then, in S<b>407 , the
Ｓ４０８～Ｓ４１０におけるサーバ２００の動作は第１実施形態と同様である。
なお、Ｓ４１０でサーバ２００は、現像処理を適用した画像データをネットワーク３００を介して撮像装置１００に送信する代わりに、あるいはそれに加えて、エッジデバイス４００に送信してもよい。この場合、エッジデバイス４００にデータを送信するために必要な情報（宛先アドレスなど）を、サーバ２００に予め登録しておくか、撮像装置１００がＲＡＷデータを送信する際にサーバ２００に通知する。
The operations of the
In addition, in S410, the
Ｓ４１１～Ｓ４１３における撮像装置１００の動作は第１実施形態と同様である。
エッジデバイス４００がサーバ２００から現像処理を適用した画像データを受信する場合、Ｓ１０１１でエッジデバイス４００は受信した画像データをＲＡＭ４０３に記憶する。そして、Ｓ１０１２でエッジデバイス４００は、ＲＡＭ４０３に記憶した画像データを表示部４０８に表示するとともに、記録部４０７に画像データを記録する。
The operations of the
When the
本実施形態では、プロキシ画像データに対する画像処理をサーバ２００でなくエッジデバイス４００で実施するようにした。本実施形態では、撮像装置１００とサーバ２００との間の通信データ量が第１実施形態よりも少なくなるため、第１実施形態と同様の効果に加え、通信費用の低減や、ネットワーク３００の混雑や品質低下による影響を低減が実現できる。
In this embodiment, image processing of the proxy image data is performed by the
なお、本実施形態においても、第１実施形態と同様、プロキシ画像データに対して適用する画像処理や、サーバ２００でＲＡＷデータに対して適用する画像処理は単なる例示であり、他の画像処理であってよい。また、サーバ２００で最終的に画像処理を適用する画像データはＲＡＷデータに限定されず、現像された記録用画像データであってもよい。
In this embodiment, as in the first embodiment, the image processing applied to the proxy image data and the image processing applied to the RAW data by the
また、撮像装置１００がサーバ２００で最終的に画像処理を適用する画像データとして決定した画像データをユーザに確認させてからサーバ２００に送信するようにしてもよい。この際、ユーザは撮像装置が決定した画像データの１つ以上を変更することができる。
In addition, the image data that the
●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態の画像処理システムは、第２実施形態と、エッジデバイスの構成および動作が異なる。そのため、第２実施形態との差異について重点的に説明する。
(Third embodiment)
Next, a third embodiment of the present invention will be described. The image processing system of this embodiment differs from that of the second embodiment in the configuration and operation of the edge device. Therefore, the following description will focus on the differences from the second embodiment.
図７は、本実施形態のエッジデバイス４００’の機能構成例を示すブロック図であり、第２実施形態のエッジデバイス４００に対し、評価部４１１を追加した構成を有する。他の機能ブロックについては第２実施形態と同様であるため説明を省略する。
Figure 7 is a block diagram showing an example of the functional configuration of the edge device 400' of this embodiment, which has a configuration in which an
本実施形態では、撮像装置１００が複数フレーム分のＲＡＷデータをサーバ２００ではなくエッジデバイス４００’に送信する。そして、エッジデバイス４００’が、サーバ２００で現像処理を適用することによる効果が大きいと考えられるＲＡＷデータを選択してサーバ２００に転送する。評価部４１１は送信するＲＡＷデータを決定するための構成である。図７では便宜上、評価部４１１を独立した構成要素として記載しているが、ＲＯＭ４０２に記憶されている画像処理システム用のアプリケーションを制御部４０１（ＣＰＵ）が実行することによって実現されてよい。
In this embodiment, the
次に、撮像装置１００、エッジデバイス４００’、およびサーバ２００との相互動作に関して図８のフローチャートを参照して説明する。以下、撮像装置１００が主体として説明される動作は制御部１０１（ＣＰＵ）が、サーバ２００が主体として説明される動作は制御部（ＣＰＵ）２０１が、エッジデバイス４００’が主体として説明される動作は制御部４０１（ＣＰＵ）が、実際の主体である。また、図８において、第１および第２実施形態で説明した動作と同じ動作を行うステップには図２および図６と同じ参照数字を付してある。なお、サーバ２００およびエッジデバイス４００’との通信に必要な設定や情報は予め登録され、ＲＯＭ１０２に記憶されているものとする。また、エッジデバイス４００’と通信する前にエッジデバイス４００’を通信相手として登録しておく必要がある場合、そのような登録も事前に行われているものとする。
Next, the interoperation between the
図８において、Ｓ４０１～Ｓ４０６までの動作は第２実施形態と同じであるため説明を省略する。Ｓ４０７で撮像装置１００は、サーバ２００で画像処理を適用するＲＡＷデータをエッジデバイス４００’に送信する。
In FIG. 8, the operations from S401 to S406 are the same as those in the second embodiment, and therefore the description will be omitted. In S407, the
Ｓ１２０８でエッジデバイス４００’は、受信したＲＡＷデータをＲＡＭ４０３もしくは記録部４０７に記憶する。
Ｓ１２０９でエッジデバイス４００’は、評価部４１１を用いて、受信したＲＡＷデータのそれぞれに対して評価値を算出させる。
In S 1208 , the
In S1209, the edge device 400' causes the
ここで、評価部４１１が行う評価値の算出の動作の例を図９のフローチャートを用いて説明する。評価部４１１は、撮像装置１００から受信した画像データについて、サーバ２００で画像処理を適用することによる効果の大きさの指標となる評価値を算出する。
Here, an example of the operation of calculating the evaluation value performed by the
ここでは一例として、エッジが多い画像ほど、サーバ２００で画像処理を適用することの効果が大きい場合の評価値の算出方法について説明する。なお、どのような評価値を算出するかに特に制限はなく、例えば上述した画像処理システム用のアプリケーションを更新することによって適宜変更することも可能である。評価値はサーバ２００で適用する画像処理に依存するため、例えばサーバ２００における画像処理プログラム２１１の更新に応じて、評価部４１１において算出する評価値が変更されてもよい。
Here, as an example, a method of calculating an evaluation value in a case where the effect of applying image processing by the
Ｓ１６０１で評価部４１１は、１フレーム分のＲＡＷデータを読み出し、輝度信号を生成する。ここでは、撮像装置１００の撮像素子が原色ベイヤ配列のカラーフィルタを有するものとする。この場合、ＲＡＷデータは図１０（ａ）に示すような、各画素が１つの色成分の値を有するデータである。なお、図１０にはＲＡＷデータのうち、水平および垂直方向に４画素ずつの画像領域しか示していない。また、Ｒは赤、Ｇは緑、Ｂは青を表す。
In S1601, the
評価部４１１はまず、ＲＡＷデータを色成分ごとに分離し、色成分が存在しない画素位置には０を挿入した色プレーン画像データ（図１０（ｂ））を生成する。そして、評価部４１１は、色プレーン画像データに対して公知の補間処理を適用し、０が挿入された画素における値を補う（図１０（ｃ））。
First, the
次に評価部４１１は、補間後の各色プレーン画像データを用いて、各画素位置における輝度値Ｙを以下の式１によって求め、輝度データ（図１０（ｄ））を生成する。
Y = 0.3 × R + 0.6 × G + 0.1 × B （式１）
ここで、Ｒ，Ｇ，Ｂは、それぞれのプレーン画像データにおける値である。
Next, the
Y = 0.3 × R + 0.6 × G + 0.1 × B (Formula 1)
Here, R, G, and B are values in the respective plane image data.
Ｓ１６０２で評価部４１１は、Ｓ１６０１で生成した輝度データの１画素を対象画素としてエッジ検出処理を適用する。エッジ検出は例えば図１１に示すソーベルフィルタを用いた空間フィルタ処理であってよい。図１１（ａ）は、対象画素の垂直方向のエッジ強度Ｅｙを算出するためのソーベルフィルタ、図１１（ｂ）は、対象画素の水平方向のエッジ強度Ｅｘを算出するためのソーベルフィルタである。対象画素を中心とした周辺８画素の値に対してそれぞれのフィルタを適用することで得られる値を垂直方向のエッジ強度Ｅｙおよび水平方向のエッジ強度Ｅｘとする。空間フィルタ処理は、対象画素と、対象画素を中心とした周辺画素のそれぞれの値と、空間フィルタの対応する位置の係数との積和演算である。なお、図１１に示した空間フィルタの係数およびサイズは単なる一例である。別のフィルタや方法を用いてエッジ強度を検出してもよい。
In S1602, the
評価部４１１は、対象画素について算出した垂直方向エッジ強度Ｅｙおよび水平方向エッジ強度Ｅｘから、対象画素についてのエッジ強度Ｅ（変化量）を以下の式２によって求める。
E= {(Ex2+ Ey2)}1/2 （式２）
The
E = {( Ex2 + Ey2 )} 1/2 (Equation 2)
Ｓ１６０３で評価部４１１は、Ｓ１６０２で求めたエッジ強度Ｅが閾値以上であるか否かを判定し、エッジ強度Ｅが閾値以上であると判定されればＳ１６０４で対象画素にエッジフラグを付与してからＳ１６０５を実行する。一方、評価部４１１は、Ｓ１６０３でエッジ強度Ｅが閾値以上と判定されなければＳ１６０４をスキップしてＳ１６０５を実行する。
In S1603, the
Ｓ１６０５で評価部４１１は、輝度データの全ての画素についてエッジ検出処理を適用したか否かを判定する。全ての画素についてエッジ検出処理を適用したと判定されれば、評価部４１１はＳ１６０６で、エッジフラグが付与された画素の数をＲＡＷデータに対する評価値として算出する。一方、全ての画素についてエッジ検出処理を適用したと判定されなければ、エッジ検出処理を適用していない画素について、Ｓ１６０２からの処理を適用する。
評価部４１１は、記憶されたＲＡＷデータのそれぞれについて評価値を算出する。
In S1605, the
The
図８に戻り、Ｓ１２１０でエッジデバイス４００’は、Ｓ１２０９で算出した評価値に基づいてサーバ２００に送信するＲＡＷデータを決定する。具体的には、評価値が予め設定した閾値以上となるＲＡＷデータをサーバ２００に送信する。この閾値は、ユーザインタフェースを介して得られたユーザの指示に応じて調整できるように構成してもよい。
Returning to FIG. 8, in S1210, the edge device 400' determines the RAW data to be transmitted to the
Ｓ１２１１でエッジデバイス４００’は、Ｓ１２１０で決定したＲＡＷデータを、ネットワーク３００を介してサーバ２００に送信する。
At S1211, the edge device 400' transmits the RAW data determined at S1210 to the
サーバ２００におけるＳ４０８～Ｓ４１０の動作、エッジデバイス４００’におけるＳ１０１１～Ｓ１０１２の動作、撮像装置１００におけるＳ４１１～Ｓ４１３の動作は第２実施形態と同様であるため説明を省略する。
The operations of S408 to S410 in the
本実施形態では、サーバ２００で画像処理を適用する画像データについて、サーバ２００に送信するためにエッジデバイス４００で評価を行い、サーバ２００での画像処理による効果が高いと考えられるＲＡＷデータをサーバ２００に送信するようにした。そのため、撮像装置１００は、サーバ２００で画像処理を適用する効果が大きい画像の処理結果を受信することができる。
In this embodiment, image data to which image processing is applied by the
なお、エッジデバイス４００’からサーバ２００に画像データを送信する前に送信する画像データをユーザに提示し、確認が得られてから送信するようにしてもよい。この際、ユーザが送信しない画像データを選択できるようにしてもよい。
In addition, before transmitting image data from edge device 400' to
●（第４実施形態）
次に、本発明の第４実施形態について説明する。本実施形態の画像処理システムは、第３実施形態においてエッジデバイス４００’が実行した画像データの評価をサーバ２００で行い、画像処理を適用するＲＡＷデータを決定する構成である。したがって、第３実施形態との差異について重点的に説明する。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. In the image processing system of this embodiment, the
図１２は、本実施形態におけるサーバ２００’の機能構成例を示すブロック図であり、第１実施形態で説明したサーバ２００のＲＯＭ２０３に対し、効果判定プログラム２１２を追加した構成を有する。他の機能ブロックについては第１実施形態と同様であるため説明を省略する。
Figure 12 is a block diagram showing an example of the functional configuration of the server 200' in this embodiment, which has a configuration in which an
効果判定プログラム２１２は、制御部２０１が実行することにより、第３実施形態におけるエッジデバイス４００’の評価部４１１と同様の機能を実現する。
制御部２０１は効果判定プログラム２１２を実行して、撮像装置１００から受信した画像データ（ＲＡＷデータ）を評価する。そして、評価結果に基づいて、画像処理プログラム２１１による処理を適用するＲＡＷデータを決定する。
The
The
次に、撮像装置１００、エッジデバイス４００、およびサーバ２００’との相互動作に関して図１３のフローチャートを参照して説明する。以下、撮像装置１００が主体として説明される動作は制御部１０１（ＣＰＵ）が、サーバ２００’が主体として説明される動作は制御部（ＣＰＵ）２０１が、エッジデバイス４００が主体として説明される動作は制御部４０１（ＣＰＵ）が、実際の主体である。また、図１３において、第１から第３実施形態で説明した動作と同じ動作を行うステップには図２、図６、および図８と同じ参照数字を付してある。また、エッジデバイス４００’と通信する前にエッジデバイス４００’を通信相手として登録しておく必要がある場合、そのような登録も事前に行われているものとする。
Next, the interaction between the
図８において、Ｓ４０１～Ｓ４０６までの動作は第２実施形態と同じであるため説明を省略する。Ｓ４０７で撮像装置１００は、サーバ２００で画像処理を適用するＲＡＷデータを第１実施形態と同様にサーバ２００に送信する。
Ｓ４０８でサーバ２００’は、撮像装置１００からＲＡＷデータを受信すると、ＲＡＭ２０２や記憶部２０５に記憶する。
8, the operations from S401 to S406 are the same as those in the second embodiment, and therefore the description will be omitted. In S407, the
In
Ｓ１２０９で制御部２０１は、ＲＯＭ２０３に記憶されている効果判定プログラム２１２を実行し、撮像装置１００から受信したＲＡＷデータに対する評価値を算出する。この処理は第３実施形態で説明したものと同じであってよい。
In S1209, the
Ｓ１２１０で制御部２０１は、Ｓ１２０９で算出した評価値に基づいて、撮像装置１００から受信したＲＡＷデータについて、画像処理プログラム２１１による画像処理を適用するか否かを決定する。制御部２０１は具体的には、画像処理プログラム２１１による画像処理の効果が大きいと考えられるＲＡＷデータのみに画像処理を適用するよう決定する。
In S1210, the
Ｓ４０９で制御部２０１は画像処理プログラム２１１を実行し、Ｓ１２１０で決定されたＲＡＷデータに画像処理（ここでは現像処理）を適用する。
その後の、サーバ２００’におけるＳ４１０の動作、エッジデバイス４００におけるＳ１０１１～Ｓ１０１２の動作、撮像装置１００におけるＳ４１１～Ｓ４１３の動作は第２実施形態と同様であるため説明を省略する。
In S409, the
The subsequent operations of S410 in the server 200', S1011 to S1012 in the
本実施形態では、サーバ２００’で画像処理を適用する画像データについて、サーバ２００’で評価を行い、サーバ２００’での画像処理による効果が高いと考えられるＲＡＷデータのみに画像処理を適用するようにした。そのため、撮像装置１００は、サーバ２００で画像処理を適用する効果が大きい画像のみについて処理結果を受信することができる。
In this embodiment, the server 200' evaluates the image data to which the server 200' applies image processing, and applies image processing only to RAW data for which the server 200' is deemed to be highly effective. Therefore, the
なお、サーバ２００’で画像処理を適用する前に適用する画像データを撮像装置１００に送信し、撮像装置１００の表示部１０９を通じてユーザに提示してもよい。そして、撮像装置１００から確認が得られてから画像処理を適用するようにしてもよい。この際、ユーザが画像処理を適用しない画像データを撮像装置１００で選択できるようにしてもよい。
Note that before applying image processing in the server 200', the image data to be applied may be transmitted to the
●（第５実施形態）
次に、本発明の第５実施形態について説明する。本実施形態の画像処理システムは、第１実施形態においてサーバ２００がＲＡＷデータを受信して実施する処理をエッジデバイス４００で実施するようにした構成である。本実施形態に係る画像処理システムの構成、撮像装置１００、サーバ２００、およびエッジデバイス４００の機能構成は第２実施形態と同様であってよい。
● (Fifth embodiment)
Next, a fifth embodiment of the present invention will be described. In the image processing system of this embodiment, the process that is received by the
次に、撮像装置１００、エッジデバイス４００、およびサーバ２００との相互動作に関して図１４のフローチャートを参照して説明する。以下、撮像装置１００が主体として説明される動作は制御部１０１（ＣＰＵ）が、サーバ２００が主体として説明される動作は制御部（ＣＰＵ）２０１が、エッジデバイス４００が主体として説明される動作は制御部４０１（ＣＰＵ）が、実際の主体である。また、図１４において、第１実施形態で説明した動作と同じ動作を行うステップには図２と同じ参照数字を付してある。また、エッジデバイス４００と通信する前にエッジデバイス４００を通信相手として登録しておく必要がある場合、そのような登録も事前に行われているものとする。
Next, the interaction between the
図１４において、Ｓ４０１～Ｓ４０６までの動作は第１実施形態と同じであるため説明を省略する。Ｓ４０７で撮像装置１００は、ＲＡＷデータをサーバ２００ではなくエッジデバイス４００に送信する。
Ｓ４０８でエッジデバイス４００は、撮像装置１００からＲＡＷデータを受信すると、ＲＡＭ４０３や記録部４０７に記憶する。
14, the operations from S401 to S406 are the same as those in the first embodiment, and therefore the description thereof will be omitted.
In S<b>408 , when the
Ｓ４０９でエッジデバイス４００は、画像処理部４０５を用いて、第１実施形態でサーバ２００が画像処理プログラム２１１を実行して適用するのと同様の画像処理（現像処理）をＲＡＷデータに適用する。
Ｓ１５１０でエッジデバイス４００は、表示部４０８に、現像処理後の画像データを表示する。
In S409, the
In S1510, the
その後エッジデバイス４００は、Ｓ４１０で現像処理後の画像データを撮像装置１００に送信する。
撮像装置１００におけるＳ４１１～Ｓ４１３の動作は第１実施形態と同様であるため説明を省略する。
Thereafter, the
The operations of S411 to S413 in the
本実施形態では、プロキシ画像データの元データに対する画像処理を、サーバ２００ではなくエッジデバイス４００で行うようにした。プロキシ画像データの元データの容量は大きく、ＲＡＷデータであれば特に容量が大きい。そのため、サーバ２００でなくエッジデバイス４００で画像処理を適用することで、ネットワーク３００でサーバ２００との間で送受信する画像データの量を大幅に削減することができる。これにより、ネットワーク３００を用いる通信コストやサーバコストの大幅な削減が実現できる。
In this embodiment, image processing of the original data of the proxy image data is performed by the
（変形例）
上述の実施形態では、外部装置で画像処理を適用する画像データを撮像装置１００が決定する構成であった。この場合、実施形態で説明したように、外部装置で画像処理を適用する画像データをプロキシ画像データの処理結果に基づいて撮像装置が決定するための機能（例えばプログラムや判断基準など）を撮像装置に実装する必要がある。
(Modification)
In the above-described embodiment, the image data to which the image processing is applied in the external device is determined by the
先に説明したように、撮像装置のハードウェアリソースは容量、能力ともにエッジデバイスやサーバと比較すると大幅に制限されているため、実装された機能を更新することは容易でない。そのため、外部装置の画像処理プログラムが更新された際に、外部装置で画像処理を適用する画像データを撮像装置が決定するための機能も併せて更新することが望ましい場合であっても、それができない場合がある。この場合、撮像装置において、外部装置に送信する画像データを適切に決定できなくなる。 As explained above, the hardware resources of an imaging device are significantly more limited in both capacity and capability than edge devices and servers, making it difficult to update implemented functions. Therefore, even if it is desirable to also update the function that enables the imaging device to determine the image data to which image processing is to be applied in the external device when the image processing program of the external device is updated, this may not be possible. In this case, the imaging device will be unable to properly determine the image data to send to the external device.
そのため、上述の実施形態において撮像装置１００がＳ４０５～Ｓ４０６で実行する、外部装置で画像処理を適用する画像データの決定処理を、サーバ２００もしくはエッジデバイス４００で行うようにすることが考えられる。この場合、サーバ２００またはエッジデバイス４００は、決定した画像データを送信するように撮像装置１００に要求し、撮像装置は要求された画像データをサーバ２００もしくはエッジデバイス４００に送信する。例えば、第１実施形態であれば、サーバ２００がＳ４０３で被写体認識処理を行ったのち、登録済みの人物が検出されたプロキシ画像データの元データ（現像済み画像データでもＲＡＷデータでもよい）をＳ４０４で撮像装置１００に要求する。そして、撮像装置１００はＳ４０７で元データをサーバ２００に送信する。他の実施形態でも同様に、プロキシ画像データに画像処理を行った装置がプロキシ画像データの元データを撮像装置に要求することができる。あるいは、プロキシ画像データに画像処理を行った装置（例えばエッジデバイス）が撮像装置に対して、プロキシ画像データの元データを他の装置（例えばサーバ）に送信するように要求してもよい。
Therefore, it is conceivable that the image data determination process to be applied to the image processing by the external device, which is executed by the
なお、エッジデバイス４００は撮像装置１００よりもサーバ２００に近い能力を有する上、ソフトウェアの更新も容易である。そのため、サーバ２００の画像処理プログラム２１１が更新され、サーバ２００で処理することが望ましい画像データの判断基準が変化する場合であっても、容易に対応することができる。例えば、更新された画像処理プログラム２１１に適した判断基準をサーバ２００からエッジデバイス４００に対して送信し、エッジデバイス４００が用いる判断基準を更新してもよい。あるいは、エッジデバイス４００の画像処理システム用アプリケーションを更新することによって、判断基準を更新してもよい。
なお、すでに説明したように、上述した各実施形態では撮像装置１００を用いて説明を行ったが、本発明は画像データを取り扱い可能な情報処理装置に適用可能である。
The
As already explained, in each of the above-mentioned embodiments, the
●（第６実施形態）
本実施形態は、図５（ａ）に示した、撮像装置１００、エッジデバイス４００（第１外部装置）、サーバ２００（第２外部装置）がネットワーク３００に接続された構成の画像処理システムに関する。ただし、エッジデバイス４００とサーバ２００の機能構成が一部異なるため、以下ではエッジデバイス４００”、サーバ２００”と表記する。
本実施形態では、図１５に示すように、撮像装置１００の通信部１１０が、ネットワーク３００（サーバ２００”）用の通信インタフェースに加え、エッジデバイス４００”用の通信インタフェースを有するものとする。本実施形態においても、撮像装置１００とエッジデバイス４００”との通信には費用が発生しないものとする。
● (Sixth embodiment)
5A, an image processing system in which an
In this embodiment, as shown in FIG. 15 , the
図１５は、撮像装置１００の機能構成例を示すブロック図である。通信部１１０の構成を除き、第１実施形態で説明した構成と同じでよいため、通信部１１０以外の機能ブロックの説明は省略する。
Figure 15 is a block diagram showing an example of the functional configuration of the
本実施形態においては通信部１１０は、ネットワーク３００を通じた撮像装置１００とサーバ２００”との通信、ならびに撮像装置１００とエッジデバイス４００”との無線通信を実現する。制御部１０１は、通信部１１０を通じ、サーバ２００”やエッジデバイス４００”と画像データなどを送受信する。
In this embodiment, the
図１６（ａ）は、サーバ２００”の機能構成例を示すブロック図である。サーバ２００”は、図１（ｃ）に示した第１実施形態のサーバ２００において、画像認識プログラムをＲＯＭ２０３’に記憶することを要しないことを除き、同様の構成であってよい。したがって、サーバ２００と共通する事項については説明を省略する。以下では、サーバ２００”が提供する画像処理機能がＲＡＷデータの現像処理である場合について説明するが、他の画像処理機能であってもよい。
本実施形態において通信部２０４は、ネットワーク３００を通じたサーバ２００”と撮像装置１００との通信、およびネットワーク３００を通じたサーバ２００”とエッジデバイス４００”との通信を実現する。制御部２０１は、通信部２０４を通じ、撮像装置１００やエッジデバイス４００”と画像データなどを送受信する。
FIG. 16(a) is a block diagram showing an example of the functional configuration of a
In this embodiment, the
なお、ネットワーク３００は撮像装置１００およびエッジデバイス４００”のそれぞれと、サーバ２００”とのデータ通信をサポートすることが可能な任意の公知のネットワークであってよいため、具体的な構成については説明を省略する。
Note that the
図１６（ｂ）はエッジデバイス４００”の機能構成例を示すブロック図である。エッジデバイス４００”は、画像認識部４０４に代えて評価部４１１を有することを除き、図５（ｂ）に示した第２実施形態のエッジデバイス４００と同様の構成であってよい。したがって、エッジデバイス４００と共通する事項については説明を省略する。
Figure 16 (b) is a block diagram showing an example of the functional configuration of
評価部４１１は一部の実施形態において、画像データから評価値を算出する。評価値は画像処理を撮像装置１００の外部装置で行うＲＡＷデータの送信順序の決定などに用いられる。評価部４１１は第３実施形態において図９～図１１を用いて説明したものであってよい。なお、評価値を用いない実施形態では評価部４１１は不要である。
In some embodiments, the
次に、撮像装置１００、エッジデバイス４００”、およびサーバ２００”との相互動作に関して、図１７のフローチャートを参照して説明する。以下、本明細書において撮像装置１００が主体として説明される動作は制御部１０１（ＣＰＵ）が撮像装置１００の他の構成要素を制御することによって実現される。また、サーバ２００”が主体として説明される動作は制御部（ＣＰＵ）２０１がサーバ２００”の他の構成要素を制御することによって実現される。さらに、エッジデバイス４００”が主体として説明される動作は制御部４０１（ＣＰＵ）がエッジデバイス４００”の他の構成要素を制御することによって実現される。また、以下の説明においては限定的な記載が無いかぎり、機器間で特定の情報やデータが通信される際に、明示されていない他の情報やデータも通信されうる。
Next, the interoperation between the
なお、撮像装置１００がサーバ２００”およびエッジデバイス４００”との通信に必要とする設定や情報は予めＲＯＭ１０２に記憶されているものとする。また、撮像装置１００がエッジデバイス４００”と通信する前にエッジデバイス４００”を通信相手として登録しておく必要がある場合、そのような登録も事前に行われているものとする。
Note that the settings and information required for the
Ｓ１７０１において、撮像装置１００は記録部１０８に記録されているプロキシ画像データを、通信部１１０から、エッジデバイス４００”に送信する。このプロキシ画像データは、記録部１０８に記録されている画像データに関する情報の一例である。Ｓ１７０１を実行するタイミングに特に制限はなく、例えば未処理のＲＡＷデータが記録部１０８に存在することが確認された時点で開始してもよいし、ユーザの指示によって開始してもよい。また、送信するプロキシ画像データは、ＲＡＷデータに対応するものであっても、現像済みの画像データに対応するものであっても、ユーザが選択したものであってもよい。あるいは、全てのプロキシ画像データを送信してもよい。
In S1701, the
また、ＲＡＷデータのうち、現像処理されていない（未処理の）ＲＡＷデータに対応するプロキシ画像データを送信してもよい。この場合、例えば、対応する汎用形式（例えばＪＰＥＧ形式）の画像データが記録されていないＲＡＷデータを未処理のＲＡＷデータと判別することができる。あるいは、未処理か否かを判別可能なファイル名を付与するようにして、ファイル名から未処理のＲＡＷデータを判別してもよい。Ｓ１７０１では２枚（フレーム）以上のプロキシ画像データをエッジデバイス４００”に送信するものとする。
Proxy image data corresponding to raw data that has not been developed (unprocessed) may also be transmitted. In this case, for example, raw data for which image data in a corresponding general format (e.g., JPEG format) is not recorded can be determined as unprocessed raw data. Alternatively, a file name that can be used to determine whether the data is unprocessed or not may be assigned, and unprocessed raw data can be determined from the file name. In S1701, two or more frames of proxy image data are transmitted to the
Ｓ１７０２においてエッジデバイス４００”には撮像装置１００から通信部２０４を通じてプロキシ画像データを受信する。エッジデバイス４００”は受信したプロキシ画像データをＲＡＭ４０３に記憶する。
In S1702, the edge device 400'' receives the proxy image data from the
Ｓ１７０３でエッジデバイス４００”は、ＲＡＭ４０３に記憶されているプロキシ画像データに基づく画像を選択可能に表示部４０８に一覧表示する。エッジデバイス４００”は例えば、表示部４０８に、プロキシ画像データに基づく画像（プロキシ画像）を一覧表示する画像選択画面を表示して、現像処理を実行すべき画像を選択するようにユーザに通知する。なお、エッジデバイス４００”が表示部４０８に一度に表示するプロキシ画像の数、プロキシ画像の表示サイズ、表示順序に特に制限はない。表示サイズを小さくすれば多数のプロキシ画像が同時に表示されて一覧性が増し、表示サイズを大きくすれば画像の詳細を確認しやすくなる。なお、ＲＡＭ４０３に記憶されたプロキシ画像データにもとづくプロキシ画像を１画面に全て表示する必要はない。スクロールやページ切り替えなど公知の手法を用い、プロキシ画像の一覧表示を複数画面に渡って行ってもよい。
In S1703, the
エッジデバイス４００”のユーザ（撮像装置１００のユーザと同一であってもなくてもよい）は、エッジデバイス４００”の操作部１１１を操作することにより、１つ以上のプロキシ画像を選択する。例えばユーザは表示部４０８がタッチディスプレイであれば画像をタッチして選択することがでける。また、ユーザは操作部１１１のキーやボタンを操作することによって画像を選択してもよい。ここでの画像選択は、サーバ２００”で現像処理を適用するＲＡＷデータの選択に相当する。
The user of the edge device 400'' (which may or may not be the same as the user of the imaging device 100) selects one or more proxy images by operating the
Ｓ１７０４でエッジデバイスは、ユーザが選択したプロキシ画像に対応するプロキシ画像データを特定する選択ファイル情報（例えばファイル名）を撮像装置１００に送信する。なお、Ｓ１７０４でエッジデバイス４００”から撮像装置１００に送信する選択ファイル情報は、プロキシ画像データとともに撮像装置１００から受信している情報に応じて変化しうる。例えば、プロキシ画像データに対応するＲＡＷデータを特定する情報を取得している場合、エッジデバイス４００”は選択されたプロキシ画像に対応するＲＡＷデータを特定する情報（例えばファイル名）を選択ファイル情報として撮像装置１００に送信してもよい。その他、ユーザがサーバ２００”で現像処理を行うことを選択したＲＡＷデータを撮像装置１００が特定可能な任意の情報を選択ファイル情報としてエッジデバイス４００”から撮像装置１００に送信することができる。
In S1704, the edge device transmits to the
Ｓ１７０５で撮像装置１００は、エッジデバイス４００”から受信した情報（選択ファイル情報）をＲＡＭ１０３に記憶する。
Ｓ１７０６で撮像装置１００は、選択ファイル情報に基づいてＲＡＷデータを特定する。そして、撮像装置１００は、特定したＲＡＷデータを記録部１０８から読み出し、ネットワーク３００を介してサーバ２００”に送信する。
In S1705, the
In S1706, the
Ｓ１７０７でサーバ２００”はＲＡＷデータを受信し、ＲＡＭ２０２や記憶部２０５に記憶する。
Ｓ１７０８でサーバ２００”は、画像処理プログラム２１１をＲＯＭ２０３’からＲＡＭ２０２にロードして実行する。画像処理プログラム２１１はＲＡＷデータに現像処理を適用する。現像処理は例えばホワイトバランス処理、レンズ収差補正処理、ノイズ低減（ＮＲ）処理、色補間処理、ガンマ処理などを含む。また、現像処理後に符号化処理を適用して例えばＪＰＥＧ形式など所定形式の画像データファイルを生成してもよい。サーバ２００”は、Ｓ１７０７におけるＲＡＷデータの受信とＳ１７０８における画像処理プログラム２１１の実行（現像処理の適用）とを並行して実行してもよい。
In S1707, the server 200'' receives the RAW data and stores it in the
In S1708, the
サーバ２００”で適用する現像処理は、撮像装置１００の画像処理部１０７よりも新しいおよび／または複雑な手法に基づくものであり、撮像装置１００で適用する現像処理よりも良好な処理結果が得られる。これはサーバ２００”の処理能力が撮像装置１００の処理能力より高いこと、またサーバ２００”が実行する画像処理プログラム２１１が、撮像装置１００の画像処理部１０７よりも新しい技術に基づくものであることによる。
The development processing applied by the
Ｓ１７０７におけるＲＡＷデータの受信が完了すると、Ｓ１７０９でサーバ２００”はＲＡＷデータの受信完了通知をネットワーク３００を介して撮像装置１００に送信する。
When reception of the RAW data is completed in S1707, in S1709 the
Ｓ１７１０で撮像装置１００は受信完了通知をサーバ２００”から受信する。
Ｓ１７１１で撮像装置１００は、記録部１０８に記憶されているＲＡＷデータのうち、Ｓ１７０７で送信していないＲＡＷデータについて、サーバ２００”への送信を開始する。なお、Ｓ１７１１でサーバ２００”に送信するＲＡＷデータは、必ずしも、Ｓ１７０７で送信していない（すなわち、ユーザが選択しなかった）ＲＡＷデータの全てでなくてもよい。例えば、記録部１０８に記憶されているＲＡＷデータには、Ｓ１７０１でプロキシ画像データがサーバ２００”に送信されていないＲＡＷデータが含まれうるからである。したがって、Ｓ１７０１でプロキシ画像データが送信されているＲＡＷデータや、Ｓ１７０１でプロキシ画像データが送信されているＲＡＷデータと同日もしくは近い時刻に撮影されたＲＡＷデータから、Ｓ１７１１で送信するＲＡＷデータを決定してもよい。
In S1710, the
In S1711, the
Ｓ１７１２でサーバ２００”は、ＲＡＷデータの受信を開始し、ＲＡＭ２０２や記憶部２０５に記憶する。
Ｓ１７１３でサーバ２００”は、Ｓ１７１２で受信したＲＡＷデータについてＳ１７０８と同様に現像処理を実行する。なお、サーバ２００”は、Ｓ１７０８の実行が完了してからＳ１７１３を実行する。サーバ２００”は、Ｓ１７０８およびＳ１７１３で得られた現像済みの画像データを記憶部２０５に記憶する。
In S1712, the server 200'' starts receiving the RAW data, and stores it in the
In S1713, the
なお、図１７ではサーバ２００”で現像処理を適用することによって得られた現像済みの画像データをサーバ２００”で記憶するようにした。これは、撮像装置１００とサーバ２００”との通信がデータ量に応じて課金される場合を想定していることによる。このような場合、自宅など通信料金が固定の環境に移動してから、現像済みの画像データをサーバ２００”から取得する方が通信費用を削減できる。しかしながら、ユーザが現像結果をすぐに確認したい場合も考えられるため、サーバ２００”は現像処理が完了した画像データから順に撮像装置１００に送信するようにしてもよい。Ｓ１７０８で現像処理を適用するＲＡＷデータはユーザが選択したＲＡＷデータであるから、ユーザは所望のＲＡＷデータの現像結果を他のＲＡＷデータの現像結果よりも先に確認することができる。
In FIG. 17, the developed image data obtained by applying the development process in the
本実施形態では、撮像装置に存在するＲＡＷデータのうち、優先的に現像処理を適用したいＲＡＷデータを、エッジデバイスを用いてユーザに問い合わせる。そして、撮像装置は、ユーザが選択したＲＡＷデータを他のＲＡＷデータよりも先に、現像処理を実行する外部装置に送信する。そのため、撮像装置に多数のＲＡＷデータが存在する場合でも、ユーザが望むＲＡＷデータについて優先的に現像処理を実行することが可能になる。そのため、撮像装置の外部装置で現像処理を実行する場合のユーザの待ち時間を短縮することができる。また、外部装置で現像処理を実行するため、撮像装置では実行できない処理を用いた現像処理や、撮像装置よりも高速な現像処理が可能になる。 In this embodiment, the edge device is used to inquire of the user about the RAW data to which the user would like to preferentially apply development processing among the RAW data present in the imaging device. The imaging device then transmits the RAW data selected by the user to an external device that performs development processing before other RAW data. Therefore, even if there is a large amount of RAW data present in the imaging device, it is possible to perform development processing preferentially on the RAW data desired by the user. This makes it possible to reduce the user's waiting time when development processing is performed in a device external to the imaging device. Furthermore, because development processing is performed in an external device, development processing using processing that cannot be performed by the imaging device and development processing that is faster than that performed by the imaging device are possible.
なお、本実施形態では撮像装置１００からエッジデバイス４００”に直接プロキシ画像を送信する構成であったが、サーバ２００”を介するようにしてもよい。例えば図１８に示すように、Ｓ１７０１では撮像装置１００からサーバ２００”にプロキシ画像データを送信し、Ｓ１７２１でサーバ２００”がプロキシ画像データを受信する。そして、Ｓ１７２２でサーバ２００”は、プロキシ画像データをエッジデバイス４００”に送信する。以下、Ｓ１７０２以降は図１７と同様である。なお、エッジデバイス４００”から選択ファイル情報を直接撮像装置１００に送信せずに、サーバ２００”を介して撮像装置１００に送信してもよい。このように、サーバ２００”を介して撮像装置１００とエッジデバイス４００”との通信を行うように構成することで、撮像装置１００とエッジデバイス４００”とが直接通信できない場合にも本発明を実施することができる。
In this embodiment, the proxy image is sent directly from the
また、本実施形態では現像処理をサーバ２００”で実行するものとしたが、現像処理をエッジデバイス４００”で行ってもよい。この場合、図１７でサーバ２００”が実行する処理もエッジデバイス４００”が実行すればよい。 In addition, in this embodiment, the development process is performed by the server 200'', but the development process may be performed by the edge device 400''. In this case, the process performed by the server 200'' in FIG. 17 may also be performed by the edge device 400''.
●（第７実施形態）
次に、本発明の第７実施形態について説明する。本実施形態は、ＲＡＷデータの一部についての現像処理結果をユーザに提示し、必要性が確認できたＲＡＷデータについて全体に対する現像処理を実行する。部分領域の現像結果が得られるまでの時間短縮および通信データ量の削減が実現できる。
(Seventh embodiment)
Next, a seventh embodiment of the present invention will be described. In this embodiment, the development processing results for a portion of RAW data are presented to the user, and development processing is performed on the entire RAW data for which the necessity for development has been confirmed. This can reduce the time required to obtain the development results for a partial area and the amount of communication data.
本実施形態は、第６実施形態と同様の画像処理システムによって実施可能であるため、撮像装置１００、サーバ２００”、およびエッジデバイス４００”の構成に関する説明は省略する。
This embodiment can be implemented using an image processing system similar to that of the sixth embodiment, so a description of the configuration of the
本実施形態おける撮像装置１００、エッジデバイス４００”、およびサーバ２００”との相互動作に関して、図１９のフローチャートを参照して説明する。Ｓ１９０１からＳ１９０３は、第６実施形態におけるＳ１７０１からＳ１７０３と同一であるため説明を省略する。ここでは、Ｓ１９０３で画像が１つ選択されると、エッジデバイス４００”はＳ１９０４を実行するものとする。
The interaction between the
Ｓ１９０４でエッジデバイス４００”は、Ｓ１９０３でユーザが選択したプロキシ画像について、部分領域を選択する。この選択動作について、図２０を用いてさらに説明する。図２０はＳ１９０３でユーザが選択したプロキシ画像２０００を示している。制御部４０１は、画像処理部４０５を制御して、ユーザが選択したプロキシ画像に対応するプロキシ画像データに対する特徴領域の検出を実行させる。ここでは特徴領域として人間の顔と思われる領域（顔領域）の位置および大きさを検出するものとする。図２０は、検出処理により、顔領域２００１および２００２が検出された例を示している。
In S1904, the
エッジデバイス４００”は、Ｓ１９０３で選択されたプロキシ画像について、検出された特徴領域を示す指標（例えば矩形状の指標）を重畳表示して、ユーザに提示することができる。エッジデバイス４００”は、複数の特徴領域が検出されたプロキシ画像については、ユーザに選択させるか、予め定められた条件に従って自動的に選択することにより、１つの特徴領域を選択する。なお、ここでは先行して現像処理を行う部分領域を特徴領域から選択する例を示した。しかし、色、輝度、距離情報の１つ以上を用いて画像を複数の領域に分割し、ユーザに１つの領域を選択させてもよい。また、ユーザに画像内の任意の部分領域を選択させてもよい。
The
図２０に示す例では、ユーザは例えば表示部４０８のタッチ操作により、２つの顔領域２００１、２００２のうち１つを選択することができる。ここでは顔領域２００１が選択されたものとする。
In the example shown in FIG. 20, the user can select one of the two
図１９に戻り、Ｓ１９０５でエッジデバイス４００”は、選択ファイル情報に加え、ファイルについて選択された部分領域を特定する情報（部分領域情報）を撮像装置１００に送信する。部分領域情報に特に制限はないが、プロキシ画像における部分領域の対角頂点座標などを例示することができる。このとき、プロキシ画像の水平方向および垂直方向の大きさによって正規化された座標値とすることで、対応するＲＡＷデータにおける部分領域の位置を容易に特定することができる。
Returning to FIG. 19, in S1905, the
Ｓ１９０６で撮像装置１００は、選択ファイル情報と部分領域情報とを受信し、ＲＡＭ１０３に記憶する。
Ｓ１９０７で撮像装置１００は、選択ファイル情報から特定したＲＡＷデータについて、部分領域情報に基づく部分領域のＲＡＷデータ（部分ＲＡＷデータ）を、ネットワーク３００を介してサーバ２００”に送信する。
In S<b>1906 , the
In S1907, the
Ｓ１９０８でサーバ２００”は部分ＲＡＷデータを受信する。
Ｓ１９０９でサーバ２００”はＳ１９０８で受信した部分ＲＡＷデータに対して現像処理を適用する。適用する現像処理は第６実施形態と同じであってよい。
Ｓ１９１０でサーバ２００”は、部分ＲＡＷデータの現像結果を、ＲＡＷデータを特定する情報とともにネットワーク３００を介してエッジデバイス４００”に送信する。
In S1908, the server 200'' receives the partial RAW data.
In S1909, the server 200'' applies development processing to the partial RAW data received in S1908. The development processing to be applied may be the same as that in the sixth embodiment.
In S1910, the server 200'' transmits the development results of the partial RAW data together with information for identifying the RAW data to the edge device 400'' via the
Ｓ１９１１でエッジデバイス４００”は現像結果を受信し、ＲＡＭ４０３に記憶する。エッジデバイス４００”は、表示部４０８に現像結果の画像を表示する。エッジデバイス４００”は、現像結果を対応するプロキシ画像の全体とともに表示してもよい。ユーザは表示部４０８を通じて、Ｓ１９０３で自身が選択した画像について、部分領域の現像結果を確認することができる。
In S1911, the
本実施形態においてエッジデバイス４００”は、現像結果の画像を、画像全体の現像処理の実行指示、部分領域の再選択指示、現像処理のキャンセル指示のいずれかをユーザが選択できるように表示する。エッジデバイス４００”は例えば、現像結果の画像に隣接して、各指示に対応する、選択可能なアイコンを表示することができる。
In this embodiment, the
Ｓ１９１２でエッジデバイス４００”は受け付けたユーザ指示に応じて処理を分岐させる。エッジデバイス４００”は、部分領域の再選択指示を検出した場合にはＳ１９０４を実行し、画像全体の現像処理の実行指示を検出した場合にはＳ１９１３を実行する。なお、図では記載していないが、キャンセル指示を検出した場合、エッジデバイス４００”は対応する画像の表示を終了する。
In S1912, the
部分領域の再選択指示に応じてＳ１９０４を実行する場合、エッジデバイス４００”は既に選択済みの特徴領域を除いて特徴領域の指標を表示することができる。ユーザが新たに部分領域を選択すると、対象の画像についてＳ１９０５以降の処理が再度実行される。
When S1904 is executed in response to an instruction to reselect a partial region, the
一方、Ｓ１９１３でエッジデバイス４００”は、ＲＡＷデータを特定する情報とともに、画像全体の現像処理を要求する通知（本現像リクエスト）を撮像装置１００に送信する。
Ｓ１９１４で撮像装置１００は、本現像リクエストと、対象のＲＡＷデータを特定する情報とを受信し、ＲＡＭ１０３に記憶する。以降、全体のＲＡＷデータを送信するＳ１９１５以降の動作は、第６実施形態で説明した図１７のＳ１７０６からＳ１７１３までの動作と同等のため、詳細な説明は省略する。
On the other hand, in S1913, the edge device 400'' transmits, to the
In S1914, the
ここでは説明および理解を容易にするため、エッジデバイス４００”に表示されるプロキシ画像の１つについての動作の流れを説明した。表示部４０８に複数のプロキシ画像が表示されている場合、残りのプロキシ画像についても、Ｓ１９０３で選択されたものについて同様の動作が実行される。なお、Ｓ１９０３からＳ１９１１までの処理は、複数のプロキシ画像についてまとめて実行するように構成することもできる。すなわち、Ｓ１９０３で複数のプロキシ画像が選択された場合、エッジデバイス４００”は複数の画像についての選択ファイル情報と部分領域情報をまとめて撮像装置１００に送信する。その後、部分ＲＡＷデータの送信、現像処理、現像結果の送信についても、複数の画像についてまとめて実行し、最終的に複数の画像についての現像結果が表示部４０８に表示される。その後、全体に対する現像処理のリクエストと、部分領域の再選択の実行も、それぞれまとめて実行することができる。
Here, for ease of explanation and understanding, the flow of operations for one of the proxy images displayed on the
本実施形態によれば、第６実施形態の効果に加え、ユーザは、選択した画像について、部分領域の現像結果を確認してから画像全体に対する現像処理の実行要否を決定できる。まず部分領域について現像処理を実行することで、通信データ量が少なく、現像処理の負荷も低くなるため、ユーザは部分領域の現像結果を素早く確認することができる。また、部分領域の現像結果により、全体に対する現像処理が不要と判断されたＲＡＷデータがあれば、ネットワーク３００を利用する通信データ量を削減することができる。なお、部分ＲＡＷデータに対して不可逆もしくは可逆なデータ量の削減処理を適用することもでき、この場合にはさらに通信データ量を削減することができる。
According to this embodiment, in addition to the effects of the sixth embodiment, the user can check the development results of a partial area of a selected image and then decide whether or not to perform development processing on the entire image. By first performing development processing on the partial area, the amount of communication data is small and the load of the development processing is also low, allowing the user to quickly check the development results of the partial area. Furthermore, if there is RAW data for which it has been determined that development processing on the entire image is not required based on the development results of the partial area, the amount of communication data using the
また、部分ＲＡＷデータやＲＡＷデータに対する現像処理は、必ずしもサーバ２００”で実行する必要はなく、少なくとも一部をエッジデバイス４００”で実行するように構成してもよい。 In addition, the development process for partial RAW data or RAW data does not necessarily have to be performed by the server 200'', and may be configured to be performed at least in part by the edge device 400''.
●（第８実施形態）
次に、本発明の第８実施形態について説明する。本実施形態は、第７実施形態の変形例に相当する。具体的には、第７実施形態における部分ＲＡＷデータおよびその現像結果について、機器間で繰り返して送信しないようにすることで、通信データ量のさらなる削減を実現する。
(Eighth embodiment)
Next, an eighth embodiment of the present invention will be described. This embodiment corresponds to a modification of the seventh embodiment. Specifically, the amount of communication data is further reduced by preventing the partial RAW data and the development results thereof in the seventh embodiment from being repeatedly transmitted between devices.
第７実施形態と同様に、本実施形態も第６実施形態と同様の画像処理システムによって実施可能であるため、撮像装置１００、サーバ２００”、およびエッジデバイス４００”の構成に関する説明は省略する。
As with the seventh embodiment, this embodiment can be implemented using an image processing system similar to that of the sixth embodiment, and therefore a description of the configuration of the
本実施形態おける撮像装置１００、エッジデバイス４００”、およびサーバ２００”との相互動作に関して、図２１のフローチャートを参照して説明する。図２１において、第７実施形態と同様の処理については同じ参照番号を付してある。Ｓ１９０１からＳ１９１４までは第７実施形態と同様であるため説明を省略する。
The interaction between the
Ｓ１９１４で本現像リクエストを受信すると、Ｓ２１１５で撮像装置１００は、本現像を行うＲＡＷデータについて、Ｓ１９０７でサーバ２００”に送信した部分ＲＡＷデータを除いてサーバ２００”に送信する。例えばＳ１９０７で顔領域２００１に対応する部分ＲＡＷデータをサーバ２００”に送信している場合、撮像装置１００は顔領域２００１を除いた領域（残りの領域）に対応するＲＡＷデータをサーバに送信する。撮像装置１００はＲＡＭ１０３に記憶されている選択ファイル情報と部分領域情報とを参照することにより、送信済みの部分ＲＡＷデータを除外したＲＡＷデータを生成することができる。
When a request for full development is received in S1914, in S2115 the
Ｓ２１１６でサーバ２００”は、Ｓ１９０８で受信した部分ＲＡＷデータを除いたＲＡＷデータを受信する。
Ｓ２１１７でサーバは、Ｓ１９０８で受信した部分ＲＡＷデータと、Ｓ２１１６で受信したＲＡＷデータとを合成し、画像全体に対応するＲＡＷデータを生成する。
その後のＳ１９１７以降の処理は第７の実施形態と同様であるため説明は省略する。
In S2116, the server 200'' receives the raw data excluding the partial raw data received in S1908.
In S2117, the server combines the partial RAW data received in S1908 and the RAW data received in S2116 to generate RAW data corresponding to the entire image.
The subsequent processing from S1917 onwards is similar to that in the seventh embodiment, and therefore a description thereof will be omitted.
本実施形態では部分領域について現像処理を実行済みのＲＡＷデータについて本現像（画像全体に対する現像処理）を行う場合、先に撮像装置１００からサーバ２００”に送信済みの部分ＲＡＷデータについては再度送信しないようにした。そのため、第７実施形態の効果に加え、撮像装置１００からサーバ２００”への通信データ量を削減することができる。
In this embodiment, when performing main development (development processing on the entire image) on RAW data for which development processing has already been performed on a partial area, partial RAW data that has already been transmitted from the
本実施形態においても、部分ＲＡＷデータやＲＡＷデータに対する現像処理は、必ずしもサーバ２００”で実行する必要はなく、少なくとも一部をエッジデバイス４００”で実行するように構成してもよい。 Even in this embodiment, the development process for partial RAW data or RAW data does not necessarily have to be performed by the server 200'', and may be configured to be performed at least in part by the edge device 400''.
●（第９実施形態）
次に、本発明の第９実施形態について説明する。本実施形態は、ＲＡＷデータを外部装置に送信する順序を所定の条件に応じて決定する。本実施形態も第６実施形態と同様の画像処理システムによって実施可能であるため、撮像装置１００、サーバ２００”、およびエッジデバイス４００”の構成に関する説明は省略する。
● (Ninth embodiment)
Next, a ninth embodiment of the present invention will be described. In this embodiment, the order in which RAW data is transmitted to an external device is determined in accordance with a predetermined condition. Since this embodiment can also be implemented by an image processing system similar to that of the sixth embodiment, a description of the configurations of the
本実施形態おける撮像装置１００、エッジデバイス４００”、およびサーバ２００”との相互動作に関して、図２２のフローチャートを参照して説明する。図２２において、Ｓ２２０１およびＳ２２０２は第６実施形態のＳ１７０１およびＳ１７０２と同様であるため説明を省略する。
The interaction between the
Ｓ２２０３でエッジデバイス４００”は、ＲＡＭ４０３に記憶されているプロキシ画像データについて所定の評価値を算出する。この評価値は、プロキシ画像データに対応するＲＡＷ画像データを外部装置（サーバ２００”またはエッジデバイス４００”）において現像処理を行うことの効果の大きさの指標となる評価値である。したがって、プロキシ画像データの評価値は、対応するＲＡＷデータの評価値とも見なすことができる。
In S2203, the
エッジデバイス４００”において評価値を演算する評価部４１１の動作は、図９～図１１を用いて第３実施形態で説明したものと同じであってよい。
評価部４１１は、記憶されたプロキシ画像データのそれぞれについて評価値を算出する。算出した評価値はＲＡＭ４０３に記憶する。
The operation of the
The
図２２に戻り、Ｓ２２０４でエッジデバイス４００”は、Ｓ２２０３で求めた評価値を最も高い評価値から順に並べ替え、対応するプロキシ画像データの情報と関連付けたレーティング情報を生成する。そして、エッジデバイス４００”は、レーティング情報を撮像装置１００に送信する。レーティング情報は、プロキシ画像データ（およびその元となる画像データ）の優先順位を示す情報である。
Returning to FIG. 22, in S2204, the
Ｓ２２０５で撮像装置１００はレーティング情報を受信し、ＲＡＭ１０３に記憶する。
Ｓ２２０６で撮像装置１００は、レーティング情報に従って、サーバ２００”に送信するＲＡＷデータについて、評価値が高いものから送信されるように送信順序を決定する。なお、送信順序を決定する際、評価値が予め設定した閾値未満のＲＡＷデータは送信対象から除外してもよい。また、閾値は、ユーザインタフェースを介して得られたユーザの指示に応じて調整できるように構成してもよい。
Ｓ２２０７で撮像装置１００は、Ｓ２２０６で決定した送信順序に従って、ＲＡＷデータを順次サーバ２００”に送信する。
In S 2205 , the
In S2206, the
In S2207, the
Ｓ２２０８でサーバ２００”はＲＡＷデータを受信し、ＲＡＭ２０２または記憶部２０５に記憶する。
Ｓ２２０９でサーバは、第６実施形態のＳ１７０８と同様に、画像処理プログラム２１１を実行してＲＡＷデータに現像処理を適用する。なお、サーバ２００”は、Ｓ２２０８におけるＲＡＷデータの受信とＳ２２０９における画像処理プログラム２１１の実行（現像処理の適用）とを並行して実行してもよい。
In S2208, the server 200'' receives the RAW data and stores it in the
In S2209, the server executes the
Ｓ２２１０でサーバ２００”は、現像処理の適用が終了したＲＡＷデータから順に、現像結果（現像済みの画像データ）をネットワーク３００を介して撮像装置１００とエッジデバイス４００”の少なくとも一方に送信する。
At S2210, the server 200'' transmits the development results (developed image data) to at least one of the
エッジデバイス４００”がサーバ２００”から現像済みの画像データを受信する場合、Ｓ２２１１でエッジデバイス４００”は受信した画像データをＲＡＭ４０３に記憶する。そして、Ｓ２２１２でエッジデバイス４００”は、ＲＡＭ４０３に記憶した画像データを表示部４０８に表示するとともに、記録部４０７に画像データを記録する。
When the edge device 400'' receives developed image data from the server 200'', in S2211 the edge device 400'' stores the received image data in the
撮像装置１００がサーバ２００”から現像済みの画像データを受信する場合、Ｓ２２１３で撮像装置１００は、サーバ２００”から現像済みの画像データを受信し、ＲＡＭ１０３に記憶する。そして、Ｓ２２１４で撮像装置１００は、ＲＡＭ１０３に記憶した画像データを画像処理部１０７に供給し、記録用の画像データと表示用の画像データとを生成させる。そして、撮像装置１００は、表示用の画像データを表示部１０９に表示させ、記録用の画像データを記録部１０８に記録する。
When the
本実施形態では、撮像装置１００が有するＲＡＷデータについて、外部装置（例えばサーバ２００”）で画像処理を適用する効果の大きさをエッジデバイス４００”で評価し、効果が大きいと考えられるＲＡＷデータから順にサーバ２００”に送信するようにした。そのため、撮像装置１００は、外部装置で画像処理を適用する効果が大きいＲＡＷデータから順に、処理結果を受信することができる。
In this embodiment, the
また、本実施形態を第６～第８実施形態と組み合わせることができる。具体的には、評価値の算出、送信順序の決定、現像処理の実施を、ユーザが選択した画像データについてのみ実施すればよい。この場合、第６～第８実施形態の効果に加え、ユーザが選択したＲＡＷデータについて、外部装置で画像処理を適用する効果が大きいＲＡＷデータから順に、処理結果を受信することができる。 This embodiment can also be combined with the sixth to eighth embodiments. Specifically, the calculation of evaluation values, the determination of the transmission order, and the implementation of development processing need only be performed for image data selected by the user. In this case, in addition to the effects of the sixth to eighth embodiments, the processing results can be received for the RAW data selected by the user in the order of RAW data that will be most effective when image processing is applied in an external device.
なお、本実施形態において評価部４１１はエッジ検出結果に基づいて評価値を算出したが、サーバ２００”の現像処理の特性に応じた他の基準に基づいて評価値を算出してもよい。また、サーバ２００”で現像処理を行う効果の大きさの指標に限らず、画像の品質の指標となる評価値を求めてもよい。例えば、構図の審美度に基づく評価値や、合焦度合いに基づく評価値、露出の適正さに基づく評価値、笑顔度など被写体の表情に基づく評価値などを算出してもよい。また、複数種の評価値を算出し、その平均値や最大値に基づいて送信順序を決定してもよい。なお、評価値の算出はエッジデバイス４００”での実施に限定されず、撮像装置１００またはサーバ２００”で実施してもよい。
In this embodiment, the
●（第１０実施形態）
次に、本発明の第１０実施形態について説明する。本実施形態は、外部装置で画像処理を適用することの効果の大きさの指標を求める方法が第９実施形態と異なる。本実施形態も第６実施形態と同様の画像処理システムによって実施可能であるため、撮像装置１００、サーバ２００”、およびエッジデバイス４００”の構成に関する説明は省略する。
● (Tenth embodiment)
Next, a tenth embodiment of the present invention will be described. This embodiment differs from the ninth embodiment in the method of calculating an index of the magnitude of the effect of applying image processing in an external device. Since this embodiment can also be implemented by an image processing system similar to that of the sixth embodiment, a description of the configurations of the
本実施形態では、外部装置が提供する画像処理の性能を踏まえて複数種の評価値を考慮して画像を評価することにより、外部装置で画像処理を適用する効果の大きさをより詳細に評価する。外部装置が提供する画像処理プログラム２１１のアップデートによる性能向上などを反映した評価を行うことができる。
In this embodiment, the image is evaluated in consideration of multiple evaluation values based on the performance of the image processing provided by the external device, thereby evaluating the magnitude of the effect of applying image processing by the external device in more detail. It is possible to perform an evaluation that reflects performance improvements due to updates to the
本実施形態おける撮像装置１００、エッジデバイス４００”、およびサーバ２００”との相互動作に関して、図２３のフローチャートを参照して説明する。図２３において、第９実施形態と同様の動作を行うステップについては図２２と同じ参照数字を付してある。第９実施形態と同様の動作については説明を省略し、以下では本実施形態に特徴的な動作を重点的に説明する。
The interaction between the
Ｓ２３０１でサーバ２００”は現像予測フラグを生成し、エッジデバイス４００”に送信する。現像予測フラグは、サーバ２００”の画像処理プログラム２１１が提供する様々な画像処理機能の性能の指標となる情報である。例えば、画像処理プログラム２１１が提供する画像処理機能の一例である現像処理はホワイトバランス処理、レンズ収差補正処理、ノイズ低減（ＮＲ）処理、色補間処理、ガンマ処理といった複数の処理から構成される。現像予測フラグはこのような処理ごとに、性能の高い処理が可能である処理には「１」を、それ以外の処理ついては「０」を有する情報であってよい。なお、現像予測フラグはＳ２３０１を実行する都度生成する必要はなく、予めＲＯＭ２０３’に記憶しておくことができる。そして、画像処理プログラム２１１のアップデートが行われると、必要な部分だけを更新する。
In S2301, the
性能の高低を評価する方法に特に制限はないが、処理を実現するアプリケーションやモジュールの更新日が１年以内であるものや、負荷が高い処理などは、高い性能を有する可能性が高いと考えられる。あるいは、画像処理プログラム２１１のベンダーが、プログラムのアップデート時に現像予測フラグのアップデートも併せて提供してもよい。
There are no particular limitations on the method for evaluating the level of performance, but applications or modules that realize processing that were last updated within the past year, or processing that involves high loads, are considered to have a high probability of having high performance. Alternatively, the vendor of the
Ｓ２３０２でエッジデバイス４００”はサーバ２００”から現像予測フラグを受信する。
Ｓ２３０３でエッジデバイス４００”は、ＲＡＭ４０３に記録されているプロキシ画像データのそれぞれについて評価値を算出する。
In S2302, the edge device 400'' receives the development prediction flag from the server 200''.
In S2303, the edge device 400'' calculates an evaluation value for each of the proxy image data recorded in the
図２４のフローチャートを用いて、Ｓ２３０３における評価部４１１の動作について説明する。本実施形態で評価部４１１は複数種の評価値を現像予測フラグに応じて重み付けすることにより、個々のプロキシ画像データに対する評価値を算出する。
The operation of the
Ｓ２４０１で評価部４１１は、プロキシ画像データについて、第９実施形態と同様にエッジ検出に基づいた第１評価値を算出する。
Ｓ２４０２で評価部４１１は、プロキシ画像データに公知の方法を適用して、人物の笑顔度を第２の評価値として算出する。人物の笑顔度はプロキシ画像データから検出された顔領域が笑顔である度合いを示す数値である。画像から笑顔度を求めるアプリケーションは公知であり、例えば画像処理部４０５にそのようなアプリケーションを実装することにより第２の評価値を得ることができる。複数の顔領域が存在するプロキシ画像については、笑顔度の例えば平均値もしくは最高値を第２の評価値とする。第１および第２の評価値はいずれも０～１の範囲に正規化する。
In S2401, the
In S2402, the
Ｓ２４０３で評価部４１１は、現像予測フラグに基づいて、第１および第２の評価値の重みを決定する。評価部４１１には、評価値の種類ごとに、現像予測フラグに応じた重みの算出方法を予め登録しておく。そして、評価部４１１は、第１の評価値に対する重みと、第２の評価値についての重みの合計が１になるように重みの割合を調整したのち、第１および第２の評価値を加重加算して最終的な評価値を算出する。
In S2403, the
このようにして個々のプロキシ画像データに対して評価値を算出することにより、サーバ２００”における画像処理プログラム２１１の特性に応じた評価値を算出することができ、サーバ２００”で現像処理を行う効果の大きさをより詳細に評価することができる。また、画像処理プログラム２１１がアップデートされて予測フラグが変化した場合には、その変化を反映した評価値を得ることができる。そのため、常に適切な評価が可能である。
By calculating an evaluation value for each piece of proxy image data in this manner, an evaluation value according to the characteristics of the
例えば画像処理プログラム２１１におけるノイズ低減（ＮＲ）処理の手法が変更され、従来よりも高性能なノイズ低減処理が可能になり、現像予測フラグにおいてもノイズ低減処理のフラグが「０」から「１」に変化したものとする。この場合、ノイズ低減処理の性能向上は、エッジの多い画像の現像処理の結果の向上に対する効果が大きいため、第１の評価値に対する重みが画像処理プログラム２１１のアップデート前よりも大きくなる。
For example, suppose that the method of noise reduction (NR) processing in the
例えば、第１の評価値をＳedge、第２の評価値をＳfaceとすると、加重加算された評価値Sは、
S= (S_edge×α)+(S_face×(1-α)) （式３）
で求められる。
For example, if the first evaluation value is Sedge and the second evaluation value is Sface, the weighted sum evaluation value S is expressed as follows:
S= (S_edge×α)+(S_face×(1-α)) (Formula 3)
It can be calculated as follows.
そして、評価部４１１は、現像予測フラグの変化に応じて、第１の評価値についての重みαについて、画像処理プログラム２１１のアップデート前の重みαbeforeよりも、アップデート後の重みαafterを大きく（αafter＞αbefore）する。これにより、画像処理プログラム２１１のアップデートを反映した加重加算後の評価値が得られる。
Then, in response to a change in the development prediction flag, the
図２３のフローチャートに戻り、Ｓ２２０４でエッジデバイス４００”は、Ｓ２３０３で求めた評価値を用いることを除き、第９実施形態と同様にしてレーティング情報を生成し、撮像装置１００に送信する。以降の処理は第９実施形態と同様であるため説明を省略する。
Returning to the flowchart of FIG. 23, in S2204, the
本実施形態によれば、複数の評価値を加重加算した評価値を用いるとともに、外部装置で画像処理を適用することの効果をより反映した評価値の重みを大きくするように重みを決定するようにした。そのため、第９実施形態と同様の効果に加え、外部装置が提供する最新の画像処理を反映した順序で外部装置で画像処理を適用することが可能になる。 According to this embodiment, an evaluation value obtained by weighting a plurality of evaluation values is used, and the weights are determined so as to increase the weight of the evaluation value that better reflects the effect of applying image processing in the external device. Therefore, in addition to the same effect as the ninth embodiment, it becomes possible to apply image processing in the external device in an order that reflects the latest image processing provided by the external device.
本実施形態では、現像予測フラグに基づいてエッジ検出に基づく評価値と笑顔度に基づく評価値の加重加算の割合（重み）を決定する場合について説明した。しかし、評価値の種類はこれらに限定されない。第９実施形態と同様、構図の審美度に基づく評価値や、合焦度合いに基づく評価値、露出の適正さに基づく評価値、笑顔度など被写体の表情に基づく評価値などを算出してもよい。また、３種以上の評価値を加重加算するようにしてもよい。なお、評価値の算出はエッジデバイス４００”での実施に限定されず、撮像装置１００またはサーバ２００”で実施してもよい。
In this embodiment, a case has been described in which the ratio (weight) of the weighted addition of the evaluation value based on edge detection and the evaluation value based on the smile level is determined based on the development prediction flag. However, the types of evaluation values are not limited to these. As in the ninth embodiment, an evaluation value based on the aesthetic quality of the composition, an evaluation value based on the degree of focus, an evaluation value based on the appropriateness of the exposure, an evaluation value based on the facial expression of the subject such as the smile level, etc. may be calculated. Furthermore, three or more types of evaluation values may be weighted and added. Note that the calculation of the evaluation value is not limited to being performed by the edge device 400'', and may be performed by the
●（第１１実施形態）
次に、本発明の第１１実施形態について説明する。本実施形態は、評価値に基づいて決定した送信順序に従ってＲＡＷデータを外部装置に送信する際、送信するＲＡＷデータの上限数を制限可能とした点で第９実施形態と異なる。本実施形態も第６実施形態と同様の画像処理システムによって実施可能であるため、撮像装置１００、サーバ２００”、およびエッジデバイス４００”の構成に関する説明は省略する。
● (Eleventh embodiment)
Next, an eleventh embodiment of the present invention will be described. This embodiment differs from the ninth embodiment in that when transmitting RAW data to an external device according to a transmission order determined based on an evaluation value, the upper limit number of pieces of RAW data to be transmitted can be limited. Since this embodiment can also be implemented by an image processing system similar to that of the sixth embodiment, a description of the configurations of the
本実施形態おける撮像装置１００、エッジデバイス４００”、およびサーバ２００”との相互動作に関して、図２５のフローチャートを参照して説明する。図２５において、第９実施形態と同様の動作を行うステップについては図２２と同じ参照数字を付してある。第９実施形態と同様の動作については説明を省略し、以下では本実施形態に特徴的な動作を重点的に説明する。
The interaction between the
本実施形態の撮像装置１００のＲＯＭ１０２には、外部装置に送信するＲＡＷデータの上限数が設定されている。この設定はユーザが変更可能であってよい。また、通信先もしくは通信方法に応じて別個の上限数が設定されていてもよい。例えば、携帯電話の通信網を用いる通信（通信データ量に応じた課金が発生する通信）については上限数が設定され、無線ＬＡＮを用いる通信（課金が発生しない通信）については上限数が設定されない（あるいは制限なしという設定）。また、サーバ２００”との通信については上限数が設定され、エッジデバイス４００”との通信には上限数が設定されない。上限数はＲＡＷデータファイルの数（データ数）であってよいし、送信データ量であってもよい。なお、上限数と比較される送信済みのファイル数や通信データ量は、所定期間（例えば１ヶ月、１週間、１日など）ごとにリセットされる。
In the
レーティング情報を受信し、送信順序を決定するまで（Ｓ２２０６まで）の動作は第９実施形態（あるいは第１０実施形態）と同様であってよい。
Ｓ２５０１で撮像装置１００は、例えばＲＡＭ１０３を参照し、現在の送信数が上限数未満であるか否かを判定する。上限数未満でない場合、撮像装置１００はＲＡＷデータをそれ以上送信しない。一方、上限数未満であれば、Ｓ２２０７で撮像装置１００は送信順序に従って次のＲＡＷデータをサーバ２００”に送信する。送信後、撮像装置１００は、ＲＡＭ１０３に記憶した送信済みファイルの数や通信データ量に、直近に送信したＲＡＷデータの情報を反映させる。そして、撮像装置１００は、未送信のＲＡＷデータが残っていれば、再びＳ２５０１を実行する。なお、上限数がデータ量の場合、上限数未満であっても、次のＲＡＷデータの送信中に上限数を超える場合には次のＲＡＷデータは送信しない。
The operations from receiving the rating information to determining the transmission order (up to S2206) may be similar to those of the ninth embodiment (or the tenth embodiment).
In S2501, the
Ｓ２２０７以降の動作は第９実施形態（あるいは第１０実施形態）と同様であってよいため、説明を省略する。
本実施形態によっても、第９実施形態（あるいは第１０実施形態）と同様の効果が得られる。また、上限数を例えばモバイル通信契約における月単位での上限通信量料を考慮した値に設定することで、モバイル通信を利用する環境においてＲＡＷデータを送信することによって上限通信量を超えてしまうことを抑制することができる。
The operations from S2207 onwards may be similar to those in the ninth embodiment (or the tenth embodiment), and therefore a description thereof will be omitted.
This embodiment also provides the same effect as the ninth embodiment (or the tenth embodiment). In addition, by setting the upper limit number to a value that takes into consideration the monthly upper limit communication fee in a mobile communication contract, it is possible to prevent the upper limit communication fee from being exceeded by transmitting RAW data in an environment where mobile communication is used.
●（第１２実施形態）
次に、本発明の第１２実施形態について説明する。本実施形態は、評価値に基づいて決定した送信順序に従ってＲＡＷデータを外部装置に送信する際、サーバへ送信可能な残りデータ量を考慮する点で第９実施形態と異なる。本実施形態も第６実施形態と同様の画像処理システムによって実施可能であるため、撮像装置１００、サーバ２００”、およびエッジデバイス４００”の構成に関する説明は省略する。
● (Twelfth embodiment)
Next, a twelfth embodiment of the present invention will be described. This embodiment differs from the ninth embodiment in that when transmitting RAW data to an external device in accordance with a transmission order determined based on an evaluation value, the remaining amount of data that can be transmitted to a server is taken into consideration. Since this embodiment can also be implemented by an image processing system similar to that of the sixth embodiment, a description of the configurations of the
本実施形態おける撮像装置１００、エッジデバイス４００”、およびサーバ２００”との相互動作に関して、図２６のフローチャートを参照して説明する。図２６において、第９実施形態と同様の動作を行うステップについては図２２と同じ参照数字を付してある。第９実施形態と同様の動作については説明を省略し、以下では本実施形態に特徴的な動作を重点的に説明する。
The interaction between the
本実施形態においてサーバ２００”は、ユーザごとに利用可能な記憶部２０５の記憶容量が予め定められており、ユーザごとに利用量が管理されているものとする。利用量は例えばユーザもしくは撮像装置１００の固有情報に関連付けて管理されている。サーバ２００”は、ＲＡＷデータを受信した撮像装置もしくはそのユーザの固有情報に基づいて利用量を管理することができる。
In this embodiment, the
レーティング情報を受信し、送信順序を決定するまで（Ｓ２２０６まで）の動作は第９実施形態（あるいは第１０実施形態）と同様であってよい。
Ｓ２６０１においてサーバ２００”は、撮像装置１００もしくはそのユーザについて設定されている利用可能な記憶容量の上限値と現在の利用量との差を、残データ容量として算出し、撮像装置１００に送信する。なお、Ｓ２６０１は、サーバ２００”と撮像装置１００とが通信可能な状態になってから、撮像装置１００がＲＡＷデータを送信し始めるまでの任意のタイミングで実行することができる。
The operations from receiving the rating information to determining the transmission order (up to S2206) may be similar to those in the ninth embodiment (or the tenth embodiment).
In S2601, the
Ｓ２６０２で撮像装置１００は、サーバ２００”から残データ容量を受信し、ＲＡＭ１０３に記憶する。
Ｓ２６０３で撮像装置１００は、受信した残データ容量が、次に送信するＲＡＷデータのデータ量以上であるか否かを判定する。残データ容量が次に送信するＲＡＷデータのデータ量以上でない場合、撮像装置１００は以降のＲＡＷデータの送信を行わない。一方、残データ容量が次に送信するＲＡＷデータのデータ量以上である場合、撮像装置１００はＳ２２０７を実行し、ＲＡＷデータをサーバに送信する。送信後、撮像装置１００は、ＲＡＭ１０３に記憶した残データ容量から、直近に送信したＲＡＷデータのデータ量を削減して、残データ容量を更新する。そして、撮像装置１００は、未送信のＲＡＷデータが残っていれば、再びＳ２６０３を実行する。
In S2602, the
In S2603, the
Ｓ２２０７以降の動作は第９実施形態（あるいは第１０実施形態）と同様であってよいため、説明を省略する。
本実施形態によっても、第９実施形態（あるいは第１０実施形態）と同様の効果が得られる。また、サーバ２００”に保存できるデータ量（あるいは画像処理を適用できるデータ量）に上限が存在する場合に、サーバ２００”で画像処理することの効果が大きいＲＡＷデータに優先的に画像処理を適用することができる。なお、残データ容量の代わりに、残データ容量をＲＡＷデータの代表的なデータサイズを用いてＲＡＷデータファイルの数に換算した値を用いてもよい。
The operations from S2207 onwards may be similar to those in the ninth embodiment (or the tenth embodiment), and therefore a description thereof will be omitted.
This embodiment also provides the same effects as the ninth embodiment (or the tenth embodiment). Furthermore, when there is an upper limit to the amount of data that can be stored in the
●（第１３実施形態）
次に、本発明の第１３実施形態について説明する。本実施形態は、エッジデバイス４００”で生成したレーティング情報をサーバ２００”に送信し、サーバ２００”に保存されているＲＡＷデータに対するレーティング情報を考慮して再度レーティング情報を生成する点で第９実施形態と異なる。本実施形態も第６実施形態と同様の画像処理システムによって実施可能であるため、撮像装置１００、サーバ２００”、およびエッジデバイス４００”の構成に関する説明は省略する。
● (Thirteenth embodiment)
Next, a thirteenth embodiment of the present invention will be described. This embodiment differs from the ninth embodiment in that rating information generated by an
本実施形態おける撮像装置１００、エッジデバイス４００”、およびサーバ２００”との相互動作に関して、図２７のフローチャートを参照して説明する。図２７において、第９実施形態と同様の動作を行うステップについては図２２と同じ参照数字を付してある。第９実施形態と同様の動作については説明を省略し、以下では本実施形態に特徴的な動作を重点的に説明する。
The interaction between the
エッジデバイス４００”でレーティング情報を生成するまで（Ｓ２２０４まで）の動作は第９実施形態（あるいは第１０実施形態）と同様であってよい。ただし、本実施形態においてエッジデバイス４００”は、Ｓ２２０４でレーティング情報を撮像装置１００ではなくサーバ２００”に送信する。
The operations up to the generation of the rating information in the edge device 400'' (up to S2204) may be similar to those in the ninth embodiment (or the tenth embodiment). However, in this embodiment, the edge device 400'' transmits the rating information to the server 200'' instead of the
Ｓ２７０１でサーバ２００”はエッジデバイス４００”からレーティング情報を受信し、ＲＡＭ２０２に記憶する。
サーバ２００”は、サーバ２００”の記憶部２０５に記憶されている、撮像装置１００もしくはそのユーザに関連付けられたＲＡＷデータについてのレーティング情報を記憶部２０５に保持している。このレーティング情報は、過去にエッジデバイス４００”から受信したレーティング情報に基づいて継続的に更新されたものであり、最も高いものから所定数の評価値と、対応するＲＡＷデータの情報とが含まれている。
In S2701, the server 200'' receives rating information from the edge device 400'' and stores it in the
The
Ｓ２７０２でサーバ２００”は、記憶部２０５に記憶されているレーティング情報を、Ｓ２７０１でエッジデバイス４００”から受信したレーティング情報を用いて更新する（再レーティング処理）。具体的には、サーバ２００”は、２つのレーティング情報に含まれる複数の評価値を、高い順から並び替え、高い順から所定数の評価値と対応するＲＡＷデータの情報とを新たなレーティング情報として記憶部２０５に記憶する。なお、記憶部２０５に記憶するレーティング情報に含まれる評価値（ＲＡＷデータ）の最大数は、ユーザが記憶部２０５に記憶可能なＲＡＷデータの最大数とすることができる。
In S2702, the
また、サーバ２００”は、再レーティング処理で生成した新たなレーティング情報のうち、サーバ２００”に存在しないＲＡＷデータに関する情報だけを抽出し、撮像装置１００に送信するレーティング情報を生成する。なお、記憶部２０５に記憶されているＲＡＷデータのうち、再レーティング処理により更新されたレーティング情報に含まれなくなったＲＡＷデータについては、記憶部２０５の容量を確保するために削除することができる。
The
Ｓ２７０３でサーバ２００”は、撮像装置用に生成したレーティング情報を撮像装置１００に送信する。
以後、Ｓ２２０５以降の動作は第９実施形態と同様であるため説明を省略する。
In S2703, the server 200'' transmits the rating information generated for the
Since the operations from S2205 onwards are the same as those in the ninth embodiment, the description thereof will be omitted.
本実施形態によれば、サーバ２００”に保存できるデータの数や容量に制限がある場合、サーバ２００”で画像処理を適用することの効果が大きいデータ（評価値の高いデータ）をサーバ２００”に保持することができる。
According to this embodiment, when there is a limit to the amount or amount of data that can be stored in the
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
Other Embodiments
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。 The present invention is not limited to the above-described embodiments, and various modifications and variations are possible without departing from the spirit and scope of the invention. Therefore, the following claims are appended to clarify the scope of the invention.
１００…撮像装置、２００、２００’、２００”…サーバ装置、３００…ネットワーク、４００、４００’、４００”…エッジデバイス、１０１…制御部、１０２…ＲＯＭ、１０３…ＲＡＭ、１０５…撮像部、１０７…画像処理部、１０８…記録部、１０９…表示部、１１０…通信部 100...imaging device, 200, 200', 200"...server device, 300...network, 400, 400', 400"...edge device, 101...control unit, 102...ROM, 103...RAM, 105...imaging unit, 107...image processing unit, 108...recording unit, 109...display unit, 110...communication unit
Claims (36)
前記制御手段は、
前記通信手段を通じて第１外部装置に撮像画像の縮小画像データを送信し、
前記第１外部装置から前記縮小画像データに対する評価処理の結果を受信し、
前記評価処理の結果に基づいて、前記縮小画像データの元データのうち、第２外部装置で画像処理を適用する元データを決定し、
前記決定した元データを前記通信手段を通じて前記第２外部装置に送信し、
前記第２外部装置から、前記元データに対する前記画像処理の結果を受信する、
ことを特徴とする情報処理装置。 An information processing device having a communication means and a control means,
The control means
Transmitting reduced image data of the captured image to a first external device through the communication means;
receiving a result of an evaluation process on the reduced image data from the first external device;
determining, based on a result of the evaluation process, original data to which image processing is to be applied in a second external device, from among the original data of the reduced image data;
transmitting the determined original data to the second external device via the communication means;
receiving a result of the image processing on the original data from the second external device;
23. An information processing apparatus comprising:
前記制御手段は、
前記通信手段を通じて情報処理装置から縮小画像データを受信し、
前記縮小画像データに対し、前記情報処理装置が前記縮小画像データの元データに対する所定の画像処理を外部装置で適用するか否かを決定するための判断基準となる情報を生成する評価処理を適用し、
前記情報を含む、前記評価処理の結果を前記通信手段を通じて前記情報処理装置に送信し、
前記通信手段を通じて前記情報処理装置から画像データを受信し、
前記画像データに対して前記所定の画像処理を適用し、
前記所定の画像処理を適用した結果を前記通信手段を通じて前記情報処理装置に送信する、
ことを特徴とする画像処理装置。 An image processing device having a communication means and a control means,
The control means
receiving reduced image data from the information processing device through the communication means;
applying an evaluation process to the reduced image data to generate information that serves as a judgment criterion for determining whether or not the information processing device should apply a predetermined image processing to the original data of the reduced image data in an external device;
transmitting a result of the evaluation process , including the information, to the information processing device via the communication means;
receiving image data from the information processing device through the communication means;
applying the predetermined image processing to the image data;
transmitting a result of the application of the predetermined image processing to the information processing device via the communication means;
13. An image processing device comprising:
前記情報処理装置から受信した複数フレーム分の画像データの中から、前記所定の画像処理を適用する画像データを決定し、
前記決定した画像データに前記所定の画像処理を適用する、
ことを特徴とする請求項６に記載の画像処理装置。 The control means further comprises:
determining image data to which the predetermined image processing is to be applied from among the image data of the plurality of frames received from the information processing device;
applying the predetermined image processing to the determined image data;
7. The image processing device according to claim 6,
前記通信手段を通じて前記情報処理装置から複数フレーム分の画像データを受信し、
前記複数フレーム分の画像データの中から、前記所定の画像処理を適用する画像データを決定し、
前記決定した画像データを、前記通信手段を通じて前記情報処理装置とは異なる装置に送信する、
ことを特徴とする請求項６に記載の画像処理装置。 The control means further comprises:
receiving image data for a plurality of frames from the information processing device through the communication means;
determining image data to which the predetermined image processing is to be applied from among the image data for the plurality of frames;
transmitting the determined image data to a device different from the information processing device through the communication means;
7. The image processing device according to claim 6,
前記制御手段は、
前記通信手段を通じて情報処理装置から縮小画像データを受信し、
前記縮小画像データに対して評価処理を適用し、
前記評価処理の結果に基づいて、前記縮小画像データの元データの送信を前記情報処理装置に要求し、
前記通信手段を通じて前記情報処理装置から前記要求した元データを受信し、
前記要求した元データに対して所定の画像処理を適用し、
前記所定の画像処理を適用した結果を前記通信手段を通じて前記情報処理装置に送信する、
ことを特徴とする画像処理装置。 An image processing device having a communication means and a control means,
The control means
receiving reduced image data from the information processing device through the communication means;
applying an evaluation process to the reduced image data;
requesting the information processing device to transmit original data of the reduced image data based on a result of the evaluation process;
receiving the requested original data from the information processing device via the communication means;
applying a predetermined image processing to the requested original data;
transmitting a result of the application of the predetermined image processing to the information processing device via the communication means;
13. An image processing device comprising:
制御手段が、
前記情報処理装置の通信手段を通じて第１外部装置に撮像画像の縮小画像データを送信することと、
前記第１外部装置から前記縮小画像データに対する評価処理の結果を受信することと、
前記評価処理の結果に基づいて、前記縮小画像データの元データのうち、第２外部装置で画像処理を適用する元データを決定することと、
前記決定した元データを前記通信手段を通じて前記第２外部装置に送信することと、
前記第２外部装置から、前記元データに対する前記画像処理の結果を受信することと、
を有することを特徴とする情報処理装置の制御方法。 A method for controlling an information processing device, comprising:
The control means
Transmitting reduced image data of a captured image to a first external device through a communication means of the information processing device;
receiving a result of an evaluation process on the reduced image data from the first external device;
determining, based on a result of the evaluation process, original data to which image processing is to be applied in a second external device, from among the original data of the reduced image data;
transmitting the determined original data to the second external device via the communication means;
receiving a result of the image processing on the original data from the second external device;
13. A method for controlling an information processing apparatus comprising the steps of:
制御手段が、
前記画像処理装置の通信手段を通じて情報処理装置から縮小画像データを受信することと、
前記縮小画像データに対し、前記情報処理装置が前記縮小画像データの元データに対する所定の画像処理を外部装置で適用するか否かを決定するための判断基準となる情報を生成する評価処理を適用することと、
前記情報を含む、前記評価処理の結果を前記通信手段を通じて前記情報処理装置に送信することと、
前記通信手段を通じて前記情報処理装置から画像データを受信し、
前記画像データに対して前記所定の画像処理を適用し、
前記所定の画像処理を適用した結果を前記通信手段を通じて前記情報処理装置に送信することと、
を有することを特徴とする画像処理装置の制御方法。 A control method for an image processing device, comprising:
The control means
receiving reduced image data from an information processing device through a communication means of the image processing device;
applying an evaluation process to the reduced image data to generate information that serves as a judgment criterion for determining whether or not the information processing device should apply a predetermined image processing to original data of the reduced image data in an external device;
transmitting a result of the evaluation process , including the information, to the information processing device via the communication means;
receiving image data from the information processing device through the communication means;
applying the predetermined image processing to the image data;
transmitting a result of the application of the predetermined image processing to the information processing device via the communication means;
13. A method for controlling an image processing apparatus comprising the steps of:
制御手段が、
前記画像処理装置の通信手段を通じて情報処理装置から縮小画像データを受信することと、
前記縮小画像データに対して評価処理を適用することと、
前記評価処理の結果に基づいて、前記縮小画像データの元データの送信を前記情報処理装置に要求することと、
前記通信手段を通じて前記情報処理装置から前記要求した元データを受信することと、
前記要求した元データに対して所定の画像処理を適用することと、
前記所定の画像処理を適用した結果を前記通信手段を通じて前記情報処理装置に送信することと、
を有することを特徴とする画像処理装置の制御方法。 A control method for an image processing device, comprising:
The control means
receiving reduced image data from an information processing device through a communication means of the image processing device;
applying an evaluation process to the reduced image data;
requesting the information processing device to transmit original data of the reduced image data based on a result of the evaluation process;
receiving the requested original data from the information processing device via the communication means;
applying a predetermined image processing to the requested original data;
transmitting a result of the application of the predetermined image processing to the information processing device via the communication means;
13. A method for controlling an image processing apparatus comprising the steps of:
画像データを記憶する記憶手段と、
前記情報処理装置の動作を制御する制御手段とを有し、
前記制御手段は、
前記記憶手段に記憶された画像データの１つ以上を選択するための情報を前記第１外部装置に送信し、
前記記憶手段に記憶された画像データのうち、選択された画像データについての情報を前記第１外部装置から受信し、
前記選択された画像データを前記記憶手段から読み出して第２外部装置に送信し、
前記第２外部装置から、前記送信した画像データに対して画像処理を適用した結果を受信する、
ことを特徴とする情報処理装置。 An information processing device capable of communicating with a first external device and a second external device,
A storage means for storing image data;
A control unit for controlling an operation of the information processing device,
The control means
Transmitting information for selecting one or more of the image data stored in the storage means to the first external device;
receiving information on selected image data from the first external device;
reading the selected image data from the storage means and transmitting the image data to a second external device;
receiving, from the second external device, a result of applying image processing to the transmitted image data;
23. An information processing apparatus comprising:
画像データを記憶する記憶手段と、
前記情報処理装置の動作を制御する制御手段とを有し、
前記制御手段は、
前記記憶手段に記憶された画像データの１つ以上を選択するための情報を前記第１外部装置に送信し、
前記記憶手段に記憶された画像データのうち、選択された画像データについての情報として、前記選択された画像データと、その部分領域とを特定する情報を前記第１外部装置から受信し、
前記選択された画像データのうち、前記部分領域のデータを前記記憶手段から読み出して前記第２外部装置に送信し、
前記選択された画像データのうち、前記第１外部装置から要求のあった画像データを前記記憶手段から読み出して前記第２外部装置に送信し、
前記第２外部装置から、前記第１外部装置から要求のあった画像データに対して画像処理を適用した結果を受信する、
ことを特徴とする情報処理装置。 An information processing device capable of communicating with a first external device and a second external device,
A storage means for storing image data;
A control unit for controlling an operation of the information processing device,
The control means
Transmitting information for selecting one or more of the image data stored in the storage means to the first external device;
receiving, from the first external device, information for identifying the selected image data and a partial area thereof as information on the selected image data from the image data stored in the storage means ;
reading out data of the partial region from the selected image data from the storage means and transmitting the data to the second external device;
reads out from said storage means image data requested by said first external device from said selected image data and transmits the image data to said second external device;
receiving, from the second external device, a result of applying image processing to the image data requested from the first external device;
23. An information processing apparatus comprising:
前記制御手段は、
情報処理装置が有する画像データに関する情報を前記情報処理装置から受信し、
前記情報に基づいて、前記情報処理装置が有する画像データを選択するための画面を表示し、
前記画面を通じて選択された画像データについて部分領域を決定し、
前記選択された画像データおよび前記部分領域に関する情報を前記情報処理装置に送信する、
ことを特徴とする画像処理装置。 An image processing device having a control means,
The control means
receiving information relating to image data stored in an information processing device from the information processing device;
displaying a screen for selecting image data stored in the information processing device based on the information;
determining a partial area for the image data selected through the screen;
transmitting the selected image data and information about the partial region to the information processing device;
13. An image processing device comprising:
前記情報処理装置とは異なる外部装置から、前記部分領域のデータに対して画像処理を適用した結果を受信し、
前記結果を表示し、
前記結果のうちユーザが指示したものに対応する画像データについて、全体に対する画像処理の実行を要求する通知を前記情報処理装置に対して通知する、
ことを特徴とする請求項２２に記載の画像処理装置。 The control means
receiving a result of applying image processing to the data of the partial region from an external device different from the information processing device;
Displaying the results,
sending a notification to the information processing device requesting execution of image processing on the entire image data corresponding to the result designated by the user;
23. The image processing device according to claim 22.
前記制御手段は、
情報処理装置が有する画像データに基づくプロキシ画像データを前記情報処理装置から受信し、
前記プロキシ画像データについての評価値を算出し、
前記評価値に基づいて前記プロキシ画像データの優先順位を示す情報を生成し、
前記優先順位を示す情報を前記情報処理装置に送信する、
ことを特徴とする画像処理装置。 An image processing device having a control means,
The control means
receiving proxy image data based on image data held by the information processing device from the information processing device;
calculating an evaluation value for the proxy image data;
generating information indicating a priority order of the proxy image data based on the evaluation value;
transmitting information indicating the priority order to the information processing device;
13. An image processing device comprising:
複数種の前記評価値を算出し、
前記複数種の前記評価値を加重加算して得られる評価値に基づいて前記プロキシ画像データの優先順位を示す情報を生成する、
ことを特徴とする請求項２５に記載の画像処理装置。 The control means
Calculating a plurality of types of the evaluation values;
generating information indicating a priority order of the proxy image data based on an evaluation value obtained by weighting and adding the plurality of types of evaluation values;
26. The image processing device according to claim 25,
記憶装置に記憶された画像データの１つ以上を選択するための情報を前記第１外部装置に送信することと、
前記記憶手段に記憶された画像データのうち、選択された画像データについての情報を前記第１外部装置から受信することと、
前記選択された画像データを前記記憶手段から読み出して第２外部装置に送信することと、
前記第２外部装置から、前記送信した画像データに対して画像処理を適用した結果を受信することと、
を有することを特徴とする情報処理装置の制御方法。 A method for controlling an information processing device having a storage unit for storing image data and capable of communicating with a first external device and a second external device, comprising the steps of:
transmitting information to the first external device for selecting one or more of the image data stored in a storage device;
receiving information on selected image data from the first external device;
reading the selected image data from the storage means and transmitting the image data to a second external device;
receiving a result of applying image processing to the transmitted image data from the second external device;
13. A method for controlling an information processing apparatus comprising the steps of:
記憶装置に記憶された画像データの１つ以上を選択するための情報を前記第１外部装置に送信することと、
前記記憶手段に記憶された画像データのうち、選択された画像データについての情報として、前記選択された画像データと、その部分領域とを特定する情報を前記第１外部装置から受信することと、
前記選択された画像データのうち、前記部分領域のデータを前記記憶手段から読み出して前記第２外部装置に送信することと、
前記選択された画像データのうち、前記第１外部装置から要求のあった画像データを前記記憶手段から読み出して前記第２外部装置に送信することと、
前記第２外部装置から、前記第１外部装置から要求のあった画像データに対して画像処理を適用した結果を受信することと、
を有することを特徴とする情報処理装置の制御方法。 A method for controlling an information processing device having a storage unit for storing image data and capable of communicating with a first external device and a second external device, comprising the steps of:
transmitting information to the first external device for selecting one or more of the image data stored in a storage device;
receiving, from the first external device, information that identifies the selected image data and a partial area thereof as information about the selected image data from the image data stored in the storage means ;
reading out data of the partial region from the selected image data from the storage means and transmitting the data to the second external device;
reading out from said storage means image data requested by said first external device from said selected image data and transmitting said image data to said second external device;
receiving from the second external device a result of applying image processing to the image data requested from the first external device;
13. A method for controlling an information processing apparatus comprising the steps of:
情報処理装置が有する画像データに関する情報を前記情報処理装置から受信することと、
前記情報に基づいて、前記情報処理装置が有する画像データを選択するための画面を表示することと、
前記画面を通じて選択された画像データについて部分領域を決定することと、
前記選択された画像データおよび前記部分領域に関する情報を前記情報処理装置に送信することと、
を有することを特徴とする画像処理装置の制御方法。 A control method for an image processing device, comprising:
receiving information relating to image data stored in an information processing device from the information processing device;
displaying a screen for selecting image data stored in the information processing device based on the information;
determining a partial area for image data selected through the screen;
transmitting the selected image data and information about the partial region to the information processing device;
13. A method for controlling an image processing apparatus comprising the steps of:
情報処理装置が有する画像データに基づくプロキシ画像データを前記情報処理装置から受信することと、
前記プロキシ画像データについての評価値を算出することと、
前記評価値に基づいて前記プロキシ画像データの優先順位を示す情報を生成することと、
前記優先順位を示す情報を前記情報処理装置に送信することと、
を有することを特徴とする画像処理装置の制御方法。 A control method for an image processing device, comprising:
receiving proxy image data based on image data held by an information processing device from the information processing device;
calculating an evaluation value for the proxy image data;
generating information indicating a priority order of the proxy image data based on the evaluation value;
transmitting information indicating the priority order to the information processing device;
13. A method for controlling an image processing apparatus comprising the steps of:
前記情報処理装置は、
画像データを記憶する記憶手段を有し、
前記記憶手段に記憶された画像データの１つ以上を選択するための情報を前記画像処理装置に送信し、
前記画像処理装置は、
前記情報処理装置から受信した前記情報に基づいて、前記情報処理装置が有する画像データの１つ以上を選択するための画面を表示し、
前記画面を通じて選択された画像データに関する情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記選択された画像データについての情報を前記画像処理装置から受信し、
前記選択された画像データを前記記憶手段から読み出して前記サーバ装置に送信し、
前記サーバ装置は、
前記情報処理装置から受信した画像データに対して画像処理を適用し、
前記画像処理を適用した結果を前記情報処理装置に送信し、
前記情報処理装置は、
前記サーバ装置から、前記画像処理を適用した結果を受信する、
ことを特徴とする画像処理システム。 An image processing system having an information processing device, an image processing device, and a server device,
The information processing device includes:
A storage means for storing image data,
transmitting information for selecting one or more of the image data stored in the storage means to the image processing device;
The image processing device includes:
displaying a screen for selecting one or more pieces of image data stored in the information processing device based on the information received from the information processing device;
Transmitting information regarding the image data selected through the screen to the information processing device;
The information processing device includes:
receiving information about the selected image data from the image processing device;
reading out the selected image data from the storage means and transmitting the image data to the server device;
The server device includes:
applying image processing to the image data received from the information processing device;
A result of applying the image processing is transmitted to the information processing device;
The information processing device includes:
receiving a result of the application of the image processing from the server device;
1. An image processing system comprising:
前記情報処理装置は、
画像データを記憶する記憶手段を有し、
前記記憶手段に記憶された画像データの１つ以上を選択するための情報を前記画像処理装置に送信し、
前記画像処理装置は、
前記情報処理装置から受信した前記情報に基づいて、前記情報処理装置が有する画像データの１つ以上を選択するための画面を表示し、
前記画面を通じて選択された画像データについて部分領域を決定し、
前記選択された画像データおよび前記部分領域に関する情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記選択された画像データおよび前記部分領域に関する情報を前記画像処理装置から受信し、
前記選択された画像データのうち、前記部分領域のデータを前記記憶手段から読み出して前記サーバ装置に送信し、
前記サーバ装置は、
前記情報処理装置から受信した前記部分領域のデータに対して画像処理を適用し、
前記画像処理を適用した結果を前記画像処理装置に送信し、
前記画像処理装置は、
前記画像処理を適用した結果を前記サーバ装置から受信し、
前記結果を表示し、
前記結果のうちユーザが指示したものに対応する画像データについて、全体に対する画像処理の実行を要求する通知を前記情報処理装置に対して通知し、
前記情報処理装置は、
前記要求のあった画像データを前記サーバ装置に送信し、
前記サーバ装置は、
前記情報処理装置から受信した前記画像データに対して画像処理を適用し、
前記画像処理を適用した結果を前記情報処理装置に送信し、
前記情報処理装置は、
前記サーバ装置から、前記要求のあった画像データに対して画像処理を適用した結果を受信する、
ことを特徴とする画像処理システム。 An image processing system having an information processing device, an image processing device, and a server device,
The information processing device includes:
A storage means for storing image data,
transmitting information for selecting one or more of the image data stored in the storage means to the image processing device;
The image processing device includes:
displaying a screen for selecting one or more pieces of image data stored in the information processing device based on the information received from the information processing device;
determining a partial area for the image data selected through the screen;
transmitting the selected image data and information about the partial region to the information processing device;
The information processing device includes:
receiving the selected image data and information about the partial region from the image processing device;
reading out data of the partial region from the selected image data from the storage means and transmitting the data to the server device;
The server device includes:
applying image processing to the data of the partial region received from the information processing device;
A result of applying the image processing is transmitted to the image processing device;
The image processing device includes:
receiving a result of the application of the image processing from the server device;
Displaying the results,
sending a notification to the information processing device requesting execution of image processing on the entire image data corresponding to the result designated by the user;
The information processing device includes:
transmitting the requested image data to the server device;
The server device includes:
applying image processing to the image data received from the information processing device;
A result of applying the image processing is transmitted to the information processing device;
The information processing device includes:
receiving, from the server device, a result of applying image processing to the requested image data;
1. An image processing system comprising:
前記情報処理装置は、
記憶手段に記憶された画像データに基づくプロキシ画像データを前記画像処理装置に送信し、
前記画像処理装置は、
前記プロキシ画像データを前記情報処理装置から受信し、
前記プロキシ画像データについての評価値を算出し、
前記評価値に基づいて前記プロキシ画像データの優先順位を示す情報を生成し、
前記優先順位を示す情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記優先順位を示す情報を前記画像処理装置から受信し、
前記優先順位を示す情報に基づいて画像データの送信順序を決定し、
前記送信順序に従って画像データを前記サーバ装置に送信し、
前記サーバ装置は、
前記情報処理装置から受信した画像データに対して画像処理を適用し、
前記画像処理を適用した結果を前記情報処理装置に送信し、
前記情報処理装置は、
前記サーバ装置から、前記画像処理を適用した結果を受信する、
ことを特徴とする画像処理システム。 An image processing system having an information processing device, an image processing device, and a server device,
The information processing device includes:
transmitting proxy image data based on the image data stored in the storage means to the image processing device;
The image processing device includes:
receiving the proxy image data from the information processing device;
calculating an evaluation value for the proxy image data;
generating information indicating a priority order of the proxy image data based on the evaluation value;
transmitting information indicating the priority order to the information processing device;
The information processing device includes:
receiving information indicating the priority order from the image processing device;
determining a transmission order of the image data based on the information indicating the priority order;
Transmitting the image data to the server device in accordance with the transmission order;
The server device includes:
applying image processing to the image data received from the information processing device;
A result of applying the image processing is transmitted to the information processing device;
The information processing device includes:
receiving a result of the application of the image processing from the server device;
1. An image processing system comprising:
前記情報処理装置は、
記憶手段に記憶された画像データに基づくプロキシ画像データを前記画像処理装置に送信し、
前記画像処理装置は、
前記プロキシ画像データを前記情報処理装置から受信し、
前記プロキシ画像データについての評価値を算出し、
前記評価値に基づいて前記プロキシ画像データの優先順位を示す情報を生成し、
前記優先順位を示す情報を前記サーバ装置に送信し、
前記サーバ装置は、
前記画像処理装置から画像データの優先順位を示す情報を受信し、
前記サーバ装置の記憶手段に記憶された優先順位を示す情報を、前記画像処理装置から受信した優先順位を示す情報を用いて更新し、
前記更新した優先順位を示す情報を前記情報処理装置に送信し、
前記情報処理装置は、
前記更新した優先順位を示す情報を前記サーバ装置から受信し、
前記更新した優先順位を示す情報に基づいて画像データの送信順序を決定し、
前記送信順序に従って画像データを前記サーバ装置に送信し、
前記サーバ装置は、
前記情報処理装置から受信した画像データに対して画像処理を適用し、
前記画像処理を適用した結果を前記情報処理装置に送信し、
前記情報処理装置は、
前記サーバ装置から、前記画像処理を適用した結果を受信する、
ことを特徴とする画像処理システム。 An image processing system having an information processing device, an image processing device, and a server device,
The information processing device includes:
transmitting proxy image data based on the image data stored in the storage means to the image processing device;
The image processing device includes:
receiving the proxy image data from the information processing device;
calculating an evaluation value for the proxy image data;
generating information indicating a priority order of the proxy image data based on the evaluation value;
transmitting information indicating the priority order to the server device;
The server device includes:
receiving information indicating a priority of image data from the image processing device;
updating information indicating the priority order stored in a storage means of the server device using information indicating the priority order received from the image processing device;
transmitting information indicating the updated priority order to the information processing device;
The information processing device includes:
receiving information indicating the updated priority from the server device;
determining a transmission order of the image data based on the updated information indicating the priority order;
Transmitting the image data to the server device in accordance with the transmission order;
The server device includes:
applying image processing to the image data received from the information processing device;
A result of applying the image processing is transmitted to the information processing device;
The information processing device includes:
receiving a result of the application of the image processing from the server device;
1. An image processing system comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/151,655 US11477367B2 (en) | 2020-01-17 | 2021-01-18 | Information processing apparatus, image processing apparatus, and method of controlling the same |
| US17/943,935 US11711607B2 (en) | 2020-01-17 | 2022-09-13 | Information processing apparatus capable of applying image processing based on evaluation results, image processing apparatus, and method of controlling the same |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020006219 | 2020-01-17 | ||
| JP2020006219 | 2020-01-17 | ||
| JP2020069279 | 2020-04-07 | ||
| JP2020069279 | 2020-04-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021166375A JP2021166375A (en) | 2021-10-14 |
| JP7633796B2 true JP7633796B2 (en) | 2025-02-20 |
Family
ID=78022058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020186751A Active JP7633796B2 (en) | 2020-01-17 | 2020-11-09 | Information processing device, image processing device, control method thereof, and image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7633796B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024076794A (en) * | 2022-11-25 | 2024-06-06 | パナソニックＩｐマネジメント株式会社 | IMAGE CORRECTION DEVICE, IMAGE CORRECTION METHOD, IMAGE CORRECTION SYSTEM, AND PROGRAM |
| JP7665677B2 (en) | 2023-05-09 | 2025-04-21 | キヤノン株式会社 | COMMUNICATION DEVICE, CONTROL METHOD, SYSTEM AND PROGRAM |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005242503A (en) | 2004-02-25 | 2005-09-08 | Fuji Photo Film Co Ltd | Image processing method, image processing system, image processing apparatus, and image processing program |
| JP2007081549A (en) | 2005-09-12 | 2007-03-29 | Konica Minolta Photo Imaging Inc | Imaging system |
| JP2009044256A (en) | 2007-08-06 | 2009-02-26 | Olympus Corp | Imaging system |
| JP2019091999A (en) | 2017-11-13 | 2019-06-13 | キヤノン株式会社 | Development apparatus, control method thereof, and program |
-
2020
- 2020-11-09 JP JP2020186751A patent/JP7633796B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005242503A (en) | 2004-02-25 | 2005-09-08 | Fuji Photo Film Co Ltd | Image processing method, image processing system, image processing apparatus, and image processing program |
| JP2007081549A (en) | 2005-09-12 | 2007-03-29 | Konica Minolta Photo Imaging Inc | Imaging system |
| JP2009044256A (en) | 2007-08-06 | 2009-02-26 | Olympus Corp | Imaging system |
| JP2019091999A (en) | 2017-11-13 | 2019-06-13 | キヤノン株式会社 | Development apparatus, control method thereof, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021166375A (en) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11647132B2 (en) | Communication terminal, method for controlling communication terminal, communication system, and storage medium | |
| JP5928455B2 (en) | Digital camera for digital image sharing | |
| JP2016143919A (en) | Image processing apparatus and control method thereof | |
| US11711607B2 (en) | Information processing apparatus capable of applying image processing based on evaluation results, image processing apparatus, and method of controlling the same | |
| CN104995911A (en) | Image processing device, photographing device, filter generating device, image restoration method, and program | |
| US9692963B2 (en) | Method and electronic apparatus for sharing photographing setting values, and sharing system | |
| CN112788230B (en) | Camera device and system, information processing device, control method and storage medium thereof | |
| CN105165003B (en) | Image processing apparatus, photographic device, image processing method and program | |
| JP7570806B2 (en) | Imaging device, information processing device, control method and program thereof, and trained model selection system | |
| CN103763475A (en) | Photographing method and device | |
| KR20140125983A (en) | Operating Method And Electronic Device thereof | |
| JP7633796B2 (en) | Information processing device, image processing device, control method thereof, and image processing system | |
| US10084956B2 (en) | Imaging apparatus, and imaging system | |
| CN109391771B (en) | Image pickup apparatus, communication apparatus, control method thereof, and storage medium | |
| US20230196708A1 (en) | Image processing apparatus and method for controlling the same, and non-transitory computer-readable storage medium | |
| US11736820B2 (en) | Image capture apparatus and control method for raw images | |
| US11580681B2 (en) | Image processing apparatus | |
| US10217196B2 (en) | Image processing apparatus having image refocusing function, control method for image processing apparatus, and storage medium | |
| JP2021125828A (en) | Image processing device and image processing method | |
| US12307795B2 (en) | Image processing apparatus, image processing method, image capturing apparatus, and storage medium | |
| US20240214446A1 (en) | File transfer apparatus and file transfer method | |
| JP2021071989A (en) | Image processing device and image processing method | |
| JP7438779B2 (en) | Image processing device, image processing system, and control method thereof | |
| KR20190038053A (en) | Electronic device for providing image associated with input information and operating method thereof | |
| JP2023118057A (en) | IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD, IMAGING DEVICE, PROGRAM, STORAGE MEDIUM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231024 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7633796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |