JP7186527B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、ＲＡＷデータを扱う画像処理装置、画像処理方法、およびプログラムに関する。

従来の輝度範囲（ダイナミックレンジ）に比べて広いダイナミックレンジを表現できる表示装置が登場している。従来の表示装置で表現可能なダイナミックレンジはＳＤＲ(Standard Dynamic Range)と呼ばれ、Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．７０９という規格で定められている。これに対して、従来の表示装置よりも表現可能なダイナミックレンジが広いものはＨＤＲ(High Dynamic Range)と呼ばれ、Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．２１００という規格で定められている。

ＨＤＲに対応する画像データ（ＨＤＲ画像）とＳＤＲに対応する画像データ（ＳＤＲ画像）は、ダイナミックレンジだけでなく、色域や色深度（ビット深度）も異なる。例えば、ＨＤＲ画像は、Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．２０２０の色域を使用し、色深度は１０～１２ｂｉｔで表現され、ＳＤＲ画像は、Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．７０９の色域を使用し、色深度は８ｂｉｔで表現されることが多い。

特許文献１には、ＨＤＲ画像をＳＤＲ画像に対応した表示装置に表示する処理について、ＨＤＲ画像からＳＤＲ画像を生成して表示する方法が記載されている。

特開２０１５－５８７８号公報

イメージセンサで得られた生のデータ（ＲＡＷデータ）であるＲＡＷ形式の画像データ（以下、ＲＡＷ画像）を表示装置に表示したり、ＪＰＥＧなどのファイル形式に変換して保存する場合には現像処理を行う必要がある。ＨＤＲ画像とＳＤＲ画像はダイナミックレンジや色域などが異なるため、現像処理によりＲＡＷ画像からＨＤＲ画像を生成するための現像パラメータ（ＨＤＲ用現像パラメータ）と、ＳＤＲ画像を生成するための現像パラメータ（ＳＤＲ用現像パラメータ）は異なっている。また、ＲＡＷ画像は、ＨＤＲ用現像パラメータとＳＤＲ用現像パラメータの少なくともいずれかを持つことがある。

ここで、例えば、ＨＤＲ用現像パラメータのみを持つＲＡＷ画像からＳＤＲ画像を生成する場合を考える。

第１の方法として、生成元のＲＡＷ画像が持つＨＤＲ用現像パラメータを使用してＨＤＲ画像を生成し、生成したＨＤＲ画像からＳＤＲ画像を生成する方法が考えられる。また、第２の方法として、デフォルトのＳＤＲ用現像パラメータを用意しておき、ＲＡＷ画像がＳＤＲ用現像パラメータを持たない場合でも、デフォルトのＳＤＲ用現像パラメータを使用してＳＤＲ画像を生成する方法が考えられる。

このように、生成元のＲＡＷ画像が出力画像のダイナミックレンジ用現像パラメータを持たない場合に、出力画像を生成するための画像生成方法はいくつかある。この場合、ユーザは、出力画像を見ただけでは出力画像がどのような画像生成方法によって生成されたものなのかわからない。

本発明は、上記課題に鑑みてなされ、その目的は、ＲＡＷ画像が出力画像のダイナミックレンジ用現像パラメータを持たない場合であっても、適切な出力画像を生成できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、ＲＡＷ画像データと、当該ＲＡＷ画像データの現像処理に使用するための現像パラメータとが記録された記録媒体から、前記ＲＡＷ画像データを取得する取得手段と、ユーザの操作に応じて、複数の画像生成方法の中から、画像生成方法を選択する選択手段と、前記選択手段により選択された画像生成方法で、前記取得手段により取得した前記ＲＡＷ画像データに現像処理を施して、出力画像を生成する生成手段と、を有し、前記複数の画像生成方法には、出力すべきダイナミックレンジ用の現像パラメータが、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されていない場合に、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されている第１の現像パラメータを用いて現像処理を施して出力画像を生成する第１の画像生成方法と、前記第１の現像パラメータを用いずに、前記出力すべきダイナミックレンジ用の第２の現像パラメータを用いて現像処理を施して出力画像を生成する第２の画像生成方法と、が含まれている。

本実施形態によれば、ＲＡＷ画像が出力画像のダイナミックレンジ用現像パラメータを持たない場合であっても、適切な出力画像を生成できるようになる。

本実施形態の装置構成を示すブロック図。 本実施形態のＲＡＷ画像ファイルの構造を例示する図。 実施形態１のＲＡＷ画像の現像処理を示すフローチャート。 図３のＳＤＲ用現像パラメータを持たないＲＡＷ画像からＳＤＲ画像を生成する処理を示すフローチャート。 図３のＨＤＲ用現像パラメータを持たないＲＡＷ画像からＨＤＲ画像を生成する処理を示すフローチャート。 実施形態２のＲＡＷ画像の現像処理を示すフローチャート。 実施形態３の現像パラメータ編集処理を示すフローチャート。

以下に、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜装置構成＞
まず、図１を参照して、本実施形態の画像処理装置１００の構成について説明する。

入力部１０１は、ユーザの操作を受け付け可能な操作部材であり、キーボードやポインティングデバイス、後述する表示部１０２に表示されているボタンなどのタッチ操作を受け付けるタッチパネルなどを含む。なお、ポインティングデバイスとしては、マウス、トラックボール、タブレットなどが含まれる。表示部１０２は、液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスであり、ＧＵＩ(Graphical User Interface)画面や画像データを表示する。ＧＰＵ(Graphics Processing Unit)やビデオメモリを有するグラフィックカードも、表示部１０２に含まれる。なお、表示部１０２は、画像処理装置１００と一体化された構成であっても、画像処理装置１００に接続された外部装置であってもよい。画像処理装置１００は、表示部１０２と接続することができ、表示部１０２の表示を制御する機能を有していればよい。表示部１０２には、表示可能な輝度範囲（以下、ダイナミックレンジ）に制限があり、表示部１０２の表示性能は表示部１０２が対応するダイナミックレンジに応じて異なる。表示部１０２の表示性能は、例えば、ＳＤＲ(Standard Dynamic Range)画像のみ表示可能、ＨＤＲ(High Dynamic Range)画像を表示可能、ＳＤＲ画像とＨＤＲ画像を切り替えて表示可能などがある。制御部１０３は画像処理装置１００全体を制御するＣＰＵ（Central Processing Unit）である。メモリ１０４は、制御部１０３のＣＰＵによる各種の処理に必要なプログラムやデータを一時記憶するワークエリアに提供する、例えばＲＡＭ（Random Access Memory）である。記憶部１０５は、制御部１０３が実行する各種の制御プログラムや後述する画像処理アプリケーションプログラム、ＲＡＷ画像ファイルなどを記憶する記録媒体であり、例えばＲＯＭ（Read Only Memory）である。制御部１０３は、記憶部１０５に格納されたプログラムをメモリ１０４に展開して実行する。通信制御部１０６は、ＵＳＢ(Universal Serial Bus)ケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線の通信インターフェース、あるいはＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線の通信インターフェースを用いて外部装置と通信可能に接続する。システムバス１０７は上述した各部１０１～１０６を通信可能に接続する。

本実施形態では、画像処理装置１００が実行する動作は、制御部１０３がＯＳやアプリケーションプログラムを記憶部１０５から読み出して起動し、各種モジュールを制御することにより実現される。しかしながら、本実施形態はこれに限らず、アプリケーションプログラムが通信制御部１０６によりネットワークを介して接続された外部装置などから供給されてもよい。

本実施形態の画像処理装置１００は、携帯電話やその一種であるスマートフォンなどの通信装置、デスクトップＰＣやタブレットＰＣなどの情報処理装置、デジタルビデオカメラなどの撮像装置である。

本実施形態のアプリケーションソフトウェア（以下、画像処理アプリケーション）は、ＲＡＷ画像ファイルが持つダイナミックレンジ用現像パラメータまたは予め決められたデフォルトのＳＤＲ用またはＨＤＲ用現像パラメータを用いてＲＡＷ画像データに現像処理を実行する。そして、画像処理アプリケーションは、ＲＡＷ画像データから出力画像データとしてＨＤＲ画像やＳＤＲ画像を生成（表示、保存）する機能を備える。

＜ＲＡＷ画像ファイルの構造＞
次に、図２を用いて、本実施形態のＲＡＷ画像ファイルの構造について説明する。

図２（ａ）は、デジタルカメラなどの撮像装置により撮影された直後のＲＡＷ画像ファイルの構造を例示している。ＲＡＷ画像データは、ベイヤ型の画素配置を有するイメージセンサで得られたＲＡＷデータである。撮影時のパラメータは、画像撮影時の各種設定であり、例えば、露出、シャッタースピード、色域、白色点などである。メタデータは、撮影時パラメータや現像パラメータ以外の情報であり、例えば、撮影日時、機種名、コメントなどである。ＲＡＷ画像ファイル内には、ＲＡＷ画像データや撮影時パラメータやメタデータ以外に、図２（ｂ）、（ｃ）、（ｄ）に示すようにＨＤＲ用現像パラメータとＳＤＲ用現像パラメータの少なくともいずれかが記録可能である。

図２（ｂ）は、ＨＤＲ用現像パラメータとＳＤＲ用現像パラメータを持つＲＡＷ画像ファイルの構造を例示している。ＲＡＷ画像データ、撮影時パラメータ、メタデータ、は、図２（ａ）と同様である。ＨＤＲ用現像パラメータは、ＲＡＷ画像データを現像してＨＤＲ画像データを生成するためのパラメータであり、例えば、ターゲットＨＤＲ画像のダイナミックレンジ、色域、白色点、シャープネスとノイズリダクションの値などを含む。ＳＤＲ用現像パラメータは、ＲＡＷ画像データを現像してＳＤＲ画像データを生成するためのパラメータであり、同様に、ターゲットＳＤＲ画像のダイナミックレンジ、色域、白色点、シャープネスとノイズリダクションの値などを含む。

図２（ｃ）は、ＨＤＲ用現像パラメータのみを持つＲＡＷ画像ファイルの構造を例示している。ＲＡＷ画像データ、撮影時パラメータ、メタデータ、ＨＤＲ用現像パラメータ、は、図２（ａ）および図２（ｂ）と同様である。

図２（ｄ）は、ＳＤＲ用現像パラメータのみを持つＲＡＷ画像ファイルの構造を例示している。ＲＡＷ画像データ、撮影時パラメータ、メタデータ、ＳＤＲ用現像パラメータは、図２（ａ）および図２（ｂ）と同様である。

［実施形態１］
次に、図３を参照して、実施形態１の現像処理によりＲＡＷ画像データを表示する処理について説明する。

なお、図３の処理は、制御部１０３が記憶部１０５に格納されている画像処理アプリケーションのプログラムをメモリ１０４に展開して実行することにより実現される。本実施形態の画像処理プログラムは、ＲＡＷ画像ファイルを指定して表示部１０２に表示する処理を行う。ユーザは、画像処理プログラムのＧＵＩ画面（不図示）を介して、表示対象のＲＡＷ画像ファイルを指定することができる。後述する図６、図７でも同様である。

Ｓ３０１では、制御部１０３は、表示部１０２のダイナミックレンジを取得する。ここで、表示部１０２のダイナミックレンジはＨＤＲまたはＳＤＲであるとする。

Ｓ３０２では、制御部１０３は、表示対象のＲＡＷ画像ファイルからＲＡＷ画像データを取得しメモリ１０４に保持する。ＲＡＷ画像ファイルは、記憶部１０５に格納されていてもよいし、通信制御部１０６を介して外部装置から取得するようにしてもよい。

Ｓ３０３では、制御部１０３は、表示対象のＲＡＷ画像ファイルから現像パラメータを取得しメモリ１０４に保持する。

Ｓ３０４では、制御部１０３は、Ｓ３０３で取得した現像パラメータの中に、Ｓ３０１で取得した表示部１０２のダイナミックレンジ用現像パラメータが存在するか否かを判定し、存在する場合はＳ３０５に進み、存在しない場合はＳ３０７に進む。制御部１０３は、表示部１０２のダイナミックレンジがＨＤＲの場合、表示対象のＲＡＷ画像ファイルからＨＤＲ用現像パラメータを取得できたか否かを判定する。また、制御部１０３は、表示部１０２のダイナミックレンジがＳＤＲの場合、表示対象のＲＡＷ画像ファイルからＳＤＲ用現像パラメータを取得できたか否かを判定する。

Ｓ３０５およびＳ３０６は、表示対象のＲＡＷ画像ファイルが表示部１０２のダイナミックレンジ用現像パラメータを持つ場合の処理である。

Ｓ３０５では、制御部１０３は、Ｓ３０２で取得したＲＡＷ画像データを、Ｓ３０３で取得した現像パラメータのうち、表示部１０２のダイナミックレンジ用現像パラメータを用いて現像し、現像処理により生成された画像データをメモリ１０４に保持する。制御部１０３は、表示部１０２のダイナミックレンジがＨＤＲの場合、ＨＤＲ用現像パラメータを用いて現像を行い、表示部１０２のダイナミックレンジがＳＤＲの場合、ＳＤＲ用現像パラメータを用いて現像を行う。

Ｓ３０６では、制御部１０３は、Ｓ３０５で生成した画像データを表示部１０２に転送し表示する。

Ｓ３０７からＳ３１２は、表示対象のＲＡＷ画像ファイルが表示部１０２のダイナミックレンジ用現像パラメータを持たない場合の処理である。

Ｓ３０７では、制御部１０３は、表示対象のＲＡＷ画像ファイルが表示部１０２のダイナミックレンジ用現像パラメータを持たないことをユーザに通知する。通知の形態は、文字または記号、音声などである。また、ＲＡＷ画像の一覧表示時にアイコンなどで通知する方法や、それ以外の方法でもよい。

Ｓ３０８では、制御部１０３は、Ｓ３０１で取得した表示部１０２のダイナミックレンジがＳＤＲか否かを判定し、ダイナミックレンジがＳＤＲの場合はＳ３０９に進み、そうでない場合、すなわちダイナミックレンジがＨＤＲの場合はＳ３１０に進む。

Ｓ３０９は、表示部１０２のダイナミックレンジがＳＤＲであるが、ＲＡＷ画像ファイルがＳＤＲ用現像パラメータを持たない場合のＳＤＲ画像生成処理である。Ｓ３０９の処理の詳細は、図４を用いて後述する。

Ｓ３１０は、表示部１０２のダイナミックレンジがＨＤＲであるが、ＲＡＷ画像ファイルがＨＤＲ用現像パラメータを持たない場合のＨＤＲ画像生成処理である。Ｓ３１０の処理の詳細は、図５を用いて後述する。

Ｓ３１１では、制御部１０３は、Ｓ３０９またはＳ３１０で生成した画像データを表示部１０２に出力することで、表示部１０２に画像を表示する。

Ｓ３１２では、制御部１０３は、Ｓ３０９またはＳ３１０で生成した画像データの生成方法を表示部１０２に表示する。この場合、例えば、メモリ１０４の画像生成方法変数の値に応じて、文字または記号などで、Ｓ３１１で表示した画像に重畳表示する、あるいは、Ｓ３１１で表示した画像とは別の領域に、ＧＵＩを用いて文字または記号などで表示してもよい。

＜ＳＤＲ画像生成処理＞
次に、図４を参照して、図３のＳ３０９の処理の詳細について説明する。

図４は、図３のＳ３０９のＳＤＲ用現像パラメータを持たないＲＡＷ画像からＳＤＲ画像を生成する処理の手順を示している。

Ｓ４０１では、制御部１０３は、Ｓ３０３で画像ファイルからＨＤＲ用現像パラメータを取得したか否かを判定する。判定の結果、ＨＤＲ用現像パラメータを取得した場合はＳ４０２に進み、そうでない場合、すなわち、ＳＤＲ用現像パラメータもＨＤＲ用現像パラメータも持たない場合はＳ４０７に進む。

Ｓ４０２では、制御部１０３は、ＳＤＲ画像の生成方法を取得する。Ｓ４０２で取得するＳＤＲ画像の生成方法は、「ＨＤＲ画像からＳＤＲ画像を生成する」もしくは「デフォルトのＳＤＲ用現像パラメータを使用してＳＤＲ画像を生成する」のいずれかであるものとする。画像生成方法は、制御部１０３がＳＤＲ画像の生成方法をＧＵＩ画面に提示し、ユーザがＧＵＩを介して複数の画像生成方法から選択できるようにしてもよい。また、予め、ユーザが選択した設定を管理ファイルなどに記憶しておき、制御部１０３がユーザ設定を読み出すようにしてもよい。

Ｓ４０３では、制御部１０３は、Ｓ４０２で取得したＳＤＲ画像生成方法が「ＨＤＲ画像からＳＤＲ画像を生成する」か否かを判定する。判定の結果、「ＨＤＲ画像からＳＤＲ画像を生成する」の場合はＳ４０４に進み、そうでない場合、すなわち「デフォルトのＳＤＲ用現像パラメータを使用してＳＤＲ画像を生成する」の場合はＳ４０７に進む。

Ｓ４０４からＳ４０６は、「ＨＤＲ画像からＳＤＲ画像を生成する」場合の第１の画像生成方法によるＳＤＲ画像生成処理である。

Ｓ４０４では、制御部１０３は、Ｓ３０２でＲＡＷ画像ファイルから取得したＲＡＷ画像データを、Ｓ３０３でＲＡＷ画像ファイルから取得したＨＤＲ用現像パラメータで現像し、ＨＤＲ画像を生成し、メモリ１０４に保持する。

Ｓ４０５では、制御部１０３は、Ｓ４０４で生成したＨＤＲ画像のダイナミックレンジを縮小してＳＤＲ画像のダイナミックレンジに変換したＳＤＲ画像を生成し、メモリ１０４に保持する。

ＨＤＲ画像からＳＤＲ画像を生成する処理は、トーンマッピングと呼ばれ、いくつかの手法がある。ここでは、その手法は特に限定しないが、画像の輝度がＳＤＲの輝度範囲に収まるようにすること、画像の色域がＳＤＲの色域に収まるようにすること、が必要な処理である。

Ｓ４０６では、制御部１０３は、メモリ１０４の画像生成方法変数領域に「ＨＤＲ画像から生成」を示す情報を記憶する。

Ｓ４０７からＳ４０９は、「デフォルトのＳＤＲ用現像パラメータを使用してＳＤＲ画像を生成する」場合の第２の画像生成方法によるＳＤＲ画像生成処理である。

Ｓ４０７では、制御部１０３は、デフォルトのＳＤＲ用現像パラメータを取得する。デフォルトのＳＤＲ用現像パラメータは、記憶部１０５に格納しておいてもよいし、管理ファイルなどの形態で記憶部１０５に格納してもよい。

また、デフォルトのＳＤＲ用現像パラメータは、ＲＡＷ画像ファイルの撮影時パラメータに基づいて現像処理時に生成してもよいし、記憶部１０５に格納したデータと現像処理時に生成したデータを組み合わせてもよい。

Ｓ４０８では、制御部１０３は、Ｓ３０２でＲＡＷ画像ファイルから取得したＲＡＷ画像データを、Ｓ４０７で取得したデフォルトのＳＤＲ用現像パラメータで現像し、ＳＤＲ画像を生成し、メモリ１０４に保持する。

Ｓ４０９では、制御部１０３は、メモリ１０４の画像生成方法変数領域に「デフォルト現像パラメータを使用」を示す情報を記憶する。

＜ＨＤＲ画像生成処理＞
次に、図５を参照して、図３のＳ３１０の処理の詳細について説明する。

図５は、図３のＳ３１０のＨＤＲ用現像パラメータを持たないＲＡＷ画像からＨＤＲ画像を生成する処理手順を示している。

Ｓ５０１では、制御部１０３は、Ｓ３０３で画像ファイルからＳＤＲ用現像パラメータを取得したか否かを判定する。判定の結果、ＳＤＲ用現像パラメータを取得した場合はＳ５０２に進み、そうでない場合、すなわち、ＳＤＲ用現像パラメータもＨＤＲ用現像パラメータも持たない場合はＳ５０７に進む。

Ｓ５０２では、制御部１０３は、ＨＤＲ画像生成方法を取得する。Ｓ５０２で取得するＨＤＲ画像生成方法は、「ＳＤＲ画像からＨＤＲ画像を生成する」もしくは「デフォルトのＨＤＲ用現像パラメータを使用してＨＤＲ画像を生成する」のいずれかであるものとする。画像生成方法は、制御部１０３がＳＤＲ画像の生成方法をＧＵＩ画面に提示し、ユーザがＧＵＩを介して複数の画像生成方法から選択できるようにしてもよい。また、予め、ユーザが選択した設定を管理ファイルなどに記憶しておき、制御部１０３がユーザ設定を読み出すようにしてもよい。

Ｓ５０３では、制御部１０３は、Ｓ５０２で取得したＨＤＲ画像生成方法が「ＳＤＲ画像からＨＤＲ画像を生成する」か否かを判定する。判定の結果、ＨＤＲ画像生成方法が「ＳＤＲ画像からＨＤＲ画像を生成する」の場合はＳ５０４に進み、そうでない場合、すなわち「デフォルトのＨＤＲ用現像パラメータを使用してＨＤＲ画像を生成する」の場合はＳ５０７に進む。

Ｓ５０４からＳ５０６は、「ＳＤＲ画像からＨＤＲ画像を生成する」場合の第３の画像生成方法によるＨＤＲ画像生成処理である。

Ｓ５０４では、制御部１０３は、Ｓ３０２でＲＡＷ画像ファイルから取得したＲＡＷ画像データを、Ｓ３０３でＲＡＷ画像ファイルから取得したＳＤＲ用現像パラメータで現像し、ＳＤＲ画像データを生成し、メモリ１０４に保持する。

Ｓ５０５では、制御部１０３は、Ｓ５０４で生成したＳＤＲ画像からＨＤＲ画像を生成し、メモリ１０４に保持する。Ｓ５０５では、Ｓ５０４で生成したＳＤＲ画像のダイナミックレンジを維持したまま、ＨＤＲ画像に変換する処理を行う。一例として、ＳＤＲ画像のリニアＲＧＢ値からＸＹＺ値に変換し、それをＨＤＲ画像の色域のＲＧＢ値に変換した後、ＨＤＲ画像の伝達関数を使用して符号化し直す、という方法がある。

Ｓ５０６では、制御部１０３は、メモリ１０４の画像生成方法変数領域に「ＳＤＲ画像から生成」を示す情報を記憶する。

Ｓ５０７からＳ５０９は、「デフォルトのＨＤＲ用現像パラメータを使用してＨＤＲ画像を生成する」場合の第４の画像生成方法によるＨＤＲ画像生成処理である。

Ｓ５０７では、制御部１０３は、デフォルトのＨＤＲ用現像パラメータを取得する。デフォルトのＨＤＲ用現像パラメータは、記憶部１０５に格納しておいてもよいし、管理ファイルなどの形態で記憶部１０５に格納してもよい。

また、デフォルトのＨＤＲ用現像パラメータは、ＲＡＷ画像ファイルの撮影時パラメータに基づいて現像処理時に生成してもよいし、記憶部１０５に格納したデータと現像処理時に生成したデータを組み合わせてもよい。

Ｓ５０８では、制御部１０３は、Ｓ３０２でＲＡＷ画像ファイルから取得したＲＡＷ画像データを、Ｓ５０７で取得したデフォルトのＨＤＲ用現像パラメータで現像し、ＨＤＲ画像を生成し、メモリ１０４に保持する。

Ｓ５０９では、制御部１０３は、メモリ１０４の画像生成方法変数領域に「デフォルト現像パラメータを使用」を示す情報を記憶する。

本実施形態によれば、ＲＡＷ画像ファイルが表示部１０２のダイナミックレンジ用現像パラメータを持たない場合であっても、表示部１０２のダイナミックレンジに合わせた適切な画像データを生成できるようになる。また、ＲＡＷ画像ファイルが持つ現像パラメータのダイナミックレンジと表示部１０２のダイナミックレンジとが異なっている場合に、表示部１０２のダイナミックレンジに合わせた画像を生成するための画像生成方法と、当該画像生成方法により生成した画像とを関連付けて表示部１０２に表示する。これにより、ＲＡＷ画像ファイルが表示部１０２のダイナミックレンジ用現像パラメータを持たない場合に、表示画像がどのような処理を行って生成されたものなのかユーザが容易に確認できるようになる。

なお、本実施形態では画像を出力する形態としてＲＡＷ画像から表示画像を生成する処理について説明を行ったが、ユーザがＲＡＷ画像の現像処理時に表示画像のファイル形式のダイナミックレンジ用現像パラメータを設定、付加したり、表示部のダイナミックレンジを変更できるようにしてもよい。

［実施形態２］
次に、図６を参照して、実施形態２の画像処理によりＲＡＷ画像データをＪＰＥＧなどのファイル形式に変換して保存する処理について説明する。

本実施形態の画像処理プログラムは、ＲＡＷ画像ファイルを指定して、ＪＰＥＧなどのファイル形式に変換して保存する処理を行う。ユーザは、画像処理プログラムのＧＵＩ画面（不図示）を介して、処理対象のＲＡＷ画像ファイルを指定することができる。

Ｓ６０１では、制御部１０３は、保存する画像ファイルのダイナミックレンジを取得する。本実施形態では、保存する画像ファイルのダイナミックレンジはＨＤＲまたはＳＤＲであるものとする。例えば、保存する画像ファイルのファイル形式がＪＰＥＧの場合、保存する画像ファイルのダイナミックレンジはＳＤＲである。また、保存する画像ファイルのファイル形式がＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ（ＨＥＩＦ）のように、ＳＤＲとＨＤＲのいずれかで保存できる形式の場合、ユーザに保存する画像ファイルのダイナミックレンジを選択させるようにしてもよい。

Ｓ６０２では、制御部１０３は、処理対象として指定されたＲＡＷ画像ファイルからＲＡＷ画像データを取得し、メモリ１０４に保持する。ＲＡＷ画像ファイルは、記憶部１０５に記憶されていてもよいし、通信制御部１０６を介して外部装置から取得してもよい。

Ｓ６０３では、制御部１０３は、Ｓ６０２で指定されたＲＡＷ画像ファイルから現像パラメータを取得し、メモリ１０４に保持する。

Ｓ６０４では、制御部１０３は、Ｓ６０３で取得した現像パラメータの中に、Ｓ６０１で取得した保存する画像ファイルのダイナミックレンジ用現像パラメータが存在するか否かを判定する。判定の結果、保存する画像のダイナミックレンジ用現像パラメータが存在する場合はＳ６０５に進み、存在しない場合はＳ６０７に進む。制御部１０３は、保存する画像ファイルのダイナミックレンジがＨＤＲの場合、Ｓ６０２で指定されたＲＡＷ画像ファイルからＨＤＲ用現像パラメータを取得できたか否かを判定する。また、制御部１０３は、保存する画像ファイルのダイナミックレンジがＳＤＲの場合、Ｓ６０２で指定されたＲＡＷ画像ファイルからＳＤＲ用現像パラメータを取得できたか否かを判定する。

Ｓ６０５からＳ６０６は、処理対象のＲＡＷ画像ファイルが保存する画像ファイルのダイナミックレンジ用現像パラメータを持つ場合の処理である。

Ｓ６０５では、制御部１０３は、Ｓ６０２で取得したＲＡＷ画像データを、Ｓ６０３で取得した現像パラメータのうち、保存する画像ファイルのダイナミックレンジ用現像パラメータを使用して現像し、生成された画像データをメモリ１０４に保持する。制御部１０３は、保存する画像ファイルのダイナミックレンジがＨＤＲの場合はＨＤＲ用現像パラメータを使用して現像を行い、ＳＤＲの場合はＳＤＲ用現像パラメータを使用して現像を行う。

Ｓ６０６では、制御部１０３は、メモリ１０４の画像生成方法変数領域に「保存する画像のダイナミックレンジ用現像パラメータを使用」を示す情報を記憶する。

Ｓ６０７からＳ６１２は、処理対象のＲＡＷ画像ファイルが保存する画像ファイルのダイナミックレンジ用現像パラメータを持たない場合の処理である。

Ｓ６０７では、制御部１０３は、Ｓ６０２で指定されたＲＡＷ画像ファイルが保存する画像ファイルのダイナミックレンジ用現像パラメータを持たないことをユーザに通知する。

Ｓ６０８では、制御部１０３は、Ｓ６０１で取得した保存する画像ファイルのダイナミックレンジがＳＤＲか否かを判定し、ＳＤＲの場合はＳ６０９に進み、そうでない場合、すなわちＨＤＲの場合はＳ６１０に進む。

Ｓ６０９は、保存する画像ファイルのダイナミックレンジがＳＤＲであるが、処理対象のＲＡＷ画像ファイルがＳＤＲ用現像パラメータを持たない場合のＳＤＲ画像生成処理である。Ｓ６０９の処理は、図４と同様である。

Ｓ６１０からＳ６１２は、保存する画像ファイルのダイナミックレンジがＨＤＲであるが、ＲＡＷ画像ファイルがＨＤＲ用現像パラメータを持たない場合のＨＤＲ画像生成処理である。

なお、実施形態１で説明した表示画像の生成処理とは異なり、本実施形態のような保存する画像の生成処理では、図５のＳ５０４およびＳ５０５のようにＳＤＲ画像のダイナミックレンジを維持したままＨＤＲ画像を生成することは、ユーザが意図する処理ではないと考えられる。そのため、このような場合は、図５のＳ５０７およびＳ５０８のように無条件にデフォルトのＨＤＲ用現像パラメータを使用してＨＤＲ画像を生成するものとする。

Ｓ６１０では、制御部１０３は、デフォルトのＨＤＲ用現像パラメータを取得する。デフォルトのＨＤＲ用現像パラメータは、記憶部１０５に格納しておいてもよいし、管理ファイルなどの形態で記憶部１０５に格納してもよい。

また、デフォルトのＨＤＲ用現像パラメータは、ＲＡＷ画像ファイルの撮影時パラメータに基づいて現像処理時に生成してもよいし、記憶部１０５に格納したデータと現像処理時に生成したデータを組み合わせてもよい。

Ｓ６１１では、制御部１０３は、Ｓ６０２でＲＡＷ画像ファイルから取得したＲＡＷ画像データを、Ｓ６１０で取得したデフォルトのＨＤＲ用現像パラメータで現像し、ＨＤＲ画像を生成し、メモリ１０４に保持する。

Ｓ６１２では、制御部１０３は、メモリ１０４の画像生成方法変数領域に「デフォルト現像パラメータを使用」を示す情報を記憶する。

Ｓ６１３では、制御部１０３は、Ｓ６０５、Ｓ６０９、または、Ｓ６１１で生成したＨＤＲ画像データを、保存する画像ファイルのファイル形式に変換し保存する。

Ｓ６１４では、制御部１０３は、メモリ１０４の画像生成方法変数の値を、Ｓ６１３でファイル化して保存した画像ファイルのメタデータ領域に記録する。

Ｓ６１５では、制御部１０３は、Ｓ６０５、Ｓ６０９またはＳ６１１で生成された画像データのダイナミックレンジと画像生成方法を、生成元のＲＡＷ画像ファイル（処理対象として指定されたＲＡＷ画像ファイル）に関連付けて記録する。生成した画像データのダイナミックレンジと画像生成方法は、例えば、生成元のＲＡＷ画像ファイルのメタデータ領域に記録される。あるいは、別の管理ファイルに、生成元のＲＡＷ画像ファイルを示す情報と、生成した画像データのダイナミックレンジと画像生成方法が記録される。

本実施形態によれば、ＲＡＷ画像ファイルが保存する画像ファイルのダイナミックレンジ用現像パラメータを持たない場合であっても、保存する画像ファイルのダイナミックレンジに合わせた適切な画像データを生成できるようになる。また、処理対象のＲＡＷ画像ファイルが持つ現像パラメータのダイナミックレンジと保存する画像ファイルのダイナミックレンジとが異なっている場合に、保存する画像ファイルのダイナミックレンジに合わせた画像を生成するための画像生成方法と、当該画像生成方法により生成した画像ファイルとを関連付けて保存する。これにより、生成元のＲＡＷ画像ファイルが保存する画像ファイルのダイナミックレンジ用現像パラメータを持たない場合に、保存する画像ファイルがどのような処理を行って生成されたものなのかユーザが容易に確認できるようになる。

なお、本実施形態では画像を出力する形態としてＲＡＷ画像から保存画像を生成する処理について説明を行ったが、ユーザがＲＡＷ画像の現像処理時に保存画像のファイル形式のダイナミックレンジ用現像パラメータを設定、付加したり、保存する画像ファイルのダイナミックレンジを変更できるようにしてもよい。

［実施形態３］
次に、図７を参照して、実施形態３の画像処理によりＲＡＷ画像ファイルに記録されたダイナミックレンジ用現像パラメータを編集する処理について説明する。

本実施形態の画像処理プログラムは、ＲＡＷ画像ファイルを指定して、現像パラメータを設定し、設定した現像パラメータを指定したＲＡＷ画像ファイルに記録する処理を行う。ユーザは、画像処理プログラムのＧＵＩ画面（不図示）を介して、ＲＡＷ画像ファイルを指定することができる。

Ｓ７０１では、制御部１０３は、現像パラメータと当該現像パラメータのダイナミックレンジを取得する。ここで、現像パラメータは、例えば、ユーザにより、表示部１０２のＧＵＩ画面と入力部１０１を介して入力されるものとする。また、現像パラメータは、ＨＤＲ用現像パラメータとＳＤＲ用現像パラメータのいずれかであるものとする。

Ｓ７０２では、制御部１０３は、Ｓ７０１で取得した現像パラメータを、ＲＡＷ画像ファイルの現像パラメータ領域に書き込む。制御部１０３は、Ｓ７０１で取得した現像パラメータがＨＤＲ用現像パラメータの場合、ＨＤＲ用現像パラメータ領域に書き込み、ＳＤＲ用現像パラメータの場合、ＳＤＲ用現像パラメータ領域に書き込む。

Ｓ７０３では、制御部１０３は、図６のＳ６１５で生成元のＲＡＷ画像ファイルに記録した保存した画像ファイルのダイナミックレンジと画像生成方法を取得する。制御部１０３は、生成元のＲＡＷ画像ファイルのメタデータ領域や管理ファイルから、ＲＡＷ画像ファイルに関連付けられた情報を取得する。

Ｓ７０４では、制御部１０３は、Ｓ７０１で設定された現像パラメータのダイナミックレンジが所定の条件を満たすか否かを判定し、所定の条件を満たす場合はＳ７０５に進み、満たさない場合は処理を終了する。所定の条件は、Ｓ７０１で設定された現像パラメータのダイナミックレンジがＳ７０３で取得した保存する画像ファイルのダイナックレンジと同じであり、かつ、画像生成方法が「デフォルト現像パラメータを使用」であることである。

Ｓ７０５では、制御部１０３は、Ｓ７０１で設定された現像パラメータがＲＡＷ画像ファイルに新たに付加されたことをユーザに通知する。

本実施形態によれば、ユーザは、新たに設定した現像パラメータを用いて、再度画像ファイルの保存処理を行うか否かを検討することができる。

なお、上述した各実施形態におけるＲＡＷ画像は、ＲＡＷ静止画とＲＡＷ動画のいずれであってもよい。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像処理装置、１０１…入力部、１０２…表示部、１０３…制御部、１０４…メモリ、１０５…記憶部

Claims (15)

1. ＲＡＷ画像データと、当該ＲＡＷ画像データの現像処理に使用するための現像パラメータとが記録された記録媒体から、前記ＲＡＷ画像データを取得する取得手段と、
   ユーザの操作に応じて、複数の画像生成方法の中から、画像生成方法を選択する選択手段と、
   前記選択手段により選択された画像生成方法で、前記取得手段により取得した前記ＲＡＷ画像データに現像処理を施して、出力画像を生成する生成手段と、を有し、
   前記複数の画像生成方法には、出力すべきダイナミックレンジ用の現像パラメータが、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されていない場合に、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されている第１の現像パラメータを用いて現像処理を施して出力画像を生成する第１の画像生成方法と、前記第１の現像パラメータを用いずに、前記出力すべきダイナミックレンジ用の第２の現像パラメータを用いて現像処理を施して出力画像を生成する第２の画像生成方法と、が含まれていることを特徴とする画像処理装置。
2. ＲＡＷ画像データと、当該ＲＡＷ画像データの現像処理に使用するための現像パラメータとが記録された記録媒体から、前記ＲＡＷ画像データを取得する取得手段と、
   複数の画像生成方法の中から、画像生成方法を選択する選択手段と、
   前記選択手段により選択された画像生成方法で、前記取得手段により取得した前記ＲＡＷ画像データに現像処理を施して、出力画像を生成する生成手段と、を有し、
   前記複数の画像生成方法には、出力すべきダイナミックレンジ用の現像パラメータが、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されていない場合に、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されている第１の現像パラメータを用いて現像処理を施して出力画像を生成する第１の画像生成方法と、前記第１の現像パラメータを用いずに、前記出力すべきダイナミックレンジ用の第２の現像パラメータを用いて現像処理を施して出力画像を生成する第２の画像生成方法と、が含まれており、
   前記第１の画像生成方法では、前記第１の現像パラメータを用いて現像処理を施した後に、前記出力すべきダイナミックレンジに変換することにより、前記出力すべきダイナミックレンジの出力画像を生成することを特徴とする画像処理装置。
3. 前記第２の現像パラメータは、画像によらずに予め決められている現像パラメータであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記ＲＡＷ画像データの現像処理に使用するための現像パラメータは、前記ＲＡＷ画像データが記録されるファイル内に記録されていることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記選択手段は、ユーザの操作に応じて、前記複数の画像生成方法の中から画像生成方法を選択することを特徴とする請求項２に記載の画像処理装置。
6. 前記生成手段は、前記出力すべきダイナミックレンジ用の現像パラメータが前記記録媒体に記録されている場合には、当該現像パラメータを用いて現像処理を施して出力画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
7. 前記ＲＡＷ画像データの現像処理に使用するための前記第１の現像パラメータのダイナミックレンジが第１のダイナミックレンジであり、出力すべきダイナミックレンジが第２のダイナミックレンジの場合は、前記選択手段は、前記第１の現像パラメータを用いて現像処理を施してから前記第２のダイナミックレンジに変換して前記第２のダイナミックレンジの出力画像を生成する第１の画像生成方法と、前記第１の現像パラメータを用いずに、前記第２の現像パラメータを用いて現像処理を施して前記第２のダイナミックレンジの出力画像を生成する第２の画像生成方法とから、画像生成方法を選択することを特徴とする請求項１または２に記載の画像処理装置。
8. 前記ＲＡＷ画像データの現像処理に使用するための前記第１の現像パラメータのダイナミックレンジが第２のダイナミックレンジであり、出力すべきダイナミックレンジが第１のダイナミックレンジの場合は、前記選択手段は、前記第１の現像パラメータを用いて現像処理を施して前記第２のダイナミックレンジの出力画像を生成する第３の画像生成方法と、前記第１の現像パラメータを用いずに、前記第１のダイナミックレンジ用の第３の現像パラメータを用いて現像処理を施して前記第１のダイナミックレンジの出力画像を生成する第４の画像生成方法とから、画像生成方法を選択することを特徴とする請求項７に記載の画像処理装置。
9. 前記第１のダイナミックレンジは、前記第２のダイナミックレンジよりも広いことを特徴とする請求項７または８に記載の画像処理装置。
10. 前記第１のダイナミックレンジはＨＤＲ(High Dynamic Range)であり、前記第２のダイナミックレンジはＳＤＲ(Standard Dynamic Range)であることを特徴とする請求項９に記載の画像処理装置。
11. 出力すべきダイナミックレンジ用の現像パラメータが、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されていない場合に、前記出力すべきダイナミックレンジ用の現像パラメータが取得できなかったことを通知する通知手段をさらに有することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 出力すべきダイナミックレンジ用の現像パラメータが、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されていない場合に、前記通知手段により前記出力すべきダイナミックレンジ用の現像パラメータが取得できなかったことを通知すると共に、前記選択手段により画像生成方法をユーザに選択させることを特徴とする請求項１１に記載の画像処理装置。
13. 取得手段が、ＲＡＷ画像データと、当該ＲＡＷ画像データの現像処理に使用するための現像パラメータとが記録された記録媒体から、前記ＲＡＷ画像データを取得する取得ステップと、
    選択手段が、ユーザの操作に応じて、複数の画像生成方法の中から、画像生成方法を選択する選択ステップと、
    生成手段が、前記選択ステップにより選択された画像生成方法で、前記取得ステップにより取得した前記ＲＡＷ画像データに現像処理を施して、出力画像を生成する生成ステップと、を有し、
    前記複数の画像生成方法には、出力すべきダイナミックレンジ用の現像パラメータが、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されていない場合に、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されている第１の現像パラメータを用いて現像処理を施して出力画像を生成する第１の画像生成方法と、前記第１の現像パラメータを用いずに、前記出力すべきダイナミックレンジ用の第２の現像パラメータを用いて現像処理を施して出力画像を生成する第２の画像生成方法と、が含まれていることを特徴とする画像処理方法。
14. 取得手段が、ＲＡＷ画像データと、当該ＲＡＷ画像データの現像処理に使用するための現像パラメータとが記録された記録媒体から、前記ＲＡＷ画像データを取得する取得ステップと、
    選択手段が、複数の画像生成方法の中から、画像生成方法を選択する選択ステップと、
    生成手段が、前記選択ステップにより選択された画像生成方法で、前記取得ステップにより取得した前記ＲＡＷ画像データに現像処理を施して、出力画像を生成する生成ステップと、を有し、
    前記複数の画像生成方法には、出力すべきダイナミックレンジ用の現像パラメータが、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されていない場合に、前記ＲＡＷ画像データの現像処理に使用するための現像パラメータとして前記記録媒体に記録されている第１の現像パラメータを用いて現像処理を施して出力画像を生成する第１の画像生成方法と、前記第１の現像パラメータを用いずに、前記出力すべきダイナミックレンジ用の第２の現像パラメータを用いて現像処理を施して出力画像を生成する第２の画像生成方法と、が含まれており、
    前記第１の画像生成方法では、前記第１の現像パラメータを用いて現像処理を施した後に、前記出力すべきダイナミックレンジに変換することにより、前記出力すべきダイナミックレンジの出力画像を生成することを特徴とする画像処理方法。
15. コンピュータを、請求項１から１２のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images