JP5589660B2 - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、クレヨン画、油絵、イラスト画などの絵画調の画像を生成する画像処理装置、撮像装置及び画像処理プログラムに関する。

撮影により得られた画像から、クレヨン画、油絵、又はイラスト画などの絵画調の画像を生成する画像処理装置が提案されている（特許文献１参照）。この画像処理装置では、元になる画像（元画像）に含まれる構造的特徴、言い換えれば対象物の輪郭や境界などに表れるエッジ部分の線的特徴を線画化している。

特許第３７００８７１号公報

しかしながら、撮像装置によって得られる画像は、撮像装置に用いられる光学系の特性や撮影時の撮影倍率によって色収差が生じている場合がある。このような色収差は上述したエッジ部分の周辺部に発生しやすい。このため、このような元画像を用いて絵画調の画像を生成したときには、元画像に生じた色収差がそのまま残留してしまい、また、残留した色収差が目立つという問題がある。

本発明は、色収差を低減した絵画調の画像を生成することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。

上述した課題を解決するために、本発明の画像処理装置は、画像に含まれるエッジ領域を検出するエッジ検出部と、前記エッジ検出部により検出された前記エッジ領域の輝度を調整する第１のエッジ領域調整部と、前記エッジ領域の彩度を調整する第２のエッジ領域調整部と、色収差の情報を取得する情報取得部と、を備え、前記エッジ検出部は、前記情報取得部によって取得された色収差の情報に基づいて、前記エッジ領域の検出時に用いるパラメータを変更することを特徴とする。

また、前記エッジ領域の輝度及び彩度が調整された前記画像のうち、少なくとも前記エッジ領域を除く領域の階調を調整する階調調整部を備えていることが好ましい。

ここで、前記画像は、輝度及び色差からなる色空間で示される画像であり、前記エッジ検出部は、前記画像の輝度に基づいて前記画像に含まれる前記エッジ領域を検出することが好ましい。

また、前記画像は、Ｒ色、Ｇ色及びＢ色の各色成分からなる色空間で示される画像であり、前記エッジ検出部は、前記Ｒ色、Ｇ色及びＢ色の各色成分の少なくともいずれかの色成分に基づいて前記画像に含まれる前記エッジ領域を検出することが好ましい。

また、前記画像は、撮影時に用いた撮像光学系の種類と色収差とが関連付けられた付帯情報が付帯されており、前記付帯情報に基づいて、前記第２のエッジ領域調整部による前記エッジ領域の彩度調整を行うか否かを判定する判定部を備えていることが好ましい。

また、前記画像は、撮影時に用いた撮像光学系の種類と色収差とが関連付けられた付帯情報が付帯されており、前記エッジ検出部は、前記画像に付帯された前記付帯情報に基づいて前記エッジ領域の検出時のパラメータを変更することが好ましい。

また、本発明の撮像装置は、上述した画像処理装置と、撮影時に前記画像を取得する撮像素子と、前記撮像素子により取得される前記画像に対して現像処理を行う現像処理部と、を備えたことを特徴とする。

また、本発明の画像処理プログラムは、画像に含まれるエッジ領域を検出するエッジ検出工程と、前記エッジ検出工程により検出された前記エッジ領域の輝度を調整する第１のエッジ領域調整工程と、前記エッジ領域の彩度を調整する第２のエッジ領域調整工程と、色収差の情報を取得する情報取得工程と、を備え、前記エッジ検出工程は、前記情報取得工程によって取得された色収差の情報に基づいて、前記エッジ領域の検出時に用いるパラメータを変更する処理を含むことを特徴とする。

本発明によれば、色収差を低減した絵画調の画像を生成することができる。

本発明を用いた撮像装置の構成の概略を示す図である。 撮影により絵画調の静止画像を取得する際の処理の流れを示すフローチャートである。 （ａ）は静止画像の一例を示す図、（ｂ）は静止画像のうち領域５１についてエッジ検出処理を行った結果を示す図、（ｃ）は（ａ）に示す静止画像を用いて生成される絵画調の静止画像である。 撮影により絵画調の動画像を取得する際の処理の流れを示すフローチャートである。 画像処理装置の構成の概略を示す図である。 画像処理回路の構成の概略を示す図である。 画像処理装置を用いて絵画調の静止画像を生成する処理の流れを示すフローチャートである。 画像処理装置を用いて絵画調の動画像を生成する処理の流れを示すフローチャートである。

図１は、本発明を実施した撮像装置の概略を示す図である。撮像装置１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号を画像信号として取得する。撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズはレンズ駆動機構１７によって光軸Ｌ方向に移動する。

撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。この撮像素子１６は、ドライバ１８によって駆動制御される。この撮像素子１６の駆動制御としては、撮像素子１６の各画素における信号電荷の蓄積、及び蓄積された各画素の信号電荷の出力を制御することが挙げられる。なお、各画素の信号電荷は画素信号として出力される。なお、撮像素子１６から出力される画像信号は、各画素の画素信号をまとめた信号となる。この撮像素子１６から出力される画像信号は、Ａ／Ｄ変換部１９に出力される。Ａ／Ｄ変換部１９は、入力されるアナログの画像信号を、デジタルの画像信号に変換する。このデジタルの画像信号は、バッファメモリ２０に書き込まれる。

画像処理回路２１は、バッファメモリ２０に書き込まれた画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。上述したように、Ａ／Ｄ変換部１９によりデジタルの信号に変換された画像信号は、各画素の輝度を示す信号であることから、以下、該画像信号に対して施されるホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を現像処理と称して説明する。

例えば絵画調の画像を生成しない場合には、現像処理が施された画像信号（以下、現像処理済みの画像データ）が記録用の画像データとなる。この場合、画像処理回路２１は、記録用の画像データに対して、解像度変換処理を実行する。これにより、例えば撮像装置１０に設けられた表示装置３３に合わせた解像度の縮小画像データ等が生成される。

一方、絵画調の画像を生成する場合には、画像処理回路２１は、現像処理済みの画像データに対して特殊効果を付与する処理を実行する。この特殊効果を付与する処理を行う機能として、画像処理回路２１は、エッジ検出部２５、第１エッジ領域調整部２６、第２エッジ領域調整部２７を備えている。

エッジ検出部２５は、現像処理済みの画像データを用いて、該画像データに含まれるエッジ部分（以下、エッジ領域）の検出を行う。このエッジ領域の検出については周知であることから、ここではその詳細については省略する。なお、一般的なエッジ検出処理は、画像の明るさ（輝度）が鋭敏に変化している箇所をエッジ領域として抽出する処理である。このようなエッジ検出処理を行う場合には、細かいテクスチャー部分に生じた鋭敏な明るさの変化部分についてもエッジ領域として検出されてしまう恐れがあるので、本実施形態においては、細かなテクスチャー部分に生じる鋭敏な明るさの変化部分についてはエッジ領域として検出されないように、エッジ検出処理を行う際のパラメータが設定される。なお、この細かな部分に生じる鋭敏な明るさの変化部分がエッジ領域として検出されないように、画像データに対してローパスフィルタ処理等の処理を予め施してもよい。

このエッジ領域を検出する方法としては、例えばＲｏｂｅｒｔｓフィルタ、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタなどの一次微分タイプの空間フィルタ、ラプラシアンフィルタに代表される二次微分タイプの空間フィルタが挙げられる。なお、一次微分タイプの空間フィルタの場合には、一方向に対する処理のみでエッジ領域を求めることから、例えばｘ方向（水平方向）に対する処理と、ｘ方向に直交するｙ方向（鉛直方向）に対する処理とをそれぞれ行った後、これら処理の結果を足し合わせることで、エッジ領域を検出してもよい。

また、これら一次、二次微分タイプの空間フィルタを用いてエッジ領域を検出する他に、モルフォロジー演算の膨張−収縮を用いてエッジを抽出するモルフォロジーグラジエントの方法を用いることでエッジ領域を検出する、又は、元画像と該元画像をぼかした画像との差分からエッジ領域を検出することも可能である。

なお、Ｃａｎｎｙ法を用いてエッジ領域を検出する方法や、領域分割による分割線をエッジ領域として検出する方法など、細線化されたエッジ領域が検出される手法は本発明には適していないので、これら方法は除外される。

上述したバッファメモリ２０に記憶される現像処理済みの画像データが例えばＲ（赤）色、Ｇ（緑）色、Ｂ（青）色からなる色空間で示される画像データ（以下、ＲＧＢ画像データ）の場合、エッジ検出部２５は、ＲＧＢ画像データの色成分毎にエッジ領域を検出し、色成分毎に検出したエッジ領域を足し合わせることで、画像全体のエッジ領域を検出する。つまり、画像に生じる色収差の色成分が必ずしも単一の色成分であるとは限らないことから、全ての色成分に対して色成分毎のエッジ検出処理を行って、検出される色成分毎のエッジ領域を足し合わせることで、色収差の影響を低減する。

なお、エッジ検出に係る処理時間や処理速度を考慮した場合には、必ずしもＲ色、Ｇ色、Ｂ色の全ての色成分を用いてエッジ検出処理を実行する必要はなく、例えばＧ色成分のみなど、少なくともいずれか１つの色成分を用いてエッジ検出処理を実行することも可能である。

また、現像処理済みの画像データがＹＣｂＣｒ画像データやＹＵＶ画像データに代表される、輝度及び色差からなる色空間で示される画像データの場合には、輝度（Ｙ）成分を用いてエッジ領域を検出すればよい。なお、このような画像データを用いる場合には、輝度成分のみを用いたエッジ検出処理となり処理時間を抑えることができるので、例えば動画像データから絵画調の動画像データを生成する場合に有利である。なお、この場合、輝度（Ｙ）成分だけでなく、色差成分（ＹＣｂＣｒ画像データの場合にはＣｂ成分及びＣｒ成分、ＹＵＶ画像信号の場合にはＵ成分及びＶ成分）を用いてエッジ検出処理を行うことも可能である。

このエッジ検出部２５によるエッジ検出処理を行うことで、抽出されるエッジ領域のアドレス（位置）データが内蔵メモリ４１に書き込まれる。なお、エッジ領域の位置データとは、エッジ領域に含まれる画素の位置データである。

第１エッジ領域調整部２６は、エッジ検出部２５によって検出されるエッジ領域の輝度を調整する。詳細には、この第１エッジ領域調整部２６は、エッジ検出部２５により抽出されたエッジ領域の位置データと、バッファメモリ２０に書き込まれた現像処理済みの画像データとを用いて、エッジ領域の輝度を下げる処理を実行する。

例えば現像処理済みの画像データがＲＧＢ画像データからなる場合には、第１エッジ領域調整部２６は、エッジ領域に含まれる各画素の画素値にゲインγ（０＜γ＜１）を乗算する。このエッジ領域に含まれる各画素の画素値は、Ｒ色、Ｇ色及びＢ色の各色成分の値からなるので、これら各色成分の値にゲインγを乗算する。これにより、各色成分の値が同一の割合で低下する。これにより、エッジ領域の輝度が低減される。

また、現像処理済みの画像データがＹＣｂＣｒ画像データやＹＵＶ画像データとなる場合、第１エッジ領域調整部２６は、検出されたエッジ領域に含まれる各画素の画素値のうち、輝度（Ｙ）成分の値に対して、ゲインγ’（０＜γ’＜１）を乗算する。これにより、輝度（Ｙ）成分の値が低下する。これにより、エッジ領域の輝度が低減される。

第２エッジ領域調整部２７は、輝度が低減されたエッジ領域の彩度を調整する。詳細には、この第２エッジ領域調整部２７は、第１エッジ領域調整部２６により、輝度が低減されたエッジ領域の彩度を低減する処理を実行する。

例えば現像処理済みの画像データがＲＧＢ画像データからなる場合には、例えば下記の式に示すマトリクス演算を用いて彩度を低減する。

なお、上述した式における［Ｒ，Ｇ，Ｂ］は、調整処理前のエッジ領域に含まれる画素のＲ色成分、Ｇ色成分、Ｂ色成分の画素値であり、［Ｒ’，Ｇ’，Ｂ’］は調整処理後のエッジ領域に含まれる画素のＲ色成分、Ｇ色成分、Ｂ色成分の画素値である。また、係数αは、エッジ領域における信号レベルであり、この係数αは０≦α≦１となる。

一方、現像処理済みの画像データがＹＣｂＣｒ画像データやＹＵＶ画像データからなる場合には、第２エッジ領域調整部２７は、エッジ領域に含まれる画素の画素値のうち、色差成分（ＹＣｂＣｒ画像データの場合にはＣｂ成分及びＣｒ成分、ＹＵＶ画像データの場合にはＵ成分及びＶ成分）の値に対して、ゲインδ（０＜δ＜１）を乗算する。これにより、色差成分の値が低下するので、結果的にエッジ領域の彩度が低減される。なお、ゲインδを乗算する他に、例えばＵ’＝α×Ｕ＋（１−α）×Ｕ（Ｕ：調整処理前の色差値、Ｕ’：調整処理後の色差値、α：エッジ領域の信号レベル）などの式を用いてもよい。

なお、画像処理回路２１は、これら第１エッジ領域調整部２６及び第２エッジ領域調整部２７によって輝度及び彩度が調整（低減）された画像データに対して、色・階調調整処理を実行する。なお、この色・階調調整処理は、画像全体、又はエッジ領域を除いた領域に対して実行される。この色・階調調整処理としては、該当する領域の階調を調整する処理である。この色・階調調整処理を実行することで、少なくともエッジ領域以外の領域の彩度を上げることができる。なお、画像全体に対して色・階調調整処理を実行した場合には、エッジ領域の彩度も上げることになるが、第２エッジ領域調整部２７によってエッジ領域の彩度を一旦低減させているので、エッジ領域の彩度は、色収差を目立たせる原因とはならない。これにより、絵画調の画像データが生成される。なお、絵画調の画像を生成する場合には、生成される絵画調の画像データが記録用の画像データとなる。なお、この場合も、画像処理回路２１は、記録用の画像データに対して解像度変換処理を行うことで、縮小画像データを生成する。

圧縮／伸長回路３０は、記録用の画像データに対する圧縮（符号化）処理を行う他、記憶媒体３２に記憶される画像データに対する伸長（復号化）処理を行う。接続Ｉ／Ｆ３１は、例えばメモリカードなどの記憶媒体３２を電気的に接続する。この記憶媒体３２は、撮影条件、撮影日時の他、撮像装置１０の情報等が付帯情報として付帯された圧縮処理済みの画像データを格納する。なお、記録用の画像データに対して解像度変換を行うことで取得される縮小画像データは、圧縮／伸長回路３０にて圧縮処理された後、付帯情報として記録用の画像データに付帯される。

表示装置３３は、例えばＬＣＤやＥＬディスプレイなどから構成され、スルー画像や、撮影により得られた画像を表示する。また、この他に、表示装置３３は、撮像装置１０の設定を行う際の設定用の画像を表示する。なお、符号３４は表示制御回路であり、この表示制御回路３４は表示装置３３における表示制御を実行する。

ＣＰＵ４０は、バッファメモリ２０、画像処理回路２１、圧縮／伸長回路３０、接続Ｉ／Ｆ３１、表示制御回路３４、内蔵メモリ４１などとバス４２を介して接続される。このＣＰＵ４０は、図示を省略した制御プログラムを実行することで、撮像装置１０の各部を統括的に制御する。このＣＰＵ４０にはレリーズボタン４５や操作部４６が接続され、これらボタンや操作部の操作に基づく操作信号がＣＰＵ４０に入力される。この操作信号の入力を受けて、ＣＰＵ４０は、操作信号に基づく処理を実行する。例えばレリーズボタン４５が操作されたときには、ＣＰＵ４０は、周知のＡＥ処理、ＡＦ処理を行い、これら処理に基づいて撮影条件を決定し、決定された撮影条件に基づいた撮像処理を実行する。なお、ＡＥ処理やＡＦ処理については、周知であることから、ここではその詳細については省略する。また、操作部４６が操作されたときには、撮像感度やシャッタ速度などを設定する、又は撮影モードを設定する処理を実行する。

以下、撮影により絵画調の静止画像を取得する際の処理の流れを、図２のフローチャートに基づいて説明する。

ステップＳ１０１は、レリーズボタンの操作があるか否かを判定する処理である。撮影者によりレリーズボタン４５が操作されると、レリーズボタン４５の内部に設けられたスイッチがオンとなり、その旨を示す信号がＣＰＵ４０に出力される。ＣＰＵ４０は、レリーズボタン４５の操作を受けて入力される信号の有無により、レリーズボタン４５の操作があるか否かを判定する。例えば、レリーズボタン４５からの信号がＣＰＵ４０に入力された場合には、ＣＰＵ４０は、レリーズボタン４５の操作があると判定する。この場合、ステップＳ１０１の判定処理はＹｅｓとなり、ステップＳ１０２に進む。一方、レリーズボタン４５からの信号がＣＰＵ４０に入力されない場合には、ＣＰＵ４０は、レリーズボタン４５の操作がないと判定する。この場合、ステップＳ１０１の判定処理はＮｏとなり、図２のフローチャートに示す処理が終了する。

ステップＳ１０２は、撮像処理である。ＣＰＵ４０は、ＡＥ処理を実行することで撮影条件を決定した後、ＡＦ処理を実行する。これら処理が終了した後、ＣＰＵ４０は、予め設定された撮影条件に基づいて撮像処理を実行する。このステップＳ１０２の処理が実行されることで、撮像素子１６から出力される画像信号がバッファメモリ２０に書き込まれる。

ステップＳ１０３は、取得された画像信号に対する現像処理である。画像処理回路２１は、バッファメモリ２０に書き込まれた画像信号を読み出して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの現像処理を実行する。このステップＳ１０３の処理が実行されることで現像処理済みの画像データが生成され、バッファメモリ２０に書き込まれる。

ステップＳ１０４は、現像処理済みの画像データに対するエッジ検出処理である。画像処理回路２１は、バッファメモリ２０に書き込まれた現像処理済みの画像データを読み出し、エッジ検出処理を実行する。画像データがＲＧＢ画像データとなる場合には、画像処理回路２１は、色成分毎にエッジ領域を検出し、検出された色成分毎のエッジ領域を足し合わせる。これにより、画像データ全体のエッジ領域が抽出される。

一方、画像データがＹＣｂＣｒ画像データやＹＵＶ画像データであれば、画像処理回路２１は、輝度（Ｙ）成分を用いてエッジ領域を検出する。これにより、画像データに含まれるエッジ領域が抽出される。なお、抽出されたエッジ領域の位置データは、内蔵メモリ４１に書き込まれる。

ステップＳ１０５は、検出されたエッジ領域に対する輝度低減処理である。画像処理回路２１は、内蔵メモリ４１に書き込まれた位置データと、バッファメモリ２０に書き込まれた画像データとを用いて、エッジ領域に含まれる各画素の画素値を読み出す。例えば画像データがＲＧＢ画像データとなる場合には、エッジ領域に含まれる各画素の画素値のそれぞれに対してゲインγを乗算する。一方、画像データがＹＣｂＣｒ画像データやＹＵＶ画像データであれば、エッジ領域に含まれる各画素値のうち、輝度（Ｙ）成分の値に対してゲインγ’を乗算する。なお、ゲインγ、γ’が取り得る範囲は、それぞれ０＜γ＜１、０＜γ’＜１であることから、これらゲインγ、γ’をそれぞれ乗算することで、エッジ領域における輝度が低減される。なお、ステップＳ１０５の処理が施された画像データは、バッファメモリ２０に書き込まれる。

ステップＳ１０６は、検出されたエッジ領域に対する彩度低減処理である。画像処理回路２１は、内蔵メモリ４１に書き込まれた位置データと、ステップＳ１０６の処理後にバッファメモリ２０に書き込まれた画像データとを用いて、エッジ領域に含まれる各画素の画素値を読み出す。例えばＲＧＢ画像データの場合には、エッジ領域に含まれる各画素の画素値に対して、上述した式を用いたマトリックス演算を行う。一方、画像データがＹＣｂＣｒ画像データやＹＵＶ画像データであれば、エッジ領域に含まれる各画素の画素値のうち、色差成分に対してゲインδを乗算する。このゲインδが取り得る範囲は０＜δ＜１であることから、ゲインδを乗算することで、エッジ領域の彩度が低減される。なお、ステップＳ１０６の処理が施された画像データは、バッファメモリ２０に書き込まれる。

ステップＳ１０７は、色・階調調整処理である。画像処理回路２１は、ステップＳ１０５及びステップＳ１０６の処理によりエッジ領域の輝度と彩度とが低減処理された画像データをバッファメモリ２０から読み出して、エッジ領域以外の領域、又は画像全体に対して色・階調調整処理を実行する。この色・階調調整処理は、ステップＳ１０６において実行される彩度低減処理の度合いに応じて実行される。なお、このステップＳ１０７における色・階調調整処理は、必ずしも行う必要はない。

この色・階調調整処理は、彩度を上げる調整となる。例えばエッジ領域以外の領域に色・階調調整処理を実行する場合には、エッジ領域以外の領域の彩度が上がる。また、画像全体に対して色・階調調整処理を実行する場合には、エッジ領域以外の領域だけでなく、エッジ領域の彩度も上がるが、第２エッジ領域調整部２７によってエッジ領域の彩度を一旦低減させているので、エッジ領域の彩度は色収差を目立たせる原因とはならない。この処理を実行することで、絵画調の画像データが生成される。この場合には、絵画調の画像データが記録用の画像データとなる。画像処理回路２１は、このステップＳ１０７の処理を実行することで得られる記録用の画像データに対して解像度変換処理を行い、例えば表示装置３３の解像度に合わせた画像サイズ等となるように縮小画像データを生成する。

ステップＳ１０８は、記録用の画像データを記録する処理である。圧縮／伸長回路３０は、ステップＳ１０７の処理を実行することで得られる記録用の画像データや、縮小画像データに対して圧縮処理を施す。ＣＰＵ４０は、圧縮処理された記録用画像データに、撮影条件や撮影日時、撮像装置１０の機種などの情報や縮小画像データを付帯情報として付帯し、記憶媒体３２に書き込む。この処理を行うことで、図２に示すフローチャートの処理が終了する。

図３（ａ）に示す静止画像に対してエッジ検出処理を行う場合について考慮する。この静止画像に対して一般的なエッジ検出処理を実行すると、矩形にて示す符号５１の領域においては、ハッチングにて塗りつぶされた領域５２〜５６がエッジ領域としてそれぞれ検出される（図３（ｂ）参照）。なお、エッジ領域５２、エッジ領域５５の周辺部には、赤色、緑色、青色、又は、これら色成分が組み合わされた色の色収差が発生している。なお、図３（ｂ）において色収差が発生している領域は、斜線のハッチングで示す領域５７〜５９である。

そこで、上述したステップＳ１０４のエッジ検出処理では、図３（ａ）に示す画像がＲＧＢ画像であれば、Ｒ色成分、Ｇ色成分及びＢ色成分のそれぞれに対してエッジ検出処理を実行する。これにより、図３（ｂ）に示すエッジ領域５２〜５６の他に、色収差が発生する領域５７〜５９もエッジ領域として抽出される。

そして、ステップＳ１０４のエッジ検出処理が終了した後のステップＳ１０５の処理では、エッジ領域に対する輝度を低減することから、ステップＳ１０４にて抽出されたエッジ領域５２〜５９の輝度が低減される、言い換えればＲ色、Ｇ色、Ｂ色の各色成分の値（階調値）が低くなる。さらに、ステップＳ１０６の処理では、エッジ領域に対する彩度を低減する処理であることから、ステップＳ１０４にて抽出されたエッジ領域５２〜５９の彩度が低減される、言い換えればＲ色、Ｇ色、Ｂ色の各色成分の値（階調値）がさらに低くなる。つまり、ステップＳ１０５及びステップＳ１０６の処理を実行することで、エッジ領域の色味が無くなり、これら領域は無彩色に近づく。これによれば、ステップＳ１０５及びステップＳ１０６の処理を実行することで、エッジ領域周辺の色収差が発生している画素の領域がエッジ領域として表現される。なお、領域５１以外についても同様であり、上述したステップＳ１０４にて抽出されたエッジ領域に対してステップＳ１０５及びステップＳ１０６の処理を行うことで、色収差が低減された絵画調の静止画像が生成される（図３（ｃ）参照）。

次に、撮影により絵画調の動画像を取得する際の処理の流れを説明する。以下、撮影により得られる動画像データがＹＵＶ画像データからなる場合について説明する。

ステップＳ２０１は、動画撮影の開始指示があるか否かを判定する処理である。なお、撮像装置１０において、動画撮影を行う場合には、レリーズボタン４５の操作が動画撮影を開始する契機となることが一般的であることから、このステップＳ２０１の判定処理は、レリーズボタン４５の操作が行われたか否かを判定する処理となる。なお、このレリーズボタン４５の操作が行われたか否かを判定する処理は、ステップＳ１０１の判定処理を同様である。ＣＰＵ４０がレリーズボタン４５の操作が行われたと判定したときには、ステップＳ２０１の判定処理がＹｅｓとなり、ステップＳ２０２に進む。一方、ＣＰＵ４０がレリーズボタン４５の操作が行われていないと判定したときには、ステップＳ２０１の判定処理がＮｏとなり、このフローチャートの処理の流れが終了する。

ステップＳ２０２は、撮像処理である。ＣＰＵ４０は、予め設定された撮影条件に基づいて、撮像素子１６を制御する。これにより、画像信号が撮像素子１６から出力される。この画像信号は、バッファメモリ２０に格納される。

ステップＳ２０３は、取得された画像信号に対する現像処理である。なお、この現像処理については、ステップＳ１０３と同一の処理である。これにより、画像信号に対する現像処理が実行される。なお、この撮像素子１６から出力される画像信号は、動画像の構成するフレーム画像の元になる画像信号である。以下では、現像処理済みの画像データをフレーム画像データと称する。

ステップＳ２０４は、フレーム画像データに対するエッジ検出処理である。このステップＳ２０４のエッジ検出処理は、ステップＳ１０４と同一の処理である。なお、このフローチャートにおいては、フレーム画像データがＹＵＶ画像データからなるので、画像処理回路２１は、フレーム画像データのうち、輝度（Ｙ）成分を用いて、エッジ検出処理を実行する。これにより、エッジ領域が検出される。

ステップＳ２０５は、検出されたエッジ領域に対する輝度低減処理である。なお、このステップＳ２０５の処理は、ステップＳ１０５の処理と同一である。これにより、エッジ領域における輝度が低減される。

ステップＳ２０６は、検出されたエッジ領域に対する彩度低減処理である。なお、このステップＳ２０６の処理は、ステップＳ１０６と同一である。これにより、エッジ領域における彩度が低減される。これにより、絵画調のフレーム画像データが生成される
ステップＳ２０７は、フレーム画像データに対する圧縮処理である。圧縮／伸長回路３０は、輝度及び彩度が低減された、絵画調のフレーム画像データに対して圧縮処理を実行する。

ステップＳ２０８は、フレーム画像データを記録する処理である。ＣＰＵ４０は、上述したステップＳ２０７の圧縮処理により符号化されたフレーム画像データを記憶媒体３２に書き込む。

ステップＳ２０９は、動画撮影の終了指示があるか否かを判定する処理である。撮像装置１０において動画撮影を終了する場合、レリーズボタン４５の操作が動画撮影を終了する契機となることが一般的であることから、このステップＳ２０９の判定処理は、レリーズボタン４５の操作が行われたか否かを判定する処理となる。なお、このレリーズボタン４５の操作が行われたか否かを判定する処理は、ステップＳ２０１の判定処理を同様である。ＣＰＵ４０がレリーズボタン４５の操作が行われたと判定したときには、ステップＳ２０９の判定処理はＹｅｓとなる。この場合、ＣＰＵ４０は、動画撮影に係る処理を終了させる。一方、ＣＰＵ４０がレリーズボタン４５の操作が行われていないと判定したときには、ステップＳ２０９の判定処理はＮｏとなる。この場合、動画撮影が引き続き実行されるので、ステップＳ２０２に戻る。つまり、動画撮影を終了するためのレリーズボタン４５の操作が行われないときには、ステップＳ２０２〜ステップＳ２０９の処理が繰り返し実行される。

この場合も、上述したステップＳ２０４からステップＳ２０６の処理（エッジ領域の輝度及び彩度を低減する処理）を行うだけで容易に色収差を低減した絵画調の動画像を取得することができる。

なお、撮影により絵画調の動画像を取得する際の処理の流れを示す図４のフローチャートにおいては、色・階調調整処理については省略しているが、ステップＳ２０６の処理を行った後に、実行することも可能である。

また、撮影により絵画調の動画像を取得する場合、取得される動画像データをＹＵＶ画像データとしているが、これに限定される必要はなく、取得される動画像データはＲＧＢ画像データであってもよい。

上述した実施形態では、撮像装置を例に挙げて説明しているが、これに限定される必要はなく、例えば画像処理装置に適用することもできる。以下、画像処理装置の例を取り上げて説明する。図５に示すように、画像処理装置６０は、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、画像処理回路６４、圧縮／伸長回路６５及び接続Ｉ／Ｆ６６がバス６７を介して電気的に接続されている。

ＣＰＵ６１は、ＲＯＭ６２に記憶された制御プログラムを実行することで、画像処理装置６０の各部を制御する。ＲＯＭ６２は、制御プログラムや制御データなどを記憶する。ＲＡＭ６３は、制御プログラムを実行することで得られる演算子を一時記憶する他、記憶媒体６８から読み出された画像信号を記憶する。画像処理回路６４は、ＲＡＭ６３に一時記憶された画像データに対して、上述した特殊効果を付与する処理を実行する。圧縮／伸長回路６５は、画像処理回路６４によって処理された画像データに対する圧縮（符号化）処理を行う他、記憶媒体６８から読み出された画像データに対する伸長（復号化）処理を実行する。接続Ｉ／Ｆ６６は、メモリカードなどの記憶媒体６８と接続され、記憶媒体６８に記憶された画像データの読み出しや、画像データの書き込みを実行する。

図６に示すように、画像処理回路６４は、エッジ検出部７１、第１エッジ領域調整部７２、第２エッジ領域調整部７３及び色・階調調整部７４を備えている。なお、エッジ検出部７１、第１エッジ領域調整部７２及び第２エッジ領域調整部７３の構成は、図１に示すエッジ検出部２５、第１エッジ領域調整部２６、第２エッジ領域調整部２７の構成と同一であることから、ここでは、その説明を省略する。

色・階調調整部７４は、エッジ領域の輝度及び彩度が調整（低減）された画像データに対して、色・階調調整する処理を行う。この色・階調調整は、例えばエッジ領域を除く領域、又は画像全体に対して実行される。

次に、上述した画像処理装置６０を用いて絵画調の静止画像を生成する処理の流れについて、図７のフローチャートを参照して説明する。なお、このフローチャートは、記憶媒体６８が画像処理装置６０に装着されていることを前提にして実行される。以下、記憶媒体６８に記憶されている静止画像データとして、現像処理済みのＲＧＢ画像データを挙げて説明する。

ステップＳ３０１は、静止画像データを読み出す処理である。ＣＰＵ６１は、記憶媒体６８に記憶された静止画像データを読み出し、ＲＡＭ６３に書き込む。圧縮／伸長回路６５は、ＲＡＭ６３に記憶された静止画像データに対して伸長（復号化）処理を実行する。この伸長（復号化）処理が施された静止画像データは、再度ＲＡＭ６３に書き込まれる。

ステップＳ３０２は、読み出された静止画像データに対するエッジ検出処理である。画像処理回路６４は、ＲＡＭ６３に書き込まれた静止画像データを読み出してエッジ検出処理を実行する。なお、このエッジ検出処理は、静止画像データのＲ成分、Ｇ成分及びＢ成分の全ての色成分に対して実行される。この色成分毎に検出されるエッジ領域を足し合わせることで、静止画像データに含まれるエッジ領域が抽出される。この抽出されるエッジ領域の位置データは、ＲＡＭ６３に記憶される。なお、このエッジ検出処理は、Ｒ色成分、Ｇ色成分及びＢ色成分の少なくともいずれか一つの色成分を用いて実行してもよい。

ステップＳ３０３は、検出されたエッジ領域に対する輝度低減処理である。なお、このステップＳ３０３の処理は、ステップＳ１０５と同様の処理であることから、ここでは、その説明を省略する。このステップＳ３０３の処理により、エッジ領域の輝度が低減される。

ステップＳ３０４は、検出されたエッジ領域に対する彩度低減処理である。なお、このステップＳ３０４の処理は、ステップＳ１０６と同一の処理であることから、ここでは、その説明を省略する。このステップＳ３０４の処理により、エッジ領域の彩度が低減される。

ステップＳ３０５は、色・階調調整処理である。このステップＳ３０５の処理は、ステップＳ１０７と同一の処理であることから、ここでは、その説明を省略する。例えば、このステップＳ３０５の処理を、画像全体に実行する場合には、画像全体の彩度が上げられる。このとき、エッジ領域の彩度も上がるが、ステップＳ３０４の処理を実行していることから、他の領域に比べて彩度が抑えられる。これにより、エッジ領域における色収差の影響を低減させることができる。一方、このステップＳ３０５の処理を、エッジ領域以外の領域に実行した場合、エッジ領域の彩度は変化しないので、この場合も、エッジ領域における色収差は低減された状態で保持される。これにより、絵画調の静止画像データが生成される。なお、このステップＳ３０５の処理が終了したときに、画像処理回路６４は、色・階調調整処理が施された静止画像データに対して解像度変換処理を施して縮小画像データを生成する。なお、これら画像データは、ＲＡＭ６３に書き込まれる。これにより、絵画調の画像データが生成される。なお、ステップＳ３０５の処理は必ずしも実行されるものではなく、省略することも可能である。

ステップＳ３０６は、処理済みの静止画像データを記録する処理である。圧縮／伸長回路６５は、ＲＡＭ６３に書き込まれた画像データを読み出し、圧縮処理を実行する。この圧縮処理の後、ＣＰＵ６１は、ステップＳ３０２からステップＳ３０５の処理に係る処理内容と新たに生成された縮小画像データとを付帯情報に追加する。そして、新たな情報が付加された付帯情報と、圧縮処理が施された画像データとを記憶媒体６８に書き込む。

この場合も、エッジ検出処理により抽出されるエッジ領域の輝度及び彩度を低減させることで、エッジ領域の周辺に生じる色収差を抑制した絵画調の静止画像データを生成することが可能となる。

次に、画像処理装置６０を用いて絵画調の動画像を生成する処理の流れについて、図８のフローチャートを用いて説明する。以下、動画像データがＹＣｂＣｒ画像データからなる場合について説明する。

ステップＳ４０１は、動画像データを読み出す処理である。ＣＰＵ６１は、記憶媒体６８に記憶された動画像データを読み出し、ＲＡＭ６３に書き込む。圧縮／伸長回路６５は、ＲＡＭ６３に記憶された動画像データに対して伸長（復号化）処理を実行する。伸長（復号化）処理が施された動画像データは、再度ＲＡＭ６３に書き込まれる。

ステップＳ４０２は、フレーム画像データに対するエッジ検出処理である。画像処理回路６４は、ＲＡＭ６３に書き込まれた動画像データから、ｎ（ｎ＝１，２，３，・・・）フレーム目のフレーム画像データを読み出してエッジ検出処理を実行する。なお、このエッジ検出処理は、フレーム画像データの輝度（Ｙ）成分を用いて実行される。これにより、フレーム画像データに含まれるエッジ領域が抽出される。この抽出されるエッジ領域の位置データは、ＲＡＭ６３に記憶される。

ステップＳ４０３は、検出されたエッジ領域に対する輝度低減処理である。なお、このステップＳ４０３の処理は、ステップＳ３０３と同様の処理であることから、ここでは、その説明を省略する。このステップＳ４０３の処理により、ｎフレーム目のフレーム画像データにおけるエッジ領域の輝度が低減される。

ステップＳ４０４は、検出されたエッジ領域に対する彩度低減処理である。なお、このステップＳ４０４の処理は、ステップＳ３０４と同一の処理であることから、ここでは、その説明を省略する。このステップＳ４０４の処理により、ｎフレーム目のフレーム画像データにおけるエッジ領域の彩度が低減される。

ステップＳ４０５は、色・階調調整処理である。このステップＳ４０５の処理は、ステップＳ３０５と同一の処理であることから、ここでは、その説明を省略する。例えば、このステップＳ４０５の処理を、画像全体に実行する場合には、画像全体の彩度が上げられる。このとき、エッジ領域の彩度も上がるが、ステップＳ４０４の処理を実行していることから、他の領域に比べて彩度が抑えられる。これにより、エッジ領域における色収差の影響を低減させることができる。一方、このステップＳ４０５の処理を、エッジ領域以外の領域に実行した場合、エッジ領域の彩度は変化しないので、この場合も、エッジ領域における色収差は低減された状態で保持される。これにより、ｎフレーム目のフレーム画像データが、絵画調のフレーム画像データとして生成される。なお、このｎフレーム目のフレーム画像データは、ＲＡＭ６３に格納される。

ステップＳ４０６は、最終のフレーム画像データであるか否かを判定する処理である。画像処理装置６４は、ステップＳ４０２〜ステップＳ４０５の処理を実行したフレーム画像データのフレーム数を読み出して、動画像データにおける最終フレームとなる画像データであるか否かを判定する。例えばステップＳ４０２〜ステップＳ４０５の処理を実行したフレーム画像データが最終のフレーム画像データとなる場合には、画像処理回路６４は、このステップＳ４０６の判定処理をＹｅｓとする。この場合、ステップＳ４０７に進む。一方、ステップＳ４０２〜ステップＳ４０５の処理を実行したフレーム画像データが最終のフレーム画像データでない場合には、画像処理回路６４は、このステップＳ４０６の判定処理をＮｏとする。この場合には、ステップＳ４０２に進み、次フレームのフレーム画像データに対して、ステップＳ４０２〜ステップＳ４０５の処理を実行する。このように、ステップＳ４０６の判定処理がＮｏとなる場合には、動画像データのフレーム画像データ全てに対して、ステップＳ４０２〜ステップＳ４０５の処理が実行される。このようにして、絵画調の動画像データが生成される。

ステップＳ４０７は、処理済みの動画像データを記録する処理である。圧縮／伸長回路６５は、処理済みの動画像データを圧縮（符号化）処理する。ＣＰＵ６１は、圧縮処理済みの動画像データを記憶媒体６８に書き込む。

この場合も、エッジ検出処理により抽出されるエッジ領域の輝度及び彩度を低減させることで、エッジ領域の周辺に生じる色収差を抑制した絵画調の動画像データを生成することが可能となる。

上述した実施形態における撮像装置１０及び画像処理装置６０においては、検出されたエッジ領域の輝度を低減する処理を行った後、エッジ領域の彩度を低減する処理を行っているが、これら処理の順番は、これに限定される必要はなく、エッジ領域の彩度を低減する処理を行った後に、エッジ領域の輝度を低減する処理を行ってもよい。また、エッジ領域の輝度を低減する処理、エッジ領域の彩度を低減する処理を２段階で実行しているが、これに限定される必要はなく、１回の処理でエッジ領域の輝度と彩度とを低減する処理を行ってもよい。

また、上述した実施形態における撮像装置１０及び画像処理装置６０においては、検出されたエッジ領域に対して彩度を低減する処理を行っているが、このエッジ領域に対する彩度を低減する処理は、必ずしも行う必要はない。例えば、絵画調の画像を生成する際に用いる画像データから色収差（倍率色収差、軸上色収差）の情報を取得し、この色収差の情報に基づいて、エッジ領域における彩度を低減する処理を実行するか否かを決定してもよい。また、エッジ領域における彩度を低減する処理を実行する場合には、色収差の程度に基づいて彩度を低減する際の補正値（ゲイン）を調整することも可能である。なお、画像データを用いて色収差の情報を取得する方法としては、例えば、画像データがＲＧＢデータとなる場合には、各色成分のデータから抽出されるエッジ領域の位置に基づいて色収差の情報を取得することができる。

また、撮像装置の場合、予め撮像光学系における色収差のデータを保持していれば、撮影時に得られた画像データから色収差の情報を取得せずに、撮像光学系における色収差のデータに基づいて、抽出されたエッジ領域における彩度を低減する処理を実行するか否かを決定することも可能である。なお、この撮像光学系における色収差のデータとしては、例えば撮像光学系の焦点距離、撮影距離、絞り値のそれぞれと、色収差とが対応付けられたテーブルデータからなる。この色収差のデータは、予め内蔵メモリに記憶されていることが好ましい。また、レンズユニットと該レンズユニットが着脱される装置本体とから構成される、所謂一眼レフタイプの撮像装置であれば、色収差のデータをレンズユニットに予め記憶させておき、レンズユニットを装置本体に取り付けたときに、レンズユニットから装置本体に送信するようにしてもよい。

さらに、撮像装置の場合には、撮像光学系における色収差のデータを保持していれば、該色収差のデータと、撮影にて得られた画像データから得られる色収差の情報との双方を用いて、彩度を低減するか否かを決定することも可能である。

一方、画像処理装置の場合には、画像データに予め撮像光学系における色収差のデータを付帯情報として付帯させておき、該色収差のデータに基づいて、抽出されたエッジ領域における彩度を低減する処理を実行するか否かを決定すればよい。

上述した実施形態における撮像装置１０や画像処理装置６０で実行されるエッジ検出処理として、色収差を考慮したエッジ検出処理であってもよい。この場合、現像処理済みの画像データから取得される色収差のデータ、又は予め保持している色収差のデータから、エッジ検出処理におけるパラメータを調整してもよい。このエッジ検出処理におけるパラメータとは、例えばエッジとして検出される輝度差の閾値などが挙げられる。

上述した実施形態における撮像装置１０や画像処理装置６０においては、エッジ検出処理で生成される画像データ（エッジ画像データ）と、エッジ領域の輝度、彩度をそれぞれ低減する処理が施された画像データとを合成する処理については述べていないが、このエッジ画像データと、エッジ領域の輝度、彩度をそれぞれ低減する処理が施された画像データとを合成してもよい。

周知のように、画像データに対してエッジ検出処理を行うと、エッジ領域が白（信号値１）、エッジ領域以外の領域が黒（信号値０）で示されるエッジ画像データが生成される。このエッジ画像データに対して白黒反転処理を行うと、エッジ領域が黒、エッジ領域以外の領域が白となるエッジ画像データが生成される。画像処理回路は、白黒反転処理が施されたエッジ画像データと、エッジ領域の輝度、彩度をそれぞれ低減する処理が施された画像データと合成する。この場合、合成された画像データにおいては、エッジ領域以外の領域においては、所謂白飛びする場合もあるので、このような場合には、上述した色・階調調整処理を行うことで、エッジ領域以外の領域に色味を付ける調整を行う。このような処理を行うことで、色収差を低減した絵画調の画像を生成することが可能となる。

上述した実施形態では、画像データとして、Ｒ色、Ｇ色、Ｂ色からなる色空間で示される画像データや、ＹＣｂＣｒ画像データやＹＵＶ画像データなどの輝度及び色差からなる色空間で示される画像データを例に取り上げて説明しているが、これらに限定される必要はなく、明度（Ｌ）、彩度（Ｃ）、色相（Ｈ）からなる色空間で示される画像データや、他の色空間で示される画像データを用いてもよい。例えば、画像データとしてＬＣＨ画像データを用いる場合には、Ｌ成分、Ｃ成分及びＨ成分の成分毎にエッジ領域を検出し、成分毎に検出されるエッジ領域を足し合わせることで、画像データに含まれるエッジ領域を抽出する。そして、抽出されたエッジ領域に含まれる各画素のＬ成分に対してゲインγ”（０＜γ”＜１）を乗算し、エッジ領域における輝度を低減する。また、エッジ領域に含まれる各画素のＣ成分に対してゲインδ”（０＜δ”＜１）を乗算し、エッジ領域における彩度を低減する。この場合、エッジ領域に含まれる各画素のＣ成分に乗算されるゲインδ”は、撮像光学系の色収差に基づいて調整される。

上述した実施形態では、画像データの色空間を変更せずに、エッジ検出処理、輝度低減処理、彩度低減処理を行っているが、これに限定される必要はなく、画像データの色空間を変更した後に、これら処理を実行することも可能である。この場合、エッジ検出処理、輝度低減処理、彩度低減処理を実行した後、元の色空間に変換すればよい。

なお、上述した実施形態では、撮像装置１０及び画像処理装置６０を例に取り上げて説明したが、これに限定される必要はなく、図７や図８に示すフローチャートに示す機能をコンピュータに実行させることが可能な画像処理プログラムであってもよい。なお、この画像処理プログラムは、メモリカード、光学ディスク、磁気ディスクなど、コンピュータで読み取りが可能な記憶媒体に記憶されていることが好ましい。

１０…撮像装置、１５…撮像光学系、１６…撮像素子、２０…バッファメモリ、２１，６４…画像処理回路、２５，７１…エッジ検出部、２６，７２…第１エッジ領域調整部、２７，７３…第２エッジ領域調整部、３２，６８…記憶媒体，４０，６１…ＣＰＵ、６０…画像処理装置、７４…色・階調調整部

Claims (8)

1. 画像に含まれるエッジ領域を検出するエッジ検出部と、
   前記エッジ検出部により検出された前記エッジ領域の輝度を調整する第１のエッジ領域調整部と、
   前記エッジ領域の彩度を調整する第２のエッジ領域調整部と、
   色収差の情報を取得する情報取得部と、
   を備え、
   前記エッジ検出部は、前記情報取得部によって取得された色収差の情報に基づいて、前記エッジ領域の検出時に用いるパラメータを変更する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記エッジ領域の輝度及び彩度が調整された前記画像のうち、少なくとも前記エッジ領域を除く領域の階調を調整する階調調整部を備えていることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記画像は、輝度及び色差からなる色空間で示される画像であり、
   前記エッジ検出部は、前記画像の輝度に基づいて前記画像に含まれる前記エッジ領域を検出することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記画像は、Ｒ色、Ｇ色及びＢ色の各色成分からなる色空間で示される画像であり、
   前記エッジ検出部は、前記Ｒ色、Ｇ色及びＢ色の各色成分の少なくともいずれかの色成分に基づいて前記画像に含まれる前記エッジ領域を検出することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記画像は、撮影時に用いた撮像光学系の種類と色収差とが関連付けられた付帯情報が付帯されており、
   前記付帯情報に基づいて、前記第２のエッジ領域調整部による前記エッジ領域の彩度調整を行うか否かを判定する判定部を備えていることを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記画像は、撮影時に用いた撮像光学系の種類と色収差とが関連付けられた付帯情報が付帯されており、
   前記エッジ検出部は、前記画像に付帯された前記付帯情報に基づいて前記エッジ領域の検出時のパラメータを変更することを特徴とする画像処理装置。
7. 請求項１から請求項６のいずれか１項に記載の画像処理装置と、
   撮影時に前記画像を取得する撮像素子と、
   前記撮像素子により取得される前記画像に対して現像処理を行う現像処理部と、
   を備えたことを特徴とする撮像装置。
8. 画像に含まれるエッジ領域を検出するエッジ検出工程と、
   前記エッジ検出工程により検出された前記エッジ領域の輝度を調整する第１のエッジ領域調整工程と、
   前記エッジ領域の彩度を調整する第２のエッジ領域調整工程と、
   色収差の情報を取得する情報取得工程と、
   を備え、
   前記エッジ検出工程は、前記情報取得工程によって取得された色収差の情報に基づいて、前記エッジ領域の検出時に用いるパラメータを変更する処理を含む
   ことを特徴とするコンピュータにて実行させることが可能な画像処理プログラム。

Images