JP5299189B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法および画像処理プログラムに関し、特に画像データの拡大処理に関する。

従来、ニアリストネイバー法、バイリニア法、バイキュービック法、スプライン法などの補間アルゴリズムを用いた画像データの拡大処理が知られている。また、隣接画素との間で階調値が大幅に変化するエッジ画素を含む局所領域については、例えば複数のエッジ画素によって構成されるエッジ線の方向を加味して補間画素の階調値を求める補間アルゴリズムを適用して画像データを拡大する方法が知られている。

特開2006-222965

ところで、デモザイク処理によって生成された画像データは補間された画素を含み、補間された画素による偽色や滲みを含んでいる。従来の補間アルゴリズムを用いてこのような画像データを拡大すると、偽色や滲みが発生している領域においては拡大のために補間する画素について好ましい階調値を得られないという問題がある。

本発明はこのような問題を解決するために創作されたものであって、エッジ画素を含む画像データの局所領域について好ましい拡大結果を得ることを目的とする。

（１）上記目的を達成するための画像処理装置は、画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得するエッジ情報取得手段と、画素毎に３チャネルの階調値を有する画像データを前記ＲＡＷデータから生成する画像生成手段と、前記エッジ情報を用いて前記画像データを拡大する拡大手段と、を備える。

本発明によると、ＲＡＷデータから取得したエッジ情報を用いて画像データを拡大するため、デモザイク処理によって偽色や滲みが生じている画像データから取得したエッジ情報を用いて画像データを拡大する場合に比べ、エッジ画素を含む画像データの局所領域について好ましい拡大結果を得ることができる。

（２）上記目的を達成するための画像処理装置において、前記画像生成手段は前記エッジ情報を用いて前記画像データを生成してもよい。
本発明によると、デモザイク処理によって偽色や滲みが生じる前に存在していたエッジ画素に対応するエッジ情報を用いてデモザイク処理のための関数を切り換えることができるため、エッジ画素を含む画像データの局所領域について好ましい拡大結果を得ることができる。

（３）また、上記目的を達成するための画像処理装置において、前記エッジ情報はエッジ画素の位置またはエッジ線の方向の少なくともいずれかを含んでもよい。
エッジ情報がエッジ画素の位置を含む場合には、デモザイク処理によって偽色や滲みが生じる前に存在していたエッジ画素の位置に応じて拡大のための補間アルゴリズムを切り換えることができるため、エッジ画素を含む画像データの局所領域について好ましい拡大結果を得ることができる。またエッジ情報がエッジ線の方向を含む場合には、デモザイク処理によって偽色や滲みが生じる前に存在していたエッジ線の方向に応じて補間画素の階調値を導出する関数を切り換えることができるため、エッジ画素を含む画像データの局所領域について好ましい拡大結果を得ることができる。

尚、請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。さらに、本発明は画像処理方法、画像処理プログラムまたは画像処理プログラムの記録媒体としても成立する。むろん、そのコンピュータプログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体であってもよい。

本発明の実施形態にかかるブロック図。 本発明の実施形態にかかるフローチャート。 本発明の実施形態にかかる模式図。 本発明の実施形態にかかる棒グラフ。

以下、本発明の実施の形態を添付図面を参照しながら説明する。
１−１．構成
本発明の実施形態として、エッジ情報をＲＡＷデータから取得し、取得したエッジ情報を用いて画像データを拡大する現像処理装置１の構成を図１に示す。現像処理装置１は、ＣＰＵ１４、ＲＯＭ１５、ＲＡＭ１６、表示制御部１１、ハードディスク装置（ＨＤＤ）１２、インタフェース（Ｉ／Ｆ）１３等を備えるパーソナルコンピュータ（ＰＣ）によって構成されている。現像処理装置１には現像処理装置１を操作するためのキーボード３２、マウス３３およびモニタ３１が接続されている。ＨＤＤ１２には、ＰＣを現像処理装置１として機能させるための画像処理プログラムＰ１がインストールされている。画像処理プログラムＰ１がＲＡＭ１６にロードされ、画像処理プログラムＰ１を構成しているエッジ情報取得モジュールＰ１１、拡大モジュールＰ１３、画像生成モジュールＰ１２をＣＰＵ１４が実行することによって現像処理装置１の各種の機能が実現される。

エッジ情報取得モジュールＰ１１は、デジタルカメラ２から出力されたＲＡＷデータＤ１からエッジ情報を取得するためのプログラムモジュールであって、ＣＰＵ１４をエッジ情報取得手段として機能させる。ＲＡＷデータＤ１は赤（Ｒ）、青（Ｂ）、緑（Ｇ）のいずれかの帯域の光の強度を画素毎に１６ビットの深度で示す。

画像生成モジュールＰ１２は、ＲＡＷデータＤ１から画像データＤ２を生成するためのプログラム部品であってＣＰＵ１４を画像生成手段として機能させる。すなわち画像生成モジュールＰ１２は、ガンマ補正、デモザイク処理、ホワイトバランス補正、コントラスト補正、彩度補正、シャープネス補正などの現像機能を実現する。

拡大モジュールＰ１３は、エッジ情報を用いて画像データＤ２を拡大するためのプログラムモジュールであってＣＰＵ１４を拡大手段として機能させる。

１−２．画像処理方法
画像処理装置１において画像データＤ２を拡大する手順を図２に基づいて説明する。
はじめに、画像処理装置１は、ＲＡＷデータＤ１を作成したカメラに対応したガンマ補正をＲＡＷデータＤ１に対して施す（Ｓ１００）。これによって、ＲＡＷデータＤ１の各画素における階調値を被写体からカメラの光電変換素子に届いた光量に比例する値に補正する。なお、ＲＡＷデータＤ１の各画素における階調値がはじめからカメラの光電変換素子に届いた光量に比例する場合には、ガンマ補正を施す必要はない。
次に画像処理装置１は、ＲＡＷデータＤ１からエッジ情報を取得する（Ｓ１０１）。このエッジ情報は、どの画素にどの方向に伸びるエッジ（濃淡の明瞭な境界）が存在していたかを示す情報であることが望ましい。具体的には例えば、１画素あたりＲ、Ｇ、Ｂのいずれか１チャネルの階調値を有するＲＡＷデータＤ１の画素のうちＧチャネルの階調値を有する画素群を画像データとみなし、エッジの強さ（隣接画素との階調値の差分など）が閾値Δ_０を超える画素を白エッジ画素または黒エッジ画素として検出する。このとき、隣接画素より階調値が大きな画素を白エッジ画素とし、隣接画素より階調値が小さな画素を黒エッジ画素とする。そしてＧチャネルにおいて互いに隣接する白エッジ画素の間にあるＢチャネルおよびＲチャネルの画素についても、白エッジ画素として検出し、Ｇチャネルにおいて互いに隣接する黒エッジ画素の間にあるＢチャネルおよびＲチャネルの画素についても、黒エッジ画素として検出する。さらに領域結合と細線化処理によって白エッジ線と黒エッジ線を抽出し、各エッジ画素において白エッジ線または黒エッジ線の方向を検出する。エッジ線の方向は、水平方向、上方向、左斜め上方向、右斜め上方向などに分類して検出すればよい。そして白エッジ線を構成する白エッジ画素および黒エッジ線を構成する黒エッジ画素の位置と、白エッジ線および黒エッジ線の方向とをエッジ情報として記憶する。

次に画像処理装置１は、１画素あたりＲ、Ｇ、Ｂのいずれか１チャネルの階調値を有するＲＡＷデータＤ１から１画素あたりＲ、ＧおよびＢの３チャネルの階調値を有する画像データＤ２を生成するデモザイク処理を実行する（Ｓ１０２）。この処理は、具体的には例えば、エッジ情報を利用し、１チャネルの階調値を有する画素に対して、その周辺の画素であって、エッジ線と平行な方向においてのみ近傍画素の階調値を参照する関数を用いた補間演算を行うことで残りの２チャネルの階調値を導出する。

次に画像処理装置１は、画像データＤ２に対してトーンカーブ補正等の色補正を実施する。具体的には、画像処理装置１は、画像データＤ２の各チャネルの階調値の平均、中央値、度数分布、最大値、最小値、分散等の特徴量を導出し、特徴量に基づいてトーンカーブ補正を制御するパラメータを設定し、設定されたパラメータに応じてトーンカーブ補正を実施する。トーンカーブ補正にはコントラスト補正および彩度補正が含まれる。
次に画像処理装置１は、画像データＤ２のシャープネスを補正する（Ｓ１０４）。

次に画像処理装置１は、エッジ情報を用いて画像データＤ２を拡大する（Ｓ１０５）。具体的には、特定サイズ（例えば４画素×４画素）のマスク毎にマスクの中央に画素を補間する処理を繰り返すとき、マスク内にエッジ画素が存在するか否かをエッジ情報に含まれるエッジ画素の位置を参照して判定し、補間する画素の階調値を導出するアルゴリズムを判定結果によって切り替える。より具体的には例えば、補間される画素に隣接する位置にエッジ画素が存在しない場合には、バイリニア法やバイキュービック法によって補間画素の階調値を導出する。一方、補間される画素に隣接する位置にエッジ画素が存在する場合には、補間される画素に対してエッジ線と平行な方向において隣接するエッジ画素の階調値のみを用いて補間画素の階調値を導出する。エッジ線の方向はエッジ情報によって特定される。

以上述べたようにＲＡＷデータから取得したエッジ情報を用いてデモザイク処理後の画像データを拡大すると、デモザイク処理によるエッジの変化の影響を避けながら画素を補間できる。また、デモザイク処理時にもデモザイク処理後の画像データの拡大時にもエッジ情報を取得し、デモザイク処理時にも画像データの拡大時にもエッジに応じた画素補間を実施する場合に比べると、本実施形態ではデモザイク処理後の画像データからエッジ情報を取得する必要がないため、デモザイク処理後の画像データの拡大処理を高速化することができる。図４を用いて本実施形態の効果をより具体的に説明すると次の通りである。

図４Ａは図３Ａにおいて太線で囲ったＲＡＷデータの線分状の局所領域（ｍ−３≦ｘ≦ｍ＋５、ｙ＝ｎ）において各画素の階調値を示している。また図４Ａにおいて、太い実線はＧチャネルの階調値を示し、細い実践はＲチャネルの階調値を示している。Δ_１＞Δ_０とすると、このＲＡＷデータからは（ｍ、ｎ）の位置において白エッジ画素が検出され、（ｍ＋２、ｎ）の位置において黒エッジ画素が検出される。エッジ画素（ｍ、ｎ）、（ｍ＋２、ｎ）のそれぞれにおいてエッジ線の法線方向はｘ軸と平行（水平向き）である。このようなＲＡＷデータに対するデモザイク処理によって図３Ｂおよび図４Ｂに太線で示すＧチャネルの階調値を有する画素が補間されたとする。その結果、Δ_２＜Δ_０となって、（ｍ、ｎ）から（ｍ＋２、ｎ）の線分領域からエッジ画素が消滅したとする。この場合、エッジ画素がマスク内に存在する場合には滲みや偽色が発生しにくいアルゴリズムに切り替えて補間画素の階調値を導出するとしても、（ｍ、ｎ）から（ｍ＋２、ｎ）の線分領域において、滲みや偽色が発生しにくいアルゴリズムに切り替えられることはない。したがってＲＡＷデータから取得したエッジ情報を用いずに図４Ｂに示す線分状の局所領域を２倍に拡大すると、図４Ｃに太線で階調値を示した（２ｍ＋１、２ｎ）、（２ｍ＋３、２ｎ）の画素が補間されることによって、滲みと偽色が広がる。これに対し、本実施形態によると、ＲＡＷデータから取得したエッジ情報を用いて画像データを拡大するため、エッジ線と平行な方向においてのみ近傍画素の階調値を参照する関数を用いた補間演算を行い、たとえば補間画素（２ｍ＋１、２ｎ）の階調値を白エッジ画素の階調値のみで補間し、補間画素（２ｍ＋３、２ｎ）の階調値を黒エッジ画素の階調値のみで補間することが可能である。したがって本実施形態によると、画像データを拡大することによって滲みや偽色が広がることを抑制できる。

２．他の実施形態
尚、本発明の技術的範囲は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
例えばＲＡＷデータからエッジ情報を取得するときにＢチャネルやＲチャネルの階調値を有する画素群を画像データとみなしてもよいし、互いに隣接するＧチャネルの画素とＲチャネルの画素の階調値の差分を加味してエッジ画素を検出してもよい。

またエッジ情報としてエッジ線の方向を用いずに画像データを拡大してもよい。たとえば、エッジ画素の近傍に画素を拡大のために補関する場合にはバイキュービック法を用い、そうでない場合にはニアリストネイバー法またはバイリニア法を用いて画素を補間してもよい。この場合、画像データの拡大処理において必要となるエッジ情報はエッジ画素の位置のみであるが、計算量が多いバイキュービック法を適用する領域を低減して拡大処理を高速化しつつ、偽色や滲みの発生を抑制することができる。

またエッジ情報としてエッジ画素の位置とエッジ線の方向以外の情報を用いてもよい。たとえば、エッジの強さ（隣接画素同士の階調値の差分など）に応じて拡大のための補間アルゴリズムを切り替える場合には、エッジの強さをＲＡＷデータからエッジ情報として取得しておくことにより、より好ましい拡大結果が得られる。
またデジタルカメラなどのパーソナルコンピュータ以外の画像処理装置において画像データを拡大する形態にも本発明を適用することはいうまでもない。

１：現像処理装置、２：デジタルカメラ、１１：表示制御部、１２：ハードディスク装置、１３：Ｉ／Ｆ、１４：ＣＰＵ、１５：ＲＯＭ、１６：ＲＡＭ、３１：モニタ、３２：キーボード、３３：マウス、Ｄ１：ＲＡＷデータ、Ｄ２：画像データ、Ｐ１：画像処理プログラム、Ｐ１１：エッジ情報取得モジュール、Ｐ１２：画像生成モジュール、Ｐ１３：拡大モジュール

Claims (6)

1. 画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得するエッジ情報取得手段と、
   画素毎に３チャネルの階調値を有する画像データを前記ＲＡＷデータから生成する画像生成手段と、
   前記エッジ情報を用いて前記画像データを拡大することで滲みや偽色を抑制する拡大手段と、を備える画像処理装置。
2. 前記画像生成手段は前記エッジ情報を用いて前記画像データを生成する、 請求項１に記載の画像処理装置。
3. 前記エッジ情報はエッジ画素の位置またはエッジ線の方向の少なくともいずれかを含む、請求項１または２に記載の画像処理装置。
4. 画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得し、
   画素毎に３チャネルの階調値を有する画像データを前記ＲＡＷデータから生成し、
   前記エッジ情報を用いて前記画像データを拡大することで滲みや偽色を抑制する、ことを含む画像処理方法。
5. 画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得するエッジ情報取得手段と、
   画素毎に３チャネルの階調値を有する画像データを前記ＲＡＷデータから生成する画像生成手段と、
   前記エッジ情報を用いて前記画像データを拡大することで滲みや偽色を抑制する拡大手段と、としてコンピューターを機能させる画像処理プログラム。
6. 画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得するエッジ情報取得手段と、
   画素毎に３チャネルの階調値を有する画像データを前記ＲＡＷデータから生成する画像生成手段と、
   前記エッジ情報から特定されるエッジの方向性に基づき前記画像データを拡大する拡大手段と、を備え、
   前記拡大手段は、前記エッジと並行方向の画素を参照した補間演算を行って前記拡大を行う、画像処理装置。

Images