JP6189172B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理方法およびプログラムに関する。

撮像により得られる画像のぼけには様々な要因がある。例えば、撮像時の焦点を合わせる位置のずれによる焦点ぼけや、カメラのシャッターが開いている間にカメラもしくは被写体が動くことによって発生する動きぼけがある。さらに、画像を画素補間により拡大した場合、ナイキスト周波数以上の周波数成分が消失することで画像にぼけが発生する。

なお、本明細書において、画像のぼけとは、撮像により画像が得られる際の過程（以下の説明では、「撮像過程」と称する場合がある）で生じる画像劣化（撮像により本来得られるべき画像を示す原画からの劣化）の一態様であり、１点に結像（集光）すべき光線群が像面上において広がることにより生じる事象を指す。

従来、ほけた画像を鮮鋭化する技術として、様々な技術が知られている。例えば、減衰した周波数成分の復元処理と、消失した周波数成分の生成処理を同時に行い、復元処理により得られた画像と、生成処理により得られた画像とを加算する技術が知られている。

特開２０１０−１７０３０２号公報

しかしながら、上記従来技術における上記生成処理では、撮像過程（劣化過程）を一切考慮しておらず、上記生成処理により生成された画像が原画に近いことを保証するものではない。したがって、上記生成処理で発生したアーチファクトが最終的な加算結果に混入する場合があり、適正な品質の画像を得ることができないという問題がある。

本発明は、撮像により得られた画像の品質を高めることが可能な画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。

実施形態の画像処理装置は、第１生成部と第２生成部と第３生成部と第４生成部とを備える。第１生成部は、入力画像に対して、撮像過程において画像を劣化させる作用に対応する変換の逆変換を施した第１の中間画像を生成する。第２生成部は、入力画像に基づいて、入力画像に含まれない周波数成分を入力画像に付加した第２の中間画像を生成する。第３生成部は、第２の中間画像に対して上記変換を施した第１画像と、入力画像との誤差を示す第１誤差に比べて、第１の中間画像と第２の中間画像とを重み付き加算した画像を示す合成画像に対して上記変換を施した第２画像と、入力画像との誤差を示す第２誤差の方が小さくなるよう、重み付き加算に用いられる重み係数を生成する。第４生成部は、重み係数を用いた重み付き加算を行って合成画像を生成する。

第１実施形態の画像処理装置の構成の一例を示す図。 第１実施形態の入力画像と第１の中間画像のパワースペクトルを示す図。 第１実施形態の画像処理装置のハードウェア構成の一例を示す図。 第１実施形態の画像処理装置の動作例を示すフローチャート。 第２実施形態の画像処理装置の構成の一例を示す図。 第２実施形態の画像処理装置の動作例を示すフローチャート。 第３実施形態の撮像装置の構成の一例を示す図。 第３実施形態の画像処理装置の構成の一例を示す図。 第３実施形態の画像処理装置のハードウェア構成の一例を示す図。

以下、添付図面を参照しながら、本発明に係る画像処理装置、画像処理方法、および、プログラムの実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の画像処理装置１０の構成の一例を示す図である。図１に示すように、画像処理装置１０は、取得部１０１と、第１生成部１０２と、第２生成部１０３と、第３生成部１０４と、第４生成部１０５と、を備える。

取得部１０１は、撮像により得られた画像（入力画像）を取得する。なお、本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。

第１生成部１０２は、取得部１０１により取得された入力画像に対して、撮像過程において画像を劣化させる作用（撮像により本来得られるべき原画を劣化させる作用）に対応する変換の逆変換を施した第１の中間画像を生成する。上記変換は、撮像過程において画像を劣化させる作用（この例では画像をぼけさせる作用）に対応する行列を用いた線形変換で表すことができる。ここでは、第１の中間画像は、入力画像の周波数成分（空間周波数成分）のうち、撮像過程で減衰した（ぼけにより減衰した）周波数成分を復元した画像であると捉えることもできる。図２は、入力画像のパワースペクトルと、第１の中間画像のパワースペクトルとの関係を模式的に示す図である。パワースペクトルとは、周波数ごとに、当該周波数の成分が、対象となる画像の中にどのくらいの大きさで含まれているのかを示すものである。

以下、本実施形態における第１の中間画像の生成方法の具体的な内容を説明する。いま、原画をｘ、入力画像の撮像過程で発生するぼけの作用を表す行列（撮像過程において画像を劣化させる作用に対応する行列）をＫとすると、入力画像ｙは、以下の式１で表すことができる。

画像の総画素数をＮとすると、上記ｘおよび上記ｙは、画像の各画素をラスタスキャン順に並べたＮ次元の列ベクトルであり、上記ＫはＮ×Ｎの行列である。ぼけを復元した画像は、ｙとＫを既知としたとき、ｘを求める問題として扱うことができる。上記式１は、原画ｘが満たすべき条件を表す式である。見方を変えれば、上記式１は、画像ｘが、原画に近いことを保証するための条件を表す式であると考えることもできる。上記第１の中間画像ｘ１は、例えば以下の式２および式３を用いて計算できる。

ここで、上記式２におけるａｒｇ_ｘｍｉｎＥは、Ｅを最小化するｘを探す演算を表す。第１の中間画像ｘ１は、▽Ｅ＝０を解くことで解析的に求められ、以下の式４で表すことができる。

なお、上記Ｅは、以下の式５で表すこともできる。

上記式５におけるＲは、単位行列やラプラシアンフィルタを表す行列などを用いることができる。上記式５の第２項は正則化項と呼ばれ、ノイズの強調を抑制する効果がある。
この場合、上記第１の中間画像ｘ１は、以下の式６で表すことができる。

上記Ｅは、画像全体の画素を並べたｘおよびｙで定義されているが、これに限らず、例えば注目画素の周辺の所定領域で定義することもできる。この場合、画像全体の画素を参照せずに、所定領域内の画素のみを参照してｘ１の値を計算できるため、計算コストを小さくできる。また、上記Ｅでは、Ｌ２ノルムを用いているが、Ｌ１ノルムやロバスト関数などを用いてもよい。さらに、上記Ｅの最小化は、最急降下法や共役勾配法、内点法などの繰り返し計算を用いてもよい。

次に、図１に示す第２生成部１０３について説明する。第２生成部１０３は、取得部１０１により取得された入力画像に基づいて、入力画像に含まれない周波数成分を入力画像に付加した第２の中間画像を生成する。

より具体的には、第２生成部１０３は、入力画像のうち、被写体の輪郭を表すエッジに対応する位置に隣接する画素の画素値を増幅させて第２の中間画像を生成する。さらに言えば、第２生成部１０３は、入力画像のうち、画素値の２階微分値（２次微分値）が正の値から負の値へ、または、負の値から正の値へと変化する箇所を示すゼロクロス点に隣接する画素の画素値を増幅させて第２の中間画像を生成する。以上のようにして、第２生成部１０３は、取得部１０１により取得された入力画像に含まれる周波数成分よりも高い周波数成分を含む第２の中間画像を生成することができる。ここでは、第２生成部１０３は、撮像過程で消失した（ぼけにより消失した）周波数成分を新たに生成することを目的として、第２の中間画像を生成する処理を行う。

なお、本実施形態の第２生成部１０３は、特許文献１に開示されたゼロクロス点に基づく非線形処理を行って第２の中間画像を生成しているが、これに限らず、例えば第２生成部１０３は、ショックフィルタを用いた非線形処理を行って第２の中間画像を生成することもできる。要するに、第２生成部１０３は、入力画像に基づいて、入力画像に含まれない周波数成分を入力画像に付加した第２の中間画像を生成する形態であればよい。

次に、図１に示す第３生成部１０４について説明する。第３生成部１０３は、第２の中間画像に対して、撮像過程において画像を劣化させる作用に対応する変換を施した第１画像と、入力画像との誤差を示す第１誤差が小さいほど、第２の中間画像の比率が大きくなり、かつ、第１の中間画像の比率が小さくなるように、第１の中間画像と第２の中間画像との重み付き加算（後述）に用いられる重み係数を生成する。ここでは、第３生成部１０４は、第２生成部１０３により生成された第２の中間画像を上記行列Ｋでぼかした画像（第１画像）と、入力画像との誤差を示す第１誤差が小さいほど、第２の中間画像の比率が大きくなり、かつ、第１の中間画像の比率が小さくなる重み係数を生成する。より具体的には、以下の式７に基づいて重み係数ａを計算する。この重み係数ａを用いた重み付き加算の具体的な内容については後述する。

上記式７において、ｐは注目画素（注目ピクセル）の位置ベクトルを表し、ｙは入力画像を表し、ｘ２は第２の中間画像を表し、ｋは上記行列Ｋから注目画素に係る成分を抽出した列ベクトルを表し、σは設計者が適宜に設定するパラメータを表す。なお、重み係数ａの計算方法は、上記式７に限らず、例えば以下の式８に示すように、一定の閾値ｔにより定まる矩形関数を用いて計算してもよい。

また、例えば以下の式９に示すように、直線形の関数を用いてもよい。

上記式９において、ｃは、設計者が適宜に設定するパラメータを表す。

次に、図１に示す第４生成部１０５について説明する。第４生成部１０５には、第１生成部１０２により生成された第１の中間画像、第２生成部１０３により生成された第２の中間画像、および、第３生成部１０４により生成された重み係数が入力される。そして、第４生成部１０５は、第３生成部１０４により生成された重み係数を用いて、第１の中間画像と第２の中間画像との重み付き加算を行って合成画像を生成する。本実施形態における合成画像は、以下の式１０で表すことができる。

上記式１０において、ｐは注目画素（注目ピクセル）の位置ベクトルを表し、ｘ３は合成画像を表し、ａは重み係数を表し、ｘ２は第２の中間画像を表し、ｘ１は第１の中間画像を表す。

なお、合成画像は、例えば以下の式１１で表すこともできる。

この場合、上記式１１におけるａ’は、以下の式１２で定義される。

以上のように生成された合成画像が、出力画像として画像処理装置１０から出力される。

図３は、本実施形態の画像処理装置１０のハードウェア構成の一例を示す図である。この例では、画像処理装置１０のハードウェア構成は、通常のコンピュータ装置のハードウェア構成を利用しており、ＣＰＵ４０１と、操作部４０２と、表示部４０３と、ＲＯＭ４０４と、ＲＡＭ４０５と、記憶部４０６とを備え、これらは内部バス４０７を介して相互に接続されている。

ＣＰＵ４０１は、画像処理装置１０を統括的に制御する。操作部４０２は、ユーザが各種の操作に用いるデバイスである。表示部４０３は、各種の画像を表示するデバイスである。ＲＯＭ４０４は、不揮発性のメモリであり、画像処理装置１０の制御に係るプログラムや各種設定情報を書き換え不能に記憶する。ＲＡＭ４０５は、例えばＳＤＲＡＭ等で構成される揮発性のメモリであり、ＣＰＵ４０１の作業エリア（ワークメモリ）として機能し、バッファ等の役割を果たす。記憶部４０６は、磁気的又は光学的に記録可能な記憶媒体を有し、不図示のＩ／Ｆ部を介して外部から取得した入力画像などを記憶する。なお、上述の操作部４０２、表示部４０３、記憶部４０６は、画像処理装置１０外に設けられる形態であってもよい。

本実施形態では、ＣＰＵ４０１が、ＲＯＭ４０４に記憶されたプログラムをＲＡＭ４０５上に読み出して実行することにより、画像処理装置１０の上述の各部の機能（取得部１０１、第１生成部１０２、第２生成部１０３、第３生成部１０４、第４生成部１０５）が実現される。なお、これに限らず、例えば画像処理装置１０の上述の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路）で実現される形態であってもよい。

次に、図４を参照しながら、本実施形態の画像処理装置１０の動作例を説明する。図４は、本実施形態の画像処理装置１０の動作例を示すフローチャートである。図４に示すように、まず取得部１０１は入力画像を取得する（ステップＳ１０１）。次に、第１生成部１０２は、ステップＳ１０１で取得された入力画像に対して、撮像過程において画像を劣化させる作用に対応する変換の逆変換を施した第１の中間画像を生成する（ステップＳ１０２）。この具体的な内容は、上述したとおりである。

次に、第２生成部１０３は、ステップＳ１０１で取得された入力画像に基づいて、入力画像に含まれない周波数成分を入力画像に付加した第２の中間画像を生成する（ステップＳ１０３）。この具体的な内容は、上述したとおりである。

次に、第３生成部１０４は、ステップＳ１０３で生成された第２の中間画像に対して、撮像過程において画像を劣化させる作用に対応する変換を施した第１画像と、ステップＳ１０１で取得された入力画像との誤差を示す第１誤差が小さいほど、第２の中間画像の比率が大きくなり、かつ、第１の中間画像の比率が小さくなるよう、第１の中間画像と第２の中間画像との重み付き加算に用いられる重み係数を生成する（ステップＳ１０４）。この具体的な内容は、上述したとおりである。

次に、第４生成部１０５は、ステップＳ１０４で生成された重み係数を用いて、ステップＳ１０２で生成された第１の中間画像と、ステップＳ１０３で生成された第２の中間画像との重み付き加算を行って合成画像を生成する（ステップＳ１０５）。この具体的な内容は、上述したとおりである。そして、ステップＳ１０５で生成された合成画像が、出力画像として画像処理装置１０から出力される。

以上に説明したように、本実施形態では、第２の中間画像を行列Ｋでぼかした第１画像と、入力画像との誤差を示す第１誤差が小さいほど（つまり、第２の中間画像が原画に近いほど）、第２の中間画像の比率が大きくなり、かつ、第１の中間画像の比率が小さくなる重み係数を用いて、第１の中間画像と第２の中間画像との重み付き加算を行うので、第２の中間画像の中で原画に近い領域（第２の中間画像が原画に近いことを保証するための条件を表す式（例えば上記式１）を満たす領域）は、第１の中間画像よりも優先的に用いられ、第２の中間画像の中で原画に近くない領域（第２の中間画像が原画に近いことを保証するための条件を表す式を満たさない領域）については、第１の中間画像の対応領域が優先的に用いられた画像（合成画像）が生成される。

これにより、第２の中間画像に起因したアーチファクトを抑制しつつ、撮像過程で消失した周波数成分を含む鮮鋭度の高い画像を生成することができる。さらに、上述の重み係数は、第２生成部１０３により生成された第２の中間画像、既知の行列Ｋおよび入力画像から算出できるので、計算コストが少なくて済むという利点もある。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、第１の中間画像と第２の中間画像とを重み付き加算した合成画像に対して、撮像過程において画像を劣化させる作用に対応する変換（上記行列Ｋを用いた線形変換）を施した第２画像と、入力画像との誤差を示す第２誤差が最小となるように、上記重み付き加算に用いられる重み係数が生成される。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。

図５は、第２実施形態の画像処理装置２０の構成の一例を示す図である。図２に示すように、画像処理装置２０は、取得部１０１と、第１生成部１０２と、第２生成部１０３と、第３生成部２０１と、第４生成部１０５と、を備える。取得部１０１、第１生成部１０２、第２生成部１０３および第４生成部１０５の各々の機能は、上述の第１実施形態と同様なので、詳細な説明は省略する。

第３生成部２０１は、第１の中間画像と第２の中間画像とを重み付き加算した合成画像に対して、撮像過程において画像を劣化させる作用に対応する変換（上記行列Ｋを用いた線形変換）を施した第２画像と、取得部１０１により取得された入力画像との誤差を示す第２誤差が最小となる重み係数を生成する。つまり、第３生成部２０１は、合成画像が原画に近くなることを保証するための条件式（例えば上記式１）を満たすように、重み係数を生成する。より具体的には、重み係数ａｘは、以下の式１３および式１４を用いて計算できる。以下の式１３は、０＜ａ＜１の制約のもとでＥ’を最小化するａを探すことを表す。

ここで、上記式１３におけるａｘおよびａは、重みの値を並べた列ベクトルである。また、ベクトルに対する不等式は、そのベクトルの全ての要素に対して不等式が成立することを意味する。上記式１４におけるｘ’は合成画像を表し、以下の式１５で定義される。また、上記式１４におけるＫｘ’は上記第２画像を表している。

上記式１５におけるｘ２は第２の中間画像を表し、ｘ１は第１の中間画像を表す。また、上記式１５におけるＡは、上記式１３および式１４を用いて計算されたａの値を対角成分に持つ対角行列を表し、Ｉは単位行列を表す。

また、上記Ｅ’は、以下の式１６のように正則化項を加えたものでもよい。

また、上記Ｅ’では、Ｌ２ノルムを用いているが、Ｌ１ノルムやロバスト関数などを用いてもよい。さらに、上記Ｅ’の最小化は、不等式の制約式があるため、シンプレックス法や内点法などの繰り返し計算を用いることもできる。

次に、図６を参照しながら、本実施形態の画像処理装置２０の動作例を説明する。図６は、画像処理装置２０の動作例を示すフローチャートである。図６に示すステップＳ２０１〜ステップＳ２０３の処理の内容は、図４に示すステップＳ１０１〜ステップＳ１０３の内容と同様であるので、詳細な説明は省略する。

図６に示すステップＳ２０３の後、第３生成部２０１は、ステップＳ２０２で生成された第１の中間画像とステップＳ２０３で生成された第２の中間画像とを重み付き加算した合成画像に対して上記行列Ｋを用いた線形変換を施した第２画像と、ステップＳ２０１により取得された入力画像との誤差を示す第２誤差が最小となるように、上記重み付き加算に用いられる重み係数を生成する（ステップＳ２０４）。この具体的な内容は上述したとおりである。

次に、第４生成部１０５は、ステップＳ２０４で生成された重み係数を用いて、ステップＳ２０２で生成された第１の中間画像と、ステップＳ２０３で生成された第２の中間画像との重み付き加算を行って合成画像を生成する（ステップＳ２０５）。この例では、第４生成部１０５は、上記式１５に基づいて、合成画像を生成することができる。そして、ステップＳ２０５で生成された合成画像が、出力画像として画像処理装置２０から出力される。

以上に説明したように、本実施形態では、第１の中間画像と第２の中間画像とを重み付き加算した合成画像を上記行列Ｋでぼかした第２画像と、入力画像との誤差を示す第２誤差が最小となる（つまり、合成画像が原画に近いことを保証するための条件式（例えば上記式１）を満たす）重み係数を用いて、第１の中間画像と第２の中間画像との重み付き加算を行うことで、上述の第１実施形態と同様、第２の中間画像に起因したアーチファクトを抑制しつつ、撮像過程で消失した周波数成分を含む鮮鋭度の高い画像を生成することができる。さらに、本実施形態では、合成画像が原画に近いことを保証するための条件式を満たすように重み係数が生成されるので、上述の第１実施形態に比べて高画質な合成画像を生成することができる。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態は、本発明に係る画像処理装置を、撮像装置（センサ）に適用した例である。以下、具体的な内容を説明する。なお、上述の各実施形態と共通する部分については適宜に説明を省略する。

図７は、第３実施形態の撮像装置３００の構成の一例を示す図である。図７に示すように、撮像装置３００は、撮像部３０１と、画像処理装置３０とを有する。

撮像部３０１は、撮像により得られた画像（撮像画像）を、入力画像として画像処理装置３０へ供給する。この例では、撮像部３０１は、２つの視点にそれぞれ対応して配置された２つのカメラ（ステレオカメラ）で構成され、各カメラの撮像画像が、入力画像として画像処理装置３０へ供給されるが、これに限らず、例えば撮像部３０１は、３つ以上の視点にそれぞれ対応して配置された複数のカメラで構成されてもよい。

図８は、画像処理装置３０の構成の一例を示す図である。図８に示すように、画像処理装置３０は、取得部３１０と、第１生成部１０２と、第２生成部１０３と、第３生成部１０４と、第４生成部１０５と、記憶部３２０と、決定部３３０とを備える。なお、第１生成部１０２、第２生成部１０３、第３生成部１０４および第４生成部１０５の各々の機能は、上述の第１実施形態と同様なので、詳細な説明は省略する。

記憶部３２０は、被写体の奥行き値ごとに、上述の行列Ｋを対応付けて記憶する。ここでは、行列Ｋは、予め用意された複数種類の奥行き値ごとに異なる値を示す。

取得部３１０は、入力画像として撮像部３０１から取得した２つの撮像画像間で、対応する特徴点の位置を探索することで、被写体の３次元位置を計測することができる。これにより、取得部３１０は、被写体の奥行き値を取得することができる。なお、ステレオ法における対応点探索としては、公知の様々な技術を利用可能である。また、例えば撮像部３０１が、被写体の奥行き値を算出する機能を有する形態であってもよい。この場合、取得部３１０は、撮像部３０１から、入力画像と奥行き値とを取得することができる。

決定部３３０は、取得部３１０により取得された奥行き値に対応する行列Ｋを、上述の線形変換に用いられる行列Ｋ（第１生成部１０２および第３生成部１０４の各々の処理に用いられる行列Ｋ）として決定する。そして、決定部３３０は、決定した行列Ｋを、第１生成部１０２および第３生成部１０４の各々に供給する。以上のように、本実施形態では、被写体の奥行き値に応じて、行列Ｋが決定されることになる。

図９は、第３実施形態の画像処理装置３０のハードウェア構成の一例を示す図である。図９に示すように、画像処理装置３０は、撮像部３０１と接続するためのＩ／Ｆ部４０８をさらに備える点で図３の構成と相違する。本実施形態では、ＣＰＵ４０１が、ＲＯＭ４０４に記憶されたプログラムをＲＡＭ４０５上に読み出して実行することにより、画像処理装置３０の各部の機能（取得部３１０、第１生成部１０２、第２生成部１０３、第３生成部１０４、第４生成部１０５、決定部３３０）が実現される。なお、これに限らず、例えば画像処理装置３０の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路）で実現される形態であってもよい。また、上述の記憶部３２０は、記憶部４０６により実現されてもよいし、ＲＯＭ４０４により実現されてもよい。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

ここで、上述の第１実施形態では、第２の中間画像を行列Ｋでぼかした第１画像と、入力画像との誤差を示す第１誤差が小さいほど、第２の中間画像の比率が大きくなり、かつ、第１の中間画像の比率が小さくなる重み係数が生成されるが、これは、第１誤差に比べて、第２誤差（第１の中間画像と第２の中間画像とを重み付き加算した合成画像を行列Ｋでぼかした第２画像と、入力画像との誤差）の方が小さくなるように重み係数を生成するという条件を満たす。また、上述の第２実施形態では、上述の第２誤差が最小となる重み係数が生成されるが、これも、第１誤差に比べて、第２誤差の方が小さくなるように重み係数を生成するという条件を満たす。

つまり、上述の第１実施形態の第３生成部１０４、および、第２実施形態の第３生成部２０１の各々の機能は、「第１誤差に比べて、第２誤差の方が小さくなるように重み係数を生成する」という概念に含まれると考えることができる。この概念は、「第１の中間画像と第２の中間画像とを重み付き加算した画像を示す合成画像の方が、第２の中間画像よりも原画（撮像により本来得られるべき画像）に近くなるよう、その重み付き加算に用いられる重み係数を生成する」ことを意味するものであると考えることもできる。

要するに、本発明に係る第３生成部は、第１誤差に比べて、第２誤差の方が小さくなるよう、重み付き加算に用いられる重み係数を生成する形態であればよい。

また、上述した画像処理装置（１０，２０，３０）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述した画像処理装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述した画像処理装置で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

なお、上述の各実施形態やその変形を任意に組み合わせることも可能である。

１０ 画像処理装置
１０１ 取得部
１０２ 第１生成部
１０３ 第２生成部
１０４ 第３生成部
１０５ 第４生成部
３００ 撮像装置
３０１ 撮像部
３１０ 取得部
３２０ 記憶部
３３０ 決定部

Claims (9)

1. 入力画像に対して、撮像過程において画像を劣化させる作用に対応する変換の逆変換を施した第１の中間画像を生成する第１生成部と、
   前記入力画像に基づいて、前記入力画像に含まれない周波数成分を前記入力画像に付加した第２の中間画像を生成する第２生成部と、
   前記第２の中間画像に対して前記変換を施した第１画像と、前記入力画像との誤差を示す第１誤差に比べて、前記第１の中間画像と前記第２の中間画像とを重み付き加算した画像を示す合成画像に対して前記変換を施した第２画像と、前記入力画像との誤差を示す第２誤差の方が小さくなるよう、前記重み付き加算に用いられる重み係数を生成する第３生成部と、
   前記重み係数を用いた前記重み付き加算を行って前記合成画像を生成する第４生成部と、を備える、
   画像処理装置。
2. 前記第３生成部は、前記第１誤差が小さいほど、前記第２の中間画像の比率が大きくなり、かつ、前記第１の中間画像の比率が小さくなる前記重み係数を生成する、
   請求項１に記載の画像処理装置。
3. 前記第３生成部は、前記第２誤差が最小となる前記重み係数を生成する、
   請求項１に記載の画像処理装置。
4. 前記変換は、前記作用に対応する行列を用いた線形変換である、
   請求項１に記載の画像処理装置。
5. 前記第２生成部は、前記入力画像のうち、被写体の輪郭を表すエッジに対応する位置に隣接する画素の画素値を増幅させて前記第２の中間画像を生成する、
   請求項１に記載の画像処理装置。
6. 前記第２生成部は、前記入力画像のうち、画素値の２階微分値が正の値から負の値へ、または、負の値から正の値へと変化する箇所を示すゼロクロス点に隣接する画素の画素値を増幅させて前記第２の中間画像を生成する、
   請求項５に記載の画像処理装置。
7. 被写体の奥行き値ごとに前記行列を対応付けて記憶する記憶部と、
   前記奥行き値を取得する取得部と、
   前記取得部により取得された前記奥行き値に対応する前記行列を、前記変換に用いられる前記行列として決定する決定部と、を備える、
   請求項４に記載の画像処理装置。
8. 入力画像に対して、撮像過程において画像を劣化させる作用に対応する変換の逆変換を施した第１の中間画像を生成する第１生成ステップと、
   前記入力画像に基づいて、前記入力画像に含まれない周波数成分を前記入力画像に付加した第２の中間画像を生成する第２生成ステップと、
   前記第２の中間画像に対して前記変換を施した第１画像と、前記入力画像との誤差を示す第１誤差に比べて、前記第１の中間画像と前記第２の中間画像とを重み付き加算した画像を示す合成画像に対して前記変換を施した第２画像と、前記入力画像との誤差を示す第２誤差の方が小さくなるよう、前記重み付き加算に用いられる重み係数を生成する第３生成ステップと、
   前記重み係数を用いた前記重み付き加算を行って前記合成画像を生成する第４生成ステップと、を含む、
   画像処理方法。
9. コンピュータを、
   入力画像に対して、撮像過程において画像を劣化させる作用に対応する変換の逆変換を施した第１の中間画像を生成する第１生成手段と、
   前記入力画像に基づいて、前記入力画像に含まれない周波数成分を前記入力画像に付加した第２の中間画像を生成する第２生成手段と、
   前記第２の中間画像に対して前記変換を施した第１画像と、前記入力画像との誤差を示す第１誤差に比べて、前記第１の中間画像と前記第２の中間画像とを重み付き加算した画像を示す合成画像に対して前記変換を施した第２画像と、前記入力画像との誤差を示す第２誤差の方が小さくなるよう、前記重み付き加算に用いられる重み係数を生成する第３生成手段と、
   前記重み係数を用いた前記重み付き加算を行って前記合成画像を生成する第４生成手段として機能させる、
   画像処理プログラム。

Images