JP4883030B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、カメラ撮影画像等の多値で撮影された画像データにおいて、２値化を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。

スチルカメラやビデオカメラといった撮影システムで撮影した画像の認識を行う場合には、撮影状況に応じて入力画像の画質補正を行うことで、認識率の精度向上が望める。特に、名刺やホワイトボードに書かれた文字画像、スキャナで取り込まれた文字画像を認識する場合、画質補正方法として２値化処理がよく用いられる。

画像の２値化処理は、各画素が白か黒かの２レベルのうち、ある閾値に基づいて、いずれかの値をとるように決定する処理である。これまでに、２値化処理として、（１）固定閾値法、（２）微分ヒストグラム法（非特許文献１）、（３）判別分析法（非特許文献２）などが提案されている。また、上記を応用した方法も提案されている。例えば、画質劣化を補正する方法（特許文献１乃至３）や、濃度ヒストグラムに基づいて閾値を決定する方法（特許文献４）、画像の部分領域に対して求められた閾値を周囲の閾値を元に補正する方法（特許文献５）等が提案されている。また、補正量を算出する手法については、特許文献６及び７にも開示されている。
特開２００６−１９５６２２号公報 特開２００２−６４７４号公報 特開２００１−２４５１４８号公報 特開２００４−１８００００号公報 特公平６−１４３７４号公報 特開２００１−０６０２６６号公報 特開２００７−０２５９３５号公報 酒井幸市著、「ディジタル画像処理の基礎と応用」、ＣＱ出版、２００３年８月、ｐ４７ 大津展之著、「判別及び最小２乗基準に基づく自動しきい値選定法」、電子通信学会論文誌、ｖｏｌ．Ｊ６３−Ｄ、ｎｏ４、ｐｐ．３４９−３５６，１９８０

しかしながら、上記のような従来技術では、撮影された画像の画質劣化を補正する処理（ノイズ除去・ぼけ除去など）を施した後に２値化処理を行う必要があり、２値化処理にとって画質劣化補正結果が最適なものかどうかを確かめる必要がある。そのため、従来技術では、２値化を行う前に画質劣化用補正パラメータの調整に手間がかかるという問題があった。

本発明は、このような問題点に鑑みてなされたものであり、画質劣化補正による補正結果が２値化処理にとって最適なものかどうかを確かめる必要がなく、精度よく劣化補正及び２値化を行うことができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置の一態様は、入力画像に基づいて、前記入力画像を２値化するための２値化用処理用の補正量と前記撮影対象の原画像からの劣化を補正するための画質劣化用の補正量を統合して補正量を算出する画質補正量算出部と、前記補正量に基づいて、撮影対象の原画像を推定した推定画像を生成する推定画像生成部と、を備えたことを特徴とする。

本発明の画像処理装置の一態様によれば、２値化用の補正量と画像劣化用の補正量とを統合した補正量を求め、この補正量に基づいて推定画像を作成することで、２値化処理にとって画質劣化補正結果が最適なものかどうかを確かめる必要がなく、精度よく劣化補正及び２値化を行うことができる。

以下、添付した図面を参照して本発明の実施の形態について説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置１０の概略構成例を示す機能ブロック図である。この画像処理装置１０は、入力画像に基づいて、入力画像を２値化するための２値化用処理用の補正量と撮影対象の原画像からの劣化を補正するための画質劣化用の補正量を統合して補正量を算出する画質補正量算出部１２１と、補正量に基づいて、撮影対象の原画像を推定した推定画像を生成する推定画像生成部１２２を備えている。ここで、原画像とは、画質劣化が起こりえない環境で撮影対象が撮影された際に取得される画像を意味する。例えば、白黒の２値画像を撮影した場合、撮影画像の原画像は白と黒から構成される。

実環境で撮影対象を撮影した場合には、カメラレンズのひずみや暗電流ノイズ、フォーカス外れ等の劣化が発生する。そのため、完全な白黒画像にはならず、中間色である灰色の画像が撮影される。推定画像とは、このような実環境で撮影された撮影画像から、画質劣化を低減しながら原画像に近づけていく処理を行う際に生成される画像を意味する。完全に原画像に近づけることができた場合、推定画像と原画像は等しくなる。

図２は、画像処理装置１０の更に詳細な構成例を示す機能ブロック図である。図２に示すように、画像処理装置１０は、画像入力部１１０、データ処理部１２０、データ記憶部１３０および画像出力部１４０を有している。データ処理部１２０は、前述した画質補正量算出部１２１及び推定画像生成部１２２に加え、推定画像評価部１２３、パラメータ更新部１２４を有している。

画像入力部１１０は、スチルカメラやビデオカメラといった撮像システムで撮影した画像を入力し、画質補正量算出部１２１に渡す機能を有している。画質補正量算出部１２１は、撮影画像の観測モデルや、事前知識関数記憶部１３２に格納された事前知識を用い、最大事後確率推定の枠組みに基づいて、画質補正量を算出する機能を有している。ここで、事前知識とは、予め既知である撮影画像の特徴であり、例えば、撮影対象が２値画像である等の情報である。

推定画像生成部１２２は、画質補正量算出部１２１で算出された画質補正量を用いて、推定画像を生成する機能を有している。推定画像評価部１２３は、推定画像生成部１２２で生成された推定画像が原画像に近づいたか否か評価を行う機能を有している。パラメータ更新部１２４は、画質補正量を算出する際に使用したパラメータや、推定画像を生成する際に使用する関数パラメータや収束パラメータといった各種のパラメータを更新し、前回の補正処理までに使用された各パラメータをパラメータ記憶部１３１に格納する機能を有している。例えば、パラメータ更新部１２４は、画質補正量算出部１２１によって算出された画質補正量の画質補正係数λや、推定画像生成部１２２で使用された劣化関数ｈのパラメータを更新し、パラメータ記憶部１３１に格納する。

なお、画像の画質補正処理は、反復処理を経て推定画像を生成するため、反復回数に応じて補正係数λ_ｎや劣化関数ｈ_ｎ（ｉ，ｊ）等で使用するパラメータを更新してもよい。画像出力部１４０は、推定画像評価部１２３において、画質補正処理が終了したと判断された際に、生成された推定画像ｙ（ｉ，ｊ）をディスプレイ等の表示デバイス（図示せず）に出力する。

データ記憶部１３０は、パラメータ記憶部１３１と事前知識関数記憶部１３２を有している。パラメータ記憶部１３１は、推定画像を生成するために用いられる関数の変数パラメータや収束パラメータが格納されている。事前知識関数記憶部１３２は、画質補正量算出部１２１で使用する画質補正係数λや劣化関数ｈといった関数が格納されている。

次に、画質補正量算出部１２１が、画質補正量を算出する際の算出方法について説明する。一般的に、画像の観測モデル、すなわち入力画像である撮影画像ｇ（ｉ，ｊ）は、式１によって表すことができる。

ここで、ｈ（ｉ，ｊ）は劣化関数、ｆ（ｉ，ｊ）は原画像、ｎ（ｉ，ｊ）はノイズ成分を表す。劣化関数ｈ（ｉ，ｊ）は画像撮影時に生じる劣化を関数で表現したものである。例えば、劣化関数ｈ（ｉ，ｊ）としては、フォーカス外れを表すぼけ関数が挙げられる。

撮影画像ｇ（ｉ，ｊ）に基づいて算出される推定画像が原画像ｆ（ｉ，ｊ）と一致する事後確率が最大となる画像ｆ_ｍａｐは、式２によって示される。

Ｐｒ（ｆ（ｉ，ｊ）｜ｇ（ｉ，ｊ））を、ｌｏｇで表現し、ベイズの定理を用いると、式２は、式３と表される。

式３において、ノイズ成分ｎ（ｉ，ｊ）の発生確率分布がガウス分布に従う場合には、Ｐｒ（ｇ（ｉ，ｊ）｜ｆ（ｉ，ｊ））を式４とおくことができる。

また、式３より、ｆ_ｍａｐは、式５Ａと示すことができる。

ここで、式５Ａのｆ（ｉ，ｊ）についての２次関数の最大値ｍａｘを求めることは、式５Ｂの二次関数の最小値ｍｉｎを求めることと等しい。

画質補正量算出部１２１によって算出される補正量をＬ（ｉ，ｊ）と置くと、補正量Ｌ（ｉ，ｊ）は、式６によって示すことができる。

Ｐｒ（ｆ（ｉ，ｊ））は、２値画像の事前確率分布を表す。この事前確率分布Ｐｒ（ｆ（ｉ，ｊ））を、事前知識関数ｂ（ｉ，ｊ）とおく。なお、事前知識関数ｂ（ｉ，ｊ）は、事前知識関数記憶部１３２に格納されている。また、推定画像をｙ（ｘ，ｙ）とおくと式６は、式７のように示すことができる。

式７が最小となるｙ（ｉ，ｊ）を求めることで、推定画像ｙ（ｉ，ｊ）は原画像ｆ（ｉ，ｊ）を推定したといえる。式７は２次関数であるため、２次関数の最小化問題は最急降下法や共役勾配法などの解法が知られている。例えば、最急降下法を用いて最小値ｙ（ｉ，ｊ）を求める場合、式８として解く事が可能である。

ただし、ｎは反復回数を表し、λ_ｎは画質補正量係数を示す。また、Ｌ'_ｎ（ｉ，ｊ）は、Ｌｎ（ｉ，ｊ）の微分を意味し、式９で表される。また、ｂ'_ｎ（ｉ，ｊ）は、事前知識関数ｂｎ（ｉ，ｊ）の微分を意味する。画質補正量算出部１２１では、式８の右辺第２項を画質補正量とし、画質補正量λ_ｎＬ'_ｎ（ｉ，ｊ）を算出する。

推定画像生成部１２２は、画質補正量算出部１２１で算出された画質補正量λ_ｎ−１Ｌ'_ｎ−１（ｉ，ｊ）とｎ−１回目の推定画像ｙ_ｎ−１（ｉ，ｊ）を用いて、ｎ回目の推定画像ｙ_ｎ（ｉ，ｊ）を式８により生成する。なお、ｎは反復回数を表し、画質補正係数λ_ｎは、処理回数ごとに異なった係数がパラメータ記憶部１３１に格納されている。

画質補正量算出部１２１は、式９を用いて画質補正量λ_ｎＬ'_ｎ（ｉ，ｊ）を算出する。式７で定義された２値画像の事前知識関数ｂ_ｎ（ｉ，ｊ）を下記のように定義する。

撮影画像は２値で構成されていることを想定しているので、多少の撮影時の画質劣化はあるものの、ヒストグラムを作成した場合、双峰性のヒストグラムが得られる。ヒストグラムの山の部分を２値の代表値α、βとおく（図３）。ｂ_ｎ（ｉ，ｊ）は、式１０Ａ、式１０Ｂのどちらを採用するかは画素値Ｉ_ｎ（ｉ，ｊ）や周囲の画素値の関係性を考慮して決定する。

画素値Ｉ_ｎ（ｉ，ｊ）について、式１０Ａ又は式１０Ｂを採用するかを判断するために、しきい値を設ける。画素値Ｉ_ｎ（ｉ，ｊ）が予め設定されたしきい値よりも小さければ式１０Ａを採用し、画素値Ｉ_ｎ（ｉ，ｊ）がしきい値よりも大きければ式１０Ｂを採用する。しきい値は、例えば、代表値であるα、βを用いて、（α＋β）／２として設定することができる。ここで、ｙ_ｎ（ｉ，ｊ）が画素値９０で、２値代表値α：３６、β：２４０であるとすると、しきい値として（（α＋β）／２））＝１３８が設定される（図４）。ｙ_ｎ（ｉ，ｊ）の画素値９０は、しきい値１３８よりも小さいので、ｙ_ｎ（ｉ，ｊ）は式１０Ａが採用される。なお、（α＋β）／２の値を比較対象として用いるのではなく、パラメータ記憶部１３１に格納された固定しきい値を用いても良い。

Ｌ'_ｎ（ｉ，ｊ）を算出するために式１０Ａ、Ｂを式９に代入すると、式１１Ａ、１１Ｂが得られる。

なお、式１１Ａ、式１１Ｂのどちらを採用するかは、上記ｂ_ｎ（ｉ，ｊ）決定手段に準じる。上記Ｌ'_ｎ（ｉ，ｊ）とパラメータ記憶部１３１に格納された画質補正係数λ_ｎを用いて、画質補正量λ_ｎＬ'_ｎ（ｉ，ｊ）を算出する。Ｌ'_ｎ（ｉ，ｊ）には、画質劣化用の補正量として用いられる第１項と、２値化用の補正量として用いられる第２項ｂ'_ｎ（ｉ，ｊ）が含まれている。すなわち、画質補正量λ_ｎＬ'_ｎ（ｉ，ｊ）には、画質劣化用の補正量及び２値化用の補正量が統合されている。

前述したように、推定画像生成部１２２は、画質補正量算出部１２１で算出された画質補正量λ_ｎ−１Ｌ'_ｎ−１（ｉ，ｊ）とｎ−１回目の推定画像ｙ_ｎ−１（ｉ，ｊ）を用いて、ｎ回目の推定画像ｙ_ｎ（ｉ，ｊ）を式８により生成する。このように生成された推定画像ｙ_ｎ（ｉ，ｊ）は、推定画像評価部１２３によって原画像ｆ（ｉ，ｊ）にどれくらい近似しているかが評価される。推定画像評価部１２３は、画像の観測モデル（式１）に基づいて評価を行う。原画像ｆ（ｉ，ｊ）を推定した推定画像ｙ_ｎ（ｉ，ｊ）は式１を用いて以下の式１２のように表される。

式１２を変形することで式１２が得られる。

ここで、式１３の左辺の式の値が小さいほど、原画像ｆ（ｉ，ｊ）と推定画像ｙ（ｉ，ｊ）は近似していると評価することができる。そこで、左辺を式１４とおく。

評価値Ｅが小さければ、推定画像ｙ（ｉ，ｊ）は原画像ｆ（ｉ，ｊ）に近づいたと判断し、評価値Ｅが大きければ、生成された推定画像ｙ（ｉ，ｊ）が原画像ｆ（ｉ，ｊ）に十分に似通っていないと判断する。推定画像評価部１２３は、評価値Ｅが予め設定されたしきい値Ｅ_ｖａｌ以上であるか否かを判断することにより、推定画像ｙ（ｉ，ｊ）が撮影対象の原画像に近似しているか否かを判断する。なお、推定画像評価部１２３によって、推定画像ｙ（ｉ，ｊ）が原画像ｆ（ｉ，ｊ）に十分近づいたと判断されると、画質補正処理を終了する。また、推定画像評価部１２３によって、推定画像ｙ（ｉ，ｊ）が原画像ｆ（ｉ，ｊ）に対して、十分に近似されていないと判断されると、画像処理装置１０は、画質補正量算出部１２１によって再度画像補正量を算出し、この画像補正量に基づいて推定画像ｙ（ｉ，ｊ）を生成する。

次に、このように構成された画像処理装置の動作について処理手順について説明する。図５は、本発明の第１の実施形態に係る画像処理装置１０の処理手順を示すフローチャートである。はじめに、スチルカメラやビデオカメラなどの撮影デバイスで撮影対象を撮影する（ステップＳ１０）。画像入力部１１０は、撮影された撮影画像を入力し、データ処理部１２０に出力する。画質補正量算出部１２１は、画素値Ｉ_ｎ（ｉ，ｊ）や周囲の画素値の関連性を考慮して、２値化のための補正量としてｂ_ｎ（ｉ，ｊ）を設定する（ステップＳ１１）。なお、本実施形態においては、ｂ_ｎ（ｉ，ｊ）は、予め事前知識関数として事前知識関数記憶部１３２に保存されているため、画質補正量算出部１２１は、取得された撮影画像に基づいて最適なｂ_ｎ（ｉ，ｊ）を選択する。例えば、画素値Ｉ_ｎ（ｉ，ｊ）がαに近い場合には、式１０Ａを選択し、βに近い場合は式１０Ｂを選択する。

また、画質補正量算出部１２１は、式１１Ａ又は式１１Ｂに対してＬ'_ｎ（ｉ，ｊ）とパラメータ記憶部１３１に格納された画質補正係数λ_ｎを用いることで、２値化用の補正量と劣化用の補正量とが統合された画質補正量λ_ｎＬ'_ｎ（ｉ，ｊ）を算出する（ステップＳ１２）。ここで、画質補正量を用いて推定画像を生成する処理回数が１回であれば（ステップＳ１３においてＹｅｓ）、推定画像生成部１２２は、ノイズ除去や画像の鮮鋭化処理を行う（ステップＳ１４）。処理回数が１回目の場合には、０回目の推定画像ｙ_０（ｉ，ｊ）である撮影画像ｇ（ｉ，ｊ）は、ノイズやぼけによって画質劣化が発生しているものとし、予め設定されたパラメータを元に、ｙ_０（ｉ，ｊ）に対してノイズ除去や、鮮鋭化処理を行う。一方、画質補正量を用いて推定画像を生成する処理回数が２回目以降であれば（ステップＳ１３においてＮｏ）、推定画像生成部１２２は、画質補正量算出部１２１によって生成された画質補正量λ_ｎＬ'_ｎ（ｉ，ｊ）と、ｎ−１回目に生成された推定画像ｙ_ｎ−１（ｉ，ｊ）を用いて、ｎ回目の推定画像ｙ_ｎ（ｉ，ｊ）を式８により生成する（ステップＳ１５）。

推定画像評価部１２３は、式１４によって評価値Ｅを生成し推定画像を評価する（ステップＳ１６）。推定画像評価部１２３は、算出された評価値Ｅが、予め設定されたしきい値Ｅ_ｖａｌ以上であるか否かを判断することにより、推定画像ｙ（ｉ，ｊ）が撮影対象の原画像に近似しているか否かを判断する（ステップＳ１７）。ここで、評価値Ｅがしきい値Ｅ_ｖａｌ以内であれば（ステップＳ１７においてＹｅｓ）、推定画像が十分に原画像に近似しているとして画像補正処理を終了する（ＥＮＤ）。評価値Ｅがしきい値Ｅ_ｖａｌ以内でなければ（ステップＳ１７においてＮｏ）、生成された推定画像が原画像に近似していないと判断し、パラメータ更新部１２４によって、補正量を算出する際に用いるパラメータを更新する（ステップＳ１８）。

具体的には、パラメータ更新部１２４は、劣化関数ｈ_ｎ（ｉ，ｊ）のパラメータや、画質補正係数λ_ｎ、２値補正係数γ_ｎといったパラメータを更新する。そして、ステップＳ１１に戻り、再び補正量を算出する。例えば、撮影によって生じた画質劣化がぼけである場合、当該推定処理を行うたびに画質劣化は補正され、ぼけの大きさは小さくなる。よって、処理回数に応じて劣化関数ｈｎ（ｉ，ｊ）のパラメータを小さくすることになる。ぼけを表現する代表的な劣化関数ｈ_ｎ（ｉ，ｊ）は２次元ガウス関数で表現することができる（式１５）。この場合パラメータσｎがぼけの大きさを表すことになり、σｎの値を処理回数に応じて小さくする。また、画質補正係数λｎに関しても処理回数に応じて係数を更新することで推定精度を向上させる。

ここで、２値補正係数γ_ｎは、２値補正量である式１０Ａ、式１０Ｂに対する重み係数である。２値補正係数γ_ｎを大きくすると収束時間は短くなるが、精度は低下する。また、小さくすると収束時間は長くなるが、精度はよくなる。当該処理を適用するシステム要件に応じて２値補正係数γ_ｎを決定すればよい。

このように構成された画像処理装置１０では、２値画像の事前確率分布を考慮した補正量と撮影時の画質劣化を考慮した補正量を画質補正量算出部１２１で統合して求めるので、劣化した画像を補正しながら２値化処理を行うことができる。すなわち、２値化処理前に、２値化処理のための画質劣化補正処理パラメータをあらかじめ調整する必要がない。

図６〜８は、本実施形態に係る画像処理装置による処理結果を示す図である。図６は撮影対象の撮影画像である。図７は、目視による画質劣化補正を行った後に、判別分析法を用いた２値化処理結果画像を表した図である。図８は、本実施形態に係る画像処理装置によって画質補正処理を実行した２値化処理結果画像である。このように、本実施形態に係る画像処理装置によって画質補正処理が行われた画像（図８）は、図７に示す目視による画質劣化補正を行った画像に比べて、より鮮鋭に図６に示される撮影画像に対して補正処理が実行されたことが分かる。

このように、本実施形態の画像処理装置によれば、ユーザが画質劣化補正処理のパラメータを前もって試行錯誤する必要がなく、最適な２値化処理を行うことが可能となる。

なお、上記の説明では、画素値Ｉ_ｎ（ｉ，ｊ）に応じて式１１Ａ又は式１１Ｂを用いるか判断しているが、周囲の画素値の関係性を考慮してｂ_ｎ（ｉ，ｊ）を決定してもよい。例えば、画素値Ｉ_ｎ（ｉ，ｊ）の周囲８近傍の画素値が画素値Ｉ_ｎ（ｉ，ｊ）よりも小さく、周囲８近傍の画素値に対する２値代表値がαの場合、画素値Ｉ_ｎ（ｉ，ｊ）の２値代表値をβと設定する。つまり、画素値Ｉ_ｎ（ｉ，ｊ）が撮影時の画質劣化によって、周囲の画素値の影響を受けることを考慮する方式を用いても良い。

［第２の実施形態］
図９は、本発明の第２の実施形態に係る画像処理装置の機能ブロック図である。なお、第１の実施形態と略同一の構成要素については、同一符号を付すことによりその説明を省略する。第２の実施形態の特徴は、データ処理部１２０Ａに、プレーン分解部１５１及びプレーン合成部１５２が更に備えられている点にある。データ処理部１２０Ａは、プレーン分解部１５１とプレーン合成部１５２を有しており、プレーン分解部１５１は、撮影画像をカラープレーンに分解する機能を有している。プレーン分解部１５１は、入力画像がＲＧＢで構成されている場合はＲプレーン、Ｇプレーン、Ｂプレーンに分解することができ、ＹＵＶで構成されている場合は、Ｙプレーン、Ｕプレーン、Ｖプレーンに分解することが可能である。

プレーン合成部１５２は、分解されたカラープレーンを合成する機能を有している。プレーン合成部１５２は、全てのカラープレーンでの推定画像の評価値Ｅがしきい値Ｅ_ｖａｌ以内となった場合に、カラープレーンの合成を行う。

なお、図９の構成要素である１２１〜１２４は、図２に示される各構成要素１２１〜１２４と同じ機能を有しているが、プレーン分解部１５１によって分解されたカラープレーン毎に画質補正処理を行うことが可能である。

次に、このように構成された画像処理装置１１の画像補正処理について説明する。図１０は、本発明の第２の実施形態に係る画像処理装置１１の処理方法のフローチャートである。

図９のステップＳ１０〜Ｓ１８は、図５のステップＳ１０〜Ｓ１８と同じであるためその説明を省略する。第２の実施形態においては、ステップＳ１０において撮影対象を撮影した後、撮影画像をプレーン分解部１５１によって複数のカラープレーンに分解する（ステップＳ１００）。そして、分解されたカラープレーンごとに２値補正量、画質補正量を算出し（ステップＳ１１、Ｓ１２）、処理回数に応じた処理を行う（ステップＳ１３〜Ｓ１５）。また、推定画像評価部１２３では、カラープレーンごとに推定画像評価を行う（ステップＳ１６）。そして、評価値Ｅがしきい値Ｅ_ｖａｌ以内であれば（ステップＳ１７においてＹｅｓ）、カラープレーンを合成（ステップＳ１０１）して画質補正処理を終了する。一方、評価値Ｅがしきい値Ｅｖａｌより大きければ（ステップＳ１７においてＮｏ）、パラメータ更新部１２４によって、パラメータを更新し（ステップＳ１８）、ステップ１１に戻る。

上記第２の実施形態に係る画像処理装置１１は、第１の実施形態と同様の効果を有し、さらに以下の効果を有している。すなわち、画像処理装置１１においては、プレーン分解部１５１が撮影画像を例えばＲＧＢの３プレーンに分解し、各々のカラープレーンに対して補正量を求め画質補正処理を行い、ブレーン合成部が分解されたプレーンを合成することで、カラー画像が生成される。したがって、画像処理装置１１は、道路標識や看板などカラーの２値成分で構成された物体についても精度良く２値化をすることができる。例えば「駐車禁止」標識は赤と青から構成されており、撮影画像を赤と青の２値に精度良く分離することができる。

このように、本実施形態によれば、撮影画像をカラープレーンに分解し、それぞれのカラープレーンに対して画像補正処理を行うことで、カラー画像であっても精度よく画質補正処理を行うことができる。

尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の第１の実施形態に係る画像処理装置の機能ブロック図である。 本発明の第１の実施形態に係る画像処理装置の更に詳細な構成例を示す機能ブロック図である。 撮影画像のヒストグラムを示す図である。 ヒストグラムと２値の代表値α、βとの関係を示す図である。 本発明の第１の実施形態に係る画像処理装置の画質補正処理を示すフローチャートである。 撮像画像である。 目視による画質劣化補正を行った画像である。 本実施形態に係る画像処理装置によって画質補正処理が行われた画像である。 本発明の第２の実施形態に係る画像処理装置の機能ブロック図である。 本発明の第２の実施形態に係る画像処理装置の画質補正処理のフローチャートである。

符号の説明

１０、１１ 画像処理装置
１１０ 画像入力部
１２０、１２０Ａ データ処理部
１２１ 画質補正量算出部
１２２ 推定画像生成部
１２３ 推定画像評価部
１２４ パラメータ更新部
１３０ データ記憶部
１３１ パラメータ記憶部
１３２ 事前知識関数記憶部
１４０ 画像出力部
１５１ プレーン分解部
１５２ プレーン合成部
ｂ 事前知識関数
Ｅ 評価値
Ｅ_ｖａｌ しきい値
ｆ 原画像
ｆ_ｍａｐ 画像
ｇ 撮影画像
ｈ 劣化関数
Ｉ_ｎ 画素値
ｎ ノイズ成分
Ｐｒ 事前確率分布
ｙ 推定画像
α、β 代表値
γ_ｎ ２値補正係数
λ_ｎ 画質補正係数
λ_ｎＬ 画質補正量
σ_ｎ パラメータ

Claims (17)

1. 入力画像に基づいて、前記入力画像を２値化するための２値化用の補正量と前記撮影対象の原画像からの劣化を補正するための画質劣化用の補正量を統合して補正量を算出する画質補正量算出部と、
   前記補正量に基づいて、撮影対象の原画像を推定した推定画像を生成する推定画像生成部と、を備えた画像処理装置。
2. 前記推定画像生成部によって推定された前記推定画像が、前記撮影対象の原画像に近似するか否かを評価する推定画像評価部を更に備えた
   請求項１記載の画像処理装置。
3. 予め既知である前記撮影対象の特徴に応じて補正関数を記憶する事前知識関数記憶部を更に備え、前記画質補正算出部は、前記事前知識関数記憶部によって記憶された前記補正関数を用いて前記２値化用の補正量を算出する
   請求項１又は２記載の画像処理装置。
4. 前記画質補正量算出部は、前記推定画像評価部によって、推定された前記推定画像が前記撮影対象の原画像に十分に近似していると判定されるまで前記補正量を繰り返し算出し、
   前記推定画像生成部は、ｎ−１回目に推定した前記推定画像と、前記画質補正量算出部がｎ回目に算出した前記補正量に基づいてｎ回目に推定する推定画像を生成する
   請求項２又は３記載の画像処理装置。
5. 前記推定画像評価部は、前記推定画像が前記撮影対象の原画像に近似するか否かを評価する評価値を算出し、前記評価値と予め設定されたしきい値とを比較することにより、前記推定画像が前記撮影対象の原画像に近似するか否かを判定する
   請求項２乃至４のうちいずれか１項に記載の画像処理装置。
6. 前記推定画像評価部によって前記推定画像が前記撮影対象の原画像に近似していないと判定した場合には、前記推定画像生成部は、ｎ−１回目に推定した前記推定画像と、前記画質補正量算出部がｎ回目に算出した前記補正量に基づいてｎ回目に推定する推定画像を生成する
   請求項４又は５記載の画像処理装置。
7. 以前に前記補正量を算出する際に用いたパラメータを記憶するパラメータ記憶部を更に備え、
   前記補正量算出部は、前記パラメータ記憶部から前記パラメータを取得して、前記補正量を算出する際に使用するパラメータを最適値に設定する
   請求項１乃至６のうちいずれか１項に記載の画像処理装置。
8. 前記入力画像を複数のカラープレーンに分解するプレーン分解部を更に備え、
   前記推定画像生成部は、前記プレーン分解部によって分解されたカラープレーン毎に前記推定画像を生成する
   請求項１乃至７のうちいずれか１項に記載の画像処理装置。
9. 入力画像に基づいて、前記入力画像を２値化するための２値化用の補正量と前記撮影対象の原画像からの劣化を補正するための画質劣化用の補正量を統合して補正量を算出し、
   前記補正量に基づいて、撮影対象の原画像を推定した推定画像を生成する
   画像処理方法。
10. 前記推定画像が、前記撮影対象の原画像に近似するか否かを評価する
    請求項９記載の画像処理方法。
11. 予め既知である前記撮影対象の特徴に応じて補正関数を記憶し、
    記憶された前記補正関数を用いて前記２値化用の補正量を算出する
    請求項９又は１０記載の画像処理方法。
12. 前記推定画像が前記撮影対象の原画像に十分に近似していると判定されるまで補正量を繰り返し算出し、
    ｎ−１回目に推定した前記推定画像と、ｎ回目に算出した前記補正量に基づいてｎ回目に推定する推定画像を生成する
    請求項９乃至１１のうちいずれか１項記載の画像処理方法。
13. 前記推定画像が前記撮影対象の原画像に近似するか否かを評価する評価値を算出し、
    前記評価値と予め設定されたしきい値とを比較することにより、前記推定画像が前記撮影対象の原画像に近似するか否かを判定する
    請求項９乃至１２のうちいずれか１項に記載の画像処理方法。
14. 前記推定画像が前記撮影対象の原画像に近似していないと判定した場合には、ｎ−１回目に推定した前記推定画像と、前記画質補正量算出部がｎ回目に算出した前記補正量に基づいてｎ回目に推定する推定画像を生成する
    請求項１２又は１３記載の画像処理方法。
15. 以前に前記補正量を算出する際に用いたパラメータを記憶すし、
    記憶された前記パラメータを用いて、前記補正量を算出する際に使用するパラメータを最適値に設定する
    請求項９乃至１４のうちいずれか１項に記載の画像処理方法。
16. 前記入力画像を複数のカラープレーンに分解し、
    分解された前記カラープレーン毎に前記推定画像を生成する
    請求項９乃至１５のうちいずれか１項に記載の画像処理方法。
17. 請求項９乃至１６のうちいずれか１項に記載の画像処理を実行させるための画像処理プログラム。