JP4631966B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、動き補償画像の生成処理や画像のノイズ低減を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。

例えばカメラやビデオなどの撮像装置によって撮影された画像には少なからずノイズが含まれる。特に低照度下での撮影や、短い露光時間での撮影画像には多くのノイズが含まれる場合が多い。これは低照度下での撮影や短い露光時間での撮影が行われた場合、入射光量が少なく撮像素子の電荷蓄積量が減少することが１つの原因である。このような撮像データに基づいて明るい像を得るためには信号の増幅が必要となる。この増幅処理の際に撮像素子やアナログ回路において生じるノイズが増幅され、結果として得られる画像がノイズの多い画像になる。

ノイズを減少させるためには、長時間露光が有効であるが、長時間露光を行うと露光中の手ぶれによる画像のにじみが発生する可能性がある。他の方法として、露光にじみが殆ど生じない高速のシャッター速度で撮影を繰り返す連写を行い、連写により得られた複数の画像を加算平均することによって、時間方向に無相関なノイズを低減する方法がある。しかし、この複数の画像の加算処理は計算量が多く処理効率を低下させるという問題がある。

画像のノイズ低減手法を開示した従来技術として例えば以下のような文献がある。
特許文献１（特開平９−２６１５２６号公報）は、連写により得られた複数の画像の手振れを補正して重ね合わせる構成を開示している。
特許文献２（特開平１１−７５１０５号公報）は、全露光時間を複数の露光期間に分割し、各露光期間で得られた画像を手ぶれ補正して加算することで画質の向上を実現する構成を記載している。

特許文献１や特許文献２に記載された構成は、いずれも複数の画像から動きベクトルを検出して複数の画像間の動き情報を得て、これらの動き情報を利用して画像の合成を行う構成である。しかし、前述のように画像の加算処理は計算量が多く処理効率を低下させるという問題がある。

特開平９−２６１５２６号公報 特開平１１−７５１０５号公報

本発明は、上記問題点に鑑みてなされたものであり、複数画像の合成によってノイズ低減画像を生成する構成において、画像の加算処理における処理負荷を低減して高速処理を可能とし、さらに精度の高い加算重みの算出により高品質なノイズ低減画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
基準画像と参照画像との画像間の動きを示す動きベクトルを検出する動き予測処理部と、
前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成する動き補償処理部と、
前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理部と、
前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定部と、
前記加算判定部に対して入力する前記基準画像と前記動き補償画像の縮小処理を行うダウンサンプリング処理部と、
前記加算判定部の出力である加算係数マップの拡大処理を行うアップサンプリング処理部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記加算判定部は、前記ダウンサンプリング処理部の生成した前記基準画像と前記動き補償画像の縮小画像を適用して該縮小画像の構成画素に対応する加算重みの算出を行う構成である。

さらに、本発明の第２の側面は、
基準画像と参照画像との画像間の動きを示す動きベクトルを検出する動き予測処理部と、
前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成する動き補償処理部と、
前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理部と、
前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定部を有し、
前記加算判定部は、
前記基準画像と前記動き補償画像の解析を実行し、前記動き補償画像を区分した小領域の各々が、
（ａ）動き推定（ＭＥ）成功領域、
（ｂ）動き推定（ＭＥ）失敗領域、
（ｃ）上記（ａ），（ｂ）いずれでもない詳細確認必要領域、
上記の（ａ）〜（ｃ）のいずれに対応する領域であるかの領域属性を判定する領域判定部と、
前記領域判定部の判定結果である領域属性に応じて各領域に属する加算重みの算出処理を異なる処理として実行する加算重み設定部を有する構成である画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記加算重み設定部は、前記小領域が動き推定（ＭＥ）成功領域である場合、該小領域に含まれる画素対応の加算重みを１に設定し、前記小領域が動き推定（ＭＥ）失敗領域である場合、該小領域に含まれる画素対応の加算重みを０に設定する処理を行なう構成である。

さらに、本発明の画像処理装置の一実施態様において、前記加算重み設定部は、前記小領域が動き推定（ＭＥ）成功領域、動き推定（ＭＥ）失敗領域のいずれでもない領域である場合は、該領域に含まれる画素単位で前記基準画像と前記動き補償画像の対応画素の差分情報を含む情報の解析により、各画素対応の加算重みを算出する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記領域判定部は、前記基準画像と前記動き補償画像の対応画素の差分値対応の分散値、または平均値、または中間値、または最頻値、または最大値、または最小値の少なくともいずれかを算出し、いずれかの算出値と予め設定した閾値との比較処理により領域判定処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記領域判定部は、前記基準画像と前記動き補償画像の正規化相関を算出し、予め設定した閾値との比較処理により領域判定処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記加算判定部は、さらに、前記領域判定部の判定結果である領域属性に応じて画素値対応の推定ノイズ量を変えたノイズ判定テーブルを生成するノイズ判定テーブル生成部を有し、前記加算重み設定部は、前記ノイズ判定テーブルを適用して推定されるノイズ量を適用して各領域に属する画素対応の加算重みを、前記領域属性に応じて異なる処理として実行する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記加算判定部は、さらに、前記領域判定部の判定結果である領域属性に応じて加算重み補正値を算出する加算重み補正値算出部と、前記加算重み設定部の算出した画素対応の加算重みの値と前記加算重み補正値算出部の算出した加算重み補正値との演算処理を実行する演算部と、前記演算部の出力を０〜１の範囲に調整する加算重み調整部を有する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記加算判定部は、ダウンサンプリング処理部の生成した前記基準画像と前記動き補償画像の縮小画像を適用して該縮小画像の構成画素に対応する加算重みの算出を行う構成である。

さらに、本発明の第３の側面は、
ノイズ低減画像を生成する画像処理装置における画像処理方法であり、
動き予測処理部が、基準画像と参照画像との画像間の動きを示す動きベクトルを検出する動き予測処理ステップと、
動き補償処理部が、前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成する動き補償処理ステップと、
加算処理部が、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理ステップと、
加算判定部が、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定ステップと、
ダウンサンプリング処理部が、前記加算判定部に対して入力する前記基準画像と前記動き補償画像の縮小処理を行うダウンサンプリング処理ステップと、
アップサンプリング処理部が、前記加算判定部の出力である加算係数マップの拡大処理を行うアップサンプリング処理ステップを有する画像処理方法にある。

さらに、本発明の第４の側面は、
ノイズ低減画像を生成する画像処理装置における画像処理方法であり、
動き予測処理部が、基準画像と参照画像との画像間の動きを示す動きベクトルを検出する動き予測処理ステップと、
動き補償処理部が、前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成する動き補償処理ステップと、
加算処理部が、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理ステップと、
加算判定部が、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定ステップを有し、
前記加算判定ステップは、
前記基準画像と前記動き補償画像の解析を実行し、前記動き補償画像を区分した小領域の各々が、
（ａ）動き推定（ＭＥ）成功領域、
（ｂ）動き推定（ＭＥ）失敗領域、
（ｃ）上記（ａ），（ｂ）いずれでもない詳細確認必要領域、
上記の（ａ）〜（ｃ）のいずれに対応する領域であるかの領域属性を判定する領域判定ステップと、
前記領域判定ステップにおける判定結果である領域属性に応じて各領域に属する加算重みの算出処理を異なる処理として実行する加算重み設定ステップを有する画像処理方法にある。

さらに、本発明の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
動き予測処理部に、基準画像と参照画像との画像間の動きを示す動きベクトルを検出させる動き予測処理ステップと、
動き補償処理部に、前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成させる動き補償処理ステップと、
加算処理部に、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成させる加算処理ステップと、
加算判定部に、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出させる加算判定ステップと、
ダウンサンプリング処理部に、前記加算判定部に対して入力する前記基準画像と前記動き補償画像の縮小処理を行わせるダウンサンプリング処理ステップと、
アップサンプリング処理部に、前記加算判定部の出力である加算係数マップの拡大処理を行わせるアップサンプリング処理ステップを有するプログラムにある。

さらに、本発明の第６の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
動き予測処理部に、基準画像と参照画像との画像間の動きを示す動きベクトルを検出させる動き予測処理ステップと、
動き補償処理部に、前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成させる動き補償処理ステップと、
加算処理部に、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成させる加算処理ステップと、
加算判定部に、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出させる加算判定ステップを有し、
前記加算判定ステップは、
前記基準画像と前記動き補償画像の解析を実行し、前記動き補償画像を区分した小領域の各々が、
（ａ）動き推定（ＭＥ）成功領域、
（ｂ）動き推定（ＭＥ）失敗領域、
（ｃ）上記（ａ），（ｂ）いずれでもない詳細確認必要領域、
上記の（ａ）〜（ｃ）のいずれに対応する領域であるかの領域属性を判定させる領域判定ステップと、
前記領域判定ステップにおける判定結果である領域属性に応じて各領域に属する加算重みの算出処理を異なる処理として実行させる加算重み設定ステップを有するプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、基準画像と参照画像とから画像間の動きを示す動きベクトルを適用して参照画像の動き補償を実行して動き補償画像を生成し、加算判定部が算出する動き補償画像の加算重みを適用して、基準画像と動き補償画像とを加算してノイズ低減画像を生成する。この構成において、加算判定部は基準画像と動き補償画像の縮小画像を入力して加算重み算出を行う。さらに、加算判定部は動き補償画像の動き推定の成否を小領域単位で判定し、動き推定の成否に応じて加算重みを調整する。これらの構成により、加算判定処理の効率化および加算重みの高精度化を図り品質の高いノイズ低減画像生成を実現した。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。以下、下記の項目に従って、順次説明する。
（１）画像処理装置の基本構成
（１ａ）ノイズ低減画像を生成する画像処理装置の構成および処理について
（１ｂ）加算判定部および加算処理部の構成および処理について
（２）高速処理や高精度なノイズ低減画像の生成を可能とした画像処理装置
（２ａ）縮小画像を適用した加算判定処理を実行する画像処理装置（実施例１）
（２ｂ）動き推定（ＭＥ）の成功判定情報を適用した加算判定処理を実行する画像処理装置（実施例２）
（２ｃ）ノイズと動き推定（ＭＥ）失敗領域との判別情報を適用した加算判定処理を実行する画像処理装置（実施例３）
（２ｃ−１）領域判定結果に応じたノイズ判定テーブルの適用例
（２ｃ−２）領域判定結果に応じた加算重みの補正処理を行う構成例
（３）画像処理装置のハードウェア構成例

＜（１）画像処理装置の基本構成＞
［（１ａ）ノイズ低減画像を生成する画像処理装置の構成および処理について］
まず、ノイズ低減画像を生成する画像処理装置の基本構成について図１以下を参照して説明する。図１は、複数の画像を適用した画像合成処理によるノイズ低減画像生成処理を行う画像処理装置の構成を示す図である。なお、この図１に示す画像処理装置は、本出願人と同一出願人の先の特許出願（特願２００７−１３６１８４号）に記載された画像処理装置とほぼ同様の構成である。本発明は、この先の特許出願（特願２００７−１３６１８４号）に記載された画像処理装置の構成をベースとして改良を行い高速処理や高精度な処理を実現するものである。本発明の画像処理装置の実施例については項目（２）以下において説明するが、まず、そのベースとなる画像処理装置の構成および処理について項目（１）において説明する。

図１に示す画像処理装置１０は、単独の画像処理装置として設定可能であるが、例えばカメラやＰＣや画像表示装置の内部の一構成要素としても設定可能である。

以下においては、図１に示す画像処理装置１０がカメラ内部に備えられ、連続撮影される画像がフレームメモリ１１に対する入力画像として順次格納されるものとして説明する。画像処理装置１０は、フレームメモリ１１、動き予測処理部１２、動き補償処理部１３、加算判定部１４、加算処理部１５を有する。フレームメモリ１１には、撮影画像が入力画像として順次格納される。

入力画像はノイズを含む画像であり、図１に示す画像処理装置１０は、この入力画像からのノイズ低減を行い、最終的に図１に示す加算処理部１５の出力としてノイズ低減画像（ＮＲ画像）を出力する。

動き予測処理部１２には、フレームメモリ１１から基準画像および参照画像が入力される。なお、基準画像はノイズ低減処理の対象とする画像であり、参照画像は、基準画像のノイズ低減処理に適用するための画像である。例えば基準画像と参照画像とから動きベクトルが求められる。なお、基準画像に対するノイズ低減処理は、複数の連続撮影された参照画像を適用して行われる。

例えば１つの基準画像と１つの参照画像を適用して生成されたノイズ低減画像がフレームメモリ１１に再格納され、このノイズ低減画像が新たな基準画像として、次の第２の参照画像を適用してさらなるノイズ低減処理がなされる。なお、具体的処理例については、図２を参照して後段で説明する。

動き予測処理部１２は、フレームメモリ１１から基準画像および参照画像を適用して動きベクトルを算出する。例えば１つの画像フレームを区分した小領域（ブロック）単位で、参照画像のブロックと基準画像の対応ブロックとの位置合わせを行い、ブロック単位の動きベクトルＭＶを出力する。動きベクトルＭＶは基準画像と参照画像間の画像の動きを示すベクトルである。なお動きベクトルは平行移動のみならず拡縮、回転等の情報を含むベクトルとして設定可能である。

動きベクトルＭＶの検出においては、例えばブロックマッチング法を適用することができる。ブロックマッチング法は、前記の小領域（ブロック）内をさらに微小ブロックに分割して、基準画像および参照画像の各微小ブロックの画素値の絶対差分値（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出して、絶対差分値（ＳＡＤ）の小さい微小ブロックの組を対応ブロックであると推定する処理である。２つの画像の対応ブロック間を結ぶベクトルを動きベクトルとして決定することができる。

動き補償処理部１３は、動き予測処理部１２の生成した動きベクトルＭＶを適用して基準画像または参照画像の動き補償を行い、動き補償画像（ＭＣ画）を生成する。すなわち、基準画像の被写体位置と参照画像の被写体位置を合わせるように基準画像または参照画像を移動させた動き補償画像（ＭＣ画）を生成する。動き補償処理部１３の生成した動き補償画像（ＭＣ画）は、加算判定部１４および加算処理部１５に供給される。

加算判定部１４は、動き補償処理部１３の生成した動き補償画像（ＭＣ画）と基準画像、およびノイズ量推定に用いる画像情報（撮影条件など）を入力する。画像情報は、例えばカメラ内部のマイコンから供給される。画像情報には、入力画像（撮影画像）に対応する撮影モード、露光時間、ゲイン等の情報が含まれる。

加算判定部１４は、加算処理部１５で使用される加算重みを画素単位で生成する。加算重みは、加算の信頼度を表す。すなわち、基準画像と動き補償画像（ＭＣ画）の間で、動き補償の正しさを判定し、基準画像と動き補償画像（ＭＣ画）とを加算した際に劣化を生じさせずに、ノイズを低減させるような画素を信頼度が高いとする。

すなわち、加算判定部１４は基準画像と動き補償画像（ＭＣ画）の間で行われた動き補償の正しさを判定し、動き補償の正しい画素の信頼度を高い設定として動き補償画像（ＭＣ画）の加算比率を高めた加算重みを算出する。加算判定部１４は動き補償画像（ＭＣ画）の画素単位での加算重みを決定する。

例えば、異なる時間で撮影した２つの画像の同一物体の同一部分を撮影した画素同士の加算処理が行われれば、加算により時間に無相関なノイズを低減できる。このように２つの画像の同一物体の同一部分の対応の確信度が高いほど信頼度が高いと言える。信頼度は、言い換えると、同一の画像に対してノイズが重畳されているのか、または異なる画像に対してノイズが重畳されているのかを表しており、可能な限りノイズ量のみに対応して加算重みが形成されることが高精度のノイズ軽減処理にとって必要とされる。加算判定部１４の生成する加算重みは、例えば信頼度が低いと０、信頼度が高いと１の値を持つ設定とされる。

加算処理部１５は、基準画像と動き補償画像（ＭＣ画）とを対応画素ごとに計算された加算重みを適用して加算する処理を行う。加算処理部１５は、基準画像と動き補償画像（ＭＣ画）との加重平均を計算して加算処理を行う。加重平均の重みは、加算重みに帰還率を乗じた値である。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均でのＭＣ画に対する重みが０〜１／３で変化することになる。

加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果は、フレームメモリ１１に格納される。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行われる。例えば、予め規定された回数の処理が繰り返された後、加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果がノイズ低減画像（ＮＲ画像）として出力される。

図１に示す画像処理装置を適用した具体的処理例について図２を参照して説明する。図２の最上段に示す４つの画像、基準画像ａ、参照画像Ａ〜Ｃは、カメラの連続撮影画像である。時間的には、基準画像ａが先行し、その後に参照画像Ａ〜Ｃが続けて撮影されている。なお、図２に示す例は、基準画像が先行撮影画像であり、参照画像が後続撮影画像であるが、この逆の設定、すなわち、基準画像を時間的に後で撮影された画像とし、参照画像を先行して撮影された複数の画像とする設定としてもよい。

図２に示す例において、まず、基準画像ａ１１と次の撮影画像である参照画像Ａを適用して処理が行われる。
ステップＳ１１において、基準画像ａ１１と参照画像Ａ２１を適用して動きベクトルＭＶを算出し、算出した動きベクトルＭＶを適用して動き補償画像（ＭＣ画）を生成する。

例えば参照画像Ａ２１のブロックと基準画像ａ１１の対応ブロックとの位置合わせを行い、ブロック単位の動きベクトルＭＶを生成する。この処理は、図１に示す動き予測処理部１２の処理である。動き予測処理部１２はフレームメモリ１１から基準画像ａ１１および参照画像Ａ２１を取得して実行する。さらに、動き補償処理部１３が動きベクトルＭＶを適用して参照画像に対する動き補償を行い、動き補償画像（ＭＣ画）２２を生成する。

次に、ステップＳ１２において、基準画像ａ１１と、動き補償画像（ＭＣ画）２２とを比較して、画素単位の加算の信頼度を表す加算重みを算出する加算判定処理を行う。すなわち、基準画像と動き補償画像（ＭＣ画）の間で、動き補償の正しさを判定し、動き補償の正しい画素の信頼度を高い設定として動き補償画像（ＭＣ画）２２の加算比率を高めた加算重みを算出する。この重みの値を画素単位で示したマップが図２に示す加算判定マップ２３である。このステップＳ１２の処理は、図１に示す加算判定部１４の実行する処理である。

その後、ステップＳ１３において、基準画像ａ１１と動き補償画像（ＭＣ画）２２とを対応画素ごとに計算された加算重み（加算判定マップ２３）を適用して加算する処理を行う。この処理は、図１に示す加算処理部１５の処理として実行される。この加算処理によって生成される画像（基準画＋ＭＣ画）が図２の最下段に示す基準画像ｂ２４である。

この基準画像ｂ２４は、フレームメモリ１１に格納され、さらに、参照画像Ａ２１の次のタイミングで撮影された画像である参照画像Ｂ３１と組み合わせて、ステップＳ１４〜Ｓ１６の処理が行われる。ステップＳ１４〜Ｓ１６の処理はステップＳ１１〜Ｓ１３の処理と同様の処理である。

すなわち、ステップＳ１４において、基準画像ｂ２４と参照画像Ｂ３１を適用して動き補償画像（ＭＣ画）３２を生成する。
ステップ１５において、基準画像ｂ２４と、動き補償画像（ＭＣ画）３２を適用して加算判定マップ３３を生成する。
ステップＳ１６において、基準画像ｂ２４と動き補償画像（ＭＣ画）３２とを加算判定マップ３３を適用して加算して基準画＋ＭＣ画である基準画像ｃ３４を生成する。

この基準画像ｃ３４は、フレームメモリ１１に格納され、さらに、参照画像Ｂ３１の次のタイミングで撮影された画像である参照画像Ｃ４１と組み合わせて、ステップＳ１７〜Ｓ１９の処理が行われる。ステップＳ１７〜Ｓ１９の処理もステップＳ１１〜Ｓ１３の処理と同様の処理である。

すなわち、ステップＳ１７において、基準画像ｃ３４と参照画像Ｃ４１を適用して動き補償画像（ＭＣ画）４２を生成する。
ステップ１８において、基準画像ｃ３４と、動き補償画像（ＭＣ画）４２を適用して加算判定マップ４３を生成する。
ステップＳ１９において、基準画像ｃ３４と動き補償画像（ＭＣ画）４２とを加算判定マップ４３を適用して加算して基準画＋ＭＣ画であるノイズ低減画像（ＮＲ画像）４４を生成する。

図２に示す処理例は、３枚の参照画像Ａ〜Ｃを適用してノイズ低減画像（ＮＲ画像）４４を生成する構成であるが、これは一例であり、さらに多くの参照画像を繰り返し適用してステップＳ１１〜Ｓ１３と同じ処理を繰り返してもよい。

図１に示す画像処理装置の実行するノイズ低減画像（ＮＲ画）の生成シーケンスについて図３に示すフローチャートを参照して説明する。図３に示すフローのステップＳ５１〜Ｓ５３の処理の各々は、図２に示すステップＳ１１〜Ｓ１３に対応する処理である。

まず、ステップＳ５１において、基準画像と参照画像を適用して動きベクトルＭＶを算出し、算出した動きベクトルＭＶを適用して参照画像の動き補償処理により動き補償画像（ＭＣ画）を生成する。

次に、ステップＳ５２において、基準画像と、動き補償画像（ＭＣ画）とを比較して、画素単位の加算の信頼度を表す加算重みを算出する加算判定処理を行い、加算判定マップを生成する。

その後、ステップＳ５３において、加算判定マップに従って基準画像と動き補償画像（ＭＣ画）を対応画素ごとに加算する処理を行う。この加算処理によって、図２に示す基準画＋ＭＣ画に相当する基準画像またはノイズ低減画像（ＮＲ画像）が生成される。

ステップＳ５３の処理の後、ステップＳ５４に進む。ステップＳ５４では、さらに処理可能な参照画像が存在するか否かを判定する。処理可能な参照画像とは、例えば基準画像と同じ被写体を含み異なるタイミングで撮影した画像である。具体的には例えば連続撮影された画像である。処理可能な参照画像が存在する場合は、ステップＳ５１に戻り、その参照画像と、ステップＳ５３において生成した基準画＋ＭＣ画に相当する基準画像を適用してステップＳ５１〜Ｓ５３の処理を繰り返す。

ステップＳ５４において、処理可能な参照画像が存在しないと判定した場合は、最終的にステップＳ５３において生成した加算画像をノイズ低減画像（ＮＲ画像）として出力する。

［（１ｂ）加算判定部および加算処理部の構成および処理について］
次に、図１に示す画像処理装置１０内の加算判定部１４と加算処理部１５の詳細構成および処理について図４以下を参照して説明する。

まず、図１に示す画像処理装置１０内の加算判定部１４の詳細構成および処理について図４を参照して説明する。図４は、加算判定部１４の一構成例を示す図である。加算判定部１４は、図４に示すように輝度信号Ｙと、二つの色差信号Ｃｂ，Ｃｒとのそれぞれに対応するほぼ同様の判定処理構成を有する。図４に示す（ａ）輝度信号Ｙ判定部、（ｂ）色差信号Ｃｂ判定部、（ｃ）色差信号Ｃｒ判定部である。

まず、図４（ａ）に示す輝度信号Ｙに関する判定部の構成について最初に説明する。基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データがフィルタ１１１および１１２を介して画素値差分算出部１１３に供給され、画素値の差が演算され、差分絶対値が算出される。フィルタ１１１および１１２は、画像中の高周波成分をカットし加算判定の効果を向上させる。画素値差分算出部１１３は基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データの差分絶対値を算出して画素加算判定部１１６に供給する。

画素加算判定部１１６には、ノイズ推定部１１０の出力信号が供給される。ノイズ推定部１１０には、基準画像の輝度信号Ｙがフィルタ１１１を介して入力され、画素値に対応したノイズ量を推定する。さらに、ノイズ推定部１１０は画像中のノイズ量に影響を与える撮影モードや露光時間、ゲイン情報といった撮影条件情報を外部から入力する。ノイズ推定部１１０は予め各条件で測定した輝度値とノイズ量の関係のデータをテーブルとして有する。ノイズ推定部１１０はこのテーブルから、該当条件の輝度値とノイズ量の関係を求め、入力した輝度値に対応するノイズ量を画素加算判定部１１６、移動平均加算判定部１１７、移動分散加算判定部１１８に出力する。

例えば露光時間が長くなると、ランダムノイズが増加する傾向がある。また、撮像信号を増幅するゲインが大きくなると、ランダムノイズが増加する傾向がある。したがって、撮影条件としてシャッター速度および／またはゲインの情報を使用し、予めシャッター速度および／またはゲインのそれぞれに対応して画素値とノイズ量とのテーブルを作成して用意しておく。さらに、撮像装置が備えている撮影モードを撮影条件として使用しても良い。なお、撮影条件は、例えばフレームごとに設定される。

ノイズ推定部１１０は、画像中のノイズ量に影響を与える撮影モード、シャッター速度（露光時間）、ゲイン等を撮影条件情報としてカメラ制御部から入力し、予め各撮影条件で測定した輝度値とノイズ量の関係のデータから、該当条件の輝度値とノイズ量の関係を求め、該当撮影条件での入力輝度値に対応するノイズ量を出力する。

ノイズ推定部１１０からのノイズ量と画素値差分算出部１１３からの画素値（輝度）の差分絶対値とが画素加算判定部１１６に供給される。差分絶対値が画素加算判定部１１６に対する入力指標値である。画素加算判定部１１６が指標値に対応する加算の信頼度である加算重みを出力する。

図５（ａ）に画素加算判定部の一例を示す。輝度Ｙに対応する画素加算判定部１１６は、ノイズ推定部１１０から入力するノイズ量を判定閾値へ変換するノイズ量／判定閾値変換部２０１と判定曲線生成部２０２と加算判定部２０３からなる。ノイズ量／判定閾値変換部２０１は、視覚特性に基づき決定されたテーブルを用いてノイズ量を判定閾値に変換し、判定閾値を出力する。判定閾値に応じて判定曲線の形状が決定される。判定曲線は、誤差量を表す入力指標値と、誤差に対する信頼度を表す加算重みとの対応を表す判定曲線の形状を現す。

図５（ｂ）に使用可能な判定曲線のいくつかの例を示す。各曲線を示すグラフの横軸が入力指標値であり、縦軸が指標値に対する加算重みを示す。各曲線において、加算重みが１から変化する指標値の値と、加算重みが０なる指標値の値とが判定閾値である。判定閾値の大きさがノイズ量に応じた値とされる。ノイズ量が多いと、判定閾値がより大きな指標値とされる。

判定曲線生成部２０２は、ノイズ量／判定閾値変換部２０１の出力である判定閾値を用いて、判定曲線を決定し出力する。判定曲線は、例えばテーブルとして構成されてメモリに格納される。この判定曲線を用いて加算判定部２０３が指標値を入力し、その指標値に対応する加算重みを出力する。この加算重みが画素加算判定部１１６から乗算器１１９に供給される。画素加算判定部１１６の一連の変換、計算および判定は、画素単位に画素値に応じたノイズ量を用いて生成する判定曲線を用いるので、画素単位で行われる。

図５（ｂ）に示す判定曲線の一例は、判定閾値１までの指標値に対しては出力（指標値に対する加算重み）が１であり、判定閾値１から判定閾値２までの間では、指標値に対して加算重みが徐々に０に向かって減少する。判定閾値１および判定閾値２によって、判定曲線の形状が規定される。ノイズ量が多いと、判定閾値１および判定閾値２に対応する指標値が大きな値とされる。図５（ｂ）に示す判定曲線によって、入力指標値が対応する加算重みに変換されて出力される。

画素加算判定部１１６から出力される加算重みが乗算器１１９に供給され、輝度信号の移動平均に関して、上述した画素差分絶対値と同様に求めた加算重みと乗算される。乗算器１１９の出力が乗算器１２０に供給され、輝度信号の移動分散に関して、上述した画素差分絶対値と同様に求めた加算重みと乗算される。さらに、乗算器１２０の出力が乗算器１７２に供給され、色信号の画素、移動平均および移動分散に関して求めた加算重みと乗算される。乗算器１７２の出力に加算判定部１４の生成した加算重みが取り出される。この加算重みが加算処理部１５に供給される。

次に、指標値が輝度信号の移動平均差分絶対値および移動分散差分絶対値の場合について説明する。図４に示すように、基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データがフィルタ１１１および１１２を介して移動平均差分算出部１１４、移動分散差分算出部１１５に供給される。

移動平均差分算出部１１４は、計算する画素（中心画素）を中心とする矩形領域例えば（５×５）画素の領域内の画素値の移動平均の差分を計算する。まず、基準画像および動き補償画像（ＭＣ画）各々について中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動平均の演算を行う。その後、各画像の対応画素毎に移動平均の差分を算出する。

移動分散差分算出部１１５は、計算する画素（中心画素）を中心とする矩形領域の領域内の画素値の分散を計算する。中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動分散の演算を行う。その後、各画像の対応画素毎に移動分散の差分を算出する。

移動平均および移動分散に関して加算重みを求めるのは、ノイズ量の減少をより正確に行うためである。例えば複数画素の領域の移動平均または移動分散が異なっている時には、画素値の差分絶対値をノイズと判定するよりも、画像が相違しているものと判定する方がより正しい場合が多いからである。

移動平均差分算出部１１４は移動平均の差信号の絶対値を出力し、移動分散差分算出部１１５は移動分散の差信号の絶対値を出力する。それぞれの差の絶対値が移動平均加算判定部１１７、および移動分散加算判定部１１８に供給される。

移動平均加算判定部１１７および移動分散加算判定部１１８には、ノイズ推定部１１０の出力信号が供給される。移動平均加算判定部１１７および移動分散加算判定部１１８は、それぞれ画素加算判定部１１６（図５（ａ）参照）と同様の構成とされ、ノイズ量を変換した判定閾値により判定曲線（テーブル）を生成する。この判定曲線の指標値として、移動平均差分絶対値および移動分散差分絶対値を与えることによって、加算重みが求められる。輝度信号の移動平均加算判定部１１７からの加算重みが乗算器１１９に供給され、画素加算判定部１１６の出力と乗算される。乗算結果は、さらに輝度信号の移動分散加算判定部１１８からの加算重みと乗算器１２０において乗算される。

以上が輝度信号の画素差分絶対値、移動平均差分絶対値、および移動分散差分絶対値をそれぞれ指標値として加算重みを求める処理である。色信号に関しても同様に、加算重みが求められる。コンポーネントカラービデオ信号の場合、（４：２：０）、（４：２：２）、（４：１：１）のように、輝度信号Ｙに関するサンプリング周波数と、色差信号Ｃｂに関するサンプリング周波数と、色差信号Ｃｒに関するサンプリング周波数との比が表される。色差信号ＣｂおよびＣｒのそれぞれに関して、上述した輝度信号Ｙと同様に、加算重みが求められる。

輝度信号と色差信号Ｃｂ，Ｃｒとは、画像上の同一の領域に関して加算重みの生成処理が行われる。上述したサンプリング周波数の比から分かるように、輝度信号Ｙに関して求められた加算重みに比して色差信号Ｃｒ，Ｃｂに関して求められた加算重みの数が不足する。この問題を解決するために、補間を行うアップサンプリング処理部１７１が設けられ、アップサンプリング処理部１７１からの色差信号に関する加算重みが乗算器１７２に供給され、輝度信号に関する加算重みと乗算される。

色差信号Ｃｂに関する処理について説明する。基準画像の色差信号Ｃｂがフィルタ１３１を介してノイズ推定部１３０に供給される。ノイズ推定部１３０に撮影条件情報が供給される。ノイズ推定部１３０は、輝度信号に関するノイズ推定部１１０と同様に各撮影条件に応じた画素値とノイズ量との関係を示すテーブルによって基準画像の色差信号Ｃｂに対応するノイズ量の推定値を算出する。ノイズ推定部１３０はノイズ量の推定値を画素加算判定部１３６、移動平均加算判定部１３７、移動分散加算判定部１３８に対して出力する。

基準画像の色差信号Ｃｂおよび動き補償画像（ＭＣ画）の色差信号Ｃｂがそれぞれフィルタ１３１および１３２を介して画素値差分算出部１３３に供給され、画素値の差が演算され、差分絶対値が算出される。画素値差分算出部１３３は基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データの差分絶対値を算出して画素加算判定部１３６に供給する。

画素加算判定部１３６は、輝度Ｙに対応する画素加算判定部１１６の構成として説明した図５と同様の構成である。ノイズ推定部１３０から入力するノイズ量を判定閾値へ変換するノイズ量／判定閾値変換部２０１と判定曲線生成部２０２と加算判定部２０３からなる。例えば図５（ｂ）に示す判定曲線によって、入力指標値が対応する加算重みに変換されて出力される。画素加算判定部１３６は、指標値（画素差分絶対値）に対応する加算の信頼度である加算重みを出力する。

次に、指標値が色差信号Ｃｂの移動平均差分絶対値および移動分散差分絶対値の場合について説明する。基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データがフィルタ１３１および１３２を介して移動平均差分算出部１３４、移動分散差分算出部１３５に供給される。

移動平均差分算出部１３４は、計算する画素（中心画素）を中心とする矩形領域例えば（５×５）画素の領域内の画素値の移動平均の差分を計算する。まず、基準画像および動き補償画像（ＭＣ画）各々について中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動平均の演算を行う。その後、各画像の対応画素毎に移動平均の差分を算出する。

移動分散差分算出部１３５は、計算する画素（中心画素）を中心とする矩形領域の領域内の画素値の分散を計算する。中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動分散の演算を行う。その後、各画像の対応画素毎に移動分散の差分を算出する。

移動平均および移動分散に関して加算重みを求めるのは、ノイズ量の減少をより正確に行うためである。移動平均差分算出部１３４は移動平均の差信号の絶対値を出力し、移動分散差分算出部１３５は移動分散の差信号の絶対値を出力する。それぞれの差の絶対値が移動平均加算判定部１３７、および移動分散加算判定部１３８に供給される。

移動平均加算判定部１３７および移動分散加算判定部１３８には、ノイズ推定部１３０の出力信号が供給される。移動平均加算判定部１３７および移動分散加算判定部１３８は、それぞれ画素加算判定部１３６（図５（ａ）参照）と同様の構成とされ、ノイズ量を変換した判定閾値により判定曲線（テーブル）を生成する。この判定曲線の指標値として、移動平均差分絶対値および移動分散差分絶対値を与えることによって、加算重みが求められる。色差信号Ｃｂの移動平均加算判定部１３７からの加算重みが乗算器１３９に供給され、色差信号Ｃｂの画素加算判定部１１６の出力と乗算される。乗算結果は、さらに色差信号Ｃｂの移動分散加算判定部１３８からの加算重みと乗算器１４０において乗算される。

他の色差信号Ｃｒに関しても上述した色差信号Ｃｂと同様の構成が設けられている。すなわち、フィルタ１５１，１５２、ノイズ推定部１５０、画素値差分算出部１５３、画素加算判定部１５６によって、色差信号Ｃｒの画素差分絶対値を指標値とする加算重みが求められる。色差信号Ｃｒの移動平均差分絶対値を指標値とする加算重みは、フィルタ１５１，１５２、ノイズ推定部１５０、移動平均差分算出部１５４、移動平均加算判定部１５７によって求められる。色差信号Ｃｒの移動分散差分絶対値を指標値とする加算重みは、フィルタ１５１，１５２、ノイズ推定部１５０、移動分散差分算出部１５５、移動平均加算判定部１５８によって求められる。

画素差分絶対値を指標値とする加算重みと、移動平均差分絶対値を指標値とする加算重みとが乗算器１５９にて乗算され、乗算器１５９の出力と、移動分散差分絶対値を指標値とする加算重みとが乗算器１６０にて乗算される。乗算器１６０から出力される色差信号Ｃｒに関する加算重みと、上述した色差信号Ｃｂに関する加算重みとが乗算器１４１にて乗算される。乗算器１４１の出力がアップサンプリング処理部１７１に供給される。アップサンプリング処理部１７１は、色差フォーマットに応じて色差の加算重みを補間し、点数を輝度加算重みに揃える。アップサンプリング処理部１７１の出力と乗算器１２０の出力が乗算器１７２にて乗算される。乗算器１７２の出力が注目する画素の最終的な信頼度を示す加算重みである。加算重みは、輝度画素、輝度移動平均、輝度移動分散、色差画素、色差移動平均、色差移動分散のそれぞれの信頼度を表し、それぞれ０から１の連続値で表される。

次に、図１に示す画像処理装置１０内の加算処理部１５の詳細構成および処理について図６を参照して説明する。加算処理部１５には、動き補償画像（ＭＣ画）、基準画像、さらに、加算判定部１４から加算重み情報が入力される。

乗算器２５１によって加算処理部１５の出力である加算重みに対して帰還係数（ｗ）を乗じる。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均での動き補償画像（ＭＣ画）に対する重みが０〜１／３で変化することになる。

乗算器２５１から出力される係数（αで表す）が乗算器２５２に供給され、動き補償画像（ＭＣ画）に乗じられる。
さらに、係数αは、減算器２５３に供給され、（１−α）が生成され、（１−α）が乗算器２５４に供給され、基準画像（Ｃｕｒ画）に乗じられる。
乗算器２５２および乗算器２５４の出力が加算器２５５によって加算され、加算器２５５からノイズ低減画像（ＮＲ画）が出力される。

加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果としてのノイズ低減画像（ＮＲ画）は、さらにフレームメモリ１１に格納してもよい。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行うことが可能である。

例えば、予め規定された回数の処理を繰り返した後、加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果を最終的なノイズ低減画像（ＮＲ画像）として出力することが可能である。

＜（２）高速処理や高精度なノイズ低減画像の生成を可能とした画像処理装置＞
次に、本発明の実施例として、高速処理や高精度なノイズ低減画像の生成を可能とした画像処理装置の構成および処理について説明する。

上記の項目（１ａ），（１ｂ）において説明した図１に示す画像処理装置１０の問題点について説明する。図１に示す画像処理装置１０の加算判定部１４は、図４を参照して説明したように、画素単位で基準画像と動き補償画像（ＭＣ画）との対応データを入力して画素単位の加算重み情報を生成する。従って、加算判定部１４の処理には画素数に応じた処理時間を要することになる。高画質データなど画素数の多い画像データの処理を行うと、処理時間が膨大となり結果の出力までに時間がかかることになる。すなわち、最終的なノイズ低減画像の生成までに多くの時間がかかってしまう。以下に説明する本発明の画像処理装置の一実施例は、このような問題を解決し、高速な加算判定処理を可能とした構成を持つ。

また、上記の項目（１ａ），（１ｂ）において説明した加算判定部１４は、図４を参照して説明したように、画素単位で基準画像と動き補償画像（ＭＣ画）との対応データから各画素対応の重みを算出する。動き補償画像（ＭＣ画）の生成元となる参照画像は、基準画像と異なる時間に撮影された画像であり、図１に示す動き補償処理部１３では、動き予測処理部１２において算出した動きベクトルに基づいて動き補償を実行して動き補償画像（ＭＣ画）を生成している。

しかし、例えば画像内に背景とは異なる動きを示す移動体としての車や人などの移動オブジェクトが存在する場合、これらの移動オブジェクトは、動き予測処理部１２において算出した動きベクトルとは異なる動きを示す場合がある。すなわち、動き予測処理部１２において生成した動きベクトルに一致しない動きを示す画像領域が発生する。このような領域を動き推定（ＭＥ）失敗領域と呼ぶ。一方、動き予測処理部１２において生成した動きベクトルに一致した動きを示す画像領域を動き推定（ＭＥ）成功領域と呼ぶ。動き推定（ＭＥ）失敗領域が含まれると、正確な動き補償画像（ＭＣ画）が生成されない。

加算判定部は、基準画像と動き補償画像（ＭＣ画）との対応画素の比較処理、たとえば画素値差分を算出するが、動き推定（ＭＥ）失敗領域ではこの画素差分が大きな値となる。しかし、上記の項目（１ａ），（１ｂ）において説明した加算判定部１４の処理では、この差分が動き推定（ＭＥ）失敗による不正確な（劣化した）動き補償画像（ＭＣ画）に起因して発生した差分であるのか、強いノイズのよる差分か判別できない。このような場合、誤った加算重みを出力してしまい結果として十分にノイズの低減されないノイズ低減画像が生成されてしまう場合がある。

例えば、加算判定部１４が、図７に示すような基準画像と動き補償画像（ＭＣ画）を入力して加算判定を行い、画素単位の加算重みを出力する場合について考察する。画素２７１はノイズによって基準画像と動き補償画像（ＭＣ画）の対応画素の画素値が異なるが、画素２７２は、オブジェクト移動に起因する動き補償エラーによって発生した画素の差分が発生する。加算判定部では、これらの差分が動き推定（ＭＥ）失敗による不正確な（劣化した）動き補償画像（ＭＣ画）に起因して発生した差分であるのか、強いノイズのよる差分か判別できない。

以下に説明する発明の画像処理装置は、このような問題を解決し、基準画像と動き補償画像（ＭＣ画）の対応画素の画素値が異なる場合に、動き推定（ＭＥ）失敗による不正確な（劣化した）動き補償画像（ＭＣ画）に起因して発生した差分であるのか、強いノイズのよる差分か判別して、最適な加算重みを算出することを可能とした構成を持つ。この処理の概要について図８を参照して説明する。

例えば本発明の一実施例に係る本発明の画像処理装置の加算判定部では、基準画像と動き補償画像（ＭＣ画）の差分画像を小領域に分割し、各小領域単位で動きベクトルによる動き推定（ＭＥ）の失敗が含まれるかどうかの予測を行う。

例えば図８に示す小領域２８１は、小領域２８１に含まれる画素の一部の画素の差分値が大きいが、小領域２８１に含まれるその他のほとんどの画素の差分値が小さい。以下において説明する本発明の一実施例に係る画像処理装置の加算判定部では、このような小領域２８１に含まれる差分値の大きい画素はノイズの発生画素であると判定する。

一方、図８に示す小領域２９１は、小領域２９１に含まれる画素の一部の画素の差分値が大きく、かつ小領域２９１に含まれるその他のほとんどの画素の差分値も大きい。本発明の一実施例に係る画像処理装置の加算判定部では、このような小領域２９１に含まれる差分値の大きい画素はノイズの発生画素ではなく、動き推定（ＭＥ）失敗による不正確な（劣化した）動き補償画像（ＭＣ画）に起因して発生した差分であると判定する。

以下において説明する本発明の一実施例に係る画像処理装置の加算判定部では、このように、差分値の大きい画素の差分がノイズによる差分であるか動き推定（ＭＥ）失敗による不正確な（劣化した）動き補償画像（ＭＣ画）に起因して発生した差分であるかを判別し、判別結果に基づいて加算重みの設定を変更する。

［（２ａ）縮小画像を適用した加算判定処理を実行する画像処理装置（実施例１）］
図９に、本発明の実施例１に係る画像処理装置の構成例を示す。図９に示す画像処理装置３００は、先に図１を参照して説明した画像処理装置１０と類似する構成を持つ。フレームメモリ３０１、動き予測処理部３０２、動き補償処理部３０３、加算判定部３０４、加算処理部３０５は、図１に示す各構成部とほぼ同様の処理を行う。ただし、本実施例における加算判定部３０４は先に説明した図１の加算判定部１４とは異なる構成を有し、異なる処理を行う。

さらに、図９に示す画像処理装置３００は、先に図１を参照して説明した画像処理装置１０には設定されていない以下の構成を有している。
加算判定部３０４に入力する基準画像の縮小処理を行うダウンサンプリング処理部３１１、
加算判定部３０４に入力する動き補償画像（ＭＣ画）の縮小処理を行うダウンサンプリング処理部３１２、
加算判定部３０４から加算処理部３０５に入力する加算重みを各画素に対応付けて示した加算係数マップの拡大処理を行うアップサンプリング処理部３１３、
これらの追加構成を有している。

なお、ダウンサンプリング処理部３１１、３１２の実行する処理は、入力画像の構成画素数を減少させ画素数の少ない画像を生成する処理である。例えば入力画像の構成画素９画素を１画素にまとめて全体の構成画素数を減らす処理を行う。本明細書で説明する縮小画像とは、元画像の構成画素数を減少させて生成した画像である。

また、アップサンプリング処理部３１３の実行する処理は、入力画像の構成画素数を増加させ画素数の多い画像を生成する処理である。例えば入力画像の構成画素１画素を９画素に展開して全体の構成画素数を増加させる処理を行う。本明細書で説明する拡大画像とは、元画像の構成画素数を増加させて生成した画像である。

図９に示す画像処理装置３００の各構成部の処理について説明する。なお、図９に示す画像処理装置３００は、単独の画像処理装置として設定可能であるが、例えばカメラやＰＣや画像表示装置の内部の一構成要素としても設定可能である。

以下においては、図９に示す画像処理装置３００がカメラ内部に備えられ、連続撮影される画像がフレームメモリ３０１に対する入力画像として順次格納されるものとして説明する。入力画像はノイズを含む画像であり、画像処理装置３００は、この入力画像からのノイズ低減を行い、最終的に図９に示す加算処理部３０５の出力としてノイズ低減画像（ＮＲ画像）を出力する。

動き予測処理部３０２には、フレームメモリ３０１から基準画像および参照画像が入力される。なお、基準画像はノイズ低減処理の対象とする画像であり、参照画像は、基準画像のノイズ低減処理に適用するための画像である。例えば基準画像と参照画像とから動きベクトルが求められる。なお、基準画像に対するノイズ低減処理は、複数の連続撮影された参照画像を適用して行われる。

例えば１つの基準画像と１つの参照画像を適用して生成されたノイズ低減画像がフレームメモリ３０１に再格納され、このノイズ低減画像が新たな基準画像として、次の第２の参照画像を適用してさらなるノイズ低減処理がなされる。なお、具体的処理例については、先に図２を参照して説明した処理と同様である。

動き予測処理部３０２は、フレームメモリ３０１から基準画像および参照画像を適用して動きベクトルを算出する。例えば１つの画像フレームを区分した小領域（ブロック）単位で、参照画像のブロックと基準画像の対応ブロックとの位置合わせを行い、ブロック単位の動きベクトルＭＶを出力する。動きベクトルＭＶは基準画像と参照画像間の画像の動きを示すベクトルである。なお動きベクトルは平行移動のみならず拡縮、回転等の情報を含むベクトルとして設定可能である。

動きベクトルＭＶの検出においては、例えばブロックマッチング法を適用することができる。ブロックマッチング法は、前記の小領域（ブロック）内をさらに微小ブロックに分割して、基準画像および参照画像の各微小ブロックの画素値の絶対差分値（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出して、絶対差分値（ＳＡＤ）の小さい微小ブロックの組を対応ブロックであると推定する処理である。２つの画像の対応ブロック間を結ぶベクトルを動きベクトルとして決定することができる。

動き補償処理部３０３は、動き予測処理部３０２の生成した動きベクトルＭＶを適用して基準画像または参照画像の動き補償を行い、動き補償画像（ＭＣ画）を生成する。すなわち、基準画像の被写体位置と参照画像の被写体位置を合わせるように基準画像または参照画像を移動させた動き補償画像（ＭＣ画）を生成する。動き補償処理部３０３の生成した動き補償画像（ＭＣ画）は、加算判定部３０４および加算処理部３０５に供給される。

ただし、本実施例の構成では、以下の構成が新たに追加されている。すなわち、
加算判定部３０４に入力する基準画像の縮小処理を行うダウンサンプリング処理部３１１、
加算判定部３０４に入力する動き補償画像（ＭＣ画）の縮小処理を行うダウンサンプリング処理部３１２、

加算判定部３０４は、動き補償処理部３０３の生成した動き補償画像（ＭＣ画）の縮小画像と、基準画像の縮小画像、およびノイズ量推定に用いる画像情報（撮影条件など）を入力して、縮小画像に対応する加算重みを画素単位で生成する。加算判定部３０４は画素単位の加算重みを設定した加算係数マップを生成して出力する。本実施例の構成では、加算判定部３０４は縮小画像の構成画素に対する処理を行えばよい。従って、先に説明した図１の構成に従った処理、すなわちオリジナルの基準画像と動き補償画像（ＭＣ画）を適用した加算判定処理を行う場合と比較して処理対象となる画素数が大幅に削減され、処理負荷が大きく軽減できる。

このように、加算判定部３０４は、動き補償処理部３０３の生成した動き補償画像（ＭＣ画）をダウンサンプリング処理部３１２で縮小した縮小動き補償画像（縮小ＭＣ画）と基準画像をダウンサンプリング処理部３１１で縮小した縮小基準画像、およびノイズ量推定に用いる画像情報（撮影条件など）を入力する。画像情報は、例えばカメラ内部のマイコンから供給される。画像情報には、入力画像（撮影画像）に対応する撮影モード、露光時間、ゲイン等の情報が含まれる。

加算判定部３０４は、加算重みを縮小画像の構成画素単位で生成する。加算重みは、加算の信頼度を表す。すなわち、加算判定部３０４は基準画像と動き補償画像（ＭＣ画）の間で行われた動き補償の正しさを判定し、動き補償の正しい画素の信頼度を高い設定とした重みを算出する。動き補償が正しいと推定される画素については動き補償画像（ＭＣ画）の加算比率を高めた加算重みを算出し、動き補償が正しくないと推定される画素については動き補償画像（ＭＣ画）の加算比率を低下させた加算重みを算出し、縮小画像の構成各画素の加算重みを算出し、加算重みを各画素に対応付けた加算係数マップを生成して出力する。

なお、本実施例における加算判定部３０４では、先に図８を参照して説明したように、基準画像と動き補償画像（ＭＣ画）の対応画素の画素値が異なる場合に、動き推定（ＭＥ）失敗による不正確な（劣化した）動き補償画像（ＭＣ画）に起因して発生した差分であるのか、強いノイズのよる差分か判別して、最適な加算重みを算出する構成を持つ。この処理の詳細については後段で説明する。

加算判定部３０４の生成した加算係数マップはアップサンプリング処理部３１３に入力される。アップサンプリング処理部３１３は、加算判定部３０４の生成した加算係数マップを元の基準画像および動き補償画像（ＭＣ画）と同じ画素数に拡大する処理を行う。アップサンプリング処理部３１３は拡大した加算係数マップを加算処理部３０５に出力する。

加算処理部３０５は、基準画像と動き補償画像（ＭＣ画）とを対応画素ごとに計算された加算重みを適用して加算する処理を行う。加算処理部３０５の処理は、先に図１、図６を参照して説明したと同様の処理である。すなわち、基準画像と動き補償画像（ＭＣ画）との加重平均を計算して加算処理を行う。加重平均の重みは、加算重みに帰還率を乗じた値である。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均でのＭＣ画に対する重みが０〜１／３で変化することになる。

加算処理部３０５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果は、フレームメモリ３０１に格納される。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行われる。例えば、予め規定された回数の処理が繰り返された後、加算処理部３０５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果がノイズ低減画像（ＮＲ画像）として出力される。

図１０は、図９に示す画像処理装置３００の処理シーケンスを示すフローチャートである。各ステップの処理について説明する。まず、ステップＳ１０１において、基準画像と参照画像を適用して動きベクトルＭＶを算出し、算出した動きベクトルＭＶを適用して参照画像の動き補償処理により動き補償画像（ＭＣ画）を生成する。

次に、ステップＳ１０２において、基準画像と、動き補償画像（ＭＣ画）のダウンサンプリング処理により基準画像と、動き補償画像（ＭＣ画）の縮小画像を生成する。

次に、ステップＳ１０３において、縮小基準画像と、縮小動き補償画像（縮小ＭＣ画）とを比較して、縮小画像の構成画素単位の加算の信頼度を表す加算重みを算出する加算判定処理を行い、縮小画像の構成画素単位の加算重み（＝加算係数）を設定した加算判定マップを生成する。

次に、ステップＳ１０４において、縮小画像の構成画素単位の加算重み（＝加算係数）を設定した加算判定マップのアップサンプリング処理（拡大処理）により元の基準画像と、動き補償画像（ＭＣ画）と同じ画素数からなる加算判定マップを生成する。

その後、ステップＳ１０５において、アップサンプリングされた加算判定マップに従って基準画像と動き補償画像（ＭＣ画）を対応画素ごとに加算する処理を行う。この加算処理によって、ノイズ低減画像（ＮＲ画像）、またはさらなるノイズ低減に適用する新たな基準画像が生成される。

ステップＳ１０５の処理の後、ステップＳ１０６に進む。ステップＳ１０６では、さらに処理可能な参照画像が存在するか否かを判定する。処理可能な参照画像とは、例えば基準画像と同じ被写体を含み異なるタイミングで撮影した画像である。具体的には例えば連続撮影された画像である。処理可能な参照画像が存在する場合は、ステップＳ１０１に戻り、その参照画像と、ステップＳ１０６において生成した基準画＋ＭＣ画に相当する基準画像を適用してステップＳ１０１以下の処理を繰り返す。

ステップＳ１０６において、処理可能な参照画像が存在しないと判定した場合は、最終的にステップＳ１０５において生成した加算画像をノイズ低減画像（ＮＲ画像）として出力する。

このように、本実施例に係る画像処理装置３００は、動き補償処理部３０３の生成した動き補償画像（ＭＣ画）をダウンサンプリング処理部３１２で縮小した縮小動き補償画像（縮小ＭＣ画）と基準画像をダウンサンプリング処理部３１１で縮小した縮小基準画像を加算判定部３０４に入力する。従って、加算判定部３０４では、縮小画像の構成画素に対して画素単位の加算重みを生成すればよく計算量を軽減することが可能となり、処理が効率化され高速処理が実現される。

なお、ダウンサンプリング処理部３１１，３１２における画像のダウンサンプリング処理（縮小処理）と、アップサンプリング処理部３１３における画像のアップサンプリング処理（拡大処理）の処理態様としては既存の様々な処理手法が適用可能である。

図１１にダウンサンプリング処理部３１１，３１２における画像のダウンサンプリング処理（縮小処理）に適用可能な処理手法の例を示す。ダウンサンプリング処理部３１１，３１２では、例えば図１１に示すように平均化手法、ローパスフィルタ（ＬＰＦ）適用手法、サプサンプル手法、中間値（ｍｅｄｉａｎ値）適用手法などが利用可能である。

平均化手法は、まず画像の縮小比率を定め、縮小される領域内の平均の特徴量を用いて縮小画像の各画素値を設定する手法である。これによりノイズを含む画素を平滑化することが可能となり、ノイズの影響が少なくなる。
ローパスフィルタ（ＬＰＦ）適用手法は、ローパスフィルタ（ＬＰＦ）を適用して画像縮小を行う手法である。縮小される領域内だけでなく、フィルタの窓の大きさに合わせて周りの画素と平滑化を行う。この処理では平均と同様にノイズ量を少なくできる。

サプサンプル手法は、縮小画像の画素に対応する元画像の領域内の一点もしくは数点の平均や中間値（ｍｅｄｉａｎ値）を縮小画像の画素値として設定する手法である。この処理の特徴は、縮小領域内のいくつかの点しか用いないため計算量を大幅に減少させることが可能なことである。
中間値（ｍｅｄｉａｎ値）適用手法は、縮小画像の画素に対応する元画像の領域内もしくはあるブロック内の中間値（ｍｅｄｉａｎ値）を縮小画像の画素値として設定する手法である。この処理の特徴は、いくつかの画素値がインパルス性ノイズによって、大幅に他の画素値と外れていても有効な値を縮小画像の画素値として設定できる点である。

ダウンサンプリング処理部３１１，３１２では、例えば図１１に示す処理手法のいずれかを採用して基準画像および動き補償画像（ＭＣ画）の縮小画像の生成を行い、生成した縮小画像を加算判定部３０４に入力する。

一方、加算判定部３０４の生成したカサン係数マップのアップサンプリング処理を行うアップサンプリング処理部３１３において適用可能なアップサンプリング（拡大処理）の処理手法の例を図１２に示す。

アップサンプリング処理部３１３において適用可能なアップサンプリング（拡大処理）の処理手法としては、図１２に示すように、最近傍法、バイリニア法（ｂｉ−ｌｉｎｅａｒ）、バイキュービック法（ｂｉ−ｃｕｂｉｃ）、線形補間とＬＰＦ適用処理、一定領域の最大値、最小値を適用した手法、これらの手法のいずれかを利用することができる。

最近傍法は、図１３（ａ）に示すように、画像を拡大した時に追加される画素の画素値として、縮小画像を構成する画素から、最も近い画素の値をコピーする。なお、本実施例におけるアップサンプリング処理部３１３の拡大対象は、各画素に対応する加算重み（＝加算係数）からなるマップであるので、画素値は加算重み（＝加算係数）に相当する。

バイリニア法（ｂｉ−ｌｉｎｅａｒ）は、拡大画像において追加される画素の画素値を、縮小画像に含まれる周囲４個の画素をサンプルして線形補間によって決定する。本例では画素値は加算重み（＝加算係数）に相当する。

バイキュービック法（ｂｉ−ｃｕｂｉｃ）は、拡大画像において追加される画素の画素値を、近傍点にある縮小画像の複数画素からの距離により重みづけを行い、フィルタリングを行い決定する手法である。本例では画素値は加算重み（＝加算係数）に相当する。

線形補間とＬＰＦ適用処理は、拡大画像において追加される画素の画素値を０として設定し、縮小画像に含まれる画素の画素値によって線形補間を行ない、ナイキスト周波数を遮断周波数として低域通過フィルタ（ＬＰＦ）を通過させて画素値を決定する手法である。本例では画素値は加算重み（＝加算係数）に相当する。

一定領域の最大値、最小値を適用した手法は、縮小画像のある領域の最大値または最小値を、拡大画像の対応領域内の全画素値として設定する手法である。図１３（ｂ）は、一定領域の最大値を適用した手法を示している。本例では画素値は加算重み（＝加算係数）に相当する。

なお、ある領域の最大値をその領域内の画素値としてアップサンプリング（Ｕｐ ｓａｍｐｌｉｎｇ）を行って加算重み（＝加算係数）を設定した加算係数マップを生成した場合は、加算係数が大きく設定されることになり、基準画像に対する動き補償画像（ＭＣ画）の加算比率が高められる。一方、最小値とした場合は逆に基準画像の比率が高くなることになる。

［（２ｂ）動き推定（ＭＥ）の成功判定情報を適用した加算判定処理を実行する画像処理装置（実施例２）］
次に、動き推定（ＭＥ）の成功判定情報を適用した加算判定処理を実行する画像処理装置（実施例２）について図１４以下を参照して説明する。

この実施例２に係る動き推定（ＭＥ）の成功判定情報を適用した加算判定処理は、図９に示す画像処理装置３００内の加算判定部３０４の処理として適用可能である。また、縮小画像を用いない図１に示す画像処理装置１０の加算判定部１４の処理として適用することも可能である。以下では、図９に示す画像処理装置３００内の加算判定部３０４の処理として適用した場合について説明する。

本実施例の画像処理装置３００の加算判定部３０４は、先に図８を参照して説明したように、基準画像と動き補償画像（ＭＣ画）の対応画素の画素値が異なる場合に、動き推定（ＭＥ）失敗による不正確な（劣化した）動き補償画像（ＭＣ画）に起因して発生した差分であるのか、強いノイズのよる差分か判別して、最適な加算重みを算出する構成を持つ。

本実施例の画像処理装置３００の加算判定部３０４は、図１４に示すように、領域判定部３５１、切り替え部（スイッチ）３５２、加算重み調整部（オール１）３５３、加算重み調整部（オール０）３５４、輝度信号（Ｙ）加算判定部３５５、色差信号Ｃｂ，Ｃｒ）加算判定部３５６、ノイズ推定部３５７、演算部３５８を有する。

なお、輝度信号（Ｙ）加算判定部３５５、色差信号（Ｃｂ，Ｃｒ）加算判定部３５６、ノイズ推定部３５７からなる処理ブロック３６０は、先に図４を参照して説明した加算判定部１４の構成と同様の構成を持ち、図４を参照して説明したと同様の処理を行う処理ブロックである。ただし、本実施例では、縮小画像を入力して縮小画像の構成画素に対応する加算重みを生成して出力する。加算重み調整部（オール１）３５３、加算重み調整部（オール０）３５４、処理ブロック３６０の各々は、それぞれ領域属性に応じて各領域内の画素対応の加算重みを設定、または算出する処理を行なう加算重み設定部として機能する。

輝度信号（Ｙ）加算判定部３５５は、図４（ａ）に対応する構成を有し、色差信号（Ｃｂ，Ｃｒ）加算判定部３５６は、図４（ｂ），（ｃ）に対応する構成であり、ノイズ推定部３５７は、図４におけるノイズ推定部１１０，１３０，１５０に対応する。

本実施例に係る加算判定部３０４は、領域判定部３５１において、縮小された基準画像と動き補償画像（ＭＣ画）を入力して、縮小画像を構成する複数画素からなる小領域（ブロック）単位で領域判定処理を行う。具体的には、各領域が動き推定（ＭＥ）成功領域であるか、動き推定（ＭＥ）失敗領域であるか、いずれにも分類できない詳細確認必要領域であるかの領域判定処理を行う。

なお、先に説明したように、動き推定（ＭＥ）失敗領域とは、動き予測処理部３０２において生成した動きベクトルに一致しない動きを示す画素が多い領域、すなわち固有に移動するオブジェクトなどが存在する領域であり、不正確な（劣化した）動き補償画像（ＭＣ画）の生成された領域である。具体的には、先に説明した図８に示す小領域２９１のような領域である。動き推定（ＭＥ）成功領域は、領域内の画素のほとんどが動き予測処理部３０２において生成した動きベクトルにほぼ一致する動きを示す画素からなる領域である。詳細確認必要領域は、いずれにも分類できない中間的な領域である。

領域判定部３５１は、縮小された基準画像と動き補償画像（ＭＣ画）を区分した小領域単位で、各領域が、
（ａ）動き推定（ＭＥ）成功領域
（ｂ）動き推定（ＭＥ）失敗領域
（ｃ）詳細確認必要領域
上記（ａ），（ｂ），（ｃ）のいずれの領域に対応するかの領域属性を判定する。

各領域についての判定情報は、判定結果に応じて加算重み調整部３５３、加算重み調整部３５４、および処理ブロック３６０に切り替え部（スイッチ）３５２を介してそれぞれ出力される。

例えば、「動き推定（ＭＥ）成功領域」の領域情報が加算重み調整部（オール１）３５３に出力されると、加算重み調整部（オール１）３５３は、その領域における画素対応の加算重みをすべて１に設定する。加算重みは、基準画像に対する動き補償画像（ＭＣ画）の加算重みであり０〜１の範囲に設定される。加算重み＝１とは、動き補償画像（ＭＣ画）の画素値の重みを１とする設定であり、基準画像の対応画素の画素値の重みを０とする設定を意味する。

また、「動き推定（ＭＥ）失敗領域」の領域情報が加算重み調整部（オール０）３５４に出力されると、加算重み調整部（オール０）３５４は、その領域における画素対応の加算重みをすべて０に設定する。加算重み＝０とは、動き補償画像（ＭＣ画）の画素値の重みを０とする設定であり、基準画像の対応画素の画素値の重みを１とする設定である。

この他の詳細確認必要領域の領域情報は、処理ブロック３６０に出力される。処理ブロック３６０では、詳細確認必要領域の構成画素のみに対して、先に図４を参照して説明したと同様の処理を行う。ただし、処理は縮小画像に対する処理として行われる。

結果として、加算重み調整部３５３は、「動き推定（ＭＥ）成功領域」のみについて、加算重み＝１とした情報を出力し、加算重み調整部３５４は、「動き推定（ＭＥ）成功領域」のみについて、加算重み＝０とした情報を出力し、処理ブロック３６０は、その他の「詳細確認必要領域」のみについて、先に図４を参照して説明した処理に従って加算重みを出力する。演算部３５８は、これらの各領域対応の加算重みをすべて足し合わせて縮小画像全領域の構成画素対応の加算重みからなる加算係数マップを生成して出力する。この加算係数マップは縮小画像の構成画素に対する加算重み情報からなるマップである。このマップは図９に示すアップサンプリング処理部３１３で元の基準画像や動き補償画像（ＭＣ画）と同様のサイズまで拡大され、拡大された加算係数マップが加算処理部に入力され、加算重みに応じて基準画像と動き補償画像（ＭＣ画）との加算処理が実行される。

領域判定部３５１の構成例および処理例について、図１５以下を参照して説明する。図１５は、領域判定部３５１の一構成例を示している。図１５に示す領域判定部３５１は、差分算出部３８０、分散値算出部３８１、平均値算出部３８２、中間値（ｍｅｄｉａｎ）算出部３８３、最頻値算出部３８４、最大値（ｍａｘ）算出部３８５、最小値（ｍｉｎ）算出部３８６、判定部３８７を有する。

なお、分散値算出部３８１、平均値算出部３８２、中間値（ｍｅｄｉａｎ）算出部３８３、最頻値算出部３８４、最大値（ｍａｘ）算出部３８５、最小値（ｍｉｎ）算出部３８６の各々は、個別に各領域が、（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する指標値を出力可能である。従って、これらのいずれか１つのみを持つ構成としてもよく、また複数の処理部を持つ構成として、判定部３８７が複数の指標値を取得して総合的に判定を行う構成としてもよい。あるいは領域に応じて異なる処理部の指標値を選択的に適用して判定を行う構成としてもよい。

差分算出部３８０は、基準画像と動き補償画像（ＭＣ画）各々の対応する位置にある対応小領域の画素値情報を入力する。なお、これらはいずれも縮小画像である。また、実施例ではこれらの画像の輝度値（Ｙ）を入力する設定であるが、輝度値ではなく画素値を入力してもよい。

ここでは、縮小された基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）を入力したものとして説明する。差分算出部３８０は、基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分を算出して、分散値算出部３８１、平均値算出部３８２、中間値（ｍｅｄｉａｎ）算出部３８３、最頻値算出部３８４、最大値（ｍａｘ）算出部３８５、最小値（ｍｉｎ）算出部３８６に出力する。

先に説明したように、分散値算出部３８１〜最小値（ｍｉｎ）算出部３８６は単独で、小領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する指標値を出力可能である。

まず、分散値算出部３８１の処理について説明する。分散値算出部３８１は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の分散を算出する。

判定部３８７は、分散値算出部３８１の生成する差分の分散に基づいて、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。

図１６を参照して画素値（輝度値）差分の分散に基づく判定処理について説明する。図１６には、基準画像４０１、動き補償画像（ＭＣ画）４０２、およびこれらの各画像の輝度値差分からなる差分画像４０３を示している。

差分画像４０３には、動き推定（ＭＥ）成功領域４１１、動き推定（ＭＥ）失敗領域４１２、これらの中間にある詳細確認必要領域４１３を示している。さらに図１６には、これら各領域に対応する差分絶対値の分布データを示している。図に示す差分絶対値分布データから理解されるように、
動き推定（ＭＥ）成功領域４１１の差分絶対値分布データは、分布が０付近に集中する。
動き推定（ＭＥ）失敗領域４１２の差分絶対値分布データは、分布が０以外に集中する。
詳細確認必要領域４１３の差分絶対値分布データは、ピークは０近辺、分散は動き推定（ＭＥ）成功領域より大きくなる。
このような傾向を示す。
判定部３８７では、これら３つの領域判定を予め設定した閾値との比較によって実行する。

平均値算出部３８２は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の平均値を算出する。差分平均値の値は、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）詳細確認必要領域ではその中間の値となる。

判定部３８７は、平均値算出部３８２の算出した差分平均値と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。

中間値（ｍｅｄｉａｎ）算出部３８３は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の中間値を算出する。差分中間値の値も、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）詳細確認必要領域ではその中間の値となる。

判定部３８７は、中間値（ｍｅｄｉａｎ）算出部３８３の算出した差分中間値と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。

最頻値算出部３８４は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の最頻値を算出する。最頻値の値も、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）詳細確認必要領域ではその中間の値となる。

判定部３８７は、最頻値算出部３８４の算出した差分最頻値と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。

最大値（ｍａｘ）算出部３８５は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の最大値（ｍａｘ）を算出する。最大値（ｍａｘ）の値も、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）詳細確認必要領域ではその中間の値となる。

判定部３８７は、最大値（ｍａｘ）算出部３８５の算出した差分最大値（ｍａｘ）と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。

最小値（ｍｉｎ）算出部３８６は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の最小値（ｍｉｎ）を算出する。最小値（ｍｉｎ）の値も、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）詳細確認必要領域ではその中間の値となる。

判定部３８７は、最小値（ｍｉｎ）算出部３８６の算出した差分最小値（ｍｉｎ）と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。

なお、先に説明したように判定部３８７は、分散値算出部３８１〜最小値（ｍｉｎ）算出部３８６の出力する指標値を個別に適用して領域判定を行ってもよいし、複数組み合わせて領域判定を行ってもよい。

図１７に示すフローは、領域判定部３５１における領域判定処理の一例を示すフローチャートである。このフローは、判定部３８７において、分散値算出部３８１の生成する差分分散値と、平均値算出部３８２の生成する差分平均値を用いて各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する処理シーケンスを示している。

図１７に示すフローチャートの各ステップの処理について説明する。ステップＳ２１１において、基準画像と動き補償画像（ＭＣ画）との対応画素の差分値を算出し、さらに領域毎に差分の平均と分散値を算出する。この処理は、差分算出部３８０、分散値算出部３８１、平均値算出部３８２において実行される。

ステップＳ２１２以下は判定部３８７の処理である。ステップＳ２１２において、判定部３８７は、予め設定されている閾値Ｔ２と、平均値算出部３８２の生成した差分平均値を比較する。
差分平均値＞Ｔ２
上記式が成立する場合は、ステップＳ２１６に進み、この領域を「動き推定（ＭＥ）失敗領域」であると判定する。

ステップＳ２１２において、
差分平均値＞Ｔ２
上記式が成立しない場合は、ステップＳ２１３に進む。ステップＳ２１３では、予め設定されている閾値Ｔ１と、平均値算出部３８２の生成した差分平均値との比較処理と、分散値算出部３８１の生成した差分分散値と、予め設定した閾値または画像に基づいて算出したノイズ分散値との比較処理を行う。すなわち、
Ｔ１＜差分平均値
差分分散値＜ノイズ分散値
上記２つの式に従った判定処理を行う。これらの２つの式が成立する場合は、ステップＳ２１５に進み、この領域を「動き推定（ＭＥ）成功領域」であると判定する。

ステップＳ２１３において、
Ｔ１＜差分平均値
差分分散値＜ノイズ分散値
上記２つの式が成立しない場合は、ステップＳ２１４に進み、この領域を「詳細確認必要領域」であると判定する。

図１８に示すフローは、領域判定部３５１における領域判定処理の異なる処理例を示すフローチャートである。このフローは、判定部３８７において、分散値算出部３８１の生成する差分分散値と、平均値算出部３８２の生成する差分平均値と、最大値（ｍａｘ）算出部３８５の生成する差分最大値と、最小値（ｍｉｎ）算出部３８６の算出する差分最小値を用いて各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する処理シーケンスを示している。

図１８に示すフローチャートの各ステップの処理について説明する。ステップＳ２２１において、基準画像と動き補償画像（ＭＣ画）との対応画素の差分値を算出し、さらに領域毎に差分の平均値、分散値、最大値、最小値を算出する。この処理は、差分算出部３８０、分散値算出部３８１、平均値算出部３８２、最大値（ｍａｘ）算出部３８５、最小値（ｍｉｎ）算出部３８６において実行される。

ステップＳ２２２以下は判定部３８７の処理である。ステップＳ２２２において、判定部３８７は、予め設定されている閾値Ｔ２と、平均値算出部３８２の生成した差分平均値を比較する。
差分平均値＞Ｔ２
上記式が成立する場合は、ステップＳ２２８に進み、この領域を「動き推定（ＭＥ）失敗領域」であると判定する。

ステップＳ２２２において、
差分平均値＞Ｔ２
上記式が成立しない場合は、ステップＳ２２３に進む。ステップＳ２２３では、予め設定されている閾値Ｔ１と、平均値算出部３８２の生成した差分平均値との比較処理と、分散値算出部３８１の生成した差分分散値と、予め設定した閾値または画像に基づいて算出したノイズ分散値との比較処理を行う。すなわち、
Ｔ１＜差分平均値
差分分散値＜ノイズ分散値
上記２つの式に従った判定処理を行う。これらの２つの式が成立する場合は、ステップＳ２２７に進み、この領域を「動き推定（ＭＥ）成功領域」であると判定する。

ステップＳ２２３において、
Ｔ１＜差分平均値
差分分散値＜ノイズ分散値
上記２つの式が成立しない場合は、ステップＳ２２４に進む。

ステップＳ２２４において、判定部３８７は、予め設定されている閾値Ｔ３と、最小値（ｍｉｎ）算出部３８６の生成した差分最小値を比較する。
差分最小値＞Ｔ３
上記式が成立する場合は、ステップＳ２２８に進み、この領域を「動き推定（ＭＥ）失敗領域」であると判定する。

ステップＳ２２４において、
差分最小値＞Ｔ３
上記式が成立しない場合は、ステップＳ２２５に進む。

ステップＳ２２５において、判定部３８７は、予め設定されている閾値Ｔ４と、最大値（ｍａｘ）算出部３８５の生成した差分最大値を比較する。
差分最大値＜Ｔ４
上記式が成立する場合は、ステップＳ２２７に進み、この領域を「動き推定（ＭＥ）成功領域」であると判定する。

ステップＳ２２５において、
差分最大値＜Ｔ４
上記式が成立しない場合は、ステップＳ２２６に進み、この領域を「詳細確認必要領域」であると判定する。

図１９は、領域判定部３５１のもう１つの例である。図１９に示す領域判定部３５１は、正規化相関算出部４２１と判定部４２２を有する。正規化相関算出部は、基準画像と動き補償画像（ＭＣ画）各々の対応する位置にある対応小領域の画素値情報を入力する。正規化相関算出部４２１は基準画像と動き補償画像（ＭＣ画）各々の対応小領域の正規化相関を算出する。

判定部４２２は、正規化相関算出部４２１の算出した領域対応の正規化相関値と予め保持している閾値との比較を行い、領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。

「動き推定（ＭＥ）成功領域」においては、基準画像と動き補償画像（ＭＣ画）各々の対応小領域の画素値はほとんど等しい分布となり、正規化相関は高くなる。一方、「動き推定（ＭＥ）失敗領域」の正規化相関は低くなる、判定部４２２は、この傾向に基づいて、領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。

なお、正規化相関算出部４２１の算出する基準画像Ａと動き補償画像（ＭＣ画）Ｂの正規化相関値［ＮＣ（Ａ，Ｂ）］は、以下の式によって算出することができる。
ＮＣ（Ａ，Ｂ）＝Ｓｕｍ（Ａ（ｉ）×Ｂ（ｉ））／（Ｓｑｒｔ（Ｓｕｍ（Ａ（ｉ）×Ａ（ｉ））×Ｓｑｒｔ（Ｓｕｍ（Ｂ（ｉ）×Ｂ（ｉ）））
なお、上記式において、
Ａ（ｉ）は画像領域Ａの画素値（または輝度値）
Ｂ（ｉ）は画像領域Ｂの画素値（または輝度値）
Ｓｕｍ：加算値
Ｓｑｒｔ：平方根
である。

判定部４２２は、上記式によって算出した各領域対応の正規化相関［ＮＣ（Ａ，Ｂ）］と、予め設定している閾値Ｔ５，Ｔ６を比較して、例えば以下のような領域判定処理を行う、
ＮＣ（Ａ，Ｂ）＞Ｔ５
上記判定式が成立する領域は、（ａ）動き推定（ＭＥ）成功領域、
ＮＣ（Ａ，Ｂ）＜Ｔ６
上記判定式が成立する領域は、（ｂ）動き推定（ＭＥ）失敗領域、
その他は、（ｃ）詳細確認必要領域、
このような領域判定処理を実行する。

図１９に示す構成では、正規化相関値の実に基づいて領域判定を行う構成例であるが、図１９に示す構成と図１５に示す構成を合成し、図１５に示す分散値算出部３８１〜最小値（ｍｉｎ）算出部３８６の少なくともいずれかの出力と、図１９に示す正規化相関算出部４２１の出力を組み合わせて領域判定処理を行う構成としてもよい。

図２０に示すフローチャートは、図１５に示す平均値算出部３８２の生成する差分平均値と、正規化相関算出部４２１の出力を組み合わせて領域判定処理を行う処理シーケンスを説明するフローチャートである。

図２０に示すフローチャートの各ステップの処理について説明する。ステップＳ２５１において、基準画像と動き補償画像（ＭＣ画）との対応領域の正規化相関を算出し、さらに対応領域構成画素の差分平均値を算出する。この処理は、図１５に示す差分算出部３８０、平均値算出部３８２、さらに、図１９に示す正規化相関算出部４２１を適用した処理として実行される。

ステップＳ２５２以下は判定部の処理である。ステップＳ２５２において、判定部は、予め設定されている閾値Ｔ５と、図１９に示す正規化相関算出部４２１の算出した正規化相関［ＮＣ］とを比較する。
ＮＣ＞Ｔ５
上記式が成立する場合は、ステップＳ２５６に進み、この領域を「動き推定（ＭＥ）成功領域」であると判定する。

ステップＳ２５２において、
ＮＣ＞Ｔ５
上記式が成立しない場合は、ステップＳ２５３に進む。
ステップＳ２５３では、予め設定されている閾値Ｔ６と、図１９に示す正規化相関算出部４２１の算出した正規化相関［ＮＣ］との比較処理、および、予め設定されている閾値Ｔ７と、図１５に示す平均値算出部３８２の生成した差分平均値を比較する。すなわち、
ＮＣ＞Ｔ６
差分平均＝｜基準画像平均−動き補償画像（ＭＣ画）平均｜＞Ｔ７
これらの２つの式が成立するか否かを判定する。

上記２つの式が成立する場合は、ステップＳ２５５に進み、この領域を「動き推定（ＭＥ）失敗領域」であると判定する。

ステップＳ２５３において、
ＮＣ＞Ｔ６
差分平均＝｜基準画像平均−動き補償画像（ＭＣ画）平均｜＞Ｔ７
これらの２つの式が成立しない場合は、ステップＳ２５４に進み、この領域を「詳細確認必要領域」であると判定する。

このように、本実施例に従った画像処理装置３００、すなわち図９に示す画像処理装置３００は加算判定部３０４において、縮小画像に対する処理を実行して処理の高速化を実現している。

さらに、加算判定部３０４において、縮小画像を区分した小領域単位で、各小領域が、（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）詳細確認必要領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定し、この判定結果に応じて、図１４に示す構成を適用して加算重みの設定を行う構成としている。

すなわち、
「動き推定（ＭＥ）成功領域」については、加算重み調整部（オール１）３５３において、加算重み＝１とする。
「動き推定（ＭＥ）失敗領域」については、加算重み調整部（オール０）３５４において、加算重み＝０とする。
「詳細確認必要領域」については処理プロック３６０において先に図４を参照して説明した処理を実行して各画素対応の加算重みを算出する。

これらの処理結果を合算して各が素対応の加算重みを設定した加算係数マップを生成する。このような処理によって、動き推定（ＭＥ）成功領域と失敗領域を区別した処理が可能となり、ノイズ低減に効果のある精度の高い加算重みの設定が可能となる。

加算判定部３０４の生成した加算係数マップはアップサンプリング処理部３１３に入力される。アップサンプリング処理部３１３は、加算判定部３０４の生成した加算係数マップを元の基準画像および動き補償画像（ＭＣ画）と同じ画素数に拡大する処理を行う。アップサンプリング処理部３１３は拡大した加算係数マップを加算処理部３０５に出力する。

加算処理部３０５は、基準画像と動き補償画像（ＭＣ画）とを対応画素ごとに計算された加算重みを適用して加算する処理を行う。加算処理部３０５の処理は、先に図１、図６を参照して説明したと同様の処理である。すなわち、基準画像と動き補償画像（ＭＣ画）との加重平均を計算して加算処理を行う。

［（２ｃ）ノイズと動き推定（ＭＥ）失敗領域との判別情報を適用した加算判定処理を実行する画像処理装置（実施例３）］
次に、本発明の実施例３として、ノイズと動き推定（ＭＥ）失敗領域との判別情報を適用した加算判定処理を実行する画像処理装置の構成について説明する。

以下に説明する実施例３の画像処理装置は、加算判定部において加算重みを算出する際に基準画像あるいは動き補償画像（ＭＣ画）などに発生したノイズ領域と動き推定（ＭＥ）失敗領域との判別を行って、算出する加算重みの制御を行う構成を有する。

［（２ｃ−１）領域判定結果に応じたノイズ判定テーブルの適用例］
図２１は、本実施例３の画像処理装置における加算判定部５００の構成を示す。この加算判定部５００は、図１に示す画像処理装置１０における加算判定部１４、または図９に示す画像処理装置３００の加算判定部３０４として利用できる。

すなわち、この実施例３において説明する加算判定処理は、縮小画像を用いない図１に示す画像処理装置１０の加算判定部１４の処理として適用することも可能であり、縮小画像を用いた図９に示す画像処理装置３００内の加算判定部３０４の処理として適用可能である。

以下では、図１に示す画像処理装置１０内の加算判定部１４として適用した場合の処理例について説明する。図２１に示すように、加算判定部５００は領域判定部５１１、ノイズ判定テーブル生成部５１２、加算判定処理実行部５１３を有する。

図１に示す画像処理装置１０の加算判定部１４として、図２１に示す加算判定部５００を用いた場合、加算判定部５００には、フレームメモリ１１から基準画像、動き補償処理部１３から動き補償画像（ＭＣ画）が入力される。さらに画像処理装置１０を有する例えばカメラ内部のマイコンから画像情報（撮影条件など）を入力する。画像情報は、例えばカメラ内部のマイコンから供給される。画像情報には、入力画像（撮影画像）に対応する撮影モード、露光時間、ゲイン等の情報が含まれる。

領域判定部５１１は、フレームメモリ１１に格納された基準画像、動き補償処理部１３の生成した動き補償画像（ＭＣ画）を入力する。領域判定部５１１では、先の実施例２において説明した処理と同様の領域判定処理を行う。すなわち、図１４を参照して説明した加算判定部３０４における領域判定部３５１と同様の構成を有し、同様の処理を実行する。

領域判定部５１１は、領域判定部３５１の処理として先に説明したように、基準画像と動き補償画像（ＭＣ画）を入力して、画像を構成する複数画素からなる小領域（ブロック）単位で領域判定処理を行う。具体的には、各領域が動き推定（ＭＥ）成功領域であるか、動き推定（ＭＥ）失敗領域であるか、いずれにも分類できない詳細確認必要領域であるかの領域判定処理を行う。

領域判定部５１１は、基準画像と動き補償画像（ＭＣ画）を区分した領域単位で、各領域が、
（ａ）動き推定（ＭＥ）成功領域
（ｂ）動き推定（ＭＥ）失敗領域
（ｃ）詳細確認必要領域
上記（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。
具体的な判定構成については、先に、実施例２において領域判定部３５１の処理として図１５〜図２０を参照して説明したと同様である。

領域判定部５１１は、領域単位の判定結果、すなわち、各領域が、
（ａ）動き推定（ＭＥ）成功領域
（ｂ）動き推定（ＭＥ）失敗領域
（ｃ）詳細確認必要領域
上記（ａ），（ｂ），（ｃ）のいずれに属するかの判定結果を各領域の位置情報とともに、ノイズ判定テーブル生成部５１２に出力する。

ノイズ判定テーブル生成部５１２は、加算判定処理実行部５１３において各領域に含まれる画素の加算重みを算出する際に適用するノイズ判定テーブルを生成する。ノイズ判定テーブル生成部５１２は、領域判定部５１１から各領域の判定結果を入力して、その領域判定結果に応じて、領域対応のノイズ判定テーブルを生成する。

ノイズ判定テーブルは、画素値とノイズ量との関係データである。これは、加算判定処理実行部５１３に設定されるノイズ推定部で適用するテーブルである。なお、加算判定処理実行部５１３は、たとえば先に図４を参照して説明した加算判定部の構成と同様の構成を有する。

先に図４を参照して説明したように、図４に示す加算判定部１４は、ノイズ推定部１１０，１３０，１５０を有する。ノイズ推定部１１０，１３０，１５０は予め各条件で測定した輝度値とノイズ量の関係のデータをテーブルとして有する構成としていた。図４を参照して説明した例では、ノイズ推定部１１０は保持しているテーブルから、該当条件の輝度値とノイズ量の関係を求め、入力した輝度値に対応するノイズ量を画素加算判定部１１６、移動平均加算判定部１１７、移動分散加算判定部１１８に出力する。

例えば露光時間が長くなると、ランダムノイズが増加する傾向がある。また、撮像信号を増幅するゲインが大きくなると、ランダムノイズが増加する傾向がある。したがって、撮影条件としてシャッター速度および／またはゲインの情報を使用し、予めシャッター速度および／またはゲインのそれぞれに対応して画素値とノイズ量とのテーブルを作成して用意しておく。さらに、撮像装置が備えている撮影モードを撮影条件として使用しても良い。なお、撮影条件は、例えばフレームごとに設定される。

ノイズ推定部１１０は、画像中のノイズ量に影響を与える撮影モード、シャッター速度（露光時間）、ゲイン等を撮影条件情報としてカメラ制御部から入力し、予め各撮影条件で測定した輝度値とノイズ量の関係のデータから、該当条件の輝度値とノイズ量の関係を求め、該当撮影条件での入力輝度値に対応するノイズ量を出力する。

この入力輝度値に対応するノイズ量を示すのがノイズ判定テーブルである。本実施例では、このノイズ判定テーブルを、
（ａ）動き推定（ＭＥ）成功領域
（ｂ）動き推定（ＭＥ）失敗領域
（ｃ）詳細確認必要領域
上記（ａ）〜（ｃ）の領域条件に応じて異なるテーブルとして、図２１に示すノイズ判定テーブル生成部５１２において生成して、加算判定処理実行部５１３（例えば図４と同様の構成を有する）内のノイズ推定部に提供する。

例えば図４と同様の構成を有する加算判定処理実行部５１３では、ノイズ推定部は、図２１に示すノイズ判定テーブル生成部５１２から、
（ａ）動き推定（ＭＥ）成功領域
（ｂ）動き推定（ＭＥ）失敗領域
（ｃ）詳細確認必要領域
これらの各領域に応じた異なるノイズ判定テーブルを入力する。

加算判定処理実行部５１３内のノイズ推定部は、加算判定処理実行部５１３で処理対象として入力された画素、すなわち加算重み算出対象とする画素の含まれる領域に対応するテーブルを選択し、選択テーブルから画素値（または輝度値）とノイズ量の関係を求める。その後、画素値（または輝度値）とノイズ量の関係情報を加算判定処理実行部５１３内の画素加算判定部、移動平均加算判定部、移動分散加算判定部（図４参照）に出力する。

これらの各処理部では、ノイズ推定部から供給されるノイズ量情報に従った処理を行うことになる。すなわち、画素加算判定部、移動平均加算判定部、移動分散加算判定部（図４参照）は、
（ａ）動き推定（ＭＥ）成功領域
（ｂ）動き推定（ＭＥ）失敗領域
（ｃ）詳細確認必要領域
これらの各領域に応じて異なるノイズ推定量を適用した処理を実行する。

ノイズ判定テーブルの具体例について、図２２を参照して説明する。図２２（Ａ）には、ノイズ判定テーブル生成部５１２の生成する３種類のノイズ判定テーブルを示している。すなわち、
（１）オリジナルノイズ判定テーブル（詳細確認必要領域に適用）
（２）動き推定（ＭＥ）成功部対応補正ノイズ判定テーブル
（３）動き推定（ＭＥ）失敗部対応補正ノイズ判定テーブル
これらの３種類のノイズ判定テーブルである。

ノイズ判定テーブルは、画素値（または輝度値）に応じた推定ノイズ量を定めたテーブルである。図２２の（１）オリジナルノイズ判定テーブル（詳細確認必要領域に適用）に示すノイズ判定テーブルの実線曲線が基本となる画素値（または輝度値）に応じた推定ノイズ量を定めたテーブルである。画素値が低いほどその画素値に含まれるノイズ成分は多く、画素値が高いほどその画素値に含まれるノイズ成分は少ないと推定される。

図２２の最上段に示す「（１）オリジナルノイズ判定テーブル」は、領域判定部５１１において「詳細確認必要領域」であると判断された領域に含まれる画素の加算重みを算出する際に適用されるテーブルとなる。
「（２）動き推定（ＭＥ）成功部対応補正ノイズ判定テーブル」は、領域判定部５１１において「動き推定（ＭＥ）成功領域」であると判断された領域に含まれる画素の加算重みを算出する際に適用されるテーブルとなる。
「（３）動き推定（ＭＥ）失敗部対応補正ノイズ判定テーブル」は、領域判定部５１１において「動き推定（ＭＥ）失敗領域」であると判断された領域に含まれる画素の加算重みを算出する際に適用されるテーブルとなる。

図２２から理解されるように、「（２）動き推定（ＭＥ）成功部対応補正ノイズ判定テーブル」は、「（１）オリジナルノイズ判定テーブル」に比較して、推定ノイズ量が大きく設定される。また、「（３）動き推定（ＭＥ）失敗部対応補正ノイズ判定テーブル」は、「（１）オリジナルノイズ判定テーブル」に比較して、推定ノイズ量が小さく設定される。

このようなテーブルを利用して加算判定処理実行部５１３内の画素加算判定部、移動平均加算判定部、移動分散加算判定部（図４参照）は、各画素に対応する加算重み、すなわち基準画像の画素に対応する動き補償画像（ＭＣ画）の対応画素の加算重みを設定する。図２２（Ｂ）には、基準画像と動き補償画像（ＭＣ画）の対応画素との差分値と、加算重みの対応関係を示している。σはノイズの分散を示している。

加算判定処理実行部５１３内の画素加算判定部、移動平均加算判定部、移動分散加算判定部（図４参照）では、
（ａ）動き推定（ＭＥ）成功領域
（ｂ）動き推定（ＭＥ）失敗領域
（ｃ）詳細確認必要領域
これらの各領域に応じて異なるノイズ推定量を適用するため、各領域に応じて加算重みを異ならせて算出することになる。具体的には、動き推定（ＭＥ）成功領域では、動き補償画像（ＭＣ画）の画素値が多く加算され、ノイズ除去の効果が大きくなる。一方、動き推定（ＭＥ）失敗領域では、基準画像の画素値が多く加算され、動体保護の効果を大きくしている。

［（２ｃ−２）領域判定結果に応じた加算重みの補正処理を行う構成例］
次に、図２３を参照して領域判定結果に応じた加算重みの補正処理を行う構成例について説明する。

図２３は、本実施例３の画像処理装置における加算判定部５００のもう１つの構成例を示す。この加算判定部５２０は、図１に示す画像処理装置１０における加算判定部１４、または図９に示す画像処理装置３００の加算判定部３０４として利用できる。

すなわち、この実施例３において説明する加算判定処理は、縮小画像を用いない図１に示す画像処理装置１０の加算判定部１４の処理として適用することも可能であり、縮小画像を用いた図９に示す画像処理装置３００内の加算判定部３０４の処理として適用可能である。

以下では、図１に示す画像処理装置１０内の加算判定部１４として適用した場合の処理例について説明する。図２１に示すように、加算判定部５２０は領域判定部５２１、加算重み補正値算出部５２２、加算判定処理実行部５２３、演算部５２４、加算重み調整部５２５を有する。

図１に示す画像処理装置１０の加算判定部１４として、図２３に示す加算判定部５２０を用いた場合、加算判定部５２０には、フレームメモリ１１から基準画像、動き補償処理部１３から動き補償画像（ＭＣ画）が入力される。さらに画像処理装置１０を有する例えばカメラ内部のマイコンから画像情報（撮影条件など）を入力する。画像情報は、例えばカメラ内部のマイコンから供給される。画像情報には、入力画像（撮影画像）に対応する撮影モード、露光時間、ゲイン等の情報が含まれる。

領域判定部５２１は、フレームメモリ１１に格納された基準画像、動き補償処理部１３の生成した動き補償画像（ＭＣ画）を入力する。領域判定部５２１では、先の実施例２において説明した処理と同様の領域判定処理を行う。すなわち、図１４を参照して説明した加算判定部３０４における領域判定部３５１と同様の構成を有し、同様の処理を実行する。すなわち、領域判定部５２１は、基準画像と動き補償画像（ＭＣ画）を区分した領域単位で、各領域が、
（ａ）動き推定（ＭＥ）成功領域
（ｂ）動き推定（ＭＥ）失敗領域
（ｃ）詳細確認必要領域
上記（ａ），（ｂ），（ｃ）のいずれに属するかを判定し、判定結果を各領域の位置情報とともに、加算重み補正値算出部５２２に出力する。

加算重み補正値算出部５２２は、領域判定部５２１からの領域判定結果に応じて以下の加算重み補正値を演算部５２４に出力する。
（ａ）動き推定（ＭＥ）成功領域：１より大きい加算重み補正値
（ｂ）動き推定（ＭＥ）失敗領域：１より小さい加算重み補正値
（ｃ）詳細確認必要領域：１

加算判定処理実行部５２３は、たとえば先に図４を参照して説明した加算判定部の構成と同様の構成を有し、画素に対応する加算重みを算出して演算部５２４に出力する。

演算部５２４では、加算判定処理実行部５２３から出力される加算重みと、加算重み補正値算出部５２２から出力される加算重み補正値とを乗算する。すなわち、
（ａ）動き推定（ＭＥ）成功領域：加算判定処理実行部５２３から出力される加算重みに、１より大きい加算重み補正値を乗算して加算重みを大きくする。
（ｂ）動き推定（ＭＥ）失敗領域：加算判定処理実行部５２３から出力される加算重みに、１より小さい加算重み補正値を乗算して加算重みを小さくする。
１より小さい加算重み補正値
（ｃ）詳細確認必要領域：加算判定処理実行部５２３から出力される加算重みに、１を乗算して加算重みを変更しない。

このような加算重みの補正を実行して補正結果を加算重み調整部５２５に出力する。加算重み調整部５２５では、演算部５２４の出力値が０〜１の範囲になるような正規化する加算重み調整処理を実行して、最終的な加算重みとして出力する。この図２３に示す構成を適用した場合も、先に図２１を参照して説明した場合と同様の効果が得られる。すなわち、動き推定（ＭＥ）成功領域では、動き補償画像（ＭＣ画）の画素値が多く加算され、ノイズ除去の効果が大きくなる。一方、動き推定（ＭＥ）失敗領域では、基準画像の画素値が多く加算され、動体保護の効果を大きくしている。

＜（３）画像処理装置のハードウェア構成例＞
最後に、図２４を参照して、上述した処理を実行する装置の１つのハードウェア構成例としてパーソナルコンピュータのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の実施例において説明したノイズ低減画像（ＮＲ画像）の生成処理などの処理プログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。

ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。

入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、基準画像と参照画像とから画像間の動きを示す動きベクトルを適用して参照画像の動き補償を実行して動き補償画像を生成し、加算判定部が算出する動き補償画像の加算重みを適用して、基準画像と動き補償画像とを加算してノイズ低減画像を生成する。この構成において、加算判定部は基準画像と動き補償画像の縮小画像を入力して加算重み算出を行う。さらに、加算判定部は動き補償画像の動き推定の成否を小領域単位で判定し、動き推定の成否に応じて加算重みを調整する。これらの構成により、加算判定処理の効率化および加算重みの高精度化を図り品質の高いノイズ低減画像生成を実現した。

ノイズ低減画像の生成処理を行う画像処理装置の構成例について説明する図である。 ノイズ低減画像の生成処理例について説明する図である。 ノイズ低減画像の生成処理のシーケンスについて説明するフローチャートを示す図である。 加算判定部の詳細構成例について説明する図である。 画素加算判定部の詳細構成例について説明する図である。 加算処理部の構成例について説明する図である。 基準画像と動き補償画像（ＭＣ画）による加算判定と加算重み生成処理の問題点について説明する図である。 本発明の一実施例に係る画像処理装置の加算判定処理の一例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の実行するダウンサンプリング処理例について説明する図である。 本発明の一実施例に係る画像処理装置の実行するアップサンプリング処理例について説明する図である。 本発明の一実施例に係る画像処理装置の実行するアップサンプリング処理の処理例について説明する図である。 動き推定（ＭＥ）の成功判定情報を適用した加算判定処理を実行する加算判定部の一構成例について説明する図である。 動き推定（ＭＥ）の成功判定情報を適用した加算判定処理を実行する加算判定部の領域判定部の構成例および処理例について説明する図である。 画素値（輝度値）差分の分散に基づく判定処理について説明する図である。 加算判定部内に設定される領域判定部における領域判定処理の一シーケンス例について説明するフローチャートを示す図である。 加算判定部内に設定される領域判定部における領域判定処理の一シーケンス例について説明するフローチャートを示す図である。 動き推定（ＭＥ）の成功判定情報を適用した加算判定処理を実行する加算判定部の領域判定部の構成例および処理例について説明する図である。 加算判定部内に設定される領域判定部における領域判定処理の一シーケンス例について説明するフローチャートを示す図である。 実施例３の画像処理装置における加算判定部の構成例について説明する図である。 実施例３の画像処理装置における加算判定部の利用するノイズ判定テーブルの具体例について説明する図である。 実施例３の画像処理装置における加算判定部の構成であり、領域判定結果に応じた加算重みの補正処理を行う例について説明する図である。 本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。

符号の説明

１０ 画像処理装置
１１ フレームメモリ
１２ 動き予測処理部
１３ 動き補償処理部
１４ 加算判定部
１５ 加算処理部
１１０，１３０，１５０ ノイズ推定部
１１１，１１２，１３１，１３２，１５１，１５２ フィルタ
１１３，１３３，１５３ 画素値差分算出部
１１４，１３４，１５４ 移動平均差分算出部
１１５，１３５，１５５ 移動分散差分算出部
１１６，１３６，１５６ 画素加算判定部
１１７，１３７，１５７ 移動平均加算判定部
１１８，１３８，１５８ 移動分散加算判定部
１１９，１２０，１３９〜１４１，１５９，１６０，１７２ 乗算器
１７１ アップサンプリング処理部
２５１，２５２，２５４ 乗算器
２５３ 減算器
２５５ 加算器
３００ 画像処理装置
３０１ フレームメモリ
３０２ 動き予測処理部
３０３ 動き補償処理部
３０４ 加算判定部
３０５ 加算処理部
３１１，３１２ ダウンサンプリング処理部
３１３ アップサンプリング処理部
３５１ 領域判定部
３５２ 切り替え部
３５３，３５４ 加算重み調整部
３５５ 輝度信号加算判定部
３５６ 色差信号加算判定部
３５７ ノイズ推定部
３５８ 演算部
３８０ 差分算出部
３８１ 分散値算出部
３８２ 平均値算出部
３８３ 中間値（ｍｅｄｉａｎ）算出部
３８４ 最頻値算出部
３８５ 最大値（ｍａｘ）算出部
３８６ 最小値（ｍｉｎ）算出部
３８７ 判定部
４２１ 正規化相関算出部
４２２ 判定部
５００ 加算判定部
５１１ 領域判定部
５１２ ノイズ判定テーブル生成部
５１３ 加算判定処理実行部
５２０ 加算判定部
５２１ 領域判定部
５２２ 加算重み補正値算出部
５２３ 加算判定処理実行部
５２４ 演算部
５２５ 加算重み調整部
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ バス
７０５ 入出力インタフェース
７０６ 入力部
７０７ 出力部
７０８ 記憶部
７０９ 通信部
７１０ ドライブ
７１１ リムーバブルメディア

Claims (14)

1. 基準画像と参照画像との画像間の動きを示す動きベクトルを検出する動き予測処理部と、
   前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成する動き補償処理部と、
   前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理部と、
   前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定部と、
   前記加算判定部に対して入力する前記基準画像と前記動き補償画像の縮小処理を行うダウンサンプリング処理部と、
   前記加算判定部の出力である加算係数マップの拡大処理を行うアップサンプリング処理部を有する画像処理装置。
2. 前記加算判定部は、
   前記ダウンサンプリング処理部の生成した前記基準画像と前記動き補償画像の縮小画像を適用して該縮小画像の構成画素に対応する加算重みの算出を行う構成である請求項１に記載の画像処理装置。
3. 基準画像と参照画像との画像間の動きを示す動きベクトルを検出する動き予測処理部と、
   前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成する動き補償処理部と、
   前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理部と、
   前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定部を有し、
   前記加算判定部は、
   前記基準画像と前記動き補償画像の解析を実行し、前記動き補償画像を区分した小領域の各々が、
   （ａ）動き推定（ＭＥ）成功領域、
   （ｂ）動き推定（ＭＥ）失敗領域、
   （ｃ）上記（ａ），（ｂ）いずれでもない詳細確認必要領域、
   上記の（ａ）〜（ｃ）のいずれに対応する領域であるかの領域属性を判定する領域判定部と、
   前記領域判定部の判定結果である領域属性に応じて各領域に属する加算重みの算出処理を異なる処理として実行する加算重み設定部を有する構成である画像処理装置。
4. 前記加算重み設定部は、
   前記小領域が動き推定（ＭＥ）成功領域である場合、該小領域に含まれる画素対応の加算重みを１に設定し、
   前記小領域が動き推定（ＭＥ）失敗領域である場合、該小領域に含まれる画素対応の加算重みを０に設定する処理を行なう構成である請求項３に記載の画像処理装置。
5. 前記加算重み設定部は、
   前記小領域が動き推定（ＭＥ）成功領域、動き推定（ＭＥ）失敗領域のいずれでもない領域である場合は、該領域に含まれる画素単位で前記基準画像と前記動き補償画像の対応画素の差分情報を含む情報の解析により、各画素対応の加算重みを算出する構成である請求項３または４に記載の画像処理装置。
6. 前記領域判定部は、
   前記基準画像と前記動き補償画像の対応画素の差分値対応の分散値、または平均値、または中間値、または最頻値、または最大値、または最小値の少なくともいずれかを算出し、いずれかの算出値と予め設定した閾値との比較処理により領域判定処理を行う構成である請求項３に記載の画像処理装置。
7. 前記領域判定部は、
   前記基準画像と前記動き補償画像の正規化相関を算出し、予め設定した閾値との比較処理により領域判定処理を行う構成である請求項３に記載の画像処理装置。
8. 前記加算判定部は、さらに、
   前記領域判定部の判定結果である領域属性に応じて画素値対応の推定ノイズ量を変えたノイズ判定テーブルを生成するノイズ判定テーブル生成部を有し、
   前記加算重み設定部は、前記ノイズ判定テーブルを適用して推定されるノイズ量を適用して各領域に属する画素対応の加算重みを、前記領域属性に応じて異なる処理として実行する構成である請求項３に記載の画像処理装置。
9. 前記加算判定部は、さらに、
   前記領域判定部の判定結果である領域属性に応じて加算重み補正値を算出する加算重み補正値算出部と、
   前記加算重み設定部の算出した画素対応の加算重みの値と前記加算重み補正値算出部の算出した加算重み補正値との演算処理を実行する演算部と、
   前記演算部の出力を０〜１の範囲に調整する加算重み調整部を有する構成である請求項３に記載の画像処理装置。
10. 前記加算判定部は、
    ダウンサンプリング処理部の生成した前記基準画像と前記動き補償画像の縮小画像を適用して該縮小画像の構成画素に対応する加算重みの算出を行う構成である請求項３〜９いずれかに記載の画像処理装置。
11. ノイズ低減画像を生成する画像処理装置における画像処理方法であり、
    動き予測処理部が、基準画像と参照画像との画像間の動きを示す動きベクトルを検出する動き予測処理ステップと、
    動き補償処理部が、前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成する動き補償処理ステップと、
    加算処理部が、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理ステップと、
    加算判定部が、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定ステップと、
    ダウンサンプリング処理部が、前記加算判定部に対して入力する前記基準画像と前記動き補償画像の縮小処理を行うダウンサンプリング処理ステップと、
    アップサンプリング処理部が、前記加算判定部の出力である加算係数マップの拡大処理を行うアップサンプリング処理ステップを有する画像処理方法。
12. ノイズ低減画像を生成する画像処理装置における画像処理方法であり、
    動き予測処理部が、基準画像と参照画像との画像間の動きを示す動きベクトルを検出する動き予測処理ステップと、
    動き補償処理部が、前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成する動き補償処理ステップと、
    加算処理部が、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理ステップと、
    加算判定部が、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定ステップを有し、
    前記加算判定ステップは、
    前記基準画像と前記動き補償画像の解析を実行し、前記動き補償画像を区分した小領域の各々が、
    （ａ）動き推定（ＭＥ）成功領域、
    （ｂ）動き推定（ＭＥ）失敗領域、
    （ｃ）上記（ａ），（ｂ）いずれでもない詳細確認必要領域、
    上記の（ａ）〜（ｃ）のいずれに対応する領域であるかの領域属性を判定する領域判定ステップと、
    前記領域判定ステップにおける判定結果である領域属性に応じて各領域に属する加算重みの算出処理を異なる処理として実行する加算重み設定ステップを有する画像処理方法。
13. 画像処理装置において画像処理を実行させるプログラムであり、
    動き予測処理部に、基準画像と参照画像との画像間の動きを示す動きベクトルを検出させる動き予測処理ステップと、
    動き補償処理部に、前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成させる動き補償処理ステップと、
    加算処理部に、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成させる加算処理ステップと、
    加算判定部に、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出させる加算判定ステップと、
    ダウンサンプリング処理部に、前記加算判定部に対して入力する前記基準画像と前記動き補償画像の縮小処理を行わせるダウンサンプリング処理ステップと、
    アップサンプリング処理部に、前記加算判定部の出力である加算係数マップの拡大処理を行わせるアップサンプリング処理ステップを有するプログラム。
14. 画像処理装置において画像処理を実行させるプログラムであり、
    動き予測処理部に、基準画像と参照画像との画像間の動きを示す動きベクトルを検出させる動き予測処理ステップと、
    動き補償処理部に、前記動きベクトルを適用して前記参照画像の動き補償処理を実行して動き補償画像を生成させる動き補償処理ステップと、
    加算処理部に、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成させる加算処理ステップと、
    加算判定部に、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出させる加算判定ステップを有し、
    前記加算判定ステップは、
    前記基準画像と前記動き補償画像の解析を実行し、前記動き補償画像を区分した小領域の各々が、
    （ａ）動き推定（ＭＥ）成功領域、
    （ｂ）動き推定（ＭＥ）失敗領域、
    （ｃ）上記（ａ），（ｂ）いずれでもない詳細確認必要領域、
    上記の（ａ）〜（ｃ）のいずれに対応する領域であるかの領域属性を判定させる領域判定ステップと、
    前記領域判定ステップにおける判定結果である領域属性に応じて各領域に属する加算重みの算出処理を異なる処理として実行させる加算重み設定ステップを有するプログラム。