JP6100064B2 - 電子機器および画像処理方法 - Google Patents

Description

本発明の実施形態は、画像を処理する電子機器および該機器に用いられる画像処理方法に関する。

近年、カメラ付きのパーソナルコンピュータ、ＰＤＡ、携帯電話、スマートフォン等や、デジタルカメラのような画像を撮影できる様々な電子機器が普及している。

このような電子機器で撮影された画像には、画像センサの特性に起因するノイズが含まれている。そのため、電子機器には、画像に含まれるノイズを低減するための機能が設けられていることがある。

特開２０１２−１８６５９３号公報

ノイズを低減する方法には、連続して撮影された複数の画像が用いる方法がある。複数の画像を用いることにより、例えば、画像センサの特性に起因するランダムノイズを低減することができる。

しかし、被写体が動物体である場合には、連続して撮影された画像間でその被写体の位置が変化しているために、適切な画像が得られない可能性がある。

本発明は、動物体を撮影した画像の画質を向上させることができる電子機器および画像処理方法を提供することを目的とする。

実施形態によれば、電子機器は、平均画像算出手段と画質処理手段とを具備する。平均画像算出手段は、第１画像と第２画像との第１差分に基づく重みと、前記第１画像と第３画像との第２差分に基づく重みとを用いて、前記第１画像と前記第２画像と前記第３画像との加重平均画像を算出する。画質処理手段は、前記第１画像と第２画像との第１差分と、前記第１画像と第３画像との第２差分とに基づく重みに基づいて、前記加重平均画像内の第１位置に第１強度の画質処理を施し、前記加重平均画像内の第２位置に前記第１強度よりも弱い第２強度の画質処理を施し、前記加重平均画像内の第３位置に前記第２強度よりも弱い第３強度の画質処理を施す。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のシステム構成を示すブロック図。 複数の画像の平均画像を用いて、画像に含まれるノイズを低減する例を説明するための図。 複数の画像の加重平均画像を用いて、画像に含まれるノイズを低減する例を説明するための図。 同実施形態の電子機器によって実行される画像処理プログラムの機能構成を示すブロック図。 同実施形態の電子機器によって、動物体を撮影した複数の画像の画質を向上させる例を説明するための図。 同実施形態の電子機器による画質処理に用いられる重み関数の例を示す図。 同実施形態の電子機器による画質処理に用いられる重み関数の別の例を示す図。 同実施形態の電子機器によって実行される画像処理の手順の例を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、またはデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。

また、本体１１には、本体１１の下面（裏面）側から画像を撮影するためのカメラモジュールが設けられている。

図２は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、カメラモジュール１０９等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、画像処理プログラム２０２が含まれている。この画像処理プログラム２０２は、例えば、カメラモジュール１０９を用いて撮影される画像に含まれるノイズを低減（除去）する機能や画像を鮮鋭化する機能等を有する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

カメラモジュール１０９は、例えば、ユーザが、タッチスクリーンディスプレイ１７の画面上に表示されたボタン（グラフィカルオブジェクト）をタッチ（タップ）したことに応じて、画像を撮影する。カメラモジュール１０９は、動画像のような、連続した複数の画像を撮影することもできる。

カメラモジュール１０９を用いた撮影によって生成される画像には、画像センサの特性に起因するノイズが発生することがある。また、ユーザによる撮影時の手振れの影響を抑制するためにシャッタースピードを上げた場合には、一般に、画像センサの感度が上がるので、生成される画像上のノイズが増加する可能性がある。

このようなノイズを低減するための方法として、物体が連続して撮影された複数の画像を位置合わせし、それら複数の画像を合成することが考えられる。この合成は、例えば、位置合わせされた画像間で対応する画素の画素値の平均を算出することによる、平均画像の生成である。

例えば、（Ｎ＋１）枚の入力画像Ｉ_０〜Ｉ_Ｎを用いて、ノイズが低減された画像を生成する場合について説明する。ここでは、入力画像Ｉ_０〜Ｉ_Ｎが、画像間の特徴点追跡や、画像間で検出された動きベクトルを用いることによって、既に位置合わせされていることを想定する。各入力画像Ｉ_ｉ（ｉ＝０〜Ｎ）は、式１で示すように画像信号Ｓ_ｉとノイズＥ_ｉとの和で表される。
Ｉ_ｉ＝Ｓ_ｉ＋Ｅ_ｉ （式１）
なお、以下では、入力画像Ｉ_ｉにおいて、画像内の画素の位置（ｘ，ｙ）を区別する必要がある場合を除き、Ｉ（ｘ，ｙ）_ｉをＩ_ｉと記述する。他の変数についても同様である。また、入力画像Ｉ_ｉに含まれているノイズＥ_ｉは、例えば、ランダムノイズである。

（Ｎ＋１）枚の入力画像Ｉ_ｉを平均（合成）した平均画像は、次式で表される。

そして、（Ｎ＋１）枚の入力画像Ｉ_ｉは位置合わせされているので、Ｓ_０＝Ｓ_１＝……＝Ｓ_ｉ＝……＝Ｓ_Ｎである。したがって平均画像は、次式のようになる。

ノイズＥ_ｉはランダムノイズであるので、加算による増加量が小さく（例えば、加算によりノイズが相殺され）、入力画像の枚数が多いほど、画像信号に対してノイズが相対的に小さくなる。したがって、式３によって算出される平均画像ではＳ／Ｎ比が向上する。

図３に示す例では、上述の方法を用いて、連続して撮影された時系列順の３枚の画像４１，４０，４２を位置合わせし、それら位置合わせされた画像間で対応する画素の画素値の平均を算出することによって、平均画像４５が生成されている。

ところで、被写体が動物体である場合、複数の画像４０，４１，４２が撮影されている間に、その被写体が移動することがある。図３に示すように、第１参照画像４１と基準画像４０とが撮影される間に被写体の飛行機が移動したことに伴って、第１参照画像４１内の飛行機４１Ａの位置が、基準画像４０内の飛行機４０Ａの位置に変化している。さらに、基準画像４０と第２参照画像４２とが撮影される間に、被写体の人と飛行機とが移動したことに伴って、基準画像４０内の飛行機４０Ａの位置が、第２参照画像４２内の飛行機４２Ａの位置に変化し、また基準画像４０内の人４０Ｂの位置が、第２参照画像４２内の人４２Ｂの位置に変化している。

このように複数の画像４０，４１，４２の撮影中に被写体が移動している場合には、画像のノイズを低減するための平均画像４５上に、移動した被写体が多重に合成されてしまう。図３に示す平均画像４５では、複数の画像４０，４１，４２の撮影中に移動していた飛行機４５Ａと人４５Ｂとが多重に合成されている。

平均画像４５上に被写体が多重に合成されることを回避するためには、被写体が移動している画像４０，４１，４２上の領域（以下、動物体領域とも称する）では、複数の画像を合成しない被写体動き補正を行うこと、すなわち、画像間で対応する画素の画素値を平均しないことが考えられる。

図４に示す例では、２枚の画像の差分に基づいて画像内の動物体領域を検出し、動物体領域では画像を合成しないことによって、ノイズが低減された画像（出力画像）において、動物体が多重に合成されることを回避している。

例えば、基準画像４０と第１参照画像４１との差分４６１に基づいて、移動している飛行機４０Ａ，４１Ａに対応する領域（動物体領域）４７Ａでは画像間で対応する画素の画素値を平均せず、それ以外の領域（静止物体領域）４７Ｂでは画像間で対応する画素の画素値を平均するように構成される重みマップ４７が算出される。この重みマップ４７は、動物体領域４７Ａでは、例えば、基準画像４０内の画素の画素値がそのまま用いられるように構成される。算出された重みマップ４７を用いて、第１参照画像４１と基準画像４０との加重平均画像４６２が算出される。

同様に、基準画像４０と第２参照画像４２との差分４６３に基づいて、移動している飛行機４０Ａ，４２Ａに対応する領域４８Ａと、移動している人４０Ｂ，４２Ｂに対応する領域４８Ｂとでは、画像間で対応する画素の画素値を平均せず、それ以外の領域４８Ｃでは画像間で対応する画素の画素値を平均するように構成される重みマップ４８が算出される。この重みマップ４８は、動物体領域４８Ａ，４８Ｂでは、例えば、基準画像４０内の画素の画素値がそのまま用いられるように構成される。算出された重みマップ４８を用いて、基準画像４０と第２参照画像４２との加重平均画像４６４が算出される。

そして、加重平均画像４６２と加重平均画像４６４との平均画像４９を算出することによって、動物体が多重に合成されることなく、ノイズが低減された画像を取得することができる。しかし、算出された平均画像４９において、動物体領域４７Ａ，４８Ａ，４８Ｂに相当する領域４９Ａ，４９Ｂでは、複数の画像間で対応する画素の画素値が平均されていないので、ノイズを低減（除去）することができていない。さらに、この平均画像４６を鮮鋭化する場合には、動物体領域４７Ａ，４８Ａ，４８Ｂに相当する領域４９Ａ，４９Ｂにおいて、低減（除去）されなかったノイズ（残留ノイズ）が増幅されるので、画質が低下する可能性がある。

そのため、本実施形態では、動物体領域でもノイズを低減し、画像を適切に鮮鋭化するための構成を設ける。

図５を参照して、本実施形態のコンピュータ１０によって実行される画像処理プログラム２０２の機能構成の例を説明する。画像処理プログラム２０２は、例えば、位置合わせ部３１、重みマップ生成部３２、積算合成量算出部３３、平均画像算出部３４、および適応的画質処理部３５を含む。この画像処理プログラム２０２には、例えば、カメラモジュール１０９を用いて連続して撮影された複数の画像が入力される。なお、以下では、図６を併せて参照して、連続して撮影された３枚の画像４０，４１，４２が入力される場合の例を説明するが、画像処理プログラム２０２は、任意の枚数の画像を同様にして処理することができる。

まず、位置合わせ部３１は、入力された複数の画像４０，４１，４２を位置合わせする。つまり、位置合わせ部３１は、入力された画像間での画素の対応を検出する。位置合わせ部３１は、例えば、画像間で動きベクトルを算出する処理、画像間で特徴点を追跡する処理等を用いて、複数の画像を位置合わせする。

次いで、重みマップ生成部３２は、位置合わせされた２枚の画像を用いて重みマップを生成する。より具体的には、重みマップ生成部３２は、図６に示すように、基準画像４０内の画素の画素値と、この画素に対応する、第１参照画像４１内の画素の画素値との差分（第１差分）５６１を算出し、差分５６１に基づく重み５１を算出する。

この重み５１は、例えば、０から１までの値である。算出される重み５１は、例えば、基準画像４０内の画素の画素値に対する重みを１とした場合の、対応する第１参照画像４１内の画素の画素値に対する重みを示す。重みマップ生成部３２は、例えば、画素値の差分が０である場合には重み＝１を算出し、画素値の差分が０より大きい場合には１未満の重み（例えば、画素値の差分が大きいほど小さな重み）を算出する。なお、重みマップ生成部３２は、画素値の差分がしきい値未満である場合には重み＝１を算出し、画素値の差分が当該しきい値以上である場合には重み＝０を算出するようにしてもよい。

このようにして、重みマップ生成部３２は、各画素に関連付けられる重みを含む重みマップ５１を生成する。重みマップ生成部３２は、基準画像４０と第１参照画像４１との間で差分が生じている領域５１Ａに対応する重み（すなわち、動物体が含まれる領域に対応する重み）に、画像間の差分が大きいほど小さな値を設定している。また、重みマップ生成部３２は、基準画像４０と第１参照画像４１との間で差分が生じていない領域に対応する重み（すなわち、静止物体が含まれる領域に対応する重み）に、１を設定している。なお、重みマップ生成部３２は、差分がしきい値未満である領域５１Ｂの重みに１を設定し、差分がしきい値以上である領域５１Ａの重みに０を設定するようにしてもよい。

同様にして、重みマップ生成部３２は、基準画像４０内の画素の画素値と、この画素に対応する、第２参照画像４２内の画素の画素値との差分（第２差分）５６３を算出し、この５６３に基づく重み５２を算出する。算出される重み５２は、例えば、基準画像４０内の画素の画素値に対する重みを１とした場合の、対応する第２参照画像４２内の画素の画素値に対する重みを示す。重みマップ生成部３２は、例えば、画素値の差分が０である場合には重み＝１を算出し、画素値の差分が０より大きい場合には１未満の重み（例えば、画素値の差分が大きいほど小さな値）を算出する。なお、重みマップ生成部３２は、画素値の差分がしきい値未満である場合には重み＝１を算出し、画素値の差分が当該しきい値以上である場合には重み＝０を算出するようにしてもよい。

このようにして、重みマップ生成部３２は、各画素に対応する重みを含む重みマップ５２を生成する。重みマップ生成部３２は、基準画像４０と第２参照画像４２との間で差分が生じている領域５２Ａ，５２Ｂに対応する重み（すなわち、動物体が含まれる領域に対応する重み）に、画像間の差分が大きいほど小さな値を設定している。また、重みマップ生成部３２は、基準画像４０と第２参照画像４２との間で差分が生じていない領域に対応する重み（すなわち、静止物体が含まれる領域に対応する重み）に、１を設定している。なお、重みマップ生成部３２は、差分がしきい値未満である領域５２Ｃの重みに１を設定し、差分がしきい値以上である領域５２Ａ，５２Ｂの重みに０を設定するようにしてもよい。

また、重みマップ生成部３２は、画像間の差分ではなく、位置合わせ部３１によって２つの画像が位置合わせされる際に算出される画像間の差分（誤差）を用いて、重みを算出してもよい。位置合わせ部３１は、画像間で動きベクトルを算出する処理や、画像間で特徴点を追跡する処理において、画像間で画素値の差分や画素ブロックの差分を算出する。重みマップ生成部３２は、このような位置合わせ時に算出された差分を用いることにより、処理量を削減することができる。さらに、重みマップ生成部３２は、画素単位ではなく、画素ブロック単位の重みを算出した後に、画素ブロックの境界の重みを平滑化（デブロッキング）することによって、重みを決定するようにしてもよい。

次いで、平均画像算出部３４は、基準画像４０と第１参照画像４１との差分と、基準画像４０と第２参照画像４２との差分とに基づく重みを用いて、基準画像４０と第１参照画像４１と第２参照画像４２との加重平均画像を算出する。

より具体的には、平均画像算出部３４は、重みマップ生成部３２によって生成された重みマップ５１を用いて、基準画像４０と第１参照画像４１との加重平均画像５６２を算出する。つまり、平均画像算出部３４は、基準画像４０内の画素と、第１参照画像４１内の対応する画素との加重平均を、重みマップ５１内の対応する重みに基づいて算出する。

同様に、平均画像算出部３４は、重みマップ５２を用いて、基準画像４０と第２参照画像４２との加重平均画像５６４を算出する。つまり、平均画像算出部３４は、基準画像４０内の画素と、第２参照画像４２内の対応する画素との加重平均を、重みマップ５２内の対応する重みに基づいて算出する。

そして、平均画像算出部３４は、基準画像４０と第１参照画像４１との加重平均画像５６２と、基準画像４０と第２参照画像４２との加重平均画像５６４との平均画像５４を算出する。したがって、この平均画像（加重平均画像）５４は式４により算出される。ここで、Ｉ_０は基準画像を表し、α_ｉは基準画像と第ｉ参照画像との加重平均を算出するための重み（重みマップ）を表す。

なお、メモリ等のリソースの使用量を低減するために、式５に示す漸化式を用いて、複数の入力画像を１枚ずつ合成（加重平均）することによって平均画像５４を算出してもよい。

また、積算合成量算出部３３は、重みマップ５１と重みマップ５２とを平均した平均重みマップ５３を算出する。この平均重みマップ５３は、式６で表すことができる。

なお、メモリ等のリソースの使用量を低減するために、式７に示す漸化式を用いて、複数の重みマップを１つずつ合成（平均）することによって平均重みマップ５３を算出してもよい。

次いで、適応的画質処理部３５は、平均画像５４と平均重みマップ５３とを用いて、ノイズが低減された画像（出力画像）５５を算出する。より具体的には、適応的画質処理部３５は、平均画像５４に所定のフィルタをかけることによって、平滑化画像Ｉ_Ｌを生成する。この所定のフィルタには、例えば、平滑化フィルタ（ボックスフィルタ、ガウシアンフィルタ、等）や、ノイズ除去フィルタ（バイラテラル、ＮＬ−ｍｅａｎｓ、等）が用いられる。そして、適応的画質処理部３５は、平均重みマップ５３を用いて、平均画像５４と平滑化画像Ｉ_Ｌとを重み付け加算（すなわち、アルファブレンディング）することによって、ノイズが低減された画像（出力画像）を生成する。適応的画質処理部３５は、例えば、式８に基づく演算によって、ノイズが低減された画像を生成することができる。

ここで、重みマップ５１内の領域５１Ｂに重み＝１が設定され、領域５１Ａに重み＝０が設定され、また重みマップ５２内の領域５２Ｃに重み＝１が設定され、領域５２Ａ，５２Ｂに重み＝０が設定されている場合を想定する。その場合、積算合成量算出部３３は、重みマップ５１と重みマップ５２とが平均された平均重みマップ５３において、領域５３Ｅに重み＝１、領域５３Ａ，５３Ｃ，５３Ｄに重み＝０．５、領域５３Ｂに重み＝０をそれぞれ設定する。

そして、適応的画質処理部３５は、平均画像５４内の画素に、平均重みマップ５３に示される重みが大きいほど、強度が高い画質処理（ノイズ低減処理）を施す。より具体的には、適応的画質処理部３５は、この平均重みマップ５３に基づいて、平均重みマップ５３内の領域５３Ｂに対応する、平均画像（加重平均画像）５４内の第１位置に、第１強度の画質処理を施す。また、適応的画質処理部３５は、平均重みマップ５３内の領域５３Ａ，５３Ｃ，５３Ｄに対応する、平均画像５４内の第２位置に、第１強度よりも弱い第２強度の画質処理を施す。さらに、適応的画質処理部３５は、平均重みマップ５３内の領域５３Ｅに対応する、平均画像５４内の第３位置に、第２強度よりも弱い第３強度の画質処理を施す。この画質処理は、上述した平均画像５４と平滑化画像Ｉ_Ｌとの重み付け加算によるノイズ低減処理を含み、例えば、強度が高いほど、平滑化画像Ｉ_Ｌの重みが大きくなる。これにより、適応的画質処理部３５はノイズが低減された画像５５を算出することができる。

さらに、適応的画質処理部３５は、平均重みマップ５３に基づいて、平均画像５４に鮮鋭化処理をさらに含む画質処理を施してもよい。より具体的には、適応的画質処理部３５は、平均画像５４と平滑化画像Ｉ_Ｌとの差分画像Ｉ_Ｈを算出する。この差分画像Ｉ_Ｈは、平均画像５４の高周波成分を示す。適応的画質処理部３５は、平均重みマップ５３を用いて、平均画像５４と平滑化画像Ｉ_Ｌと差分画像（高周波成分の画像）Ｉ_Ｈとを重み付け加算することによって、ノイズが低減され且つ鮮鋭化された画像５５を生成する。適応的画質処理部３５は、例えば、式９に基づく演算によって、ノイズが低減され且つ鮮鋭化された画像５５を生成することができる。

適応的画質処理部３５は、平均画像５４内の画素に、平均重みマップ５３に示される重みが小さいほど、強度が高い鮮鋭化処理を施す。より具体的には、適応的画質処理部３５は、平均重みマップ５３内の領域５３Ｅに対応する、平均画像（加重平均画像）５４内の第３位置に第１強度の鮮鋭化処理を施す。また、適応的画質処理部３５は、平均重みマップ５３内の領域５３Ａ，５３Ｃ，５３Ｄに対応する、平均画像５４内の第２位置に第１強度よりも弱い第２強度の鮮鋭化処理を施す。さらに、適応的画質処理部３５は、平均重みマップ５３内の領域５３Ｂに対応する、平均画像５４内の第１位置に第２強度よりも弱い第３強度の鮮鋭化処理を施す。この鮮鋭化処理は、上述した平均画像５４と平滑化画像Ｉ_Ｌと差分画像（高周波成分の画像）Ｉ_Ｈとの重み付け加算の処理を含み、例えば、強度が高いほど、高周波成分の画像Ｉ_Ｈの重みが大きくなる。これにより、適応的画質処理部３５は鮮鋭化された画像５５を算出することができる。

なお、高周波成分の画像Ｉ_Ｈは、上述したように平均画像５４と平滑化画像Ｉ_Ｌとの差分であるので、式９を式１０のように表すこともできる。

式１０において、高周波成分の画像Ｉ_Ｈを加算するための重み関数Ｗ（α）には、例えば、図７および図８に示すような関数を用いることができる。

以上の構成により、動物体を撮影した画像の画質を向上させることができる。なお、上述した例では、入力画像の内の基準画像と参照画像との差分を用いて重みαを算出する方法について説明したが、３枚の入力画像の内の２番目に撮影された画像を基準画像とするように、中間で撮影された画像を基準画像とするので、入力画像が奇数枚であることが好ましい。また、基準画像と参照画像との差分の代わりに、入力画像と直前の出力画像（すなわち、直前に画質処理された画像５５）との差分を用いて重みαを算出するようにしてもよい。

次いで、図９のフローチャートを参照して、タブレットコンピュータ１０によって実行される画像処理の手順の例を説明する。以下では、位置合わせ部３１によって、画像処理に用いられる複数の画像間で位置合わせ（画像間で対応する画素の検出）が完了していることを想定する。

まず、重みマップ生成部３２は、基準画像４０と第１参照画像４１とを用いて、第１重みマップ５１を算出する（ブロックＢ１１）。重みマップ生成部３２は、基準画像４０内の画素の画素値と、第１参照画像４１内の対応する画素の画素値との差分を算出し、その差分に基づく重みを算出する。

また、重みマップ生成部３２は、基準画像４０と第２参照画像４２とを用いて、第２重みマップ５２を算出する（ブロックＢ１２）。重みマップ生成部３２は、基準画像４０内の画素の画素値と、第２参照画像４２内の対応する画素の画素値との差分を算出し、その差分に基づく重みを算出する。

次いで、平均画像算出部３４は、算出された第１重みマップ５１を用いて、基準画像４０と第１参照画像４１との加重平均画像（第１加重平均画像）５６２を算出する（ブロックＢ１３）。同様に、平均画像算出部３４は、算出された第２重みマップ５２を用いて、基準画像４０と第２参照画像４２との加重平均画像（第２加重平均画像）５６４を算出する（ブロックＢ１４）。そして、平均画像算出部３４は、第１加重平均画像５６２と第２加重平均画像５６４との平均画像５４を算出する（ブロックＢ１５）。

積算合成量算出部３３は、第１重みマップ５１と第２重みマップ５２との平均重みマップ５３を算出する（ブロックＢ１６）。そして、適応的画質処理部３５は、算出された平均重みマップ５３を用いて、平均画像５４を平滑化する（ブロックＢ１７）。例えば、適応的画質処理部３５は、平均重みマップ５３に示される重みに基づいて、平均画像５４内の画素と、平均画像５４に平滑化フィルタをかけることによって得られた平滑化画像内の画素とをブレンディングする画質処理を行う。なお、適応的画質処理部３５は、平均重みマップ５３を用いて、平均画像５４に平滑化および鮮鋭化を施す画質処理を行ってもよい。

以上説明したように、本実施形態によれば、動物体を撮影した画像の画質を向上させることができる。平均画像算出部３４は、基準画像４０と第１参照画像４１との第１差分５６１と、基準画像４０と第２参照画像４２との第２差分５６３とに基づく重みを用いて、基準画像４０と第１参照画像４１と第２参照画像４２との加重平均画像５４を算出する。適応的画質処理部３５は、重みに基づいて、加重平均画像５４内の第１位置５３Ｂに第１強度の画質処理を施し、加重平均画像５４内の第２位置５３Ａ，５３Ｃ，５３Ｄに第１強度よりも弱い第２強度の画質処理を施し、加重平均画像５４内の第３位置５３Ｅに第２強度よりも弱い第３強度の画質処理を施す。これにより、撮影された複数の画像４０，４１，４２に動物体が含まれる場合にも、これら複数の画像４０，４１，４２を用いて画質を向上させることができる。

なお、本実施形態の画像処理の手順は全てソフトウェアによって実行することができる。このため、画像処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２０２…画像処理プログラム、３１…位置合わせ部、３２…重みマップ生成部、３３…積算合成量算出部、３４…平均画像算出部、３５…適応的画質処理部。

Claims (8)

1. 第１画像と第２画像との第１差分に基づく重みと、前記第１画像と第３画像との第２差分に基づく重みとを用いて、前記第１画像と前記第２画像と前記第３画像との加重平均画像を算出する平均画像算出手段と、
   前記第１画像と第２画像との第１差分と、前記第１画像と第３画像との第２差分とに基づく重みに基づいて、前記加重平均画像内の第１位置に第１強度の画質処理を施し、前記加重平均画像内の第２位置に前記第１強度よりも弱い第２強度の画質処理を施し、前記加重平均画像内の第３位置に前記第２強度よりも弱い第３強度の画質処理を施す画質処理手段とを具備する電子機器。
2. 前記画質処理手段は、さらに、前記第１画像と第２画像との第１差分と、前記第１画像と第３画像との第２差分とに基づく重みに基づいて、前記加重平均画像に鮮鋭化処理を施す請求項１記載の電子機器。
3. 前記画質処理手段は、前記第１画像と第２画像との第１差分と、前記第１画像と第３画像との第２差分とに基づく重みに基づいて、前記第３位置に前記第１強度の鮮鋭化処理を施し、前記第２位置に前記第２強度の鮮鋭化処理を施し、前記第１位置に前記第３強度の鮮鋭化処理を施す請求項２記載の電子機器。
4. 前記第１画像と前記第２画像との差分に基づく第１重みと、前記第１画像と前記第３画像との差分に基づく第２重みとを算出する重み算出手段をさらに具備し、
   前記平均画像算出手段は、前記第１重みを用いて前記第１画像と前記第２画像との第１加重平均画像を算出し、前記第２重みを用いて前記第１画像と前記第３画像との第２加重平均画像を算出し、前記第１加重平均画像と前記第２加重平均画像との平均画像を、前記加重平均画像として用いる請求項１記載の電子機器。
5. 前記重み算出手段は、前記第１重みと前記第２重みとの平均重みを算出し、
   前記画質処理手段は、前記平均重みに基づいて、前記第１位置に前記第１強度の画質処理を施し、前記第２位置に前記第２強度の画質処理を施し、前記第３位置に前記第３強度の画質処理を施す請求項４記載の電子機器。
6. 前記重み算出手段は、前記第１重みと前記第２重みとの平均重みを算出し、
   前記画質処理手段は、さらに、前記平均重みに基づいて、前記加重平均画像に鮮鋭化処理を施す請求項４記載の電子機器。
7. 第１画像と第２画像との第１差分に基づく重みと、前記第１画像と第３画像との第２差分に基づく重みとを用いて、前記第１画像と前記第２画像と前記第３画像との加重平均画像を算出し、
   前記第１画像と第２画像との第１差分と、前記第１画像と第３画像との第２差分とに基づく重みに基づいて、前記加重平均画像内の第１位置に第１強度の画質処理を施し、前記加重平均画像内の第２位置に前記第１強度よりも弱い第２強度の画質処理を施し、前記加重平均画像内の第３位置に前記第２強度よりも弱い第３強度の画質処理を施す画像処理方法。
8. コンピュータにより実行されるプログラムであって、前記プログラムは、
   第１画像と第２画像との第１差分に基づく重みと、前記第１画像と第３画像との第２差分に基づく重みとを用いて、前記第１画像と前記第２画像と前記第３画像との加重平均画像を算出する手順と、
   前記第１画像と第２画像との第１差分と、前記第１画像と第３画像との第２差分とに基づく重みに基づいて、前記加重平均画像内の第１位置に第１強度の画質処理を施し、前記加重平均画像内の第２位置に前記第１強度よりも弱い第２強度の画質処理を施し、前記加重平均画像内の第３位置に前記第２強度よりも弱い第３強度の画質処理を施す手順とを前記コンピュータに実行させるプログラム。

Images