JP6700028B2 - ベクトル算出装置およびベクトル算出方法 - Google Patents

Description

本発明は、ベクトル算出装置およびベクトル算出方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）もしくはＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

ＷＤＲ合成を行うためには、長時間露光設定（以下、「長露光設定」とも言う。）と短時間露光設定（以下、「短露光設定」とも言う。）とで撮影した画像が必要となるが、このような画像を撮影する方法には、空間分割型センサを用いる方法と時分割撮影による方法とがある。

空間分割型センサとは、例えば偶数ラインと奇数ラインとで異なる露光設定を適用することが可能なセンサであり、空間分割型センサを用いる方法では、上から順次撮影していけば、長露光と短露光との間の時間差が非常に小さくなるため、動きを含むシーンに対しても二重像アーティファクトの発生を抑えることができるメリットがある。しかし、垂直方向の解像度は半分になってしまうことに加えて、センサ自体の構成が複雑になりセンサ自体の解像度を高くすることが難しい。結果として、ＷＤＲ合成出力において高い解像度を確保することが難しいというデメリットがある。

時分割撮影による方法は、短露光設定で１画面を撮影してから、長露光設定に設定を変更して１画面を撮影し、これを繰り返すものである。時分割撮影による方法は、動きを含むシーンでは二重像アーティファクトが発生するものの、合成によって解像度が低下することはなく、一般的なセンサを使用できるために高解像度のＷＤＲ出力を得ることができるメリットがある。本発明は、時分割撮影によるＷＤＲ合成に向けた技術である。

時分割撮影した画像からＷＤＲ合成を行う場合には、画面全体が動くシーンにおいては二重像アーティファクトが顕著になる問題があり、これを解決するためにはグローバル動きベクトルを検出してグローバル動き補償を行うことによって短露光画像と長露光画像の位置ずれをなくしてからＷＤＲ合成することが必要である。グローバル動き検出の手法として、次のような技術が公開されている。

一つ目として、グローバル動き検出および動き補償を動画像符号化に適用する内容が公開されている（特許文献１参照）。この文献には、グローバル動き補償と、ローカル動きベクトルを用いた通常の動き補償をマクロブロックごとに選択可能として、符号化効率を向上させる技術が紹介されている。グローバル動きベクトル検出方法としては、全マクロブロックの動きベクトルを求め、最も発生頻度の多いベクトルをグローバル動きベクトルとして採用する方法が紹介されている。

二つ目として、グローバル動き検出および動き補償を時間軸のノイズリダクションに適用する内容が公開されている（特許文献２参照）。この文献には、参照画像に対して、ローカル動きベクトルを用いた動き補償画素とグローバル動きベクトルを用いた動き補償画素のどちらか、あるいは両者の画素値を混合した画素値を用いる技術が紹介されており、その混合比を画素の輝度値に応じて制御する方法が紹介されている。また、この文献に記載された技術では、ローカル動きベクトルからグローバル動きベクトルを算出する。

特開２００３−１２５４１１号公報 特開２０１３−０７４５７１号公報

しかしながら、特許文献１に記載された技術は、一般的な動画像を対象としたものであり、輝度が大きく異なるＷＤＲ用の入力画像に適用しても、長露光画像中の飽和領域に対しては信頼性の高い動きベクトルを検出できない。また、ローカルの動きベクトルの信頼性が低くなれば、これらを使って算出するグローバル動きベクトルの信頼性も低くなるため、特許文献１に記載された技術をＷＤＲ用に使用することは難しい。

また、特許文献２に記載された技術は、やはり一般的な動画像を対象としたものであり、輝度が大きく異なるＷＤＲ用の入力画像に適用しても、信頼性の高いグローバル動きベクトルを得ることは難しい。また、特許文献２に記載された技術は、輝度変動に着目しているが、画像間の輝度が異なる点ではなく、画像に含まれるノイズ量が輝度に応じて変動する点に着目しており、本発明とは全く異なる。

そこで、本発明は、通常の動画像ではなく、輝度が大きく異なるＷＤＲ合成用の画像からグローバル動き検出をより高精度に検出することが可能な技術を提供する。例えば、長露光画像には飽和領域が多く含まれる場合があり、短露光画像には輝度値が非常に小さい領域が多く含まれる場合がある。このような画像群に対しても、本発明はより高精度なグローバル動きベクトルを検出できる。

本発明のある実施形態によれば、複数のブロックがそれぞれに設けられた複数の短露光画像からブロックごとに短露光ローカル動きベクトルを検出する短露光ローカル動きベクトル検出部と、複数のブロックがそれぞれに設けられた複数の長露光画像からブロックごとに長露光ローカル動きベクトルを検出する長露光ローカル動きベクトル検出部と、前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとをブロックごとに統合して統合後のローカル動きベクトルをブロックごとに得るベクトル統合処理部と、前記統合後のローカル動きベクトルに基づいて同露光画像間のグローバル動きベクトルを算出するグローバル動きベクトル算出部と、を備える、ベクトル算出装置が提供される。

かかる構成によれば、短露光画像どうしの比較により得られた短露光ローカル動きベクトルと長露光画像どうしの比較により得られた長露光ローカル動きベクトルとがブロックごとに統合されるため、統合後のローカル動きベクトルは高精度なローカル動きベクトルとなる。したがって、統合後のローカル動きベクトルに基づいて算出される同露光画像間のグローバル動きベクトルも高精度なグローバル動きベクトルとなる。

前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとをブロックごとに統合する手法は特に限定されない。例えば、前記ベクトル統合処理部は、前記短露光ローカル動きベクトルおよび前記長露光ローカル動きベクトルのいずれか一方をブロックごとに選択することにより、前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとをブロックごとに統合してもよい。かかる構成によれば、前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとがブロックごとに簡易に統合される。

前記短露光ローカル動きベクトルおよび前記長露光ローカル動きベクトルのいずれか一方をブロックごとに選択する手法も特に限定されない。一例として、前記短露光ローカル動きベクトル検出部は、前記短露光ローカル動きベクトルの信頼性をブロックごとに算出し、前記長露光ローカル動きベクトル検出部は、前記長露光ローカル動きベクトルの信頼性をブロックごとに算出し、前記ベクトル統合処理部は、前記短露光ローカル動きベクトルおよび前記長露光ローカル動きベクトルそれぞれのブロックごとの信頼性に基づいて、前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとのいずれか一方をブロックごとに選択してもよい。かかる構成によれば、信頼性に基づいたローカル動きベクトルが選択される。

信頼性を算出する手法も特に限定されない。一例として、前記短露光ローカル動きベクトル検出部は、短露光画像のブロックごとの平均輝度値に基づいて前記短露光ローカル動きベクトルの信頼性をブロックごとに算出し、前記長露光ローカル動きベクトル検出部は、長露光画像のブロックごとの平均輝度値に基づいて前記長露光ローカル動きベクトルの信頼性をブロックごとに算出してもよい。かかる構成によれば、平均輝度値が反映された信頼性をローカル動きベクトルの選択に利用することが可能である。

前記グローバル動きベクトル算出部によって算出されるグローバル動きベクトルは、同露光画像間のグローバル動きベクトルである。したがって、前記ベクトル算出装置は、前記同露光画像間のグローバル動きベクトルを変換して異なる露光画像間のグローバル動きベクトルを得るベクトル変換部を備えてもよい。かかる構成によれば、異なる露光画像間のグローバル動きベクトルに基づいて短露光画像に対して動き補償し、動き補償後の短露光画像と長露光画像とを合成することによって、位置ずれが低減された合成画像が得られるようになる。

また、同露光画像間のグローバル動きベクトルに対して１より小さい係数が乗じられた結果は、同露光画像間のグローバル動きベクトルを基準として異なる露光画像間のグローバル動きベクトルに近づくはずである。したがって、前記ベクトル変換部は、前記同露光画像間のグローバル動きベクトルに対して１より小さい係数を乗じることにより前記同露光画像間のグローバル動きベクトルを前記異なる露光画像間のグローバル動きベクトルに変換してもよい。

また、本発明の別の実施形態によれば、複数のブロックがそれぞれに設けられた複数の短露光画像からブロックごとに短露光ローカル動きベクトルを検出することと、複数のブロックがそれぞれに設けられた複数の長露光画像からブロックごとに長露光ローカル動きベクトルを検出することと、前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとをブロックごとに統合して統合後のローカル動きベクトルをブロックごとに得ることと、前記統合後のローカル動きベクトルに基づいて同露光画像間のグローバル動きベクトルをブロックごとに算出することと、を含む、ベクトル算出方法が提供される。

かかる方法によれば、短露光画像どうしの比較により得られた短露光ローカル動きベクトルと長露光画像どうしの比較により得られた長露光ローカル動きベクトルとがブロックごとに統合されるため、統合後のローカル動きベクトルは高精度なローカル動きベクトルとなる。したがって、統合後のローカル動きベクトルに基づいて算出される同露光画像間のグローバル動きベクトルも高精度なグローバル動きベクトルとなる。

以上説明したように、本発明によれば、通常の動画像ではなく、輝度が大きく異なるＷＤＲ合成用の画像からグローバル動き検出をより高精度に検出することが可能である。

短露光画像の例を示す図である。 長露光画像の例を示す図である。 ＷＤＲ合成画像の例を示す図である。 短露光画像の例を示す図である。 長露光画像の他の例を示す図である。 ＷＤＲ合成画像の他の例を示す図である。 動き補償後の短露光画像の例を示す図である。 本実施形態の概要を説明するための図である。 本実施形態に係るベクトル検出装置の機能構成例を示す図である。 短露光ローカル動きベクトル検出部および長露光ローカル動きベクトル検出部の詳細構成図である。 短露光画像に離散的に設定されたマクロブロックの例を示す図である。 長露光画像に離散的に設定されたマクロブロックの例を示す図である。 平均輝度値と信頼性との関係の具体的な例を示す図である。 同露光画像間のグローバル動きベクトルに対する変換係数を説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（実施形態の概要）
本実施形態は、露出の異なる複数の画像信号を合成することによって広大なダイナミックレンジを持つ画像信号を生成するシステムを前提として、画面全体が動くシーンにおいて短露光画像と長露光画像との画面全体の動き量をより高精度に求めることを目的とする。

一般的なＷＤＲ合成処理について図１Ａ〜図１Ｃを用いて説明する。短時間露光で短露光画像９１を撮影してから長時間露光で長露光画像９２を撮影する場合を前提としている。図１Ａおよび図１Ｂは、晴れた日に室内から屋外を撮影して得られた画像を表しており、図１Ｂに示した長露光画像９２では、室内が適正露出で撮影されているが、窓の部分は輝度が高すぎて飽和している。一方、図１Ａに示した短露光画像９１では、窓の領域が適正露出で撮影され、窓の外にいる人物や雲が映っているが、室内は露出アンダーとなり暗く撮影されている。

図１Ａに示した短露光画像９１と図１Ｂに示した長露光画像９２とをＷＤＲ合成すると、長露光画像９２で適正露出となっている室内部分には長露光画像９２が使用され、長露光画像９２では飽和してしまう明部には短露光画像が使用され、短露光画像９１と長露光画像９２とが統合された結果が得られる（図１Ｃに示したＷＤＲ合成画像９３）。ただし、図１Ａ〜図１Ｃに示した各画像は、静止しているシーンを撮影したものである。

同じ被写体を、画面全体を動かして撮影したシーンの短露光画像（図２Ａ）と長露光画像（図２Ｂ）との合成結果を図２Ｃに示す。具体的には、カメラが水平右方向にパンしているとして、短露光画像９１に対して長露光画像９２♯の画角が少し左にずれている。

このような状況でＷＤＲ合成を行うと、合成結果は図２Ｃに示したＷＤＲ合成画像９３＃のようになる。長露光画像９２♯が飽和している領域では短露光画像９１を使用するが、このとき短露光画像９１は長露光画像９２♯から位置がずれているために二重像アーティファクトが発生する。同様の現象は、固定カメラにおいて動物体を撮影した時にも発生して、ゴーストと呼ばれる。しかし、カメラ自体が動く場合は、動物体が存在しなくても二重像が発生するし、短露光画像９１と長露光画像９２♯が切り替わる複数の境界部分において二重像が発生する。さらにカメラが動いている間ずっと発生し続けるため、アーティファクトとして非常に顕著になってしまう。

そこで、短露光画像９１と長露光画像９２＃との位置ずれ量Ｄｇ、つまりグローバル動きベクトルを検出し、グローバル動きベクトルに基づいて短露光画像９１に対してグローバル動き補償を行って得られた動き補償後の短露光画像９１’（図３）を生成し、短露光画像９１’と長露光画像９２＃とを合成すれば、位置ずれがないＷＤＲ合成画像が合成される（図１Ｃに示したＷＤＲ合成画像９３と同等の画像が得られる）。最終的にはこれが狙いであるが、本実施形態に係る技術は、その前処理として、短露光画像９１と長露光画像９２＃とからより高精度なグローバル動きベクトルを検出可能とするための技術である。

グローバル動きベクトルを求める従来技術は存在するものの、その技術をＷＤＲの入力画像に適用しようとしてもグローバル動きベクトルを高精度に求めることができない場合が多く発生する。ＷＤＲ合成を必要とするシーンでは、長露光画像中で飽和している領域が多く、飽和してしまった領域には特徴量がなくなってしまい動きを求めること自体が困難になる。図２Ｂに示した長露光画像９２＃を例にとれば、飽和している窓の領域およびその付近は動きベクトル検出の対象外となってしまう。結局、長露光画像９２＃が撮影されたシーンでは、長露光画像９２＃の４割くらいの領域は動きベクトル検出に使えないということになる。検出した動きベクトルが少なければ、信頼性の高いグローバル動きベクトルを検出することはできない。

そこで、本実施形態では、図４に示した構成を取る。１時刻前の、同じ露光設定で撮影された画像どうしで動きベクトル検出を行う。つまり短露光画像どうし（短露光画像（ｔ−１）２１と短露光画像（ｔ）２１＃との間）でローカルな動きベクトル群を検出し（Ｓ１）、長露光画像どうし（長露光画像（ｔ−１）２２と長露光画像（ｔ）２２＃との間）でローカルな動きベクトル群を検出する（Ｓ２）。長露光画像が飽和している領域であっても、短露光画像は飽和していないので短露光画像から動きベクトル群を検出することができる。また、短露光画像間で求めたローカル動きベクトル群と長露光画像間で求めたローカル動きベクトル群とをマクロブロックごとに統合すると（Ｓ３）、画面のほぼ全体のローカル動きベクトルが得られる。これらの情報から信頼性の高いグローバル動きベクトルを算出することができる（Ｓ４）。

図４に示した構成によって求まるグローバル動きベクトルは、短露光画像どうしのグローバル動きベクトルと長露光画像どうしのグローバル動きベクトルであって、本来求めたいのは短露光画像と長露光画像との間のグローバル動きベクトルである。そこで、グローバル動きベクトルに対して１より小さい値の係数を乗じて算出したベクトル量を、真のグローバル動きベクトルとして短露光画像に対する動き補償に用いる。

（実施形態の詳細）
続いて、本実施形態について説明する。まず、本実施形態に係るベクトル算出装置の機能構成について説明する。図５は、本実施形態に係るベクトル算出装置の機能構成を示す図である。図５に示すように、ベクトル算出装置１は、センサ１０、フレームメモリ２０、短露光ローカル動きベクトル検出部３１、長露光ローカル動きベクトル検出部３２、ベクトル統合処理部４０、グローバル動きベクトル算出部５０およびベクトル変換部６０を備える。以下、ベクトル算出装置１が備える各機能ブロックの機能について順次詳細に説明する。

ベクトル算出装置１は、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０に書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０への書き込みは、連続的に行われる。なお、短露光画像の露光時間に対する長露光画像の露光時間の割合（以下、「露光比」とも言う。）は限定されないが、例えば、数倍から数十倍であってよい。

図５を参照すると、フレームメモリ２０には、短露光画像（ｔ−１）、短露光画像（ｔ）、長露光画像（ｔ−１）および長露光画像（ｔ）が記録されている。これらの画像は、短露光画像（ｔ−１）、長露光画像（ｔ−１）、短露光画像（ｔ）および長露光画像（ｔ）の順に撮影される。なお、各画像に括弧書きで付された時刻は、撮影順序を露光設定ごとに示したものである。このように、本明細書および本図面においては、撮影順序を括弧書きによって示すことがある。

ここで、本明細書においては、少なくとも、過去の長露光画像、現時刻の長露光画像、過去の短露光画像および現時刻の短露光画像がフレームメモリ２０に残っていればよい。したがって、長露光画像および短露光画像が撮影される間隔は特に限定されない。また、長露光画像および短露光画像は、毎フレームがフレームメモリ２０に書き込まれてもよいし、複数フレームに一度フレームメモリ２０に書き込まれてもよい。

例えば、図５に示した例のように、長露光画像および短露光画像のペアを書き込む領域が２組存在する場合には、ベクトル算出装置１は、長露光画像および短露光画像のペアを２組の領域に対して交互に書き込めばよい。例えば、フレームメモリ２０に書き込まれた短露光画像（ｔ−１）および長露光画像（ｔ−１）は、短露光画像（ｔ＋１）および長露光画像（ｔ＋１）によって上書きされてよい。

本実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

短露光ローカル動きベクトル検出部３１および長露光ローカル動きベクトル検出部３２の詳細構成図を図６に示す。図６に示すように、短露光ローカル動きベクトル検出部３１および長露光ローカル動きベクトル検出部３２それぞれは、平均輝度算出部３１１、信頼性算出部３１２および動きベクトル検出部３２１を備える。なお、短露光ローカル動きベクトル検出部３１と長露光ローカル動きベクトル検出部３２との差異は、入力される画像が異なる点であるため、短露光ローカル動きベクトル検出部３１の機能詳細について主に説明し、長露光ローカル動きベクトル検出部３２の機能詳細の説明は省略する。

より具体的には、短露光ローカル動きベクトル検出部３１には、短露光画像（ｔ−１）および短露光画像（ｔ）が入力され、長露光ローカル動きベクトル検出部３２には、長露光画像（ｔ−１）および長露光画像（ｔ）が入力される。したがって、長露光ローカル動きベクトル検出部３２の機能は、短露光ローカル動きベクトル検出部３１の機能のうち、短露光画像（ｔ−１）および短露光画像（ｔ）を長露光画像（ｔ−１）および長露光画像（ｔ）に置き換えればよい。

ローカル動きベクトル検出部３２１は、短露光画像（ｔ−１）および短露光画像（ｔ）から複数のローカルな動きベクトル（以下、「短露光ローカル動きベクトル」とも言う。）を検出する。例えば、短露光画像（ｔ−１）および短露光画像（ｔ）の対応する領域には複数のマクロブロックが設定されており、ローカル動きベクトル検出部３２１は、短露光画像（ｔ−１）および短露光画像（ｔ）からマクロブロックごとに短露光ローカル動きベクトルを検出する。

より具体的には、ローカル動きベクトル検出部３２１は、短露光画像（ｔ−１）のマクロブロックとの間で対応する画素どうしの二乗誤差和が最小となるマクロブロックを短露光画像（ｔ）から検出する処理を、短露光画像（ｔ−１）の全てのマクロブロックについて行う。この処理によって、短露光画像（ｔ−１）のマクロブロックを始点とし、検出した短露光画像（ｔ）のマクロブロックを終点とする短露光ローカル動きベクトルが、短露光画像（ｔ−１）のマクロブロックごとに検出される。

なお、マクロブロックのサイズは特に限定されない。したがって、「マクロブロック」という用語に含まれる「マクロ」はブロックのサイズを限定するものではない。また、本実施形態においては、マクロブロックの形状が矩形である場合を例として説明するが、マクロブロックの形状は特に限定されないため、矩形以外の形状であってもよい。

また、マクロブロックは、短露光画像（ｔ−１）および短露光画像（ｔ）それぞれに隙間なく敷き詰められていてもよいが、これらの画像の解像度が高い場合などには、マクロブロックが多くなりすぎてしまい、短露光ローカル動きベクトル検出のための演算量が大きくなりすぎてしまう状況が起こり得る。かかる状況を回避したい場合には、図７Ａの短露光画像２１＃に示された破線の矩形ブロックや、図７Ｂの長露光画像２２＃に示された破線の矩形ブロックのように、マクロブロックが離散的に配置されてもよい。

平均輝度算出部３１１は、短露光画像（ｔ）の平均輝度値をマクロブロックごとに算出する。なお、短露光画像（ｔ）の平均輝度値をマクロブロックごとに算出するのが望ましいが、短露光画像（ｔ）の平均輝度値の代わりに、短露光画像（ｔ−１）の平均輝度値をマクロブロックごとに算出してもよいし、他の時刻において撮影された短露光画像の平均輝度値を算出してもよい。

信頼性算出部３１２は、短露光画像のマクロブロックごとの平均輝度値に基づいて短露光ローカル動きベクトルの信頼性をマクロブロックごとに算出する。ここで、平均輝度値と信頼性との関係は特に限定されない。平均輝度値と信頼性との関係の具体的な例を図８に示す。

図８に示すように、平均輝度値が第１の閾値Ｔｈ１を下回る場合には、平均輝度値の低下とともに信頼性も低下する。これは、マクロブロックが短露光画像中の暗くつぶれて撮影された領域あるいは暗い領域を含む領域に存在する場合、当該マクロブロック内の画素がノイズの影響を受けやすくなるため、検出される短露光ローカル動きベクトルの信頼性が低いと考えられるからである。

一方、平均輝度値が第２の閾値Ｔｈ２を上回る場合には、平均輝度値の上昇とともに信頼性が低下する。これは、マクロブロックが長露光画像中の飽和領域あるいは飽和領域を含む領域あるいは飽和に近い明部に存在する場合、検出される長露光ローカル動きベクトルの信頼性が低いと判断されるという考え方に基づく。このようにして、短露光ローカル動きベクトルが検出され、その信頼性が算出される。同様にして、長露光ローカル動きベクトルが検出され、その信頼性も算出される。

ベクトル統合処理部４０は、短露光ローカル動きベクトルと長露光ローカル動きベクトルとをブロックごとに統合して統合後のローカル動きベクトルをブロックごとに得る。ここで、短露光ローカル動きベクトルと長露光ローカル動きベクトルとをどのように統合するかは限定されない。一例として、ベクトル統合処理部４０は、短露光ローカル動きベクトルおよび長露光ローカル動きベクトルのいずれか一方をブロックごとに選択することにより、統合後のローカル動きベクトルをブロックごとに得ればよい。

例えば、ベクトル統合処理部４０は、短露光ローカル動きベクトルおよび長露光ローカル動きベクトルそれぞれのブロックごとの信頼性に基づいて、短露光ローカル動きベクトルと長露光ローカル動きベクトルとのいずれか一方をブロックごとに選択すればよい。より具体的には、ベクトル統合処理部４０は、短露光ローカル動きベクトルおよび長露光ローカル動きベクトルのうち、より信頼性が高いローカル動きベクトルをブロックごとに選択することによって、短露光ローカル動きベクトルと長露光ローカル動きベクトルとをブロックごとに統合すればよい。

なお、短露光ローカル動きベクトルと長露光ローカル動きベクトルとの間で信頼性が同じマクロブロックにおいては、長露光ローカル動きベクトルを選択してもよい。これは、長露光画像の方が短露光画像よりも含まれるノイズが少ないため、長露光ローカル動きベクトルの方が短露光ローカル動きベクトルよりも高精度に検出される可能性が高いこと、短露光画像よりも長露光画像の方が現在時刻に近いタイミングに撮影されたために、長露光ローカル動きベクトルの方が短露光ローカル動きベクトルよりも現在の動きに近い動きが反映されているという考え方に基づく。

グローバル動きベクトル算出部５０は、統合後のローカル動きベクトルに基づいて同露光画像間のグローバル動きベクトルを算出する。同露光画像間（短露光画像間あるいは長露光画像間）のグローバル動きベクトルの算出手法は限定されない。例えば、グローバル動きベクトル算出部５０は、統合後のローカル動きベクトル全てのうち生起頻度の最も高いものを同露光画像間のグローバル動きベクトルとして算出してもよい。あるいは、グローバル動きベクトル算出部５０は、統合後のローカル動きベクトル全ての平均値を同露光画像間のグローバル動きベクトルとして算出してもよい。

ベクトル変換部６０は、同露光画像間のグローバル動きベクトルを変換して異なる露光画像間（短露光画像と長露光画像との間）のグローバル動きベクトルを得る。具体的には、ベクトル変換部６０は、同露光画像間のグローバル動きベクトルに対して１より小さい係数を乗じる。同露光画像間のグローバル動きベクトルに対して１より小さい係数が乗じられた結果は、同露光画像間のグローバル動きベクトルを基準として異なる露光画像間のグローバル動きベクトルに近づくはずである。

短露光画像と長露光画像のシャッタータイミングが把握できる場合は、短露光画像と長露光画像の撮影期間の中心の時間差から係数が求められる。図９を用いて具体的に説明する。図９を参照すると、横軸に時間軸が示され、短露光画像と長露光画像を順次撮影している時のシャッタータイミングが時間軸に沿って表されている。グローバル動きベクトル算出部５０によって算出された同露光画像間のグローバル動きベクトルＧＭＶは、図９におけるＤｉｆｆ（Ｌ）またはＤｉｆｆ（Ｓ）に相当する時間の動き量である。異なる露光画像間のグローバル動きベクトルＧＭＶ’は、Ｄｉｆｆ（ＳＬ）に相当する時間の動き量であるから、ＧＭＶからＧＭＶ’への変換式は、以下の（数式１）で表される。

ＧＭＶ’＝（Ｄｉｆｆ（ＳＬ）／Ｄｉｆｆ（Ｌ））×ＧＭＶ ・・・（数式１）

ここで、（数式１）における（Ｄｉｆｆ（ＳＬ）／Ｄｉｆｆ（Ｌ））が同露光画像間のグローバル動きベクトルＧＭＶに対する変換係数となる。なお、シャッタータイミングが把握できない場合は、変換係数をマニュアルで設定してもよい。このとき、ユーザはＷＤＲ合成結果を見ながら、二重像アーティファクトが目立たなくなるポイントで変換係数を決定すればよい。

以上、本実施形態について説明した。本実施形態によれば、複数のブロックがそれぞれに設けられた複数の短露光画像からブロックごとに短露光ローカル動きベクトルを検出する短露光ローカル動きベクトル検出部３１と、複数のブロックがそれぞれに設けられた複数の長露光画像からブロックごとに長露光ローカル動きベクトルを検出する長露光ローカル動きベクトル検出部３２と、短露光ローカル動きベクトルと長露光ローカル動きベクトルとをブロックごとに統合して統合後のローカル動きベクトルをブロックごとに得るベクトル統合処理部４０と、統合後のローカル動きベクトルに基づいて同露光画像間のグローバル動きベクトルを算出するグローバル動きベクトル算出部５０と、を備える、ベクトル算出装置１が提供される。

かかる構成によれば、短露光画像どうしの比較により得られた短露光ローカル動きベクトルと長露光画像どうしの比較により得られた長露光ローカル動きベクトルとがブロックごとに統合されるため、統合後のローカル動きベクトルは高精度なローカル動きベクトルとなる。したがって、統合後のローカル動きベクトルに基づいて算出される同露光画像間のグローバル動きベクトルも高精度なグローバル動きベクトルとなる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

ＷＤＲ合成技術は重要視されている。しかし、高解像度のＷＤＲ出力を得ようとして短露光画像と長露光画像を時分割で撮影して合成しようとすれば、動きに対して二重像アーティファクトが発生するという点が弱点である。特にカメラ自体がパン・チルトの動きを含む場合、被写体に動物体がなくとも二重像が発生したり、短露光画像と長露光画像の境界に二重像が多く発生したり、動いている間ずっと二重像が発生したりすることから、顕著なアーティファクトとして問題となる。

従来のグローバル動き検出技術では、輝度差の大きいＷＤＲ用画像から正確なグローバル動きベクトルを求めることは困難であり、本実施形態はこれを解決するものである。本実施形態によって、パン・チルト動作をするタイプのカメラであっても高品質なＷＤＲ画像を出力することが可能となり、製品の差別化に大きく貢献すると思われる。

１ ベクトル算出装置
１０ センサ
２０ フレームメモリ
２１（２１♯） 短露光画像
２２（２２♯） 長露光画像
３１ 短露光ローカル動きベクトル検出部
３２ 長露光ローカル動きベクトル検出部
３１１ 平均輝度算出部
３１２ 信頼性算出部
３２１ ベクトル検出部
４０ ベクトル統合処理部
５０ ベクトル算出部
６０ ベクトル変換部
ＧＭＶ 同露光画像間のグローバル動きベクトル
ＧＭＶ’ 異なる露光画像間のグローバル動きベクトル

Claims (6)

1. 複数のブロックがそれぞれに設けられた複数の短露光画像からブロックごとに短露光ローカル動きベクトルを検出する短露光ローカル動きベクトル検出部と、
   複数のブロックがそれぞれに設けられた複数の長露光画像からブロックごとに長露光ローカル動きベクトルを検出する長露光ローカル動きベクトル検出部と、
   前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとをブロックごとに統合して統合後のローカル動きベクトルをブロックごとに得るベクトル統合処理部と、
   前記統合後のローカル動きベクトルに基づいて同露光画像間のグローバル動きベクトルを算出するグローバル動きベクトル算出部と、
   前記同露光画像間のグローバル動きベクトルを変換して異なる露光画像間のグローバル動きベクトルを得るベクトル変換部と、
   を備える、ベクトル算出装置。
2. 前記ベクトル統合処理部は、前記短露光ローカル動きベクトルおよび前記長露光ローカル動きベクトルのいずれか一方をブロックごとに選択することにより、前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとをブロックごとに統合する、
   請求項１に記載のベクトル算出装置。
3. 前記短露光ローカル動きベクトル検出部は、前記短露光ローカル動きベクトルの信頼性をブロックごとに算出し、
   前記長露光ローカル動きベクトル検出部は、前記長露光ローカル動きベクトルの信頼性をブロックごとに算出し、
   前記ベクトル統合処理部は、前記短露光ローカル動きベクトルおよび前記長露光ローカル動きベクトルそれぞれのブロックごとの信頼性に基づいて、前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとのいずれか一方をブロックごとに選択する、
   請求項２に記載のベクトル算出装置。
4. 前記短露光ローカル動きベクトル検出部は、短露光画像のブロックごとの平均輝度値に基づいて前記短露光ローカル動きベクトルの信頼性をブロックごとに算出し、
   前記長露光ローカル動きベクトル検出部は、長露光画像のブロックごとの平均輝度値に基づいて前記長露光ローカル動きベクトルの信頼性をブロックごとに算出する、
   請求項３に記載のベクトル算出装置。
5. 前記ベクトル変換部は、前記同露光画像間のグローバル動きベクトルに対して１より小さい係数を乗じることにより前記同露光画像間のグローバル動きベクトルを前記異なる露光画像間のグローバル動きベクトルに変換する、
   請求項１に記載のベクトル算出装置。
6. 複数のブロックがそれぞれに設けられた複数の短露光画像からブロックごとに短露光ローカル動きベクトルを検出することと、
   複数のブロックがそれぞれに設けられた複数の長露光画像からブロックごとに長露光ローカル動きベクトルを検出することと、
   前記短露光ローカル動きベクトルと前記長露光ローカル動きベクトルとをブロックごとに統合して統合後のローカル動きベクトルをブロックごとに得ることと、
   前記統合後のローカル動きベクトルに基づいて同露光画像間のグローバル動きベクトルを算出することと、
   前記同露光画像間のグローバル動きベクトルを変換して異なる露光画像間のグローバル動きベクトルを得ることと、
   を含む、ベクトル算出方法。