JP6376339B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

ＷＤＲ信号を得る手法としては、露光時間を変えながら複数枚の画像を連続して撮影して合成する手法が採用されるのが一般的である。このとき、得られるダイナミックレンジは、１６ビットから２０ビット、あるいは、それ以上に達する場合もある。ＷＤＲ信号は、ディスプレイやプリンタの表示能力に合わせて８ビットから１２ビット程度にレンジ圧縮されて出力される。

このようなＷＤＲ合成処理は、日中のような光量が多い状況では良好な結果をもたらすが、暗い状況では短露光画像の露光量が不十分になり、合成画像中の短露光画像使用領域を中心にノイズが目立つ結果となる。特に、センサにおいて信号が増幅される場合には、短露光画像のノイズが非常に顕著となり、ＷＤＲ合成処理の効果よりもノイズ妨害の方が問題となる。このような場合にはＷＤＲ合成処理をオフにする、すなわち短露光画像を使用しない方がよい。また、短露光画像にノイズ低減処理を適用する案も考えられるが、暗いシーンでセンサの増幅が入る場合の短露光画像はＳＮ比が非常に低く、二次元ノイズリダクションではノイズを十分に低減できない。

状況に応じてＷＤＲ合成処理をオフにする手法として、以下に示すような技術が公開されている。例えば、事前撮影を行い、被写体が動きを含んでいるか否かを判定し、被写体が動きを含んでいる場合は、ＷＤＲ合成処理をオフする技術が公開されている（例えば、特許文献１参照）。また、複数毎撮影した画像を重ねることによってノイズを低減する技術をベースにして、センサの感度によって各露光画像の事前撮影枚数を決定する技術が開示されている（例えば、特許文献２参照）。これにより短露光画像のノイズが低減された良好なＷＤＲ合成処理の結果を得ることができる。

特開２０００−５０１５１号公報 特開２０１２−２３９０７７公報

しかしながら、特許文献１に記載された技術においては、被写体が動きを含んでいるか否かを判定しており、ノイズ量を判定しているわけではないため、この技術はＷＤＲ合成処理の結果に含まれるノイズを低減する技術とは異なる。また、特許文献１に記載された技術は、事前撮影を前提としているから静止画用の技術であり、仮に動画に適用してもフレームレートが大幅に低下してしまう。特許文献２に記載された技術も、事前撮影を前提としているから静止画用の技術であり、仮に動画に適用してもフレームレートが大幅に低下してしまう。

その他、ＷＤＲ合成処理を状況に応じてオフにする先行技術が存在するが、ＷＤＲ合成処理のオンおよびオフの処理結果を時間的にゆるやかに切り替えるような技術は公開されていない。ＷＤＲ合成処理の結果を動画として得るシステムにおいて、ＷＤＲ合成処理のオフとオフを急に切り替えれば、ＷＤＲ合成処理によって得られるＷＤＲ合成処理の結果にも急激な変化が発生する。ＷＤＲ合成処理が必要な状況と不要な状況とがゆるやかに切り替わるのであれば、ＷＤＲ合成処理の結果もゆるやかに変化することが望ましい。

そこで、本発明は、ＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能な技術を提供する。また、被写体の照明環境の変化に伴ってＷＤＲ合成処理のオンおよびオフを時間的にゆるやかに切り替えることが可能な技術を提供する。加えて、ＷＤＲ合成結果比率の設定により、ＷＤＲオフ時に長露光画像と同じ画像を混合部から出力させることも可能な技術を提供する。

本発明のある実施形態によれば、センサによって検出された短露光画像および長露光画像の何れかを画素ごとに選択することにより使用画像選択情報を生成する使用画像選択部と、前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して合成画像を得る合成部と、前記センサにおける信号増幅度に基づいて前記長露光画像と前記合成画像との混合比率を算出し、前記混合比率により前記合成画像と前記長露光画像とを混合する混合部と、を備える、画像処理装置が提供される。

かかる構成によれば、センサにおける信号増幅度に基づいてＷＤＲ合成結果比率が制御され得る。例えば、センサにおける信号増幅度が大きくなるにつれてＷＤＲ合成画像に含まれるノイズが目立つようになる。そのため、混合部がセンサにおける信号増幅度に基づいてＷＤＲ合成結果比率を変化させることによって、ＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能となる。また、被写体の照明環境の変化に伴ってＷＤＲ合成処理のオンおよびオフを時間的にゆるやかに切り替えることが可能となる。加えて、ＷＤＲ合成結果比率の設定により、ＷＤＲオフ時に長露光画像と同じ画像を混合部から出力させることも可能となる。

前記混合部は、前記信号増幅度の所定区間において前記信号増幅度の増加に伴って前記長露光画像に対する前記合成画像の混合比率を減少させてもよい。かかる構成によれば、所定区間においてセンサにおける信号増幅度が高くなるほど長露光画像の選択比率が高まっていく。そのため、所定区間においてＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能となる。

本発明のある実施形態によれば、センサによって検出された短露光画像および長露光画像の何れかを画素ごとに選択することにより使用画像選択情報を生成するステップと、前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して合成画像を得るステップと、前記センサにおける信号増幅度に基づいて前記長露光画像と前記合成画像との混合比率を算出し、前記混合比率により前記合成画像と前記長露光画像とを混合するステップと、を備える、画像処理方法が提供される。

かかる方法によれば、センサにおける信号増幅度に基づいてＷＤＲ合成結果比率が制御され得る。例えば、センサにおける信号増幅度が大きくなるにつれてＷＤＲ合成画像に含まれるノイズが目立つようになる。そのため、混合部がセンサにおける信号増幅度に基づいてＷＤＲ合成結果比率を変化させることによって、ＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能となる。また、被写体の照明環境の変化に伴ってＷＤＲ合成処理のオンおよびオフを時間的にゆるやかに切り替えることが可能となる。加えて、ＷＤＲ合成結果比率の設定により、ＷＤＲオフ時に長露光画像と同じ画像を混合部から出力させることも可能となる。

以上説明したように、本発明によれば、ＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能な技術である。また、本発明によれば、ＷＤＲ合成処理のオンおよびオフを時間的にゆるやかに切り替えることが可能である。加えて、ＷＤＲ合成結果比率の設定により、ＷＤＲオフ時に長露光画像と同じ画像を混合部から出力させることも可能となる。

一般的なＷＤＲ合成技術を説明するための図である。 一般的なＷＤＲ合成技術を説明するための図である。 本発明の実施形態に係る画像処理装置の機能構成を示す図である。 ＷＤＲ合成結果比率の算出について説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（一般的なＷＤＲ合成技術）
まず、一般的なＷＤＲ合成技術について説明する。図１および図２は、一般的なＷＤＲ合成技術を説明するための図である。図１を参照すると日中に撮影された画像（短露光画像Ｉｍｇ−ａ、長露光画像Ｉｍｇ−ｂおよび合成画像Ｉｍｇ−ｃ）が示されている。また、図２を参照すると、夜間に撮影された画像（短露光画像Ｉｍｇ−ｄ、長露光画像Ｉｍｇ−ｅおよび合成画像Ｉｍｇ−ｆ）が示されている。

図１に示したように、日中に室内から晴天の屋外を撮影するシーンでは、室内には長露光画像Ｉｍｇ−ｂが使用され、室外には短露光画像Ｉｍｇ−ａが使用されて合成されることによって、室内および室外ともに視認性の高い合成画像Ｉｍｇ−ｃを得ることができる。

ところが、夕方の時間帯になると、室外および室内ともに暗くなって、被写体の明るさが低下するのに伴い、センサは電子的に信号を増幅して出力することによって明るさを保とうとする。ＷＤＲ合成を行うブロックから見れば、昼間の入力信号と、夕方の増幅された入力信号は、明るさが同じか似ていて区別することができない。しかし、夕方の入力信号はセンサで増幅されているためにノイズを多く含み、特に短露光画像を使用する領域ではノイズが目立つ。

さらに、図２に示すように、夜間の時間帯になると、屋外も屋内もさらに暗くなり、センサも信号を大幅に増幅して出力するようになる。特に短露光画像は、露光量が少ない上に増幅されるから非常にノイジーな画像として撮影される。しかし、夜間の長露光画像Ｉｍｇ−ｅを見れば、屋外に存在する電光看板や月は飽和状態であり、ＷＤＲが動作していれば電光看板や月を含む領域には短露光画像が使用されることになる。その結果、電光看板や月を含む領域では非常にノイズが目立つ合成結果になってしまう。

このような状況では、ＷＤＲ合成処理の効果よりもノイズによる妨害の方が深刻に捉えられることがある。短露光画像の品質があまりにも低い場合には、ＷＤＲ合成処理をやめて、長露光画像のみを使用した方がよい。

そこで、本明細書においては、ＷＤＲ処理結果を動画として得るＷＤＲシステムを前提として、センサにおける信号増幅度を参照し、センサにおける信号増幅度が所定の区間の場合（例えば、センサにおける信号増幅度が高い場合）、長露光画像の選択比率を高める。かかる構成によれば、ノイズの少ないＷＤＲ処理結果が得られ、かつ、ＷＤＲ処理結果を時間的にゆるやかに切り替えられる。

（実施形態）
まず、本発明の実施形態に係る画像処理装置１の機能構成について説明する。図３は、本発明の実施形態に係る画像処理装置１の機能構成を示す図である。図３に示すように、画像処理装置１は、センサ１０、フレームメモリ２０、使用画像選択部４０、動き検出部５０、ＷＤＲ合成部６０、階調圧縮部８０および混合部９０を備える。以下、画像処理装置１が備える各機能ブロックの機能について順次詳細に説明する。

画像処理装置１は、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０に書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０への書き込みは、連続的に行われる。

なお、図３に示した例では、画像処理装置１は、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置１は、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

なお、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

例えば、センサ１０は、所定の倍率（例えば、数倍から数十倍）の露光比をとって短露光画像および長露光画像を検出（撮影）する。センサ１０は、被写体が暗くなってくると画像信号を電子的に増幅して出力し、その増幅ゲインの情報（以下、「信号増幅度」とも言う。）が混合部９０に送られる。

使用画像選択部４０は、フレームメモリ２０から読み出した短露光画像と長露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択情報を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、使用画像選択部４０は、短露光画像および長露光画像の何れかを長露光画像または短露光画像の画素値と閾値制御部３０によって制御された飽和検出閾値との関係に基づいて画素ごとに選択することにより使用画像選択情報を生成する。例えば、使用画像選択部４０は、長露光画像において飽和検出閾値を上回る画素値を有する画素の使用画像として短露光画像を選択してもよい。あるいは、例えば、使用画像選択部４０は、短露光画像において飽和検出閾値を下回る画素値を有する画素の使用画像として長露光画像を選択してもよい。

動き検出部５０は、動きを検出して動き検出情報を生成する。動きの検出手法は限定されないが、短露光画像および長露光画像から動きを検出する場合には、何れかの画像に対して露光比に応じたゲインを乗じて正規化した上で差分を算出するのがよい。また、動き検出情報の生成手法は特に限定されない。例えば、動き検出部５０は、短露光画像と長露光画像とに基づいて検出した動きと所定の動き量との関係に基づいて動き検出情報を生成すればよい。

具体的には、動き検出部５０は、短露光画像と長露光画像とにおいて、対応する領域の画素値または勾配の差分を検出し、差分が所定の動き量より大きい領域を動き領域として検出してよい。一方、動き検出部５０は、差分が所定の動き量より小さい領域を非動き領域として検出してよい。差分が所定の動き量と同一の領域はいずれの領域として検出されてもよい。動き検出部５０は、このような検出結果を動き検出情報として生成してよい。

ＷＤＲ合成部６０は、使用画像選択部４０によって生成された使用画像選択情報に基づいて、短露光画像と長露光画像とを合成することによりＷＤＲ合成画像を生成する。具体的には、ＷＤＲ合成部６０は、使用画像選択情報を参照して、短露光画像使用領域には短露光画像を使用し、長露光画像使用領域には長露光画像を使用して合成画像を生成する。合成に際しては、いずれかの画像に対して露光比に応じたゲインを乗じて正規化した上で合成されるのがよい。

このとき、ＷＤＲ合成部６０は、使用画像選択部４０によって生成された使用画像選択情報に従って短露光画像および長露光画像を合成してよいが、このような処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、ＷＤＲ合成部６０は、動きに基づいて輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。なお、センサ１０の分解能を１２ビットとしたとき、ＷＤＲ合成画像の各画素は１６ビット程度に拡張されてよい。

階調圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、ＷＤＲ合成部６０により生成されたＷＤＲ合成画像に対して行う。かかる圧縮処理としては、ルックアップテーブル（ＬＵＴ）に従ったトーンマッピングが用いられてよいが、特にどのような手法が用いられてもよい。

階調圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、階調圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

混合部９０は、センサ１０における信号増幅度に基づいて、階調圧縮部８０から出力された階調圧縮処理結果とフレームメモリ２０から取り出された長露光画像との混合比率を算出し、算出した混合比率により階調圧縮処理結果と長露光画像とを混合する。

ＷＤＲ合成結果の混合比率（以下、「ＷＤＲ合成結果比率」とも言う。）の算出について図４を用いて具体的に説明する。被写体が明るいときには、センサ１０は何ら信号増幅を行わない。そこで、混合部９０は、センサ１０から入力される信号増幅がない旨の情報に基づいて、ＷＤＲ合成部６０によって生成されたＷＤＲ合成結果を１００％使用するようにＷＤＲ合成結果比率を算出し、ＷＤＲ合成部６０によって生成されたＷＤＲ合成結果をＷＤＲの最終結果として出力する。

一方、被写体が暗くなってくると、センサ１０が信号増幅を行うようになる。そこで、混合部９０は、センサ１０の信号増幅度が所定区間の範囲内に収まる場合には、センサ１０における信号増幅度の増加に伴って、ＷＤＲ合成結果比率を減少させて、長露光画像の混合比率を高めるように制御する。そして、混合部９０は、センサ１０における信号増幅度が最大値に達すると、長露光画像の混合比率を１００％として特に短露光画像で顕著になるノイズの影響を排除する。

例として、被写体の明るさが徐々に低下する状況では、センサ１０における信号増幅度は徐々に上昇して、それに伴ってＷＤＲ合成結果比率が徐々に減少するので（長露光画像の選択比率が徐々に高まるので）、ＷＤＲ合成処理の効果を時間的にゆるやかに変更することができる。加えて、かかる構成により、ＷＤＲオフ時に長露光画像と同じ画像を混合部９０から出力させることが可能となる。

なお、図３に示した例では、センサ１０からセンサにおける信号増幅度が混合部９０に直接出力されている。例えば、混合部９０の全体がハードウェアによって構成されている場合や、ソフトウェアの実行によって実現されている場合には、このような構成であってもよい。しかし、混合部９０のうちＷＤＲ合成結果比率を制御する構成がファームウェアによって構成されていてもよい。かかる場合には、センサ１０による信号増幅度がセンサ１０から当該ファームウェアに上げられ、混合部９０によって使用されるＷＤＲ合成結果比率が当該ファームウェアによって制御されてよい。

また、上記においては、センサ１０による信号増幅度が最大値になったときに、長露光画像の混合比率も１００％に設定される例を説明した。しかし、本発明の実施形態の狙いは、ＷＤＲ合成結果のノイズが目立たないようにすることにある。したがって、ＷＤＲ合成画像に含まれるノイズが目立たない場合などにおいては、長露光画像の混合比率としては１００％よりも低い値が設定されてもよい。

また、センサ１０における信号増幅の開始タイミングとＷＤＲ合成結果比率を減少させ始めるタイミングとは同時でなくてもよい。既に述べたように、本発明の実施形態の狙いは、ＷＤＲ合成結果のノイズが目立たないようにすることである。したがって、センサ１０における信号増幅が開始されても、ＷＤＲ合成画像に含まれるノイズが目立たない場合などにおいては、ＷＤＲ合成結果比率を変更しなくてもよい。

以上に説明したように、本発明の実施形態によれば、露光状態が悪化し、短露光画像に含まれるノイズ量が非常に増加する場合に、ＷＤＲ合成時の長露光画像の選択比率を高めることによってノイズの影響を低減したＷＤＲ合成画像を得ることができる。また、被写体の照明環境や露光状態に応じてＷＤＲ合成処理の効果を時間的にゆるやかに切り替えることが可能である。加えて、かかる構成により、ＷＤＲオフ時に長露光画像と同じ画像を混合部９０から出力させることが可能となる。

（まとめ）
本発明の実施形態においては、センサにおいて信号が増幅されるような露光状態が劣悪な状況では、短露光画像を使用するＷＤＲ処理をオフにするという考え方に基づき、センサにおける信号増幅度に基づいて長露光画像の比率を制御する。例えば、センサにおける信号増幅度が所定区間においては（例えば、センサにおける信号増幅度が高いときは）、長露光画像の比率を高める。これによってＷＤＲ処理画像中に含まれるノイズをゆるやかに低減できる。また、被写体の照明環境の変化に伴ってＷＤＲ処理のオンとオフを時間的にゆるやかに切り替えることができる。

ＷＤＲ（ワイドダイナミックレンジ）技術は重要視されている。従来技術では、暗いシーンにおいて短露光画像が合成されるとノイズが非常に目立つことが大きな問題となっていた。また、そのような状況でＷＤＲ処理をオフにしようとすれば、処理画像に急な変化を発生させてしまうことになり、可能な限りそのような変化を抑えたいという要請があった。

本発明の実施形態は、被写体の照明環境と関連性の高い、センサにおける信号増幅度を参照して長露光画像の使用比率を高めることによって、従来問題になっていたノイズを効果的に低減することができる。また、ＷＤＲ処理のオンとオフを時間的にゆるやかに変化させることも可能である。ＷＤＲ処理結果と長露光画像の混合比率を変化させる構成では、より自然なＷＤＲ処理画像が得られる。また、２次元の階調処理と組み合わせる場合にも、少ない使用メモリで実現する構成を提示した。

従来の問題を効果的に解決するだけでなく、フレームレートの低下といった性能低下がなく実現できる点、構成が簡単で小さい回路規模で実現可能である点も優れた点として挙げられる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 画像処理装置
１０ センサ
２０ フレームメモリ
４０ 使用画像選択部
５０ 検出部
６０ ＷＤＲ合成部
８０ 階調圧縮部
９０ 混合部
３０ 閾値制御部

Claims (3)

1. センサによって検出された短露光画像および長露光画像の何れかを画素ごとに選択することにより使用画像選択情報を生成する使用画像選択部と、
   前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して合成画像を得る合成部と、
   前記センサにおける信号増幅度に基づいて前記長露光画像と前記合成画像との混合比率を算出し、前記混合比率により前記合成画像と前記長露光画像とを混合する混合部と、
   を備える、画像処理装置。
2. 前記混合部は、前記信号増幅度の所定区間において前記信号増幅度の増加に伴って前記長露光画像に対する前記合成画像の混合比率を減少させる、
   請求項１に記載の画像処理装置。
3. センサによって検出された短露光画像および長露光画像の何れかを画素ごとに選択することにより使用画像選択情報を生成するステップと、
   前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して合成画像を得るステップと、
   前記センサにおける信号増幅度に基づいて前記長露光画像と前記合成画像との混合比率を算出し、前記混合比率により前記合成画像と前記長露光画像とを混合するステップと、
   を備える、画像処理方法。