JP6786346B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、入力画像を処理して出力する画像処理装置、画像処理方法、及びプログラムに関する。

以前より、露光時間を長くした撮影を行うことで、例えば走行している自動車のライトや花火の光等のような移動体の軌跡画像を取得可能とした表現技法がある。以下、長い露光時間による撮影を長秒撮影と表記し、長秒撮影により得られる画像を長秒画像と表記する。ただし、本技法の場合、ユーザ（撮影者）は、どの程度の露光時間で撮影を行えば、移動体の軌跡が所望する仕上がりとなる長秒画像を取得できるのかを、実際の撮影を行う前に想定しなければならず、これには或る程度の経験が必要となる。また、経験を積んだユーザであっても、常に所望する仕上がりの長秒画像を撮影できるとは限らない。

このため、近年は、短い露光時間の撮影を短い時間間隔で連続して行って得られた複数の画像を合成することにより、長秒撮影による長秒画像に相当する画像を生成しつつ、その生成過程をカメラのライブビュー画面に逐次表示する技術が提案されている。以下、短い露光時間による撮影を短秒撮影と表記し、短秒撮影により得られた画像を短秒画像と表記し、短い時間間隔で連続した短秒撮影による複数の短秒画像を合成して生成される画像（長秒画像に相当する画像）を、疑似長秒画像と表記する。このようにして生成した疑似長秒画像をライブビュー画面に逐次表示することで、ユーザは、軌跡画像の仕上がりをリアルタイムに確認しながら、所望の仕上がりの画像（疑似長秒画像）を得ることができる。

なお、特許文献１には、撮像部により撮像された複数フレームの撮影画像を合成して合成画像を生成する電子カメラが開示されている。また、特許文献１に記載の電子カメラは、ユーザ（撮影者）からの指示に基づいて撮像部による撮像の中止を判断するようになされている。

特開２００６−３３２９３４号公報

ここで、特許文献１に記載の電子カメラは、ユーザから撮影終了の指示がなされた時点で撮像部による撮像を中止し、その撮像が中止されるまでの間に得られた撮像画像を合成して合成画像（つまり疑似長秒画像）を生成する構成となされている。一方、ユーザは、電子カメラのモニタ画面に逐次表示されている合成画像を確認しつつ、所望の仕上がりの画像が表示されたときに、撮影終了の指示を入力する。しかしながら、撮像部で撮像された撮像画像に対し、モニタ画面に逐次表示されている合成結果は、少なくとも合成の処理時間分の遅延が生じている。したがって、ユーザが撮影終了指示を入力した時点でモニタ画面に表示されていた合成結果と、ユーザからの撮影終了指示により撮像が中止されるまでの間に取得されている撮像画像から生成される合成画像（疑似長秒画像）とは、一致していない。すなわち、撮像画像から生成された合成画像（疑似長秒画像）は、ユーザがモニタ画面で確認した所望の仕上がりの疑似長秒画像とは異なる仕上がりの画像になってしまう。

そこで、本発明は、ユーザが所望する仕上がりの合成画像が得られるようにすることを目的とする。

本発明は、順に入力された複数の入力画像を取得する取得手段と、前記入力された順の前記入力画像を用い、逐次、合成処理を行って合成画像を生成する合成手段と、ユーザから終了指示が入力されたタイミングを検出する検出手段と、前記合成手段により逐次生成された前記合成画像を更新表示する表示手段と、を有し、ユーザから終了指示が入力されたタイミングに前記表示手段に表示された前記合成手段が生成した第１の合成画像を、出力画像とし、ユーザから終了指示が入力されたタイミングまで前記取得手段が取得した画像であって、前記第１の合成画像への合成に用いられていない画像も含めた、すべての前記複数の入力画像に対して前記合成手段が、仮に前記合成処理を行って生成する合成画像を第２の合成画像とすると、前記第１の合成画像と前記第２の合成画像とが異なることを特徴とする。

本発明によれば、ユーザが所望する仕上がりの合成画像を得ることが可能となる。

本実施形態の撮像装置の概略構成を示す図である。 第１の実施形態の疑似長秒モード時の動作のフローチャートである。 比較明合成を説明するための図である。 第１の実施形態における処理のタイミング図である。 第２の実施形態の疑似長秒モード時の動作のフローチャートである。 第２の実施形態における処理のタイミング図である。 第２の実施形態における合成処理を説明する図である。

以下、本発明の一実施形態を、添付の図面に基づいて詳細に説明する。本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。本実施形態では、画像処理装置の一適用例として、デジタルカメラ等の撮像装置を挙げて説明する。また、本実施形態の撮像装置は、短い露光時間の撮影を短い時間間隔で連続して行って得た複数の画像から、長い露光時間で撮影された画像に相当する画像を逐次生成して画面上に逐次表示可能な機能を有している。本実施形態でも前述同様に、長い露光時間による撮影を長秒撮影と表記し、長秒撮影により得られる画像を長秒画像と表記する。また、短い露光時間による撮影を短秒撮影、短秒撮影により得られた画像を短秒画像、短い時間間隔で連続して行われた短秒撮影による複数の短秒画像を合成して生成される、長秒露光画像に相当する画像を、疑似長秒画像と表記する。

＜本実施形態の撮像装置の概略構成＞
図１は、本発明の画像処理装置の一実施形態としての撮像装置１００の概略構成を示したブロック図である。図１に示した撮像装置１００では、撮像装置１００の各構成要素（各ブロック）が、例えばバスを介して接続されている。
システム制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより撮像装置１００の各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、撮像装置１００の各ブロックの制御プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００の各ブロックの動作により生成されたデータの一時的な記憶領域として用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群、絞り、シャッター等を有して構成される。光学系１０４は、被写体等の光学像を撮像部１０５の撮像面上に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号を順次Ａ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。ＲＡＭ１０３は、Ａ／Ｄ変換部１０６から供給された画像データを一時的に記憶する。

画像処理部１０７は、ＲＡＭ１０３に一時的に記憶された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、電子ズーム処理など、様々な画像処理を行う。また本実施形態の場合、画像処理部１０７は、疑似長秒画像生成のための画像処理をも行う。疑似長秒画像生成などの画像処理の詳細な説明は後述する。なお、画像処理部１０７における各画像処理は、ＣＰＵ等がプログラムを実行することにより実現されてもよい。

表示部１０８は、液晶ディスプレイ（ＬＣＤ）等の表示デバイスである。表示部１０８の画面上には、ＲＡＭ１０３や後述する記録部１０９に記録された画像、ユーザからの指示を受け付けるための操作ユーザーインターフェイス画像等が表示される。また、表示部１０８には、撮像部１０５により撮像されているライブビュー画像の表示も行われる。詳細については後述するが、本実施形態では、短い時間間隔で連続して行われた短秒撮影による複数の短秒画像から逐次生成した疑似長秒画像を表示用画像とし、表示部１０８に逐次更新表示するような画像表示も可能となされている。

操作部１１０は、例えば表示部１０８の画面に設けられているいわゆるタッチセンサや、撮像装置１００の筐体に設けられている各種ボタン、主に画像撮影の際に操作されるシャッターボタン等を含むユーザーインターフェイス部である。シャッターボタンは、いわゆる半押しと全押しの二段階の押下操作を検出可能なボタンである。シャッターボタンが半押しされたときには例えばピントや露出の固定などが行われ、全押しされたときに本撮影が行われる。また、シャッターボタンは、本実施形態における疑似長秒画像の撮影開始指示と撮影終了指示の際にも使用される。なお、シャッターボタンは、有線又は無線により撮像装置１００と通信可能なリモートコントローラ等に設けられていてもよい。

＜第１の実施形態＞
以下、図１の撮像装置１００における第１の実施形態の処理モードについて説明する。第１の実施形態の撮像装置１００は、短い時間間隔で連続して行った短秒撮影による複数の短秒画像から逐次生成した疑似長秒画像を逐次更新表示する処理モードで動作可能となされている。以下、この処理モードを、疑似長秒モードと表記する。

図２は、疑似長秒モードにおける第１の実施形態の撮像装置１００の動作を示すフローチャートである。図２のフローチャートに示す各ステップの処理は、ＲＯＭ１０２に記憶されているプログラムに基づいてシステム制御部１０１が撮像装置１００の各部を制御し、また画像処理部１０７への入力や出力を制御することにより実現される。このことは後述する他のフローチャートでも同様である。また、本実施形態において、撮像部１０５における短秒画像の撮像タイミングと、表示部１０８に表示される画像の表示更新タイミングとは、それぞれ独立して制御されている。以下、図２のフローチャートでは、ステップＳ２０１とステップＳ２０２からなる短秒画像の撮影の際の処理と、ステップＳ２０４以降からなる画像表示と記録の際の処理とに分けて説明する。

先ず、図２のステップＳ２０１からステップＳ２０３までの短秒画像の撮影の際の処理について説明する。
図２のフローチャートの処理は、例えば操作部１１０を介したユーザ（撮影者）からのモード指示等により本実施形態の撮像装置１００が疑似長秒モードに移行したときにスタートする。疑似長秒モードに移行した後、操作部１１０を介してユーザから撮影開始指示が入力されると、システム制御部１０１は、短秒撮影の露出時間や撮影間隔等の撮影パラメータを設定する。そして、システム制御部１０１は、ステップＳ２０１において、撮像部１０５を制御し、撮影パラメータに従った撮像、つまり短秒画像を撮像させる。なお、本実施形態において、撮影開始指示は例えばシャッターボタンの全押しにより行われるとする。ステップＳ２０１の後、システム制御部１０１は、ステップＳ２０２に処理を進める。

ステップＳ２０２では、システム制御部１０１は、ステップＳ２０１で撮像部１０５により逐次撮像された短秒画像のデータを、入力画像のデータとして、逐次、メモリ（ＲＡＭ１０３）に記憶させる。また、ステップＳ２０２の処理と並行して、システム制御部１０１は、ステップＳ２０３において、操作部１１０からユーザによる撮影終了指示を検出したか否か判断する。本実施形態において、撮影終了指示は、前述した撮影開始指示に使用されたシャッターボタンがユーザにより再度全押しされることで行われる。システム制御部１０１は、ステップＳ２０３で撮影終了指示を検出していないと判断（Ｎｏ）した場合にはステップＳ２０１に処理を戻し、撮像部１０５に短秒画像の撮影を続けさせる。すなわち、ステップＳ２０１からステップＳ２０３までの処理は、撮影終了指示を検出するまで繰り返し行われる処理である。したがって、撮像装置１００では、ユーザより撮影終了指示がなされるまで、短秒画像の撮影とメモリへの記憶が行われる。一方、ステップＳ２０３で撮影終了指示を検出したと判断（Ｙｅｓ）した場合、システム制御部１０１は、ステップＳ２０４に処理を進める。

次に、ステップＳ２０４以降の画像表示と記録の際の処理の流れについて説明する。
ステップＳ２０４からステップＳ２０７までの処理は、システム制御部１０１による制御の下で画像処理部１０７により行われる処理である。ステップＳ２０４において、画像処理部１０７は、メモリ（ＲＡＭ１０３）に記憶されている入力画像（短秒画像）のデータを取得する（メモリから読み出す）。ステップＳ２０４の後、画像処理部１０７は、ステップＳ２０５に処理を進める。

ステップＳ２０５では、画像処理部１０７は、メモリから読み出した短秒画像を縮小する画像縮小処理を行う。本実施形態の場合、撮像部１０５の撮像画像（短秒画像）の画素数は表示部１０８の表示画素数より大きいため、画像処理部１０７は、短秒画像を縮小する画像縮小処理を行う。ステップＳ２０５の後、画像処理部１０７は、ステップＳ２０６に処理を進める。

ステップＳ２０６では、画像処理部１０７は、ステップＳ２０５で縮小処理した短秒画像に対し、表示位置合わせの処理を行う。この表示位置合わせ処理は、本実施形態の撮像装置１００が疑似長秒モードにおいてユーザにより手持ち撮影がなされる場合を想定して行われる処理であり、手持ち撮影による手振れが生じているときの位置ズレを吸収するために行われる。なお、手振れの検出や手振れによる位置ズレを吸収する処理等は公知の処理であるため、その図示や詳細な説明は省略する。ステップＳ２０６の後、画像処理部１０７は、ステップＳ２０７に処理を進める。

ステップＳ２０７では、画像処理部１０７は、縮小処理した短秒画像の合成処理を行う。本実施形態の場合、合成処理は、比較明合成処理と呼ばれる処理により行われる。比較明合成処理は、基準画像と合成対象画像の同座標の画素の輝度値を比較し、輝度値が高い方（明るい方）の画素を採用するようにして合成画像を生成するような処理である。詳細は後述するが、本実施形態の場合、時系列順で前のフレームの画像又は合成済みの画像を基準画像とし、時系列順で次のフレームの画像を合成対象画像として、それらの画像を比較明合成処理することで合成画像が生成される。なお、撮影が開始された直後で、画像が最初の一枚目のフレームの短秒画像しか存在しないときには、ステップＳ２０７では比較明合成処理は行われない。本実施形態では、このような比較明合成処理を逐次行っていくことにより、疑似長秒画像を生成する。本実施形態における比較明合成処理とそれにより生成される疑似長秒画像の詳細については、後述する図３において説明する。ステップＳ２０７の後、システム制御部１０１は、ステップＳ２０８に処理を進める。

ステップＳ２０８では、システム制御部１０１は、ステップＳ２０７で生成された疑似長秒画像を表示部１０８の画面上に表示させる。なお、撮影が開始された直後で、画像が最初の一枚目のフレームの短秒画像しか存在しない場合、ステップＳ２０８では、一枚目のフレームの短秒画像を縮小処理した画像の表示が行われる。また、システム制御部１０１は、疑似長秒画像の表示と共に、その疑似長秒画像を生成する際に用いられた短秒画像がそれぞれ撮像されたときの露光時間を加算して求めた秒数を、表示部１０８の画面上に表示させてもよい。例えば、短秒画像の露光時間がそれぞれ０．５秒で、疑似長秒画像の生成に用いられた短秒画像のフレーム数が１０枚であった場合、システム制御部１０１は、それら１０枚分の露出時間を加算した秒数である「５秒」の文字を表示させる。この秒数は、疑似長秒画像が、どの程度の露光時間の長秒撮影で得られる長秒画像に相当する画像であるかを表している。このように、疑似長秒画像と共に前述の秒数を表示することで、ユーザは、現在表示されている疑似長秒画像が、どの程度の長秒露光時間に相当する画像であるかを把握できるようになる。すなわち、ユーザは、その表示された秒数を、撮影終了指示を行うタイミングを決定する際の参考情報とすることができる。ステップＳ２０８の後、システム制御部１０１は、ステップＳ２０９に処理を進める。

ステップＳ２０９と次のステップＳ２１０の処理は、システム制御部１０１による制御の下、画像処理部１０７により行われる。ステップＳ２０９において、画像処理部１０７は、記録用画像の位置合わせ処理を行う。この場合の記録用画像とは、撮像部１０５にて取得されてメモリに蓄積されている短秒画像である。この短秒画像に対する位置合わせ処理は、例えば前述したステップＳ２０６における位置合わせ処理と同じ処理でもよいし、異なる処理でもよい。一般的に、記録用画像に対する位置合わせ処理は、撮影後の処理であり、かつ記録用画像に対する処理であるため、処理時間よりも精度を重視した処理であることが望ましい。

ステップＳ２０９の後、ステップＳ２１０の処理に進むと、画像処理部１０７は、撮像部１０５にて取得されてメモリに蓄積されている短秒画像の合成処理を行う。なお、撮影が開始された直後で、最初の一枚目のフレームの短秒画像のみしか取得されていないときには、ステップＳ２０９では合成処理は行われない。また、このときの合成処理は、前述したステップＳ２０７における合成処理と同様の比較明合成処理でもよいし、別の合成処理により疑似長秒画像を生成できるような処理が行われてもよい。別の合成処理としては、一例として、基準画像と合成対象画像の同座標の画素において、より高輝度の画素に対して、その輝度に応じた重みを持たせて加算平均するような合成処理を挙げることができる。この合成処理では、具体的には、基準画像と合成対象画像の同座標の画素に、輝度の重みに応じたゲインを乗算した後に加算平均することで合成画像が生成される。この合成処理によれば、例えば動いている被写体における合成の切り替わりが目立ち難い合成画像を得ることができる。そして、ステップＳ２１０における合成処理で生成された疑似長秒画像のデータは、後に、システム制御部１０１による制御の下、出力画像のデータとして記録部１０９に送られ、記録媒体に記録されることになる。記録用の疑似長秒画像のデータは、記録媒体に記録される場合だけでなく、ネットワーク等を介して出力等されてもよい。ステップＳ２１０の後、システム制御部１０１は、ステップＳ２１１に処理を進める。

ステップＳ２１１では、システム制御部１０１は、操作部１１０からユーザによる撮影終了指示を検出したか否かを判断する。撮影終了指示は、ステップＳ２０３の場合と同様に、ユーザが操作部１１０のシャッターボタンを全押しすることで行われる。システム制御部１０１は、ステップＳ２１１において、撮影終了指示が検出されていないと判断（Ｎｏ）した場合には、ステップＳ２０４に処理を戻す。これにより、次のフレームの短秒画像に対して前述したステップＳ２０４以降の処理が行われることになる。一方、ステップＳ２１１において、撮影終了指示が検出されたと判断（Ｙｅｓ）した場合には、システム制御部１０１は、図２のフローチャートの処理を終了する。

以下、比較明合成処理について具体例を挙げて説明する。
なお、以下の説明では、表示用の疑似長秒画像と記録用の疑似長秒画像を生成する際の短秒画像を区別せずに、短秒画像として説明する。

比較明合成処理は、前述したように、基準画像と合成対象画像の輝度を比較し、高輝度領域を合成対象画像の領域として採用することで合成画像を生成する処理である。本実施形態において、時系列順の複数の画像から疑似長秒画像を逐次生成する際には、時系列順で前の画像が基準画像となされ、時系列順で次の画像が合成対象画像となされ、それらを比較明合成するような処理が、時系列順に繰り返される。本実施形態の場合、時系列順の最初の１フレーム目の短秒画像は基準画像となり、次の２フレーム目の短秒画像は合成対象画像となる。さらに次の３フレーム目の短秒画像が合成対象画像となる際の基準画像には、１フレーム目と２フレーム目の比較明合成処理で生成された合成画像が用いられる。その後は、時系列順で前の比較明合成処理で生成された合成画像が基準画像となされ、時系列順で次のフレームの短秒画像が合成対象画像となされて、比較明合成を行うような処理が、時系列順に逐次繰り返される。したがって、例えば夜間にライトを点灯させて走行している自動車を撮像した時系列順の複数の短秒画像から疑似長秒画像を逐次生成した場合、ライトの光のような高輝度部分の軌跡が流れて、疑似的に長秒露光で撮影されたような画像が生成される。

図３を用い、本実施形態の撮像装置１００において、例えば夜間にライトを点灯させて走行している自動車を撮像した時系列順の例えば三つの短秒画像Ａ，Ｂ，Ｃから、比較明合成処理により疑似長秒画像が生成される様子を具体的に説明する。図３では、画像３０１が短秒画像Ａであり、画像３０２が短秒画像Ｂであり、画像３０３が短秒画像Ｃであるとする。

図３の各短秒画像３０１，３０２，３０３には、それぞれ図中矢印に示す方向に走行している自動車３２１，３２２，３２３が被写体（移動体）として写っている。各短秒画像３０１，３０２，３０３の図中の矢印ｔは、被写体の自動車３２１，３２２，３２３が短秒撮影の露光時間内に移動した移動量と移動方向を表しているとする。なお、各自動車３２１，３２２，３２３の画像は、実際には、各短秒画像３０１，３０２，３０３の撮像時の露光時間内の移動量に応じて流れた画像となるが、図３では図示を簡略化するためにライトの光のみが流れた画像として描いている。これは後述する画像３０４，３０５についても同様とする。また、図３の例では、各自動車３２１，３２２，３２３の移動により流れたライトの光が、それぞれ光の軌跡３１１，３１２，３１３として描かれている。

この図３の例において、画像処理部１０７は、先ず時系列順で前の二つの短秒画像３０１と短秒画像３０２とを比較明合成処理３３０して合成画像３０４を生成する。比較明合成処理３３０で生成された合成画像３０４は、短秒画像３０１内のライトの光の軌跡３１１と、短秒画像３０２内のライトの光の軌跡３１２とが繋がった、光の軌跡３１４を有する画像となる。そして、この合成画像３０４は、短秒画像３０１と短秒画像３０２を基に合成された疑似長秒画像となる。なお、合成画像３０４の図中の矢印ｔは、短秒画像３０１と短秒画像３０２内の両矢印ｔを合わせたものとなり、疑似長秒画像（３０４）における長秒露光相当の時間内の自動車（３２１，３２２）の移動量と移動方向を表している。

さらに、画像処理部１０７は、短秒画像３０１及び短秒画像３０２から生成した合成画像３０４と、短秒画像３０１，３０２よりも時系列で後の短秒画像３０３とを、比較明合成処理３３１して合成画像３０５を生成する。比較明合成処理３３１で生成された合成画像３０５は、合成画像３０４内の光の軌跡３１４と、短秒画像３０３内の光の軌跡３１３とが繋がった、光の軌跡３１５を有する画像となる。そして、この合成画像３０５は、合成画像３０４と短秒画像３０３を基に生成された疑似長秒画像となる。なお、合成画像３０５の図中の矢印ｔは、合成画像３０４内の矢印ｔと短秒画像３０３内の両矢印ｔとを合わせたものとなり、疑似長秒画像（３０５）における長秒露光相当の時間内の自動車（３２１，３２２，３２３）の移動量と移動方向を表している。

次に、前述した撮像タイミングと表示更新タイミングについて、図４を参照しながら説明する。
図４において、撮影指示タイミング４０３は、ユーザが、撮影開始指示と撮影終了指示とを行ったタイミングを表している。具体的には、撮影指示タイミング４０３内の縦線４３１は、ユーザによりシャッターボタンが全押しされた際に操作部１１０から出力された信号を、システム制御部１０１が撮影開始指示の信号として検出したタイミングを表している。また、撮影指示タイミング４０３内の縦線４３２は、撮影が開始された後に、ユーザによりシャッターボタンが再度全押しされたことで操作部１１０から出力された信号を、システム制御部１０１が撮影終了指示の信号として検出したタイミングを表している。システム制御部１０１は、撮影終了指示を受け取ったか否かを、前述した図２のステップＳ２０３又はステップＳ２１１で判断している。

また、図４において、撮像タイミング４０１内の各縦線４１１は、撮影開始後にそれぞれ短秒画像のフレームが撮像されたタイミングを表している。すなわち、前述した図２のステップＳ２０１による短秒画像の撮像は、撮像タイミング４０１内の各縦線４１１で表されるタイミング毎に行われている。また、図２のステップＳ２０２とステップＳ２０３の処理は、一つのフレームの短秒画像の撮像が行われて次のフレームの短秒画像の撮像が行われるまでの間に行われる。このように、図２のステップＳ２０１からステップＳ２０３の処理は、ステップＳ２０３で撮影終了指示が検出されたと判断されるまで、撮像タイミング４０１の各縦線４１１で表されるタイミング毎に繰り返される。これにより、撮影開始指示から撮影終了指示までの間、時系列順に各短秒画像が取得されることになる。また、図４の例では、撮影開始後の時系列順に取得された各短秒画像のフレームが、それぞれ１，２，３，４，・・・の数字により表されている。

図４の表示更新タイミング４０２内の各縦線４２１は、表示部１０８において表示が更新されるタイミングを表している。すなわち、撮影開始直後の最初の一枚目のフレーム１の表示がなされた後、図２のステップＳ２０４からステップＳ２０８までで生成される表示用の各疑似長秒画像の表示の更新は、表示更新タイミング４０２内の各縦線４２１のタイミング毎に行われる。また、表示更新タイミング４０２内の"１〜２"，"１〜３"，"１〜４"，"１〜５"，・・・の各数字は、疑似長秒画像が撮像タイミング４０１の何れのフレームを基に生成されたものであるかを表している。なお、表示更新タイミング４０２内の"１"は最初の一枚目のフレーム１を表している。例えば疑似長秒画像"１〜２"は、フレーム１とフレーム２の短秒画像から生成された画像であることを表し、疑似長秒画像"１〜３"は、疑似長秒画像"１〜２"とフレーム３の短秒画像とから生成された画像であることを表している。疑似長秒画像"１〜４"は、疑似長秒画像"１〜３"とフレーム４の短秒画像とから生成され、疑似長秒画像"１〜５"は、疑似長秒画像"１〜４"とフレーム５の短秒画像とから生成された画像であることを表している。以下同様である。また、図４から判るように、各疑似長秒画像"１〜２"，"１〜３"，"１〜４"，・・・は、図２のステップＳ２０４〜Ｓ２０８に要する処理時間の分だけ、撮像タイミング４０１の各フレーム１，２，３，４，・・・からそれぞれ遅延している。なお、図２のステップＳ２０９とステップＳ２１０における記録用の疑似長秒画像の生成タイミングの図示は省略しているが、記録用の疑似長秒画像の生成タイミングは、図４の表示更新タイミング４０２より僅かに遅れたタイミングとなる。記録用の疑似長秒画像の生成タイミングの具体例については、後述する図６により詳細に説明する。

前述したように図４の例の場合、撮影指示タイミング４０３内の縦線４３２のタイミングで、ユーザから撮影終了指示が入力されている。また、ユーザから撮影終了指示が入力された時点では、撮像タイミング４０１の例に示されているように、撮像部１０５においてフレーム１１の短秒画像の撮影が終わっている。一方で、前述したステップＳ２０４〜ステップＳ２０８の処理時間の遅延があるため、ユーザから撮影終了指示が入力された時点で表示部１０８に表示されているのは、疑似長秒画像"１〜７"になっている。ここで、ユーザは、表示部１０８の表示を見て疑似長秒画像の仕上がり具合を確認し、その表示されている疑似長秒画像が所望の仕上がり具合になったと判断したときに、撮影終了指示を入力すると考えられる。しがたって、図４の例において、ユーザが所望した仕上がり具合の疑似長秒画像は、撮影指示タイミング４０３で撮影終了指示が入力されたタイミング（縦線４３２）で、表示部１０８に表示されていた疑似長秒画像"１〜７"であると考えられる。

これに対し、ユーザから撮影終了指示が入力された時点において、撮像部１０５では既にフレーム１〜フレーム１１までの各短秒画像の撮像が終わっている。したがって、ユーザから撮影終了指示が入力された時点では、図１のＲＡＭ１０３（メモリ）には、フレーム１１（少なくともフレーム８〜１１）までの短秒画像のデータが保持されていることになる。ここで、もしも、メモリに残っているフレーム１１までの各短秒画像を用いた記録用の疑似長秒画像が生成されたとすると、その記録用の疑似長秒画像は、ユーザが所望した疑似長秒画像"１〜７"とは仕上がり具合が異なった画像になってしまう。なお、フレーム１１までの各短秒画像を用いた疑似長秒画像は、表示更新タイミング４０２の例を用いて説明すると、縦線４２２のタイミングで生成される疑似長秒画像（"１〜１１"）となる。すなわち、この疑似長秒画像（"１〜１１"）は、ユーザが所望した疑似長秒画像"１〜７"とは仕上がり具合が異なった画像となる。

そこで、本実施形態の撮像装置１００は、撮像タイミング４０１と、表示更新タイミング４０２及び図４には不図示の記録用の疑似長秒画像の生成タイミングとを、独立して制御可能となされている。すなわち、図２のフローチャートでは、ステップＳ２０３，Ｓ２１１で撮影終了指示が検出されたと判断（Ｙｅｓ）された場合には処理が終了され、ステップＳ２０４のメモリからの短秒画像の読み出し以降の処理（ステップＳ２１０までの処理）は行われない。したがって、ユーザから撮影終了指示が入力された時の記録用の疑似長秒画像は、表示用と同様に疑似長秒画像"１〜７"となり、ユーザが意図していないフレーム１１の短秒画像までの疑似長秒画像（"１〜１１"）が生成されることはない。

このように本実施形態の撮像装置１００によれば、ユーザが撮影終了指示を入力した時点で表示部１０８に表示されている疑似長秒画像、つまりユーザが意図した仕上がりの疑似長秒画像が、記録用の疑似長秒画像として生成される。したがって、本実施形態によれば、ユーザが所望する仕上がりの疑似長秒画像が得られる。

また、本実施形態の撮像装置１００の場合、撮影終了指示は、ユーザが例えばシャッターボタンを全押し操作することで行われる。ここで、シャッターボタンの全押し操作のように撮像装置１００に対して物理的な力が加えられると、撮像装置１００に振動等が伝わり撮影画像がぶれてしまう虞がある。この場合、そのぶれが生じた撮影画像を合成して疑似長秒画像が生成されると、画質が低下する虞がある。これに対し、本実施形態の場合、ユーザが撮影終了指示の入力のためにシャッターボタンを全押し操作した際に撮像部１０５で取得された短秒画像は、記録用の疑似長秒画像の生成には用いられないため、ぶれのない良好な画質の疑似長秒画像が得られる。

＜第２の実施形態＞
前述した第１の実施形態は、ユーザから撮影終了指示が入力された時点で合成処理が完了している疑似長秒画像を記録等する例となされている。以下の第２の実施形態においても第１の実施形態と同様に、撮影終了指示が入力された時点で合成処理が完了している疑似長秒画像を、ユーザが所望した仕上がりの画像とする。第２の実施形態の場合は、撮影終了指示が入力された時点で既にメモリに保持されてはいるが、疑似長秒画像の生成には使用されていない短秒画像のデータを用い、疑似長秒画像生成時の合成処理とは別の画像処理を行う。具体的には、第２の実施形態では、メモリに保持されているが疑似長秒画像の生成に使用しなかった短秒画像を用い、既に合成処理が完了している疑似長秒画像に対し、例えば低輝度領域（つまり暗部）のノイズを改善する処理を行って画質の向上を図る。なお、第２の実施形態における撮像装置１００の概略構成は、前述した図１と同様であるため、その図示と各部の説明は省略する。

図５は、第２の実施形態において、疑似長秒モードで前述同様に疑似長秒画像を生成するとともに、その疑似長秒画像の生成に使用しなかった短秒画像を用いて、疑似長秒画像の暗部ノイズを改善する処理の流れを示すフローチャートである。図５のフローチャートにおいて、ステップＳ５０１からステップＳ５１１までの各処理は、図２のフローチャートのステップＳ２０１からステップＳ２１１での各処理とそれぞれ同じ処理であり、それらの説明は省略する。第２の実施形態の図５のフローチャートでは、ステップＳ５１２とステップＳ５１３の処理が追加されており、以下、これらステップＳ５１２とステップＳ５１３について説明する。

システム制御部１０１は、図５のステップＳ５１１において、操作部１１０を介してユーザからの撮影終了指示を検出したと判断（Ｙｅｓ）した場合、図５のステップＳ５１２に処理を進める。ステップＳ５１２の処理は、システム制御部１０１による制御の下で画像処理部１０７により行われる。

ステップＳ５１２では、画像処理部１０７は、撮影終了指示が入力された時点で既にメモリ（ＲＡＭ１０３）に保持されてはいるが、疑似長秒画像の生成には使用されていない短秒画像（複数の短秒画像）のデータを、メモリから取得する。そして、画像処理部１０７は、メモリから取得したそれら各短秒画像を、画素毎に加算平均することで合成する。以下、この加算平均合成処理により生成される合成画像を、加算平均画像と表記する。なお、各短秒画像の加算平均合成処理は、各短秒画像の全体を加算平均合成する例の他に、各短秒画像の低輝度領域（暗部）のみを加算平均合成する処理であってもよい。複数の短秒画像を加算平均合成処理した加算平均画像は、加算平均によりノイズ成分が平滑化されてノイズが改善した画像になる。例えば夜間に撮影された短秒画像は特に低輝度領域である暗部でノイズの目立つ画像になり易いが、本実施形態のように複数の短秒画像を加算平均合成処理した場合は、それら暗部のノイズが改善された画像が得られる。ステップＳ５１２の後、画像処理部１０７は、ステップＳ５１３に処理を進める。

ステップＳ５１３では、画像処理部１０７は、出力画像生成処理として、ステップＳ５１０で生成した疑似長秒画像と、ステップＳ５１２で生成された加算平均画像とを用いて、比較暗合成処理を行う。本実施形態における比較暗合成処理は、ステップＳ５１２で生成された加算平均画像と、ステップＳ５１０で生成された疑似長秒画像とを、それぞれ所定輝度値と比較した結果に基づく合成処理である。具体的には、例えば所定輝度値以上の輝度値が高い領域は疑似長秒画像を、一方、所定輝度値よりも輝度値が低い領域は加算平均画像を採用するようにして、それら疑似長秒画像と加算平均画像を合成する。これにより、光の軌跡等の輝度が高い領域は疑似長秒画像の領域が採用され、背景の暗部等の輝度が低い領域は加算平均画像の領域が採用されるようになり、暗部のノイズが改善された疑似長秒画像が得られることになる。

また、ステップＳ５１３における合成処理は、基準画像と合成対象画像の同座標の画素の輝度値を比較して、輝度値が低い方（暗い方）の画素を採用するようにして合成画像を生成するような処理であってもよい。この例の場合、ステップＳ５１２で生成された加算平均画像が基準画像となされ、ステップＳ５１０で生成された疑似長秒画像が合成対象画像となされて、それら画像の合成処理が行われる。これにより、ステップＳ５１０で生成された疑似長秒画像の低輝度領域（輝度値が低い暗部）が、ステップＳ５１２で生成された加算平均画像の低輝度領域により置き換えられることになり、暗部のノイズが改善された疑似長秒画像が得られる。

以下、図５のステップＳ５１２とステップＳ５１３の処理について、図６と図７を用いてさらに詳細に説明する。図６の前に図７から説明する。
図７の画像７０１は、夜間にライトを点灯させて走行している自動車を撮像した三つの短秒画像Ａ，Ｂ，Ｃから図５のステップＳ５０９〜ステップＳ５１０により生成された記録用の疑似長秒画像（疑似長秒画像Ａ＋Ｂ＋Ｃ）であるとする。なお、疑似長秒画像７０１は、前述した図３の合成画像３０５（疑似長秒画像）で説明したのと同様の光の軌跡３１５を有する画像であるとする。また、図７の画像７０２と画像７０３は、撮影終了指示が入力された時点でメモリに保持されてはいるが、疑似長秒画像の生成には使用されていない短秒画像（短秒画像Ｄと短秒画像Ｅ）であるとする。また、疑似長秒画像７０１の領域７１１、短秒画像７０２の領域７１２、短秒画像７０３の領域７１３は、それぞれ暗い背景領域であるとする。なお、疑似長秒画像７０１は、それぞれ短い露光時間の短秒画像Ａ，Ｂ，Ｃを比較明合成処理した画像であるため、暗い背景領域７１１は例えば適正露光の画像と比べるとＳＮが低く、暗部ノイズが多い領域になっていると考えられる。短秒画像Ｄ，Ｅについても同様に、短い露光時間の画像であるため、それぞれ暗い背景領域７１２，７１３は適正露光の画像と比べるとＳＮが低く、暗部ノイズが多い領域になっていると考えられる。

第２の実施形態では、図５のステップＳ５１２において、短秒画像７０２と短秒画像７０３とが加算平均合成処理７２１により合成される。加算平均合成処理７２１により得られた加算平均画像７０５は、前述したように暗い背景領域７１４の暗部ノイズが改善された画像となる。そして、第２の実施形態では、図５のステップＳ５１３において、加算平均画像７０５と疑似長秒画像７０１とが比較暗合成処理７２２により合成される。この比較暗合成処理７２２により得られた画像７０４は、疑似長秒画像７０１の暗い背景領域７１１が、加算平均画像７０５の暗い背景領域７１４により置き換えられた背景領域７１５を有する疑似長秒画像となる。すなわち、疑似長秒画像７０４は、暗部ノイズが改善した画像となる。第２の実施形態では、この暗部ノイズが改善された疑似長秒画像７０４が、出力画像生成処理により生成された出力画像、つまり最終的な記録用の疑似長秒画像となされる。

また、本実施形態では、疑似長秒画像７０１と加算平均画像７０５の合成処理が、比較暗合成処理７２２となされている例を挙げたが、比較暗合成処理７２２ではなく別の手法による合成処理であってもよい。例えば、画像処理部１０７は、前述した疑似長秒画像７０１を生成した際の短秒画像Ａ，Ｂ，Ｃ、さらに短秒画像７０２（Ｄ），７０３（Ｅ）から、自動車等の移動体領域を検出し、その移動体領域におけるオプティカフフローを求めて動体判定を行う。そして画像処理部１０７は、疑似長秒画像７０１の中で、動体と判定された領域はそのまま用い、一方、動体でない領域（背景領域７１１）については、加算平均画像７０５の中の動体でない領域（背景領域７１４）により置き換えるような合成処理を行う。この例においても、暗部ノイズが改善された疑似長秒画像が得られる。

また前述の例では、疑似長秒画像７０１の背景領域７１１を、加算平均画像７０５の背景領域７１４により置き換える処理は、二値的に背景領域７１１を背景領域７１４に切り替える処理となされている。これら背景領域７１１を背景領域７１４に置き換える処理は、二値的な切り替え処理ではなく、例えば疑似長秒画像７０１の輝度情報を基に前述同様の重み付けを行って、その重みに応じたゲインを乗算した後に加算するような処理であってもよい。

次に、図６を用いて、前述した図５のフローチャートの処理が行われるタイミングについて説明する。なお、図６は前述した図４と同様にして表される図である。図６において、撮影指示タイミング６０３は、ユーザがシャッターボタンの操作により撮影開始指示と撮影終了指示とを行ったタイミングを表し、縦線６３１は撮影開始指示、縦線６３２は撮影終了指示がなされたタイミングを表している。また、撮像タイミング６０１内の各縦線６１１は撮影開始後に短秒画像の各フレームが撮像されたタイミングを表し、撮影開始後の時系列順に取得された各短秒画像のフレームがそれぞれ１，２，３，・・・で表されている。また、表示更新タイミング６０２内の各縦線６２１は表示が更新されるタイミングを表し、"１"は最初の一枚目のフレームを、"１〜２"，"１〜３"，・・・は疑似長秒画像の生成に用いられた各フレームを表している。また、各疑似長秒画像"１〜２"，"１〜３"，・・・は、図５のステップＳ５０４〜Ｓ５０８に要する処理時間の分だけ、撮像タイミング６０１の各フレーム１，２，３，・・・からそれぞれ遅延している。

図６において、記録画像生成タイミング６０４は、図５のステップＳ５０９〜ステップＳ５１０で記録用の疑似長秒画像が生成されるタイミングを表している。すなわち、撮影開始直後の最初の一枚目のフレーム１の短秒画像から最初の記録用の画像が生成された後、記録画像生成タイミング６０４内の各縦線６４１のタイミングで、逐次、記録用の疑似長秒画像が生成される。また、記録画像生成タイミング６０４の中の"１〜２"，"１〜３"，・・・の数字は、記録用の疑似長秒画像が何れのフレームを基に生成されたものであるかを表している。なお、本実施形態の場合、図５に示すように、ステップＳ５０９〜ステップＳ５１０による記録用の疑似長秒画像の生成処理は、ステップＳ５０４〜ステップＳ５０８による表示用の疑似長秒画像の生成と表示処理の後に行われている。このため、図６に示すように、記録画像生成タイミング６０４は、表示更新タイミング６０２より僅かに遅れたタイミングとなっている。

図６の例では、撮影指示タイミング６０３内の縦線６３２のタイミングでユーザから撮影終了指示が入力され、その撮影終了指示の入力時点では撮像タイミング６０１のフレーム１１の撮影が終わっている。一方、撮影終了指示の入力時点では、図５のステップＳ５０４〜ステップＳ５０８の処理時間による遅延があるため、表示部１０８には疑似長秒画像"１〜７"が表示されている。つまり、ユーザが所望した仕上がりの疑似長秒画像は、表示部１０８に表示されている疑似長秒画像"１〜７"であると考えられる。第２の実施形態の撮像装置１００においても、前述の第１の実施形態の場合と同様に、記録用の疑似長秒画像は、撮影終了指示が入力された時点の疑似長秒画像、つまり疑似長秒画像"１〜７"となされる。このように第２の実施形態においても、第１の実施形態と同様、ユーザが撮影終了指示を入力した時点で表示されていた疑似長秒画像、つまりユーザが意図した仕上がりの疑似長秒画像が、記録用の疑似長秒画像として生成される。したがって、ユーザが所望する仕上がりの疑似長秒画像が得られる。

さらに、第２の実施形態の場合は、図５のステップＳ５１２とステップＳ５１３で説明したように、撮影終了指示入力時点で疑似長秒画像の生成に使用されていない各短秒画像を加算平均合成した加算平均画像と、疑似長秒画像とを比較暗合成する。なお、図６の例では、フレーム区間６５２で示されるフレーム８，９，１０，１１の各短秒画像が、撮影終了指示入力時点で疑似長秒画像の生成に使用されていない短秒画像である。一方、フレーム区間６５１で示される各フレーム１，２，３，・・・，７の各短秒画像は、撮影終了指示入力時点で疑似長秒画像の生成に使用された短秒画像である。前述した第１の実施形態では、フレーム区間６５２の各フレーム８，９，１０，１１の短秒画像は使用されないが、第２の実施形態では、これらフレーム８，９，１０，１１の各短秒画像を加算平均合成して加算平均画像が生成される。そして、第２の実施形態では、フレーム区間６５１の各フレームの短秒画像から生成された疑似長秒画像と、フレーム区間６５２の各フレームの短秒画像から生成された加算平均画像とが、比較暗合成処理される。図６の例では、記録画像生成タイミング６０４の縦線６４２のタイミングで、比較暗合成処理後の疑似長秒画像が生成されている。

前述したように、第２の実施形態では、第１の実施形態と同様に、ユーザが所望する仕上がりの疑似長秒画像を得ることができ、また、ぶれのない良好な画質の疑似長秒画像を得ることができる。さらに、第２の実施形態によれば、ユーザから撮影終了指示が入力された時点で疑似長秒画像の生成に用いなかった各短秒画像を加算平均合成した加算平均画像と、疑似長秒画像とを比較暗合成処理している。これにより、第２の実施形態では、暗部のノイズを改善した画質の良い疑似長秒画像を得ることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ システム制御部、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ 光学系、１０５ 撮像部、１０６ Ａ／Ｄ変換部、１０７ 画像処理部、１０８ 表示部、１０９ 記録部、１１０ 操作部

Claims (8)

1. 順に入力された複数の入力画像を取得する取得手段と、
   前記入力された順の前記入力画像を用い、逐次、合成処理を行って合成画像を生成する合成手段と、
   ユーザから終了指示が入力されたタイミングを検出する検出手段と、
   前記合成手段により逐次生成された前記合成画像を更新表示する表示手段と、を有し、
   ユーザから終了指示が入力されたタイミングに前記表示手段に表示された前記合成手段が生成した第１の合成画像を、出力画像とし、
   ユーザから終了指示が入力されたタイミングまで前記取得手段が取得した画像であって、前記第１の合成画像への合成に用いられていない画像も含めた、すべての前記複数の入力画像に対して前記合成手段が、仮に前記合成処理を行って生成する合成画像を第２の合成画像とすると、前記第１の合成画像と前記第２の合成画像とが異なることを特徴とする画像処理装置。
2. 前記取得手段は、撮像画像を前記入力画像として取得し、
   前記表示手段は、前記合成画像の生成に用いられた複数の撮像画像がそれぞれ撮像された際の各露光時間を加算した時間を、前記合成画像とともに更新表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記入力された順の前記複数の入力画像の高輝度領域を、前記入力の順に逐次、合成していくこと、又は、各画素の輝度に基づくゲインを前記各画素に乗算した後に加算していくことにより、前記入力された順の前記複数の入力画像の中の移動体の高輝度領域の移動の軌跡を生成する前記合成処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成手段は、前記合成処理で生成された合成画像と、前記合成画像の生成に使用された入力画像に対して入力の順が次の入力画像と、を用いた前記合成処理を行うことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記取得手段は、撮像画像を前記入力画像として取得して記憶し、
   前記合成手段は、前記取得手段に記憶された入力画像を前記入力の順に読み出し、所定の処理時間を要する前記合成処理を行うことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記出力画像は記録媒体に記録されることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 順に入力された複数の入力画像を取得する取得工程と、
   前記入力された順の前記入力画像を用い、逐次、合成処理を行って合成画像を生成する合成工程と、
   ユーザから終了指示が入力されたタイミングを検出する検出工程と、
   前記合成工程において逐次生成された前記合成画像を更新表示する表示工程と、を有し、
   ユーザから終了指示が入力されたタイミングに前記表示工程にて表示された前記合成工程で生成した第１の合成画像を、出力画像とし、
   ユーザから終了指示が入力されたタイミングまで前記取得工程で取得された画像であって、前記第１の合成画像への合成に用いられていない画像も含めた、すべての前記複数の入力画像に対して前記合成工程において、仮に前記合成処理を行って生成する合成画像を第２の合成画像とすると、前記第１の合成画像と前記第２の合成画像とが異なることを特徴とする画像処理装置の画像処理方法。
8. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images