JP7389558B2 - 情報処理装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、情報処理装置およびその制御方法ならびにプログラムに関する。

近年、デジタルスチルカメラ等の撮像装置において、シャッタースピード優先モードと呼ばれる撮影モードを搭載している撮像装置が知られている。シャッタースピード優先モードは、ユーザが所望のシャッタースピードを設定した場合に、撮像装置が絞り値やＩＳＯ感度といったシャッタースピード以外の露出設定値を自動で設定する撮影モードである。例えば、ユーザが撮影前に高速なシャッタースピードを設定してシャッタースピード優先モードで撮影を行った場合、動きブレが少ない画像を撮影することができる。

シャッタースピード優先モードで撮影する場合、撮影される画像に発生するブレの目安を視認することができれば、所望のシャッタースピードの設定が容易になる。このような課題に対し、特許文献１は、準備撮影中に、動き領域を強調表示した画像をファインダに表示することにより、ユーザが準備撮影中の動き領域を容易に確認することができる技術を開示している。なお、準備撮影は、撮像装置の電子ビューファインダや背面液晶を見ながら、構図合わせや撮影条件の設定を行うための撮影である。

特開２００８－１７２６６７号公報

しかしながら、動きブレが少ない画像を撮影するために準備撮影中の画像を確認しながら高速なシャッタースピードを設定し、シャッタースピード優先モードで本撮影した場合にも、本撮影の画像が所望でない場合がある。これは、本撮影と準備撮影とで発生するブレが異なる場合があるためであり、準備撮影中にユーザが最適と考えるシャッタースピードを設定しても、本撮影を行った結果、被写体がブレて撮影される場合がある。

また、実際に本撮影によって得られた画像をユーザが目視確認することにより、より最適なシャッタースピードを設定可能な場合がある。しかしながら、単に撮影された本撮影画像を表示するだけでは、画像を拡大表示しなければ被写体のブレを視認することができない場合などがあり、確認に手間がかかるという課題がある。

本発明は、上記課題に鑑みてなされ、その目的は、本撮影画像を再生して表示する場合に、本撮影画像に対する動きブレを容易に確認可能になる技術を実現することである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、被写体像を撮影して順次出力される第１の画像と第２の画像とを取得する取得手段であって、少なくとも前記第２の画像は本撮影の画像として記録媒体に記録される、取得手段と、前記第１の画像と前記第２の画像とを用いて求められる動き情報を、前記第２の画像に関連付けられた露光時間に基づいて、前記第２の画像における動きブレに換算する換算手段と、前記第２の画像を表示する場合に、換算された前記第２の画像における動きブレに基づいて、画像の動きブレを報知する報知手段と、を有し、前記第２の画像に関連付けられた露光時間は、前記第２の画像の記録後に設定される露光時間であることを特徴とする。

本発明によれば、本撮影画像を再生して表示する場合に、本撮影画像に対する動きブレを容易に確認可能になる。

本実施形態の情報処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本実施形態のデジタルカメラにおける撮影処理の一連の動作を示すフローチャート 本実施形態の本撮影画像及び動きベクトルの一例を示す図 本実施形態の動きベクトル算出部における一連の動作を示すフローチャート 本実施形態の動きベクトルの算出方法の一例を説明するための図 本実施形態の画像生成部の機能構成例を示すブロック図 本実施形態の画像生成部における処理の一連の動作を示すフローチャート 動きベクトルと換算された動きブレの一例を説明するための図 動きブレ報知方法の一例を説明するための図

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では情報処理装置の一例として、撮影した画像を記録可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、撮影の可能なデジタルカメラに限らず、撮影された画像を取得することが可能な他の機器にも適用可能である。これらの機器には、例えば、スマートフォンを含む携帯電話機、パーソナルコンピュータ、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

本実施形態では、デジタルカメラ１００が、本撮影画像から得られる動き情報から動きブレを換算し、撮影画像再生時に動きブレの報知を行う例について説明する。

（デジタルカメラの構成）
図１は、本実施形態の情報処理装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、デジタルカメラ１００が備える各ブロックの動作を制御する。また、制御部１０１は、所定の画像を表示部１０９に表示させる表示制御を行う。

ＲＯＭ１０２は、例えばＥＥＰＲＯＭなどの電気的に消去・記録可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムや、デジタルカメラ１００が備える各ブロックの動作で生成されたデータの一時的な記憶するために用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群を含み、光学系１０４を通過した被写体像を、後述の撮像部１０５の撮像面上に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を含み、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、例えばホワイトバランス調整、色補間、ガンマ処理などの様々な画像処理を適用する。また、画像処理部１０７は、後述する画像生成部６００を含む。画像生成部６００は、ＲＡＭ１０３に記憶されている画像に対して、動きブレの確認を容易にする画像プレーンを重畳した、動きブレ報知画像を生成する。また、画像処理部１０７は、後述する不図示の動きベクトル算出部を含み、撮像部１０５あるいは記録部１０８から取得された画像間の動きベクトルを算出する。

記録部１０８は、半導体メモリなどで構成される固定された記録媒体にデータを記録するが、記録媒体は着脱可能なメモリカードであってもよい。記録部１０８は、画像処理部１０７で処理された画像データを記録画像として記録する。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像を表示する。また、表示部１０９は、ユーザからの指示を受け付けるためのユーザインタフェースを表示することができる。また、表示部１０９は、準備撮影中に構図合わせ等のために撮像部１０５が撮像した画像を表示する。なお、表示部１０９は必ずしもデジタルカメラ１００の内部に備わる必要はなく、制御部１０１が外部モニタに表示するための表示用データを外部に出力するように表示制御を行う構成であってもよい。

指示入力部１１０は、タッチパネルやスイッチ、ダイヤル、ボタンなどの操作部材を含み、ユーザによる指示を受け取って制御部１０１に通知する。

（撮影処理の一連の動作）
次に、図２（ａ）を参照して、デジタルカメラ１００における撮影処理について説明する。なお、本処理は、特に断らない限り制御部１０１がＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３の作業用領域に展開、実行することにより実現されるものとする。また、本処理は、デジタルカメラ１００の起動後に、ユーザが指示入力部１１０を介して構図合わせなどの撮影準備指示を行った場合に開始される。

Ｓ２０１において、制御部１０１は準備撮影を開始する。この準備撮影期間中には、制御部１０１はデジタルカメラ１００の各部を制御して連続画像を撮像して表示部１０９に表示する。デジタルカメラ１００のユーザは、表示部１０９に表示された準備撮影画像を見ながら構図合わせなどを行うことができる。なお、後述するＳ２０２、２０３、２０４の処理は準備撮影期間中に実行される。

Ｓ２０２において、制御部１０１は、本撮影時の露光時間を設定する。例えば、制御部１０１は、指示入力部１１０から受け取ったユーザによる操作指示に基づいて、本撮影時の露光時間を設定する。なお、本実施形態では、制御部１０１がユーザ操作に基づいて本撮影時の露光時間を設定する場合を例に説明するが、制御部１０１が本撮影時の露光時間を、例えば設定された撮影条件等に応じて自動で設定しても良い。制御部１０１は、設定された露光時間を例えばＲＯＭ１０２または記録部１０８に保持させる。

Ｓ２０３において、制御部１０１は、撮像部１０５により取得される準備撮影画像を表示部１０９に表示する。Ｓ２０４において、制御部１０１は、指示入力部１１０からの信号に基づいてシャッターボタンが押下されたかを判定する。すなわち、ユーザは表示部１０９に表示された画像をみながらシャッターチャンス時にシャッターボタンを押下し、制御部１０１は、このシャッターボタンの押下を検知した場合、Ｓ２０５に進む。制御部１０１は、シャッターボタンが押下されていないと判定した場合、Ｓ２０３にもどり、準備撮影画像の表示を継続する。

Ｓ２０５において、制御部１０１は、撮像部１０５等を制御して本撮影を行い、本撮影により撮像した画像（以下、本撮影画像という）を記録部１０８に記録する。Ｓ２０６において、制御部１０１は、動きブレ報知機能の設定がＯＮである（すなわち有効化されている）のかＯＦＦである（無効化されている）のかを判定する。動きブレ報知機能のＯＮかＯＦＦかの設定は、例えば指示入力部１１０を用いて設定されるものとし、設定された設定値は例えばＲＯＭ１０２または記録部１０８に保持される。制御部１０１は、動きブレ報知機能がＯＮであると判定した場合、Ｓ２０７に進み、そうでない場合、動きベクトルの算出は行わずにＳ２０８に進む。

Ｓ２０７において、画像処理部１０７は、制御部１０１の指示に応じて、本撮影画像に対する動きベクトルの算出を行う。なお、動きベクトルの算出処理については、図４を参照して後述する。制御部１０１は、画像処理部１０７で算出した動きベクトルの情報を本撮影画像と関連付けて記録部１０８に記録してもよい。Ｓ２０８において、制御部１０１は、Ｓ２０６において撮影された本撮影画像を表示部１０９に表示する。

図３（ａ）は、Ｓ２０５において撮影された本撮影画像の一例を示している。この本撮影画像の例では、左に走っている犬３０１と止まっている犬３０２のシーンを撮影した場合の画像を示している。Ｓ２０７における動きベクトルの算出では、例えば動き情報として、本撮影直前の準備撮影画像と本撮影画像との画像間における動きベクトルを算出する。本撮影を連続して行っている（すなわち連続撮影）場合は、準備撮影画像ではなく、本撮影画像に対して１つ前または１つ後の本撮影画像を用いて画像間の動きベクトルを算出してもよい。なお、以下の説明における「画像間」の動きベクトルは、準備撮影画像と本撮影画像の画像間の動きベクトルと、２つの本撮影画像の画像間の動きベクトルのいずれを指してもよい。また、動きベクトルは、２つの画像間における被写体の水平方向の移動量と垂直方向の移動量を、ベクトルとして表す。

なお、動きベクトルとして得られる画像間の動きは、例えば１／６０秒などの所定時間間隔で順次取得される画像の間の動きを表すため、必ずしもユーザの設定している露光時間（例えば１／１２０秒）の間に生じるブレの大きさを表すものではない。このため、本実施形態では、後述するように、例えば撮影で用いられる（あるいはユーザが設定した）露光時間の間に生じるブレの大きさをユーザが容易に把握することができるように、動きベクトルの大きさを、露光時間を用いて換算する処理を行う。

ここで、図４を参照して、本実施形態に係る、動きベクトルの算出処理の一連の動作について説明する。なお、本実施形態の動きベクトルの算出処理は、例えば画像処理部１０７に含まれる不図示の動きベクトル算出部によって実行される。また、以下の説明では、動きベクトルの算出手法としてブロックマッチング法を用いる場合を例に説明するが、この例に限定されず、例えば勾配法でもよい。

Ｓ４０１において、動きベクトル算出部は、撮像部１０５から順次出力される、時間的に隣接する２枚の画像を取得して、直前に撮影された準備撮影画像または他の本撮影画像を参照フレームに設定し、本撮影画像を基準フレームに設定する。なお、単に、基準フレームに設定した画像を基準撮像画像と、参照フレームに設定した画像を参照撮像画像ともいう。Ｓ４０２において、動きベクトル算出部は、図５に示すように、基準フレームの基準撮像画像５０１において、Ｎ×Ｎ画素の基準ブロック５０２を配置する。

Ｓ４０２において、動きベクトル算出部は、図５に示すように、参照フレームの参照撮像画像５０３に対し、基準撮像画像５０１の基準ブロック５０２の中心座標と同座標５０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲５０５として設定する。

Ｓ４０４において、動きベクトル算出部は、基準撮像画像５０１の基準ブロック５０２と、参照撮像画像５０３の探索範囲５０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック５０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック５０２及び参照ブロック５０６の画素に対するフレーム間差分絶対値和に基づき算出する。つまり、フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。尚、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図５に示す例では、参照ブロック５０６が最も相関が高いことを示しているものとする。

Ｓ４０５において、動きベクトル算出部は、Ｓ４０４で求めた最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出する。例えば、動きベクトル算出部は、参照撮像画像５０３の探索範囲５０５のうち基準撮像画像５０１の基準ブロック５０２の中心座標に対応した同座標５０４と参照ブロック５０６の中心座標とに基づいて動きベクトルを求める。つまり、同座標５０４から参照ブロック５０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。動きベクトル算出部は、求めた動きベクトルの情報を動画や音楽のデータと共に又は単独で記録部１０８に記録する。

Ｓ４０６において、動きベクトル算出部は、基準撮像画像５０１の全画素について動きベクトルを算出したか否か判定する。動きベクトル算出部は、Ｓ４０６において全画素の動きベクトルを算出していないと判定した場合には、Ｓ４０２に処理を戻す。そして、Ｓ４０２では、動きベクトルが算出されていない画素を中心として前述した基準撮像画像５０１にＮ×Ｎ画素の基準ブロック５０２を配置し、同様にＳ４０２からＳ４０５の処理を実行する。すなわち、動きベクトル算出部は、図５に示す基準ブロック５０２を基準撮像画像内で移動させながら、Ｓ４０２からＳ４０５までの処理を繰り返し、基準撮像画像５０１の全画素の動きベクトルを算出する。このようにして算出された動きベクトルの一部の例を図３（ｂ）に示す。図３（ｂ）は、図３（ａ）の準備撮影画像の動きベクトルの例を示す図である。

図３（ａ）の準備撮影画像では、犬３０１が左方向に走っている例を示している。このように被写体が移動している場合の動きベクトルの一例を図３（ｂ）に示す。図３（ｂ）の例では、走っている犬３０１は左方向の動きベクトル３０３で表され、それ以外の止まっている犬３０２や背景の柵は動きがないため、動きベクトルを図示していない。なお、動きベクトル算出部は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。以上の処理により、動きベクトル算出部は、時間的に隣接する画像間における動きベクトルを算出する。

再び図２を参照して撮影処理の動作について説明する。Ｓ２０９において、制御部１０１は、シャッターボタンが押下されたままの連続撮影であるかどうかを判定する。制御部１０１は、例えば指示入力部１１０からの通知に基づいてシャッターボタンが押下されている場合、連続撮影されていると判定する。制御部１０１は、連続撮影されていると判定した場合、Ｓ２０５の本撮影処理に戻って撮影を繰り返す。制御部１０１は、シャッターボタンが押下されていない場合には、連続撮影が終了したと判断し、Ｓ２１０に進んで画像再生モードに入るのを待つ。本実施形態では、連続撮影が終了すると、その後、ユーザが指示入力部１１０を用いて、デジタルカメラ１００を画像再生モードへの切り替える指示を入力するものとする。

Ｓ２１０において、制御部１０１は、デジタルカメラ１００が画像再生モードへの切り替えられたかを判定する。例えば、制御部１０１は、指示入力部１１０からの信号に基づいて、デジタルカメラ１００が画像再生モードへの切り替えられたかを判定し、画像再生モードへの切り替えが行われたと判定した場合にＳ２１１に進む。制御部１０１は、再生モードへの切り替えが行われたと判定するまで処理を繰り返す（すなわち待機する）。

Ｓ２１１において、制御部１０１は、動きブレ報知機能が有効化されているかを判定する。制御部１０１は、Ｓ２０６において有効化されている場合、動きブレ報知の設定を読み出して、Ｓ２１２に進む。そうでない場合にはＳ２１１に戻って処理を繰り返す。

Ｓ２１２において、画像処理部１０７は、制御部１０１の指示に応じて、動きブレのある領域を、再生される本撮影画像に重畳して示す画像（単に動きブレ報知画像ともいう）を生成する。なお、動きブレ報知画像の生成処理については後述する。

Ｓ２１３において、制御部１０１は、動きブレ報知画像を表示部１０９に表示させる（すなわち表示部１０９への表示制御を行う）。なお、制御部１０１は、動きブレ報知が有効化されていない場合には、再生された本撮影画像を表示部１０９に表示させる。制御部１０１は、表示部１０９に画像を表示させると、その後、撮影処理に係る一連の動作を終了する。

なお、上記S２１３では、動きブレ報知画像を表示させている間に、ユーザが後述する露光時間を変更することできるようにしてもよい。この場合、制御部１０１は、露光時間を変更するユーザ操作を受け取ると、S２１２に戻って変更された露光時間に応じた動きブレ報知画像を生成させる。そして、S２１３において、表示される動きブレ報知画像を、新たに生成された動きブレ報知画像に変更する。このようにすることで、ユーザは異なる露光時間の設定に対する動きブレを確認することができる。

次に、図２（ａ）に示したような、画像再生モードに切り替わったときに本撮影画像の再生表示を行う動作の他に、本撮影画像の再生表示を、本撮影の直後に自動的に所定の期間のみ行うようにしてもよい。この場合のデジタルカメラ１００の撮影処理は、例えば図２（ｂ）に示すようになる。なお、図２（ａ）に示した同様の動作、処理については同一の符号を付して重複する説明は省略する。

図２（ｂ）において、制御部１０１はＳ２０１～Ｓ２０５の処理を実行して本撮影を行った状態となる。Ｓ２０６において、制御部１０１は、動きブレ報知機能が有効化されているかを判定する。なお、動きブレ報知機能が有効化されている否かの設定は、例えばユーザが指示入力部１１０を用いて設定することができ、一度設定されれば設定値が例えばＲＯＭ１０２または記録部１０８に保持されている。

Ｓ２５１において、制御部１０１は、動きブレ報知機能が有効化されている場合にＳ２０７に進み、そうでない（無効化されている）場合には動きベクトルの算出を行わずにＳ２０８に進む。Ｓ２０７において、制御部１０１は、本撮影画像に対する動きベクトルの算出を行って、更にＳ２５２において、動きブレ報知画像を生成する。Ｓ２５３において、制御部１０１は、動きブレ報知画像が生成されている場合には動きブレ報知画像を、動きブレ報知画像が生成されていない場合には本撮影画像を、表示部１０９に表示させる。制御部１０１は、画像表示が完了すると撮影処理に係る一連の動作を終了する。

（動きブレ報知画像の生成）
次に、図６および図７を参照して、上述の動きブレ報知画像を生成するための構成と一連の動作について説明する。図６は、画像処理部１０７が有する画像生成部６００の機能構成例を示している。画像生成部６００は、動きブレ算出部６０２、動きブレ報知プレーン作成部６０３及び画像重畳部６０４を含む。画像生成部６００は、後述する撮影条件と、動きベクトル算出部からの動きベクトル情報と、記録部１０８あるいはＲＡＭ１０３からの本撮影画像とを取得し、以下の生成処理により、動きブレ報知画像を生成する。

図７には、画像生成部６００が動きブレ報知画像を生成する処理の一連の動作を示している。なお、ここで示す動きブレ報知画像を生成する処理は、画像生成部６００を構成するハードウェアにより、又は画像生成部６００の機能を実現するソフトウェアが１つ以上のプロセッサによって実行されることにより実現される。

Ｓ７０１において、画像生成部６００は、本撮影画像の撮影時に得られる動きベクトルの情報を入力する。画像生成部６００は、画像再生モードである場合、本撮影画像とともに記録部１０８に記録されている動きベクトルの情報を入力する。Ｓ７０２において、動きブレ算出部６０２は、撮影条件としてのＳ２０２で設定された本撮影の露光時間を例えばＲＯＭ１０２から取得する。また、動きブレ算出部６０２は、本撮影とその直前の準備撮影における画像間の時間間隔を同様に例えばＲＯＭ１０２から取得する。画像間の時間間隔は、連写時には連続する本撮影の時間間隔となる。

Ｓ７０３において、動きブレ算出部６０２は、動きベクトルを、本撮影の動きブレに換算する。具体的には、動きブレ算出部６０２は、Ｓ７０２で取得した本撮影の露光時間及び画像間の時間間隔を用いて、Ｓ２０７で算出した画素毎の動きベクトルを本撮影の動きブレに換算する。なお、Ｓ２０７で算出した動きベクトルは、撮像部１０５から順次（例えば１／６０秒の取得間隔でまたは連写画像の取得間隔で）取得された画像間の動きベクトルを表している。本撮影における動きベクトルと本撮影の動きブレについて、図８を参照して説明する。図８では、撮影条件として、動きベクトルを検出した画像間の時間間隔が１／６０秒であり、本撮影の露光時間が１／１２０秒である場合と１／３０秒である場合とを示している。動きブレ算出部６０２は、例えば式（１）及び式（２）に示す換算式に基づき、画素毎の動きベクトルを本撮影の動きブレに換算する。

ＣＯＮＶ＿ＧＡＩＮ＝ＥＸＰ＿ＴＩＭＥ／ＩＮＴ＿ＴＩＭＥ・・・（１）
ＣＯＮＶ＿ＢＬＵＲ＝ＶＥＣ＿ＬＥＮ×ＣＯＮＶ＿ＧＡＩＮ・・・（２）
ここで、式（１）において、ＣＯＮＶ＿ＧＡＩＮは準備撮影の動きベクトルを本撮影の動きベクトルに換算するための換算ゲインを示し、ＥＸＰ＿ＴＩＭＥは本撮影の露光時間を示し、ＩＮＴ＿ＴＩＭＥは画像間の時間間隔を示す。また、式（２）において、ＣＯＮＶ＿ＢＬＵＲは換算された本撮影の動きブレを示し、ＶＥＣ＿ＬＥＮは本撮影における動きベクトルの長さを示す。

動きブレ算出部６０２は、式（１）に基づいて、換算ゲインを算出する。すなわち、本撮影の露光時間を画像間の時間間隔で除算することにより換算ゲインを算出する。そして、動きブレ算出部６０２は、式（２）に基づいて、本撮影の動きブレを算出する。すなわち、動きブレ算出部６０２は、動きベクトルの大きさに換算ゲインを乗算することにより、本撮影の動きブレを算出する。

例えば、図８に示すように本撮影における動きベクトルの大きさが１０画素である場合、本撮影の露光時間が１／１２０秒の動きブレは、換算ゲインが１／２倍になるため５画素となる。また、本撮影の露光時間が１／３０秒である動きブレは、換算ゲインが２倍になるため２０画素となる。

なお、上述したように、画像再生モードにおいてユーザが露光時間の設定を切り替えた場合、ＥＸＰ＿ＴＩＭＥは、ユーザが画像を再生する際に設定する露光時間とすることができる。本撮影画像の再生時に設定される露光時間を使用して換算ゲインを算出することにより、露光時間を変更した場合の動きブレ量を画像再生時に表示することができ、所望の動きブレ量で撮影するための露光時間を確認することができるようになる。

Ｓ７０４において、動きブレ報知プレーン作成部６０３は、Ｓ７０３において算出した画素毎の動きブレに基づき、動きブレを報知するための画像プレーンを作成する。Ｓ７０５において、画像重畳部６０４は、本撮影画像にＳ７０４において作成した動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。ここで、動きブレ報知画像の例について、図９を参照して説明する。図９（ａ）から（ｃ）は、本実施形態における３つの動きブレ報知画像の例を示している。画像再生中に動きブレ報知画像を表示部１０９に表示することにより、ユーザは本撮影画像における動きブレを容易に確認することができる。

図９（ａ）は、動きブレ報知画像として、本撮影画像にアイコンを付加することにより動きブレを報知する例を示す。ここで、アイコン表示を付加することによって動きブレ報知画像を生成する例について説明する。Ｓ７０４において、動きブレ報知プレーン作成部６０３は、画素毎の動きブレのうち、換算された動きブレが所定値以上である画素数が画面全体に占める割合を算出する。動きブレ報知プレーン作成部６０３は、換算された動きブレが所定値以上である画素数の画像全体を占める割合が所定割合以上であることに応じて、基準値以上の動きブレの存在を示すアイコンを動きブレ報知プレーンとして作成する。基準値以上の動きブレの存在を示すアイコンは、例えば図９（ａ）に示すような動きブレアイコン９０１であってよい。そして、画像重畳部６０４は、動きブレ報知プレーンを本撮影画像に重畳することにより、図９（ａ）に示すような動きブレ報知画像を生成する。一方、動きブレ報知プレーン作成部６０３は、換算された動きブレが所定値以上である画素数の画像全体を占める割合が所定割合より低い場合、動きブレ報知プレーンを作成しない。

図９（ｂ）は、動きブレ報知画像として、本撮影画像に動きブレ枠を表示することにより動きブレを報知する例を示す。ここで、動きブレ枠を表示することによる動きブレ報知画像の生成方法について説明する。Ｓ７０４において、動きブレ報知プレーン作成部６０３は、分割領域内の画素毎の動きブレのうち、換算された動きブレが所定値以上である画素数が分割領域全体に占める割合を算出する。動きブレ報知プレーン作成部６０３は、換算された動きブレが所定値以上である画素数の分割領域全体に占める割合が所定割合以上である分割領域に対して、基準値以上の動きブレの存在する領域を示す枠を動きブレ報知プレーンとして作成する。基準値以上の動きブレの存在する領域を示す枠は、例えば図９（ｂ）に示す動きブレ枠９０２であってよい。画像重畳部６０４は、動きブレ報知プレーンを本撮影画像に重畳することにより図９（ｂ）に示すような動きブレ報知画像を生成する。一方、動きブレ報知プレーン作成部６０３は、換算された動きブレが所定値以上である画素数の分割領域全体を占める割合が所定割合より低い場合、動きブレ報知プレーンを作成しない。

図９（ｃ）は、動きブレ報知画像として、本撮影画像上の動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレエッジを強調表示することによる動きブレ報知画像の生成方法について説明する。Ｓ７０４において、動きブレ報知プレーン作成部６０３は、本撮影画像内のエッジ強度を検出する。エッジ強度の算出には、ソーベルフィルタなどの既知の方法を用いることができるためその説明は省略する。動きブレ報知プレーン作成部６０３は、検出したエッジ強度が所定値以上であり、且つ、換算された動きブレが所定値以上である画素を抽出する。動きブレ報知プレーン作成部６０３は、抽出した画素に対して、基準値以上の動きブレの存在するエッジを示す強調表示を動きブレ報知プレーンとして作成する。動きブレ報知プレーン作成部６０３は、当該強調表示として、例えば、図９（ｃ）に示すように動きブレエッジ９０３を強調表示するような動きブレ報知プレーンを作成する。画像重畳部６０４は、動きブレエッジを強調表示した動きブレ報知プレーンを本撮影画像に重畳することにより、図９（ｃ）のような動きブレ報知画像を生成する。図９（ｃ）に示す動きブレエッジ９０３の例では、動きブレのあるエッジを太く強調する例を示している。強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、換算された動きブレが所定値以上の画素を抽出し、抽出した画素に所定の色を付加する（例えば赤く塗る）ような強調表示が挙げられる。画像生成部６００は、動きブレ報知画像を出力すると動きブレ報知画像の生成処理の一連の動作を終了する。

なお、上述の例では、換算された動きブレが所定値以上の大きさである場合に動きブレを報知する例について説明した。しかし、換算された動きブレが所定値以下の大きさである場合に動きブレを報知しても良い。このようにすれば、動きブレを動感として表現したい長秒露光撮影の場合に、動きブレの不足を画像再生中に確認し易くなる。

また、上述の例では、動きブレを報知する１つの方法で動きブレ報知画像を表示する例を説明したが、図９（ａ）から（ｃ）に示す動きブレを報知する方法をユーザが切り替えられるようにしてもよい。このようにすれば、ユーザは設定する露光時間に応じて所望の報知方法で動きブレを確認することができる。

上述の例では、動きブレを報知する方法として、動きブレアイコンの表示、動きブレ枠の表示、動きブレエッジの強調表示の３つの例について説明した。しかし、動きブレを報知する方法はこれに限ったものではない。例えば、平坦な領域も含め、動きブレが発生している領域を強調表示しても良い。具体的には、動きブレ報知プレーン作成部６０３は、画素毎の換算された動きブレが所定値以上の画素を赤く塗るような強調表示を行う。このようにエッジ領域だけではなく、エッジ領域以外の領域も強調表示を行うことにより、被写体全体が強調表示されるため、より動きブレを確認しやすくなる。

また、上述の例では、動きブレを報知する方法として、表示部１０９に動きブレを報知する情報を表示させる例について説明した。しかし、動きブレの報知方法としてはこれに限ったものではない。例えば、音を用いて動きブレを報知しても良い。具体的には、画素毎の換算された動きブレのうち、換算された動きブレが所定値以上である画素数について画面全体に占める割合が所定割合以上の場合に、動きブレ報知音を発生させてもよい。

以上説明したように本実施形態では、撮像部１０５から順次取得される、本撮影の画像と他の画像を取得し、本撮影画像に関連付けられた露光時間に基づいて、取得した画像を用いて求められた動き情報を本撮影時の動きブレに換算する。そして、本撮影画像を表示する場合に、求めた本撮影画像における動きブレに基づいて、画像の動きブレを報知するようにした。このようにすることで、本撮影画像を再生して表示する場合に、本撮影画像に対する動きブレを容易に確認可能になる。とりわけ、ユーザは本撮影画像を再生して表示した場合に、本撮影画像を拡大してブレ具合を確認するような手間が低減される。また、本撮影画像を撮影する際に設定された、あるいは再生する際に設定される露光時間に応じた動きブレを確認することができるため、本撮影画像のブレを精度よく容易に把握することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…制御部、１０５…撮像部、１０９…表示部、３００…動きブレ報知画像生成部、３０２…動きブレ算出部、３０３…動きブレ報知プレーン作成部、３０４…画像重畳部

Claims (12)

1. 被写体像を撮影して順次出力される第１の画像と第２の画像とを取得する取得手段であって、少なくとも前記第２の画像は本撮影の画像として記録媒体に記録される、取得手段と、
   前記第１の画像と前記第２の画像とを用いて求められる動き情報を、前記第２の画像に関連付けられた露光時間に基づいて、前記第２の画像における動きブレに換算する換算手段と、
   前記第２の画像を表示する場合に、換算された前記第２の画像における動きブレに基づいて、画像の動きブレを報知する報知手段と、を有し、
   前記第２の画像に関連付けられた露光時間は、前記第２の画像の記録後に設定される露光時間である、ことを特徴とする情報処理装置。
2. 前記報知手段は、換算された前記第２の画像における動きブレが所定の条件を満たしたことに応じて、動きブレを報知する表示を前記第２の画像に重畳することにより、画像の動きブレを報知する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記動きブレを報知する表示は、基準値以上の動きブレの存在を示すアイコンを含む、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記動きブレを報知する表示は、基準値以上の動きブレの存在する領域を示す枠を含む、ことを特徴とする請求項２に記載の情報処理装置。
5. 前記動きブレを報知する表示は、基準値以上の動きブレの存在するエッジを示す強調表示を含む、ことを特徴とする請求項２に記載の情報処理装置。
6. 前記報知手段は、換算された前記第２の画像における動きブレが所定の条件を満たしたことに応じて、動きブレを報知する音を発生させることにより、画像の動きブレを報知する、ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記換算手段は、前記第１の画像と前記第２の画像との間の時間間隔に対する、前記第２の画像に関連付けられた露光時間の比を用いて、前記動き情報を前記第２の画像における動きブレに換算する、ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記第１の画像と前記第２の画像とを用いて求められる前記動き情報は、前記記録媒体に記録され、
   前記換算手段は、前記記録媒体に記録された前記動き情報を、前記第２の画像に関連付けられた露光時間に基づいて、前記第２の画像における動きブレに換算する、ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記第１の画像と前記第２の画像とは連続撮影によって出力された本撮影の画像である、ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記第１の画像は、準備撮影によって出力された画像である、ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 取得手段が、被写体像を撮影して順次出力される第１の画像と第２の画像とを取得する取得工程であって、少なくとも前記第２の画像は本撮影の画像として記録媒体に記録される、取得工程と、
    換算手段が、前記第２の画像に関連付けられた露光時間に基づいて、前記第１の画像と前記第２の画像とを用いて求められる動き情報を、前記第２の画像における動きブレに換算する換算工程と、
    報知手段が、前記第２の画像を表示する場合に、換算された前記第２の画像における動きブレに基づいて、画像の動きブレを報知する報知工程と、を有し、
    前記第２の画像に関連付けられた露光時間は、前記第２の画像の記録後に設定される露光時間である、ことを特徴とする情報処理装置の制御方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images