JP4935872B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。

記録媒体に記録されている複数の静止画像をいわゆるサムネイル表示し、記録媒体の内容の把握を容易にすることが一般的に行われている。同様のことを動画像に対して行う場合、動画像には通常多数のフレームが含まれるので、サムネイル画像として適切なフレームを選択しなければならない。例えば特許文献１には、１つの記録コンテンツから複数のサムネイルデータを作成するコンテンツ記録再生装置が記載されている。このコンテンツ記録再生装置は、作成した複数のサムネイルデータをサムネイル候補として画面に表示し、それらのうちユーザが選択した１つを代表サムネイルとする。

特開２００８−２９４９３８号公報

特許文献１に記載されている技術を用いても、個々のサムネイル画像は１フレームに対応しているので、動画像の内容全体をサムネイル画像から把握することは困難である。

請求項１の発明による画像処理装置は、複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、前記選択手段により選択された複数のフレームの各々に存在する物体を認識する認識手段と、前記認識手段により認識された前記物体が同一の物体であるか否かを判定する判定手段と、前記判定手段により同一であると判定された物体のうち時系列的で最も早いフレームに存在する物体と、前記判定手段により同一でないと判定された物体とをそれぞれ抽出する抽出手段と、前記抽出手段により抽出された複数の物体を含む静止画像を作成する画像作成手段とを備えることを特徴とする。
請求項３の発明による画像処理プログラムは、複数のフレームにより構成される動画像から複数のフレームを選択する選択工程と、前記選択された複数のフレームの各々に存在する物体を認識する認識工程と、前記認識された前記物体が同一の物体であるか否かを判定する判定工程と、前記同一であると判定された物体のうち時系列に最も早く出現した物体と、前記同一でないと判定された物体とをそれぞれ抽出する抽出工程と、前記抽出された複数の物体を含む静止画像を作成する画像作成工程とをコンピュータに実行させることを特徴とする。
請求項５の発明による画像処理装置は、複数のフレームにより構成される動画像ファイルから複数のフレームを選択する選択手段と、前記選択手段により選択された複数のフレームに存在する物体を認識する認識手段と、前記認識手段により認識された前記物体が同一の物体であるか否かを判定し、同一でない物体と前記同一の物体のうちの一つの物体像とを抽出する抽出手段と、前記選択手段によって選択された前記複数のフレームの画像が水平方向にパンニングされたものか否かを判定するパンニング判定手段と、前記パンニング判定手段によってパンニングでないと判定された場合に、前記抽出手段により抽出された物体を含む静止画像を作成する画像作成手段と、前記パンニング判定手段によってパンニングであると判定された場合に、前記選択手段によって選択された複数のフレームに基づきパノラマ画像を作成し、前記認識手段によって抽出された物体を含むパノラマ静止画像を作成するパノラマ静止画像作成手段と、を備えることを特徴とする。

本発明によれば、動画像の内容全体をより的確に把握可能な静止画像を作成することができる。

第１の実施の形態における画像処理装置の回路構成を示すブロック図である。 オブジェクト合成処理によるサムネイル画像の作成手順を示す図である。 ベストショット合成処理によるサムネイル画像の作成手順を示す図である。 動画像ファイルから代表画像を作成する処理のフローチャートである。 オブジェクト認識処理のフローチャートである。 オブジェクト合成処理のフローチャートである。 ベストショット合成処理のフローチャートである。

（第１の実施の形態）
図１は、本実施の形態における画像処理装置の回路構成を示すブロック図である。画像処理装置１は、制御回路１１，フラッシュメモリ１２，ＤＲＡＭ１３，ハードディスクドライブ１４（以下、ＨＤＤ１４と称する），外部機器インタフェース（Ｉ／Ｆ）１５，入力装置１６，および表示装置１７を備える。フラッシュメモリ１２は、制御回路１１が実行する所定の制御プログラムが記憶されている、不揮発性の記憶装置である。ＤＲＡＭ１３は、制御プログラムが使用するデータを一時的に格納するために使用される。ＨＤＤ１４は不揮発性の記憶装置であり、複数の動画像ファイルが格納されている。

外部機器Ｉ／Ｆ１５は、デジタルカメラなどの外部機器を接続するためのインタフェースである。画像処理装置１の利用者は、外部機器Ｉ／Ｆ１５へデジタルカメラを接続し、デジタルカメラから動画像ファイルをＨＤＤ１４へ取り込むことができる。入力装置１６はキーボードやマウスなどの各種の入力装置であり、ユーザの操作に応じて制御回路１１へ操作信号を出力する。表示装置１７は液晶モニタなどの各種の表示装置である。

制御回路１１はフレーム選択部１１ａ，オブジェクト抽出部１１ｂ，および画像作成部１１ｃを有する。これらの機能部は、制御回路１１がフラッシュメモリ１２に記憶されている所定の制御プログラムを実行することにより実現される。

次に、画像処理装置１による動画像ファイルの一覧表示機能について説明する。制御回路１１は、ＨＤＤ１４に格納されている複数の動画像ファイルの一覧表示機能と、動画像ファイルの再生機能と、を有する。動画像ファイルの一覧表示機能は、各々の動画像ファイルに対応する静止画像（以下、代表画像と呼ぶ）をサムネイル表示する機能である。サムネイル表示された代表画像のうち、いずれか１つがユーザにより選択されると、制御回路１１は選択された代表画像に対応する動画像ファイルの再生を開始する。

本実施形態の画像処理装置は、オブジェクト合成処理と呼ぶ処理による代表画像の作成と、ベストショット合成処理と呼ぶ処理による代表画像の作成と、を行うことが可能である。動画像ファイルの一覧表示を行う際、制御回路１１は、ＨＤＤ１４に格納されている各々の動画像ファイルに対して、これら２つの処理のうちいずれかの処理を実行する。

図２は、オブジェクト合成処理によるサムネイル画像の作成手順を示す図である。図２（ａ）に、以下で説明するオブジェクト合成処理の対象となる動画像ファイル２１を示す。この動画像ファイル２１は、フレームＦ１１〜Ｆ１９から構成されている。

オブジェクト合成処理では、まずフレーム選択部１１ａがオブジェクト合成処理の対象となるフレームをフレームＦ１１〜Ｆ１９から選択する。フレーム選択部１１ａは、例えば動画像ファイル２１に含まれる全てのフレームを選択するようにしてもよいし、あるいは数フレーム毎に１フレームを選択するようにしてもよい。また、シーンチェンジの検出等を考慮してフレームを選択するようにしてもよい。ここでは、図２（ｂ）に示す４つのフレームＦ１２，Ｆ１４，Ｆ１６，Ｆ１９がオブジェクト合成処理の対象として選択されたこととする。

次にオブジェクト抽出部１１ｂが、選択されたこれら４つのフレームからオブジェクトを認識する。オブジェクトとは、各フレームに含まれる所定の物体像である。オブジェクトの認識には、例えばパターンマッチングなど公知の技術を用いることができる。図２（ｂ）に示した例では、フレームＦ１２からは車のオブジェクトＯＡ１が、フレームＦ１４からは人のオブジェクトＯＢ２および犬のオブジェクトＯＣ１が、フレームＦ１６からは人のオブジェクトＯＢ２および犬のオブジェクトＯＣ２が、フレームＦ１９からは犬のオブジェクトＯＣ３および家屋のオブジェクトＯＤ１が、それぞれ認識される。

オブジェクト抽出部１１ｂはこれらのオブジェクトを認識した後、これらのオブジェクトの同一性を判定する。例えば毎秒３０フレームを撮影して動画像ファイルを作成した場合、連続する複数のフレームにおいて同一の物体が繰り返し撮影されることになる。オブジェクト抽出部１１ｂは、認識した複数のオブジェクトが、上記の例のように１つの物体に基づくオブジェクトか否かを判定する。オブジェクトの同一性の判定には公知の画像認識技術を用いる。例えば人のオブジェクトであれば公知の顔認識技術等を用いることが可能である。

例えば図２（ｂ）では、オブジェクト抽出部１１ｂはフレームＦ１４において認識された人のオブジェクトＯＢ１とフレームＦ１６において認識された人のオブジェクトＯＢ２とが同一人物のオブジェクトであると判定する。図２（ｂ）に示した４つのフレームからは、同様にオブジェクトＯＣ１，ＯＣ２，ＯＣ３が同一の物体のオブジェクトであると判定される。

続いてオブジェクト抽出部１１ｂは、各フレームから認識した各オブジェクトの抽出を行う。ただし、同一性の判定の結果に基づき、同一の物体のオブジェクトは１つしか抽出しない。例えば、図２（ｂ）に示した複数のフレームからオブジェクトＯＣ１，ＯＣ２，ＯＣ３が同時に抽出されることはない。オブジェクト抽出部１１ｂは、これらのオブジェクトの中からいずれか１つのオブジェクトのみを抽出することになる。

オブジェクト抽出部１１ｂが同一の物体のオブジェクトからいずれか１つを選択する基準は、動画像ファイル２１におけるオブジェクトの出現順である。例えば図２（ｂ）において、選択されたフレームの動画像ファイル２１における時系列順は、フレームＦ１２，フレームＦ１４，フレームＦ１６，フレームＦ１９という順序になっている。従って、同一の物体のオブジェクトＯＣ１，ＯＣ２，ＯＣ３のうち、出現順が最も早いオブジェクトは、動画像ファイル２１内の時系列順で最も早いフレームＦ１４から認識されたオブジェクトＯＣ１である。オブジェクト抽出部１１ｂはこのように、同一の物体のオブジェクトのうち最初に出現するオブジェクトを抽出する。

最後に画像作成部１１ｃが、オブジェクト抽出部１１ｂにより抽出された複数のオブジェクトを並べて１つの静止画像を作成する。作成された静止画像の例を図２（ｃ）に示す。図２（ｃ）に示した静止画像Ｐ１には、オブジェクト抽出部１１ｂにより抽出された４つのオブジェクトＯＡ１，ＯＢ１，ＯＣ１，ＯＤ１が含まれている。これらのオブジェクトは、動画像ファイル２１における出現順に左から右の順で並べられている。また、静止画像Ｐ１の背景は、背景色として選択された単色の塗り潰しとなっている。この静止画像Ｐ１が、オブジェクト合成処理により作成された動画像ファイル２１の代表画像である。

図３は、ベストショット合成処理によるサムネイル画像の作成手順を示す図である。図３（ａ）に、以下で説明するベストショット合成処理の対象となる動画像ファイル２２を示す。この動画像ファイル２２はフレームＦ２１〜Ｆ２９から構成されている。

ベストショット合成処理においても、オブジェクト合成処理と同様にまずフレームの選択、オブジェクトの認識、同一性の判定が実行される。すなわち、まずフレーム選択部１１ａにより処理対象とするフレームが選択される。次にオブジェクト抽出部１１ｂによりオブジェクトが認識されると共に、各オブジェクトが同一の物体のオブジェクトか否かが判定される。なお、フレーム選択部１１ａは、各フレームから視点の水平移動を検知し、パノラマ画像が作成可能となるようにフレームの選択を行う。

その後オブジェクト抽出部１１ｂは、認識したオブジェクトに対応する物体のうち出現頻度が最も高い１つを動画像ファイル２２の主要被写体として選択する。そして、この主要被写体に対応するオブジェクトのうち、サイズが最も大きいオブジェクトを主要オブジェクトとして選択する。以下、主要オブジェクトが含まれるフレームを、主要被写体のベストショットと呼ぶ。

画像作成部１１ｃは、フレーム選択部１１ａが選択したフレームに基づくパノラマ画像を作成する。そして、このパノラマ画像を背景とし、且つ主要オブジェクト以外のオブジェクトを含まない静止画像を作成する。この静止画像が、動画像ファイル２２の代表画像である。

画像作成部１１ｃが作成するパノラマ画像は、可能な限り主要オブジェクト以外のオブジェクトを含まないように作成される。例えば移動する物体を追跡して撮影された動画像の場合、あるフレームにおいてその物体の蔭となった背景であっても、その前後のフレームでは蔭となっていないことが考えられる。従って、そのようなフレームを利用すれば、背景のパノラマ画像を主要オブジェクト以外のオブジェクトを含まないように作成することができる。

図４は、動画像ファイルから代表画像を作成する制御回路１１の処理を示すフローチャートである。本フローチャートの処理を実行するためのプログラムはフラッシュメモリ１２に格納されている。まずステップＳ１０では、フレーム選択部１１ａが以降の処理の対象とするフレームを選択する。ステップＳ２０では、オブジェクト抽出部１１ｂが後述するオブジェクト認識処理を実行する。ステップＳ３０では、制御回路１１が代表画像の作成方法を判定する。例えば動画像ファイルの視点が水平方向にパンニングしていることを検出した場合には、代表画像をベストショット合成処理により作成すべきであると判定され、それ以外の場合には代表画像をオブジェクト合成処理により作成すべきであると判定される。

ステップＳ３０において、制御回路１１が代表画像をオブジェクト合成処理により作成すべきであると判定した場合にはステップＳ４０へ進む。ステップＳ４０では、オブジェクト抽出部１１ｂおよび画像作成部１１ｃにより、後述するオブジェクト合成処理が実行される。他方、ステップＳ３０で、制御回路１１が代表画像をベストショット合成処理により作成すべきであると判定した場合にはステップＳ５０へ進む。ステップＳ５０では、オブジェクト抽出部１１ｂおよび画像作成部１１ｃにより、後述するベストショット合成処理が実行される。

図５は、オブジェクト認識処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ２０において呼び出される。オブジェクト認識処理では、図４のステップＳ１０において選択された各フレームからの、オブジェクトの認識が行われる。ステップＳ２１では、オブジェクト抽出部１１ｂが、フレーム選択部１１ａにより選択されたフレームのうち未処理のフレームを１つ読み込む。ステップＳ２２では、オブジェクト抽出部１１ｂが、ステップＳ２１で読み込んだフレームからオブジェクトの認識に必要な特徴量を算出する。ステップＳ２３では、オブジェクト抽出部１１ｂが、ステップＳ２１で読み込んだフレームからオブジェクトの認識を行う。オブジェクトの認識には、ステップＳ２２で算出した特徴量を使用する。

なお、ステップＳ２２における特徴量の算出と、ステップＳ２３におけるオブジェクトの認識とは、共に公知の画像認識技術を利用する。例えばパターンマッチングを用いてオブジェクトの認識を行うのであれば、まずステップＳ２２において、あらかじめ用意された複数のパターンの各々について、処理対象のフレームとの相関を表す特徴量を算出する。そして、ステップＳ２３において、特徴量に基づき所定の基準を満たすパターンを選択する。

ステップＳ２４では、オブジェクト抽出部１１ｂが、これまでに認識されたオブジェクトとステップＳ２３において直近に認識されたオブジェクトとの同一性を判定する。ステップＳ２５では、オブジェクト抽出部１１ｂがステップＳ２３で認識したオブジェクトからオブジェクト情報を作成する。オブジェクト情報はオブジェクトの抽出を行うための情報である。オブジェクト情報には、例えばオブジェクトへ割り当てられる一意な識別子、これまでに認識したオブジェクトと同一か否かを表す情報、オブジェクトに外接する矩形、オブジェクトが認識されたフレームを特定する為の情報、等が含まれる。ステップＳ２６では、オブジェクト抽出部１１ｂが、ステップＳ２４で作成したオブジェクト情報をＤＲＡＭ１３へ記録する。ステップＳ２７では、オブジェクト抽出部１１ｂがフレーム選択部１１ａにより選択された全フレームに対して処理を完了したか否かを判定する。未処理のフレームが残っている場合にはステップＳ２１へ戻る。他方、全てのフレームに対して処理を完了した場合にはオブジェクト認識処理を終了する。

図６は、オブジェクト合成処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ４０において呼び出される。ステップＳ４１では、ステップＳ２５でＤＲＡＭ１３に記録された全てのオブジェクト情報をオブジェクト抽出部１１ｂが読み込む。ステップＳ４２では、オブジェクト抽出部１１ｂが、オブジェクト情報に含まれる全オブジェクトのうち未処理のオブジェクトを出現順に１つ選択する。

ステップＳ４３では、オブジェクト抽出部１１ｂが、オブジェクト情報に含まれるオブジェクトの同一性に関する情報を確認し、ステップＳ４２で選択したオブジェクトと同一のオブジェクトが既に抽出されているか否かを判定する。抽出済みであった場合にはステップＳ４３により肯定判定がなされ、ステップＳ４５へ進む。他方、否定判定がなされた場合にはステップＳ４４へ進む。ステップＳ４４では、オブジェクト抽出部１１ｂが、オブジェクト情報に基づいて対応するフレームからオブジェクトを抽出する。ステップＳ４５では、オブジェクト抽出部１１ｂが、全てのオブジェクトについて処理が完了したか否かを判定する。未処理のオブジェクトが存在する場合には否定判定がなされ、ステップＳ４２へ戻る。他方、ステップＳ４５において肯定判定がなされた場合にはステップＳ４６へ進む。ステップＳ４６では、画像作成部１１ｃが、ステップＳ４４において抽出された全てのオブジェクトを含む静止画像を作成する。

図７は、ベストショット合成処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ５０において呼び出される。ステップＳ５１では、ステップＳ２５でＤＲＡＭ１３に記録された全てのオブジェクト情報をオブジェクト抽出部１１ｂが読み込む。ステップＳ５２では、オブジェクト抽出部１１ｂが、各被写体ごとの出現頻度を集計する。ステップＳ５３では、オブジェクト抽出部１１ｂが、ステップＳ５２で集計した出現頻度が最も多い被写体、すなわち主要被写体を選択する。ステップＳ５４では、オブジェクト抽出部１１ｂが、主要被写体に対応するオブジェクトのうちサイズが最も大きいオブジェクト、すなわち主要オブジェクトを、オブジェクト情報に基づいて対応するフレームから抽出する。ステップＳ５５では、画像作成部１１ｃが、最終的に作成される静止画像の背景画像となるパノラマ画像を作成する。ステップＳ５６では、画像作成部１１ｃが、ステップＳ５５で作成したパノラマ画像を背景とし、且つ、ステップＳ５４で抽出された主要オブジェクト以外のオブジェクトを含まない静止画像を作成する。

上述した第１の実施の形態による画像処理装置によれば、次の作用効果が得られる。
（１）画像作成部１１ｃは、オブジェクト抽出部１１ｂにより抽出された複数のオブジェクトを含む静止画像を作成する。これにより、１つの静止画像から動画像ファイルの内容全体をより的確に把握することができる。

（２）オブジェクト抽出部１１ｂは、複数のフレームの各々から認識された複数のオブジェクトが同一の物体のオブジェクトであった場合、複数のオブジェクトのうちいずれか１つのオブジェクトのみを抽出する。これにより、繰り返し登場する物体が存在した場合であっても、動画像ファイルの内容全体を把握しやすい静止画像が作成される。

（３）制御回路１１は、オブジェクト合成処理とベストショット合成処理とを切り替えて静止画像を作成する。これにより、動画像の特性に合った適切な静止画像が作成される。

（４）画像作成部１１ｃは、パノラマ画像を静止画像の背景とする場合に、主要オブジェクト以外のオブジェクトが含まれないようなパノラマ画像を作成する。これにより、主要オブジェクトが何であるかを判断しやすい静止画像が作成される。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
代表画像の作成は、サムネイル表示を行う際に実行してもよいし、動画像ファイルを作成する際に実行してもよい。例えばビデオカメラに上述した代表画像の作成処理を実行させてもよい。また、作成された代表画像を、動画像ファイルに関連付けられた画像ファイルとして記録媒体に記録してもよい。

（変形例２）
上述した実施の形態の説明では、オブジェクト合成処理とベストショット合成処理という２つの処理を切り替えて代表画像を作成していたが、これらのうち一方の処理のみを用いて代表画像を作成するように画像処理装置を構成してもよい。

（変形例３）
オブジェクト抽出部１１ｂが所定の数よりも多くのオブジェクトを認識した場合、それらのオブジェクトのうち一部のもののみを抽出するようにしてもよい。例えば、所定のサイズ以下のオブジェクトは抽出しないようにしてもよいし、オブジェクトの種類や形状に基づき抽出するオブジェクトを限定するようにしてもよい。また、例えば顔認識などの技術を用いて、特定の人物のみが抽出されるようにしてもよい。あるいは、オブジェクトの一覧を表示し、抽出するオブジェクトをユーザに選択させるようにしてもよい。

（変形例４）
同一の物体のオブジェクトからいずれか１つを選択する基準として、オブジェクトの出現順以外の基準を用いてもよい。例えばサイズが最も大きいオブジェクトを選択してもよいし、コントラストが最も高いオブジェクトを選択するようにしてもよい。あるいは、所定の画像処理により算出された特徴量を用いてオブジェクトの選択を行うようにしてもよい。

（変形例５）
静止画像に複数のオブジェクトを配置する手法は、出現順に左から右の順で並べる以外の手法であってもよい。例えばランダムに静止画像全体に配置するようにしてもよい。また、オブジェクトの数が多い場合には、一部または全部のオブジェクトを縮小して静止画像に納めるようにしてもよい。あるいは、静止画像のサイズを大きくしてもよい。

（変形例６）
オブジェクト合成処理とベストショット合成処理との切り替えは、上述した実施の形態に限定されない。例えばユーザが手動でどちらの処理を用いるか選択できるようにしてもよいし、動画像ファイルに出現するオブジェクトの数が所定数より多い場合にはオブジェクト合成処理を用いるようにしてもよい。

（変形例７）
画像作成部１１ｃがオブジェクト合成処理において作成する静止画像は、何らかの背景を有するようにしてもよい。例えばフレーム選択部１１ａにより選択されたフレームのうちいずれかのフレームの背景を用いるようにしてもよいし、所定の背景画像を用いるようにしてもよい。

（変形例８）
主要被写体および主要オブジェクトの選択方法は、上述した実施の形態に限定されない。例えば最も強いエッジが検出されたフレームをベストショットとし、このフレームに含まれるオブジェクトを主要オブジェクトとする、等の方法であってもよい。

（変形例９）
１つの動画像から複数の静止画像を作成するようにしてもよい。また、これらの静止画像を縦横に連結した静止画像を代表画像としてもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１ 画像処理装置
１１ 制御回路
１１ａ フレーム選択部
１１ｂ オブジェクト抽出部
１１ｃ 画像作成部

Claims (5)

1. 複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、
   前記選択手段により選択された複数のフレームの各々に存在する物体を認識する認識手段と、
   前記認識手段により認識された前記物体が同一の物体であるか否かを判定する判定手段と、
   前記判定手段により同一であると判定された物体のうち時系列的で最も早いフレームに存在する物体と、前記判定手段により同一でないと判定された物体とをそれぞれ抽出する抽出手段と、
   前記抽出手段により抽出された複数の物体を含む静止画像を作成する画像作成手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像作成手段は、前記静止画像において前記複数の物体を出現順に配置することを特徴とする画像処理装置。
3. 複数のフレームにより構成される動画像から複数のフレームを選択する選択工程と、
   前記選択された複数のフレームの各々に存在する物体を認識する認識工程と、
   前記認識された前記物体が同一の物体であるか否かを判定する判定工程と、
   前記同一であると判定された物体のうち時系列に最も早く出現した物体と、前記同一でないと判定された物体とをそれぞれ抽出する抽出工程と、
   前記抽出された複数の物体を含む静止画像を作成する画像作成工程とをコンピュータに実行させることを特徴とする画像処理プログラム。
4. 請求項３に記載の画像処理プログラムにおいて、
   前記画像作成工程は、前記静止画像において前記複数の物体像を出現順に配置することを特徴とする画像処理プログラム。
5. 複数のフレームにより構成される動画像ファイルから複数のフレームを選択する選択手段と、
   前記選択手段により選択された複数のフレームに存在する物体を認識する認識手段と、
   前記認識手段により認識された前記物体が同一の物体であるか否かを判定し、同一でない物体と前記同一の物体のうちの一つの物体像とを抽出する抽出手段と、
   前記選択手段によって選択された前記複数のフレームの画像が水平方向にパンニングされたものか否かを判定するパンニング判定手段と、
   前記パンニング判定手段によってパンニングでないと判定された場合に、前記抽出手段により抽出された物体を含む静止画像を作成する画像作成手段と、
   前記パンニング判定手段によってパンニングであると判定された場合に、前記選択手段によって選択された複数のフレームに基づきパノラマ画像を作成し、前記認識手段によって抽出された物体を含むパノラマ静止画像を作成するパノラマ静止画像作成手段と、を備えることを特徴とする画像処理装置。

Images