JP4189575B2

JP4189575B2 - 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム

Info

Publication number: JP4189575B2
Application number: JP2002332157A
Authority: JP
Inventors: 昌大角田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2002-11-15
Filing date: 2002-11-15
Publication date: 2008-12-03
Anticipated expiration: 2022-11-15
Also published as: JP2004166131A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば動画撮影可能なデジタルカメラやムービーカメラの他、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）などの種々の画像処理装置に係り、特に動画像によるサムネイルの作成機能を備えた画像処理装置と、同装置に用いられるサムネイル動画作成方法及びサムネイル動画作成プログラムに関する。
【０００２】
【従来の技術】
従来、動画撮影可能なデジタルカメラなど、動画像を扱う画像処理装置では、動画データの中の１コマを用いてサムネイル画像を作成するものが知られている（例えば特許文献１、２参照）。サムネイル画像とは、頭出しや画像内容を把握する場合のインデックスとして用いられる画像のことであり、インデックス画像あるいはプレビュー画像などとも呼ばれる。
【０００３】
通常、この種の画像処理装置では、各画像が時系列に連続してなる動画データの中から先頭に位置する画像（静止画）を自動的に選んでサムネイル画像としている。しかし、先頭位置にある画像が必ずしもサムネイル画像として最適な画像とは限らない。そこで、特許文献１では、動画データの中からユーザが任意にサムネイル画像として最適な画像を設定可能とすることが提案させている。また、特許文献２では、ユーザ選択による自由なサムネイル画像の作成と共にシーンチェンジなどに対応した最適なサムネイル画像の作成を可能とすることが提案されている。
【０００４】
【特許文献１】
特開２００１−１６９２３１号公報
【０００５】
【特許文献２】
特開２０００−２７８６４１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１、２などにおいて、サムネイル（インデックス）として用いられる画像は動画データの中の１コマに相当する静止画である。このため、この種のサムネイル画像では動的な要素に欠けてしまい、その１コマを見ただけでは、どのシーンを撮影したものであるかが直ぐに判らないなどの不具合がある。
【０００７】
本発明は前記のような点に鑑みなされたもので、動的な要素を有すると共に、シーン変化に対応した最適なサムネイルの作成を可能とする画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１記載の発明は、時系列的に連続する静止画データである動画データを記憶する動画記憶手段と、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段と、前記動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段と、この動き量検出手段によって時系列的に検出された動き量が、第１の閾値より大きくなった第１の時点を検出する第１の検出手段と、前記動き量検出手段によって時系列的に検出された動き量が、前記第１の閾値より大きくなった後に、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出手段と、前記第１の検出手段によって検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第１の切出し制御手段と、前記第２の検出手段によって検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第２の切出し制御手段と、前記動画切出し手段によって切り出された部分動画を、サムネイル動画として前記動画データに対応付けて記憶するサムネイル記憶手段とを具備したことを特徴とする。
【０００９】
請求項２記載の発明は、請求項１記載の発明において、前記サムネイル記憶手段に記憶されたサムネイル動画を所定数読み出し、これらのサムネイル動画を組み合わせて１つのサムネイル合成動画を作成するサムネイル合成手段をさらに具備したことを特徴とする。
【００１０】
請求項３記載の発明は、請求項２記載の発明において、前記サムネイル合成手段は、読み出した所定数のサムネイル動画のうち、基準時間よりも長い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの間引き処理を施す第１の合成処理手段と、読み出した所定数のサムネイル動画のうち、前記基準時間よりも短い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの補間処理を施す第２の合成処理手段とを具備したことを特徴とする。
【００１４】
請求項４記載の発明は、時系列的に連続する静止画データである動画データを記憶する動画記憶手段を備えた画像処理装置のサムネイル動画作成方法であって、前記動画記憶手段に記憶された動画データを部分的に切り出す動画切出しステップと、前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出ステップと、この動き量検出ステップにおいて時系列的に検出された動き量が、第１の閾値より大きくなった第１の時点を検出する第１の検出ステップと、前記動き量検出ステップにおいて時系列的に検出された動き量が、前記第１の閾値より大きくなった後に、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出ステップと、前記第１の検出ステップにおいて検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出しステップを制御する第１の切出し制御ステップと、前記第２の検出ステップにおいて検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出しステップを制御する第２の切出し制御ステップと、前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御ステップとを含む。
【００１５】
請求項５記載の発明は、コンピュータを、時系列的に連続する静止画データである動画データを記憶する動画記憶手段、この動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段、前記動き量検出手段によって時系列的に検出された動き量が、第１の閾値より大きくなった第１の時点を検出する第１の検出手段、前記動き量検出手段によって時系列的に検出された動き量が、前記第１の閾値より大きくなった後に、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出手段、前記第１の検出手段によって検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第１の切出し制御手段、前記第２の検出手段によって検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第２の切出し制御手段、前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段、として機能させる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００１８】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。なお、本発明の画像処理装置としては、例えば動画撮影機能を備えたデジタルカメラの他、ＰＤＡ（Personal Digital Assistant）やパーソナルコンピュータなど、動画データを扱う装置であれば全てを含む。ここでは、一般的なコンピュータとしての構成を示す。
【００１９】
図１に示すように、本実施形態における画像処理装置は、ＣＰＵ１１、入力装置１２、表示装置１３、記憶装置１４、通信装置１５、インタフェース１６、撮像装置１７を備える。
【００２０】
ＣＰＵ１１は、本装置全体の制御を行うものであり、記憶装置１４に記憶されたプログラムを読み込むことにより、そのプログラムに記述された手順に従って各種処理を実行する。入力装置１２は、例えばキーボード、マウス、タッチパネル、ペンなどからなる入力デバイスであり、各種データの入力や指示を行うためのものである。表示装置１３は、例えばＬＣＤ（Liquid Crystal Display）などの表示デバイスであり、その画面上に各種データの表示を行う。
【００２１】
記憶装置１４は、例えばＲＯＭやＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤーＲＯＭ、メモリーカードなどの種々のメモリデバイスによって構成することが可能であり、本装置に必要な各種情報を記憶する。この記憶装置１４には、プログラム記憶領域１４ａ、動画データ記憶領域１４ｂ、サムネイル動画記憶領域１４ｃ、サムネイル合成動画記憶領域１４ｄなどが設けられている。
【００２２】
プログラム記憶領域１４ａには、本発明を実現するためのプログラムを含む各種プログラムが記憶されている。動画データ記憶領域１４ｂには、撮像装置１７によって撮影された動画データが記憶される。サムネイル動画記憶領域１４ｃには、動画データ記憶領域１４ｂに記憶された動画データを元にして作成された複数枚のサムネイル動画が記憶される。このサムネイル動画は、動画データから抽出されたものであって、静止画ではなく、所定の時間長を有する。サムネイル合成動画記憶領域１４ｄには、このサムネイル動画を複数枚組み合わせて作成されるサムネイル合成動画が記憶される。
【００２３】
また、通信装置１５は、ネットワークを介して外部端末との間でデータ通信を行う。前記ネットワークとしては、インターネットの他、有線あるいは無線のＬＡＮ（Local Area Network）などの通信回線も含む。インタフェース１６には、動画像の撮影機能を備えた撮像装置１７が着脱自在に接続される。この撮像装置１７によって撮影された動画データは記憶装置１４の動画データ記憶領域１４ｂに格納される。
【００２４】
図２に撮像装置１７によって撮影された動画データの一例を示す。
【００２５】
動画データは、時系列に連続する複数枚の静止画（フレーム）からなる。時間軸上に隣接する前後のシーンの画像において、両者の画像の相関が高いほど（類似度の高いほど）ほど、両者間の画像の動き量が低い。逆に、相関が低いほど（類似度の低いほど）、両者間の画像の動き量は高くなる。したがって、この動き量が所定値以上である場合にシーンが大きく変化したものと判断できる。このシーンが大きく変化した部分をシーン転換点と呼ぶ。
【００２６】
図２の例では、時系列に連続した各画像ａ１…ａｎ，ｂ１…ｂｎ，ｃ１…ｃｎ…からなる動画データの中で、時間軸上で隣接する画像ａｎと画像ｂ１、画像ｂｎと画像ｃ１の相関が低く、動き量が高い。この動き量が所定値以上である場合に、そこがシーン転換点として検出される。
【００２７】
次に、本装置の第１の実施形態としての処理動作について説明する。
【００２８】
今、記憶装置１４の動画データ記憶領域１４ｂに、撮像装置１７によって撮影された動画データを有する動画ファイルが記憶されており、その動画データからサムネイル動画を作成する場合を想定して説明する。
【００２９】
図３は本装置の第１の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００３０】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＡ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量によって判断される。
【００３１】
このシーン転換点検出処理について、図４を参照して詳しく説明する。図４は本装置の第１の実施形態におけるシーン転換点検出処理の流れを示すフローチャートである。
【００３２】
図４に示すように、ＣＰＵ１１は、時間軸上で隣接する前後のシーンの画像から輝度信号を抽出し（ステップＢ１１）、その輝度信号に基づいて各位置毎の画像間の相関を表す動き量を求める（ステップＢ１２）。上述したように、両者の画像の相関が高いほど（類似度の高いほど）、両者間の画像の動き量は低く、逆に相関が低いほど（類似度の低いほど）、両者間の画像の動き量は高くなる。
【００３３】
なお、ここでは画像の輝度信号によって動き量を求めているが、色信号や色差信号などの他の情報を用いて動き量を求めても良い。さらに、動き量はシーン変化の度合いを表す１つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【００３４】
両画像における各位置毎の動き量が得られると、ＣＰＵ１１はこれらの合計値、平均値あるいは自乗平均値などを求めた後（ステップＢ１３）、その値を両者間の画像の動き量Ｓとして予め設定された閾値Ｔｈと比較する（ステップＢ１４）。その結果、動き量Ｓが閾値Ｔｈより低ければ（ステップＢ１４のＮｏ）、ＣＰＵ１１はシーン転換なしと判断する（ステップＢ１５）。一方、動き量Ｓが閾値Ｔｈ以上であった場合には（ステップＢ１４のＹｅｓ）、ＣＰＵ１１はシーン転換ありと判断する（ステップＢ１６）。
【００３５】
以下同様にして、ＣＰＵ１１は時系列の順に当該動画データの前後のシーンの画像を順次チェックしていきシーン転換の有無を判断する。これにより、図２に示される動画データの例では、画像ａｎと画像ｂ１、画像ｂｎと画像ｃ１の間がシーン転換点として検出されることになる。
【００３６】
図３に戻って、動画データの中のシーン転換点が検出されると（ステップＡ１２のＹｅｓ）、ＣＰＵ１１はサムネイル動画として用いる部分動画の切出し時間を決定する（ステップＡ１３）。この切出し時間は、前記シーン転換点検出処理にてシーン転換ありとして判断されたときの動き量Ｓに基づいて決定する。この場合、図５（ａ）に示すように、そのときの動き量Ｓに応じて切出し時間（サムネイル動画の時間長）を比例的に決める方法と、同図（ｂ）に示すように、動き量Ｓに応じて切出し時間（サムネイル動画の時間長）を段階的に決める方法とがある。どちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【００３７】
なお、動画データの各画像間の動き量Ｓがシーン変化の目安である閾値Ｔｈの付近で短周期に変動しているような場合には、動き量Ｓが閾値Ｔｈを越える度にシーン転換点として検出されて、同じようなサムネイル動画が多数作成されてしまうといった問題が生じる。そこで、このような問題を回避するため、最初に動き量Ｓが閾値Ｔｈ以上となったときに、その時点から少なくとも当該動き量Ｓに応じた切出し時間までの期間はシーン転換点の検出動作を禁止するような制御を加えておくことが好ましい。
【００３８】
図３に戻って、切出し時間が決定されると、ＣＰＵ１１は当該動画データのシーン転換点を基点にして前記切出し時間に従ってサムネイル動画として用いる部分の切り出し処理を行う（ステップＡ１４）。この場合の切出し方法として、図６に示すように、例えば切出し時間をＴとしたときに、シーン転換点の前後のシーンから所定の比率（ｎ：ｍ）で切出し時間Ｔ分の動画像を切り出す方法や、シーン転換点の後のシーンから切出し時間Ｔ分の動画像を切り出す方法などがあり、そのどちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【００３９】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、ＣＰＵ１１はその切り出した部分動画を必要に応じて例えばＭＰＥＧ（Motion Picture Expert Group）などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル（インデックス）用の動画像を作成する（ステップＡ１５）。そして、ＣＰＵ１１はこのサムネイル動画を当該動画データに対応付けて記憶装置１４のサムネイル動画記憶領域１４ｃに記憶する（ステップＡ１６）。
【００４０】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、その部分を切り出すことでサムネイル動画を作り出す。この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域１４ｃの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。その長さはシーン変化の度合い（具体的には画像の動き量）に依存し、シーンが大きく変化している部分ほど、長いサムネイル動画が作成されることになる。
【００４１】
図７にサムネイル動画の一例を示す。
【００４２】
今、図７（ａ）に示すように、動画データの中から４枚のサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄが作成されたとする。これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄはそれぞれに時間的な長さが異なる。ここで、これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを時系列の順に表示すると、同図（ｂ）に示すように、例えばサムネイル動画Ｖａが３秒、サムネイル動画Ｖｂが２秒、サムネイル動画Ｖｃが１秒、サムネイル動画Ｖｄが３秒といったように、各シーンの動画像がそれぞれの時間ぶん表示されることになる。
【００４３】
これらのサムネイル動画はシーン変化に対応したものであり、静止画と違って動的な要素を有する。したがって、各サムネイル動画を表示した場合にどのシーンを撮影したものであるかを直ぐに判断できる。しかも、シーン変化の大きいところでは長く表示されるので、これらのサムネイル動画から全体的な内容を容易に把握することができる。
【００４４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００４５】
前記第１の実施形態では、動き量Ｓが閾値Ｔｈ以上の場合にシーン転換ありと判断し、そのときの動き量Ｓに応じて切出し時間を決定することにより、シーン転換点を基点に前記切出し時間に従ってサムネイル動画として用いる部分動画を切り出すようにした。これに対し、第２の実施形態では、動き量Ｓによってシーン転換ありと判断してから、その動き量Ｓが所定値以下になるまでの期間を切出し時間として部分動画の切り出しを行うことを特徴とする。
【００４６】
図８を参照して具体的に説明する。
【００４７】
今、図８（ａ）に示すように、時系列に連続した複数の画像ａ１，ｂ１…ｃ１…ｃｎを含んだ動画データがあり、その動画データの動き量Ｓが同図（ｂ）に示すような特性を有するものとする。
【００４８】
ここで、Ｔｈ１とＴｈ２の２つの閾値を用意しておく。閾値Ｔｈ１はシーン転換点を検出するためのものであり、前記第１の実施形態における閾値Ｔｈに相当する。閾値Ｔｈ２は部分動画の切出し終了点を検出するためのものであり、閾値Ｔｈ１よりも低く設定される。
【００４９】
画像ａ１と画像ｂ１との間に大きな変化があり、そのときの動き量Ｓが閾値Ｔｈ１以上になると、その時点でサムネイル動画として用いる部分動画の切出しが開始される。前記第１の実施形態では、このときの動き量Ｓに応じて切出し時間が決定されていた。これに対し、第２の実施形態では、動き量Ｓが閾値Ｔｈ２以下になるまでの間、部分動画の切り出しが継続して行われる。この例では、画像ｂ１から画像ｃ１にかけて動き量Ｓが閾値Ｔｈ１以上あるので、そのまま切り出しが行われることになる。そして、画像ｃ１から画像ｃｎにかけて動き量Ｓが閾値Ｔｈ２以下になると、そこを切出し終了点として切出し動作が終了する。このようにして、動画データから切り出された部分動画がサムネイル動画として使用される。
【００５０】
以下に、図９を参照して第２の実施形態としての処理動作について詳しく説明する。
【００５１】
図９は本装置の第２の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００５２】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＣ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。
【００５３】
このシーン転換点検出処理については、前記第１の実施形態と同様である。すなわち、図４で説明したように、時間軸上で隣接する前後のシーンの画像の輝度信号などに基づいて両者間の動き量Ｓを求め、その動き量Ｓと予め設定された閾値Ｔｈ（ここでは閾値Ｔｈ１とする）とを比較し、動き量Ｓが閾値Ｔｈ１以上であった場合にシーン転換ありとして検出するものである。なお、動き量は輝度信号の他、色信号や色差信号などの他の情報を用いて求めても良い。さらに、動き量はシーン変化の度合いを表す１つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【００５４】
動画データの中のシーン転換点が検出されると（ステップＣ１２のＹｅｓ）、ＣＰＵ１１はそのシーン転換点で当該動画データからサムネイル動画として用いる部分動画の切出しを開始する（ステップＣ１３）。この切出し動作は、図８で説明したように、動き量Ｓが閾値Ｔｈ２（Ｔｈ２＜Ｔｈ１）以下になるまで継続される（ステップＣ１４，Ｃ１５）。そして、動き量Ｓが閾値Ｔｈ２以下になると（ステップＣ１５のＹｅｓ）、ＣＰＵ１１はその時点で部分動画の切出し動作を終了する（ステップＣ１６）。
【００５５】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、ＣＰＵ１１はその切り出した部分動画を必要に応じて例えばＭＰＥＧ（Motion Picture Expert Group）などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル（インデックス）用の動画像を作成する（ステップＣ１７）。そして、ＣＰＵ１１はこのサムネイル動画を当該動画データに対応付けて記憶装置１４のサムネイル動画記憶領域１４ｃに記憶する（ステップＣ１８）。
【００５６】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、そこからシーン変化の度合いが所定値以下になるまでの間、部分動画の切り出しを継続的に行うことでも、前記第１の実施形態と同様に、動画像によるサムネイルつまりサムネイル動画を作り出すことができる。そして、このようにすることにより、シーンの変化が検出された場面から、一連の激しい動きが収まる場面までの動画を適応的に切り出すことができ、サムネイルとして切り出された動画を、まとまりが良く、内容の理解し易いものとすることができる。
【００５７】
この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域１４ｃの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。第２の実施形態において、その長さはシーン変化の連続性に依存し、シーンが大きく変化している時間が長いほど、長いサムネイル動画が作成されることになる。
【００５８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００５９】
第３の実施形態では、複数枚のサムネイル動画を組み合わせて１つの合成画像（これをサムネイル合成動画と呼ぶ）を作成すると共に、このサムネイル動画を構成する各サムネイル動画の時間を合わせることを特徴とするものである。
【００６０】
図１０を参照して具体的に説明する。
【００６１】
今、動画データから得られたサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを４分割画面に嵌め込んで、１つのサムネイル合成動画として表示する場合を想定する。この場合、サムネイル動画Ｖａは３秒、サムネイル動画Ｖｂは２秒、サムネイル動画Ｖｃは１秒、サムネイル動画Ｖｄは３秒であり、それぞれに時間が異なる。したがって、これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを単に組み合わせてサムネイル合成動画を表示した場合に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまう。
【００６２】
そこで、このような表示時間の相違を解消するために、サムネイル合成動画を構成するサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄに対し、コマの間引き処理や補間処理を施すことで同じ時間に調整する。
【００６３】
この時間の調整方法としては、各サムネイル動画の時間の最小公倍数を取る第１の方法や最大公約数を取る第２の方法、また、予め設定された時間に合わせる第３の方法などがある。最小公倍数を取る第１の方法では、例えば各サムネイル動画の時間が１秒，２秒，３秒，４秒であるとした場合に、サムネイル合成動画の長さをこれらの最小公倍数である１２秒に合わせる。また、最大公約数を取る第２の方法では、例えば各サムネイル動画の時間が２秒，４秒，６秒，１２秒であるとした場合に、サムネイル合成動画の長さをこれらの最大公約数である２秒に合わせる。また、予め設定された時間に合わせる第３の方法では、各サムネイル動画の時間に関係なく、サムネイル合成動画の長さを例えば５秒などの固定化された時間に合わせる。
【００６４】
ここで、ある基準となる時間（これを合成サムネイル時間Ｔｃと呼ぶ）に合わせるものとすると、その合成サムネイル時間Ｔｃよりも長い時間を有するサムネイル動画に対しては合成サムネイル時間Ｔｃとの差分に相当するコマの間引き処理（コマを間引いて時間を短縮する処理）を施し、また、前記合成サムネイル時間Ｔｃよりも短い時間を有するサムネイル動画に対しては合成サムネイル時間Ｔｃとの差分に相当するコマの補間処理（コマを補間して時間を延ばす処理）を施すことで、各サムネイル動画の時間の統一化を行う。図１０の例では、合成サムネイル時間を１秒としている。したがって、サムネイル動画Ｖｃを除くサムネイル動画Ｖａ、Ｖｂ、Ｖｄに対し、時間短縮のためのためのコマの間引き処理が行われる。これにより、これらを組み合わせたサムネイル合成動画を４分割画面で表示した場合に、その中のサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄがそれぞれに同じ時間（１秒）だけ表示されることになる。
【００６５】
なお、図１０の例では、４枚のサムネイル動画を用いてサムネイル合成動画を作成しているが、その枚数については特に限定されるものではなく、動画データから得られた全てのサムネイル動画を用いも良いし、また、その中の任意の枚数分のサムネイル動画を用いても良い。さらに、各サムネイル動画の配置についてもマトリクス状に限定されるものではない。要は複数枚の各サムネイル動画を組み合わせて１つのサムネイル合成動画として一括して表示できる形態であれば、どのような形態であっても構わない。
【００６６】
以下に、図１１を参照して本装置の第３の実施形態としての処理動作について詳しく説明する。なお、ここでは動画データから得られた全てのサムネイル動画を分割画面に順に嵌め込んで１つのサムネイル合成動画を作成する場合を想定して説明する。
【００６７】
図１１は本装置の第３の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００６８】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＤ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。このシーン転換点検出処理については、前記第１の実施形態と同様であるため、その説明は省略する。
【００６９】
動画データの中のシーン転換点が検出されると（ステップＤ１２のＹｅｓ）、ＣＰＵ１１はそのシーン転換点を基点にしてサムネイル動画として用いる部分動画の切り出しを行う（ステップＤ１３）。この部分動画の切り出し方法としては、前記第１の実施形態で説明したような方法や、前記第２の方実施形態で説明したような方法があり、そのどちらの方法を用いても良い。ここで切り出された部分動画は１つのサムネイル動画として、記憶装置１４のサムネイル動画記憶領域１４ｃに当該動画データに対応付けて記憶される（ステップＤ１４）。その際、必要に応じてＭＰＥＧ方式等で圧縮されると共に、縦横サイズが所定のサイズに縮小される。
【００７０】
このようにして、動画データの先頭から順にシーン転換点が検出され、そのシーン転換点で部分動画が切り出されて、サムネイル動画としてサムネイル動画記憶領域１４ｃに順次格納されていく。
【００７１】
動画データの最後まで処理すると（ステップＤ１５のＹｅｓ）、ＣＰＵ１１は、サムネイル動画記憶領域１４ｃに格納された複数枚のサムネイル動画を組み合わせて１つのサムネイル合成動画を以下のような手順で作成する。
【００７２】
すなわち、ＣＰＵ１１は、まず、合成サムネイル時間Ｔｃを決定する（ステップＤ１６）。この合成サムネイル時間Ｔｃは、サムネイル合成動画に含まれる各サムネイル動画を共通に表示する時間（基準時間）のことであり、その決め方には、上述したように各サムネイル動画の時間の最小公倍数を取る第１の方法、最大公約数を取る第２の方法、また、予め設定された時間に合わせる第３の方法などがあり、そのうちのどの方法を適用しても良く、また、その都度任意に選択できるようにしても良い。
【００７３】
このようにして合成サムネイル時間Ｔｃが決定されると、ＣＰＵ１１は、各サムネイル動画を時系列の順に処理していく。まず、ＣＰＵ１１は１番目のサムネイル動画をサムネイル動画記憶領域１４ｃから取り出し（ステップＤ１７）、そのサムネイル動画の時間と合成サムネイル時間Ｔｃとを比較する（ステップＤ１８ａ、Ｄ１８ｂ）。
【００７４】
ここで、サムネイル動画の時間と合成サムネイル時間Ｔｃが同じであれば（ステップＤ１８ａのＹｅｓ）、ＣＰＵ１１は当該サムネイル動画をそのまま分割画面の所定の位置に嵌め込む（ステップＤ２１）。詳しくは、このサムネイル動画を分割画面の所定の位置に嵌め込んで表示するべく、記憶装置１４のサムネイル動画記憶領域１４ｄに展開する。前記分割画面は、サムネイル合成動画を構成する各サムネイル動画を個別に表示するための画面であって、例えば図１０に示すように各サムネイル動画をマトリクス状に配置して一覧表示するような構成になっている。
【００７５】
一方、サムネイル動画の時間と合成サムネイル時間Ｔｃが異なり（ステップＤ１８ａのＮｏ）、しかも、サムネイル動画の時間が合成サムネイル時間Ｔｃよりも長い場合には（ステップＤ１８ｂのＹｅｓ）、サムネイル動画の時間を短縮して合成サムネイル時間Ｔｃに合わせる必要がある。そこで、ＣＰＵ１１は当該サムネイル動画から合成サムネイル時間Ｔｃとの差分に相当するコマの間引きを行う（ステップＤ１９）。
【００７６】
逆に、サムネイル動画の時間が合成サムネイル時間Ｔｃよりも短い場合には（ステップＤ１８ｂのＮｏ）、サムネイル動画の時間を延ばして合成サムネイル時間Ｔｃに合わせる必要がある。そこで、ＣＰＵ１１は当該サムネイル動画の各コマ間に合成サムネイル時間Ｔｃとの差分に相当するコマの補間を行う（ステップＤ２０）。
【００７７】
このコマの間引き若しくはコマの補間処理としては、例えば、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Ｔｃとの比から、コマ数の間引きないし補間の比を決定する方法が考えられる。すなわち、例えば、現在処理対象となっているサムネイル動画の時間が５秒であり、合成サムネイル時間Ｔｃが２秒であるような場合には、サムネイル動画５コマにつき３コマ間引きして２コマを残す、といった具合に間引きをすればよい。
【００７８】
また、この際、動画の連続性をなるべく損なわずにサムネイル動画を生成するといった観点から、間引きないし補間を行うコマは、なるべく均等に近い間隔にすることが望ましく、一ヶ所に偏って間引きや補間を行うなどの処理は避けるようにすることが望ましい。このように均等に間引きないし補間を行う場合には、上記のような、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Ｔｃとの比から、何コマに１コマ間引きまたは補間を行う必要があるかを求めて、これに従って処理すれば良い。
【００７９】
このように、サムネイル動画の時間を合成サムネイル時間Ｔｃに合わせるべく、サムネイル動画に対してコマの間引きあるいは補間といった編集処理を施した後、ＣＰＵ１１はその編集後のサムネイル動画を分割画面の所定の位置に嵌め込む（ステップＤ２１）。
【００８０】
以後同様に、全てのサムネイル動画の処理が終了するまで（ステップＤ２２のＮｏ）、ＣＰＵ１１は時系列の順にサムネイル動画記憶領域１４ｃからサムネイル動画を順次取り出し、前記ステップＤ１８ａ〜Ｄ２１の処理を繰り返す。このようにして、各サムネイル動画が前記分割画面の各位置にそれぞれ嵌め込まれて、１つのサムネイル合成動画が作成される。この場合、各サムネイル動画のそれぞれの時間が合成サムネイル時間Ｔｃに調整されているため、サムネイル合成動画を表示した際に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまうようなことはなく、それぞれが同じ時間（合成サムネイル時間Ｔｃ）の間、表示される。したがって、ユーザは１つの動画像として違和感なく見ることができる。
【００８１】
なお、図１１のフローチャートで示したの処理では、動画データから抽出されたすべてのサムネイル動画を用いてサムネイル合成動画を作成するものとしたが、その中の何枚かを任意選択的に用いてサムネイル合成動画を作成することでも良い。
【００８２】
また、動画データとしては、モノクロ画像でもカラー画像でも良く、その動画データから得られるサムネイル動画、さらに、各サムネイル動画を組み合わせなるサムネイル合成動画についてもモノクロ画像／カラー画像に限定されるものではない。
【００８３】
また、本発明が処理対象としている動画データはデジタルカメラやムービーカメラなどで撮影されたものを直接取り込んだものでも、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体から取得したものでも、ネットワークなどを通じて外部の端末から提供されたものであっても良い。
【００８４】
さらに、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【００８５】
【発明の効果】
本発明によれば、サムネイル動画のまとまりがよくなり、内容が理解しやすいものになる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】前記画像処理装置に用いられる撮像装置によって撮影された動画データの一例を示す図。
【図３】第１の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図４】第１の実施形態におけるシーン転換点検出処理の流れを説明するためのフローチャート。
【図５】第１の実施形態における動画の動き量と切出し時間との関係を示す図。
【図６】第１の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図７】第１の実施形態におけるサムネイル動画の一例を示す図。
【図８】本発明の第２の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図９】第２の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図１０】本発明の第３の実施形態における複数のサムネイル動画を組み合わせてなるサムネイル合成動画の作成を説明するための図。
【図１１】第３の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【符号の説明】
１１…ＣＰＵ
１２…入力装置
１３…表示装置
１４…記憶装置
１４ａ…プログラム記憶領域
１４ｂ…動画データ記憶領域
１４ｃ…サムネイル動画記憶領域
１４ｄ…サムネイル合成動画記憶領域
１５…通信装置
１６…インタフェース
１７…撮像装置

Claims

時系列的に連続する静止画データである動画データを記憶する動画記憶手段と、
この動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段と、
前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段と、
この動き量検出手段によって時系列的に検出された動き量が、第１の閾値より大きくなった第１の時点を検出する第１の検出手段と、
前記動き量検出手段によって時系列的に検出された動き量が、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出手段と、
前記第１の検出手段によって検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第１の切出し制御手段と、
前記第２の検出手段によって検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第２の切出し制御手段と、
前記動画切出し手段によって切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段と
を具備したことを特徴とする画像処理装置。
前記動画記憶手段に記憶されたサムネイル動画を所定数読み出し、これらのサムネイル動画を組み合わせて１つのサムネイル合成動画を作成するサムネイル合成手段を
さらに具備したことを特徴とする請求項１記載の画像処理装置。
前記サムネイル合成手段は、
前記動画記憶手段から読み出した所定数のサムネイル動画のうち、基準時間よりも長い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの間引き処理を施す第１の合成処理手段と、
前記動画記憶手段から読み出した所定数のサムネイル動画のうち、前記基準時間よりも短い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの補間処理を施す第２の合成処理手段と
を具備したことを特徴とする請求項２記載の画像処理装置。
時系列的に連続する静止画データである動画データを記憶する動画記憶手段を備えた画
像処理装置のサムネイル動画作成方法であって、
前記動画記憶手段に記憶された動画データを部分的に切り出す動画切出しステップと、
前記動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出ステップと、
この動き量検出ステップにおいて時系列的に検出された動き量が、第１の閾値より大き
くなった第１の時点を検出する第１の検出ステップと、
前記動き量検出ステップにおいて時系列的に検出された動き量が、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出ステップと、
前記第１の検出ステップにおいて検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出しステップを制御する第１の切出し制御ステップと、
前記第２の検出ステップにおいて検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出しステップを制御する第２の切出し制御ステップと、
前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御ステップと
を含むサムネイル動画作成方法。
コンピュータを、
時系列的に連続する静止画データである動画データを記憶する動画記憶手段、
この動画記憶手段に記憶された動画データを部分的に切り出す動画切出し手段、この動画記憶手段に記憶された動画データにおいて時系列的に隣接する２つ静止画間の非類似度である動き量を、時系列的に検出する動き量検出手段、
前記動き量検出手段によって時系列的に検出された動き量が、第１の閾値より大きくなった第１の時点を検出する第１の検出手段、
前記動き量検出手段によって時系列的に検出された動き量が、前記第１の閥値より小さい第２の閥値より小さくなった第２の時点を検出する第２の検出手段、
前記第１の検出手段によって検出された第１の時点から、前記動画データの切り出しを開始するよう前記動画切出し手段を制御する第１の切出し制御手段、
前記第２の検出手段によって検出された第２の時点で、前記動画データの切り出しを終了するよう前記動画切出し手段を制御する第２の切出し制御手段、
前記動画切出しステップにおいて切り出された部分動画を、サムネイル動画として前記動画データに対応付けて前記動画記憶手段に記憶させる記憶制御手段、
として機能させるサムネイル動画作成プログラム。