JP4412894B2

JP4412894B2 - Image extraction device

Info

Publication number: JP4412894B2
Application number: JP2002345258A
Authority: JP
Inventors: 文博舟崎; 幹夫渡辺
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-11-28
Filing date: 2002-11-28
Publication date: 2010-02-10
Anticipated expiration: 2022-11-28
Also published as: JP2004178369A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画データを処理する画像処理装置及び動画データから希望する動画部分を抽出する画像抽出装置に関する。
【０００２】
【従来の技術】
近年、ビデオカメラではもちろん、デジタルカメラでも動画を撮影、記録できるようになっているが、撮影された動画の中から、再生したい部分や静止画の分解写真にしてプリントしたりしたい部分を見つけたい場合がある。例えば、ゴルフクラブをスイングしている間やプールに飛び込むときの瞬間、運動会でわが子が走っている間などである。
【０００３】
従来は、このような動画の希望する部分を見つけるために、撮影して記録した部分をユーザが初めから再生してビデオカメラ、デジタルカメラのＬＣＤやパソコンのディスプレイを眼で見ながら希望動画部分を探す作業を行なっていたが、この方法は手間と時間がかかり、眼も疲労するので好ましくなかった。
【０００４】
下記特許文献１は、撮影開始スイッチで動画撮影し、記録された動画から一定時間間隔で動画分解写真を抜き出し、プリントするもので、特に、動画の先頭から動画分解写真を一定の時間間隔で抽出する店頭プリント機（いわゆるプリクラ機）を開示している。これは、動画の最初から静止画の抽出を実施するので、例えば、ゴルフスイングの開始からのような効果的な分解写真は得られなかった。
【０００５】
【特許文献１】
特開平１０−１１５８６６号公報
【０００６】
【発明が解決しようとする課題】
本発明は、上記の事情を考慮し、動画データから希望する動画部分を効果的に容易に抽出する画像抽出装置を提供することを目的とする。
【０００７】
また、本発明は、動画における画像の動きを時間軸に応じた動き量を示すヒストグラムにする技術が従来存在していなかったことに鑑み、このような動き量をヒストグラムにする画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の第１の態様に係る画像処理装置は、動画データを処理する画像処理装置であって、前記動画データを構成する動画フレーム間の画像差分を計算し、前記動画フレーム内の画像の動き量を計算する動き量計算手段と、横軸が時間軸、縦軸が動き量であって、前記動き量計算手段によって計算された前記動画フレーム内の画像の時間ごとの前記動き量を示すヒストグラムを作成するヒストグラム化手段と、前記動画データに基づく動画の表示と、前記ヒストグラムとを並べて表示する表示手段と、前記動画から切り出す動画フレームの時間的範囲の指定を受け付ける切り出し領域指定手段と、前記動画から前記切り出し領域に対応する時間的範囲の画像を切り出す切り出し手段とを備える。
【００１１】
上記第１の態様によれば、動画の動きを時間軸に応じた動き量を示すヒストグラムにしたので、どの時間にどのくらいの動き量があるかをすぐに知ることができ、そのヒストグラムを参照して、動画の、ある時間的範囲の画像を切り出すことができる。
【００１２】
本発明の第２の態様に係る画像抽出装置は、動画データのうち所望の動画部分を抽出する画像抽出装置であって、前記動画データを構成する動画フレーム間の画像差分を計算し、前記動画フレーム内の画像の動き量を計算する動き量計算手段と、予め記憶された、動き量の時間変化を示す動作パターンに対応した動き量テンプレートの中から動き量テンプレートを指定する指定手段と、前記動き量の動作パターンが、前記指定手段によって指定された前記動き量テンプレートと一致する一致部分を前記動画データの中から検出する一致検出手段と、前記一致検出手段によって検出された前記一致部分の動画画像の少なくとも一部を表示する表示手段と、前記一致検出手段によって検出された前記一致部分の動画画像を切り出す切り出し手段とを備える。
【００１３】
上記第２の態様によれば、動画データの動画における画像の動き量を計算し、この動き量から動き量の動作パターンに対応した動き量テンプレートを指定し、前記動き量テンプレートと前記画像の動き量とが一致する部分を検出し、一致する部分に該当する動画の時間的範囲の画像の少なくとも一部を表示する。これによって、ユーザは、希望する動画部分を自動的に容易に見つけだすことができる。表示後、一致された動画画像を切り出すことができる。
【００１４】
本発明の第３の態様に係る画像抽出装置は、上記第２の態様において、前記切り出し手段によって切り出された前記一致部分の動画画像から静止画化された分解画像を抽出する抽出手段を有する。
【００１５】
上記第３の態様によれば、一致された動画画像を切り出すことによって、ユーザは希望する動画部分を得ることができ、その後、切り出した動画画像を各フレームに分解して抽出することができる。
【００１６】
本発明の第４の態様に係る画像抽出装置は、上記第２又は第３の態様において、横軸が時間軸、縦軸が動き量であって、前記動き量計算手段によって計算された前記動画フレーム内の画像の時間ごとの前記動き量を示すヒストグラムを作成するヒストグラム化手段を更に備え、前記一致検出手段は、前記ヒストグラムと前記指定手段によって指定された動き量テンプレートとの間で前記動き量の動作パターンが一致する部分を検出する。
【００１７】
上記第４の態様によれば、動画における画像の動き量を計算してヒストグラム化するので、ヒストグラムによって画像の動き量がよく把握できる。前記一致検出手段は当該ヒストグラムと前記指定された動き量テンプレートとが一致する部分を検出するので、画像の動き量の動作パターンを自動的に見つけることができる。
【００１８】
本発明の第５の態様に係る画像抽出装置は、動画データのうち所望の動画部分を抽出する画像抽出装置であって、前記動画データを構成する動画フレーム間の画像差分を計算し、前記動画フレーム内の画像の動き量を計算する動き量計算手段と、予め記憶された、動き量の時間変化を示す動作パターンに対応した動き量テンプレートの中から動き量テンプレートを指定する指定手段と、前記動き量の動作パターンが、前記指定手段によって指定された前記動き量テンプレートと一致する一致部分を前記動画データの中から検出する一致検出手段と、前記一致検出手段によって検出された前記一致部分の動画画像の少なくとも一部を表示するとともに、時間軸に対して前記動き量を表示し、前記動き量を表示したうち、前記一致部分に対応する推奨動画切り出し領域を表示する表示手段と、前記一致検出手段によって検出された前記一致部分の動画画像のうち、切り出す部分を指示する切り出し指示手段と、前記切り出し指示手段によって指示された切り出す部分を切り出す切り出し手段とを備える。
【００１９】
上記第５の態様によれば、動画データの動画における画像の動き量を計算し、この動き量から動き量の動作パターンに対応した動き量テンプレートを指定し、前記動き量テンプレートと前記画像の動き量とが一致する部分を検出し、一致する部分に該当する動画の時間的範囲の画像の少なくとも一部及び前記画像の動き量を時間軸に応じた動き量表示し、その動き量表示したうちの推奨動画切り出し領域を表示する。これによって、ユーザは、切り出すべき動画部分を切り出し指示手段によって指示し、当該指示によって切り出す部分が切り出し手段によって切り出される。
【００２０】
本発明の第６の態様に係る画像抽出装置は、上記第５の態様において、前記切り出し手段によって切り出された前記一致部分の動画画像から静止画化された分解画像を抽出する抽出手段を有する。
【００２１】
上記第６の態様によれば、動画画像を切り出すことによって、ユーザは希望する動画部分を得ることができ、その後、切り出した動画画像を各フレームに分解して抽出することができる。
【００２２】
本発明の第７の態様に係る画像抽出装置は、上記第５又は第６の態様において、横軸が時間軸、縦軸が動き量であって、前記動き量計算手段によって計算された前記動画フレーム内の画像の時間ごとの前記動き量を示すヒストグラムを作成するヒストグラム化手段を更に備え、前記一致検出手段は、前記ヒストグラムと前記指定手段によって指定された動き量テンプレートとの間で前記動き量の動作パターンが一致する部分を検出する。
【００２３】
上記第７の態様によれば、動画における画像の動き量を計算してヒストグラム化するので、ヒストグラムによって画像の動き量がユーザによく把握できる。前記一致検出手段は当該ヒストグラムと前記指定された動き量テンプレートとが一致する部分を検出するので、ユーザは一致した部分の表示を見ながら希望する画像部分を見つけることができる。
本発明の第８の態様に係る画像抽出装置は、上記第４又は第７の態様において、前記表示手段は、前記動画と前記ヒストグラムとを並べて表示する。
【００２４】
【発明の実施の形態】
以下、添付図面に従って本発明の実施の形態を詳説する。
【００２５】
図１は本実施の形態に係る画像抽出装置２の構成を示すブロック図である。
【００２６】
記録媒体スロット４に記録媒体をセットすると、記録媒体コントローラ６が作動して記録媒体に格納されている動画データが読み込まれる。ＲＯＭ１４には、制御プログラムが格納されている。
【００２７】
動画データが第１メモリ８から第２メモリ１０へ流れていき、先に読み出された動画を構成するフレーム、すなわち、先の動画フレームが第２メモリ１０に記憶され、後に読み出された動画を構成するフレーム、すなわち、後の動画フレームが第１メモリ８に記憶されると、両メモリ８、１０からの各画像データが順次動き量計算部１６に送られる。動き量計算部１６では、先に読み出された動画フレームの画像、すなわち前の画像から、後に読み出された動画フレームの画像、すなわち後の画像への移行の間に生じた画像差分を計算して画像の動き量を計算する。
【００２８】
計算された動き量のデータは、ヒストグラムメモリ１８に送られ、ヒストグラムメモリ１８で動き量が時間に応じたヒストグラム化される。上記後の動画フレーム、すなわち２番目の動画フレームと、次の動画フレーム、すなわち３番目の動画フレームとの画像差分値も次に計算され、ヒストグラム化される。
【００２９】
こうして、順次動画フレーム内の画像の動き量がヒストグラム化され、そのヒストグラムが液晶ディスプレイ（ＬＣＤ）２６に表示される。
【００３０】
図４は、動き量がヒストグラム化される流れを示したフローチャートである。図４において、まず、動き量計算部１６中の動画フレームポインタが最初の動画フレームに合わせられ、ｆp ＝０となる（ステップ５０）。
【００３１】
次に、最初の画像（フレーム（ｆp ））から次の画像（フレーム（ｆp ＋１））へ動画フレームが移行したときに差分値が計算される（ステップ５２）。計算された差分値、すなわち、動き量はヒストグラムメモリ１８に保存される（ステップ５４）。そして、動画フレームポインタｆp がフレーム（ｆp ＋１）に合わせられる（ステップ５６）。動画データが終了したかどうか判断され（ステップ５８）、終了ならばこのフロー全体が終了し、終了していないならばステップ５２に移行する。
【００３２】
動き量計算部１６、ヒストグラムメモリ１８の作動は、ＣＰＵ１２によって制御され、ＬＣＤ２６は、ＣＰＵ１２の指示信号によって制御されるＬＣＤコントローラ２８によって駆動される。
【００３３】
第２メモリ１０を通過した動画フレームの画像は、ＬＣＤ２６に順次フレーム画として表示され、連続したフレーム画となって動画として見える。図２は、ＬＣＤ２６の表示内容を示す図であり、画像の動き量を示すヒストグラム及びフレーム画を表示している。フレーム画には、画像のヒストグラムに対応する、時間に応じた画像の動き（動画）が表示される。
【００３４】
操作者であるユーザは、ＬＣＤ２６に表示されるヒストグラムを見て、時間につれての画像の動き量を把握する。動画が終了すると、その動画の時間に応じての動き量の全体がわかる。動画終了時点では、終了時点のフレームがＬＣＤ２６に表示されている。
【００３５】
図３は、動画の動き量を示すヒストグラムからその動き量の動作パターンに対応するテンプレートを選択して推奨切り出し領域を表示する流れを示した図である。
【００３６】
ユーザは、その動画の動きヒストグラムにおける動き量から、当該動き量の動作パターンに対応した動き量テンプレートを指定する。テンプレートメモリ２０には、いろいろな種類の動き量テンプレートが記憶されている。すなわち、テンプレートメモリ２０は、動きのパターンをテンプレートとしてもっている。例えば、初めは遅く、後で速くなる動きのテンプレート、初めと終わりは遅いが真ん中で速いテンプレート、などである。ユーザはその中から動画のヒストグラムを見た上で、動画の動き量の動作パターンに対応する動きをするテンプレートをテンプレート指示・切換部２２によって選択する。
【００３７】
図３の動きヒストグラムを見ると、小さい山が初めの方にあり、大きい山が後のほうにある。スローな動きからだんだん速い動きになりさらにその速い動きが落ち着いてきてまたスローな動きに戻るまでの動作パターンの動画を入手したい場合には、そのような初めは遅く後半で急激な動きをするパターンのテンプレート（ここでは、「終わり最高速検出テンプレート」と名づける）を選択する。
【００３８】
すると、ヒストグラムメモリ１８の動きヒストグラムと終わり最高速検出テンプレートとの情報が比較部２４に送られ、両者の動き量が一致する部分を比較部２４が検出する。一致する部分の検出は、ファジイ理論を用いてもよいし、時間軸をずらして山の形を合わせた上で一致するかどうかパターンマッチングしてみるようにしてもよい。一致部分を検出したら、比較部２４は、終わり最高速検出テンプレートの動き量に合う動きヒストグラムの部分を推奨切り出し領域として特定する。ＬＣＤ２６には、この推奨切り出し領域が表示されると共にその推奨切り出し領域の一部のフレームが表示される。比較部２４とテンプレートメモリ２０とは、ＣＰＵ１２からの制御によって作動する。
【００３９】
上述の例では、終わり最高速検出テンプレートをユーザが選択した例を示したが、すぐにだんだん速い動きになりその速い動きが落ち着いてきてまたスローな動きが続く状態の動作パターンの動画を入手したい場合には、そのような初めは急激な動きをして後半で落ち着いた動きをするパターンのテンプレート（ここでは、「終わり静止検出テンプレート」と名づける）を選択する（図３参照）。この場合も、ヒストグラムメモリ１８の動きヒストグラムと終わり静止検出テンプレートとの情報が比較部２４に送られ、両者の動き量が一致する部分を比較部２４が検出する。一致部分を検出したら、比較部２４は、終わり静止検出テンプレートの動き量に合う動きヒストグラムの部分を推奨切り出し領域として特定する。ＬＣＤ２６には、この推奨切り出し領域が表示されると共にその推奨切り出し領域の一部のフレームが表示される。
【００４０】
上記２例共、ユーザが、ＬＣＤ２６に表示された推奨切り出し領域を切り出したい場合には、切り出し指示部３０によって切り出し指示を行い、切り出し部３８において前記切り出し指示された時間範囲の動画データが切り出される。切り出し指示は、切り出す最初のフレームと最後のフレームとを指定する。
【００４１】
なお、推奨切り出し領域で切り出したくない場合は、切り出し指示部３０によるカーソル情報がＬＣＤ２６に送られるので、そのカーソルを使用して切り出し領域をマニュアルで指定することができる。その指定も切り出し指示部３０によって指定情報が生成され、切り出し部３８に指定情報が送られてその指定情報の通りに切り出される。
【００４２】
上記２例に共通する表示処理の流れを図５を用いて説明する。図５は、ヒストグラムを表示してから推奨切り出し領域表示をして切り出し領域が入力されるまでの流れを示したフローチャートである。
【００４３】
まず、動画終了時点では、ＬＣＤ２６において、動画終了時点のフレーム及びその動画の動きヒストグラムが表示されている（ステップ６２）。
【００４４】
ヒストグラムメモリ１８の動きヒストグラムとテンプレートメモリ２０の選択したテンプレートとの情報が比較部２４に送られ、両者の動き量が一致する部分を比較部２４が検出する（ステップ６４）。検出したら（ステップ６６）、比較部２４は、テンプレートの動き量に合う動きヒストグラムの部分を推奨切り出し領域として特定し、ＬＣＤ２６にはこの推奨切り出し領域が表示される（ステップ６８）と共にその推奨切り出し領域の一部のフレームが表示される。その後、ユーザが、ＬＣＤ２６に表示された推奨切り出し領域を切り出したい場合には、切り出し指示部３０によって切り出し指示を行う（ステップ７０）。ステップ６６で一致領域が存在しない場合には、テンプレートを選択し直すようＬＣＤ２６に表示がでる（ステップ６０）。
【００４５】
ある時間範囲の動画データが切り出された後は、フレーム分解部３２において切り出された動画データが各フレームに分解される。分解されたフレームは動画を構成する各静止画となっている。
【００４６】
合成部３４では、分解された静止画が所定の様式にしたがって合成される。所定の様式とは、分割画像、インデックス画像、多重露光画像等である。
【００４７】
書き出し部３６では、合成された画像がプリントされる。
【００４８】
動画データ切り出し以降の流れを図６を用いて説明する。図６は、ある時間範囲の動画データ切り出しから分解画像プリントに至るまでの流れを示したフローチャートである。
【００４９】
まず、切り出し指示部３０によって切り出し指示が行われた後、切り出し部３８において、指示を受けた切り出し箇所が正しいかどうか判断する（ステップ７２）。正しい場合には切り出し対象の動画ファイルを開く（ステップ７４）。切り出し指示を受けたフレームを動画ファイルから抽出する（ステップ７６）。これによって、切り出し指示された時間範囲の動画データが切り出される。抽出されたフレームは所定様式に合成され（ステップ７８）、合成された画像がプリントされる（ステップ８０）。その後、ファイルを閉じ（ステップ８２）、切り出し対象が他にないか判断し（ステップ８４）、他にある場合はステップ７２に戻り、ない場合は終了する。ステップ７２で切り出し箇所が正しくない場合は、ステップ８４に移行する。
【００５０】
本形態によれば、ユーザが画像の動き量をヒストグラムを見ることにより、どの時間にどのくらいの動き量があるかをすぐに知ることができる。
【００５１】
ユーザは、入手したい動画部分を見つけ出すのに動画データを最初から再生してじっくり見ていく作業をしなくて済み、希望動画部分を容易に見つけだすことができる。例えば、ゴルフのスイングする瞬間などは動きが速くなるのでヒストグラムの山が大きくなり、そのヒストグラムの山を見てスイングする瞬間を特定することができる。したがって、ＬＣＤを見ながら動画データからの切り出し部分を容易に指示して切り出すことができ、その後、切り出した動画画像を各フレームに分解して抽出した分解画像を得ることができる。ユーザは、抽出した分解画像に基づいて静止画の分割画像、インデックス画像、多重露光画像等を合成して作成することができる。先ほどの例であれば、ゴルフのスイングする瞬間の動きにおいて少しずつ動いていった状態の分割画像を容易に得ることができるので、ユーザがスイングフォームの研究をするのにちょうどよい。
【００５２】
なお、上述の２例では、テンプレートを選択した後に推奨切り出し領域を表示した上でユーザが指示して、ある時間範囲の動画を切り出すようにしたが、テンプレート選択後、推奨切り出し領域を表示せずに自動的にヒストグラムの動き量とテンプレートとの動き量とが一致する領域を切り出すようにしてもよい。この場合、切り出す領域時間は予め決めておく。
【００５３】
この場合、ユーザは、希望する動画部分を自動的に容易に見つけだすことができるので、希望する部分を見つけ出すのに動画データを最初から再生してじっくり見ていく作業をしなくて済み、自動的に当該希望部分を動画データから切り出すことができ、さらに、切り出した動画画像を各フレームに分解して、抽出した分解画像を得ることができる。ユーザは、抽出した分解画像に基づいて静止画の分割画像、インデックス画像、多重露光画像等を合成して作成することができる。
【００５４】
【発明の効果】
本発明の第１の態様によれば、ヒストグラムを見ることにより、どの時間にどのくらいの動き量があるかをすぐに知ることができる。
【００５５】
更に、本発明の第１の態様によれば、動画データの欲しい部分をすぐに見つけ出して切り出すことができる。
【００５６】
本発明の第２の態様によれば、ユーザは、希望する動画部分を自動的に容易に見つけだすことができるので、希望する部分を見つけ出すのに動画データを最初から再生してじっくり見ていく作業をしなくて済み、自動的に当該希望部分を動画データから切り出すことができる。
【００５７】
本発明の第３の態様によれば、ユーザは希望する動画部分を得ることができ、その後、切り出した動画画像を各フレームに分解して、抽出した分解画像を得ることができる。ユーザは、抽出した分解画像に基づいて静止画の分割画像、インデックス画像、多重露光画像等を合成して作成することができる。
【００５８】
本発明の第４の態様によれば、ヒストグラムによって画像の動き量がよく把握でき、画像の動き量の動作パターンを自動的に見つけることができる。
【００５９】
本発明の第５の態様によれば、ユーザは、希望する動画部分を容易に見つけだすことができるので、希望する部分を見つけ出すのに動画データを最初から再生してじっくり見ていく作業をしなくて済み、表示を見ながら動画データからの切り出し部分を指示して切り出すことができる。
【００６０】
本発明の第６の態様によれば、ユーザは希望する動画部分を得ることができ、その後、切り出した動画画像を各フレームに分解して、抽出した分解画像を得ることができる。ユーザは、抽出した分解画像に基づいて静止画の分割画像、インデックス画像、多重露光画像等を合成して作成することができる。
【００６１】
本発明の第７の態様によれば、画像の動き量がユーザによく把握でき、ユーザは一致した部分の表示を見ながら希望する画像部分を見つけることができる。
【図面の簡単な説明】
【図１】画像抽出装置の構成を示すブロック図。
【図２】ＬＣＤの表示内容を示す図。
【図３】動画の動き量を示すヒストグラムからその動き量の動作パターンに対応するテンプレートを選択して推奨切り出し領域を表示する流れを示した図。
【図４】動き量がヒストグラム化される流れを示したフローチャート。
【図５】ヒストグラムを表示してから推奨切り出し領域表示をして切り出し領域が入力されるまでの流れを示したフローチャート。
【図６】ある時間範囲の動画データ切り出しから分解画像プリントに至るまでの流れを示したフローチャート。
【符号の説明】
２…画像抽出装置、８…第１メモリ、１０…第２メモリ、１２…ＣＰＵ、１６…動き量計算部、１８…ヒストグラムメモリ、２０…テンプレートメモリ、２２…テンプレート指示・切換部、２４…比較部、２６…ＬＣＤ、２８…ＬＣＤコントローラ、３０…切り出し指示部、３２…フレーム分解部、３４…合成部、３６…書き出し部、３８…切り出し部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing device that processes moving image data and an image extraction device that extracts a desired moving image portion from the moving image data.
[0002]
[Prior art]
In recent years, video cameras and digital cameras can be used to shoot and record videos, but you want to find the part you want to play or the part that you want to print as a disassembled photo of a still image. There is a case. For example, while swinging a golf club, when jumping into a pool, or while a child is running at an athletic meet.
[0003]
Conventionally, in order to find a desired part of such a moving image, the user reproduces the recorded and recorded part from the beginning and looks at the video camera, the LCD of the digital camera or the display of the personal computer with his / her eyes. Although searching was performed, this method was not preferable because it took time and effort and the eyes were tired.
[0004]
The following Patent Document 1 captures a moving image with a shooting start switch, extracts a moving image from a recorded moving image at a fixed time interval, and prints it. In particular, the moving image decomposed photo is extracted at a fixed time interval from the beginning of the moving image. An over-the-counter printing machine (so-called photo booth machine) is disclosed. In this method, since a still image is extracted from the beginning of a moving image, an effective disassembled photograph such as that from the start of a golf swing cannot be obtained.
[0005]
[Patent Document 1]
JP-A-10-115866 [0006]
[Problems to be solved by the invention]
In view of the above circumstances, an object of the present invention is to provide an image extraction device that effectively and easily extracts a desired moving image portion from moving image data.
[0007]
In addition, the present invention provides an image processing apparatus that uses such a motion amount as a histogram in view of the fact that there has not been a conventional technique for converting a motion of an image in a moving image into a histogram indicating a motion amount according to a time axis. The purpose is to do.
[0008]
[Means for Solving the Problems]
An image processing apparatus according to a first aspect of the present invention is an image processing apparatus that processes moving image data, calculates an image difference between moving image frames constituting the moving image data, and moves an image in the moving image frame. A motion amount calculating means for calculating the amount, and a horizontal axis representing a time axis and a vertical axis representing a motion amount, and a histogram showing the amount of motion per time of an image in the moving image frame calculated by the motion amount calculating means Generating a histogram, displaying a moving image based on the moving image data, displaying means for displaying the histogram side by side, a cutout area specifying unit for receiving a specification of a temporal range of a moving image frame cut out from the moving image, A cutout unit that cuts out an image in a temporal range corresponding to the cutout region from the moving image.
[0011]
According to the first aspect , since the motion of the video is a histogram indicating the amount of motion corresponding to the time axis, it is possible to immediately know how much amount of motion exists at which time, and refer to the histogram. Thus, it is possible to cut out an image of a certain time range of the moving image.
[0012]
An image extraction apparatus according to a second aspect of the present invention is an image extraction apparatus that extracts a desired moving image portion of moving image data, calculates an image difference between moving image frames constituting the moving image data, and the moving image A motion amount calculating means for calculating a motion amount of an image in a frame; a specifying means for specifying a motion amount template from motion amount templates corresponding to motion patterns indicating temporal changes in the motion amount stored in advance ; A coincidence detecting means for detecting a matching portion in which the motion amount motion pattern matches the motion amount template specified by the specifying means from the moving image data, and a moving image of the matching portion detected by the match detecting means Display means for displaying at least a part of the image; and clipping means for cutting out the moving image of the matching portion detected by the matching detection means; Provided.
[0013]
According to the second aspect , the motion amount of the image in the moving image data is calculated, the motion amount template corresponding to the motion amount motion pattern is designated from the motion amount, and the motion amount template and the motion of the image are specified. A portion that matches the amount is detected, and at least a part of the image in the temporal range of the moving image corresponding to the matching portion is displayed. As a result, the user can easily find the desired moving image part automatically. After the display, the matched moving image can be cut out.
[0014]
An image extraction apparatus according to a third aspect of the present invention includes an extraction unit that extracts a decomposed image that has been converted into a still image from the moving image of the matching portion cut out by the cutout unit in the second aspect .
[0015]
According to the third aspect , by cutting out the matched moving image, the user can obtain a desired moving image portion, and thereafter, the extracted moving image can be decomposed into each frame and extracted.
[0016]
The image extraction device according to a fourth aspect of the present invention is the image extraction apparatus according to the second or third aspect, wherein the horizontal axis is a time axis, the vertical axis is a motion amount, and the motion amount calculation unit calculates the moving image. The image processing apparatus further includes a histogram forming unit that creates a histogram indicating the amount of movement of the image in the frame for each time, and the coincidence detecting unit includes the amount of motion between the histogram and the amount-of-motion template specified by the specifying unit. The part where the operation pattern matches is detected .
[0017]
According to the fourth aspect , since the motion amount of the image in the moving image is calculated and formed into a histogram, the motion amount of the image can be well understood by the histogram. Since the coincidence detecting means detects a portion where the histogram and the designated motion amount template coincide, it is possible to automatically find the motion pattern of the motion amount of the image.
[0018]
An image extraction device according to a fifth aspect of the present invention is an image extraction device that extracts a desired moving image portion of moving image data, calculates an image difference between moving image frames constituting the moving image data, and the moving image A motion amount calculating means for calculating a motion amount of an image in a frame; a specifying means for specifying a motion amount template from motion amount templates corresponding to motion patterns indicating temporal changes in the motion amount stored in advance ; A coincidence detecting means for detecting a matching portion in which the motion amount motion pattern matches the motion amount template specified by the specifying means from the moving image data, and a moving image of the matching portion detected by the match detecting means Display at least a part of the image, display the amount of movement with respect to the time axis, and display the amount of movement corresponding to the matching portion A display unit for displaying a recommended moving image cutout region, a cutout instruction unit for instructing a cutout portion of the moving image of the matching portion detected by the match detection unit, and a cutout portion instructed by the cutout instruction unit are cut out Clipping means.
[0019]
According to the fifth aspect , the motion amount of the image in the moving image of the motion image data is calculated, the motion amount template corresponding to the motion pattern of the motion amount is designated from the motion amount, and the motion amount template and the motion of the image are specified. A portion that matches the amount is detected, and at least a part of the image in the temporal range of the moving image corresponding to the matching portion and the amount of movement of the image are displayed according to the time axis, and the amount of movement is displayed. The recommended video cutout area is displayed. Accordingly, the user instructs the moving image portion to be cut out by the cutout instruction unit, and the portion cut out by the instruction is cut out by the cutout unit.
[0020]
Image extracting apparatus according to a sixth aspect of the present invention, in the embodiment of the fifth, having an extraction means for extracting a degradation images stationary fractionated from the moving image of the matching portion clipped by the clipping means.
[0021]
According to the sixth aspect , by cutting out a moving image, the user can obtain a desired moving image portion, and thereafter, the cut out moving image can be decomposed into each frame and extracted.
[0022]
The image extraction device according to a seventh aspect of the present invention is the image extraction apparatus according to the fifth or sixth aspect, wherein the horizontal axis is a time axis, the vertical axis is a motion amount, and the motion amount calculated by the motion amount calculation means. The image processing apparatus further includes a histogram forming unit that creates a histogram indicating the amount of movement of the image in the frame for each time, and the coincidence detecting unit includes the amount of motion between the histogram and the amount-of-motion template specified by the specifying unit. The part where the operation pattern matches is detected .
[0023]
According to the seventh aspect , since the amount of motion of the image in the moving image is calculated and formed into a histogram, the amount of motion of the image can be well understood by the user using the histogram. Since the coincidence detecting unit detects a portion where the histogram and the designated motion amount template coincide with each other, the user can find a desired image portion while viewing the display of the coincident portion.
In the image extraction device according to an eighth aspect of the present invention, in the fourth or seventh aspect, the display means displays the moving image and the histogram side by side.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0025]
FIG. 1 is a block diagram showing a configuration of an image extraction apparatus 2 according to the present embodiment.
[0026]
When a recording medium is set in the recording medium slot 4, the recording medium controller 6 operates to read moving image data stored in the recording medium. The ROM 14 stores a control program.
[0027]
The moving image data flows from the first memory 8 to the second memory 10, and the frames constituting the moving image read out earlier, that is, the moving image frame stored in the second memory 10 and read out later. Are stored in the first memory 8, the image data from both memories 8 and 10 are sequentially sent to the motion amount calculation unit 16. The motion amount calculation unit 16 calculates an image difference generated during the transition from the previously read moving image frame image, that is, the previous image, to the later read moving image frame image, that is, the subsequent image. And calculate the amount of motion of the image.
[0028]
The calculated motion amount data is sent to the histogram memory 18, and the histogram memory 18 converts the motion amount into a histogram according to time. The image difference value between the subsequent moving image frame, that is, the second moving image frame, and the next moving image frame, that is, the third moving image frame is also calculated next, and formed into a histogram.
[0029]
In this way, the amount of motion of the images in the moving image frame is sequentially converted into a histogram, and the histogram is displayed on the liquid crystal display (LCD) 26.
[0030]
FIG. 4 is a flowchart showing a flow in which the amount of motion is histogrammed. In FIG. 4, first, the moving image frame pointer in the motion amount calculation unit 16 is aligned with the first moving image frame, and fp = 0 (step 50).
[0031]
Next, the difference value is calculated when the moving image frame shifts from the first image (frame (fp)) to the next image (frame (fp + 1)) (step 52). The calculated difference value, that is, the amount of motion is stored in the histogram memory 18 (step 54). Then, the moving picture frame pointer fp is set to the frame (fp + 1) (step 56). It is determined whether or not the moving image data has been completed (step 58). If completed, the entire flow is completed, and if not completed, the process proceeds to step 52.
[0032]
The operations of the motion amount calculation unit 16 and the histogram memory 18 are controlled by the CPU 12, and the LCD 26 is driven by an LCD controller 28 controlled by an instruction signal from the CPU 12.
[0033]
The moving image frames that have passed through the second memory 10 are sequentially displayed as frame images on the LCD 26, and appear as moving images as continuous frame images. FIG. 2 is a diagram showing the display content of the LCD 26 and displays a histogram and a frame image showing the amount of motion of the image. In the frame image, an image motion (moving image) corresponding to the time corresponding to the histogram of the image is displayed.
[0034]
A user who is an operator looks at the histogram displayed on the LCD 26 and grasps the amount of motion of the image over time. When the movie ends, the entire amount of movement according to the time of the movie is known. At the end of the moving image, the frame at the end is displayed on the LCD 26.
[0035]
FIG. 3 is a diagram showing a flow of selecting a template corresponding to the motion pattern of the motion amount from the histogram showing the motion amount of the moving image and displaying the recommended cutout region.
[0036]
The user designates a motion amount template corresponding to the motion pattern of the motion amount from the motion amount in the motion histogram of the moving image. The template memory 20 stores various types of motion amount templates. That is, the template memory 20 has a motion pattern as a template. For example, a template with a motion that is slow at the beginning and fast later, a template that is slow at the beginning and end but fast in the middle, and so on. The user views a moving image histogram from among them, and selects a template that moves corresponding to the motion pattern of the moving amount of the moving image by using the template instruction / switching unit 22.
[0037]
Looking at the motion histogram of FIG. 3, a small peak is at the beginning and a large peak is at the back. If you want to get a motion pattern movie from the slow movement to the fast movement, then the fast movement calms down and then back to the slow movement, such a pattern that starts late and suddenly moves late Template (named here as “end fastest detection template”).
[0038]
Then, information on the motion histogram in the histogram memory 18 and the end fastest detection template is sent to the comparison unit 24, and the comparison unit 24 detects a portion where the amount of motion of both coincides. The matching portion may be detected by using fuzzy theory, or by pattern matching whether or not they match after shifting the time axis and matching the shapes of the peaks. When the matching portion is detected, the comparison unit 24 identifies a portion of the motion histogram that matches the amount of motion of the end fastest detection template as a recommended cutout region. The recommended cutout area is displayed on the LCD 26 and a part of the frame of the recommended cutout area is displayed. The comparison unit 24 and the template memory 20 are operated by control from the CPU 12.
[0039]
In the above example, the user selected the end fastest detection template. However, I want to obtain a motion pattern movie in which the fast movement becomes immediate, the fast movement settles down, and the slow movement continues. In such a case, a template of a pattern that makes a sudden movement at the beginning and a calm movement in the second half (here, named “end stationary detection template”) is selected (see FIG. 3). Also in this case, the information of the motion histogram of the histogram memory 18 and the end stationary detection template is sent to the comparison unit 24, and the comparison unit 24 detects a portion where the motion amounts of both match. When the matching portion is detected, the comparison unit 24 identifies a portion of the motion histogram that matches the amount of motion of the end still detection template as a recommended cutout region. The recommended cutout area is displayed on the LCD 26 and a part of the frame of the recommended cutout area is displayed.
[0040]
In both the above examples, when the user wants to cut out the recommended cutout area displayed on the LCD 26, the cutout instruction unit 30 issues a cutout instruction, and the cutout unit 38 cuts out the moving image data in the time range instructed to cut out. . The cutout instruction specifies the first frame and the last frame to be cut out.
[0041]
When it is not desired to cut out with the recommended cutout area, the cursor information from the cutout instruction unit 30 is sent to the LCD 26, so that the cutout area can be manually specified using the cursor. The designation information is also generated by the cutout instruction unit 30, and the designation information is sent to the cutout unit 38 and cut out according to the designation information.
[0042]
A flow of display processing common to the above two examples will be described with reference to FIG. FIG. 5 is a flowchart showing a flow from displaying a histogram to displaying a recommended cutout area and inputting a cutout area.
[0043]
First, at the end of the moving image, the frame at the end of the moving image and the motion histogram of the moving image are displayed on the LCD 26 (step 62).
[0044]
Information on the motion histogram in the histogram memory 18 and the selected template in the template memory 20 is sent to the comparison unit 24, and the comparison unit 24 detects a portion where the amount of motion of both matches (step 64). When detected (step 66), the comparison unit 24 identifies a portion of the motion histogram that matches the amount of movement of the template as a recommended cutout region, and the recommended cutout region is displayed on the LCD 26 (step 68) and the recommended cutout region. Some frames of are displayed. Thereafter, when the user wants to cut out the recommended cutout area displayed on the LCD 26, the cutout instruction unit 30 issues a cutout instruction (step 70). If no matching area exists in step 66, a display is made on LCD 26 to reselect the template (step 60).
[0045]
After moving image data in a certain time range is cut out, the moving image data cut out in the frame decomposing unit 32 is decomposed into frames. The decomposed frame is each still image constituting the moving image.
[0046]
In the combining unit 34, the decomposed still image is combined according to a predetermined format. The predetermined format is a divided image, an index image, a multiple exposure image, or the like.
[0047]
In the writing unit 36, the synthesized image is printed.
[0048]
The flow after moving image data cut out will be described with reference to FIG. FIG. 6 is a flowchart showing a flow from cutting out moving image data in a certain time range to disassembled image printing.
[0049]
First, after a cutout instruction is given by the cutout instruction unit 30, the cutout unit 38 determines whether or not the cutout portion that has received the instruction is correct (step 72). If it is correct, the moving image file to be cut out is opened (step 74). The frame for which the cutout instruction has been received is extracted from the moving image file (step 76). Thereby, the moving image data in the time range instructed to be cut out is cut out. The extracted frames are synthesized in a predetermined format (step 78), and the synthesized image is printed (step 80). Thereafter, the file is closed (step 82), and it is determined whether or not there are other objects to be cut out (step 84). If there are other objects, the process returns to step 72, and if not, the process ends. If the cutout location is not correct in step 72, the process proceeds to step 84.
[0050]
According to this embodiment, the user can immediately know how much amount of motion is present at what time by viewing the histogram of the amount of motion of the image.
[0051]
The user does not have to perform the work of reproducing the moving image data from the beginning to find out the moving image portion that the user wants to obtain, and can easily find the desired moving image portion. For example, since a golf swing swings quickly, the peak of the histogram becomes large, and the moment of swing can be specified by looking at the peak of the histogram. Therefore, it is possible to easily instruct and cut out a cut-out portion from the moving image data while looking at the LCD, and then obtain a decomposed image extracted by dividing the cut-out moving image into frames. The user can synthesize a still image divided image, an index image, a multiple exposure image, and the like based on the extracted decomposed image. In the case of the previous example, it is possible to easily obtain a divided image that is moving little by little at the moment of golf swinging, so it is just right for the user to study the swing form.
[0052]
In the above-described two examples, the recommended cutout area is displayed after the template is selected, and the user instructs to cut out a moving image within a certain time range. However, after the template is selected, the recommended cutout area is not displayed. Alternatively, an area where the amount of movement of the histogram and the amount of movement of the template coincide with each other may be automatically cut out. In this case, the area time to be cut out is determined in advance.
[0053]
In this case, the user can easily find the desired video part automatically, so it is not necessary to play the video data from the beginning to find the desired part, In addition, the desired portion can be cut out from the moving image data, and further, the extracted moving image can be decomposed into each frame to obtain an extracted decomposed image. The user can synthesize a still image divided image, an index image, a multiple exposure image, and the like based on the extracted decomposed image.
[0054]
【The invention's effect】
According to the first aspect of the present invention , it is possible to immediately know how much amount of motion is present at which time by looking at the histogram.
[0055]
Furthermore, according to the first aspect of the present invention , it is possible to quickly find and cut out a desired portion of the moving image data.
[0056]
According to the second aspect of the present invention , the user can automatically find out the desired moving image part automatically, so that the user can reproduce the moving image data from the beginning to find out the desired part. The desired portion can be automatically cut out from the moving image data.
[0057]
According to the third aspect of the present invention , the user can obtain a desired moving image portion, and thereafter, the clipped moving image can be decomposed into each frame to obtain an extracted decomposed image. The user can synthesize a still image divided image, an index image, a multiple exposure image, and the like based on the extracted decomposed image.
[0058]
According to the fourth aspect of the present invention , the amount of motion of the image can be grasped well by the histogram, and the motion pattern of the amount of motion of the image can be automatically found.
[0059]
According to the fifth aspect of the present invention , the user can easily find the desired moving image portion, so that the user does not have to work to reproduce the moving image data from the beginning to find the desired portion. It is possible to specify and cut out a cut-out portion from the moving image data while viewing the display.
[0060]
According to the sixth aspect of the present invention , the user can obtain a desired moving image portion, and thereafter, the clipped moving image can be decomposed into each frame to obtain an extracted decomposed image. The user can synthesize a still image divided image, an index image, a multiple exposure image, and the like based on the extracted decomposed image.
[0061]
According to the seventh aspect of the present invention , the amount of motion of the image can be grasped well by the user, and the user can find the desired image portion while viewing the display of the matched portion.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image extraction device.
FIG. 2 is a diagram showing display contents on an LCD.
FIG. 3 is a diagram showing a flow of displaying a recommended cutout region by selecting a template corresponding to an operation pattern of the motion amount from a histogram showing the motion amount of the moving image.
FIG. 4 is a flowchart showing a flow in which the amount of motion is histogrammed.
FIG. 5 is a flowchart showing a flow from displaying a histogram to displaying a recommended cutout area and inputting a cutout area.
FIG. 6 is a flowchart showing a flow from cutting out moving image data in a certain time range to disassembled image printing.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 2 ... Image extraction device, 8 ... 1st memory, 10 ... 2nd memory, 12 ... CPU, 16 ... Motion amount calculation part, 18 ... Histogram memory, 20 ... Template memory, 22 ... Template instruction | indication switching part, 24 ... Comparison , 26... LCD, 28... LCD controller, 30... Cutout instruction section, 32... Frame disassembly section, 34.

Claims

An image extracting device for extracting a desired moving image portion from moving image data,
A motion amount calculating means for calculating an image difference between moving image frames constituting the moving image data, and calculating a motion amount of an image in the moving image frame;
Designating means for designating a motion amount template from motion amount templates corresponding to motion patterns indicating temporal changes in motion amount stored in advance;
A match detecting means for detecting a matching portion in which the motion pattern of the motion matches the motion quantity template designated by the designating means from the video data;
Display means for displaying at least a part of the moving image of the matching part detected by the matching detection means;
Clipping means for cutting out the moving image of the matching portion detected by the matching detection means;
Extraction means for extracting a decomposed image that has been converted into a still image from the moving image of the matching part cut out by the cut-out means;
An image extraction apparatus comprising:

The horizontal axis is a time axis, the vertical axis is a motion amount, and further comprises a histogram forming means for creating a histogram indicating the motion amount of each image in the moving image frame calculated by the motion amount calculation means,
Said coincidence detecting means, the histogram in claim 1 Symbol placement image extraction apparatus for detecting a portion of the operation pattern of the motion amount is matched with the specified amount of motion template by said designating means.

An image extracting device for extracting a desired moving image portion from moving image data,
A motion amount calculating means for calculating an image difference between moving image frames constituting the moving image data, and calculating a motion amount of an image in the moving image frame;
Designating means for designating a motion amount template from motion amount templates corresponding to motion patterns indicating temporal changes in motion amount stored in advance;
A match detecting means for detecting a matching portion in which the motion pattern of the motion matches the motion quantity template designated by the designating means from the video data;
Displaying at least a part of the moving image of the matching part detected by the matching detection means, displaying the amount of movement with respect to a time axis, and displaying the amount of movement, the recommendation corresponding to the matching part Display means for displaying a video cutout area;
Of the moving image of the matching part detected by the matching detection means, a clipping instruction means for instructing a portion to be clipped,
Cutout means for cutting out the portion to be cut out instructed by the cutout instruction means;
Extraction means for extracting a decomposed image that has been converted into a still image from the moving image of the matching part cut out by the cut-out means;
An image extraction apparatus comprising:

The horizontal axis is a time axis, the vertical axis is a motion amount, and further comprises a histogram forming means for creating a histogram indicating the motion amount of each image in the moving image frame calculated by the motion amount calculation means,
The image extraction device according to claim 3 , wherein the coincidence detecting unit detects a portion in which the motion amount motion pattern matches between the histogram and the motion amount template designated by the designation unit.

The display means, the image extracting apparatus according to claim 2 or 4, wherein displaying side by side with the said moving histogram.