JP6990998B2

JP6990998B2 - Camera work judgment device and program

Info

Publication number: JP6990998B2
Application number: JP2017111882A
Authority: JP
Inventors: 貴裕望月
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2017-06-06
Filing date: 2017-06-06
Publication date: 2022-02-03
Anticipated expiration: 2037-06-06
Also published as: JP2018206142A

Description

本発明は、コンピュータ及びハードディスクを用いた映像処理分野において、映像のカメラワークを判定する装置及びプログラムに関する。 The present invention relates to an apparatus and a program for determining camera work of an image in the field of image processing using a computer and a hard disk.

映像のズームイン、パンニング等の「カメラワーク」は、映像の制作者が視聴者に被写体またはイベント内容を強く印象付けたい場合に用いられる傾向がある。したがって、カメラワークに関する情報は、見たい場面を検索する作業、注目すべき場面をセレクトしてダイジェスト映像を作る作業等を効率的に進めるために、重要な手掛かりとなる。 "Camera work" such as zooming in and panning of a video tends to be used when the creator of the video wants to strongly impress the viewer with the subject or the content of the event. Therefore, the information about the camera work is an important clue in order to efficiently proceed with the work of searching for the scene to be seen, the work of selecting the scene of interest and creating the digest video, and the like.

カメラワークを自動的に判定する技術としては、例えば特許文献１，２，３の手法が提案されている。 As a technique for automatically determining camera work, for example, the methods of Patent Documents 1, 2 and 3 have been proposed.

特許文献１の手法は、映像圧縮符号化データから動きベクトルを含む符号化情報を抽出し、動きベクトルからカメラワークまたは被写体と無関係な動きベクトルをノイズとして除去し、ノイズ除去後の動きベクトルからカメラワークを判定するものである。 The method of Patent Document 1 extracts coding information including a motion vector from video compressed coded data, removes a motion vector unrelated to the camera work or the subject as noise from the motion vector, and a camera from the motion vector after noise removal. It determines the work.

特許文献２の手法は、フレーム内の右端、左端等の外縁ブロックについて、フレーム内予測とフレーム間予測との間の差に基づいて、時間方向の相関と空間方向の相関との大小関係を判定し、パンまたはチルトのカメラワークを判定するものである。 The method of Patent Document 2 determines the magnitude relationship between the correlation in the time direction and the correlation in the spatial direction based on the difference between the in-frame prediction and the inter-frame prediction for the outer edge blocks such as the right end and the left end in the frame. However, it determines the pan or tilt camera work.

特許文献３の手法は、フレームの局所領域を空間微分及び時間微分することで、その移動方向を検出し、局所領域の移動方向からカメラワークを判定するものである。 The method of Patent Document 3 detects the moving direction of the local region of the frame by spatially differentiating and time-differentiating it, and determines the camera work from the moving direction of the local region.

特開平１０－１１２８６４号公報Japanese Unexamined Patent Publication No. 10-11264 特開２００８－２２５５９１号公報Japanese Unexamined Patent Publication No. 2008-22591 特開平１０－２４３３４０号公報Japanese Unexamined Patent Publication No. 10-2433340

前述の特許文献１，２の手法は、ＭＰＥＧ等の特定の符号化方式にて生成された映像を対象とするものであり、汎用性が低い。また、前述の特許文献３の手法は、映像の符号化方式に依存しないものであり、汎用性が高い。しかし、いずれの手法も、連続したフレーム画像間の動きデータを求める必要があり、処理時間が増大する可能性がある。 The methods of Patent Documents 1 and 2 described above are intended for images generated by a specific coding method such as MPEG, and have low versatility. Further, the method of Patent Document 3 described above does not depend on the video coding method and is highly versatile. However, both methods need to obtain motion data between consecutive frame images, which may increase the processing time.

また、特許文献１，３の手法は、画像全体から求めた動きデータを用いるため、被写体の動きがノイズとなり、カメラワークの判定精度が低下する可能性がある。これに対し、特許文献２の手法は、画像の右端、左端等の外縁ブロックの動きデータを用いるため、特許文献１，３の手法と異なり、カメラワークの判定精度はさほど低下しない。 Further, since the methods of Patent Documents 1 and 3 use motion data obtained from the entire image, the motion of the subject becomes noise, and the determination accuracy of the camera work may decrease. On the other hand, since the method of Patent Document 2 uses motion data of outer edge blocks such as the right end and the left end of the image, unlike the methods of Patent Documents 1 and 3, the determination accuracy of the camera work does not decrease so much.

しかしながら、特許文献２の手法では、パンまたはチルトのカメラワークのみを判定するものであり、ズームインまたはズームアウトのカメラワークを判定することができない。特許文献２の手法により判定されるカメラワークは、所定の種類に限定されていることから、カメラワークの情報を用いて所望の場面を検索する作業等を進めるのに効率が悪く、不十分であるという問題があった。 However, in the method of Patent Document 2, only the pan or tilt camera work is determined, and the zoom-in or zoom-out camera work cannot be determined. Since the camera work determined by the method of Patent Document 2 is limited to a predetermined type, it is inefficient and insufficient to proceed with the work of searching for a desired scene using the information of the camera work. There was a problem.

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定可能なカメラワーク判定装置及びプログラムを提供することにある。 Therefore, the present invention has been made to solve the above problems, and an object thereof is a camera work determination device and a program capable of determining camera work in high speed and in detail without depending on a video coding method. To provide.

前記課題を解決するために、請求項１のカメラワーク判定装置は、映像から所定のT₁フレーム毎に第１フレーム画像をサンプリングし、前記第１フレーム画像から所定のT₂フレーム先（T₁＞T₂とする。）の第２フレーム画像をサンプリングし、前記T₁フレームの間隔毎に、前記第１フレーム画像及び前記第２フレーム画像をペアとした画像ペアを生成するフレーム画像サンプリング部と、前記フレーム画像サンプリング部により生成された前記画像ペアの背景部分を分割した、画像の左端及び右端または前記画像の上端及び下端の複数の背景領域のそれぞれについて、動きデータを生成し、前記複数の背景領域の動きデータに基づいて、前記画像ペアのカメラワークの種類として「ズームイン」「ズームアウト」を含むカメラワークの種類を示す画像間カメラワーク種を判定する画像間カメラワーク判定部と、前記画像間カメラワーク判定部により判定された同じ前記画像間カメラワーク種が継続する前記画像ペアの数を継続区間の長さとして求め、前記継続区間の長さが所定の閾値以上であるか否かを判定し、前記継続区間の長さが前記閾値以上であると判定した場合、前記継続区間をカメラワーク区間として判定し、当該カメラワーク区間における前記画像ペアの画像間カメラワーク種を当該カメラワーク区間のカメラワーク種として出力するカメラワーク判定部と、を備え、前記画像間カメラワーク判定部が、前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎の前記動きデータに基づいて、前記動きデータが最大となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の外側から中央へ向いている場合、前記画像ペアの画像間カメラワーク種を「ズームイン」として判定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の中央から外側へ向いている場合、前記画像ペアの画像間カメラワーク種を「ズームアウト」として判定することを特徴とする。 In order to solve the above problem, the camera work determination device according to claim 1 samples a first frame image for each predetermined T ₁ frame from the video, and a predetermined T ₂ frame ahead (T ₁ ) from the first frame image. > T ₂ ), and a frame image sampling unit that samples the second frame image and generates an image pair in which the first frame image and the second frame image are paired at each interval of the T ₁ frame. , Motion data is generated for each of the left and right edges of the image or the top and bottom edges of the image obtained by dividing the background portion of the image pair generated by the frame image sampling unit. An inter-image camera work determination unit that determines an inter-image camera work type indicating the type of camera work including "zoom in" and "zoom out" as the camera work type of the image pair based on the motion data of the background area, and the above-mentioned The number of the image pairs in which the same inter-image camera work type determined by the inter-image camera work determination unit continues is obtained as the length of the continuation section, and whether or not the length of the continuation section is equal to or greater than a predetermined threshold value. If it is determined that the length of the continuation section is equal to or greater than the threshold value, the continuation section is determined as the camera work section, and the inter-image camera work type of the image pair in the camera work section is the camera work. A camera work determination unit for outputting as a section camera work type is provided , and the inter-image camera work determination unit classifies the motion data into a plurality of directions for each of the plurality of background areas, and for each of the directions. Based on the motion data, the direction in which the motion data is maximized is specified, the direction is set as the main direction of the background region, and the main direction for each of the plurality of background regions is the frame image. When facing from the outside to the center of the image pair, the inter-image camera work type of the image pair is determined as "zoom in", and the main direction for each of the plurality of background areas faces from the center to the outside of the frame image. If so, it is characterized in that the inter-image camera work type of the image pair is determined as "zoom out" .

また、請求項２のカメラワーク判定装置は、請求項１に記載のカメラワーク判定装置において、前記画像間カメラワーク判定部が、前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎に前記動きデータの数を積算することで、前記複数の背景領域における前記方向毎の動きヒストグラムを求め、前記動きデータ及び前記動きヒストグラムに基づいて、前記複数の背景領域における前記方向毎の前記動きデータの平均値を求める背景領域動きヒストグラム算出部と、前記複数の背景領域のそれぞれについて、前記背景領域動きヒストグラム算出部により求めた前記動きヒストグラムが最大値となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記背景領域動きヒストグラム算出部により求めた、当該方向の前記動きデータの平均値を、当該背景領域の主方向動き量に設定し、前記複数の背景領域のそれぞれについての前記主方向及び前記主方向動き量に基づいて、前記画像ペアの画像間カメラワーク種、及び前記画像ペアの動き量を示す画像間動き量を求めるカメラワーク判定及び動き量算出部と、を備えたことを特徴とする。 Further, in the camera work determination device according to claim 2 , in the camera work determination device according to claim 1 , the inter-image camera work determination unit transmits the motion data in a plurality of directions for each of the plurality of background areas. By classifying and accumulating the number of the motion data for each direction, a motion histogram for each direction in the plurality of background regions is obtained, and based on the motion data and the motion histogram, in the plurality of background regions. For each of the background region motion histogram calculation unit for obtaining the average value of the motion data for each direction and the plurality of background regions, the direction in which the motion histogram obtained by the background region motion histogram calculation unit has the maximum value is defined. The direction is set to the main direction of the background area, and the average value of the movement data in the direction obtained by the background area movement histogram calculation unit is set to the main direction movement amount of the background area. Based on the main direction and the movement amount in the main direction for each of the plurality of background regions, the camera work type between images of the image pair and the camera work determination for obtaining the movement amount between images indicating the movement amount of the image pair. It is characterized by having a motion amount calculation unit and a motion amount calculation unit.

また、請求項３のカメラワーク判定装置は、請求項２に記載のカメラワーク判定装置において、前記カメラワーク判定部が、同じ前記画像間カメラワーク種が継続する前記継続区間の長さが前記閾値以上である場合、その継続区間を前記カメラワーク区間として判定するカメラワーク区間判定部と、前記カメラワーク区間判定部により判定された前記カメラワーク区間について、当該カメラワーク区間の開始時点に対応する前記画像ペアの開始フレーム番号、及び当該カメラワーク区間の終了時点に対応する前記画像ペアの終了フレーム番号を特定し、当該カメラワーク区間に対応する前記画像ペアのカメラワーク種を当該カメラワーク区間のカメラワーク種として特定し、当該カメラワーク区間に対応する全ての前記画像ペアの画像間動き量を加算し、加算結果を当該カメラワーク区間のカメラ動き量として求め、前記カメラワーク区間の前記開始フレーム番号、前記終了フレーム番号、前記カメラワーク種及び前記カメラ動き量をカメラワークデータとして出力するカメラワークデータ生成部と、を備えたことを特徴とする。 Further, in the camera work determination device according to claim 3 , in the camera work determination device according to claim 2 , the length of the continuation section in which the same inter-image camera work type continues is the threshold value of the camera work determination unit. In the above case, the camera work section determination unit for determining the continuous section as the camera work section and the camera work section determined by the camera work section determination unit correspond to the start time of the camera work section. The start frame number of the image pair and the end frame number of the image pair corresponding to the end time of the camera work section are specified, and the camera work type of the image pair corresponding to the camera work section is set to the camera of the camera work section. It is specified as a work type, the movement amount between images of all the image pairs corresponding to the camera work section is added, the addition result is obtained as the camera movement amount of the camera work section, and the start frame number of the camera work section is obtained. It is characterized by including a camera work data generation unit that outputs the end frame number, the camera work type, and the camera movement amount as camera work data.

さらに、請求項４のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載のカメラワーク判定装置として機能させることを特徴とする。 Further, the program of claim 4 is characterized in that the computer functions as the camera work determination device according to any one of claims 1 to 3 .

以上のように、本発明によれば、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となる。 As described above, according to the present invention, it is possible to determine the camera work in high speed and in detail without depending on the video coding method.

本発明の実施形態によるカメラワーク判定装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the camera work determination apparatus by embodiment of this invention. フレーム画像サンプリング部により番組映像から画像ペアP*[i]が生成される処理の概念図を示す。The conceptual diagram of the process in which the image pair P * [i] is generated from the program image by the frame image sampling unit is shown. 画像間カメラワーク判定部の構成例及び入出力データ例を示すブロック図である。It is a block diagram which shows the structural example of the inter-image camera work determination part, and the input / output data example. 背景領域R_nの例を説明する図である。It is a figure explaining the example of the background area R _n . 方向kの例を説明する図である。It is a figure explaining the example of a direction k. 画像ペアP*[i]の背景領域R_nにおける主方向番号C_R[i,n]及び主方向動き量d_R[i,n]の例を説明する図である。It is a figure explaining the example of the principal direction number C _R [i, n] and the principal direction movement amount d _R [i, n] in the background region R _n of the image pair P * [i]. 画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]を求めるカメラワーク判定及び動き量算出部の処理例を示すフローチャートである。It is a flowchart which shows the processing example of the camera work determination | movement amount calculation part which obtains the inter-image camera work type C _P [i] and the inter-image movement amount d _P [i]. 主方向番号C_R[i,n]及び画像間カメラワーク種C_P[i]の関係を説明する図である。It is a figure explaining the relationship between the principal direction number C _R [i, n] and the inter-image camera work type C _P [i]. カメラワーク判定部の構成例及び入出力データ例を示すブロック図である。It is a block diagram which shows the structural example of the camera work determination part, and the input / output data example. カメラワーク判定部の処理例を示すフローチャートである。It is a flowchart which shows the processing example of the camera work determination part.

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔発明の概要〕
まず、本発明の概要について説明する。本発明者は、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となるように、鋭意検討を行った。その結果、本発明者は、次の（１）及び（２）を見出した。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[Outline of the invention]
First, the outline of the present invention will be described. The present inventor has made diligent studies so that the camera work can be determined in high speed and in detail without depending on the video coding method. As a result, the present inventor has found the following (1) and (2).

（１）一般的な映像のカメラワークは瞬間的に変化するものではなく、一定時間継続する傾向がある。そこで、本発明では、連続したフレーム画像の動きデータを用いるのではなく、所定間隔でサンプリングしたフレーム画像の動きデータを用いてカメラワークを判定する。これにより、十分な精度のカメラワーク判定を実現すると共に、高速化を実現することができる。 (1) The camera work of a general image does not change instantaneously and tends to continue for a certain period of time. Therefore, in the present invention, the camera work is determined by using the motion data of the frame images sampled at predetermined intervals instead of using the motion data of the continuous frame images. As a result, it is possible to realize a sufficiently accurate camera work determination and to realize high speed.

（２）複数の背景領域の動きデータを比較することで、ズームインまたはズームアウトのカメラワークを判定することができる。そこで、本発明では、被写体の動きに影響されないように背景部分の動きのみを利用し、背景部分を複数の領域に分割し、分割した背景領域毎の動きデータを比較することでカメラワークを判定する。これにより、ズームイン及びズームアウトを含む、より詳細なカメラワークを判定することができる。 (2) By comparing the motion data of a plurality of background areas, it is possible to determine the zoom-in or zoom-out camera work. Therefore, in the present invention, the camera work is determined by using only the movement of the background portion so as not to be affected by the movement of the subject, dividing the background portion into a plurality of regions, and comparing the movement data of each divided background region. do. This makes it possible to determine more detailed camera work, including zooming in and out.

〔全体構成〕
次に、本発明の実施形態によるカメラワーク判定装置の全体構成について説明する。図１は、本発明の実施形態によるカメラワーク判定装置の構成例を示すブロック図である。このカメラワーク判定装置１は、フレーム画像サンプリング部１０、画像間カメラワーク判定部１１及びカメラワーク判定部１２を備えている。〔overall structure〕
Next, the overall configuration of the camera work determination device according to the embodiment of the present invention will be described. FIG. 1 is a block diagram showing a configuration example of a camera work determination device according to an embodiment of the present invention. The camera work determination device 1 includes a frame image sampling unit 10, an inter-image camera work determination unit 11, and a camera work determination unit 12.

フレーム画像サンプリング部１０は、番組映像を入力し、番組映像からT₁フレーム毎にフレーム画像をサンプリングし、画像系列P[1],...,P[N_P]を生成する。N_Pは、サンプリングされたフレーム画像の数を示す。 The frame image sampling unit 10 inputs a program video, samples a frame image for each T ₁ frame from the program video, and generates an image sequence P [1], ..., P [N _P ]. N _P indicates the number of sampled frame images.

フレーム画像サンプリング部１０が入力する番組映像は、符号化方式に依存しない映像である。したがって、当該カメラワーク判定装置１は、汎用性の高い処理を実現することができる。 The program video input by the frame image sampling unit 10 is a video that does not depend on the coding method. Therefore, the camera work determination device 1 can realize highly versatile processing.

フレーム画像サンプリング部１０は、各フレーム画像P[i]について、当該フレーム画像P[i]の位置からT₂フレーム先のフレーム画像をP'[i]として、フレーム画像P'[i]をサンプリングする。T₁＞T₂である。 For each frame image P [i], the frame image sampling unit 10 samples the frame image P'[i] with the frame image T ₂ frames ahead from the position of the frame image P [i] as P'[i]. do. T ₁ > T ₂ .

フレーム画像サンプリング部１０は、フレーム画像P[i]及びフレーム画像P'[i]をペアとして画像ペアP*[i]を生成し、画像ペア系列P*[1],...,P*[N_P]を生成する。そして、フレーム画像サンプリング部１０は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]を画像間カメラワーク判定部１１に出力する。 The frame image sampling unit 10 generates an image pair P * [i] with the frame image P [i] and the frame image P'[i] as a pair, and the image pair series P * [1], ..., P *. Generate [N _P ]. Then, the frame image sampling unit 10 outputs the image pair series P * [1], ..., P * [N _P ] composed of the image pair P * [i] to the image-to-image camera work determination unit 11.

図２は、フレーム画像サンプリング部１０により番組映像から画像ペアP*[i]が生成される処理の概念図を示す。図２に示すように、番組映像からT₁フレーム毎にフレーム画像P[i]がサンプリングされ、画像系列P[1],...,P[N_P]が生成される。そして、各フレーム画像P[i]について、そこからT₂フレーム先のフレーム画像P'[i]がサンプリングされる。 FIG. 2 shows a conceptual diagram of a process in which an image pair P * [i] is generated from a program video by the frame image sampling unit 10. As shown in FIG. 2, a frame image P [i] is sampled from the program video for each T ₁ frame, and an image sequence P [1], ..., P [N _P ] is generated. Then, for each frame image P [i], the frame image P'[i] T ₂ frames ahead is sampled from there.

フレーム画像P[i]及びフレーム画像P'[i]をペアとした画像ペアP*[i]が生成され、画像ペア系列P*[1],...,P*[N_P]が生成される。 An image pair P * [i] is generated by pairing a frame image P [i] and a frame image P'[i], and an image pair series P * [1], ..., P * [N _P ] is generated. Will be done.

これにより、番組映像からフレーム画像がサンプリングされ、所定間隔毎に画像ペアP*[i]が生成される。当該カメラワーク判定装置１は、番組映像の連続した全てのフレーム画像ではなく、所定間隔でサンプリングした画像ペアP*[i]を用いてカメラワークを判定するから、処理負荷が低減すると共に、処理時間も短くて済む。 As a result, the frame image is sampled from the program video, and the image pair P * [i] is generated at predetermined intervals. Since the camera work determination device 1 determines the camera work using the image pair P * [i] sampled at predetermined intervals instead of all the continuous frame images of the program video, the processing load is reduced and the processing is performed. The time is short.

図１に戻って、画像間カメラワーク判定部１１は、フレーム画像サンプリング部１０から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]を入力する。 Returning to FIG. 1, the inter-image camera work determination unit 11 has an image pair sequence P * [1], ..., P * [N _P ] composed of image pairs P * [i] from the frame image sampling unit 10. Enter.

画像間カメラワーク判定部１１は、各画像ペアP*[i]について、当該画像ペアP*[i]の２枚のフレーム画像P[i],P'[i]間における分割した背景領域R_nのみの動きデータに基づいて、画像間カメラワーク種C_P[i]を判定すると共に、画像間動き量d_P[i]を算出する。そして、画像間カメラワーク判定部１１は、画像間カメラワーク種系列C_P[1],...,C_P[N_P]及び画像間動き量系列d_P[1],...,d_P[N_P]を生成する。 For each image pair P * [i], the inter-image camera work determination unit 11 divides the background region R between the two frame images P [i] and P'[i] of the image pair P * [i]. Based on the motion data of only _n , the inter-image camera work type C _P [i] is determined, and the inter-image motion amount d _P [i] is calculated. Then, the inter-image camera work determination unit 11 determines the inter-image camera work type series C _P [1], ..., C _P [N _P ] and the inter-image movement amount series d _P [1], ..., d. Generate _P [N _P ].

画像間カメラワーク判定部１１は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]、画像間カメラワーク種C_P[i]からなる画像間カメラワーク種系列C_P[1],...,C_P[N_P]、及び画像間動き量d_P[i]からなる画像間動き量系列d_P[1],...,d_P[N_P]をカメラワーク判定部１２に出力する。画像間カメラワーク判定部１１の詳細については後述する。 The inter-image camera work determination unit 11 is composed of an image pair series P * [1], ..., P * [N _P ] consisting of an image pair P * [i] and an image-to-image camera work type C _P [i]. Inter-image camera work type series C _P [1], ..., C _P [N _P ], and inter-image motion series d _P [1], ..., consisting of inter-image motion d _P [i] d _P [N _P ] is output to the camera work determination unit 12. The details of the inter-image camera work determination unit 11 will be described later.

画像間カメラワーク種C_P[i]は、「ズームイン」「ズームアウト」「左パン」「右パン」「上チルト」「下チルト」「静止」「その他」からなる８種類のカメラワークとする。 Inter-image camera work type C _P [i] consists of eight types of camera work: "zoom in", "zoom out", "left pan", "right pan", "up tilt", "down tilt", "still", and "others". ..

これにより、画像ペアP*[i]のそれぞれについて、「ズームイン」「ズームアウト」を含むカメラワークの種類を示す画像間カメラワーク種C_P[i]、及びカメラの動き量を示す画像間動き量d_P[i]が求められる。 As a result, for each of the image pairs P * [i], the inter-image camera work type C _P [i] indicating the type of camera work including "zoom in" and "zoom out", and the inter-image movement indicating the amount of camera movement. The quantity d _P [i] is calculated.

カメラワーク判定部１２は、画像間カメラワーク判定部１１から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]、画像間カメラワーク種C_P[i]からなる画像間カメラワーク種系列C_P[1],...,C_P[N_P]、及び画像間動き量d_P[i]からなる画像間動き量系列d_P[1],...,d_P[N_P]を入力する。そして、カメラワーク判定部１２は、同じ画像間カメラワーク種C_P[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定する。 The camera work determination unit 12 has an image pair series P * [1], ..., P * [N _P ] consisting of image pairs P * [i], and an image-to-image camera work type from the image-to-image camera work determination unit 11. Inter-image camera work type series consisting of C _P [i] C _P [1], ..., C _P [N _P ], and inter _- image movement amount d _P [i]. Enter 1], ..., d _P [N _P ]. Then, the camera work determination unit 12 determines a section in which the image pairs P * [i] of the same inter-image camera work type C _P [i] continue for a predetermined number or more as a camera work section.

カメラワーク判定部１２は、各カメラワーク区間について、画像ペアP*[i]に基づいて開始フレーム番号T_S[n]及び終了フレーム番号T_E[n]を特定する。また、カメラワーク判定部１２は、各カメラワーク区間について、画像間カメラワーク種C_P[i]に基づいてカメラワーク種C[n]を特定し、画像間動き量d_P[i]に基づいてカメラ動き量d[n]を算出する。 The camera work determination unit 12 specifies a start frame number T _S [n] and an end frame number T _E [n] based on the image pair P * [i] for each camera work section. Further, the camera work determination unit 12 identifies the camera work type C [n] based on the inter-image camera work type C _P [i] for each camera work section, and is based on the inter-image movement amount d _P [i]. To calculate the camera movement amount d [n].

カメラワーク判定部１２は、各カメラワーク区間について、開始フレーム番号系列T_S[1],...,T_S[N_C]、終了フレーム番号系列T_E[1],...,T_E[N_C]、カメラワーク種系列C[1],...,C[N_C]及びカメラ動き量系列d[1],...,d[N_C]を生成する。N_Cは、判定されたカメラワーク区間の数を示す。そして、カメラワーク判定部１２は、これらのデータをカメラワークデータとして出力する。カメラワーク判定部１２の詳細については後述する。 The camera work determination unit 12 has a start frame number series T _S [1], ..., T _S [N _C ], and an end frame number series T _E [1], ..., T _E for each camera work section. [N _C ], camera work type series C [1], ..., C [N _C ] and camera movement amount series d [1], ..., d [N _C ] are generated. _NC indicates the number of determined camera work sections. Then, the camera work determination unit 12 outputs these data as camera work data. The details of the camera work determination unit 12 will be described later.

これにより、当該カメラワーク判定装置１は、「ズームイン」「ズームアウト」を含むカメラワークを判定するから、より詳細なカメラワークを判定することができる。 As a result, the camera work determination device 1 determines the camera work including "zoom in" and "zoom out", so that more detailed camera work can be determined.

〔画像間カメラワーク判定部１１〕
次に、図１に示した画像間カメラワーク判定部１１について詳細に説明する。前述のとおり、画像間カメラワーク判定部１１は、各画像ペアP*[i]について、当該画像ペアP*[i]の２枚のフレーム画像P[i],P'[i]間における分割した背景領域R_nのみの動きデータに基づいて、画像間カメラワーク種C_P[i]を判定すると共に、画像間動き量d_P[i]を算出する。 [Camera work determination unit between images 11]
Next, the inter-image camera work determination unit 11 shown in FIG. 1 will be described in detail. As described above, the inter-image camera work determination unit 11 divides each image pair P * [i] between the two frame images P [i] and P'[i] of the image pair P * [i]. Based on the motion data of only the background region R _n , the inter-image camera work type C _P [i] is determined, and the inter-image motion amount d _P [i] is calculated.

図３は、画像間カメラワーク判定部１１の構成例及び入出力データ例を示すブロック図である。この画像間カメラワーク判定部１１は、背景領域動きヒストグラム算出部２０及びカメラワーク判定及び動き量算出部２１を備えている。 FIG. 3 is a block diagram showing a configuration example and an input / output data example of the inter-image camera work determination unit 11. The inter-image camera work determination unit 11 includes a background area motion histogram calculation unit 20 and a camera work determination and motion amount calculation unit 21.

背景領域動きヒストグラム算出部２０は、フレーム画像サンプリング部１０から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]を入力する。そして、背景領域動きヒストグラム算出部２０は、画像ペアP*[i]を構成する２枚のフレーム画像について、ブロックマッチング等の既存手法を用いて、数ピクセル間隔の各画素の動き差分ベクトルを求める。 The background area motion histogram calculation unit 20 inputs an image pair series P * [1], ..., P * [N _P ] consisting of an image pair P * [i] from the frame image sampling unit 10. Then, the background area motion histogram calculation unit 20 obtains the motion difference vector of each pixel at intervals of several pixels by using an existing method such as block matching for the two frame images constituting the image pair P * [i]. ..

背景領域動きヒストグラム算出部２０は、分割した各背景領域R_n（n=1,...,6）について、動き差分ベクトルを所定の複数の方向kに分類し、方向k毎に動き差分ベクトルの数を積算し、動きヒストグラムを求める。すなわち、背景領域動きヒストグラム算出部２０は、各背景領域R_n（n=1,...,6）について、方向k毎に動き差分ベクトルの数の積算値である度数h[i,n,k]（k＝1,...,8）を求める。背景領域R_nは、被写体の動きに影響されない領域である。 The background area motion histogram calculation unit 20 classifies the motion difference vector into a plurality of predetermined directions k for each divided background region R _n (n = 1, ..., 6), and the motion difference vector for each direction k. Accumulate the numbers of and obtain the motion histogram. That is, the background region motion histogram calculation unit 20 has a frequency h [i, n, which is an integrated value of the number of motion difference vectors for each direction k for each background region R _n (n = 1, ..., 6). Find k] (k = 1, ..., 8). The background area R _n is an area that is not affected by the movement of the subject.

また、背景領域動きヒストグラム算出部２０は、各背景領域R_n（n=1,...,6）について方向k毎に、方向kに属する動き差分ベクトルの長さの和を算出し、その和を度数h[i,n,k]で除算することで、以下の式にて、動き量の平均値d_A[i,n,k]を求める。
［数１］
d_A[i,n,k]＝（方向kに属する動き差分ベクトルの長さの和）／h[i,n,k] ・・・（１） Further, the background region motion histogram calculation unit 20 calculates the sum of the lengths of the motion difference vectors belonging to the direction k for each direction k for each background region R _n (n = 1, ..., 6). By dividing the sum by the frequency h [i, n, k], the mean value d _A [i, n, k] of the amount of movement is obtained by the following formula.
[Number 1]
d _A [i, n, k] = (sum of lengths of motion difference vectors belonging to direction k) / h [i, n, k] ・・・ (1)

これにより、各背景領域R_n（n=1,...,6）について方向k毎に、動き差分ベクトルの長さの平均値が動き量の平均値d_A[i,n,k]として算出される。 As a result, the average value of the lengths of the motion difference vectors is set as the average value d _A [i, n, k] of the motion amount for each direction k for each background region R _n (n = 1, ..., 6). It is calculated.

背景領域動きヒストグラム算出部２０は、各背景領域R_n（n=1,...,6）についての方向k毎の度数h[i,n,k]及び動き量の平均値d_A[i,n,k]を、カメラワーク判定及び動き量算出部２１に出力する。 The background region motion histogram calculation unit 20 has a frequency h [i, n, k] for each direction k for each background region R _n (n = 1, ..., 6) and an average value d _A [i] of the motion amount. , N, k] is output to the camera work determination and motion amount calculation unit 21.

ここで、パラメータiは、画像ペアP*[i]の番号であり、i=1,...,N_Pである。パラメータnは、背景領域R_nの番号であり、n=1,...,6とする。パラメータkは、方向kの番号であり、k＝1,...,8とする。 Here, the parameter i is the number of the image pair P * [i], and i = 1, ..., N _P. The parameter n is the number of the background area R _n , and n = 1, ..., 6. The parameter k is the number of the direction k, and k = 1, ..., 8.

図４は、背景領域R_nの例を説明する図である。図４には、画像の左端上、左端中央、左端下、右端上、右端中央及び右端下の６つの背景領域R_n（n=1,...,6）が示されている。画像の横幅をＷとすると、画像の左端上の背景領域R₁、左端中央の背景領域R₂、左端下の背景領域R₃、右端上の背景領域R₄、右端中央の背景領域R₅及び右端下の背景領域R₆の横幅は、それぞれ０．２Ｗである。 FIG. 4 is a diagram illustrating an example of the background region R _n . FIG. 4 shows six background regions R _n (n = 1, ..., 6) on the left edge, the center of the left edge, the bottom of the left edge, the top of the right edge, the center of the right edge, and the bottom of the right edge of the image. Assuming that the width of the image is W, the background area R ₁ on the left edge of the image, the background area R ₂ in the center of the left edge, the background area R ₃ below the left edge, the background area R ₄ on the right edge, the background area R ₅ in the center of the right edge, and so on. The width of the background area R ₆ below the right end is 0.2 W, respectively.

図５は、方向kの例を説明する図である。図５には、中央点を起点とした８つの方向k＝1,...,8が示されている。方向1は右、方向2は右下、方向3は下、方向4は左下、方向5は左、方向6は左上、方向7は上、方向8は右上の向きをそれぞれ示す。 FIG. 5 is a diagram illustrating an example of the direction k. FIG. 5 shows eight directions k = 1, ..., 8 starting from the center point. Direction 1 is right, direction 2 is lower right, direction 3 is lower, direction 4 is lower left, direction 5 is left, direction 6 is upper left, direction 7 is up, and direction 8 is upper right.

図３に戻って、カメラワーク判定及び動き量算出部２１は、背景領域動きヒストグラム算出部２０から、各背景領域R_n（n=1,...,6）についての方向k毎の度数h[i,n,k]及び動き量の平均値d_A[i,n,k]を入力する。 Returning to FIG. 3, the camera work determination and motion amount calculation unit 21 is subjected to the frequency h in each direction k for each background region R _n (n = 1, ..., 6) from the background region motion histogram calculation unit 20. Enter [i, n, k] and the mean value d _A [i, n, k] of the amount of movement.

カメラワーク判定及び動き量算出部２１は、各背景領域R_nについて、度数h[i,n,k]が最大値を取る方向kを特定し、これを背景領域R_nの主方向番号C_R[i,n]に設定する。また、カメラワーク判定及び動き量算出部２１は、背景領域R_nの主方向番号C_R[i,n]（の方向k）における動き量の平均値d_A[i,n,C_R[i,n]]を特定し、これを背景領域R_nの主方向動き量d_R[i,n]に設定する。 The camera work determination and motion amount calculation unit 21 specifies the direction k in which the frequency h [i, n, k] takes the maximum value for each background region R _n , and uses this as the principal direction number C _R of the background region R _n . Set to [i, n]. Further, the camera work determination and motion amount calculation unit 21 is used to determine the average value of the motion amount in the principal direction number C _R [i, n] (direction k) of the background region R _n d _A [i, n, C _R [i]. , n]] is specified, and this is set to the principal direction movement amount d _R [i, n] of the background area R _n .

図６は、画像ペアP*[i]の背景領域R_nにおける主方向番号C_R[i,n]及び主方向動き量d_R[i,n]の例を説明する図である。図６には、画像ペアP*[i]の背景領域R_nの各方向kについて、度数h[i,n,k]及び動き量の平均値d_A[i,n,k]が示されている。カメラワーク判定及び動き量算出部２１により、度数h[i,n,k]が最大値を取る方向kとして方向k=3が特定され、主方向番号C_R[i,n]=3が設定される。また、主方向番号C_R[i,n]=3（の方向k=3）における動き量の平均値d_A[i,n,C_R[i,n]]=d_A[i,n,3]が特定され、主方向動き量d_R[i,n]=3.4が設定される。 FIG. 6 is a diagram illustrating an example of the principal direction number C _R [i, n] and the principal direction movement amount d _R [i, n] in the background region R _n of the image pair P * [i]. FIG. 6 shows the frequency h [i, n, k] and the average value d _A [i, n, k] of the amount of movement for each direction k of the background region R _n of the image pair P * [i]. ing. The camera work determination and motion amount calculation unit 21 specifies the direction k = 3 as the direction k in which the frequency h [i, n, k] takes the maximum value, and the principal direction number C _R [i, n] = 3 is set. Will be done. In addition, the average value of the amount of movement in the principal direction number C _R [i, n] = 3 (direction k = 3) d _A [i, n, C _R [i, n]] = d _A [i, n, 3] is specified and the principal direction movement amount d _R [i, n] = 3.4 is set.

図３に戻って、カメラワーク判定及び動き量算出部２１は、各背景領域R_nの主方向番号C_R[i,n]及び主方向動き量d_R[i,n]に基づいて、画像ペアP*[i]の画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]を求める。そして、カメラワーク判定及び動き量算出部２１は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]、画像間カメラワーク種C_P[i]からなる画像間カメラワーク種系列C_P[1],...,C_P[N_P]、及び画像間動き量d_P[i]からなる画像間動き量系列d_P[1],...,d_P[N_P]をカメラワーク判定部１２に出力する。 Returning to FIG. 3, the camera work determination and motion amount calculation unit 21 has an image based on the principal direction number C _R [i, n] and the principal direction motion amount d _R [i, n] of each background region R _n . Obtain the inter-image camera work type C _P [i] and the inter-image movement amount d _P [i] of the pair P * [i]. Then, the camera work determination and motion amount calculation unit 21 has an image pair series P * [1], ..., P * [N _P ] composed of image pairs P * [i], and an inter-image camera work type C _P [. Inter-image camera work type series C _P [1], ..., C _P [N _P ] consisting of i], and inter-image movement series d _P [1], consisting of image-to-image movement d _P [i] ..., d _P [N _P ] is output to the camera work determination unit 12.

図７は、画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]を求めるカメラワーク判定及び動き量算出部２１の処理例を示すフローチャートであり、図８は、主方向番号C_R[i,n]及び画像間カメラワーク種C_P[i]の関係を説明する図である。まず、カメラワーク判定及び動き量算出部２１は、画像ペアP*[i]の番号であるパラメータiについて、i=1を設定する（ステップＳ７０１）。 FIG. 7 is a flowchart showing a processing example of the camera work determination and movement amount calculation unit 21 for obtaining the inter-image camera work type C _P [i] and the inter-image movement amount d _P [i], and FIG. 8 is a main direction. It is a figure explaining the relationship between the number C _R [i, n] and the inter-image camera work type C _P [i]. First, the camera work determination and motion amount calculation unit 21 sets i = 1 for the parameter i, which is the number of the image pair P * [i] (step S701).

カメラワーク判定及び動き量算出部２１は、「ズームイン」の条件（主方向番号C_R[i,n]について、5≦C_R[i,1]≦7、かつ4≦C_R[i,2]≦6、かつ3≦C_R[i,3]≦5、かつC_R[i,4]=1または7または8、かつC_R[i,5]=1または2または8、かつ1≦C_R[i,6]≦3であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７０２）。D₁は予め設定された値である。「ズームイン」の主方向番号C_R[i,n]の条件は、図８（１）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の中央から放射状に外側へ向いていることである。 The camera work determination and motion amount calculation unit 21 determines the condition of "zoom in" (for the principal direction number C _R [i, n], 5 ≤ C _R [i, 1] ≤ 7 and 4 ≤ C _R [i, 2]. ] ≤ 6, and 3 ≤ C _R [i, 3] ≤ 5, and C _R [i, 4] = 1 or 7 or 8, and C _R [i, 5] = 1 or 2 or 8, and 1 ≤ C _R [i, 6] ≤ 3 and all d _R [i, n] ≥ D ₁ (n = 1, ..., 6) for the principal direction movement amount d _R [i, n]. It is determined whether or not the condition is satisfied (step S702). D ₁ is a preset value. As for the condition of the principal direction number C _R [i, n] of "zoom in", as shown by the arrow in FIG. 8 (1), the movement direction indicated by all the principal direction numbers C _R [i, n] is the frame image. It is oriented radially outward from the center.

カメラワーク判定及び動き量算出部２１は、ステップＳ７０２において、「ズームイン」の条件を満たすと判定した場合（ステップＳ７０２：Ｙ）、画像間カメラワーク種C_P[i]＝「ズームイン」を設定する（ステップＳ７０３）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０２において、「ズームイン」の条件を満たさないと判定した場合（ステップＳ７０２：Ｎ）、ステップＳ７０４へ移行する。 When the camera work determination and motion amount calculation unit 21 determines in step S702 that the condition of "zoom in" is satisfied (step S702: Y), the inter-image camera work type C _P [i] = "zoom in" is set. (Step S703). On the other hand, if the camera work determination and movement amount calculation unit 21 determines in step S702 that the condition of "zoom in" is not satisfied (step S702: N), the process proceeds to step S704.

カメラワーク判定及び動き量算出部２１は、「ズームアウト」の条件（主方向番号C_R[i,n]について、1≦C_R[i,1]≦3、かつC_R[i,2]＝1または2または8、かつC_R[i,3]＝1または7または8、かつ3≦C_R[i,4]≦5、かつ4≦C_R[i,5]≦6、かつ5≦C_R[i,6]≦7であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７０４）。「ズームアウト」の主方向番号C_R[i,n]の条件は、図８（２）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の外側から中心へ向いていることである。 The camera work determination and motion amount calculation unit 21 determines the condition of "zoom out" (for the principal direction number C _R [i, n], 1 ≤ C _R [i, 1] ≤ 3 and C _R [i, 2]. = 1 or 2 or 8, and C _R [i, 3] = 1 or 7 or 8, and 3 ≤ C _R [i, 4] ≤ 5, and 4 ≤ C _R [i, 5] ≤ 6, and 5 ≤ C _R [i, 6] ≤ 7 and all d _R [i, n] ≥ D ₁ (n = 1, ..., 6) for the principal direction movement amount d _R [i, n]. ) Is determined (step S704). As for the condition of the principal direction number C _R [i, n] of "zoom out", as shown by the arrow in FIG. 8 (2), the movement direction indicated by all the principal direction numbers C _R [i, n] is the frame image. It is from the outside to the center of.

カメラワーク判定及び動き量算出部２１は、ステップＳ７０４において、「ズームアウト」の条件を満たすと判定した場合（ステップＳ７０４：Ｙ）、画像間カメラワーク種C_P[i]＝「ズームアウト」を設定する（ステップＳ７０５）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０４において、「ズームアウト」の条件を満たさないと判定した場合（ステップＳ７０４：Ｎ）、ステップＳ７０６へ移行する。 When the camera work determination and motion amount calculation unit 21 determines in step S704 that the condition of "zoom out" is satisfied (step S704: Y), the inter-image camera work type C _P [i] = "zoom out" is set. Set (step S705). On the other hand, if the camera work determination and movement amount calculation unit 21 determines in step S704 that the condition of "zoom out" is not satisfied (step S704: N), the process proceeds to step S706.

カメラワーク判定及び動き量算出部２１は、「左パン」の条件（主方向番号C_R[i,n]について、全てのC_R[i,n]＝1または2または8であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７０６）。「左パン」の主方向番号C_R[i,n]の条件は、図８（３）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の右側へ向いていることである。 The camera work determination and motion amount calculation unit 21 has a condition of "left pan" (for the principal direction number C _R [i, n], all C _R [i, n] = 1 or 2 or 8 and the main It is determined whether or not all d _R [i, n] ≧ D ₁ (n = 1, ..., 6)) are satisfied for the directional movement amount d _R [i, n] (step S706). As for the condition of the principal direction number C _R [i, n] of "left pan", as shown by the arrow in FIG. 8 (3), the movement direction indicated by all the principal direction numbers C _R [i, n] is the frame image. It is facing to the right side of.

カメラワーク判定及び動き量算出部２１は、ステップＳ７０６において、「左パン」の条件を満たすと判定した場合（ステップＳ７０６：Ｙ）、画像間カメラワーク種C_P[i]＝「左パン」を設定する（ステップＳ７０７）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０６において、「左パン」の条件を満たさないと判定した場合（ステップＳ７０６：Ｎ）、ステップＳ７０８へ移行する。 When the camera work determination and movement amount calculation unit 21 determines in step S706 that the condition of "left pan" is satisfied (step S706: Y), the inter-image camera work type C _P [i] = "left pan" is set. Set (step S707). On the other hand, if the camera work determination and movement amount calculation unit 21 determines in step S706 that the condition of "left pan" is not satisfied (step S706: N), the process proceeds to step S708.

カメラワーク判定及び動き量算出部２１は、「右パン」の条件（主方向番号C_R[i,n]について、4≦全てのC_R[i,n]≦6であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７０８）。「右パン」の主方向番号C_R[i,n]の条件は、図８（４）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の左側へ向いていることである。 The camera work determination and movement amount calculation unit 21 has 4 ≦ all C _R [i, n] ≦ 6 for the “right pan” condition (principal direction number C _R [i, n], and the main direction movement. For the quantity d _R [i, n], it is determined whether or not all d _R [i, n] ≧ D ₁ (n = 1, ..., 6)) are satisfied (step S708). As for the condition of the principal direction number C _R [i, n] of "right pan", as shown by the arrow in FIG. 8 (4), the movement direction indicated by all the principal direction numbers C _R [i, n] is the frame image. It is facing to the left side of.

カメラワーク判定及び動き量算出部２１は、ステップＳ７０８において、「右パン」の条件を満たすと判定した場合（ステップＳ７０８：Ｙ）、画像間カメラワーク種C_P[i]＝「右パン」を設定する（ステップＳ７０９）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０８において、「右パン」の条件を満たさないと判定した場合（ステップＳ７０８：Ｎ）、ステップＳ７１０へ移行する。 When the camera work determination and movement amount calculation unit 21 determines in step S708 that the condition of "right pan" is satisfied (step S708: Y), the inter-image camera work type C _P [i] = "right pan" is set. Set (step S709). On the other hand, if the camera work determination and movement amount calculation unit 21 determines in step S708 that the condition of "right pan" is not satisfied (step S708: N), the process proceeds to step S710.

カメラワーク判定及び動き量算出部２１は、「上チルト」の条件（主方向番号C_R[i,n]について、2≦全てのC_R[i,n]≦4であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７１０）。「上チルト」の主方向番号C_R[i,n]の条件は、図８（５）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の下側へ向いていることである。 The camera work determination and movement amount calculation unit 21 has 2 ≦ all C _R [i, n] ≦ 4 for the “upward tilt” condition (principal direction number C _R [i, n], and the main direction movement. For the quantity d _R [i, n], it is determined whether or not all d _R [i, n] ≧ D ₁ (n = 1, ..., 6)) are satisfied (step S710). As for the condition of the principal direction number C _R [i, n] of "upward tilt", as shown by the arrow in FIG. 8 (5), the movement direction indicated by all the principal direction numbers C _R [i, n] is the frame image. It is facing down.

カメラワーク判定及び動き量算出部２１は、ステップＳ７１０において、「上チルト」の条件を満たすと判定した場合（ステップＳ７１０：Ｙ）、画像間カメラワーク種C_P[i]＝「上チルト」を設定する（ステップＳ７１１）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１０において、「上チルト」の条件を満たさないと判定した場合（ステップＳ７１０：Ｎ）、ステップＳ７１２へ移行する。 When the camera work determination and movement amount calculation unit 21 determines in step S710 that the condition of "upward tilt" is satisfied (step S710: Y), the inter-image camera work type C _P [i] = "upward tilt" is set. Set (step S711). On the other hand, if the camera work determination and movement amount calculation unit 21 determines in step S710 that the condition of "upward tilt" is not satisfied (step S710: N), the process proceeds to step S712.

カメラワーク判定及び動き量算出部２１は、「下チルト」の条件（主方向番号C_R[i,n]について、6≦全てのC_R[i,n]≦8であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７１２）。「下チルト」の主方向番号C_R[i,n]の条件は、図８（６）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の上側へ向いていることである。 The camera work determination and movement amount calculation unit 21 has 6 ≦ all C _R [i, n] ≦ 8 for the “downward tilt” condition (principal direction number C _R [i, n], and the main direction movement. For the quantity d _R [i, n], it is determined whether or not all d _R [i, n] ≧ D ₁ (n = 1, ..., 6)) are satisfied (step S712). As for the condition of the principal direction number C _R [i, n] of "down tilt", as shown by the arrow in FIG. 8 (6), the movement direction indicated by all the principal direction numbers C _R [i, n] is the frame image. It is facing the upper side of.

カメラワーク判定及び動き量算出部２１は、ステップＳ７１２において、「下チルト」の条件を満たすと判定した場合（ステップＳ７１２：Ｙ）、画像間カメラワーク種C_P[i]＝「下チルト」を設定する（ステップＳ７１３）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１２において、「下チルト」の条件を満たさないと判定した場合（ステップＳ７１２：Ｎ）、ステップＳ７１４へ移行する。 When the camera work determination and movement amount calculation unit 21 determines in step S712 that the condition of "downward tilt" is satisfied (step S712: Y), the inter-image camera work type C _P [i] = "downward tilt" is set. Set (step S713). On the other hand, if the camera work determination and movement amount calculation unit 21 determines in step S712 that the condition of "downward tilt" is not satisfied (step S712: N), the process proceeds to step S714.

カメラワーク判定及び動き量算出部２１は、「静止」の条件（主方向動き量d_R[i,n]について、d_R[i,n]＜D₂（n=1,...,6））を満たすか否かを判定する（ステップＳ７１４）。D₂は予め設定された値である。 The camera work determination and motion amount calculation unit 21 determines the condition of "stationary" (for the principal direction motion amount d _R [i, n], d _R [i, n] <D ₂ (n = 1, ..., 6). )) Is satisfied (step S714). D ₂ is a preset value.

カメラワーク判定及び動き量算出部２１は、ステップＳ７１４において、「静止」の条件を満たすと判定した場合（ステップＳ７１４：Ｙ）、画像間カメラワーク種C_P[i]＝「静止」を設定する（ステップＳ７１５）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１４において、「静止」の条件を満たさないと判定した場合（ステップＳ７１４：Ｎ）、画像間カメラワーク種C_P[i]＝「その他」を設定する（ステップＳ７１６）。 When the camera work determination and movement amount calculation unit 21 determines in step S714 that the condition of "stationary" is satisfied (step S714: Y), the inter-image camera work type C _P [i] = "stationary" is set. (Step S715). On the other hand, when the camera work determination and movement amount calculation unit 21 determines in step S714 that the condition of "stationary" is not satisfied (step S714: N), the inter-image camera work type C _P [i] = "other". Is set (step S716).

カメラワーク判定及び動き量算出部２１は、ステップＳ７０３、ステップＳ７０５、ステップＳ７０７、ステップＳ７０９、ステップＳ７１１、ステップＳ７１３、ステップＳ７１５またはステップＳ７１６から移行して、以下の式にて、各背景領域R_nの主方向動き量d_R[i,n]を加算して平均化し、画像間動き量d_P[i]を算出する（ステップＳ７１７）。
［数２］

The camera work determination and motion amount calculation unit 21 shifts from step S703, step S705, step S707, step S709, step S711, step S713, step S715 or step S716, and uses the following formula to determine each background region R _n . The amount of movement in the main direction d _R [i, n] is added and averaged to calculate the amount of movement d _P [i] between images (step S717).
[Number 2]

カメラワーク判定及び動き量算出部２１は、パラメータiをインクリメントし（i=i+1）（ステップＳ７１８）、パラメータiが画像数N_P（画像ペアP*[i]の数）よりも大きいか否かを判定する（ステップＳ７１９）。 The camera work determination and motion amount calculation unit 21 increments the parameter i (i = i + 1) (step S718), and is the parameter i larger than the number of images N _P (the number of image pairs P * [i])? It is determined whether or not (step S719).

カメラワーク判定及び動き量算出部２１は、ステップＳ７１９において、パラメータiが画像数N_Pよりも大きくないと判定した場合（ステップＳ７１９：Ｎ）、ステップＳ７０２へ移行する。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１９において、パラメータiが画像数N_Pよりも大きいと判定した場合（ステップＳ７１９：Ｙ）、処理を終了する。これにより、画像ペアP*[i]の画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]が求められる。 When the camera work determination and movement amount calculation unit 21 determines in step S719 that the parameter i is not larger than the number of images N _P (step S719: N), the process proceeds to step S702. On the other hand, when the camera work determination and the motion amount calculation unit 21 determines in step S719 that the parameter i is larger than the number of images N _P (step S719: Y), the process ends. As a result, the inter-image camera work type C _P [i] and the inter-image movement amount d _P [i] of the image pair P * [i] are obtained.

〔カメラワーク判定部１２〕
次に、図１に示したカメラワーク判定部１２について詳細に説明する。前述のとおり、カメラワーク判定部１２は、同じ画像間カメラワーク種C_P[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定し、各カメラワーク区間について、開始フレーム番号T_S[n]、終了フレーム番号T_E[n]及びカメラワーク種C[n]を特定し、カメラ動き量d[n]を算出する。 [Camera work determination unit 12]
Next, the camera work determination unit 12 shown in FIG. 1 will be described in detail. As described above, the camera work determination unit 12 determines as a camera work section a section in which the image pairs P * [i] of the same inter-image camera work type C _P [i] continue for a predetermined number or more, and for each camera work section. , The start frame number T _S [n], the end frame number T _E [n], and the camera work type C [n] are specified, and the camera movement amount d [n] is calculated.

図９は、カメラワーク判定部１２の構成例及び入出力データ例を示すブロック図である。このカメラワーク判定部１２は、カメラワーク区間判定部３０及びカメラワークデータ生成部３１を備えている。 FIG. 9 is a block diagram showing a configuration example and an input / output data example of the camera work determination unit 12. The camera work determination unit 12 includes a camera work section determination unit 30 and a camera work data generation unit 31.

カメラワーク区間判定部３０は、画像間カメラワーク判定部１１から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]、画像間カメラワーク種C_P[i]からなる画像間カメラワーク種系列C_P[1],...,C_P[N_P]、及び画像間動き量d_P[i]からなる画像間動き量系列d_P[1],...,d_P[N_P]を入力する。そして、カメラワーク区間判定部３０は、同じ画像間カメラワーク種C_P[i]の画像ペアP*[i]が所定数以上継続する区間を特定し、当該区間をカメラワーク区間として判定する。 The camera work section determination unit 30 has an image pair series P * [1], ..., P * [N _P ] consisting of image pairs P * [i] and an image-to-image camera work from the image-to-image camera work determination unit 11. Inter-image camera work consisting of species C _P [i] Species series C _P [1], ..., C _P [N _P ], and inter _- image motion series d _P [i] Enter [1], ..., d _P [N _P ]. Then, the camera work section determination unit 30 specifies a section in which the image pairs P * [i] of the same inter-image camera work type C _P [i] continue by a predetermined number or more, and determines the section as the camera work section.

カメラワークデータ生成部３１は、カメラワーク区間判定部３０により判定された各カメラワーク区間について、当該カメラワーク区間の開始時点及び終了時点にそれぞれ対応する画像ペアP*[i]の開始フレーム番号T_S[n]及び終了フレーム番号T_E[n]を特定する。また、カメラワークデータ生成部３１は、各カメラワーク区間について、当該カメラワーク区間に対応する画像間カメラワーク種C_P[i]をカメラワーク種C[n]として特定する。また、カメラワークデータ生成部３１は、各カメラワーク区間について、当該カメラワーク区間に対応する全ての画像間動き量d_P[i]を加算し、加算結果をカメラ動き量d[n]として求める。 The camera work data generation unit 31 has the start frame number T of the image pair P * [i] corresponding to the start time point and the end time point of the camera work section for each camera work section determined by the camera work section determination unit 30. _{Specify S} [n] and the end frame number T _E [n]. Further, the camera work data generation unit 31 specifies the inter-image camera work type C _P [i] corresponding to the camera work section as the camera work type C [n] for each camera work section. Further, the camera work data generation unit 31 adds all the inter-image movements d _P [i] corresponding to the camera work sections for each camera work section, and obtains the addition result as the camera movement amount d [n]. ..

カメラワークデータ生成部３１は、カメラワーク区間の開始フレーム番号系列T_S[1],...,T_S[N_C]、終了フレーム番号系列T_E[1],...,T_E[N_C]、カメラワーク種系列C[1],...,C[N_C]及びカメラ動き量系列d[1],...,d[N_C]を生成する。そして、カメラワークデータ生成部３１は、これらのデータをカメラワークデータとして出力する。 The camera work data generation unit 31 starts frame number series T _S [1], ..., T _S [N _C ], end frame number series T _E [1], ..., T _E [ N _C ], camera work type series C [1], ..., C [N _C ] and camera movement amount series d [1], ..., d [N _C ] are generated. Then, the camera work data generation unit 31 outputs these data as camera work data.

図１０は、カメラワーク判定部１２の処理例を示すフローチャートである。カメラワーク判定部１２は、画像間カメラワーク判定部１１から画像ペアP*[i]、画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]を入力する（ステップＳ１００１）。そして、カメラワーク判定部１２は、n=1、i=1、カメラ動き量d[n]=画像間動き量d_p[i]、i₀=1及びCount=0を設定する（ステップＳ１００２）。nはカメラワーク区間の番号を示し、i及びi₀は画像ペアP*[i]の番号を示し、Countはカメラワーク区間の長さを示す。 FIG. 10 is a flowchart showing a processing example of the camera work determination unit 12. The camera work determination unit 12 inputs an image pair P * [i], an image-to-image camera work type C _P [i], and an image-to-image movement amount d _P [i] from the image-to-image camera work determination unit 11 (step S1001). .. Then, the camera work determination unit 12 sets n = 1, i = 1, camera movement amount d [n] = inter-image movement amount d _p [i], i ₀ = 1, and Count = 0 (step S1002). .. n indicates the number of the camera work section, i and i ₀ indicate the number of the image pair P * [i], and Count indicates the length of the camera work section.

カメラワーク判定部１２は、i番目の画像ペアP*[i]の画像間カメラワーク種C_P[i]とi+1番目の画像ペアP*[i+1]の画像間カメラワーク種C_P[i+1]とが同じであるか否かを判定する（C_P[i]=C_P[i+1]？、ステップＳ１００３）。 The camera work determination unit 12 has an inter-image camera work type C _P [i] of the i-th image pair P * [i] and an inter-image camera work type C of the i + 1th image pair P * [i + 1]. It is determined whether or not _P [i + 1] is the same (C _P [i] = C _P [i + 1] ?, step S1003).

カメラワーク判定部１２は、ステップＳ１００３において、画像間カメラワーク種C_P[i]と画像間カメラワーク種C_P[i+1]とが同じであると判定した場合（ステップＳ１００３：Ｙ）、カメラ動き量d[n]にi+1番目の画像間動き量d_p[i+1]を加算し、新たなカメラ動き量d[n]を求める（d[n]=d[n]+d_p[i+1]、ステップＳ１００４）。そして、カメラワーク判定部１２は、カメラワーク区間の長さCountをインクリメントする（Count=Count+1、ステップＳ１００５）。 When the camera work determination unit 12 determines in step S1003 that the inter-image camera work type C _P [i] and the inter-image camera work type C _P [i + 1] are the same (step S1003: Y). Add the i + 1th inter-image movement amount d _p [i + 1] to the camera movement amount d [n] to obtain a new camera movement amount d [n] (d [n] = d [n] +). d _p [i + 1], step S1004). Then, the camera work determination unit 12 increments the length Count of the camera work section (Count = Count + 1, step S1005).

カメラワーク判定部１２は、画像ペアP*[i]の番号iが画像ペアP*[i]の数N_p以上であるか否かを判定する（i≧N_p？、ステップＳ１００６）。すなわち、カメラワーク判定部１２は、ステップＳ１００３～ステップＳ１００５の処理を全ての画像ペアP*[i]について行ったか否かを判定する。 The camera work determination unit 12 determines whether or not the number i of the image pair P * [i] is equal to or greater than the number N _p of the image pair P * [i] (i ≧ N _p ?, step S1006). That is, the camera work determination unit 12 determines whether or not the processes of steps S1003 to S1005 have been performed for all the image pairs P * [i].

カメラワーク判定部１２は、ステップＳ１００６において、番号iが画像ペアP*[i]の数N_p以上でないと判定した場合（ステップＳ１００６：Ｎ）、すなわちステップＳ１００３～ステップＳ１００５の処理を全ての画像ペアP*[i]について行っていないと判定した場合、番号iをインクリメントし（i=i+1、ステップＳ１００７）、ステップＳ１００３へ移行する。 When the camera work determination unit 12 determines in step S1006 that the number i is not equal to or greater than the number N _p of the image pair P * [i] (step S1006: N), that is, all the images are processed in steps S1003 to S1005. If it is determined that the pair P * [i] has not been performed, the number i is incremented (i = i + 1, step S1007), and the process proceeds to step S1003.

一方、カメラワーク判定部１２は、ステップＳ１００６において、番号iが画像ペアP*[i]の数N_p以上であると判定した場合（ステップＳ１００６：Ｙ）、すなわちステップＳ１００３～ステップＳ１００５の処理を全ての画像ペアP*[i]について行ったと判定した場合、ステップＳ１００８へ移行する。 On the other hand, when the camera work determination unit 12 determines in step S1006 that the number i is equal to or greater than the number N _p of the image pair P * [i] (step S1006: Y), that is, the processes of steps S1003 to S1005 are performed. If it is determined that all the image pairs P * [i] have been performed, the process proceeds to step S1008.

一方、カメラワーク判定部１２は、ステップＳ１００３において、画像間カメラワーク種C_P[i]と画像間カメラワーク種C_P[i+1]とが同じでないと判定した場合（ステップＳ１００３：Ｎ）、ステップＳ１００８へ移行する。 On the other hand, when the camera work determination unit 12 determines in step S1003 that the inter-image camera work type C _P [i] and the inter-image camera work type C _P [i + 1] are not the same (step S1003: N). , Step S1008.

カメラワーク判定部１２は、ステップＳ１００３（Ｎ）またはステップＳ１００６（Ｙ）から移行して、カメラワーク区間の長さCountが予め設定された閾値Th以上であるか否かを判定する（Count≧Th？、ステップＳ１００８）。 The camera work determination unit 12 shifts from step S1003 (N) or step S1006 (Y) and determines whether or not the length Count of the camera work section is equal to or greater than the preset threshold value Th (Count ≧ Th). ?, Step S1008).

カメラワーク判定部１２は、ステップＳ１００８において、カメラワーク区間の長さCountが閾値Th以上であると判定した場合（ステップＳ１００８：Ｙ）、番号nのカメラワーク区間の開始フレーム番号T_S[n]、終了フレーム番号T_E[n]、カメラワーク種C[n]及びカメラ動き量d[n]を設定する（ステップＳ１００９）。 When the camera work determination unit 12 determines in step S1008 that the length Count of the camera work section is equal to or greater than the threshold value Th (step S1008: Y), the start frame number T _S [n] of the camera work section of the number n. , End frame number T _E [n], camera work type C [n], and camera movement amount d [n] (step S1009).

具体的には、カメラワーク判定部１２は、画像ペアP*[i₀]を構成する２枚のフレーム画像P[i₀],P'[i₀]のうちフレーム画像P[i₀]のフレーム番号を、当該カメラワーク区間の開始フレーム番号T_S[n]に設定する。また、カメラワーク判定部１２は、画像ペアP*[i]を構成する２枚のフレーム画像P[i],P'[i]のうちフレーム画像P'[i]のフレーム番号を、当該カメラワーク区間の終了フレーム番号T_E[n]に設定する。 Specifically, the camerawork determination unit 12 of the frame image P [i ₀ ] of the two frame images P [i ₀ ] and P'[i ₀ ] constituting the image pair P * [i ₀ ]. Set the frame number to the start frame number T _S [n] of the camera work section. Further, the camera work determination unit 12 determines the frame number of the frame image P'[i] of the two frame images P [i] and P'[i] constituting the image pair P * [i]. Set to the end frame number T _E [n] of the work section.

さらに、カメラワーク判定部１２は、画像ペアP*[i₀]の画像間カメラワーク種C_P[i₀]を、当該カメラワーク区間のカメラワーク種C[n]に設定する。また、カメラワーク判定部１２は、ステップＳ１００４にて算出したカメラ動き量d[n]を、当該カメラワーク区間のカメラ動き量d[n]に設定する。 Further, the camera work determination unit 12 sets the inter-image camera work type C _P [i ₀ ] of the image pair P * [i ₀ ] to the camera work type C [n] of the camera work section. Further, the camera work determination unit 12 sets the camera movement amount d [n] calculated in step S1004 to the camera movement amount d [n] of the camera work section.

カメラワーク判定部１２は、ステップＳ１００９から移行して、カメラワーク区間の番号nをインクリメントする（n=n+1、ステップＳ１０１０）。 The camera work determination unit 12 shifts from step S1009 and increments the camera work section number n (n = n + 1, step S1010).

一方、カメラワーク判定部１２は、ステップＳ１００８において、カメラワーク区間の長さCountが閾値Th以上でないと判定した場合（ステップＳ１００８：Ｎ）、ステップＳ１０１１へ移行する。 On the other hand, when the camera work determination unit 12 determines in step S1008 that the length Count of the camera work section is not equal to or greater than the threshold value Th (step S1008: N), the camera work determination unit 12 proceeds to step S1011.

カメラワーク判定部１２は、ステップＳ１００８（Ｎ）またはステップＳ１０１０から移行して、画像ペアP*[i]の番号iが画像ペアP*[i]の数N_p以上であるか否かを判定する（i≧N_p？、ステップＳ１０１１）。すなわち、カメラワーク判定部１２は、ステップＳ１００３～ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行ったか否かを判定する。 The camera work determination unit 12 proceeds from step S1008 (N) or step S1010 to determine whether or not the number i of the image pair P * [i] is equal to or greater than the number N _p of the image pair P * [i]. (I ≧ N _p ?, step S1011). That is, the camera work determination unit 12 determines whether or not the processes of steps S1003 to S1010 and step S1012 have been performed for all the image pairs P * [i].

カメラワーク判定部１２は、ステップＳ１０１１において、番号iが画像ペアP*[i]の数N_p以上でないと判定した場合（ステップＳ１０１１：Ｎ）、すなわちステップＳ１００３～ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行っていないと判定した場合、番号iをインクリメントし（i=i+1）、カメラ動き量d[n]に画像間動き量d_p[i]を設定し（d[n]=d_p[i]）、i₀=1及びCount=0を設定し（ステップＳ１０１２）、ステップＳ１００３へ移行する。これにより、次のカメラワーク区間または次の画像ペアP*[i]について処理が行われる。 When the camera work determination unit 12 determines in step S1011 that the number i is not equal to or greater than the number N _p of the image pair P * [i] (step S1011: N), that is, the processes of steps S1003 to S1010 and step S1012 are performed. If it is determined that all image pairs P * [i] have not been performed, the number i is incremented (i = i + 1) and the camera movement amount d [n] is set to the inter-image movement amount d _p [i]. (D [n] = d _p [i]), set i ₀ = 1 and Count = 0 (step S1012), and proceed to step S1003. As a result, processing is performed for the next camera work section or the next image pair P * [i].

一方、カメラワーク判定部１２は、ステップＳ１０１１において、番号iが画像ペアP*[i]の数N_p以上であると判定した場合（ステップＳ１０１１：Ｙ）、すなわちステップＳ１００３～ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行ったと判定した場合、ステップＳ１００９にて設定した開始フレーム番号T_S[n]、終了フレーム番号T_E[n]、カメラワーク種C[n]及びカメラ動き量d[n]から、開始フレーム番号系列T_S[1],...,T_S[N_C]、終了フレーム番号系列T_E[1],...,T_E[N_C]、カメラワーク種系列C[1],...,C[N_C]及びカメラ動き量系列d[1],...,d[N_C]を生成し、これらの系列をカメラワークデータとして出力する（ステップＳ１０１３）。 On the other hand, when the camera work determination unit 12 determines in step S1011 that the number i is equal to or greater than the number N _p of the image pair P * [i] (step S1011: Y), that is, steps S1003 to S1010 and step S1012. When it is determined that the processing of is performed for all the image pairs P * [i], the start frame number T _S [n], the end frame number T _E [n], and the camera work type C [n] set in step S1009. And from the camera movement amount d [n], the start frame number series T _S [1], ..., T _S [N _C ], the end frame number series T _E [1], ..., T _E [N _C ]. ], Camera work type series C [1], ..., C [N _C ] and camera movement amount series d [1], ..., d [N _C ] are generated, and these series are used as camera work data. Is output as (step S1013).

以上のように、本発明の実施形態によるカメラワーク判定装置１によれば、フレーム画像サンプリング部１０は、番組映像からT₁フレーム毎にフレーム画像P[i]をサンプリングし、フレーム画像P[i]からT₂フレーム先のフレーム画像P'[i]をサンプリングし、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を生成する。 As described above, according to the camera work determination device 1 according to the embodiment of the present invention, the frame image sampling unit 10 samples the frame image P [i] for each T ₁ frame from the program video, and the frame image P [i]. ] To sample the frame image P'[i] T ₂ frames ahead, and generate an image pair P * [i] consisting of the frame images P [i] and P'[i].

画像間カメラワーク判定部１１は、画像ペアP*[i]について、２枚のフレーム画像P[i],P'[i]間における分割した背景領域R_nのみの動きデータに基づいて、画像間カメラワーク種C_P[i]を判定すると共に、画像間動き量d_P[i]を算出する。 The inter-image camera work determination unit 11 has an image of the image pair P * [i] based on the motion data of only the divided background region R _n between the two frame images P [i] and P'[i]. While determining the inter-camera work type C _P [i], the inter-image movement amount d _P [i] is calculated.

具体的には、画像間カメラワーク判定部１１の背景領域動きヒストグラム算出部２０は、分割した背景領域R_nについて、２枚のフレーム画像P[i],P'[i]から求めた動き差分ベクトルを方向kに分類し、方向k毎の動きヒストグラムである動き差分ベクトルの度数h[i,n,k]を求める。また、背景領域動きヒストグラム算出部２０は、背景領域R_nについて、方向kに属する動き差分ベクトルの長さの和を度数h[i,n,k]で除算し、方向k毎に動き量の平均値d_A[i,n,k]を求める。そして、背景領域動きヒストグラム算出部２０は、背景領域R_nについて、度数h[i,n,k]が最大値を取る方向kを特定し、これを主方向番号C_R[i,n]に設定し、主方向番号C_R[i,n]の動き量の平均値d_A[i,n,C_R[i,n]]を主方向動き量d_R[i,n]に設定する。 Specifically, the background area motion histogram calculation unit 20 of the inter-image camera work determination unit 11 determines the motion difference obtained from the two frame images P [i] and P'[i] for the divided background area R _n . The vector is classified into the direction k, and the frequency h [i, n, k] of the motion difference vector, which is a motion histogram for each direction k, is obtained. Further, the background region motion histogram calculation unit 20 divides the sum of the lengths of the motion difference vectors belonging to the direction k with respect to the background region R _n by the frequency h [i, n, k], and divides the motion amount in each direction k. Find the average value d _A [i, n, k]. Then, the background area motion histogram calculation unit 20 specifies the direction k in which the frequency h [i, n, k] takes the maximum value for the background area R _n , and sets this as the principal direction number C _R [i, n]. Set and set the average value d _A [i, n, C _R [i, n]] of the movement amount of the principal direction number C _R [i, n] to the main direction movement amount d _R [i, n].

また、画像間カメラワーク判定部１１のカメラワーク判定及び動き量算出部２１は、背景領域R_nの主方向番号C_R[i,n]及び主方向動き量d_R[i,n]に基づいて、画像間カメラワーク種C_P[i]を求め、背景領域R_nの主方向動き量d_R[i,n]の平均を画像間動き量d_P[i]として求める。 Further, the camera work determination and movement amount calculation unit 21 of the inter-image camera work determination unit 11 is based on the principal direction number C _R [i, n] and the principal direction movement amount d _R [i, n] of the background region R _n . Then, the inter-image camera work type C _P [i] is obtained, and the average of the principal-direction movement amount d _R [i, n] of the background region R _n is obtained as the inter-image movement amount d _P [i].

カメラワーク判定部１２は、画像間カメラワーク種C_P[i]に基づいてカメラワーク区間を判定し、カメラワーク区間について、画像ペアP*[i]に基づいて開始フレーム番号T_S[n]及び終了フレーム番号T_E[n]を特定し、画像間カメラワーク種C_P[i]に基づいてカメラワーク種C[n]を特定し、画像間動き量d_P[i]に基づいてカメラ動き量d[n]を算出する。そして、カメラワーク判定部１２は、これらのデータをカメラワークデータとして出力する。 The camera work determination unit 12 determines the camera work section based on the inter-image camera work type C _P [i], and starts frame number T _S [n] for the camera work section based on the image pair P * [i]. And the end frame number T _E [n] is specified, the camera work type C [n] is specified based on the inter-image camera work type C _P [i], and the camera is based on the inter-image movement amount d _P [i]. Calculate the amount of movement d [n]. Then, the camera work determination unit 12 outputs these data as camera work data.

具体的には、カメラワーク判定部１２のカメラワーク区間判定部３０は、同じ画像間カメラワーク種C_P[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定する。また、カメラワークデータ生成部３１は、カメラワーク区間について、当該カメラワーク区間の開始時点及び終了時点にそれぞれ対応する画像ペアP*[i]の開始フレーム番号T_S[n]及び終了フレーム番号T_E[n]を特定し、当該カメラワーク区間に対応する画像間カメラワーク種C_P[i]をカメラワーク種C[n]として特定し、当該カメラワーク区間に対応する全ての画像間動き量d_P[i]を加算し、加算結果をカメラ動き量d[n]として求める。そして、カメラワークデータ生成部３１は、カメラワーク区間の開始フレーム番号系列T_S[1],...,T_S[N_C]、終了フレーム番号系列T_E[1],...,T_E[N_C]、カメラワーク種系列C[1],...,C[N_C]及びカメラ動き量系列d[1],...,d[N_C]を生成し、これらのデータをカメラワークデータとして出力する。 Specifically, the camera work section determination unit 30 of the camera work determination unit 12 sets a section in which the image pairs P * [i] of the same inter-image camera work type C _P [i] continue for a predetermined number or more as a camera work section. judge. Further, the camera work data generation unit 31 has a start frame number T _S [n] and an end frame number T of the image pair P * [i] corresponding to the start time point and the end time point of the camera work section, respectively. _E [n] is specified, the inter-image camera work type C _P [i] corresponding to the camera work section is specified as the camera work type C [n], and all the inter-image movements corresponding to the camera work section are specified. d _P [i] is added, and the addition result is obtained as the camera movement amount d [n]. Then, the camera work data generation unit 31 starts frame number series T _S [1], ..., T _S [N _C ], end frame number series T _E [1], ..., T of the camera work section. _E [N _C ], camera work type series C [1], ..., C [N _C ] and camera movement amount series d [1], ..., d [N _C ] are generated and these data are generated. Is output as camera work data.

これにより、映像の符号化方式に依存しない番組映像を処理対象とするから、符号化方式に応じた処理が不要となる。また、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を用いるようにしたから、連続したフレーム画像を用いる必要がなく、処理時間を短くすることができる。 As a result, since the program video that does not depend on the video coding method is targeted for processing, processing according to the coding method becomes unnecessary. Further, since the image pair P * [i] consisting of the frame images P [i] and P'[i] is used, it is not necessary to use continuous frame images, and the processing time can be shortened.

また、分割した複数の背景領域R_nを用いるようにしたから、「パン」「チルト」「静止」に加え、「ズームイン」及び「ズームアウト」のカメラワーク種C[n]も判定することができる。 In addition, since multiple divided background areas R _n are used, it is possible to determine the camera work type C [n] of "zoom in" and "zoom out" in addition to "pan", "tilt", and "still". can.

したがって、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となる。 Therefore, it is possible to determine the camera work at high speed and in detail without depending on the video coding method.

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、分割した背景領域R_nの数を６（n=1,...,6）としたが、本発明はその数を限定するものではなく、２以上であればよい。また、図４に示した背景領域R_nは、画面の左端及び右端に設定するようにしたが、例えば画面の上端及び下端に設定するようにしてよいし、左端、右端、上端及び下端に設定するようにしてもよい。 Although the present invention has been described above with reference to embodiments, the present invention is not limited to the above-described embodiment and can be variously modified without departing from the technical idea. In the above embodiment, the number of divided background regions R _n is 6 (n = 1, ..., 6), but the present invention does not limit the number and may be 2 or more. Further, the background area R _n shown in FIG. 4 is set at the left end and the right end of the screen, but may be set at the upper end and the lower end of the screen, for example, and is set at the left end, the right end, the upper end, and the lower end. You may try to do it.

また、前記実施形態では、方向kの数を８（k＝1,...,8）としたが、本発明はその数を限定するものではなく、２以上であればよい。 Further, in the above embodiment, the number of directions k is 8 (k = 1, ..., 8), but the present invention does not limit the number, and may be 2 or more.

尚、本発明の実施形態によるカメラワーク判定装置１のハードウェア構成としては、通常のコンピュータを使用することができる。カメラワーク判定装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。カメラワーク判定装置１に備えたフレーム画像サンプリング部１０、画像間カメラワーク判定部１１及びカメラワーク判定部１２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。 As the hardware configuration of the camera work determination device 1 according to the embodiment of the present invention, a normal computer can be used. The camera work determination device 1 is composed of a computer provided with a volatile storage medium such as a CPU and RAM, a non-volatile storage medium such as a ROM, an interface, and the like. Each function of the frame image sampling unit 10, the inter-image camera work determination unit 11, and the camera work determination unit 12 provided in the camera work determination device 1 is realized by causing the CPU to execute a program describing these functions. .. These programs are stored in the storage medium, read by the CPU, and executed. In addition, these programs can be stored and distributed in storage media such as magnetic disks (floppy (registered trademark) disks, hard disks, etc.), optical disks (CD-ROM, DVD, etc.), semiconductor memories, etc., and can be distributed via a network. You can also send and receive.

１カメラワーク判定装置
１０フレーム画像サンプリング部
１１画像間カメラワーク判定部
１２カメラワーク判定部
２０背景領域動きヒストグラム算出部
２１カメラワーク判定及び動き量算出部
３０カメラワーク区間判定部
３１カメラワークデータ生成部 1 Camerawork determination device 10 Frame image sampling unit 11 Inter-image camerawork determination unit 12 Camerawork determination unit 20 Background area motion histogram calculation unit 21 Camerawork determination and motion amount calculation unit 30 Camerawork section determination unit 31 Camerawork data generation unit

Claims

A first frame image is sampled from the video for each predetermined T ₁ frame, a second frame image at a predetermined T ₂ frame destination (T ₁ > T ₂ ) is sampled from the first frame image, and the T is said. A frame image sampling unit that generates an image pair in which the first frame image and the second frame image are paired at intervals of _one frame.
Motion data is generated for each of the left and right edges of the image or the plurality of background regions at the top and bottom edges of the image obtained by dividing the background portion of the image pair generated by the frame image sampling unit, and the plurality of backgrounds are generated. An image-to-image camera work determination unit that determines an image-to-image camera work type indicating the type of camera work including "zoom in" and "zoom out" as the camera work type of the image pair based on the motion data of the region.
The number of the image pairs in which the same inter-image camera work type determined by the inter-image camera work determination unit continues is obtained as the length of the continuation section, and whether or not the length of the continuation section is equal to or greater than a predetermined threshold value. If it is determined that the length of the continuation section is equal to or greater than the threshold value, the continuation section is determined as the camera work section, and the inter-image camera work type of the image pair in the camera work section is the camera. The camera work judgment unit that outputs as the camera work type of the work section, and
Equipped with
The inter-image camera work determination unit is
For each of the plurality of background areas, the motion data is classified into a plurality of directions, the direction in which the motion data is maximized is specified based on the motion data for each direction, and the direction is defined as the background area. When the main direction of each of the plurality of background areas faces from the outside to the center of the frame image, the inter-image camera work type of the image pair is determined as "zoom in". When the main direction for each of the plurality of background areas points from the center of the frame image to the outside, the inter-image camera work type of the image pair is determined as "zoom out".
A camera work judgment device characterized by this.

In the camera work determination device according to claim 1 ,
The inter-image camera work determination unit is
For each of the plurality of background regions, the motion data is classified into a plurality of directions, and the number of the motion data is integrated for each direction to obtain a motion histogram for each direction in the plurality of background regions. A background area motion histogram calculation unit that obtains an average value of the motion data for each direction in the plurality of background regions based on the motion data and the motion histogram.
For each of the plurality of background regions, the direction in which the motion histogram obtained by the background region motion histogram calculation unit has the maximum value is specified, the direction is set as the main direction of the background region, and the background region motion is performed. The average value of the movement data in the direction obtained by the histogram calculation unit is set as the amount of movement in the main direction of the background area.
Based on the main direction and the movement amount in the main direction for each of the plurality of background regions, the camera work type between images of the image pair and the camera work determination for obtaining the movement amount between images indicating the movement amount of the image pair. And the movement amount calculation unit,
A camera work judgment device characterized by being equipped with.

In the camera work determination device according to claim 2 ,
The camera work determination unit is
When the length of the continuation section in which the same inter-image camera work type continues is equal to or greater than the threshold value , the camera work section determination unit that determines the continuation section as the camera work section,
For the camera work section determined by the camera work section determination unit, the start frame number of the image pair corresponding to the start time of the camera work section and the end of the image pair corresponding to the end time of the camera work section. The frame number is specified, the camera work type of the image pair corresponding to the camera work section is specified as the camera work type of the camera work section, and the amount of movement between images of all the image pairs corresponding to the camera work section is specified. Is added, the addition result is obtained as the camera movement amount of the camera work section, and the camera that outputs the start frame number, the end frame number, the camera work type, and the camera movement amount of the camera work section as camera work data. Work data generator and
A camera work judgment device characterized by being equipped with.

A program for causing a computer to function as the camera work determination device according to any one of claims 1 to 3 .