JP5733688B2 - Movie editing apparatus, movie editing method, and computer program - Google Patents
Movie editing apparatus, movie editing method, and computer program Download PDFInfo
- Publication number
- JP5733688B2 JP5733688B2 JP2011218413A JP2011218413A JP5733688B2 JP 5733688 B2 JP5733688 B2 JP 5733688B2 JP 2011218413 A JP2011218413 A JP 2011218413A JP 2011218413 A JP2011218413 A JP 2011218413A JP 5733688 B2 JP5733688 B2 JP 5733688B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- moving image
- editing
- information
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y02P70/54—
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
本発明は、動画の自動編集に関し、特に、ユーザが希望するサンプル動画の編集情報に基づいて自動編集を行なう動画編集装置、動画編集方法およびそのためのコンピュータプログラムに関する。 The present invention relates to automatic editing of moving images, and more particularly to a moving image editing apparatus, a moving image editing method, and a computer program therefor that perform automatic editing based on editing information of sample moving images desired by a user.
従来、ビデオカメラ等で撮影した動画の編集を行なうためには、高性能のコンピュータと技術者向けの専用ソフトウェアを用いる必要があり、それらを操作するためには高度な技術や専門知識が要求されていた。近年では、パーソナルコンピュータの高機能化やビデオカメラの普及等により、簡易に動画編集を行なえるソフトウェアが開発され、専門技術や専門知識のない一般ユーザでも容易に動画の編集ができるようになっている。 Conventionally, in order to edit movies shot with a video camera or the like, it is necessary to use a high-performance computer and dedicated software for engineers, and advanced technology and expertise are required to operate them. It was. In recent years, software that allows easy editing of moving images has been developed due to the increased functionality of personal computers and the spread of video cameras, etc., and it has become possible to easily edit moving images even for general users without specialized technology or expertise. Yes.
例えば、特許文献１には、編集済のサンプル動画を学習することにより編集情報を生成し、生成した編集情報に基づいてユーザへの編集支援を行なう映像編集支援装置が開示されている。このような装置を用いることで、サンプル動画における映像の並びや、エフェクトの適用、バックグランドミュージックの付加等を模した動画編集を一般ユーザが簡易に行なうことができる。 For example, Patent Document 1 discloses a video editing support apparatus that generates editing information by learning an edited sample moving image and performs editing support for a user based on the generated editing information. By using such an apparatus, it is possible for a general user to easily perform moving image editing simulating the arrangement of images in a sample moving image, application of effects, addition of background music, and the like.
従来提案されている装置では、編集済の動画のみをサンプルとしているため、元の動画をどのように編集して編集済の動画を生成したかは学習することはできない。このため、例えば、編集前の動画のどの部分を抽出してサンプル動画を構成したのかを分析して参考にすることができない。 In the conventionally proposed apparatus, since only the edited moving image is used as a sample, it is not possible to learn how to edit the original moving image to generate the edited moving image. For this reason, for example, it is not possible to analyze and analyze which part of the moving image before editing is extracted to constitute the sample moving image.
そこで、本発明は、サンプル動画に基づいて自動編集を行なう際に、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なえるようにすることを目的とする。 Therefore, an object of the present invention is to enable automatic editing in consideration of which part of a moving image before editing is extracted when performing automatic editing based on a sample moving image.
上記課題を解決するため、本発明の第１の態様である動画編集装置は、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置において、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル動画に対応した編集情報であり、前記サンプル動画の編集前動画のショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部と、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部と、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部とを備えたことを特徴とする。
ここで、前記長さに関する指標は、前記サンプル動画を構成する各シーンの長さの平均と分散とを含むことができる。
また、前記特徴量は、シーンの明るさ評価値と前記サンプル動画の編集前動画の明るさ評価値との差を含むことができる。
また、前記編集情報は、前記サンプル動画に適用するエフェクトに関する情報を含んでおり、前記編集情報に基づいて、抽出されたシーンに適用するエフェクトを割り当てるエフェクト割当部をさらに備えることができる。
上記課題を解決するため、本発明の第２の態様である動画編集方法は、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集方法において、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル動画に対応した編集情報であり、前記サンプル動画の編集前動画のショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するステップと、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するステップと、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するステップとを有することを特徴とする。
上記課題を解決するため、本発明の第３の態様であるコンピュータプログラムは、１つまたは複数のシーンを有し、１つまた複数のショットを備えた動画の編集を行なう動画像編集装置として情報処理装置を機能させるコンピュータプログラムにおいて、編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル動画に対応した編集情報であり、前記サンプル動画の編集前動画のショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部、特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部、前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部として、前記情報処理装置を機能させることを特徴とする。
In order to solve the above problems, a moving image editing apparatus according to a first aspect of the present invention is a moving image editing apparatus that has one or more scenes and edits a moving image including one or more shots. , the designation of the edited video, when receiving a specification of a sample video edited with the extracted plurality of scenes, and editing information corresponding to said designated edited sample video, the sample moving An interface unit for specifying editing information including scene information indicating a scene extracted from a shot of the pre-editing video, and an index relating to the length of each scene constituting the sample video based on the specified editing information, Based on the scene information analysis unit that calculates the feature amount for each shot of each scene, the length-related index, and the feature amount for the shot, Characterized in that a scene extraction unit that determines a scene to be extracted from the shot with the video in question.
Here, the length-related index may include an average length and a variance of each scene constituting the sample moving image.
Further, the feature amount may include a difference between a scene brightness evaluation value and a brightness evaluation value of the sample moving image before editing.
In addition, the editing information includes information on an effect to be applied to the sample moving image, and can further include an effect assigning unit that assigns an effect to be applied to the extracted scene based on the editing information.
In order to solve the above-mentioned problem, a moving image editing method according to a second aspect of the present invention is a moving image editing method for editing a moving image having one or more scenes and having one or more shots. , the designation of the edited video, when receiving a specification of a sample video edited with the extracted plurality of scenes, and editing information corresponding to said designated edited sample video, the sample moving A step of identifying editing information including scene information indicating a scene extracted from a shot of the pre-editing video, an index relating to a length of each scene constituting the sample video based on the identified editing information, Based on the step of calculating the feature amount for the shot of the scene, the index relating to the length, and the feature amount for the shot, the existence of the video to be edited is determined. Characterized by a step of determining a scene to be extracted from that shot.
In order to solve the above-mentioned problem, the computer program according to the third aspect of the present invention is an information processing apparatus that edits a moving image having one or more scenes and one or more shots. In the computer program for causing the processing device to function, when the specification of the editing target moving image and the specification of the edited sample moving image including the plurality of extracted scenes are received, the specified sample moving image is supported. An interface unit that identifies editing information including editing information that includes scene information indicating a scene extracted from a shot of the pre-editing video of the sample video, and each scene that constitutes the sample video based on the specified editing information A scene information analysis unit for calculating an index relating to the length of the scene and a feature amount for each shot of each scene; Based on the characteristic amount for the index to the shots, as the scene extraction unit that determines a scene to be extracted from the shot with the said edited video, characterized in that to function the information processing apparatus.
本発明によれば、サンプル動画に基づいて自動編集を行なう際に、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なえるようになる。 According to the present invention, when automatic editing is performed based on a sample moving image, automatic editing can be performed in consideration of which part of the moving image before editing is extracted.
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態の動画編集システムの全体構成を示すブロック図である。本図に示すように、動画編集システム１０は、動画編集サーバ２０と複数台の動画編集端末３０（３０ａ、３０ｂ、３０ｃ…）とがコンピュータネットワーク４０を介して接続されて構成される。 Embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of the moving image editing system of this embodiment. As shown in the figure, the moving image editing system 10 includes a moving image editing server 20 and a plurality of moving image editing terminals 30 (30a, 30b, 30c...) Connected via a computer network 40.
動画編集サーバ２０は、Ｗｅｂサーバ機能を備えており、Ｗｅｂサービスをインタフェースとして、ＨＴＴＰ等の所定のプロトコルにより各動画編集端末３０からの操作を受け付ける。そして、それぞれの動画編集端末３０に対して応答を行なうことでユーザに対して動画編集サービスを提供する。 The moving image editing server 20 has a web server function, and accepts an operation from each moving image editing terminal 30 using a web service as an interface and a predetermined protocol such as HTTP. And a moving image editing service is provided with respect to a user by responding with respect to each moving image editing terminal 30. FIG.
動画編集端末３０は、ユーザが使用する端末装置であり、Ｗｅｂブラウザ機能を備えているものとする。ユーザは、編集対象の動画を動画編集端末３０から動画編集サーバ２０にアップロードし、動画編集サーバ２０上で編集することができる。そして、編集済の動画を動画編集サーバ２０からストリーミングで再生したり、動画編集サーバ２０から動画編集端末３０にダウンロードする。動画編集端末３０は、Ｗｅｂブラウザソフトウェアをインストールした一般的な情報処理装置を用いることができる。 The moving image editing terminal 30 is a terminal device used by a user, and has a Web browser function. The user can upload a moving image to be edited from the moving image editing terminal 30 to the moving image editing server 20 and edit it on the moving image editing server 20. Then, the edited video is reproduced by streaming from the video editing server 20 or downloaded from the video editing server 20 to the video editing terminal 30. The moving image editing terminal 30 can use a general information processing apparatus in which Web browser software is installed.
ここで、動画編集サーバ２０が扱う動画編集について図２を参照して説明する。本実施形態において、編集を施してない編集前動画は、図２（ａ）に示すように、１または複数個のショットから構成されている。ショットは、切れ目なく連続して撮影された映像のまとまりである。編集動作では、まず、ショットから一部分であるシーンを複数個抽出する。抽出されたシーンの連続が編集後の動画の基本となる。なお、１つの編集後の動画に対して、複数の編集前動画からシーンを抽出してもよい。 Here, the video editing handled by the video editing server 20 will be described with reference to FIG. In this embodiment, the unedited moving image that has not been edited is composed of one or a plurality of shots as shown in FIG. A shot is a group of videos taken continuously without a break. In the editing operation, first, a plurality of scenes that are a part are extracted from a shot. The sequence of extracted scenes is the basis of the edited movie. Note that a scene may be extracted from a plurality of pre-editing moving images with respect to one edited moving image.
そして、図２（ｂ）に示すように、抽出したシーンに対してエフェクトを割り当てる。エフェクトは複数のシーンにまたがっていたり、１つのシーンに複数個割り当ててもよい。ここで、エフェクトは、映像効果であり、映像の色調を調整したりぼかしたりするフィルタと、シーンの切り換え部分に適用するディゾルブ等のトランジションとに区分される。フィルタ、トランジションとも複数の種類を有している。もちろん、これ以外のエフェクトを用いるようにしてもよい。 Then, as shown in FIG. 2B, an effect is assigned to the extracted scene. Effects may extend over a plurality of scenes, or a plurality of effects may be assigned to one scene. Here, the effect is a video effect, and is divided into a filter for adjusting or blurring the color tone of the video, and a transition such as a dissolve applied to a scene switching portion. There are multiple types of filters and transitions. Of course, other effects may be used.
さらに、図２（ｃ）に示すように、抽出したシーンに対して修飾コンテンツを割り当てる。これにより、編集後の動画、すなわち編集動画が完成する。ここで、修飾コンテンツは、修飾のための静止画コンテンツ、動画コンテンツ、バックミュージックのためのオーディオコンテンツとする。もちろん、これ以外の修飾コンテンツを用いるようにしてもよい。 Further, as shown in FIG. 2C, the modified content is assigned to the extracted scene. Thereby, the edited moving image, that is, the edited moving image is completed. Here, the modified content is still image content for modification, moving image content, and audio content for back music. Of course, other modified content may be used.
図３は、動画編集サーバ２０の機能構成を示すブロック図である。本図に示すように、動画編集サーバ２０は、通信部２１０、Ｗｅｂサーバ部２２０、再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０、編集情報分析部２６０、自動編集実行部２７０、記憶部２８０を備えている。 FIG. 3 is a block diagram showing a functional configuration of the moving image editing server 20. As shown in the figure, the moving image editing server 20 includes a communication unit 210, a Web server unit 220, a playback interface unit 230, a manual editing interface unit 240, an automatic editing interface unit 250, an editing information analysis unit 260, and an automatic editing execution unit 270. A storage unit 280 is provided.
動画編集サーバ２０は、ＣＰＵ、メモリ、ハードディスク、通信装置等を備えたサーバコンピュータを用いて構成することができる。このとき、複数台の装置に機能を分散させて構成してもよい。また、本実施形態では、Ｗｅｂサービスをインタフェースとして、コンピュータネットワーク４０を介して動画編集端末３０からの操作を受け付ける構成としているが、スタンドアロンの動画編集装置として構成してもよい。 The moving image editing server 20 can be configured using a server computer including a CPU, a memory, a hard disk, a communication device, and the like. At this time, the functions may be distributed to a plurality of devices. In the present embodiment, the Web service is used as an interface and an operation from the moving image editing terminal 30 is received via the computer network 40. However, the Web service may be configured as a stand-alone moving image editing apparatus.
通信部２１０は、コンピュータネットワーク４０を介した動画編集端末３０との通信を行なう。Ｗｅｂサーバ部２２０は、動画編集端末３０にＷｅｂサービスを提供し、動画編集端末３０からの要求を受信する。そして、要求に応じたメッセージを再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０に供給する。また、Ｗｅｂサーバ部２２０は、再生インタフェース部２３０、手動編集インタフェース部２４０、自動編集インタフェース部２５０からの応答メッセージを動画編集端末３０に出力する。 The communication unit 210 communicates with the moving image editing terminal 30 via the computer network 40. The web server unit 220 provides a web service to the video editing terminal 30 and receives a request from the video editing terminal 30. Then, a message according to the request is supplied to the reproduction interface unit 230, the manual editing interface unit 240, and the automatic editing interface unit 250. In addition, the Web server unit 220 outputs response messages from the playback interface unit 230, the manual editing interface unit 240, and the automatic editing interface unit 250 to the moving image editing terminal 30.
記憶部２８０は、ハードディスク等の記憶装置により構成することができ、編集前動画記憶部２８１、修飾コンテンツ記憶部２８２、編集情報記憶部２８３を備えている。 The storage unit 280 can be configured by a storage device such as a hard disk, and includes a pre-edit moving image storage unit 281, a modified content storage unit 282, and an editing information storage unit 283.
編集前動画記憶部２８１は、編集前動画を識別子である編集前動画ＩＤと対応付けるとともに、編集前動画を構成するショットを識別子であるショットＩＤと対応付けて記憶する。編集前動画は、ユーザが動画編集端末３０からアップロードすることができる。また、動画編集サーバ２０の運営者があらかじめ見本用に格納しておいてもよい。あるいは、動画編集端末３０を介さずに、ビデオカメラ、Ｗｅｂカメラ等から直接アップロードできるようにしてもよい。なお、ショットＩＤはすべての編集前動画においてショットを一意に識別する。すなわち、編集前動画記憶部２８１に複数の編集前動画が記憶されている場合に、それぞれが別の編集前動画を構成している複数のショットに同一のショットＩＤが対応付けられることはない。 The pre-edit video storage unit 281 associates the pre-edit video with the pre-edit video ID as an identifier, and stores the shots constituting the pre-edit video in association with the shot ID as an identifier. The pre-editing video can be uploaded from the video editing terminal 30 by the user. Further, the operator of the moving image editing server 20 may store the sample beforehand. Or you may enable it to upload directly from a video camera, a web camera, etc. not via the moving image editing terminal 30. FIG. The shot ID uniquely identifies a shot in all the pre-editing moving images. That is, in the case where a plurality of pre-editing moving images are stored in the pre-editing moving image storage unit 281, the same shot ID is not associated with a plurality of shots that respectively constitute different pre-editing moving images.
修飾コンテンツ記憶部２８２は、修飾コンテンツを識別子である修飾コンテンツＩＤと対応付けて記憶する。修飾コンテンツは、ユーザが動画編集端末３０からアップロードすることができる。また、動画編集サーバ２０の運営者が汎用的な修飾コンテンツをあらかじめ格納しておいてもよい。 The modified content storage unit 282 stores the modified content in association with the modified content ID that is an identifier. The user can upload the modified content from the video editing terminal 30. Moreover, the operator of the moving image editing server 20 may store general modified content in advance.
編集情報記憶部２８３は、編集情報を識別子である編集動画ＩＤと対応付けて記憶する。ここで、編集情報について図４を参照して説明する。編集情報は、シーン情報部、エフェクト情報部、修飾情報部を含んでいる。 The editing information storage unit 283 stores the editing information in association with the editing video ID that is an identifier. Here, the editing information will be described with reference to FIG. The editing information includes a scene information part, an effect information part, and a modification information part.
シーン情報部は、複数のシーン情報を含んでおり、それぞれのシーン情報は、編集前動画記憶部２８１に記憶されている編集前動画を構成するショットの識別子である「ショットＩＤ」、ショットＩＤで識別されるショットにおけるシーン抽出開始位置をショットの先頭からの相対時間で示す「シーン開始位置」、シーンの時間長を示す「シーン長」を含んでいる。 The scene information section includes a plurality of pieces of scene information, and each piece of scene information includes a “shot ID” and a shot ID that are identifiers of shots constituting the pre-editing video stored in the pre-editing video storage unit 281. It includes a “scene start position” indicating the scene extraction start position in the identified shot as a relative time from the head of the shot, and a “scene length” indicating the time length of the scene.
エフェクト情報部は、複数のエフェクト情報を含んであり、それぞれのエフェクト情報は、適用するエフェクトの種別を示す「エフェクト種別」、編集後の動画におけるエフェクトの開始時間を示す「エフェクト開始位置」、エフェクトを継続する時間長を示す「エフェクト長」を含んでいる。「エフェクト種別」には、エフェクト強度等を示す各種パラメータを含めることができる。 The effect information section includes a plurality of effect information. Each effect information includes an “effect type” indicating the type of effect to be applied, an “effect start position” indicating the effect start time in the edited video, and an effect. It includes “effect length” that indicates the length of time to continue. The “effect type” can include various parameters indicating the effect intensity and the like.
修飾情報部は、複数の修飾情報を含んでおり、それぞれの修飾情報は、付加するコンテンツを示す「コンテンツＩＤ」、編集後の動画におけるコンテンツ開始時間を示す「修飾開始位置」、コンテンツ付加の時間長を示す「修飾長」を含んでいる。 The decoration information portion includes a plurality of pieces of decoration information, and each piece of decoration information includes “content ID” indicating the content to be added, “modification start position” indicating the content start time in the edited video, and content addition time. It includes a “qualification length” indicating the length.
本実施形態では、編集動画のストリーミングやダウンロード時に、編集情報に基づいて編集前動画および修飾コンテンツを用いてリアルタイムで編集動画を生成する構成を想定しているが、記憶部２８０に編集動画を記録する領域を設け、動画編集時にあらかじめ編集動画を生成して記録しておき、ストリーミングやダウンロード時には記録された編集動画を読み出すようにしてもよい。 In the present embodiment, it is assumed that the edited video is generated in real time using the pre-edit video and the modified content based on the editing information when the edited video is streamed or downloaded, but the edited video is recorded in the storage unit 280. It is also possible to provide an area to be created, generate and record the edited moving image in advance when editing the moving image, and read the recorded edited moving image when streaming or downloading.
図３の説明に戻って、再生インタフェース部２３０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画再生の指示を受け付けると、指示に係る編集動画を特定し、特定された編集動画に対応した編集情報を編集情報記憶部２８３から読み出す。そして、読み出した編集情報にしたがって編集前動画および修飾コンテンツを用いて編集動画を生成し、ユーザの動画編集端末３０に出力する。具体的には、編集前動画から編集情報で指定されているシーンを抽出し、編集情報で指定されているエフェクトを施し、編集情報で指定されている修飾コンテンツを付加して編集動画を生成する。この結果、ユーザの動画編集端末３０では、編集動画が再生されることになる。なお、再生はストリーミングやダウンロードにより行なうことができる。 Returning to the description of FIG. 3, when the playback interface unit 230 receives a video playback instruction from the video editing terminal 30 of the user via the Web server unit 220, the playback interface unit 230 specifies the edited video related to the instruction, and the specified edited video Is read from the edit information storage unit 283. Then, an edited moving image is generated using the pre-edited moving image and the modified content according to the read editing information, and is output to the user's moving image editing terminal 30. Specifically, the scene specified by the editing information is extracted from the pre-editing video, the effect specified by the editing information is applied, and the modified content specified by the editing information is added to generate the edited video. . As a result, the edited moving image is reproduced on the moving image editing terminal 30 of the user. Note that the reproduction can be performed by streaming or downloading.
手動編集インタフェース部２４０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画手動編集の指示を受け付けると、あらかじめ用意してある編集ツールをユーザの動画編集端末３０に提供して、編集前動画および修飾コンテンツを用いた任意の編集操作を受け付ける。そして、編集操作に基づいて編集情報を生成し、編集情報記憶部２８３に記憶させる。手動編集インタフェース部２４０は、従来の技術を用いて構成することができる。 When the manual editing interface unit 240 receives an instruction for manual video editing from the user's video editing terminal 30 via the Web server unit 220, the manual editing interface unit 240 provides the editing tool prepared in advance to the user's video editing terminal 30 for editing. An arbitrary editing operation using the previous moving image and the modified content is accepted. Then, editing information is generated based on the editing operation, and is stored in the editing information storage unit 283. The manual editing interface unit 240 can be configured using a conventional technique.
自動編集インタフェース部２５０は、Ｗｅｂサーバ部２２０を介してユーザの動画編集端末３０から動画自動編集の指示を受け付けると、指示に係るサンプル動画と編集対象の編集前動画を特定する。ここで、サンプル動画は、編集動画のうち、ユーザが手本としたい編集を行なっている動画である。すなわち、ユーザは、動画自動編集の指示を行なう場合、編集対象とする編集前動画と、手本とする編集動画とをＷｅｂブラウザ上で指定する。手本とする編集動画は、例えば、再生インタフェース部２３０を用いて探し出すことができる。手本とする編集動画、すなわちサンプル動画は複数であってもよい。 When the automatic editing interface unit 250 receives an instruction for automatic video editing from the user's video editing terminal 30 via the Web server unit 220, the automatic editing interface unit 250 specifies a sample moving image related to the instruction and a pre-editing video to be edited. Here, the sample moving image is a moving image that is edited by the user as an example of the edited moving image. That is, when the user instructs to automatically edit the moving image, the user designates the pre-editing moving image to be edited and the edited moving image as a model on the Web browser. An edited moving image as a model can be searched using the playback interface unit 230, for example. There may be a plurality of edited moving images, ie, sample moving images.
そして、自動編集インタフェース部２５０は、指定されたサンプル動画に対応する編集情報を編集情報記憶部２８３から読み出し、編集情報分析部２６０に分析させる。編集情報分析部２６０は、サンプル動画に対応する編集情報に含まれるシーン情報のショットＩＤで識別されるショットを編集前動画記憶部２８１から読み出して分析に用いる。 Then, the automatic editing interface unit 250 reads editing information corresponding to the designated sample moving image from the editing information storage unit 283 and causes the editing information analysis unit 260 to analyze it. The editing information analysis unit 260 reads the shot identified by the shot ID of the scene information included in the editing information corresponding to the sample moving image from the pre-editing moving image storage unit 281 and uses it for analysis.
さらに、自動編集インタフェース部２５０は、この分析結果を用いて、指定された編集前動画に対する自動編集を自動編集実行部２７０に行なわせる。そして、自動編集の結果として編集情報を生成し、編集情報記憶部２８３に記憶させる。自動編集による編集動画は、手動編集による編集動画と同様にユーザの動画編集端末３０からストリーミングやダウンロードにより再生することができる。 Further, the automatic editing interface unit 250 causes the automatic editing execution unit 270 to perform automatic editing on the designated pre-editing moving image using the analysis result. Then, editing information is generated as a result of automatic editing, and is stored in the editing information storage unit 283. The edited moving image by automatic editing can be reproduced by streaming or downloading from the moving image editing terminal 30 of the user, similarly to the edited moving image by manual editing.
編集情報分析部２６０は、ユーザが指定したサンプル動画の編集情報の分析を行なう。このため、編集情報分析部２６０は、シーン情報の分析を行なうシーン情報分析部２６１、エフェクト情報の分析を行なうエフェクト情報分析部２６２、修飾情報の分析を行なう修飾情報分析部２６３を備えている。 The editing information analysis unit 260 analyzes the editing information of the sample moving image designated by the user. Therefore, the edit information analysis unit 260 includes a scene information analysis unit 261 that analyzes scene information, an effect information analysis unit 262 that analyzes effect information, and a modification information analysis unit 263 that analyzes modification information.
自動編集実行部２７０は、編集情報分析部２６０の分析結果に基づいて、ユーザが指定した編集前動画の編集を実行し、編集情報を生成する。このため、自動編集実行部２７０は、シーンの抽出を行なうシーン抽出部２７１、エフェクトの割当を行なうエフェクト割当部２７２、修飾コンテンツの割当を行なう修飾割当部２７３を備えている。
＜動画自動編集動作＞
Based on the analysis result of the editing information analysis unit 260, the automatic editing execution unit 270 executes editing of the pre-editing moving image designated by the user and generates editing information. Therefore, the automatic editing execution unit 270 includes a scene extraction unit 271 that extracts a scene, an effect assignment unit 272 that assigns an effect, and a modification assignment unit 273 that assigns a modified content.
<Automatic video editing operation>
次に、図５のフローチャートを参照して、動画編集サーバ２０における動画自動編集動作の概要について説明する。この一連の動作は、自動編集インタフェース部２５０が制御する。動画自動編集動作では、まず、Ｗｅｂサーバ部２２０を介して、ユーザから編集対象の編集前動画の指定を受け付ける（Ｓ１）。また、サンプル動画、すなわち編集の手本とする編集動画の指定を受け付ける（Ｓ２）。自動編集インタフェース部２５０は、サンプル動画の指定を受け付けると、編集情報記憶部２８３に格納されているサンプル動画の編集情報を特定する。 Next, the outline of the moving image automatic editing operation in the moving image editing server 20 will be described with reference to the flowchart of FIG. This series of operations is controlled by the automatic editing interface unit 250. In the automatic video editing operation, first, designation of a pre-editing video to be edited is received from the user via the Web server unit 220 (S1). Also, the specification of a sample moving image, that is, an edited moving image as an example of editing is accepted (S2). When receiving the designation of the sample moving image, the automatic editing interface unit 250 specifies the editing information of the sample moving image stored in the editing information storage unit 283.
そして、編集情報分析部２６０が、サンプル動画の編集情報の分析を行なう（Ｓ３）。編集情報の分析が終了すると、自動編集実行部２７０のシーン抽出部２７１が、編集対象の動画からシーンを抽出し（Ｓ４）、エフェクト割当部２７２が、抽出されたシーンに対してエフェクトを割り当て（Ｓ５）、修飾割当部２７３が、抽出されたシーンに対して修飾コンテンツを割り当てる（Ｓ６）ことで、自動編集が行なわれる。
＜編集情報分析動作＞
Then, the editing information analysis unit 260 analyzes the editing information of the sample moving image (S3). When the analysis of the editing information is completed, the scene extraction unit 271 of the automatic editing execution unit 270 extracts a scene from the moving image to be edited (S4), and the effect assignment unit 272 assigns an effect to the extracted scene ( S5) The modification assigning unit 273 assigns the modified content to the extracted scene (S6), so that automatic editing is performed.
<Edited information analysis operation>
サンプル動画の編集情報の分析（Ｓ３）の詳細な手順について、図６のフローチャートを参照して説明する。本図に示すようにサンプル動画の編集情報の分析では、シーン情報の分析（Ｓ３１〜Ｓ３６）と、エフェクト情報の分析（Ｓ３７）と修飾情報の分析（Ｓ３８）が行なわれる。 The detailed procedure of the analysis information (S3) of the sample moving image will be described with reference to the flowchart of FIG. As shown in the figure, in the analysis of the editing information of the sample moving image, scene information analysis (S31 to S36), effect information analysis (S37), and modification information analysis (S38) are performed.
シーン情報の分析では、複数の項目に分けて分析を行なう。本実施形態では６つの項目に分けるが、これらのうち一部の項目を抽出して行なったり、他の項目を追加してシーン情報の分析を行なうようにしてもよい。 In the scene information analysis, the analysis is divided into a plurality of items. In this embodiment, it is divided into six items, but some of these items may be extracted, or other items may be added to analyze the scene information.
まず、シーン情報の分析として、シーン長の平均と分散とを算出する（Ｓ３１）。図７（ａ）は、シーン長の平均と分散の算出処理を説明する図である。本図の例では、サンプル動画が１４２個のシーンから構成されている。シーン長の平均は、これらのシーンの時間長の平均値であり、シーン長分散は、これらのシーンの時間長の分散値である。この分析により、サンプル動画のシーンの平均的な長さと、長さのバラツキを指標化することができる。 First, as an analysis of scene information, an average and variance of scene lengths are calculated (S31). FIG. 7A is a diagram for explaining the process of calculating the average and variance of the scene length. In the example of this figure, the sample moving image is composed of 142 scenes. The average of the scene length is an average value of the time lengths of these scenes, and the scene length variance is a variance value of the time lengths of these scenes. By this analysis, the average length of the scene of the sample moving image and the variation in length can be indexed.
シーン長の平均と分散とを算出する（Ｓ３１）と、シーン長の変化傾向を分析する（Ｓ３２）。図７（ｂ）は、シーン長の変化傾向の分析処理を説明する図である。シーン長の変化傾向の分析では、サンプル動画を時間軸で複数のブロックに分割し、それぞれのブロックについてシーン長の平均値を算出する。これにより、開始部分や中盤部分、終了部分等の再生部分によってシーン長がどのように変化するかを指標化することができる。本図の例では、サンプル動画を等間隔で１０個のブロックに分割し、それぞれのブロックに含まれるシーンのシーン長平均を算出している。 When the average and variance of the scene length are calculated (S31), the change tendency of the scene length is analyzed (S32). FIG. 7B is a diagram for explaining a scene length change trend analysis process. In the analysis of the change tendency of the scene length, the sample moving image is divided into a plurality of blocks on the time axis, and an average value of the scene length is calculated for each block. Thereby, it is possible to index how the scene length changes depending on the reproduction part such as the start part, the middle part, and the end part. In the example of this figure, the sample moving image is divided into 10 blocks at equal intervals, and the scene length average of the scenes included in each block is calculated.
次に、シーン間隔を分析する（Ｓ３３）。図８（ａ）は、シーン間隔の分析処理を説明する図である。シーン間隔は、サンプル動画のシーンの抽出元である編集前動画のショットを対象に分析し、各シーンにおいてショットのどの位置から抽出されているかの傾向を指標化するための分析である。このため、サンプル動画の各シーンについて、シーン抽出元のショットにおいてそのシーンより前から抽出されたシーンがない場合は、ショットの開始からシーンが開始するまでの時間Ａを算出し、他のシーンについては直前のシーンとの間隔Ｂを算出する。そして、シーン間隔平均値として、サンプル動画の編集前動画全体の平均値を、間隔Ａ、間隔Ｂ毎に算出する。なお、図８（ａ）はサンプル動画のすべてのシーンが１つの編集前動画（サンプル編集前動画）から抽出される例を示しているが、シーンが複数の編集前動画から抽出される場合も同様である。 Next, the scene interval is analyzed (S33). FIG. 8A is a diagram for explaining scene interval analysis processing. The scene interval is an analysis for analyzing a shot of a pre-editing moving image that is an extraction source of a sample moving image, and indexing a tendency from which position of the shot is extracted in each scene. Therefore, for each scene of the sample video, if there is no scene extracted before that scene in the scene extraction source shot, the time A from the start of the shot to the start of the scene is calculated, and the other scenes are calculated. Calculates the interval B with the immediately preceding scene. Then, the average value of the entire pre-editing moving image of the sample moving image is calculated for each interval A and B as the scene interval average value. FIG. 8A shows an example in which all scenes of the sample video are extracted from one pre-edit video (sample pre-edit video). However, there are cases where scenes are extracted from a plurality of pre-edit videos. It is the same.
次に、シーン明るさ分析を行なう（Ｓ３４）。シーン明るさ分析は、抽出されたシーンが、ショットの中で比較的明るい部分が抽出されたものか、比較的暗い部分が抽出されたものかを把握するために行なう分析である。図８（ｂ）は、シーン明るさ分析処理を説明する図である。また、図９は、シーン明るさ分析処理の手順を説明するフローチャートである。なお、図８（ｂ）はサンプル動画のすべてのシーンが１つの編集前動画（サンプル編集前動画）から抽出される例を示しているが、シーンが複数の編集前動画から抽出される場合も同様である。 Next, scene brightness analysis is performed (S34). The scene brightness analysis is an analysis performed for grasping whether the extracted scene is one in which a relatively bright part or a relatively dark part is extracted in a shot. FIG. 8B illustrates the scene brightness analysis process. FIG. 9 is a flowchart for explaining the procedure of the scene brightness analysis process. FIG. 8B shows an example in which all scenes of the sample video are extracted from one pre-edit video (sample pre-edit video). However, there are cases where scenes are extracted from a plurality of pre-edit videos. It is the same.
シーン明るさ分析処理では、サンプル動画のシーン抽出元の各ショットについて抽出されたシーンとそのショット全体の明るさ比較を行なうため、まず、対象ショットを設定する（Ｓ３４１）。対象ショットは、シーン抽出元のショットを任意の順序で順次設定すればよい。なお、ショットから複数のシーンが抽出されている場合でも、そのショットは対象ショットとして１回だけ設定する。 In the scene brightness analysis process, in order to compare the brightness of the scene extracted from each shot of the scene extraction source of the sample moving image and the entire shot, first, a target shot is set (S341). The target shot may be set sequentially in any order from the scene extraction source shots. Even when a plurality of scenes are extracted from a shot, the shot is set only once as a target shot.
そして、対象ショット全体の明るさを算出する（Ｓ３４２）。これは、対象ショットを構成する全フレームに含まれる画素の輝度値の平均を算出すればよい。次に、対象ショットに含まれるシーンの明るさを算出する（Ｓ３４３）。これは、対象ショットに含まれるシーンを構成する全フレームに含まれる画素の輝度値の平均を算出すればよい。対象ショットに複数のシーンが含まれる場合には、すべてのシーンを合わせた平均値とする。 Then, the brightness of the entire target shot is calculated (S342). This may be done by calculating the average of the luminance values of the pixels included in all frames constituting the target shot. Next, the brightness of the scene included in the target shot is calculated (S343). This may be done by calculating the average of the luminance values of the pixels included in all frames constituting the scene included in the target shot. When the target shot includes a plurality of scenes, the average value of all scenes is taken.
そして、対象ショット全体の明るさからシーンの明るさを引いた値を算出して、対象ショット明るさ差とする（Ｓ３４４）。対象ショット明るさ差が正の大きな値であるほど、抽出されたシーンが、ショットの中で暗い部分が抽出されたものであることを示し、対象ショット明るさ差が負の大きな値であるほど、抽出されたシーンが、ショットの中で明るい部分が抽出されたものであることを示すことになる。 Then, a value obtained by subtracting the brightness of the scene from the brightness of the entire target shot is calculated as the target shot brightness difference (S344). The higher the target shot brightness difference is, the more positive the value is, and the more the extracted scene is, the darker part of the shot is extracted. The extracted scene indicates that a bright part is extracted from the shot.
以上の対象ショット明るさ差算出処理をシーン抽出元のすべてのショットについて繰り返す（Ｓ３４５）。そして、シーン抽出元のすべてのショットのショット明るさ差の平均値を算出し、ショット明るさ差平均とする（Ｓ３４６）。 The above target shot brightness difference calculation process is repeated for all shots from which scenes are extracted (S345). Then, the average value of the shot brightness differences of all the shots from which the scene is extracted is calculated as the shot brightness difference average (S346).
図６のフローチャートの説明に戻って、次に、シーン動き分析を行なう（Ｓ３５）。シーン動き分析は、抽出されたシーンが、ショットの中で比較的動きのある部分が抽出されたものか、比較的動きのない部分が抽出されたものかを把握するために行なう分析である。シーン動き分析の手順は、シーン明るさ分析処理の手順と同様に行なうことができ、明るさを示す輝度値の平均に替えて、ショットおよびシーンに含まれる映像のオプティカルフローを検出し、動きの大きさの平均を算出することで動きの大きさを指標化する。ただし、他の方法を用いて動きの大きさを指標化するようにしてもよい。そして、シーン抽出元のショット毎のショットの動きの大きさとシーンの動きの大きさとの差を算出してから、シーン抽出元のすべてのショットの平均値であるショット動きの大きさ差平均を算出する。 Returning to the description of the flowchart of FIG. 6, next, scene motion analysis is performed (S35). The scene motion analysis is an analysis performed for grasping whether the extracted scene is a portion where a relatively moving portion is extracted or a portion where a relatively non-moving portion is extracted. The procedure of scene motion analysis can be performed in the same manner as the procedure of scene brightness analysis processing. Instead of the average luminance value indicating brightness, the optical flow of the video included in shots and scenes is detected, and the motion is analyzed. The magnitude of movement is indexed by calculating the average of the magnitudes. However, the magnitude of movement may be indexed using other methods. Then, after calculating the difference between the shot motion size and the scene motion size for each shot from the scene extraction source, calculate the average difference in shot motion, which is the average value of all shots from the scene extraction source. To do.
この結果、ショット動きの大きさ差平均が正の大きな値であるほど、抽出されたシーンが、ショットの中で動きの少ない部分が抽出されたものであることを示し、ショット動きの大きさ差平均が負の大きな値であるほど、抽出されたシーンが、ショットの中で動きの多い部分が抽出されたものであることを示すことになる。 As a result, the larger the average difference in shot motion is, the larger the positive value, the more the extracted scene is extracted from the part with less motion in the shot. The larger the average value is, the more the extracted scene indicates that a part with a lot of motion in the shot is extracted.
次に、シーン音量分析を行なう（Ｓ３５）。シーン音量分析は、抽出されたシーンが、ショットの中で比較的音の大きな部分が抽出されたものか、比較的音の小さな部分が抽出されたものかを把握するために行なう分析である。シーン音量分析の手順は、シーン明るさ分析処理の手順と同様に行なうことができる。ただし、映像データに付随する音声データを用いるようにする。また、明るさの評価である輝度値の平均に替えて、ショットおよびシーンに含まれる音声の音量レベルを検出し、平均を算出することで音量を指標化し、シーン抽出元のショット毎のショット音量とシーン音量との差を算出してから、シーン抽出元のすべてのショットの平均値であるショット音量差平均を算出する。 Next, scene volume analysis is performed (S35). The scene sound volume analysis is an analysis performed for grasping whether an extracted scene is a part in which a relatively loud sound is extracted or a part in which a relatively low sound is extracted in a shot. The procedure of scene volume analysis can be performed in the same manner as the procedure of scene brightness analysis processing. However, audio data accompanying the video data is used. In addition, instead of averaging the brightness value, which is an evaluation of brightness, the volume level of the sound included in the shot and the scene is detected, the average is calculated, the volume is indexed, and the shot volume for each shot from which the scene is extracted After calculating the difference between the scene volume and the scene volume, the average shot volume difference, which is the average value of all shots from the scene extraction source, is calculated.
この結果、ショット音量差平均が正の大きな値であるほど、抽出されたシーンが、ショットの中で音量の小さな部分が抽出されたものであることを示し、ショット音量差平均が負の大きな値であるほど、抽出されたシーンが、ショットの中で音量の大きな部分が抽出されたものであることを示すことになる。 As a result, the larger the positive shot volume difference value, the more the extracted scene is the one with the lower volume extracted from the shot, and the negative shot volume difference value is a large negative value. The higher the value, the more the extracted scene indicates that the part with the loudest volume in the shot is extracted.
以上の手順によりシーン情報の分析を行なうと、エフェクト情報の分析を行なう（図６：Ｓ３７）。図１０は、エフェクト情報の分析手順を説明するフローチャートである。また、図１１（ａ）は、エフェクト情報の分析処理を説明する図である。エフェクト情報の分析処理では、サンプル動画においてエフェクトがどのように適用されているかをフィルタとトランジションとに分けて分析する。 When the scene information is analyzed according to the above procedure, the effect information is analyzed (FIG. 6: S37). FIG. 10 is a flowchart for explaining the analysis procedure of the effect information. FIG. 11A is a diagram for explaining the analysis process of the effect information. In the analysis process of the effect information, the effect applied to the sample moving image is analyzed by dividing it into a filter and a transition.
このため、サンプル動画を時間軸上で複数の等間隔ブロックに分割する（Ｓ３７１）。本例では、図１１（ａ）に示すように、１０個のブロックに分割する。そして、対象ブロックを設定する（Ｓ３７２）。対象ブロックは先頭のブロックから順次設定すればよい。 Therefore, the sample moving image is divided into a plurality of equally spaced blocks on the time axis (S371). In this example, as shown in FIG. 11A, the block is divided into 10 blocks. Then, the target block is set (S372). The target block may be set sequentially from the first block.
次いで、対象ブロックでのフィルタ適用確率を算出する（Ｓ３７３）。フィルタ適用確率は、対象ブロック内でフィルタが適用されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。 Next, the filter application probability in the target block is calculated (S373). The filter application probability is calculated by dividing the number of scenes to which the filter is applied in the target block by the number of scenes included in the target block.
次に、対象ブロックでのフィルタ種別毎の使用頻度を算出する（Ｓ３７４）。フィルタ種別毎の使用頻度は、対象ブロックで適用されているフィルタについてフィルタ種別毎の適用回数を求め、合計が１となるように正規化して算出する。 Next, the usage frequency for each filter type in the target block is calculated (S374). The frequency of use for each filter type is calculated by obtaining the number of times of application for each filter type for the filter applied in the target block and normalizing the total so as to be 1.
フィルタと同様に、対象ブロックでのトランジション適用確率を算出する（Ｓ３７５）。トランジション適用確率は、対象ブロック内でトランジションが適用されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。 Similar to the filter, the transition application probability in the target block is calculated (S375). The transition application probability is calculated by dividing the number of scenes to which the transition is applied in the target block by the number of scenes included in the target block.
また、対象ブロックでのトランジション種別毎の使用頻度を算出する（Ｓ３７６）。トランジション種別毎の使用頻度は、対象ブロックで適用されているトランジションについてトランジション種別毎の適用回数を求め、合計が１となるように正規化して算出する。 Further, the use frequency for each transition type in the target block is calculated (S376). The usage frequency for each transition type is calculated by obtaining the number of times of application for each transition type for the transition applied in the target block and normalizing the total so as to be 1.
以上の処理をすべてのブロックについて繰り返し（Ｓ３７７）、ブロック毎のフィルタ適用確率、フィルタ種別毎の使用頻度、トランジション適用確率、トランジション種別毎の使用頻度を算出する。 The above processing is repeated for all blocks (S377), and the filter application probability for each block, the use frequency for each filter type, the transition application probability, and the use frequency for each transition type are calculated.
以上の手順によりエフェクト情報の分析を行なうと、修飾情報の分析を行なう（図６：Ｓ３７）。図１２は、修飾情報の分析手順を説明するフローチャートである。また、図１１（ｂ）は、修飾情報の分析処理を説明する図である。修飾情報の分析処理では、サンプル動画において修飾コンテンツがどのように付加されているかを静止画コンテンツと動画コンテンツとオーディオコンテンツとに分けて分析する。 When the effect information is analyzed by the above procedure, the modification information is analyzed (FIG. 6: S37). FIG. 12 is a flowchart for explaining the modification information analysis procedure. FIG. 11B is a diagram for explaining the modification information analysis process. In the modification information analysis process, how the modification content is added to the sample moving image is analyzed separately for still image content, moving image content, and audio content.
このため、サンプル動画を時間軸上で複数の等間隔ブロックに分割する（Ｓ３８１）。本例では、図１１（ｂ）に示すように、１０個のブロックに分割する。そして、対象ブロックを設定する（Ｓ３８２）。対象ブロックは先頭のブロックから順次設定すればよい。 Therefore, the sample moving image is divided into a plurality of equally spaced blocks on the time axis (S381). In this example, as shown in FIG. 11B, the block is divided into 10 blocks. Then, the target block is set (S382). The target block may be set sequentially from the first block.
次いで、対象ブロックでの静止画コンテンツ付加確率を算出する（Ｓ３８３）。静止画コンテンツ付加確率は、対象ブロック内で静止画コンテンツが付加されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。 Next, the still image content addition probability in the target block is calculated (S383). The still image content addition probability is calculated by dividing the number of scenes to which still image content is added in the target block by the number of scenes included in the target block.
次に、対象ブロックでの静止画コンテンツ毎の使用頻度を算出する（Ｓ３８４）。静止画コンテンツ毎の使用頻度は、対象ブロックで付加されている静止画コンテンツについて静止画コンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。 Next, the usage frequency for each still image content in the target block is calculated (S384). The usage frequency for each still image content is calculated by obtaining the number of times of application for each still image content for the still image content added in the target block and normalizing the total so as to be 1.
静止画コンテンツと同様に、対象ブロックでの動画コンテンツ付加確率を算出する（Ｓ３８５）。動画コンテンツ付加確率は、対象ブロック内で動画コンテンツが付加されているシーンの数を対象ブロックに含まれるシーンの数で割ることにより算出する。 Similar to the still image content, the moving image content addition probability in the target block is calculated (S385). The moving image content addition probability is calculated by dividing the number of scenes to which moving image content is added in the target block by the number of scenes included in the target block.
また、対象ブロックでの動画コンテンツ毎の使用頻度を算出する（Ｓ３８６）。動画コンテンツ毎の使用頻度は、対象ブロックで付加されている動画コンテンツについて動画コンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。 Further, the use frequency for each moving image content in the target block is calculated (S386). The usage frequency for each moving image content is calculated by obtaining the number of times of application for each moving image content with respect to the moving image content added in the target block and normalizing the sum so that the sum is 1.
以上の処理をすべてのブロックについて繰り返し（Ｓ３８７）、ブロック毎の静止画コンテンツ付加確率、静止画コンテンツ毎の使用頻度、動画コンテンツ付加確率、動画コンテンツ毎の使用頻度を算出する。 The above processing is repeated for all blocks (S387), and the still image content addition probability for each block, the usage frequency for each still image content, the moving image content addition probability, and the usage frequency for each moving image content are calculated.
次に、サンプル動画のオーディオコンテンツ付加確率を算出する（Ｓ３８８）。すなわち、オーティオコンテンツについてはブロック単位ではなく、サンプル動画単位で確率を算出する。このため、サンプル動画が１つの場合、オーディオコンテンツ付加確率は、サンプル動画にオーディオコンテンツが付加されていれば１００％であり、付加されていなければ０％となる。サンプル動画が複数の場合は、オーディオコンテンツが付加されている動画の数をサンプル動画の数で割ることによりオーディオコンテンツ付加確率を算出する。 Next, the audio content addition probability of the sample moving image is calculated (S388). That is, for audio content, the probability is calculated not in units of blocks but in units of sample moving images. For this reason, when there is one sample moving image, the audio content addition probability is 100% if audio content is added to the sample moving image, and is 0% if not added. When there are a plurality of sample moving images, the audio content addition probability is calculated by dividing the number of moving images to which audio content is added by the number of sample moving images.
また、サンプル動画のオーディオコンテンツ毎の使用頻度を算出する（Ｓ３８９）。オーディオコンテンツ毎の使用頻度は、サンプル動画で付加されているオーディオコンテンツについてオーディオコンテンツ毎の適用回数を求め、合計が１となるように正規化して算出する。
＜自動編集実行動作：シーン抽出＞
Also, the usage frequency for each audio content of the sample moving image is calculated (S389). The usage frequency for each audio content is calculated by obtaining the number of times of application for each audio content with respect to the audio content added in the sample moving image and normalizing the total so as to be 1.
<Automatic editing execution operation: scene extraction>
次に、自動編集実行部２７０が行なう自動編集実行動作について説明する。まず、編集対象の編集前動画からシーンを抽出する処理（図５：Ｓ４）について、図１３のフローチャートを参照して説明する。本処理は、自動編集実行部２７０のシーン抽出部２７１が制御する。 Next, an automatic editing execution operation performed by the automatic editing execution unit 270 will be described. First, the process (FIG. 5: S4) of extracting a scene from a pre-edit moving image to be edited will be described with reference to the flowchart of FIG. This process is controlled by the scene extraction unit 271 of the automatic editing execution unit 270.
まず、編集後の動画の長さを決定する（Ｓ４１）。編集後の動画の長さは、例えば、サンプル動画の長さと同一とする。サンプル動画が複数個指定されている場合は、平均の長さを編集後の動画の長さとする。あるいは、ユーザから編集後の動画の長さの指定を受け付けるようにしてもよい。 First, the length of the edited moving image is determined (S41). The length of the edited moving image is, for example, the same as the length of the sample moving image. If multiple sample videos are specified, the average length is the length of the edited video. Or you may make it receive designation | designated of the length of the moving image after an edit from a user.
以下では、編集前の動画からシーンを１つずつ抽出し、全体の長さが編集動画の長さになるまで、シーンの抽出を繰り返す（Ｓ４１１）。シーンは、必ずしも先頭から順番に抽出されるのではなく、編集前の動画の未抽出の部分から条件に合うシーンが順不同で抽出される。そして、順不同で抽出されたシーンを前から順番に並べて編集動画を構成する。 In the following, scenes are extracted one by one from the moving image before editing, and scene extraction is repeated until the entire length becomes the length of the edited moving image (S411). The scenes are not necessarily extracted in order from the top, but scenes that meet the conditions are extracted in random order from the unextracted portion of the moving image before editing. Then, an edited moving image is formed by arranging scenes extracted in any order in order.
まず、次に抽出するシーンの長さを決定する（Ｓ４２）。抽出するシーンの長さは、サンプル動画の編集情報を分析して得られたシーン長の平均と分散とに基づいて決定する。すなわち、得られたシーン長の平均と分散とに基づいた正規分布の確率分布において、乱数を発生させて次に抽出するシーンの長さを決定する。 First, the length of the next scene to be extracted is determined (S42). The length of the scene to be extracted is determined based on the average and variance of the scene length obtained by analyzing the editing information of the sample moving image. That is, in the normal probability distribution based on the average and variance of the obtained scene lengths, random numbers are generated to determine the next scene length to be extracted.
次に、抽出するシーンの候補を設定する（Ｓ４３）。抽出するシーンの候補（抽出シーン候補）の設定では、図１４に示すように、編集対象の編集前動画の各ショットから、まだ抽出されていない部分を対象に、抽出するシーンの長さ分の動画を、例えば、１秒程度の等間隔でずらしていくことにより得られる動画を抽出シーン候補とする。本図の例ではショットＫから１１個の抽出シーン候補が設定されている。 Next, scene candidates to be extracted are set (S43). In the setting of candidate scenes to be extracted (extracted scene candidates), as shown in FIG. 14, the length of the scene to be extracted is selected from the shots of the pre-edit moving image to be edited, with respect to the portions that have not yet been extracted. For example, a moving image obtained by shifting the moving image at regular intervals of about 1 second is set as an extraction scene candidate. In the example of this figure, eleven extracted scene candidates are set from the shot K.
抽出シーン候補を設定すると、各抽出シーン候補に対して、分析を行なった複数の項目に関する評価を行ない、最も評価の高い抽出シーン候補を抽出シーンとして決定する。 When extraction scene candidates are set, each extracted scene candidate is evaluated for a plurality of analyzed items, and the extraction scene candidate with the highest evaluation is determined as the extraction scene.
本実施形態では、まず、シーン長変化傾向の評価を行なう（Ｓ４４）。図１５は、シーン長変化傾向の評価手順について説明するフローチャートである。シーン長変化傾向の評価では、始めに、評価対象とする抽出シーン候補を設定する（Ｓ４４１）。評価対象とする抽出シーン候補は、前方向から順次設定すればよい。 In this embodiment, first, the scene length change tendency is evaluated (S44). FIG. 15 is a flowchart for explaining a procedure for evaluating a scene length change tendency. In the evaluation of the scene length change tendency, first, extraction scene candidates to be evaluated are set (S441). Extraction scene candidates to be evaluated may be set sequentially from the front.
次いで、対象抽出シーン候補が属するブロックを判別する（Ｓ４４２）。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。 Next, the block to which the target extraction scene candidate belongs is determined (S442). Here, the block is obtained by dividing the moving image before editing into a predetermined number at equal intervals on the time axis, and the predetermined number is the same as the number of blocks at the time of editing information analysis.
対象抽出シーン候補が属するブロックを判別すると、サンプル動画の同じブロックにおけるシーン長平均（図７（ｂ）参照）を取得し、その値を「ブロック内シーン長平均」とする（Ｓ４４３）。そして、サンプル動画全体のシーン平均長と「ブロック内シーン長平均」との差を算出する（Ｓ４４４）。この差は、サンプル動画の対応するブロックにおけるシーンの長さが、サンプル動画全体のシーンの長さと比べて特徴的であるかどうかを示すことになる。すなわち、サンプル動画の対応するブロックに含まれるシーンが比較的短いものであったり、比較的長いものであれば、この差が大きくなる。 When the block to which the target extraction scene candidate belongs is determined, the scene length average (see FIG. 7B) in the same block of the sample moving image is acquired, and the value is set as “in-block scene length average” (S443). Then, the difference between the scene average length of the entire sample moving image and the “in-block scene length average” is calculated (S444). This difference will indicate whether the scene length in the corresponding block of the sample video is characteristic compared to the scene length of the entire sample video. That is, if the scene included in the corresponding block of the sample moving image is relatively short or relatively long, this difference becomes large.
この結果、差が所定の閾値以上でなければ（Ｓ４４５：Ｎｏ）、サンプル動画の対応するブロックにおけるシーンの長さは、サンプル動画全体のシーンの長さと比べて特徴的でないため、積極的な評価は行なわず、対象抽出シーン候補の優先度評価値を０とする（Ｓ４４６）。 As a result, if the difference is not greater than or equal to the predetermined threshold (S445: No), the length of the scene in the corresponding block of the sample moving image is not characteristic compared to the length of the scene of the entire sample moving image. The priority evaluation value of the target extraction scene candidate is set to 0 (S446).
一方、差が所定の閾値以上であれば（Ｓ４４５：Ｙｅｓ）、サンプル動画の対応するブロックにおけるシーンの長さが、動画全体のシーンの長さと比べて特徴的であることを示している。そこで、対象抽出シーン候補の長さと「ブロック内シーン長平均」との差を算出する（Ｓ４４７）。 On the other hand, if the difference is equal to or greater than the predetermined threshold (S445: Yes), it indicates that the scene length in the corresponding block of the sample moving image is characteristic compared to the scene length of the entire moving image. Accordingly, the difference between the length of the target extraction scene candidate and the “average scene length in block” is calculated (S447).
この結果、差が所定の閾値以下であれば（Ｓ４４８：Ｙｅｓ）、対象抽出シーン候補の長さもサンプル動画の同じブロックと同様の特徴を有しているとして、優先度評価値を＋１とする（Ｓ４４９）。一方、差が所定の閾値以下でなければ（Ｓ４４８：Ｎｏ）、対象抽出シーン候補の長さは、サンプル動画の同じブロックの特徴を有していないとして、優先度評価値を−１とする（Ｓ４４１０）。 As a result, if the difference is equal to or smaller than the predetermined threshold (S448: Yes), the priority evaluation value is set to +1, assuming that the length of the target extraction scene candidate has the same characteristics as the same block of the sample moving image ( S449). On the other hand, if the difference is not less than or equal to the predetermined threshold (S448: No), the length of the target extraction scene candidate is determined not to have the same block feature of the sample moving image, and the priority evaluation value is set to −1 ( S4410).
以上の処理をすべての対象抽出シーン候補について繰り返し（Ｓ４４１１）、各対象抽出シーン候補についてシーン長変化傾向の優先度評価値を算出する。 The above processing is repeated for all target extraction scene candidates (S4411), and the priority evaluation value of the scene length change tendency is calculated for each target extraction scene candidate.
次に、シーン間隔の評価を行なう（図１３：Ｓ４５）。シーン間隔の評価では、各抽出シーン候補について、抽出シーン候補が含まれるショットにおいて、その抽出シーン候補より前に抽出済シーンがない場合は、その抽出シーン候補とショット先頭との間隔と、図８（ａ）における間隔Ａの平均値との差を求め、その抽出シーン候補より前に抽出済シーンがある場合は、その抽出シーン候補と抽出済シーンとの間隔と、図８（ａ）における間隔Ｂの平均値との差を求める。 Next, the scene interval is evaluated (FIG. 13: S45). In the evaluation of the scene interval, for each extracted scene candidate, when there is no extracted scene before the extracted scene candidate in the shot including the extracted scene candidate, the interval between the extracted scene candidate and the shot head, and FIG. When the difference from the average value of the interval A in (a) is obtained and there is an extracted scene before the extracted scene candidate, the interval between the extracted scene candidate and the extracted scene, and the interval in FIG. The difference from the average value of B is obtained.
そして、得られた差の大きさが所定の閾値以下である場合は、サンプル動画と同じ傾向を有しているとして、その抽出シーン候補のシーン間隔の優先度評価値を＋１とする。得られた差の大きさが所定の閾値以下でない場合は、サンプル動画と同じ傾向を有していないとして、その抽出シーン候補のシーン間隔の優先度評価値を−１とする。 If the magnitude of the obtained difference is equal to or less than a predetermined threshold value, the priority evaluation value of the scene interval of the extracted scene candidate is set to +1, assuming that it has the same tendency as the sample moving image. If the magnitude of the obtained difference is not less than or equal to the predetermined threshold value, the priority evaluation value of the scene interval of the extracted scene candidate is set to −1, assuming that it does not have the same tendency as the sample moving image.
次に、シーン明るさ評価を行なう（図１３：Ｓ４６）。図１６は、シーン明るさ評価の手順について説明するフローチャートである。シーン明るさ評価では、まず、サンプル動画のシーンは、編集前サンプル動画全体と比較して暗い場面を抽出している傾向があるかどうかを判定する（Ｓ４６１）。この判定は、処理（Ｓ３４６）で算出したショット明るさ差平均が所定の正の閾値以上であるかどうか判断すればよい。 Next, scene brightness evaluation is performed (FIG. 13: S46). FIG. 16 is a flowchart for explaining the procedure of scene brightness evaluation. In the scene brightness evaluation, first, it is determined whether or not the scene of the sample moving image has a tendency to extract a dark scene as compared with the entire sample moving image before editing (S461). This determination may be made by determining whether the shot brightness difference average calculated in the process (S346) is equal to or greater than a predetermined positive threshold.
サンプル動画のシーンは、全体よりも暗い場面を抽出している傾向がない場合は（Ｓ４６１：Ｎｏ）、サンプル動画のシーンは、全体よりも明るい場面を抽出している傾向があるかどうかを判定する（Ｓ４６２）。この判定は、処理（Ｓ３４６）で算出したショット明るさ差平均が所定の負の閾値以下であるかどうか判断すればよい。 If the sample video scene does not tend to extract a darker scene than the whole (S461: No), it is determined whether the sample video scene tends to extract a brighter scene than the whole. (S462). This determination may be made by determining whether or not the shot brightness difference average calculated in the process (S346) is equal to or less than a predetermined negative threshold.
全体よりも明るい場面を抽出している傾向もない場合は（Ｓ４６２：Ｎｏ）、サンプル動画において、抽出されたシーンの明るさに特徴は認められないため、シーン明るさの積極的な評価は行なわず、すべての抽出シーン候補について、シーン明るさの優先度評価値を０とする。 If there is no tendency to extract a brighter scene than the whole (S462: No), no characteristic is recognized in the brightness of the extracted scene in the sample video, so the scene brightness is positively evaluated. First, the scene brightness priority evaluation value is set to 0 for all extracted scene candidates.
サンプル動画のシーンが、全体よりも暗い場面を抽出している傾向がある場合（Ｓ４６１：Ｙｅｓ）は、対象抽出シーン候補を設定し（Ｓ４６４）、対象抽出シーン候補が同じ傾向を有しているかどうかを判定する（Ｓ４６５）。この判定は、対象抽出シーン候補が含まれるショットの全体の明るさ差平均と、対象抽出シーン候補の明るさとの差を算出し、その差が所定の正の閾値以上であるかどうか判断すればよい。 When the scene of the sample moving image tends to extract a scene darker than the whole (S461: Yes), target extraction scene candidates are set (S464), and do the target extraction scene candidates have the same tendency? It is determined whether or not (S465). This determination is made by calculating the difference between the average brightness difference of the shots including the target extraction scene candidate and the brightness of the target extraction scene candidate, and determining whether the difference is equal to or greater than a predetermined positive threshold. Good.
対象抽出シーン候補が同じ傾向を有している場合（Ｓ４６５：Ｙｅｓ）、シーン明るさの優先度評価値を＋１とし（Ｓ４６６）、対象抽出シーン候補が同じ傾向を有していない場合（Ｓ４６５：Ｎｏ）、シーン明るさの優先度評価値を−１とする（Ｓ４６７）。以上の処理をすべての抽出シーン候補に対して行なう（Ｓ４６８）。 When the target extraction scene candidates have the same tendency (S465: Yes), the priority evaluation value of the scene brightness is set to +1 (S466), and when the target extraction scene candidates do not have the same tendency (S465: No), the priority evaluation value of scene brightness is set to -1 (S467). The above processing is performed for all extraction scene candidates (S468).
サンプル動画のシーンが、全体よりも明るい場面を抽出している傾向がある場合（Ｓ４６２：Ｙｅｓ）は、対象抽出シーン候補を設定し（Ｓ４６９）、対象抽出シーン候補が同じ傾向を有しているかどうかを判定する（Ｓ４６１０）。この判定は、対象抽出シーン候補が含まれるショットの全体の明るさ差平均と、対象抽出シーン候補の明るさとの差を算出し、その差が所定の負の閾値以下であるかどうか判断すればよい。 If the scene of the sample moving image has a tendency to extract a scene brighter than the whole (S462: Yes), a target extraction scene candidate is set (S469), and does the target extraction scene candidate have the same tendency? It is determined whether or not (S4610). This determination is made by calculating the difference between the average brightness difference of the shots including the target extraction scene candidate and the brightness of the target extraction scene candidate, and determining whether the difference is equal to or less than a predetermined negative threshold. Good.
対象抽出シーン候補が同じ傾向を有している場合（Ｓ４６１０：Ｙｅｓ）、シーン明るさの優先度評価値を＋１とし（Ｓ４６１１）、対象抽出シーン候補が同じ傾向を有していない場合（Ｓ４６１０：Ｎｏ）、シーン明るさの優先度評価値を−１とする（Ｓ４６１２）。以上の処理をすべての抽出シーン候補に対して行なう（Ｓ４６１３）。 When the target extraction scene candidates have the same tendency (S4610: Yes), the priority evaluation value of the scene brightness is set to +1 (S4611), and when the target extraction scene candidates do not have the same tendency (S4610: No), the scene brightness priority evaluation value is set to -1 (S4612). The above processing is performed for all extraction scene candidates (S4613).
次に、シーン動き評価を行なう（図１３：Ｓ４７）。シーン動き評価の手順は、シーン明るさ評価と同様に行なうことができる。ただし、ショット明るさ差平均をショット動きの大きさ差平均に変更して行なう。 Next, scene motion evaluation is performed (FIG. 13: S47). The scene motion evaluation procedure can be performed in the same manner as the scene brightness evaluation. However, the shot brightness difference average is changed to the shot movement magnitude difference average.
次に、シーン音量評価を行なう（Ｓ４８）。シーン音量評価の手順は、シーン明るさ評価と同様に行なうことができる。ただし、ショット明るさ差平均をショット音量差平均に変更して行なう。 Next, scene volume evaluation is performed (S48). The scene volume evaluation procedure can be performed in the same manner as the scene brightness evaluation. However, the shot brightness difference average is changed to the shot sound volume difference average.
以上のシーン長変化傾向、シーン間隔、シーン明るさ、シーン動き、シーン音量の各項目の評価を終えると、得られた各項目の優先度評価値を抽出シーン候補毎に足し合わせることで、各抽出シーン候補の優先度を算出する（Ｓ４９）。このとき、項目毎に重み付けを行なうようにしてもよい。 When the evaluation of each item of the above scene length change tendency, scene interval, scene brightness, scene movement, and scene volume is completed, the priority evaluation value of each obtained item is added to each extracted scene candidate, The priority of the extraction scene candidate is calculated (S49). At this time, weighting may be performed for each item.
そして、最も優先度の高い抽出シーン候補を、抽出シーンとして決定する（Ｓ４１０）。以上の処理（Ｓ４２〜Ｓ４１０）を、抽出済シーンの長さの合計が処理（Ｓ４１）で決定した動画長さに達するまで繰り返し（Ｓ４１１）、動画長さに達すると、抽出されたシーンを前から順番に並べたものを編集動画の基本動画として、動画シーン抽出処理（Ｓ４）を終了する。
＜エフェクト割当＞
Then, the extraction scene candidate with the highest priority is determined as the extraction scene (S410). The above processing (S42 to S410) is repeated until the total length of the extracted scenes reaches the moving image length determined in the processing (S41) (S411). The moving image scene extraction process (S4) is terminated with the images arranged in order as the basic moving image of the edited moving image.
<Effect assignment>
次に、抽出されたシーンで構成される編集動画の基本動画に、自動編集実行部２７０のエフェクト割当部２７２が、エフェクトの割り当てを行なう（図５：Ｓ５）。図１７は、エフェクト割当手順を説明するフローチャートである。 Next, the effect assignment unit 272 of the automatic editing execution unit 270 assigns the effect to the basic movie of the edited movie composed of the extracted scenes (FIG. 5: S5). FIG. 17 is a flowchart for explaining the effect assignment procedure.
エフェクトは抽出されたシーン単位で行なうため、対象シーンを設定する（Ｓ５１）。対象シーンは、先頭のシーンから順次設定すればよい。そして、以下の処理を、抽出されたすべてのシーンに対して繰り返す（Ｓ５６）。 Since the effect is performed for each extracted scene, the target scene is set (S51). The target scene may be set sequentially from the first scene. Then, the following process is repeated for all the extracted scenes (S56).
エフェクトの割当は、フィルタとトランジションとで分けて行なう。このため、対象シーンにフィルタを適用するかどうかを判定する（Ｓ５２）。この判定は、まず、対象シーンが含まれるブロックを判別する。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。そして、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたフィルタ適用確率（図１０：Ｓ３７３）を用いて、乱数によりフィルタを適用するかどうかを決定する。 Effects are assigned separately for filters and transitions. Therefore, it is determined whether or not the filter is applied to the target scene (S52). In this determination, first, a block including the target scene is determined. Here, the block is obtained by dividing the moving image before editing into a predetermined number at equal intervals on the time axis, and the predetermined number is the same as the number of blocks at the time of editing information analysis. Then, using the filter application probability (FIG. 10: S373) obtained in the effect information analysis (S37) for the same block of the sample moving image, it is determined whether or not to apply the filter by random numbers.
フィルタを適用する場合（Ｓ５２：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたフィルタ種別毎の使用頻度（図１０：Ｓ３７４）を用いて、乱数により適用するフィルタ種別を選択する（Ｓ５３）。このとき、エフェクト開始位置はシーン先頭位置とし、エフェクト長はシーン長とする。 When the filter is applied (S52: Yes), it is further applied with a random number using the usage frequency (FIG. 10: S374) for each filter type obtained in the effect information analysis (S37) for the same block of the sample moving image. A filter type is selected (S53). At this time, the effect start position is the scene start position, and the effect length is the scene length.
次に、対象シーンにトランジションを適用するかどうかを判定する（Ｓ５４）。この判定は、まず、対象シーンが含まれるブロックを判別する。そして、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたトランジション適用確率（図１０：Ｓ３７５）を用いて、乱数によりトランジションを適用するかどうかを決定する。 Next, it is determined whether or not to apply a transition to the target scene (S54). In this determination, first, a block including the target scene is determined. Then, using the transition application probability (FIG. 10: S375) obtained in the effect information analysis (S37) for the same block of the sample moving image, it is determined whether or not to apply the transition using a random number.
トランジションを適用する場合（Ｓ５４：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについてエフェクト情報分析（Ｓ３７）で得られたトランジション種別毎の使用頻度（図１０：Ｓ３７６）を用いて、乱数により適用するトランジション種別を選択する（Ｓ５５）。このとき、エフェクト開始位置はトランジションが対象シーンとその次のシーンとの間に適用されるように適切に定め、エフェクト長はトランジションの長さとする。
＜修飾コンテンツ割当＞
When the transition is applied (S54: Yes), the same block of the sample moving image is applied with a random number using the use frequency (FIG. 10: S376) for each transition type obtained in the effect information analysis (S37). A transition type is selected (S55). At this time, the effect start position is appropriately determined so that the transition is applied between the target scene and the next scene, and the effect length is the length of the transition.
<Modified content assignment>
次に、抽出されたシーンで構成される編集動画の基本動画に、自動編集実行部２７０の修飾割当部２７３が、修飾コンテンツの割り当てを行なう（図５：Ｓ６）。図１８は、修飾コンテンツ割当手順を説明するフローチャートである。 Next, the modification assignment unit 273 of the automatic editing execution unit 270 assigns modification content to the basic movie of the edited movie composed of the extracted scenes (FIG. 5: S6). FIG. 18 is a flowchart for explaining the modified content assignment procedure.
修飾コンテンツのうち、静止画コンテンツと動画コンテンツの割当は抽出されたシーン単位で行なうため、始めに、対象シーンを設定する（Ｓ６１）。対象シーンは、先頭のシーンから順次設定すればよい。 Of the modified content, since still image content and moving image content are allocated in units of extracted scenes, first, a target scene is set (S61). The target scene may be set sequentially from the first scene.
そして、対象シーンに静止画コンテンツを付加するかどうかを判定する（Ｓ６２）。この判定は、まず、対象シーンが含まれるブロックを判別する。ここで、ブロックは、編集前動画を時間軸において等間隔で所定個数に分割したものであり、所定個数は、編集情報分析時におけるブロック数と同じ数とする。そして、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた静止画コンテンツ付加確率（図１２：Ｓ３８３）を用いて、乱数により静止画コンテンツを付加するかどうかを決定する。 Then, it is determined whether to add still image content to the target scene (S62). In this determination, first, a block including the target scene is determined. Here, the block is obtained by dividing the moving image before editing into a predetermined number at equal intervals on the time axis, and the predetermined number is the same as the number of blocks at the time of editing information analysis. Then, using the still image content addition probability (FIG. 12: S383) obtained in the modification information analysis (S38) for the same block of the sample moving image, it is determined whether to add the still image content with a random number.
静止画コンテンツを付加する場合（Ｓ６２：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた静止画コンテンツ毎の使用頻度（図１２：Ｓ３８４）を用いて、乱数により付加する静止画コンテンツを選択する（Ｓ６３）。このとき、修飾開始位置はシーン先頭位置とし、修飾長はシーン長とする。 In the case of adding still image content (S62: Yes), a random number is further calculated using the usage frequency (FIG. 12: S384) for each still image content obtained in the modification information analysis (S38) for the same block of the sample moving image. The still image content to be added is selected by (S63). At this time, the modification start position is the scene head position, and the modification length is the scene length.
次に、対象シーンに動画コンテンツを付加するかどうかを判定する（Ｓ６４）。この判定は、まず、対象シーンが含まれるブロックを判別する。そして、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた動画コンテンツ付加確率（図１２：Ｓ３８５）を用いて、乱数により動画コンテンツを付加するかどうかを決定する。 Next, it is determined whether or not to add moving image content to the target scene (S64). In this determination, first, a block including the target scene is determined. Then, using the moving image content addition probability (FIG. 12: S385) obtained in the modification information analysis (S38) for the same block of the sample moving image, it is determined whether to add the moving image content with a random number.
動画コンテンツを付加する場合（Ｓ６４：Ｙｅｓ）は、さらに、サンプル動画の同じブロックについて修飾情報分析（Ｓ３８）で得られた動画コンテンツ毎の使用頻度（図１２：Ｓ３８６）を用いて、乱数により付加する動画コンテンツを選択する（Ｓ６５）。 When adding video content (S64: Yes), add the random number using the usage frequency (Fig. 12: S386) for each video content obtained in the modification information analysis (S38) for the same block of the sample video The moving image content to be selected is selected (S65).
選択された動画コンテンツ自体の長さがシーンの長さ以上である場合は、修飾開始位置はシーンの先頭位置とし、修飾長はシーン長とする。選択された動画コンテンツ自体の長さがシーンの長さより短い場合は、開始位置はシーン先頭位置とし、修飾長はコンテンツ自体の長さとする。ただし、動画コンテンツがシーンの中心となるように開始位置を定めるようにしたり、他の位置を設定するようにしてもよい。 When the length of the selected moving image content itself is equal to or longer than the length of the scene, the modification start position is the start position of the scene, and the modification length is the scene length. When the length of the selected moving image content itself is shorter than the length of the scene, the start position is the scene head position, and the modification length is the length of the content itself. However, the start position may be determined so that the moving image content becomes the center of the scene, or another position may be set.
以上の処理を、抽出されたすべてのシーンに対して繰り返す（Ｓ６６）。次に、編集動画にオーディオコンテンツを付加するかどうかを判定する（Ｓ６７）。この判定は、修飾情報分析（Ｓ３８）で得られたオーディオコンテンツ付加確率（図１２：Ｓ３８８）を用いて、乱数によりオーディオコンテンツを付加するかどうかを決定する。 The above processing is repeated for all the extracted scenes (S66). Next, it is determined whether audio content is added to the edited moving image (S67). This determination uses the audio content addition probability (FIG. 12: S388) obtained in the modification information analysis (S38) to determine whether or not to add audio content using a random number.
オーディオコンテンツを付加する場合（Ｓ６７：Ｙｅｓ）は、さらに、修飾情報分析（Ｓ３８）で得られたオーディオコンテンツ毎の使用頻度（図１２：Ｓ３８９）を用いて、乱数により付加するオーディオコンテンツを選択する（Ｓ６８）。このとき、修飾開始位置は編集動画の先頭位置とし、修飾長は編集動画の長さとする。ただし、オーディオコンテンツが編集動画より短い場合は、同じオーディオコンテンツを繰り返したり、他のオーディオコンテンツをさらに選択するようにしてもよい。 When adding audio content (S67: Yes), the audio content to be added is selected by a random number using the usage frequency (S389) for each audio content obtained in the modification information analysis (S38). (S68). At this time, the modification start position is the head position of the edited moving image, and the modification length is the length of the edited moving image. However, when the audio content is shorter than the edited moving image, the same audio content may be repeated or another audio content may be further selected.
以上説明したように、本実施形態の、動画編集サーバ２０は、サンプル動画の編集情報を分析して、編集対象の動画の自動編集を行なうため、編集前の動画のどの部分を抽出するかを考慮して、自動編集を行なうことができる。 As described above, the video editing server 20 according to the present embodiment analyzes the editing information of the sample video and automatically edits the video to be edited. Considering this, automatic editing can be performed.
以上の実施形態に示したように、編集対象の動画の指定と、複数のシーンから構成される編集済のサンプル動画の指定とを受け付けると、前記サンプル動画の編集前動画と前記編集前動画に施す編集内容を示した編集情報とを特定するインタフェース部と、前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記サンプル動画の編集前動画に対する特徴量である第１特徴量とを算出するシーン情報分析部と、前記長さに関する指標に基づいて、前記編集対象の動画から抽出するシーンの候補を設定し、各シーン候補について、シーン候補の前記編集対象の動画に対する特徴量である第２特徴量を算出し、前記第１特徴量と前記第２特徴量とを評価することにより抽出するシーンを順次決定するシーン抽出部とを備えた動画編集装置とすることができる。 As shown in the above embodiment, when the specification of the video to be edited and the specification of the edited sample video composed of a plurality of scenes are received, the pre-edit video and the pre-edit video of the sample video are received. An interface unit that identifies editing information indicating editing contents to be applied; an index relating to the length of each scene constituting the sample video based on the editing information; and a feature of each scene with respect to the pre-edit video of the sample video A scene information analysis unit that calculates a first feature quantity that is a quantity, and sets scene candidates to be extracted from the video to be edited based on the index relating to the length. A second feature amount that is a feature amount for the moving image to be edited is calculated, and scenes to be extracted are sequentially determined by evaluating the first feature amount and the second feature amount. It can be a video editing apparatus that includes a chromatography emission extractor.
１０…動画編集システム
２０…動画編集サーバ
３０…動画編集端末
４０…コンピュータネットワーク
２１０…通信部
２２０…Ｗｅｂサーバ部
２３０…再生インタフェース部
２４０…手動編集インタフェース部
２５０…自動編集インタフェース部
２６０…編集情報分析部
２６１…シーン情報分析部
２６２…エフェクト情報分析部
２６３…修飾情報分析部
２７０…自動編集実行部
２７１…シーン抽出部
２７２…エフェクト割当部
２７３…修飾割当部
２８０…記憶部
２８１…編集前動画記憶部
２８２…修飾コンテンツ記憶部
２８３…編集情報記憶部
DESCRIPTION OF SYMBOLS 10 ... Movie editing system 20 ... Movie editing server 30 ... Movie editing terminal 40 ... Computer network 210 ... Communication unit 220 ... Web server unit 230 ... Playback interface unit 240 ... Manual editing interface unit 250 ... Automatic editing interface unit 260 ... Editing information analysis Unit 261 ... Scene information analysis unit 262 ... Effect information analysis unit 263 ... Modification information analysis unit 270 ... Automatic editing execution unit 271 ... Scene extraction unit 272 ... Effect assignment unit 273 ... Modification assignment unit 280 ... Storage unit 281 ... Pre-edit moving image storage Unit 282 ... Modified content storage unit 283 ... Editing information storage unit
Claims (6)
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル動画に対応した編集情報であり、前記サンプル動画の編集前動画のショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部と、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部と、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部と、
を備えたことを特徴とする動画編集装置。 In a moving image editing apparatus for editing a moving image having one or a plurality of scenes and having one or a plurality of shots,
When the specification of the editing target moving image and the specification of the edited sample moving image including a plurality of extracted scenes are received, the editing information corresponding to the specified edited moving image is the editing information of the sample moving image. An interface unit for specifying editing information including scene information indicating a scene extracted from a shot of the pre-editing video ;
A scene information analysis unit that calculates an index related to the length of each scene constituting the sample video, and a feature amount for each shot of each scene, based on the identified editing information;
A scene extraction unit that determines a scene to be extracted from a shot of the moving image to be edited, based on the index related to the length and the feature amount for the shot;
A video editing apparatus characterized by comprising:
前記編集情報に基づいて、抽出されたシーンに適用するエフェクトを割り当てるエフェクト割当部をさらに備えたことを特徴とする請求項１〜３のいずれか１項に記載の動画編集装置。 The editing information includes information on an effect applied to the sample video,
The moving image editing apparatus according to claim 1, further comprising an effect assigning unit that assigns an effect to be applied to the extracted scene based on the editing information.
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル動画に対応した編集情報であり、前記サンプル動画の編集前動画のショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するステップと、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するステップと、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するステップと、
を有することを特徴とする動画編集方法。 In a moving image editing method for editing a moving image having one or more scenes and having one or more shots,
When the specification of the editing target moving image and the specification of the edited sample moving image including a plurality of extracted scenes are received, the editing information corresponding to the specified edited moving image is the editing information of the sample moving image. Identifying editing information including scene information indicating a scene extracted from a pre-editing video shot;
Based on the identified editing information, calculating an index relating to the length of each scene constituting the sample video and a feature amount for each shot of each scene;
Determining a scene to be extracted from a shot of the video to be edited, based on the length-related index and the feature amount for the shot;
A video editing method characterized by comprising:
編集対象の動画の指定と、抽出された複数のシーンを備えた編集済のサンプル動画の指定とを受け付けると、指定された前記編集済のサンプル動画に対応した編集情報であり、前記サンプル動画の編集前動画のショットから抽出したシーンを示すシーン情報を含む編集情報とを特定するインタフェース部、
特定した前記編集情報に基づいて、前記サンプル動画を構成する各シーンの長さに関する指標と、各シーンの前記ショットに対する特徴量とを算出するシーン情報分析部、
前記長さに関する指標と前記ショットに対する特徴量とに基づいて、前記編集対象の動画の有するショットから抽出するシーンを決定するシーン抽出部として、前記情報処理装置を機能させることを特徴とするコンピュータプログラム。 In a computer program for causing an information processing apparatus to function as a moving image editing apparatus having one or a plurality of scenes and editing a moving image having one or more shots,
When the specification of the editing target moving image and the specification of the edited sample moving image including a plurality of extracted scenes are received, the editing information corresponding to the specified edited moving image is the editing information of the sample moving image. An interface unit for identifying editing information including scene information indicating a scene extracted from a shot of the pre-editing video ,
A scene information analysis unit that calculates an index related to the length of each scene constituting the sample video and a feature amount for each shot of each scene based on the identified editing information;
A computer program that causes the information processing apparatus to function as a scene extraction unit that determines a scene to be extracted from a shot of the moving image to be edited based on the length index and a feature amount for the shot. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011218413A JP5733688B2 (en) | 2011-09-30 | 2011-09-30 | Movie editing apparatus, movie editing method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011218413A JP5733688B2 (en) | 2011-09-30 | 2011-09-30 | Movie editing apparatus, movie editing method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013080989A JP2013080989A (en) | 2013-05-02 |
| JP5733688B2 true JP5733688B2 (en) | 2015-06-10 |
Family
ID=48527062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011218413A Active JP5733688B2 (en) | 2011-09-30 | 2011-09-30 | Movie editing apparatus, movie editing method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5733688B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6601391B2 (en) | 2014-04-02 | 2019-11-06 | 日本ゼオン株式会社 | Slurry for lithium ion secondary battery positive electrode, method for producing slurry for lithium ion secondary battery positive electrode, and method for producing positive electrode for lithium ion secondary battery |
| JP6610030B2 (en) * | 2015-06-29 | 2019-11-27 | ヤマハ株式会社 | Video processing apparatus and video processing method |
| JP2020137050A (en) * | 2019-02-25 | 2020-08-31 | オリンパス株式会社 | Imaging device, imaging method, imaging program and learning device |
| CN111695505B (en) * | 2020-06-11 | 2024-05-24 | 北京市商汤科技开发有限公司 | Video processing method and device, electronic equipment and storage medium |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPS127702A0 (en) * | 2002-03-21 | 2002-05-02 | Canon Kabushiki Kaisha | Dual mode timeline interface |
| JP2006279320A (en) * | 2005-03-28 | 2006-10-12 | Canon Inc | Program storage / playback apparatus, program storage / playback method, recording medium thereof, and program |
| JP2007149235A (en) * | 2005-11-29 | 2007-06-14 | Sharp Corp | Content editing apparatus, program, and recording medium |
| JP2007336106A (en) * | 2006-06-13 | 2007-12-27 | Osaka Univ | Video editing support device |
| WO2009060507A1 (en) * | 2007-11-05 | 2009-05-14 | Pioneer Corporation | Dynamic image editing device, dynamic image editing method, dynamic image editing program and recording medium |
| US8819558B2 (en) * | 2008-12-25 | 2014-08-26 | Nec Corporation | Edited information provision device, edited information provision method, program, and recording medium |
-
2011
- 2011-09-30 JP JP2011218413A patent/JP5733688B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013080989A (en) | 2013-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8195038B2 (en) | Brief and high-interest video summary generation | |
| KR100564893B1 (en) | Frame information description method and apparatus, frame information generating method and apparatus, special reproducing method and apparatus, apparatus for generating a special reproduction control information, and computer-readable recording medium | |
| CN101989173B (en) | Image editing apparatus and image editing method | |
| JP4660879B2 (en) | Information providing apparatus and method, and program | |
| CN110719524B (en) | Video playing method and device, intelligent playing equipment and storage medium | |
| KR100865269B1 (en) | Creating a new music video by intercutting user-supplied visual data with a pre-existing music video | |
| US7483618B1 (en) | Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest | |
| JP4253139B2 (en) | Frame information description method, frame information generation apparatus and method, video reproduction apparatus and method, and recording medium | |
| JP5733688B2 (en) | Movie editing apparatus, movie editing method, and computer program | |
| CN109068158B (en) | Short video value estimation recommendation system based on network platform | |
| CN106937129A (en) | A kind of live real-time clipping method of Online Video and device | |
| JP2016501468A (en) | Storyboard instruction video production from shared assets and individualized assets | |
| US20110026766A1 (en) | Moving image extracting apparatus, program and moving image extracting method | |
| CN103546713B (en) | Moving image editing apparatus and method | |
| US11457288B1 (en) | Rewind and fast forward of content | |
| US20030198463A1 (en) | Method and apparatus for automatic Video CD authoring | |
| US20110258546A1 (en) | Edited information provision device, edited information provision method, program, and recording medium | |
| US20210098025A1 (en) | Method and device of generating cover dynamic pictures of multimedia files | |
| WO2025156805A1 (en) | Picture quality enhancement method and apparatus, and storage medium and electronic device | |
| CN110163805B (en) | Image processing method, device and storage medium | |
| JP7375926B2 (en) | Information processing device, control method and program | |
| JP5004140B2 (en) | Movie editing apparatus and method, and computer program | |
| KR20170130729A (en) | Method, Apparatus, and Computer-Readable Medium for Automatic editing moving picture data and audio data | |
| US11551724B2 (en) | System and method for performance-based instant assembling of video clips | |
| JP7444250B2 (en) | Information processing device, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150323 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5733688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150405 |