JP5637012B2

JP5637012B2 - Video processing apparatus, dubbing system, and video processing method

Info

Publication number: JP5637012B2
Application number: JP2011044264A
Authority: JP
Inventors: 芳子穂積
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-03-01
Filing date: 2011-03-01
Publication date: 2014-12-10
Anticipated expiration: 2031-03-01
Also published as: JP2012182659A

Description

本発明は、映像データを加工する映像処理装置、ダビングシステムおよび映像処理方法に関する。 The present invention relates to a video processing apparatus, a dubbing system, and a video processing method for processing video data.

運動会、楽器や踊りの発表会、または誕生日会等のイベントにおいて、撮像装置（ビデオカメラ）を用いて動画を製作することがある。このとき撮像した動画にタイトル画像を重畳したり、タイトル画面を挿入したり、または文字や図形等のオブジェクト画像を重畳して装飾を施したりする等、映像を加工して、ＤＶＤ等の記録媒体にダビングしたいという要望がある。そこで、一般的には動画をパーソナルコンピュータ（ＰＣ）に一旦取り込み、映像加工専用のソフト等を利用して映像を加工した後に記録媒体に記憶させる手段が採られている。 In an event such as an athletic meet, a musical instrument or dance presentation, or a birthday party, a moving image may be produced using an imaging device (video camera). Recording media such as DVDs by processing the video, such as superimposing a title image on the captured video, inserting a title screen, or superimposing an object image such as a character or a figure. There is a demand for dubbing. Therefore, generally, a means is adopted in which a moving image is once taken into a personal computer (PC), and the video is processed using a video processing dedicated software or the like and then stored in a recording medium.

しかし、タイトル画像を重畳する等の加工を試みた場合、映像を加工するためだけに、わざわざ撮像装置からＰＣに動画データを転送し、ＰＣ上で各種ソフトウェアを使用して編集およびダビングしなければならず、ユーザに煩雑な作業を強いることとなっていた。そこで、ＰＣを使用せずに、管理情報に基づいて、シーンとシーンの間に自動的にタイトル表示データを挿入する技術が開示されている（例えば、特許文献１）。 However, when processing such as superimposing a title image is attempted, moving image data is purposely transferred from the imaging device to the PC, and edited and dubbed using various software on the PC only for processing the video. In other words, the user is forced to perform complicated work. Therefore, a technique for automatically inserting title display data between scenes based on management information without using a PC is disclosed (for example, Patent Document 1).

特開２００９−２７２８５５号公報JP 2009-272855 A

しかし、特許文献１の技術のタイトル表示データは、映像データの管理情報に基づいて生成される、日時、シーン種別、撮像場所に基づいたデータに限定されるため、決まり切ったタイトルしか表示させることができず、ユーザが所望するタイトルを必ずしも表示させることはできない。 However, since the title display data of the technique of Patent Document 1 is limited to data based on the date / time, scene type, and imaging location, which is generated based on the management information of the video data, only regular titles are displayed. The title desired by the user cannot always be displayed.

そこで、本発明は、ＰＣ等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを、ユーザの所望するタイミングで所望する内容に、容易に加工することが可能な映像処理装置、ダビングシステムおよび映像処理方法を提供することを目的としている。 Therefore, the present invention can easily process video data into desired contents at a timing desired by the user without forcing the user to perform complicated operations without using a separate device such as a PC. An object is to provide a video processing apparatus, a dubbing system, and a video processing method.

上記課題を解決するために、本発明の映像処理装置（１１０）は、第１ストリームを取得するストリーム取得部と、予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングして、前記加工時点を示すマーキング情報を生成するマーキング部（２５２）と、前記第１ストリームに関連付けて前記マーキング情報を保持するストリーム保持部（２１６）と、前記第１ストリームを復号して映像データを生成する復号処理を遂行する復号部（２２０）と、前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部（２５４）と、前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部（２３６）と、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行する符号化部（２２６）と、前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部（２５６）と、前記第２ストリームを外部に出力する外部出力部（２３０）とを備え、前記復号部による復号処理と前記符号化部による符号化処理とは交互に遂行され、前記映像加工部は、前記加工時点検知部が加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始することを特徴とする。 In order to solve the above problems, the video processing device (110) of the present invention marks a stream acquisition unit that acquires a first stream and a processing time point at which the first stream is processed at a predetermined timing. A marking unit (252) for generating marking information indicating the processing time, a stream holding unit (216) for holding the marking information in association with the first stream, and decoding the first stream to obtain video data A decoding unit (220) that performs a decoding process to be generated; a processing time point detection unit (254) that detects the processing time point with reference to the marking information when the decoding unit performs the decoding process; When the processing time detection unit detects the processing time, the video processing performs processing for processing the video data decoded at the processing time (236), an encoding unit (226) for performing an encoding process for sequentially encoding the decoded video data and the processed video data to generate a second stream, and the processing time point detection When the processing unit detects a processing time point, a decoding encoding control unit (256) that controls the encoding unit to not start the encoding process until the processing process by the video processing unit is completed, and the second stream And an external output unit (230) for outputting to the outside, the decoding process by the decoding unit and the encoding process by the encoding unit are alternately performed, and the video processing unit is processed by the processing time point detection unit Upon detection of the time, without waiting for the completion of the decoding process, it characterized that you initiate processing of the decoded video data.

前記映像加工部は、ユーザ入力に応じて作成された新規の映像データを、復号された映像データに重畳する加工処理を遂行してもよい。 The video processing unit may perform a processing process of superimposing new video data created in response to a user input on the decoded video data.

前記マーキング部は、所定の時間、所定の撮像シーン、またはユーザの入力に基づいて前記マーキング情報を生成してもよい。 The marking unit may generate the marking information based on a predetermined time, a predetermined imaging scene, or a user input.

前記ストリーム取得部は撮像部（２１２）を備え、前記撮像部は被写体を撮像した撮像データを取得し、前記ストリーム取得部は前記撮像データに基づき前記第１ストリームを取得してもよい。 The stream acquisition unit may include an imaging unit (212), the imaging unit may acquire imaging data obtained by imaging a subject, and the stream acquisition unit may acquire the first stream based on the imaging data.

上記課題を解決するために、本発明のダビングシステム（１００）は、ストリームを加工する映像処理装置と、前記映像処理装置に接続され、加工されたストリームを任意の記録媒体に書き込む記録装置（１２０）とを備えるダビングシステムであって、前記映像処理装置は、第１ストリームを取得するストリーム取得部と、予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングしてマーキング情報を生成するマーキング部と、前記第１ストリームに関連付けて前記マーキング情報を保持するストリーム保持部と、前記第１ストリームを復号して映像データを生成する復号処理を遂行する復号部と、前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部と、前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部と、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行する符号化部と、前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部と、前記第２ストリームを前記記録装置に出力する外部出力部と、を備え、前記記録装置は、出力された前記第２ストリームを記録媒体に書き込むストリーム書込部（３１４）を備え、前記復号部による復号処理と前記符号化部による符号化処理とは交互に遂行され、前記映像加工部は、前記加工時点検知部が加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始することを特徴とする。 In order to solve the above problems, a dubbing system (100) of the present invention includes a video processing device that processes a stream, and a recording device (120) that is connected to the video processing device and writes the processed stream to an arbitrary recording medium. ), The video processing apparatus marking the marking information by marking a stream acquisition unit that acquires the first stream and a processing time point at which the first stream is processed at a predetermined timing. A marking unit to be generated, a stream holding unit that holds the marking information in association with the first stream, a decoding unit that performs decoding processing to generate video data by decoding the first stream, and the decoding unit, A processing time point for detecting the processing time point with reference to the marking information when performing the decoding process When the intelligent unit and the processing time detection unit detect the processing time, a video processing unit that performs processing for processing the video data decoded at the processing time, the decoded video data, and the processing are performed. An encoding unit that sequentially encodes the video data that is generated to generate a second stream, and when the processing time detection unit detects the processing time, until the processing by the video processing unit is completed A decoding / encoding control unit that controls the encoding unit not to start the encoding process; and an external output unit that outputs the second stream to the recording device. of performing the second stream comprises a stream writing unit (314) to be written to the recording medium, alternatively the encoding process and the decoding process by the decoding unit by the encoding unit , The image processing unit, the processing time detection unit when detecting the machining time, without waiting for completion of the decoding process, characterized that you initiate processing of the decoded video data.

上記課題を解決するために、本発明の映像処理方法は、第１ストリームを取得し、予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングしてマーキング情報を生成し、前記第１ストリームに関連付けて前記マーキング情報を保持しておき、前記第１ストリームを復号して映像データを生成する復号処理を遂行し、前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行し、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行し、前記復号処理と前記符号化処理とは交互に遂行され、前記マーキング情報を参照して、前記加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始し、前記加工処理が完了するまで前記符号化処理を開始しないように制御し、前記第２ストリームを外部に出力することを特徴とする。
In order to solve the above-described problem, the video processing method of the present invention acquires a first stream, marks a processing time point at which the first stream is processed at a predetermined timing, generates marking information, and The marking information is stored in association with the first stream, the decoding process for generating the video data by decoding the first stream is performed, and the marking information is referred to when performing the decoding process. When the processing time point is detected, a processing process for processing the video data decoded at the processing time point is performed, and the decoded video data and the video data subjected to the processing process are sequentially encoded to generate a second stream. It performs a coding process for generating, and the decoding process and the encoding process is performed alternately, by referring to the marking information, the pressurized Upon detection of the time, without waiting for the completion of the decoding processing, it starts the processing of the decoded video data, and controls so as not to start the encoding process to said processing is completed, the second stream Is output to the outside.

本発明によれば、ＰＣ等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを、ユーザの所望するタイミングで所望する内容に、容易に加工することが可能となる。 According to the present invention, it is possible to easily process video data into desired contents at a timing desired by the user without forcing the user to perform complicated operations without using a separate device such as a PC. Become.

ダビングシステムの概略的な関係を説明するための説明図である。It is explanatory drawing for demonstrating the schematic relationship of a dubbing system. 映像処理装置の概略的な構成を示した機能ブロック図である。It is the functional block diagram which showed the schematic structure of the video processing apparatus. マーキング部の処理を説明するための説明図である。It is explanatory drawing for demonstrating the process of a marking part. 記録装置の概略的な構成を示した機能ブロック図である。FIG. 3 is a functional block diagram illustrating a schematic configuration of a recording apparatus. 映像処理方法の処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of a process of a video processing method. 映像処理方法の処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of a process of a video processing method. ダビングモードにおける復号処理、符号化処理および加工処理の全体的な流れを説明するためのタイミングチャートを示す図である。It is a figure which shows the timing chart for demonstrating the whole flow of the decoding process in a dubbing mode, an encoding process, and a process. 映像加工部および表示制御部による具体的な処理を説明するための説明図である。It is explanatory drawing for demonstrating the specific process by a video process part and a display control part. 映像加工部および表示制御部による具体的な処理を説明するための説明図である。It is explanatory drawing for demonstrating the specific process by a video process part and a display control part.

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.

（ダビングシステム１００）
図１は、ダビングシステム１００の概略的な関係を説明するための説明図である。図１に示すように、ダビングシステム１００は、映像処理装置１１０と、記録装置１２０とを含んで構成される。 (Dubbing system 100)
FIG. 1 is an explanatory diagram for explaining a schematic relationship of the dubbing system 100. As shown in FIG. 1, the dubbing system 100 includes a video processing device 110 and a recording device 120.

映像処理装置１１０は、デジタルビデオカメラ、携帯電話、ＰＨＳ（Personal Handy-phone System）等の電子機器で構成される。例えば、映像処理装置１１０としてのデジタルビデオカメラは、被写体の撮像機能を有し、撮像により第１ストリームを生成および保持し、外部に出力する際に、その第１ストリームを加工して第２ストリームを生成する。ここでは、映像処理装置１１０としてデジタルビデオカメラを例に挙げて説明する。 The video processing device 110 is composed of electronic devices such as a digital video camera, a mobile phone, and a PHS (Personal Handy-phone System). For example, a digital video camera as the video processing device 110 has an imaging function of a subject, generates and holds a first stream by imaging, and processes the first stream to output the second stream when output to the outside. Is generated. Here, a digital video camera will be described as an example of the video processing device 110.

記録装置１２０は、ＵＳＢ（Universal Serial Bus）ケーブル、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブル、ＬＡＮ（Local Area Network）ケーブル等の接続ケーブル１０２を介して、映像処理装置１１０に接続され、映像処理装置１１０が出力した第２ストリームをＤＶＤやＢＤ（Blu-ray Disc）、フラッシュメモリ等の記録媒体１３０に書き込む。なお、ここでは、映像処理装置１１０と記録装置１２０とが有線（接続ケーブル１０２）で接続されているが、無線ＬＡＮや、近距離無線通信（ＮＦＣ）、赤外線通信等の無線で接続されてもよい。 The recording device 120 is connected to the video processing device 110 via a connection cable 102 such as a USB (Universal Serial Bus) cable, an HDMI (High-Definition Multimedia Interface) cable, or a LAN (Local Area Network) cable. The second stream output from 110 is written to a recording medium 130 such as a DVD, BD (Blu-ray Disc), or flash memory. Here, the video processing device 110 and the recording device 120 are connected by wire (connection cable 102), but may be connected by wireless such as wireless LAN, near field communication (NFC), infrared communication, or the like. Good.

以下、取得した第１ストリームを加工して第２ストリームを生成する映像処理装置１１０および映像処理装置１１０が生成した第２ストリームを記録媒体１３０に書き込む記録装置１２０の具体的な構成について説明する。 Hereinafter, a specific configuration of the video processing device 110 that processes the acquired first stream to generate the second stream and the recording device 120 that writes the second stream generated by the video processing device 110 to the recording medium 130 will be described.

（映像処理装置１１０）
図２は、映像処理装置１１０の概略的な構成を示した機能ブロック図である。図２に示すように、映像処理装置１１０は、操作部２１０と、撮像部２１２と、符号化部２１４と、ストリーム保持部２１６と、ストリーム抽出部２１８と、復号部２２０と、復号バッファ２２２と、符号化バッファ２２４と、符号化部２２６と、ストリームバッファ２２８と、外部出力部２３０と、装置メモリ２３２と、表示部２３４と、映像加工部２３６と、中央制御部２４０とを含んで構成される。図２に示すように、中央制御部２４０は、システム内部バス２０２を通じて、操作部２１０、撮像部２１２、符号化部２１４、ストリーム保持部２１６、ストリーム抽出部２１８、復号部２２０、復号バッファ２２２、符号化バッファ２２４、符号化部２２６、ストリームバッファ２２８、外部出力部２３０、装置メモリ２３２、表示部２３４、映像加工部２３６を制御する。図２中、データの流れを実線の矢印で示し、制御の流れを破線の矢印で示す。 (Video processing device 110)
FIG. 2 is a functional block diagram illustrating a schematic configuration of the video processing apparatus 110. As shown in FIG. 2, the video processing apparatus 110 includes an operation unit 210, an imaging unit 212, an encoding unit 214, a stream holding unit 216, a stream extraction unit 218, a decoding unit 220, and a decoding buffer 222. The encoding buffer 224, the encoding unit 226, the stream buffer 228, the external output unit 230, the device memory 232, the display unit 234, the video processing unit 236, and the central control unit 240. The As shown in FIG. 2, the central control unit 240 has an operation unit 210, an imaging unit 212, an encoding unit 214, a stream holding unit 216, a stream extraction unit 218, a decoding unit 220, a decoding buffer 222, through the system internal bus 202. The encoding buffer 224, encoding unit 226, stream buffer 228, external output unit 230, device memory 232, display unit 234, and video processing unit 236 are controlled. In FIG. 2, the flow of data is indicated by solid arrows, and the flow of control is indicated by broken arrows.

本実施形態において映像処理装置１１０には、加工対象となる第１ストリームを取得して第１ストリームを加工する加工時点をマーキングする「マーキング情報生成モード」と、取得した第１ストリームを加工した第２ストリームを外部の装置、例えば、記録装置１２０に出力する「ダビングモード」との２つのモードがある。ユーザは、操作部２１０等の操作入力によりどちらかのモードを選択することで、これらの２つのモードを切り換えることができる。 In this embodiment, the image processing apparatus 110 acquires a first stream to be processed and marks a processing time point at which the first stream is processed, and a first information processing mode for the acquired first stream. There are two modes: “dubbing mode” in which two streams are output to an external device, for example, the recording device 120. The user can switch between these two modes by selecting one of the modes by operating the operation unit 210 or the like.

操作部２１０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述する表示部２３４の表示画面に配されたタッチパネル等で構成され、マーキング情報生成モードとダビングモードとの切り換え、ダビングモードにおける映像データの加工等のユーザによる操作入力を受け付ける。 The operation unit 210 includes an operation key including a release switch, a cross key, a joystick, a touch panel arranged on a display screen of a display unit 234 described later, and the like, switching between a marking information generation mode and a dubbing mode, and an image in the dubbing mode. An operation input by a user such as data processing is accepted.

撮像部２１２は、図示しない焦点調整に用いられるフォーカスレンズ、露光調整に用いられる絞り（アイリス）、撮像対象の拡大および縮小に用いられるズームレンズ、各レンズを通じて入射した光を光電変換し映像データに変換する撮像素子、フォーカスレンズ、絞り、ズームレンズ、および、撮像素子を駆動させる駆動回路等を含んで構成され、マーキング情報生成モードにおいて、後述する撮像制御部２５０の制御に応じ、これらを制御し、撮像データ（映像データ）を生成する。 The imaging unit 212 photoelectrically converts the focus lens (not shown) used for focus adjustment, an iris (iris) used for exposure adjustment, a zoom lens used for enlargement and reduction of an imaging target, and light incident through each lens into video data. An image sensor to be converted, a focus lens, an aperture, a zoom lens, a drive circuit for driving the image sensor, and the like are configured. In the marking information generation mode, these are controlled in accordance with the control of the imaging controller 250 described later. The imaging data (video data) is generated.

符号化部２１４は、マーキング情報生成モードにおいて、撮像部２１２が生成した映像データを順次符号化して、第１ストリームを生成する符号化処理を遂行する。 In the marking information generation mode, the encoding unit 214 sequentially encodes the video data generated by the imaging unit 212 and performs an encoding process for generating a first stream.

なお、ここでは、撮像部２１２および符号化部２１４がストリーム取得部として機能するが、ストリーム取得部は、ＤＶＤやＢＤ、フラッシュメモリ等の外部記録媒体から第１ストリームを取得してもよい。 Here, the imaging unit 212 and the encoding unit 214 function as a stream acquisition unit, but the stream acquisition unit may acquire the first stream from an external recording medium such as a DVD, a BD, or a flash memory.

ストリーム保持部２１６は、ＥＰＲＯＭ(Erasable Programmable Read Only Memory)、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶媒体で構成され、マーキング情報生成モードにおいて、第１ストリームや、後述するマーキング部２５２による制御指令に応じ、第１ストリームに関連付けて、第１ストリームを加工する加工時点を示すマーキング情報を保持する。 The stream holding unit 216 includes a storage medium such as an EEPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable PROM), a nonvolatile RAM, a flash memory, an HDD (Hard Disk Drive), and the like in the marking information generation mode. In accordance with one stream or a control command from the marking unit 252 to be described later, marking information indicating a processing time point at which the first stream is processed is held in association with the first stream.

ストリーム抽出部２１８は、ダビングモードにおいて、ストリーム保持部２１６から、加工対象となる第１ストリームを抽出する。 The stream extraction unit 218 extracts the first stream to be processed from the stream holding unit 216 in the dubbing mode.

復号部２２０は、ダビングモードにおいて、ストリーム抽出部２１８が抽出した第１ストリームを復号して映像データを生成する復号処理を遂行する。復号バッファ２２２は、ＳＲＡＭやＤＲＡＭ等の記憶媒体で構成され、ダビングモードにおいて、復号部２２０が復号した映像データを一時的に保持する。符号化バッファ２２４は、ＳＲＡＭやＤＲＡＭ等の記憶媒体で構成され、ダビングモードにおいて、復号部２２０が復号した映像データや、後述する映像加工部２３６が加工した映像データ（以下、単に「加工データ」と称する）を一時的に保持する。 In the dubbing mode, the decoding unit 220 performs a decoding process for decoding the first stream extracted by the stream extraction unit 218 to generate video data. The decoding buffer 222 is configured by a storage medium such as SRAM or DRAM, and temporarily holds the video data decoded by the decoding unit 220 in the dubbing mode. The encoding buffer 224 is configured by a storage medium such as SRAM or DRAM, and in the dubbing mode, the video data decoded by the decoding unit 220 or the video data processed by the video processing unit 236 (hereinafter simply referred to as “processed data”). Is temporarily held.

符号化部２２６は、ダビングモードにおいて、符号化バッファ２２４に保持された映像データや加工データを順次符号化して第２ストリームを生成する符号化処理を遂行する。ストリームバッファ２２８は、ＳＲＡＭやＤＲＡＭ等の記憶媒体で構成され、ダビングモードにおいて、符号化部２２６が生成した第２ストリームを一時的に保持する。 In the dubbing mode, the encoding unit 226 performs an encoding process for sequentially encoding video data and processed data held in the encoding buffer 224 to generate a second stream. The stream buffer 228 is configured by a storage medium such as SRAM or DRAM, and temporarily holds the second stream generated by the encoding unit 226 in the dubbing mode.

外部出力部２３０は、ダビングモードにおいて、ストリームバッファ２２８が保持した第２ストリームを外部の装置、例えば記録装置１２０に出力する。 The external output unit 230 outputs the second stream held by the stream buffer 228 to an external device, for example, the recording device 120 in the dubbing mode.

装置メモリ２３２は、ＥＭＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の記憶媒体で構成され、映像加工部２３６による加工処理の際に利用されるＧＵＩ（Graphical User Interface）用の映像データ（以下、単にＧＵＩ映像データと称する）や、同じく加工処理にて使用されるテンプレートデータ等を保持する。 The device memory 232 is configured by a storage medium such as an EMROM, a nonvolatile RAM, a flash memory, and an HDD, and video data for GUI (Graphical User Interface) (hereinafter simply referred to as “GUI”) used in the processing by the video processing unit 236. (Referred to as GUI video data) and template data used in the processing.

表示部２３４は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、後述する表示制御部２５８の制御指令に応じて、様々な映像データを表示する。表示部２３４は、マーキング情報生成モードにおいて、撮像中の映像を表示したり、ダビングモードにおいて、復号部２２０が復号した映像データに基づく映像や、映像加工部２３６による加工処理を案内するためのＧＵＩ用の映像（以下、単にＧＵＩ映像と称する）や、加工データに基づく映像を表示したりする。 The display unit 234 includes a liquid crystal display, an organic EL (Electro Luminescence) display, and the like, and displays various video data in accordance with a control command from the display control unit 258 described later. The display unit 234 displays a video being captured in the marking information generation mode, or displays a video based on the video data decoded by the decoding unit 220 in the dubbing mode, or a GUI for guiding the processing by the video processing unit 236. Video (hereinafter simply referred to as GUI video) and video based on the processed data are displayed.

映像加工部２３６は、ダビングモードにおいて、後述する加工時点検知部２５４が送信する、加工時点を検知したことを示す検知信号を受信すると、加工時点において復号された映像データを、復号バッファ２２２から抽出して、抽出した映像データを加工する加工処理を遂行する。映像加工部２３６は、例えば、ユーザ入力に応じて作成された新規の映像データを、復号された映像データに重畳したり、復号された映像データに対して色補正を行ったり、復号された映像データにおけるエッジ部分をシャープにしたりする。そして映像加工部２３６は、加工処理を施した映像データ（加工データ）を符号化バッファ２２４や表示部２３４に出力する。したがって、符号化バッファ２２４において、加工時点の映像データは、映像加工部２３６によって加工された加工データに置換されることになる。そして映像加工部２３６は、加工処理を完了すると、加工処理が完了したことを示す完了信号を後述する復号符号化制御部２５６に送信する。 In the dubbing mode, the video processing unit 236 extracts the video data decoded at the processing time from the decoding buffer 222 when receiving the detection signal transmitted from the processing time detection unit 254 described later and indicating that the processing time is detected. Then, the processing for processing the extracted video data is performed. The video processing unit 236, for example, superimposes new video data created in response to a user input on the decoded video data, performs color correction on the decoded video data, or decodes the decoded video data. Sharpen edges in the data. Then, the video processing unit 236 outputs the processed video data (processed data) to the encoding buffer 224 and the display unit 234. Therefore, in the encoding buffer 224, the video data at the time of processing is replaced with the processed data processed by the video processing unit 236. When the video processing unit 236 completes the processing, the video processing unit 236 transmits a completion signal indicating the completion of the processing to the decoding / encoding control unit 256 described later.

中央制御部２４０は、中央処理装置（ＣＰＵ）、中央制御部２４０を動作するためのプログラム等を格納したＲＯＭ、一時的なデータ保存およびワークエリアとして利用されるＲＡＭ等を含む半導体集積回路で構成され、装置メモリ２３２や他の電子回路と協働して映像処理装置１１０全体を管理および制御する。また、中央制御部２４０は、撮像制御部２５０、マーキング部２５２、加工時点検知部２５４、復号符号化制御部２５６、表示制御部２５８としても機能する。 The central control unit 240 is constituted by a semiconductor integrated circuit including a central processing unit (CPU), a ROM that stores a program for operating the central control unit 240, a RAM that is used as a temporary data storage and work area, and the like. The entire video processing apparatus 110 is managed and controlled in cooperation with the apparatus memory 232 and other electronic circuits. The central control unit 240 also functions as an imaging control unit 250, a marking unit 252, a processing time point detection unit 254, a decoding / encoding control unit 256, and a display control unit 258.

撮像制御部２５０は、マーキング情報生成モードにおいて、ユーザの操作部２１０への操作入力に応じ、撮像部２１２を制御する。例えば、撮像制御部２５０は、適切な映像データが得られるように、撮像部２１２を構成するズームレンズ、フォーカスレンズ、絞りおよび撮像素子を駆動回路に駆動させる。また、撮像制御部２５０は、ズーム機能（倍率変更機能）を遂行させる場合、ズームレンズおよびフォーカスレンズを移動させる。 The imaging control unit 250 controls the imaging unit 212 in response to an operation input to the operation unit 210 by the user in the marking information generation mode. For example, the imaging control unit 250 causes the drive circuit to drive the zoom lens, the focus lens, the diaphragm, and the imaging device that constitute the imaging unit 212 so that appropriate video data can be obtained. Further, the imaging control unit 250 moves the zoom lens and the focus lens when performing the zoom function (magnification changing function).

マーキング部２５２は、マーキング情報生成モードにおいて、予め定められたタイミングで、加工時点をマーキングしてマーキング情報を生成し、生成したマーキング情報を第１ストリームに関連付けてストリーム保持部２１６に保持させる。図３は、マーキング部２５２の処理を説明するための説明図である。図３（ａ）に示すように、マーキング部２５２は、例えば、ユーザによる操作部２１０への操作入力に応じたタイミングで、マーキング（図３中、Ｍで示す）したり、図３（ｂ）に示すように、所定の時間間隔（図３中、ｔで示す）でマーキングしたり、図３（ｃ）に示すように、所定の撮影シーンごと（例えば、撮影シーンの先頭のタイミング）にマーキングしたりする。 In the marking information generation mode, the marking unit 252 marks the processing time point to generate marking information at a predetermined timing, and causes the stream holding unit 216 to hold the generated marking information in association with the first stream. FIG. 3 is an explanatory diagram for explaining the processing of the marking unit 252. As shown in FIG. 3A, the marking unit 252 performs marking (indicated by M in FIG. 3) at a timing according to an operation input to the operation unit 210 by a user, or FIG. As shown in FIG. 3, marking is performed at a predetermined time interval (indicated by t in FIG. 3), or marking is performed for each predetermined shooting scene (for example, the start timing of the shooting scene) as shown in FIG. To do.

ここでは、マーキング部２５２は、ユーザによる操作部２１０への操作入力に応じてマーキングする場合を例に挙げて説明する。操作入力に応じてマーキングする構成では、ユーザは、撮像しながらマーキングすることができるので、映像の加工を所望する時点を容易に設定することが可能となる。 Here, the case where the marking unit 252 performs marking according to an operation input to the operation unit 210 by the user will be described as an example. In the configuration in which marking is performed according to an operation input, the user can perform marking while taking an image, so that it is possible to easily set a point in time when video processing is desired.

加工時点検知部２５４は、ダビングモードにおいて、復号部２２０による復号処理を監視しており、ストリーム保持部２１６に保持されたマーキング情報を参照して、第１ストリームにおける加工時点を検知すると、加工時点を検知したことを示す検知信号を、映像加工部２３６、復号符号化制御部２５６、表示制御部２５８に送信する。 The processing time point detection unit 254 monitors the decoding process by the decoding unit 220 in the dubbing mode, and refers to the marking information held in the stream holding unit 216 to detect the processing time point in the first stream. Is transmitted to the video processing unit 236, the decoding / encoding control unit 256, and the display control unit 258.

復号符号化制御部２５６は、マーキング情報生成モードにおいて、符号化部２１４を制御して符号化処理を遂行させたり、ダビングモードにおいて、復号部２２０を制御して復号処理を遂行させたり、符号化部２２６を制御して符号化処理を遂行させたりする。例えば、復号符号化制御部２５６は、符号化部２２６を制御して、加工時点検知部２５４から送信される検知信号を受信すると、映像加工部２３６による加工処理が完了するまで符号化処理を開始しないように制御し、映像加工部２３６が送信する完了信号を受信すると符号化処理を再開する。復号符号化制御部２５６による復号処理および符号化処理については、後に詳述する。 The decoding / encoding control unit 256 controls the encoding unit 214 to perform the encoding process in the marking information generation mode, controls the decoding unit 220 to perform the decoding process in the dubbing mode, and performs the encoding process. The unit 226 is controlled to perform the encoding process. For example, when the decoding / encoding control unit 256 controls the encoding unit 226 to receive a detection signal transmitted from the processing time detection unit 254, the decoding / encoding control unit 256 starts the encoding process until the processing by the video processing unit 236 is completed. If the completion signal transmitted from the video processing unit 236 is received, the encoding process is resumed. Decoding processing and encoding processing by the decoding encoding control unit 256 will be described in detail later.

表示制御部２５８は、マーキング情報生成モードにおいて、撮像中の映像を表示部２３４に表示させる。また、表示制御部２５８は、ダビングモードにおいて、加工時点検知部２５４から送信された検知信号を受信すると、復号部２２０が復号した映像データに基づく映像や、ＧＵＩ映像や、加工データに基づく映像を表示部２３４に表示させたりする。 The display control unit 258 causes the display unit 234 to display the image being captured in the marking information generation mode. Further, when receiving the detection signal transmitted from the processing time detection unit 254 in the dubbing mode, the display control unit 258 displays a video based on the video data decoded by the decoding unit 220, a GUI video, or a video based on the processing data. It is displayed on the display unit 234.

（記録装置１２０）
図４は、記録装置１２０の概略的な構成を示した機能ブロック図である。図４に示すように、記録装置１２０は、中央制御部３１０と、ストリーム取得部３１２と、ストリーム書込部３１４とを含んで構成される。 (Recording device 120)
FIG. 4 is a functional block diagram illustrating a schematic configuration of the recording apparatus 120. As shown in FIG. 4, the recording apparatus 120 includes a central control unit 310, a stream acquisition unit 312, and a stream writing unit 314.

中央制御部３１０は、中央処理装置（ＣＰＵ）、中央制御部３１０を動作するためのプログラム等を格納したＲＯＭ、一時的なデータ保存およびワークエリアとして利用されるＲＡＭ等を含む半導体集積回路で構成され、不図示のメモリや他の電子回路と協働して記録装置１２０全体を管理および制御する。 The central control unit 310 is composed of a semiconductor integrated circuit including a central processing unit (CPU), a ROM that stores a program for operating the central control unit 310, a RAM that is used as a temporary data storage and work area, and the like. The entire recording apparatus 120 is managed and controlled in cooperation with a memory and other electronic circuits (not shown).

ストリーム取得部３１２は、接続ケーブル１０２を通じて映像処理装置１１０から第２ストリームを取得する。ストリーム書込部３１４は、第２ストリームを記録媒体１３０に書き込む。 The stream acquisition unit 312 acquires the second stream from the video processing device 110 through the connection cable 102. The stream writing unit 314 writes the second stream to the recording medium 130.

（映像処理方法）
図５、図６は、ダビングシステム１００による映像処理方法の処理の流れを説明するためのフローチャートであり、図５は、マーキング情報生成モードでの処理を説明するためのフローチャートを、図６は、ダビングモードでの処理を説明するためのフローチャートを示す。また、図７は、ダビングモードにおける復号処理、符号化処理および加工処理の全体的な流れを説明するためのタイミングチャートを示す図である。 (Video processing method)
5 and 6 are flowcharts for explaining the processing flow of the video processing method by the dubbing system 100, FIG. 5 is a flowchart for explaining the processing in the marking information generation mode, and FIG. The flowchart for demonstrating the process in dubbing mode is shown. FIG. 7 is a timing chart for explaining the overall flow of the decoding process, the encoding process, and the processing process in the dubbing mode.

（マーキング情報生成モード）
図５に示すように、ユーザによる操作部２１０への操作入力に応じて、マーキング情報生成モードが選択されると（Ｓ４００におけるＹＥＳ）、撮像部２１２は、第１ストリームの生成を開始し、符号化部２１４が符号化した後、第１ストリームをストリーム保持部２１６に順次保持させる（Ｓ４０２）。 (Marking information generation mode)
As illustrated in FIG. 5, when the marking information generation mode is selected according to the operation input to the operation unit 210 by the user (YES in S400), the imaging unit 212 starts generating the first stream, After the encoding unit 214 performs encoding, the stream holding unit 216 sequentially holds the first stream (S402).

第１ストリームの生成中に、操作部２１０が、ユーザによる加工時点のマーキングを所望する旨の操作入力を受け付けると（Ｓ４０４におけるＹＥＳ）、マーキング部２５２は加工時点をマーキングしてマーキング情報を生成し、第１ストリームに関連付けて第１ストリームと共にストリーム保持部２１６に保持させる（Ｓ４０６）。なお、ユーザによるマーキング情報の生成を所望する旨の操作入力がない場合（Ｓ４０４におけるＮＯ）、マーキング部２５２は、マーキング情報を生成しない。 When the operation unit 210 receives an operation input indicating that the user desires marking at the processing time during the generation of the first stream (YES in S404), the marking unit 252 marks the processing time and generates marking information. The stream holding unit 216 holds the first stream in association with the first stream (S406). Note that when there is no operation input indicating that the user wants to generate marking information (NO in S404), the marking unit 252 does not generate marking information.

そして、中央制御部２４０は、ユーザによる第１ストリームの取得を停止する旨の操作入力があったか否かを判定し（Ｓ４０８）、停止する旨の操作入力があると（Ｓ４０８におけるＹＥＳ）、マーキング情報生成モードを終了する。 Then, the central control unit 240 determines whether or not there has been an operation input for stopping the acquisition of the first stream by the user (S408), and when there is an operation input for stopping (YES in S408), the marking information Exit generation mode.

（ダビングモード）
図６に示すように、ユーザによる操作部２１０への操作入力に応じて、ダビングモードが選択されると（Ｓ４３０におけるＹＥＳ）、ストリーム抽出部２１８は、ストリーム保持部２１６に保持された第１ストリームを順次抽出し、復号符号化制御部２５６は、復号部２２０を制御して、第１ストリームの復号処理を開始し、復号した映像データを順次復号バッファ２２２に出力する（Ｓ４３２）。また、加工時点検知部２５４は、復号部２２０による復号処理の監視を開始し、加工時点の検知に備える。 (Dubbing mode)
As illustrated in FIG. 6, when the dubbing mode is selected in response to an operation input to the operation unit 210 by the user (YES in S430), the stream extraction unit 218 includes the first stream held in the stream holding unit 216. Are sequentially extracted, and the decoding / encoding control unit 256 controls the decoding unit 220 to start decoding the first stream, and sequentially outputs the decoded video data to the decoding buffer 222 (S432). Further, the processing time detection unit 254 starts monitoring the decoding process by the decoding unit 220 and prepares for detection of the processing time.

なお、図７（ａ）、（ｂ）に示すように、復号符号化制御部２５６は、復号処理によって、復号バッファ２２２および符号化バッファ２２４にある程度映像データが蓄積された後に、符号化処理を遂行する、すなわち、復号処理と符号化処理とが交互に遂行されるように（復号処理が終わってから符号化処理が遂行されるように）、復号部２２０および符号化部２２６を制御する。復号符号化制御部２５６は、復号部２２０による復号処理が完了してから所定の切り換え時間経過後に符号化部２２６による符号化処理を開始し、符号化部２２６による符号化処理が完了してから所定の切り換え時間（図７中「切り換え」で示す）経過後に復号部２２０による復号処理を開始する。 As shown in FIGS. 7A and 7B, the decoding / encoding control unit 256 performs the encoding process after video data is accumulated to some extent in the decoding buffer 222 and the encoding buffer 224 by the decoding process. The decoding unit 220 and the encoding unit 226 are controlled so that the decoding process and the encoding process are performed alternately (so that the encoding process is performed after the decoding process is completed). The decoding / encoding control unit 256 starts the encoding process by the encoding unit 226 after a predetermined switching time has elapsed after the decoding process by the decoding unit 220 is completed, and after the encoding process by the encoding unit 226 is completed. After a predetermined switching time (indicated by “switching” in FIG. 7) elapses, decoding processing by the decoding unit 220 is started.

このように、復号符号化制御部２５６が復号処理と符号化処理とを交互に遂行させることにより、復号バッファ２２２および符号化バッファ２２４の容量を小さくすることができる。 As described above, the decoding / encoding control unit 256 alternately performs the decoding process and the encoding process, whereby the capacity of the decoding buffer 222 and the encoding buffer 224 can be reduced.

なお、復号バッファ２２２および符号化バッファ２２４が１ストリーム分の映像データを保持できる程度に容量が大きい場合、復号符号化制御部２５６は、復号部２２０に第１ストリームをすべて復号させ、続いて符号化部２２６に第１ストリームを符号化させてもよい。 When the capacity is large enough for the decoding buffer 222 and the encoding buffer 224 to hold one stream of video data, the decoding encoding control unit 256 causes the decoding unit 220 to decode all the first streams, and then The encoding unit 226 may encode the first stream.

図６に戻って説明すると、加工時点検知部２５４が、ストリーム保持部２１６に保持されたマーキング情報を参照して加工時点を検知すると（Ｓ４３４におけるＹＥＳ）、加工時点検知部２５４は検知信号を、映像加工部２３６、復号符号化制御部２５６、表示制御部２５８に送信し、映像加工部２３６、復号符号化制御部２５６、表示制御部２５８は、映像加工処理Ｓ４３６を遂行する。 Returning to FIG. 6, when the processing time detection unit 254 detects the processing time with reference to the marking information held in the stream holding unit 216 (YES in S434), the processing time detection unit 254 outputs a detection signal, The video processing unit 236, the decoding / encoding control unit 256, and the display control unit 258 transmit the video processing unit 236, the decoding / encoding control unit 256, and the display control unit 258 perform the video processing process S436.

（映像加工処理Ｓ４３６）
まず、復号符号化制御部２５６は、検知信号を受信すると、現在遂行している復号処理の後に遂行される符号化処理の開始を一時停止しておく（図７参照）。次に、映像加工部２３６は、表示制御部２５８による表示部２３４の制御と協働して、加工時点において復号された映像データの加工処理を開始する。 (Image processing S436)
First, when receiving the detection signal, the decoding / encoding control unit 256 temporarily stops the start of the encoding process performed after the currently performed decoding process (see FIG. 7). Next, in cooperation with the control of the display unit 234 by the display control unit 258, the video processing unit 236 starts processing the video data decoded at the time of processing.

図８および図９は、映像加工部２３６および表示制御部２５８による具体的な処理を説明するための説明図である。表示制御部２５８は、検知信号を受信すると、図８（ａ）に示すように、加工時点において復号された映像データ５１０に、ユーザに映像の加工を促すことを示すＧＵＩ映像データ５１２を重畳して表示部２３４に表示させる。 8 and 9 are explanatory diagrams for explaining specific processing by the video processing unit 236 and the display control unit 258. Upon receiving the detection signal, the display control unit 258 superimposes GUI video data 512 indicating that the user is prompted to process the video on the video data 510 decoded at the time of processing, as shown in FIG. 8A. Are displayed on the display unit 234.

そして、ユーザが操作部２１０を通じて、表示部２３４に表示されたＹＥＳボタン５１２ａを選択決定すると、図８（ｂ）に示すように、表示制御部２５８は、映像の加工の種類を示すＧＵＩ映像データ５１４を表示部２３４に表示させる。ここで、例えば、ユーザが操作部２１０を通じて、映像処理装置１１０で予め準備されているテンプレートを利用することを示すボタン５１４ａを選択決定すると、図８（ｃ）に示すように、表示制御部２５８は、テンプレートの一覧を示すＧＵＩ映像データ５１６を表示部２３４に表示させる。 When the user selects and determines the YES button 512a displayed on the display unit 234 through the operation unit 210, the display control unit 258 displays GUI video data indicating the type of video processing, as shown in FIG. 8B. 514 is displayed on the display unit 234. Here, for example, when the user selects and determines the button 514a indicating that the template prepared in advance in the video processing apparatus 110 is selected through the operation unit 210, as shown in FIG. 8C, the display control unit 258 is displayed. Causes the display unit 234 to display GUI video data 516 indicating a list of templates.

なお、ユーザは、ＧＵＩ映像データ５１６における左ボタン５１６ａや右ボタン５１６ｂを選択することで、表示部２３４に表示させるテンプレートのサムネイル５１６ｃを変更することができる。そして、ユーザが操作部２１０を通じて、選択ボタン５１６ｄを選択決定すると、図９（ａ）に示すように、映像加工部２３６は、復号された映像データ５１０を復号バッファ２２２から抽出して、テンプレートを重畳し、加工データ５２０を生成する。 The user can change the thumbnail 516c of the template displayed on the display unit 234 by selecting the left button 516a or the right button 516b in the GUI video data 516. When the user selects and decides the selection button 516d through the operation unit 210, the video processing unit 236 extracts the decoded video data 510 from the decoding buffer 222 as shown in FIG. The processing data 520 is generated by superimposing.

このように、装置メモリ２３２が予め複数種類のテンプレートデータを保持しておくことで、映像加工部２３６は、ユーザに複数種類のテンプレートのうちいずれかを選択させて、選択させたテンプレートを重畳して加工データ５２０を生成できるので、ユーザに容易に加工処理を遂行させることが可能となる。 As described above, since the device memory 232 holds a plurality of types of template data in advance, the video processing unit 236 allows the user to select one of a plurality of types of templates and superimposes the selected templates. Since the processing data 520 can be generated, the user can easily perform the processing.

また、例えばユーザが、図８（ｂ）に示すＧＵＩ映像データ５１４を視認して、操作部２１０を通じて、表示部２３４に表示された、手書きを利用することを示すボタン５１４ｂを選択決定すると、例えば、表示部２３４に重畳されたタッチパネルが起動し、ユーザは、このタッチパネルを操作することで、図９（ｂ）に示すような新規の映像データ５２２を生成することができる。そして、この新規の映像データ５２２の生成が完了すると、図９（ｃ）に示すように、映像加工部２３６は、復号された映像データ５１０を復号バッファ２２２から抽出し、ユーザが生成した新規の映像データ５２２を重畳して、加工データ５２４を生成する。 For example, when the user visually recognizes the GUI video data 514 shown in FIG. 8B and selects and determines the button 514b displayed on the display unit 234 through the operation unit 210 and indicating that handwriting is used, for example, The touch panel superimposed on the display unit 234 is activated, and the user can generate new video data 522 as shown in FIG. 9B by operating the touch panel. When the generation of the new video data 522 is completed, the video processing unit 236 extracts the decoded video data 510 from the decoding buffer 222 as shown in FIG. 9C, and the new video data generated by the user is generated. The processed data 524 is generated by superimposing the video data 522.

このように、映像加工部２３６は、ユーザ入力に応じて作成された新規の映像データ５２２を、復号された映像データ５１０に重畳するため、ユーザが所望する加工処理を施すことが可能となる。 In this manner, the video processing unit 236 superimposes the new video data 522 created in response to the user input on the decoded video data 510, so that the processing desired by the user can be performed.

そして、ユーザが操作部２１０を通じて加工処理を完了するための操作入力を行うと、映像加工部２３６は、完了信号を復号符号化制御部２５６に送信する。 When the user performs an operation input for completing the processing through the operation unit 210, the video processing unit 236 transmits a completion signal to the decoding and coding control unit 256.

なお、上述したように、本実施形態において、映像加工部２３６は、復号符号化制御部２５６による復号処理が完了してから加工処理を開始しているが（図７（ａ）参照）、復号符号化制御部２５６による復号処理の完了を待たずに（完了する前から）、加工処理を開始してもよい（図７（ｂ）参照）。このように、映像加工部２３６が、復号処理が完了する前から加工処理を開始することで、復号処理が完了してから加工処理を開始する場合と比較して、ダビングの総時間を短縮することが可能となる。 As described above, in the present embodiment, the video processing unit 236 starts the processing after the decoding processing by the decoding / encoding control unit 256 is completed (see FIG. 7A). The processing may be started without waiting for the completion of the decoding process by the encoding control unit 256 (before completion) (see FIG. 7B). Thus, the video processing unit 236 starts the processing process before the decoding process is completed, thereby reducing the total dubbing time compared to the case where the processing process is started after the decoding process is completed. It becomes possible.

図６に戻って、映像処理方法についての説明を続けると、加工時点判定ステップＳ４３４において、加工時点検知部２５４が加工時点を検知しない場合（Ｓ４３４におけるＮＯ）、復号ステップＳ４３２で復号バッファ２２２に保持された映像データを符号化バッファ２２４に出力する（Ｓ４３８）。また、加工時点検知部２５４が加工時点を検知した場合に、加工ステップＳ４３６が完了すると、映像加工部２３６は、加工データ５２０を符号化バッファ２２４に出力する（Ｓ４３８）。 Returning to FIG. 6, the description of the video processing method will be continued. In the processing time determination step S434, when the processing time detection unit 254 does not detect the processing time (NO in S434), it is held in the decoding buffer 222 in the decoding step S432. The processed video data is output to the encoding buffer 224 (S438). When the processing time detection unit 254 detects the processing time and the processing step S436 is completed, the video processing unit 236 outputs the processing data 520 to the encoding buffer 224 (S438).

そして、符号化バッファ２２４が予め定められた処理の容量に達すると、復号符号化制御部２５６は、復号部２２０に復号処理を停止させ（Ｓ４４０におけるＹＥＳ）、符号化部２２６に符号化処理を開始（再開）させて第２ストリームを生成させ、ストリームバッファ２２８に保持させる（Ｓ４４２）。 When the encoding buffer 224 reaches a predetermined processing capacity, the decoding / encoding control unit 256 causes the decoding unit 220 to stop the decoding process (YES in S440) and causes the encoding unit 226 to perform the encoding process. The second stream is generated by starting (resuming) and held in the stream buffer 228 (S442).

符号化バッファ２２４に保持された映像データおよび加工データの符号化処理が完了すると（Ｓ４４４におけるＹＥＳ）、中央制御部２４０は、ストリーム保持部２１６に保持された第１ストリームの復号および符号化がすべて終了したか否かを判定し（Ｓ４４６）、すべて終了していれば（Ｓ４４６におけるＹＥＳ）、外部出力部２３０は、ストリームバッファ２２８に保持された第２ストリームを記録装置１２０に出力する（Ｓ４４８）。 When the encoding process of the video data and the processed data held in the encoding buffer 224 is completed (YES in S444), the central control unit 240 performs all decoding and encoding of the first stream held in the stream holding unit 216. It is determined whether or not the processing is completed (S446). If all processing is completed (YES in S446), the external output unit 230 outputs the second stream held in the stream buffer 228 to the recording device 120 (S448). .

以上説明したように、本実施形態にかかる映像処理装置１１０および映像処理方法では、映像処理装置１１０自体に設けられた映像加工部２３６が映像データを加工するため、ＰＣ等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを容易に加工することが可能となる。また、映像加工部２３６は、操作部２１０を通じたユーザによる操作入力に応じて、映像データを加工することができるため、ユーザが所望する加工処理を映像データに施すことが可能となる。さらに、マーキング部２５２は、操作部２１０を通じたユーザによる操作入力に応じて、マーキング情報を生成するため、ユーザが所望する映像データに加工処理を施すことが可能となる。 As described above, in the video processing device 110 and the video processing method according to the present embodiment, since the video processing unit 236 provided in the video processing device 110 itself processes the video data, a separate device such as a PC is used. At least, the video data can be easily processed without forcing the user to perform complicated operations. Further, since the video processing unit 236 can process the video data in response to an operation input by the user through the operation unit 210, it is possible to perform the processing desired by the user on the video data. Furthermore, since the marking unit 252 generates marking information in response to an operation input by the user through the operation unit 210, it is possible to process the video data desired by the user.

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.

例えば、上述した実施形態では、符号化部２１４が、撮像部２１２が生成した映像データを符号化し、符号化部２２６が、復号された映像データや加工データを符号化しているが、符号化部２１４と符号化部２２６を１つに纏めることもできる。 For example, in the above-described embodiment, the encoding unit 214 encodes the video data generated by the imaging unit 212, and the encoding unit 226 encodes the decoded video data and processed data. It is also possible to combine 214 and the encoding unit 226 into one.

また、撮像部２１２および符号化部２１４がストリーム取得部として機能し、撮像部２１２および符号化部２１４による第１ストリームの生成（撮像）と並行して、マーキング部２５２がユーザによる操作入力に応じてマーキングする場合を例に挙げて説明したが、例えば、撮像部２１２を有さない構成において、ストリーム取得部が外部記録媒体から第１ストリームを取得する場合、一旦復号部２２０が第１ストリームを復号して、表示部２３４に表示させてもよい。こうすることで、ユーザは第１ストリームに基づく映像を視認しながらマーキングすることができる。 In addition, the imaging unit 212 and the encoding unit 214 function as a stream acquisition unit, and in parallel with the generation (imaging) of the first stream by the imaging unit 212 and the encoding unit 214, the marking unit 252 responds to an operation input by the user. For example, when the stream acquisition unit acquires the first stream from the external recording medium in the configuration that does not include the imaging unit 212, the decoding unit 220 temporarily stores the first stream. The data may be decrypted and displayed on the display unit 234. By doing so, the user can mark while visually recognizing the video based on the first stream.

さらに、上述した実施形態では、記録装置１２０が記録媒体１３０へのストリーム書き込み機能を備える構成について説明したが、映像処理装置１１０がストリーム書き込み機能を備えることもできる。 Furthermore, in the above-described embodiment, the configuration in which the recording apparatus 120 has a function of writing a stream to the recording medium 130 has been described. However, the video processing apparatus 110 can also have a function of writing a stream.

なお、本明細書の映像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。 Note that each step of the video processing method of the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include processing in parallel or a subroutine.

本発明は、映像データを加工する映像処理装置、ダビングシステムおよび映像処理方法に利用することができる。 The present invention can be used in a video processing apparatus, a dubbing system, and a video processing method for processing video data.

１００ …ダビングシステム
１１０ …映像処理装置
１２０ …記録装置
１３０ …記録媒体
２１２ …撮像部（ストリーム取得部）
２１４ …符号化部（ストリーム取得部）
２１６ …ストリーム保持部
２２０ …復号部
２２６ …符号化部
２３０ …外部出力部
２３６ …映像加工部
２５２ …マーキング部
２５４ …加工時点検知部
２５６ …復号符号化制御部
３１４ …ストリーム書込部 DESCRIPTION OF SYMBOLS 100 ... Dubbing system 110 ... Video processing apparatus 120 ... Recording apparatus 130 ... Recording medium 212 ... Imaging part (stream acquisition part)
214 ... Encoding unit (stream acquisition unit)
216 ... Stream holding unit 220 ... Decoding unit 226 ... Encoding unit 230 ... External output unit 236 ... Video processing unit 252 ... Marking unit 254 ... Processing time detection unit 256 ... Decoding and encoding control unit 314 ... Stream writing unit

Claims

A stream acquisition unit for acquiring a first stream;
A marking unit that marks a processing time point at which the first stream is processed at a predetermined timing, and generates marking information indicating the processing time point;
A stream holding unit for holding the marking information in association with the first stream;
A decoding unit for performing a decoding process for decoding the first stream to generate video data;
When the decoding unit performs the decoding process, referring to the marking information, a processing time point detection unit that detects the processing time point,
When the processing time detection unit detects the processing time, a video processing unit for performing a processing process to process the video data decoded at the processing time;
An encoding unit that performs an encoding process for sequentially encoding the decoded video data and the processed video data to generate a second stream;
When the processing time detection unit detects the processing time, a decoding encoding control unit that controls the encoding unit to not start the encoding process until the processing by the video processing unit is completed;
An external output unit for outputting the second stream to the outside;
Equipped with a,
The decoding process by the decoding unit and the encoding process by the encoding unit are alternately performed,
The image processing unit, when the processing time detecting unit detects the processing time, without waiting for completion of the decoding processing, the image processing apparatus characterized that you initiate processing of the decoded video data.

The video processing apparatus according to claim 1, wherein the video processing unit performs a processing process of superimposing new video data created in response to a user input on the decoded video data.

It said marking unit, the image processing apparatus according to claim 1 or 2, characterized in that to generate the marking information based on an input of a predetermined time interval, a predetermined shooting scene or user.

The stream acquisition unit includes an imaging unit,
The imaging unit acquires imaging data obtained by imaging a subject,
The video processing apparatus according to any one of claims 1-3 wherein the stream acquisition portion, characterized in that obtaining the first stream based on the imaging data.

A dubbing system comprising: a video processing device that processes a stream; and a recording device that is connected to the video processing device and writes the processed stream to an arbitrary recording medium,
The video processing device includes:
A stream acquisition unit for acquiring a first stream;
A marking unit that marks a processing time point for processing the first stream at a predetermined timing to generate marking information;
A stream holding unit for holding the marking information in association with the first stream;
A decoding unit for performing a decoding process for decoding the first stream to generate video data;
When the decoding unit performs the decoding process, referring to the marking information, a processing time point detection unit that detects the processing time point,
When the processing time detection unit detects the processing time, a video processing unit for performing a processing process to process the video data decoded at the processing time;
An encoding unit that performs an encoding process for sequentially encoding the decoded video data and the processed video data to generate a second stream;
When the processing time detection unit detects the processing time, a decoding encoding control unit that controls the encoding unit to not start the encoding process until the processing by the video processing unit is completed;
An external output unit for outputting the second stream to the recording device;
With
The recording device comprises:
A stream writing unit for writing the output second stream to a recording medium;
The decoding process by the decoding unit and the encoding process by the encoding unit are alternately performed,
Dubbing system the image processing unit, the processing time detection unit when detecting the machining time, without waiting for completion of the decoding process, which is characterized that you initiate processing of the decoded video data.

Get the first stream,
Marking a processing time point at which the first stream is processed at a predetermined timing to generate marking information,
Holding the marking information in association with the first stream;
Performing a decoding process of decoding the first stream to generate video data;
When performing the decoding process, with reference to the marking information, when the processing time is detected, the processing for processing the video data decoded at the processing time is performed,
Performing an encoding process of sequentially encoding the decoded video data and the processed video data to generate a second stream;
The decoding process and the encoding process are performed alternately,
When the processing time is detected with reference to the marking information, processing of the decoded video data is started without waiting for completion of the decoding processing, and the encoding processing is started until the processing processing is completed. Control not to
A video processing method, comprising: outputting the second stream to the outside.