Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5853142B2 - Video transmission system - Google Patents
[go: Go Back, main page]

JP5853142B2 - Video transmission system - Google Patents

Video transmission system Download PDF

Info

Publication number
JP5853142B2
JP5853142B2 JP2011012328A JP2011012328A JP5853142B2 JP 5853142 B2 JP5853142 B2 JP 5853142B2 JP 2011012328 A JP2011012328 A JP 2011012328A JP 2011012328 A JP2011012328 A JP 2011012328A JP 5853142 B2 JP5853142 B2 JP 5853142B2
Authority
JP
Japan
Prior art keywords
frame data
unit
compression
moving image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011012328A
Other languages
Japanese (ja)
Other versions
JP2012156652A (en
Inventor
一彦 五所野尾
一彦 五所野尾
享 伊藤
享 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2011012328A priority Critical patent/JP5853142B2/en
Publication of JP2012156652A publication Critical patent/JP2012156652A/en
Application granted granted Critical
Publication of JP5853142B2 publication Critical patent/JP5853142B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画伝送システム、特にリアルタイムで動画を伝送する動画伝送システムに関する。   The present invention relates to a moving image transmission system, and more particularly to a moving image transmission system that transmits a moving image in real time.

従来から、リアルタイムで動画を伝送する動画伝送システムにおいては、動画データを画像圧縮してデータサイズを小さくすることが一般的に行われている。そして、フレームデータのデータサイズを小さくするために、他のフレームデータとの差分を利用することが提案されている。このようなものとしては、Iピクチャ(フレーム内符号化画像)と、Pピクチャ(順方向予測符号化画像)とを利用したものがある。ここで、Iピクチャは、フレームデータを他のフレームデータとの依存関係がなく単独で伸長可能な形に圧縮したものである。また、Pピクチャは、フレームデータを時系列の前のフレームとの差分により表される形に圧縮したものである。   2. Description of the Related Art Conventionally, in moving image transmission systems that transmit moving images in real time, moving image data is generally compressed to reduce the data size. In order to reduce the data size of the frame data, it has been proposed to use a difference from other frame data. As such, there is one using an I picture (intra-frame encoded image) and a P picture (forward prediction encoded image). Here, the I picture is obtained by compressing frame data into a form that can be independently decompressed without any dependency on other frame data. A P picture is obtained by compressing frame data into a form represented by a difference from a previous frame in time series.

上述したような圧縮方法と同様の圧縮方法は、MPEG−2等で採用されている。Pピクチャは、Iピクチャとは異なり単独で伸長することはできないが、Iピクチャに比べてデータサイズを大幅に小さくすることができる。そのため、動画データの最初のフレームデータをIピクチャに圧縮し、後のフレームデータをPピクチャに圧縮すれば、データサイズを非常に小さくすることができる。   A compression method similar to the compression method described above is employed in MPEG-2 and the like. Unlike an I picture, a P picture cannot be expanded independently, but the data size can be significantly reduced compared to an I picture. Therefore, if the first frame data of moving image data is compressed into an I picture and the subsequent frame data is compressed into a P picture, the data size can be made very small.

ところで、Pピクチャを伸長するにあたっては、前のフレームデータを参照する必要がある。そのため、パケットロス等が発生して画像が劣化した場合には、このような劣化の影響がその後のフレームデータ全てに及んでしまい、表示される動画の品質が悪くなってしまう。そこで、フレームデータを定期的にIピクチャに圧縮して伝送することで、画像の劣化を抑制する方法が採用されているが、Iピクチャを定期的に送信するので、比較的大きなデータが定期的に伝送されることになる。また、動画データの伝送に使用可能な周波数帯域が比較的狭い場合、Iピクチャを伝送するために長時間かかってしまう。そのため、表示中の動画に遅延が生じるおそれがある。   By the way, when decompressing a P picture, it is necessary to refer to the previous frame data. Therefore, when an image is deteriorated due to packet loss or the like, the influence of such deterioration affects all subsequent frame data, and the quality of the displayed moving image is deteriorated. Therefore, a method of suppressing image degradation by periodically compressing and transmitting frame data to an I picture is employed. However, since I pictures are periodically transmitted, relatively large data is periodically transmitted. Will be transmitted. Also, when the frequency band that can be used for moving image data transmission is relatively narrow, it takes a long time to transmit the I picture. Therefore, there is a possibility that a delay occurs in the moving image being displayed.

これを解決するものとして、フレームデータを複数の分割フレームデータに分割するとともに、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つをPピクチャに圧縮する方法が特許文献1に開示されている。この特許文献1に記載のものでは、動画データに含まれる複数のフレームデータの圧縮後のデータサイズを平均化することができ、かつ、フレームデータ全体をIピクチャのような基準ピクチャに圧縮した場合よりも小さい値とすることができる。よって、動画データの伝送に使用可能な周波数帯域が狭い場合でも、圧縮のデータレートや、フレームレート、色数を低くせずに済み、品質を低下させることなく動画を伝送することが可能になる。   As a solution to this, Patent Document 1 discloses a method of dividing frame data into a plurality of divided frame data and compressing at least one of the plurality of divided frame data divided from the same frame data into a P picture. Has been. In the one described in Patent Document 1, the data size after compression of a plurality of frame data included in moving image data can be averaged, and the entire frame data is compressed into a reference picture such as an I picture. It can be set to a smaller value. Therefore, even when the frequency band that can be used for moving image data transmission is narrow, it is not necessary to reduce the compression data rate, frame rate, and number of colors, and it is possible to transmit moving images without degrading the quality. .

特開2010−081140号公報JP 2010-081140 A

しかしながら、上記従来例では、圧縮後のデータサイズを平均化することでデータサイズの平均値を小さくすることはできるが、全体として必要なデータの伝送量を低減する効果は期待できないという問題があった。このため、上記従来例では、Iピクチャを定期的に送信する場合と同様に、比較的大きなデータが伝送されることになる。   However, in the above conventional example, the average value of the data size can be reduced by averaging the data size after compression, but there is a problem that the effect of reducing the transmission amount of necessary data as a whole cannot be expected. It was. For this reason, in the conventional example, relatively large data is transmitted as in the case of regularly transmitting I pictures.

本発明は、上記の点に鑑みて為されたもので、動画の品質の劣化を抑制しつつデータサイズの平均値を小さくし、且つデータの伝送量を低減することのできる動画伝送システムを提供することを目的とする。   The present invention has been made in view of the above points, and provides a moving picture transmission system capable of reducing the average value of the data size and reducing the data transmission amount while suppressing deterioration of the quality of the moving picture. The purpose is to do.

本発明の動画伝送システムは、動画データを送受信する送信装置及び受信装置を備え、前記送信装置は、動画データに含まれる時系列順の複数のフレームデータのうち最初のフレームデータを基準ピクチャに圧縮するとともに、残りのフレームデータを、他のフレームデータとの差分よりなる差分ピクチャに一定周期で圧縮する第1の圧縮処理と、前記複数のフレームデータを前記一定周期よりも長い周期で前記基準ピクチャに圧縮する第2の圧縮処理とをそれぞれ実行し、前記受信装置は、前記第1の圧縮処理及び前記第2の圧縮処理の各々で得たデータを受信し、前記第1の圧縮処理で得たデータを伸長するとともに、前記データを解析して動画像の品質を評価するためのパラメータを求め、当該パラメータが閾値を下回ると、前記第2の圧縮処理で得たデータを参照して伸長することを特徴とする。 The moving image transmission system of the present invention includes a transmitting device and a receiving device that transmit and receive moving image data, and the transmitting device compresses the first frame data among a plurality of time-series frame data included in the moving image data into a reference picture. And a first compression process for compressing the remaining frame data into a differential picture consisting of a difference from other frame data at a constant cycle; and the plurality of frame data at a cycle longer than the fixed cycle. Each of the first compression processing and the second compression processing is received, and the reception device receives the data obtained in each of the first compression processing and the second compression processing, and obtains the data by the first compression processing. A parameter for evaluating the quality of the moving image by analyzing the data and when the parameter falls below a threshold value, Referring to the data obtained by the compression process, characterized in that extension.

この動画伝送システムにおいて、前記送信装置は、動画データを得るための入力部と、前記入力部で得られた動画データに含まれる時系列順の複数のフレームデータそれぞれを圧縮することで動画データの圧縮を行う第1の圧縮部及び第2の圧縮部と、前記各圧縮部で圧縮された圧縮フレームデータを時系列順に前記受信装置に送信するとともに、前記受信装置から送信される指令信号を受信する送受信部とを有し、前記各圧縮部は、前記第1の圧縮処理と、前記第2の圧縮処理とをそれぞれ実行し、前記受信装置は、前記送信装置から送信される前記圧縮フレームデータを受信するとともに、前記送信装置に前記指令信号を送信する送受信部と、前記第1の圧縮処理で得た前記圧縮フレームデータを伸長することで圧縮された前記動画データの伸長を行う伸長部と、伸長された前記動画データを表示する表示部と、前記第1の圧縮処理で得た前記圧縮フレームデータを解析して動画像の品質を評価するためのパラメータを求める解析部とを有し、前記受信装置は、前記解析部において前記パラメータが閾値を下回ると、前記各圧縮部における圧縮処理を切り替えるように要求する前記指令信号を前記送信装置に送信するとともに、前記第2の圧縮処理で得た前記圧縮フレームデータを参照して伸長することが好ましい。
In the moving image transmission system, the transmission device compresses moving image data by compressing each of a plurality of time-series frame data included in the moving image data obtained by the input unit and moving image data obtained by the input unit. The first compression unit and the second compression unit that perform compression, and the compressed frame data compressed by each compression unit are transmitted to the reception device in time series, and the command signal transmitted from the reception device is received. and a transceiver for, each compression unit, said a first compression process, and executes each said second compression, the receiving apparatus, the compressed frame data transmitted from the transmitting device And transmitting / receiving the command signal to the transmitting device, and the moving image data compressed by decompressing the compressed frame data obtained by the first compression processing. Determining a decompression unit for performing the extension, and a display unit for displaying the decompressed moving picture data, a parameter for analyzing the compressed frame data obtained by the first compression process to evaluate the quality of a moving image The analysis unit, and when the parameter falls below a threshold value in the analysis unit, the reception device transmits the command signal requesting to switch compression processing in each compression unit to the transmission device, and It is preferable to decompress the frame data with reference to the compressed frame data obtained by the second compression process.

この動画伝送システムにおいて、前記解析部は、前記圧縮フレームデータを伸長したフレームデータの色情報に基づいて解析することが好ましい。   In this moving image transmission system, it is preferable that the analysis unit analyzes based on color information of frame data obtained by decompressing the compressed frame data.

この動画伝送システムにおいて、前記解析部は、前記圧縮フレームデータを伸長したフレームデータの輝度情報に基づいて解析することが好ましい。   In this moving image transmission system, it is preferable that the analysis unit analyzes based on luminance information of frame data obtained by decompressing the compressed frame data.

この動画伝送システムにおいて、前記解析部は、前記圧縮フレームデータのデータサイズに基づいて解析することが好ましい。   In the moving image transmission system, it is preferable that the analysis unit performs analysis based on a data size of the compressed frame data.

本発明は、動画の品質の劣化を抑制しつつデータサイズの平均値を小さくし、且つデータの伝送量を低減することができるという効果を奏する。   The present invention has an effect that the average value of the data size can be reduced while the deterioration of the quality of the moving image is suppressed, and the data transmission amount can be reduced.

本発明に係る動画伝送システムの実施形態を適用したインターホンシステムのブロック図である。It is a block diagram of an intercom system to which an embodiment of a moving picture transmission system according to the present invention is applied. (a)〜(c)は同上のインターホンシステムにおいて解析部が動画の品質が劣化したと判定していない場合の説明図である。(A)-(c) is explanatory drawing when the analysis part does not determine with the quality of the moving image having deteriorated in the intercom system same as the above. (a)〜(c)は同上のインターホンシステムにおいて解析部が動画の品質が劣化したと判定した場合の説明図である。(A)-(c) is explanatory drawing when the analysis part determines with the quality of a moving image having deteriorated in the intercom system same as the above. (a)〜(c)は従来の圧縮方法の説明図である。(A)-(c) is explanatory drawing of the conventional compression method.

以下、本発明に係る動画伝送システムの実施形態を、セキュリティインターホンシステム(以下、単に「インターホンシステム」と呼ぶ)に適用した例に基づいて説明する。   Hereinafter, an embodiment of a moving picture transmission system according to the present invention will be described based on an example applied to a security intercom system (hereinafter simply referred to as “interphone system”).

このインターホンシステムは、図1に示すように、住宅の軒先に設置される撮像装置1と、住宅内(屋内)に設置される親機(インターホン親機)より成る表示装置2と、住宅外(屋外)に設置される不図示の子器(インターホン子器)とで構成されている。なお、撮像装置1及び子器は表示装置2に伝送線により接続されている。また、子器は従来周知のものを採用することが可能であるから、子器の詳細な説明は省略する。   As shown in FIG. 1, this intercom system includes an imaging device 1 installed at the eaves of a house, a display device 2 composed of a master unit (interphone master unit) installed inside the house (indoor), and outside the house ( It is comprised with the subunit | mobile_unit (interphone subunit | mobile_unit) not shown installed in the outdoors. Note that the imaging device 1 and the slave unit are connected to the display device 2 by a transmission line. Moreover, since a conventionally well-known thing can be employ | adopted for a subunit | mobile_unit, detailed description of a subunit | mobile_unit is abbreviate | omitted.

撮像装置1は、動画データを送信する送信装置であって、入力部10と、記憶部11と、第1の圧縮部12と、第2の圧縮部13と、処理部14と、送受信部15とを主な構成要素として備えている。   The imaging device 1 is a transmission device that transmits moving image data, and includes an input unit 10, a storage unit 11, a first compression unit 12, a second compression unit 13, a processing unit 14, and a transmission / reception unit 15. As main components.

入力部10は、例えば所定の撮像領域を撮像する機能を有する撮像部であり、CCDイメージ・センサやCMOSイメージ・センサ等の固体撮像素子より成る撮像素子(図示せず)を備える。また、入力部10は、上記撮像素子とともにカメラとしての機能を発揮するDSP(Digital Signal Processor)等の制御装置(図示せず)を主な構成要素として備えている。なお、撮像素子としてCMOSイメージ・センサを用いる場合、入力部10としては、システム・オン・チップ(SoC)技術等を利用して撮像素子と制御装置とを一体に構成したワンチップカメラを用いることもできる。   The input unit 10 is an imaging unit having a function of imaging a predetermined imaging region, for example, and includes an imaging device (not shown) made of a solid-state imaging device such as a CCD image sensor or a CMOS image sensor. In addition, the input unit 10 includes a control device (not shown) such as a DSP (Digital Signal Processor) that performs a function as a camera together with the imaging device as a main component. When a CMOS image sensor is used as the image sensor, a one-chip camera in which the image sensor and the control device are integrally configured using system-on-chip (SoC) technology or the like is used as the input unit 10. You can also.

入力部10の制御装置は、撮像素子の出力(電荷)を所定のフレームレート(例えば、30fps)で取り込む。そして、制御装置は、取り込んだ撮像素子の出力に基づいて所定の形式(例えば、YUV形式)のディジタル・データ、例えばRAWデータ等の静止画データを作成して出力する。このようにして、制御装置からは、撮像領域の画像を表す静止画データが順次出力される。そのため、入力部10によって、撮像領域の動画(動画像)を表す動画データを得ることができる。入力部10より得られる動画データは、時系列順の複数の静止画データにより構成されており、以下の説明では、動画データを構成する時系列順の静止画データ(すなわち、動画データの1フレーム当たりのデータ)をフレームデータと呼ぶ。   The control device of the input unit 10 captures the output (charge) of the image sensor at a predetermined frame rate (for example, 30 fps). Then, the control device creates and outputs still image data such as digital data in a predetermined format (for example, YUV format), for example, RAW data, based on the captured output of the image sensor. In this way, still image data representing the image of the imaging region is sequentially output from the control device. Therefore, moving image data representing moving images (moving images) in the imaging region can be obtained by the input unit 10. The moving image data obtained from the input unit 10 is composed of a plurality of still image data in time-series order. In the following description, still-image data in time-series order constituting the moving image data (that is, one frame of the moving image data) Hit data) is called frame data.

記憶部11は、フラッシュメモリやSDRAM、SRAM等の書き換え可能な記憶装置(ストレージ・デバイス)であり、主として入力部10で得た動画データの記憶(貯蔵)に使用される。   The storage unit 11 is a rewritable storage device (storage device) such as a flash memory, SDRAM, or SRAM, and is mainly used for storage (storage) of moving image data obtained by the input unit 10.

各圧縮部12,13は、入力部10で得られた動画データを表示装置2に伝送するために、動画データの圧縮を行う。各圧縮部12,13は、例えばマイコンから成り、メモリに記憶されたプログラムを実行することにより下記の圧縮処理を実行する。なお、各圧縮部12,13には、マイコンの他に専用のASIC(Application Specific Integrated Circuit)や、FPGA(Field ProgrammableGate Array)、DSP等も用いることができる。勿論、各圧縮部12,13を1つのマイコン等で構成してもよい。動画データの圧縮は、動画データを構成する時系列順の複数のフレームデータそれぞれを圧縮することにより行う。各圧縮部12,13は、第1の圧縮処理と第2の圧縮処理との何れか一方の処理をフレームデータに対して実行することで、圧縮フレームデータを作成する。また、各圧縮部12,13は、それぞれ相異なる圧縮処理を同時に行う。例えば、第1の圧縮部12が第1の圧縮処理を行っている場合は、第2の圧縮部13は第2の圧縮処理を行い、その逆もまた然りである。   The compression units 12 and 13 compress moving image data in order to transmit the moving image data obtained by the input unit 10 to the display device 2. Each compression part 12 and 13 consists of microcomputers, for example, and performs the following compression process by running the program memorize | stored in memory. In addition to the microcomputer, a dedicated ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), DSP, or the like can be used for each of the compression units 12 and 13. Of course, each of the compression units 12 and 13 may be constituted by one microcomputer or the like. The compression of the moving image data is performed by compressing each of a plurality of time-sequential frame data constituting the moving image data. Each of the compression units 12 and 13 creates compressed frame data by executing one of the first compression process and the second compression process on the frame data. The compression units 12 and 13 simultaneously perform different compression processes. For example, when the first compression unit 12 is performing the first compression process, the second compression unit 13 performs the second compression process, and vice versa.

第1の圧縮処理は、先ず、最初のフレームデータを、例えばIピクチャ(フレーム内符号化画像)のような基準ピクチャに画像圧縮(符号化)する。基準ピクチャは、他のフレームデータとの依存関係がなく単独で伸長可能な静止画圧縮画像である。なお、基準ピクチャへの圧縮方法としては、従来周知の方法(例えば、JPEGやIピクチャ等を得るための静止画圧縮方法)を採用することができるので、ここでは詳細な説明を省略する。次に、第1の圧縮処理は、以降のフレームデータを、例えばPピクチャ(順方向予測符号化画像)のような差分ピクチャに画像圧縮する。差分ピクチャは、他のフレームデータとの差分より得られる動画圧縮画像である。なお、差分ピクチャへの圧縮方法としては、従来周知の方法(例えば、Pピクチャを得るための動画圧縮方法)を採用することができるので、ここでは詳細な説明を省略する。   In the first compression processing, first, the first frame data is image-compressed (encoded) into a reference picture such as an I picture (intra-frame encoded image). The reference picture is a still image compressed image that is independent of other frame data and can be expanded independently. As a compression method to the reference picture, a conventionally well-known method (for example, a still image compression method for obtaining JPEG, I picture, or the like) can be adopted, and detailed description thereof is omitted here. Next, in the first compression process, the subsequent frame data is image-compressed into a differential picture such as a P picture (forward prediction encoded image). The difference picture is a compressed moving image obtained from a difference from other frame data. Note that a conventionally known method (for example, a moving image compression method for obtaining a P picture) can be employed as a compression method to a differential picture, and thus detailed description thereof is omitted here.

第2の圧縮処理は、フレームデータを基準ピクチャのみに画像圧縮する処理である。なお、後述するように、第2の圧縮処理で圧縮された圧縮フレームデータは、第1の圧縮処理で圧縮された圧縮フレームデータを送信する一定周期T1よりも長い周期T2で表示装置2に送信される。したがって、第2の圧縮処理では、第1の圧縮処理とは異なり全てのフレームデータに対して圧縮処理を行うのではなく、一定の間隔を空けて圧縮処理を行う(図2(c)参照)。   The second compression process is a process for compressing the frame data into only the reference picture. As will be described later, the compressed frame data compressed by the second compression processing is transmitted to the display device 2 at a cycle T2 longer than the fixed cycle T1 for transmitting the compressed frame data compressed by the first compression processing. Is done. Therefore, in the second compression process, unlike the first compression process, the compression process is not performed on all frame data, but is performed with a certain interval (see FIG. 2C). .

処理部14は、例えば、入力部10が順次出力する動画データのフレームデータに管理用の識別符号(例えばフレーム番号等)を付して記憶部11に記憶させる記憶処理を実行する。また、処理部14は、所定の時間間隔で、入力部10のフレームデータによるフレームに対象物(本実施形態では人)が写っているか否か(すなわち、入力部10の撮像範囲内に人が存在しているか否か)を判定する検出処理を実行する。このような検出処理は、入力部10より得たフレームデータに対して画像処理を行うことで実現可能である。例えば、入力されたフレームデータに顔認証処理を行うことで全画面領域上での人の顔の位置を検出する。なお、このような検出処理は、従来から種々の方法が提供されているため詳細な説明は省略する。処理部14は、検出処理において対象物を検出すると、対象物の検出時刻を含む所定期間内に入力部10より得られる動画データを表示装置2に送信する送信処理を実行する。当該送信処理では、各圧縮部12,13に動画データの圧縮を開始させるとともに、送受信部15に動画データの送信を開始させる。なお、処理部14には、例えばマイコンが用いられる。   For example, the processing unit 14 performs a storage process in which a management identification code (for example, a frame number) is attached to the frame data of the moving image data sequentially output by the input unit 10 and stored in the storage unit 11. Further, the processing unit 14 determines whether or not an object (a person in this embodiment) is captured in a frame based on the frame data of the input unit 10 at a predetermined time interval (that is, a person is within the imaging range of the input unit 10). A detection process for determining whether or not it exists is executed. Such detection processing can be realized by performing image processing on the frame data obtained from the input unit 10. For example, a face authentication process is performed on the input frame data to detect the position of a human face on the entire screen area. In addition, since various methods are conventionally provided for such detection processing, detailed description thereof is omitted. When the processing unit 14 detects an object in the detection process, the processing unit 14 performs a transmission process of transmitting moving image data obtained from the input unit 10 to the display device 2 within a predetermined period including the detection time of the target. In the transmission process, the compression units 12 and 13 start to compress moving image data, and the transmission / reception unit 15 starts transmission of moving image data. For example, a microcomputer is used as the processing unit 14.

送受信部15は、各圧縮部12,13で圧縮された動画データ(圧縮動画データ)を表示装置2に送信するための通信部であり、圧縮動画データを符号化(伝送路符号化)して表示装置2に出力する。このような送受信部15は、各圧縮部12,13で作成された圧縮フレームデータを時系列順に送信することで圧縮動画データをリアルタイムで伝送する。また、送受信部15は、表示装置2から送信される後述の切替要求コマンドを含む指令信号を受信し、当該指令信号を処理部14に与える受信部としての機能も有する。   The transmission / reception unit 15 is a communication unit for transmitting the moving image data (compressed moving image data) compressed by the compression units 12 and 13 to the display device 2, and encodes the compressed moving image data (transmission path encoding). Output to the display device 2. Such a transmission / reception unit 15 transmits the compressed moving image data in real time by transmitting the compressed frame data created by the compression units 12 and 13 in chronological order. The transmission / reception unit 15 also has a function as a reception unit that receives a command signal including a switching request command (described later) transmitted from the display device 2 and gives the command signal to the processing unit 14.

また、送受信部15は、各圧縮部12,13で作成された圧縮フレームデータをそれぞれ異なる周期で表示装置2に送信する。すなわち、送受信部15は、各圧縮部12,13のうち第1の圧縮処理を実行する圧縮部からの圧縮フレームデータを一定周期T1で送信するとともに、第2の圧縮処理を実行する圧縮部からの圧縮フレームデータを周期T2(T2>T1)で送信する。したがって、第2の圧縮処理を実行する圧縮部からの圧縮フレームデータは、第1の圧縮処理を実行する圧縮部からの圧縮フレームデータよりも低いビットレートで送信されるため、伝送負荷が増大するのを抑えることができる。   The transmission / reception unit 15 transmits the compressed frame data created by the compression units 12 and 13 to the display device 2 at different periods. That is, the transmission / reception unit 15 transmits the compressed frame data from the compression unit that executes the first compression process among the compression units 12 and 13 at a constant period T1 and from the compression unit that executes the second compression process. The compressed frame data is transmitted at a cycle T2 (T2> T1). Therefore, since the compressed frame data from the compression unit that executes the second compression process is transmitted at a lower bit rate than the compressed frame data from the compression unit that executes the first compression process, the transmission load increases. Can be suppressed.

表示装置2は、撮像装置1が送信した動画データを受信して表示する機能を有した受信装置である。このような表示装置2は、送受信部20と、記憶部21と、伸長部22と、表示部23と、処理部24と、解析部25とを主な構成要素として備えている。   The display device 2 is a receiving device having a function of receiving and displaying moving image data transmitted from the imaging device 1. Such a display device 2 includes a transmission / reception unit 20, a storage unit 21, an expansion unit 22, a display unit 23, a processing unit 24, and an analysis unit 25 as main components.

送受信部20は、撮像装置1より送信されてくる動画データを受信するための通信部であり、送受信部15より送信された圧縮動画データを含む信号を復号化(伝送路復号化)して順次出力する処理を実行する。また、送受信部20は、解析部25で生成される後述の切替要求コマンドを含む指令信号を撮像装置1に送信する送信部としての機能も有する。   The transmission / reception unit 20 is a communication unit for receiving the moving image data transmitted from the imaging device 1, and sequentially decodes the signal including the compressed moving image data transmitted from the transmission / reception unit 15 (transmission path decoding). Execute the output process. The transmission / reception unit 20 also has a function as a transmission unit that transmits a command signal including a switching request command described later generated by the analysis unit 25 to the imaging device 1.

記憶部21は、記憶部11と同様に、フラッシュメモリやSDRAM、SRAM等の書き換え可能な記憶装置であり、主として送受信部20で受信した圧縮動画データの記憶(貯蔵)に使用される。   Similar to the storage unit 11, the storage unit 21 is a rewritable storage device such as a flash memory, SDRAM, or SRAM, and is mainly used for storing (storing) compressed moving image data received by the transmission / reception unit 20.

伸長部22は、送受信部20で受信した圧縮動画データを伸長するためのものであり、圧縮フレームデータそれぞれを伸長することにより圧縮動画データの伸長を行う。ここで、伸長部22は、撮像装置1において第1の圧縮処理で圧縮された圧縮動画データの伸長を行う。なお、伸長部22は、圧縮部12と同様に、マイコンや、ASIC、FPGA、DSP等を主な構成要素とすることができる。   The decompression unit 22 is for decompressing the compressed moving image data received by the transmission / reception unit 20, and decompresses the compressed moving image data by decompressing each compressed frame data. Here, the decompression unit 22 decompresses the compressed moving image data compressed by the first compression processing in the imaging apparatus 1. Note that, similarly to the compression unit 12, the decompression unit 22 can include a microcomputer, an ASIC, an FPGA, a DSP, and the like as main components.

表示部23は、液晶表示装置(LCD)やCRT等の表示装置(図示せず)より成る。表示部23は、伸長部22で伸長された圧縮フレームデータ、すなわちフレームデータによるフレームを時系列順に表示することによって、動画データを表示する(動画を再生する)。   The display unit 23 includes a display device (not shown) such as a liquid crystal display device (LCD) or a CRT. The display unit 23 displays the moving image data (reproduces the moving image) by displaying the compressed frame data expanded by the expansion unit 22, that is, the frames based on the frame data in time series order.

処理部24は、例えば送受信部20で受信した圧縮動画データを記憶部21に録画する録画処理を実行する。また、処理部24は、送受信部20で圧縮動画データを受信すると、当該圧縮動画データを表示部23に表示させる表示処理を実行する。この表示処理では、伸長部22に圧縮動画データの伸長を開始させるとともに、表示部23に動画データの表示を開始させる。このような処理部24は、処理部14と同様にマイコンが用いられる。   For example, the processing unit 24 performs a recording process of recording the compressed moving image data received by the transmission / reception unit 20 in the storage unit 21. In addition, when the transmission / reception unit 20 receives the compressed moving image data, the processing unit 24 executes display processing for displaying the compressed moving image data on the display unit 23. In this display process, the decompression unit 22 starts decompressing the compressed moving image data, and the display unit 23 starts displaying the moving image data. Such a processing unit 24 uses a microcomputer in the same manner as the processing unit 14.

解析部25は、伸長部22で伸長されたフレームデータを解析して動画像の品質を評価するためのパラメータを求めるものであって、当該パラメータと予め設定された閾値とを比較する処理を実行する。解析部25は、上記パラメータが上記閾値を下回る場合には、当該フレームデータの品質が劣化して映像に乱れが発生している、すなわち動画の品質が劣化したと判定する。そして、解析部25は、撮像装置1に対して各圧縮部12,13における圧縮処理を切り替えるように要求する切替要求コマンドを生成する。生成された切替要求コマンドは、送受信部20から指令信号として撮像装置1に送信される。   The analysis unit 25 analyzes the frame data decompressed by the decompression unit 22 to obtain a parameter for evaluating the quality of the moving image, and executes a process of comparing the parameter with a preset threshold value To do. When the parameter is below the threshold, the analysis unit 25 determines that the quality of the frame data is deteriorated and the video is disturbed, that is, the quality of the moving image is deteriorated. Then, the analysis unit 25 generates a switching request command that requests the imaging apparatus 1 to switch the compression processing in each of the compression units 12 and 13. The generated switching request command is transmitted from the transmission / reception unit 20 to the imaging device 1 as a command signal.

以下、本実施形態の動作について説明する。なお、以下の説明では、基準ピクチャとしてIピクチャ、差分ピクチャとしてPピクチャを用いている。また、以下の説明では、初めは第1の圧縮部12が第1の圧縮処理を実行し、第2の圧縮部13が第2の圧縮処理を実行するものとする。   Hereinafter, the operation of this embodiment will be described. In the following description, an I picture is used as a reference picture, and a P picture is used as a difference picture. In the following description, it is assumed that the first compression unit 12 initially executes the first compression process, and the second compression unit 13 executes the second compression process.

撮像装置1は、起動している間は常時、入力部10により所定の撮像領域を所定のフレームレートで撮像する。入力部10で撮像されたフレームデータは、処理部14によって記憶部11に順次記憶される。処理部14は、入力部10より得たフレームデータに基づいて上述の検出処理を行う。当該検出処理の結果、対象物が写っていると判定されると、処理部14は、各圧縮部12,13に動画データの圧縮を開始させるとともに、送受信部15に動画データの送信を開始させる。   While the imaging apparatus 1 is activated, the imaging unit 1 always captures a predetermined imaging area with a predetermined frame rate by the input unit 10. The frame data captured by the input unit 10 is sequentially stored in the storage unit 11 by the processing unit 14. The processing unit 14 performs the above-described detection process based on the frame data obtained from the input unit 10. As a result of the detection process, when it is determined that the object is captured, the processing unit 14 causes the compression units 12 and 13 to start compressing the moving image data and causes the transmission / reception unit 15 to start transmitting the moving image data. .

ここで、第1の圧縮部12は、最初に送信するフレームデータをIピクチャに画像圧縮するとともに、以降に送信するフレームデータをPピクチャに画像圧縮する。したがって、Iピクチャに画像圧縮した圧縮フレームデータI1が先ず表示装置2に対して送信され、その後Pピクチャに画像圧縮した圧縮フレームデータP1〜P7が時系列順に表示装置2に対して一定周期T1で送信される(図2(a),(c)参照)。また、第2の圧縮部13は、送信するフレームデータを一定の間隔を空けてIピクチャに画像圧縮する。したがって、Iピクチャに画像圧縮した圧縮フレームデータI2〜I4が時系列順に表示装置2に対して周期T2で送信される(図2(c)参照)。   Here, the first compression unit 12 compresses the frame data to be transmitted first into an I picture and compresses the frame data to be transmitted thereafter into a P picture. Therefore, the compressed frame data I1 compressed into an I picture is first transmitted to the display device 2, and then the compressed frame data P1 to P7 compressed into a P picture are sequentially transmitted to the display device 2 at a constant cycle T1. It is transmitted (see FIGS. 2A and 2C). Also, the second compression unit 13 compresses the frame data to be transmitted into an I picture with a certain interval. Therefore, the compressed frame data I2 to I4 compressed into an I picture are transmitted to the display device 2 in the time series in the time series (see FIG. 2C).

表示装置2では、送受信部20により圧縮動画データが受信される。すると、処理部24によって圧縮動画データが記憶部21に録画される。また、処理部24は、伸長部22に第1の圧縮部12からの圧縮動画データの伸長を開始させるとともに、表示部23に伸長された圧縮動画データ、すなわち動画データの表示を開始させる。伸長部22は、先ず圧縮フレームデータI1を単独で伸長し、伸長されたフレームデータA1を表示部23に表示させる。そして、処理部24は、後続の圧縮フレームデータP1〜P7を直前のフレームデータA1〜A7を参照してフレームデータA2〜A8に伸長し、伸長されたフレームデータA2〜A8を時系列順に表示部23に表示させる(図2(b)参照)。   In the display device 2, the compressed moving image data is received by the transmission / reception unit 20. Then, the compressed moving image data is recorded in the storage unit 21 by the processing unit 24. Further, the processing unit 24 causes the decompressing unit 22 to start decompressing the compressed moving image data from the first compressing unit 12 and causes the display unit 23 to start displaying the decompressed moving image data, that is, the moving image data. The decompression unit 22 first decompresses the compressed frame data I1 alone and causes the display unit 23 to display the decompressed frame data A1. The processing unit 24 expands the subsequent compressed frame data P1 to P7 to frame data A2 to A8 with reference to the immediately preceding frame data A1 to A7, and displays the expanded frame data A2 to A8 in time series order. 23 (see FIG. 2B).

このように、最初に送信するフレームデータのみをIピクチャに画像圧縮し、以降に送信するフレームデータはPピクチャに画像圧縮することで、全体としてデータの伝送量を低減することができる。すなわち、フレームデータを定期的にIピクチャに圧縮して送信する場合(図4(a)〜(c)参照)と比較して、送信される圧縮フレームデータのデータサイズの総計を小さくすることができる。また、最初に送信するフレームデータはIピクチャに圧縮されるが、他のフレームデータはPピクチャに圧縮されるため、データサイズの平均値を小さくすることができる(図2(c)参照)。   In this way, only the frame data to be transmitted first is image-compressed into an I picture, and the frame data to be transmitted thereafter is image-compressed into a P picture, so that the data transmission amount can be reduced as a whole. That is, the total data size of the compressed frame data to be transmitted can be reduced as compared with the case where the frame data is periodically compressed into an I picture and transmitted (see FIGS. 4A to 4C). it can. The frame data to be transmitted first is compressed into an I picture, but the other frame data is compressed into a P picture, so that the average data size can be reduced (see FIG. 2C).

ところで、Pピクチャを用いた動画の再生は、直前のフレームデータを参照することが前提となるため、対象物の動きが激しくなった場合には表示される動画の品質が劣化する虞がある。そこで、処理部24は、伸長部22及び表示部23に上記処理を実行させるとともに、解析部25に動画データの解析を実行させている。   By the way, since the reproduction of a moving image using a P picture is based on the premise that the immediately preceding frame data is referred to, there is a possibility that the quality of the displayed moving image is deteriorated when the movement of the object becomes intense. Therefore, the processing unit 24 causes the decompression unit 22 and the display unit 23 to execute the above processing, and causes the analysis unit 25 to analyze the moving image data.

解析部25は、伸長されたフレームデータA1〜A8のうち、前回のフレームデータと今回のフレームデータとから例えば色成分の分散や度数分布を演算することでパラメータを求め、当該パラメータと予め設定された閾値とを比較する。なお、閾値は、例えば実際に対象物が存在している状態で動画の再生を行い、人間の目から見て許容される動画の品質に基づいて実験的に求められるものである。そして、解析部25は、パラメータが閾値を下回った場合には、動画の品質が劣化したと判定し、切替要求コマンドを生成する。この切替要求コマンドは、送受信部20から指令信号として撮像装置1に対して送信される。   The analysis unit 25 obtains a parameter from the previous frame data and the current frame data among the decompressed frame data A1 to A8, for example, by calculating a color component dispersion or frequency distribution, and the parameter is set in advance. Compare with the threshold value. Note that the threshold value is obtained experimentally based on the quality of a moving image that is allowed to be viewed from the human eye by, for example, reproducing the moving image in a state where an object is actually present. When the parameter falls below the threshold, the analysis unit 25 determines that the quality of the moving image has deteriorated and generates a switching request command. This switching request command is transmitted from the transmission / reception unit 20 to the imaging apparatus 1 as a command signal.

撮像装置1では、送受信部15が指令信号を受信すると、指令信号に含まれる切替要求コマンドを処理部14に解釈させる。処理部14では、切替要求コマンドを解釈することで、各圧縮部12,13で実行される圧縮処理を切り替える。すなわち、処理部14は、第1の圧縮部12に第2の圧縮処理を実行させ、第2の圧縮部13に第1の圧縮処理を実行させる。したがって、指令信号の受信後は、第1の圧縮部12がフレームデータを周期T2でIピクチャに画像圧縮し、第2の圧縮部13がフレームデータを一定周期T1でPピクチャに画像圧縮する。なお、上記指令信号の受信後における第1の圧縮処理では、最初のフレームデータをIピクチャに画像圧縮する圧縮処理は実行されない。   In the imaging apparatus 1, when the transmission / reception unit 15 receives the command signal, the processing unit 14 interprets the switching request command included in the command signal. The processing unit 14 switches the compression processing executed by the compression units 12 and 13 by interpreting the switching request command. That is, the processing unit 14 causes the first compression unit 12 to execute the second compression process, and causes the second compression unit 13 to execute the first compression process. Therefore, after receiving the command signal, the first compression unit 12 compresses the frame data into an I picture at a cycle T2, and the second compression unit 13 compresses the frame data into a P picture at a constant cycle T1. In the first compression process after receiving the command signal, the compression process for compressing the first frame data into an I picture is not executed.

一方、表示装置2の処理部24では、送受信部20が指令信号を送信した後は、伸長部22に伸長させる圧縮動画データを切り替える。すなわち、処理部24は、伸長部22に第2の圧縮部13からの圧縮動画データの伸長を開始させる。ここで、第2の圧縮部13は、指令信号の受信前にはフレームデータをIピクチャに画像圧縮する圧縮処理を実行している。したがって、伸長部22は、指令信号の送信後において、指令信号を送信する直前に受信したIピクチャを参照することができる。その後、上記のように第2の圧縮部13はフレームデータをPピクチャに画像圧縮する圧縮処理を実行するため、伸長部22は、指令信号を送信する直前に受信したIピクチャを参照することで、第2の圧縮部13から得たPピクチャを伸長する。   On the other hand, in the processing unit 24 of the display device 2, after the transmission / reception unit 20 transmits a command signal, the compressed moving image data to be expanded by the expansion unit 22 is switched. That is, the processing unit 24 causes the decompression unit 22 to start decompressing the compressed moving image data from the second compression unit 13. Here, the second compression unit 13 executes a compression process for compressing the frame data into an I picture before receiving the command signal. Therefore, the decompression unit 22 can refer to the I picture received immediately before the command signal is transmitted after the command signal is transmitted. Thereafter, as described above, the second compression unit 13 executes a compression process for compressing the frame data into a P picture, so that the decompression unit 22 refers to the I picture received immediately before the command signal is transmitted. The P picture obtained from the second compression unit 13 is expanded.

なお、第1の圧縮部12では、指令信号の受信後は第2の圧縮処理を実行することでフレームデータを周期T2でIピクチャに画像圧縮する。したがって、次に映像の乱れが発生した際には、各圧縮部12,13で実行される圧縮処理が切り替えられて上記と同様の処理が実行されるので、第1の圧縮部12から得たIピクチャを参照して伸長することができる。   Note that the first compression unit 12 compresses the frame data into an I picture at a cycle T2 by executing a second compression process after receiving the command signal. Therefore, when the next video disturbance occurs, the compression processing executed by the compression units 12 and 13 is switched and the same processing as described above is executed. It can be expanded with reference to the I picture.

例えば、図3(a)〜(c)に示すように、伸長されたフレームデータA3を表示部23に表示させる時点で映像に乱れ(動画の品質の劣化)が発生したと解析部25が判定し、その後撮像装置1の送受信部15が指令信号を受信したものとする。この場合、表示装置2では、指令信号の送信前から受信している第2の圧縮部13からの圧縮フレームデータI2の受信が完了していない。そこで、撮像装置1では、伝送速度を上げて当該圧縮フレームデータI2を送信することで、表示装置2における当該圧縮フレームデータI2の受信を完了させる。また、撮像装置1では、指令信号の受信後は第2の圧縮部13が第1の圧縮処理を実行するので、当該圧縮処理で得られる圧縮フレームデータP3〜P7が表示装置2に対して順次送信される。そして、表示装置2の伸長部22は、受信した圧縮フレームデータI2を参照して圧縮フレームデータP3を伸長し、後続の圧縮フレームデータP4〜P7を直前のフレームデータを参照して順次伸長する。このように、指令信号の送信後に表示されるフレームデータは、撮像装置1から送信される圧縮フレームデータI2を参照して圧縮フレームデータP3を伸長したものとなるため、動画の品質が再度向上し、結果として動画の品質の劣化を抑制することができる。   For example, as illustrated in FIGS. 3A to 3C, the analysis unit 25 determines that the video is disturbed (deterioration of moving image quality) at the time when the expanded frame data A3 is displayed on the display unit 23. After that, it is assumed that the transmission / reception unit 15 of the imaging device 1 receives the command signal. In this case, the display device 2 has not completed the reception of the compressed frame data I2 from the second compression unit 13 received before the transmission of the command signal. Therefore, the imaging apparatus 1 completes reception of the compressed frame data I2 in the display apparatus 2 by increasing the transmission speed and transmitting the compressed frame data I2. Moreover, in the imaging device 1, since the 2nd compression part 13 performs a 1st compression process after receiving a command signal, the compression frame data P3-P7 obtained by the said compression process are sequentially with respect to the display apparatus 2. Sent. The decompressing unit 22 of the display device 2 decompresses the compressed frame data P3 with reference to the received compressed frame data I2, and sequentially decompresses the subsequent compressed frame data P4 to P7 with reference to the immediately preceding frame data. As described above, since the frame data displayed after the transmission of the command signal is obtained by expanding the compressed frame data P3 with reference to the compressed frame data I2 transmitted from the imaging device 1, the quality of the moving image is improved again. As a result, it is possible to suppress the deterioration of the quality of the moving image.

上述のように、最初に送信するフレームデータのみIピクチャ(基準ピクチャ)に画像圧縮し、他のフレームデータはPピクチャ(差分ピクチャ)に画像圧縮するため、データサイズの平均値を小さくし、且つデータの伝送量を低減することができる。また、解析部25が再生される動画の品質を解析し、動画の品質が劣化したと判定すると、第2の圧縮処理で得たIピクチャを参照して圧縮フレームデータを伸長することができるので、動画の品質の劣化を抑制することができる。更に、動画の品質の劣化が発生した後に各圧縮部12,13が改めてフレームデータをIピクチャに画像圧縮する場合と比較して、動画の品質を復帰させるのに要する時間を短縮することができる。   As described above, only the frame data to be transmitted first is compressed into an I picture (reference picture), and the other frame data is compressed into a P picture (difference picture). Therefore, the average value of the data size is reduced, and The amount of data transmission can be reduced. If the analysis unit 25 analyzes the quality of the moving image to be reproduced and determines that the quality of the moving image has deteriorated, the compressed frame data can be expanded with reference to the I picture obtained by the second compression processing. , Degradation of the quality of the moving image can be suppressed. Furthermore, the time required to restore the quality of the moving image can be shortened as compared with the case where the compression units 12 and 13 again compress the frame data into an I picture after the quality of the moving image has deteriorated. .

ところで、本実施形態の解析部25は、色成分の分散や度数分布を演算することでパラメータを求める、すなわち伸長したフレームデータの色情報に基づいて解析している。このため、本実施形態では、色の変化に伴う映像の乱れを検出することができる。一方、解析部25において、伸長されたフレームデータのうち、前回のフレームデータと今回のフレームデータから輝度成分の分散や度数分布を演算することでパラメータを求めてもよい。すなわち、解析部25は、伸長したフレームデータの輝度情報に基づいて解析してもよい。この場合、色情報に基づいて解析する場合と同様に、色の変化に伴う映像の乱れを検出することができる。また、輝度成分は人間にとっては違和感を感じ易い成分であるため、人間の体感に近いレベルで動画の品質の劣化を判定することができる。   By the way, the analysis unit 25 of the present embodiment obtains parameters by calculating the dispersion and frequency distribution of color components, that is, analyzes based on the color information of the expanded frame data. For this reason, in the present embodiment, it is possible to detect the disturbance of the video accompanying the color change. On the other hand, the analysis unit 25 may obtain the parameters by calculating the variance of the luminance component and the frequency distribution from the previous frame data and the current frame data among the expanded frame data. That is, the analysis unit 25 may perform analysis based on the luminance information of the expanded frame data. In this case, similarly to the case of analyzing based on the color information, it is possible to detect the disturbance of the video accompanying the color change. In addition, since the luminance component is a component that tends to feel uncomfortable for humans, it is possible to determine the deterioration of the quality of the moving image at a level close to the human experience.

また、解析部25において、第1の圧縮処理で得た圧縮フレームデータのデータサイズを演算することでパラメータを求める、すなわち圧縮フレームデータのデータサイズに基づいて解析してもよい。この場合、データサイズという1次元的な数字で動画の品質の劣化を判定できるので、処理負荷の小さいソフトウェアや、回路規模の小さい(処理に必要なゲート数が少ない)ハードウェアで解析部25を構成することができる。したがって、色情報や輝度情報に基づいて解析する場合と比較して、コストを削減することができる。上述のように、解析部25は、圧縮フレームデータに基づいて解析するように構成してもよいし、圧縮フレームデータを伸長したフレームデータに基づいて解析するように構成してもよい。   Further, the analysis unit 25 may obtain a parameter by calculating the data size of the compressed frame data obtained by the first compression processing, that is, the analysis may be performed based on the data size of the compressed frame data. In this case, since the deterioration of the quality of the moving image can be determined by a one-dimensional number such as the data size, the analysis unit 25 is configured by software with a small processing load or hardware with a small circuit scale (a small number of gates required for processing). Can be configured. Therefore, costs can be reduced as compared with the case of analyzing based on color information and luminance information. As described above, the analysis unit 25 may be configured to analyze based on the compressed frame data, or may be configured to analyze the compressed frame data based on the decompressed frame data.

なお、上述した本実施形態の動画伝送システムの構成は、あくまでも本発明の一実施形態であって、本発明の技術的範囲を上記の例に限定する趣旨ではなく、本発明の趣旨を逸脱しない程度に変更することができる。例えば、上記の例では、差分ピクチャとしてPピクチャを採用しているが、Pピクチャに代えて、或いはPピクチャとともに、Bピクチャ(双方向予測符号化画像)を用いてもよい。   The above-described configuration of the moving image transmission system of the present embodiment is merely an embodiment of the present invention, and is not intended to limit the technical scope of the present invention to the above example, and does not depart from the spirit of the present invention. Can be changed to a degree. For example, in the above example, a P picture is adopted as the differential picture, but a B picture (bidirectional predictive coded image) may be used instead of or together with the P picture.

また、本実施形態では、撮像装置1の処理部14が検出処理を実行しており、当該検出処理で対象物が検出された際に、動画データの伝送を開始するようになっている。しかしながら、対象物の有無に関係なく、撮像装置1から動画データが得られた際に動画データの伝送を開始するようにしてもよい。すなわち、動画データの伝送を開始するタイミングは、動画伝送システムの使用目的等に応じて適宜設定することができる。   In the present embodiment, the processing unit 14 of the imaging device 1 executes a detection process, and when an object is detected by the detection process, transmission of moving image data is started. However, transmission of moving image data may be started when moving image data is obtained from the imaging apparatus 1 regardless of the presence or absence of an object. That is, the timing for starting transmission of moving image data can be appropriately set according to the purpose of use of the moving image transmission system.

また、本実施形態では、撮像装置1と表示装置2とが本発明の動画伝送システムを構成している。ここで、インターホンシステムでは、上記子器としてカメラ付きのものが使用されることが多いため、このようなカメラ付き子器と表示装置2とで本発明の動画伝送システムを構成してもよい。この場合、子器が送信装置、表示装置2が受信装置となる。   In the present embodiment, the imaging device 1 and the display device 2 constitute the moving image transmission system of the present invention. Here, in the interphone system, since a device with a camera is often used as the slave unit, such a slave unit with a camera and the display device 2 may constitute the moving picture transmission system of the present invention. In this case, the slave unit is a transmission device, and the display device 2 is a reception device.

また、本実施形態は、本発明の動画伝送システムをインターホンシステムに適用したものであるが、本発明の動画伝送システムは、監視システム等のシステムにも適用することができる。すなわち、動画データをリアルタイムで伝送するものであれば、本発明の動画伝送システムを適用可能である。   In this embodiment, the moving image transmission system of the present invention is applied to an intercom system. However, the moving image transmission system of the present invention can also be applied to a system such as a monitoring system. That is, the moving image transmission system of the present invention is applicable as long as moving image data is transmitted in real time.

1 撮像装置(送信装置)
10 入力部
12 第1の圧縮部
13 第2の圧縮部
15 送受信部
2 表示装置(受信装置)
20 送受信部
22 伸長部
23 表示部
25 解析部
A1〜A8 フレームデータ
I1〜I4 Iピクチャ(基準ピクチャ)
P1〜P7 Pピクチャ(差分ピクチャ)
1 Imaging device (transmitting device)
DESCRIPTION OF SYMBOLS 10 Input part 12 1st compression part 13 2nd compression part 15 Transmission / reception part 2 Display apparatus (reception apparatus)
20 transmitting / receiving unit 22 decompressing unit 23 display unit 25 analyzing unit A1 to A8 frame data I1 to I4 I picture (reference picture)
P1 to P7 P picture (difference picture)

Claims (5)

動画データを送受信する送信装置及び受信装置を備え、
前記送信装置は、動画データに含まれる時系列順の複数のフレームデータのうち最初のフレームデータを基準ピクチャに圧縮するとともに、残りのフレームデータを、他のフレームデータとの差分よりなる差分ピクチャに一定周期で圧縮する第1の圧縮処理と、前記複数のフレームデータを前記一定周期よりも長い周期で前記基準ピクチャに圧縮する第2の圧縮処理とをそれぞれ実行し、
前記受信装置は、前記第1の圧縮処理及び前記第2の圧縮処理の各々で得たデータを受信し、前記第1の圧縮処理で得たデータを伸長するとともに、前記データを解析して動画像の品質を評価するためのパラメータを求め、当該パラメータが閾値を下回ると、前記第2の圧縮処理で得たデータを参照して伸長することを特徴とする動画伝送システム。
A transmitter and a receiver for transmitting and receiving moving image data;
The transmitting device compresses the first frame data among a plurality of time-series frame data included in the moving image data into a reference picture, and converts the remaining frame data into a differential picture that is a difference from other frame data. Performing a first compression process for compressing at a constant period and a second compression process for compressing the plurality of frame data into the reference picture at a period longer than the constant period ;
The receiving device receives data obtained by each of the first compression processing and the second compression processing, decompresses the data obtained by the first compression processing, analyzes the data, and analyzes a moving image. A video transmission system characterized in that a parameter for evaluating the quality of an image is obtained, and when the parameter falls below a threshold value, the image is decompressed with reference to the data obtained by the second compression processing.
前記送信装置は、動画データを得るための入力部と、前記入力部で得られた動画データに含まれる時系列順の複数のフレームデータそれぞれを圧縮することで動画データの圧縮を行う第1の圧縮部及び第2の圧縮部と、前記各圧縮部で圧縮された圧縮フレームデータを時系列順に前記受信装置に送信するとともに、前記受信装置から送信される指令信号を受信する送受信部とを有し、
前記各圧縮部は、前記第1の圧縮処理と、前記第2の圧縮処理とをそれぞれ実行し、
前記受信装置は、前記送信装置から送信される前記圧縮フレームデータを受信するとともに、前記送信装置に前記指令信号を送信する送受信部と、前記第1の圧縮処理で得た前記圧縮フレームデータを伸長することで圧縮された前記動画データの伸長を行う伸長部と、伸長された前記動画データを表示する表示部と、前記第1の圧縮処理で得た前記圧縮フレームデータを解析して動画像の品質を評価するためのパラメータを求める解析部とを有し、
前記受信装置は、前記解析部において前記パラメータが閾値を下回ると、前記各圧縮部における圧縮処理を切り替えるように要求する前記指令信号を前記送信装置に送信するとともに、前記第2の圧縮処理で得た前記圧縮フレームデータを参照して伸長することを特徴とする請求項1記載の動画伝送システム。
The transmission apparatus includes: an input unit for obtaining moving image data; and a first compression unit that compresses moving image data by compressing each of a plurality of time-series frame data included in the moving image data obtained by the input unit. A compression unit and a second compression unit; and a transmission / reception unit that transmits the compressed frame data compressed by each compression unit to the reception device in time series and receives a command signal transmitted from the reception device. And
Wherein each compression unit includes a first compression process, and the second compression process executed respectively,
The receiving device receives the compressed frame data transmitted from the transmitting device, and expands the compressed frame data obtained by the first compression processing, and a transmitting / receiving unit that transmits the command signal to the transmitting device a decompression unit for performing decompression of the video data compressed by a display unit for displaying the decompressed moving picture data, the moving image by analyzing the compressed frame data obtained by the first compression An analysis unit for obtaining parameters for evaluating quality,
When the parameter falls below a threshold value in the analysis unit, the reception device transmits the command signal for requesting to switch the compression processing in each compression unit to the transmission device, and obtains the command signal in the second compression processing. 2. The moving picture transmission system according to claim 1, wherein the compressed frame data is decompressed with reference to the compressed frame data.
前記解析部は、前記圧縮フレームデータを伸長したフレームデータの色情報に基づいて解析することを特徴とする請求項2記載の動画伝送システム。   The moving image transmission system according to claim 2, wherein the analysis unit analyzes the compressed frame data based on color information of decompressed frame data. 前記解析部は、前記圧縮フレームデータを伸長したフレームデータの輝度情報に基づいて解析することを特徴とする請求項2記載の動画伝送システム。   The moving image transmission system according to claim 2, wherein the analysis unit analyzes the compressed frame data based on luminance information of decompressed frame data. 前記解析部は、前記圧縮フレームデータのデータサイズに基づいて解析することを特徴とする請求項2記載の動画伝送システム。   The moving image transmission system according to claim 2, wherein the analysis unit analyzes based on a data size of the compressed frame data.
JP2011012328A 2011-01-24 2011-01-24 Video transmission system Expired - Fee Related JP5853142B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011012328A JP5853142B2 (en) 2011-01-24 2011-01-24 Video transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011012328A JP5853142B2 (en) 2011-01-24 2011-01-24 Video transmission system

Publications (2)

Publication Number Publication Date
JP2012156652A JP2012156652A (en) 2012-08-16
JP5853142B2 true JP5853142B2 (en) 2016-02-09

Family

ID=46837962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011012328A Expired - Fee Related JP5853142B2 (en) 2011-01-24 2011-01-24 Video transmission system

Country Status (1)

Country Link
JP (1) JP5853142B2 (en)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074115B2 (en) * 1993-10-01 2000-08-07 東光株式会社 Image transmission device
JPH08205159A (en) * 1995-01-30 1996-08-09 Kokusai Electric Co Ltd Video transmission system
JP3068002B2 (en) * 1995-09-18 2000-07-24 沖電気工業株式会社 Image encoding device, image decoding device, and image transmission system
WO2001084850A1 (en) * 2000-04-27 2001-11-08 Koninklijke Philips Electronics N.V. Video compression
JP2002330437A (en) * 2001-05-01 2002-11-15 Sony Corp Image transmission method, program for image transmission method, recording medium storing program for image transmission method, and image transmission apparatus
JP2003087794A (en) * 2001-09-07 2003-03-20 Marine System Associates Inc Encoding system
JP2003116136A (en) * 2001-10-05 2003-04-18 Sharp Corp Video decoding device
JP3911222B2 (en) * 2002-09-20 2007-05-09 富士通テン株式会社 Digital broadcast receiver
JP2006527518A (en) * 2003-06-06 2006-11-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Video compression
AU2004250927B2 (en) * 2003-06-16 2010-04-08 Interdigital Vc Holdings, Inc. Decoding method and apparatus enabling fast channel change of compressed video
US8327411B2 (en) * 2003-12-01 2012-12-04 Sharp Laboratories Of America, Inc. Low-latency random access to compressed video
JP2005303555A (en) * 2004-04-09 2005-10-27 Matsushita Electric Ind Co Ltd Moving picture coding apparatus and moving picture coding method
EP1827009A1 (en) * 2006-02-28 2007-08-29 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder for an improved zapping service for mobile video reception
JP4753204B2 (en) * 2006-11-17 2011-08-24 株式会社ソニー・コンピュータエンタテインメント Encoding processing apparatus and encoding processing method
JP5369599B2 (en) * 2008-10-20 2013-12-18 富士通株式会社 Video encoding apparatus and video encoding method

Also Published As

Publication number Publication date
JP2012156652A (en) 2012-08-16

Similar Documents

Publication Publication Date Title
US11423942B2 (en) Reference and non-reference video quality evaluation
US7421727B2 (en) Motion detecting system, motion detecting method, motion detecting apparatus, and program for implementing the method
US11627369B2 (en) Video enhancement control method, device, electronic device, and storage medium
US20140289787A1 (en) Communication device, communication method, and compter program product
US10015395B2 (en) Communication system, communication apparatus, communication method and program
CN112543348A (en) Remote screen recording method, device, equipment and computer readable storage medium
WO2025156879A1 (en) Display device test method and apparatus
US9332308B2 (en) Image communication apparatus and control method therefor
JP2010062792A (en) Image compression apparatus, image decompression apparatus, image compression program, and image decompression program
CN107734278B (en) Video playback method and related device
JP5853142B2 (en) Video transmission system
JP2008042695A (en) Monitor camera apparatus, monitor camera system, and method of recording monitor camera image
CN113706573B (en) A method, device and storage medium for detecting moving objects
JP2007235191A (en) Video playback apparatus and video playback method
JP5816858B2 (en) Video transmission system
JP6483850B2 (en) Data processing method and apparatus
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
JP2010081140A (en) Moving image transmission system
JP2012156650A (en) Moving image transmission system
JP2010062946A (en) Video transmitting apparatus, video transmitting method and video transmission program
JP5906430B2 (en) Video transmission terminal and video transmission system
JP2012156654A (en) Transmitter and moving image transmission system using the same
KR101251879B1 (en) Apparatus and method for displaying advertisement images in accordance with screen changing in multimedia cloud system
JP2006319547A (en) Video encoding device
JP2007166022A (en) Video display system and video display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140916

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150717

R151 Written notification of patent or utility model registration

Ref document number: 5853142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees