JP5853142B2 - Video transmission system - Google Patents
Video transmission system Download PDFInfo
- Publication number
- JP5853142B2 JP5853142B2 JP2011012328A JP2011012328A JP5853142B2 JP 5853142 B2 JP5853142 B2 JP 5853142B2 JP 2011012328 A JP2011012328 A JP 2011012328A JP 2011012328 A JP2011012328 A JP 2011012328A JP 5853142 B2 JP5853142 B2 JP 5853142B2
- Authority
- JP
- Japan
- Prior art keywords
- frame data
- unit
- compression
- moving image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画伝送システム、特にリアルタイムで動画を伝送する動画伝送システムに関する。 The present invention relates to a moving image transmission system, and more particularly to a moving image transmission system that transmits a moving image in real time.
従来から、リアルタイムで動画を伝送する動画伝送システムにおいては、動画データを画像圧縮してデータサイズを小さくすることが一般的に行われている。そして、フレームデータのデータサイズを小さくするために、他のフレームデータとの差分を利用することが提案されている。このようなものとしては、Iピクチャ(フレーム内符号化画像)と、Pピクチャ(順方向予測符号化画像)とを利用したものがある。ここで、Iピクチャは、フレームデータを他のフレームデータとの依存関係がなく単独で伸長可能な形に圧縮したものである。また、Pピクチャは、フレームデータを時系列の前のフレームとの差分により表される形に圧縮したものである。 2. Description of the Related Art Conventionally, in moving image transmission systems that transmit moving images in real time, moving image data is generally compressed to reduce the data size. In order to reduce the data size of the frame data, it has been proposed to use a difference from other frame data. As such, there is one using an I picture (intra-frame encoded image) and a P picture (forward prediction encoded image). Here, the I picture is obtained by compressing frame data into a form that can be independently decompressed without any dependency on other frame data. A P picture is obtained by compressing frame data into a form represented by a difference from a previous frame in time series.
上述したような圧縮方法と同様の圧縮方法は、MPEG−2等で採用されている。Pピクチャは、Iピクチャとは異なり単独で伸長することはできないが、Iピクチャに比べてデータサイズを大幅に小さくすることができる。そのため、動画データの最初のフレームデータをIピクチャに圧縮し、後のフレームデータをPピクチャに圧縮すれば、データサイズを非常に小さくすることができる。 A compression method similar to the compression method described above is employed in MPEG-2 and the like. Unlike an I picture, a P picture cannot be expanded independently, but the data size can be significantly reduced compared to an I picture. Therefore, if the first frame data of moving image data is compressed into an I picture and the subsequent frame data is compressed into a P picture, the data size can be made very small.
ところで、Pピクチャを伸長するにあたっては、前のフレームデータを参照する必要がある。そのため、パケットロス等が発生して画像が劣化した場合には、このような劣化の影響がその後のフレームデータ全てに及んでしまい、表示される動画の品質が悪くなってしまう。そこで、フレームデータを定期的にIピクチャに圧縮して伝送することで、画像の劣化を抑制する方法が採用されているが、Iピクチャを定期的に送信するので、比較的大きなデータが定期的に伝送されることになる。また、動画データの伝送に使用可能な周波数帯域が比較的狭い場合、Iピクチャを伝送するために長時間かかってしまう。そのため、表示中の動画に遅延が生じるおそれがある。 By the way, when decompressing a P picture, it is necessary to refer to the previous frame data. Therefore, when an image is deteriorated due to packet loss or the like, the influence of such deterioration affects all subsequent frame data, and the quality of the displayed moving image is deteriorated. Therefore, a method of suppressing image degradation by periodically compressing and transmitting frame data to an I picture is employed. However, since I pictures are periodically transmitted, relatively large data is periodically transmitted. Will be transmitted. Also, when the frequency band that can be used for moving image data transmission is relatively narrow, it takes a long time to transmit the I picture. Therefore, there is a possibility that a delay occurs in the moving image being displayed.
これを解決するものとして、フレームデータを複数の分割フレームデータに分割するとともに、同一のフレームデータより分割された複数の分割フレームデータの少なくとも1つをPピクチャに圧縮する方法が特許文献1に開示されている。この特許文献1に記載のものでは、動画データに含まれる複数のフレームデータの圧縮後のデータサイズを平均化することができ、かつ、フレームデータ全体をIピクチャのような基準ピクチャに圧縮した場合よりも小さい値とすることができる。よって、動画データの伝送に使用可能な周波数帯域が狭い場合でも、圧縮のデータレートや、フレームレート、色数を低くせずに済み、品質を低下させることなく動画を伝送することが可能になる。
As a solution to this,
しかしながら、上記従来例では、圧縮後のデータサイズを平均化することでデータサイズの平均値を小さくすることはできるが、全体として必要なデータの伝送量を低減する効果は期待できないという問題があった。このため、上記従来例では、Iピクチャを定期的に送信する場合と同様に、比較的大きなデータが伝送されることになる。 However, in the above conventional example, the average value of the data size can be reduced by averaging the data size after compression, but there is a problem that the effect of reducing the transmission amount of necessary data as a whole cannot be expected. It was. For this reason, in the conventional example, relatively large data is transmitted as in the case of regularly transmitting I pictures.
本発明は、上記の点に鑑みて為されたもので、動画の品質の劣化を抑制しつつデータサイズの平均値を小さくし、且つデータの伝送量を低減することのできる動画伝送システムを提供することを目的とする。 The present invention has been made in view of the above points, and provides a moving picture transmission system capable of reducing the average value of the data size and reducing the data transmission amount while suppressing deterioration of the quality of the moving picture. The purpose is to do.
本発明の動画伝送システムは、動画データを送受信する送信装置及び受信装置を備え、前記送信装置は、動画データに含まれる時系列順の複数のフレームデータのうち最初のフレームデータを基準ピクチャに圧縮するとともに、残りのフレームデータを、他のフレームデータとの差分よりなる差分ピクチャに一定周期で圧縮する第1の圧縮処理と、前記複数のフレームデータを前記一定周期よりも長い周期で前記基準ピクチャに圧縮する第2の圧縮処理とをそれぞれ実行し、前記受信装置は、前記第1の圧縮処理及び前記第2の圧縮処理の各々で得たデータを受信し、前記第1の圧縮処理で得たデータを伸長するとともに、前記データを解析して動画像の品質を評価するためのパラメータを求め、当該パラメータが閾値を下回ると、前記第2の圧縮処理で得たデータを参照して伸長することを特徴とする。 The moving image transmission system of the present invention includes a transmitting device and a receiving device that transmit and receive moving image data, and the transmitting device compresses the first frame data among a plurality of time-series frame data included in the moving image data into a reference picture. And a first compression process for compressing the remaining frame data into a differential picture consisting of a difference from other frame data at a constant cycle; and the plurality of frame data at a cycle longer than the fixed cycle. Each of the first compression processing and the second compression processing is received, and the reception device receives the data obtained in each of the first compression processing and the second compression processing, and obtains the data by the first compression processing. A parameter for evaluating the quality of the moving image by analyzing the data and when the parameter falls below a threshold value, Referring to the data obtained by the compression process, characterized in that extension.
この動画伝送システムにおいて、前記送信装置は、動画データを得るための入力部と、前記入力部で得られた動画データに含まれる時系列順の複数のフレームデータそれぞれを圧縮することで動画データの圧縮を行う第1の圧縮部及び第2の圧縮部と、前記各圧縮部で圧縮された圧縮フレームデータを時系列順に前記受信装置に送信するとともに、前記受信装置から送信される指令信号を受信する送受信部とを有し、前記各圧縮部は、前記第1の圧縮処理と、前記第2の圧縮処理とをそれぞれ実行し、前記受信装置は、前記送信装置から送信される前記圧縮フレームデータを受信するとともに、前記送信装置に前記指令信号を送信する送受信部と、前記第1の圧縮処理で得た前記圧縮フレームデータを伸長することで圧縮された前記動画データの伸長を行う伸長部と、伸長された前記動画データを表示する表示部と、前記第1の圧縮処理で得た前記圧縮フレームデータを解析して動画像の品質を評価するためのパラメータを求める解析部とを有し、前記受信装置は、前記解析部において前記パラメータが閾値を下回ると、前記各圧縮部における圧縮処理を切り替えるように要求する前記指令信号を前記送信装置に送信するとともに、前記第2の圧縮処理で得た前記圧縮フレームデータを参照して伸長することが好ましい。
In the moving image transmission system, the transmission device compresses moving image data by compressing each of a plurality of time-series frame data included in the moving image data obtained by the input unit and moving image data obtained by the input unit. The first compression unit and the second compression unit that perform compression, and the compressed frame data compressed by each compression unit are transmitted to the reception device in time series, and the command signal transmitted from the reception device is received. and a transceiver for, each compression unit, said a first compression process, and executes each said second compression, the receiving apparatus, the compressed frame data transmitted from the transmitting device And transmitting / receiving the command signal to the transmitting device, and the moving image data compressed by decompressing the compressed frame data obtained by the first compression processing. Determining a decompression unit for performing the extension, and a display unit for displaying the decompressed moving picture data, a parameter for analyzing the compressed frame data obtained by the first compression process to evaluate the quality of a moving image The analysis unit, and when the parameter falls below a threshold value in the analysis unit, the reception device transmits the command signal requesting to switch compression processing in each compression unit to the transmission device, and It is preferable to decompress the frame data with reference to the compressed frame data obtained by the second compression process.
この動画伝送システムにおいて、前記解析部は、前記圧縮フレームデータを伸長したフレームデータの色情報に基づいて解析することが好ましい。 In this moving image transmission system, it is preferable that the analysis unit analyzes based on color information of frame data obtained by decompressing the compressed frame data.
この動画伝送システムにおいて、前記解析部は、前記圧縮フレームデータを伸長したフレームデータの輝度情報に基づいて解析することが好ましい。 In this moving image transmission system, it is preferable that the analysis unit analyzes based on luminance information of frame data obtained by decompressing the compressed frame data.
この動画伝送システムにおいて、前記解析部は、前記圧縮フレームデータのデータサイズに基づいて解析することが好ましい。 In the moving image transmission system, it is preferable that the analysis unit performs analysis based on a data size of the compressed frame data.
本発明は、動画の品質の劣化を抑制しつつデータサイズの平均値を小さくし、且つデータの伝送量を低減することができるという効果を奏する。 The present invention has an effect that the average value of the data size can be reduced while the deterioration of the quality of the moving image is suppressed, and the data transmission amount can be reduced.
以下、本発明に係る動画伝送システムの実施形態を、セキュリティインターホンシステム(以下、単に「インターホンシステム」と呼ぶ)に適用した例に基づいて説明する。 Hereinafter, an embodiment of a moving picture transmission system according to the present invention will be described based on an example applied to a security intercom system (hereinafter simply referred to as “interphone system”).
このインターホンシステムは、図1に示すように、住宅の軒先に設置される撮像装置1と、住宅内(屋内)に設置される親機(インターホン親機)より成る表示装置2と、住宅外(屋外)に設置される不図示の子器(インターホン子器)とで構成されている。なお、撮像装置1及び子器は表示装置2に伝送線により接続されている。また、子器は従来周知のものを採用することが可能であるから、子器の詳細な説明は省略する。
As shown in FIG. 1, this intercom system includes an
撮像装置1は、動画データを送信する送信装置であって、入力部10と、記憶部11と、第1の圧縮部12と、第2の圧縮部13と、処理部14と、送受信部15とを主な構成要素として備えている。
The
入力部10は、例えば所定の撮像領域を撮像する機能を有する撮像部であり、CCDイメージ・センサやCMOSイメージ・センサ等の固体撮像素子より成る撮像素子(図示せず)を備える。また、入力部10は、上記撮像素子とともにカメラとしての機能を発揮するDSP(Digital Signal Processor)等の制御装置(図示せず)を主な構成要素として備えている。なお、撮像素子としてCMOSイメージ・センサを用いる場合、入力部10としては、システム・オン・チップ(SoC)技術等を利用して撮像素子と制御装置とを一体に構成したワンチップカメラを用いることもできる。
The
入力部10の制御装置は、撮像素子の出力(電荷)を所定のフレームレート(例えば、30fps)で取り込む。そして、制御装置は、取り込んだ撮像素子の出力に基づいて所定の形式(例えば、YUV形式)のディジタル・データ、例えばRAWデータ等の静止画データを作成して出力する。このようにして、制御装置からは、撮像領域の画像を表す静止画データが順次出力される。そのため、入力部10によって、撮像領域の動画(動画像)を表す動画データを得ることができる。入力部10より得られる動画データは、時系列順の複数の静止画データにより構成されており、以下の説明では、動画データを構成する時系列順の静止画データ(すなわち、動画データの1フレーム当たりのデータ)をフレームデータと呼ぶ。
The control device of the
記憶部11は、フラッシュメモリやSDRAM、SRAM等の書き換え可能な記憶装置(ストレージ・デバイス)であり、主として入力部10で得た動画データの記憶(貯蔵)に使用される。
The
各圧縮部12,13は、入力部10で得られた動画データを表示装置2に伝送するために、動画データの圧縮を行う。各圧縮部12,13は、例えばマイコンから成り、メモリに記憶されたプログラムを実行することにより下記の圧縮処理を実行する。なお、各圧縮部12,13には、マイコンの他に専用のASIC(Application Specific Integrated Circuit)や、FPGA(Field ProgrammableGate Array)、DSP等も用いることができる。勿論、各圧縮部12,13を1つのマイコン等で構成してもよい。動画データの圧縮は、動画データを構成する時系列順の複数のフレームデータそれぞれを圧縮することにより行う。各圧縮部12,13は、第1の圧縮処理と第2の圧縮処理との何れか一方の処理をフレームデータに対して実行することで、圧縮フレームデータを作成する。また、各圧縮部12,13は、それぞれ相異なる圧縮処理を同時に行う。例えば、第1の圧縮部12が第1の圧縮処理を行っている場合は、第2の圧縮部13は第2の圧縮処理を行い、その逆もまた然りである。
The
第1の圧縮処理は、先ず、最初のフレームデータを、例えばIピクチャ(フレーム内符号化画像)のような基準ピクチャに画像圧縮(符号化)する。基準ピクチャは、他のフレームデータとの依存関係がなく単独で伸長可能な静止画圧縮画像である。なお、基準ピクチャへの圧縮方法としては、従来周知の方法(例えば、JPEGやIピクチャ等を得るための静止画圧縮方法)を採用することができるので、ここでは詳細な説明を省略する。次に、第1の圧縮処理は、以降のフレームデータを、例えばPピクチャ(順方向予測符号化画像)のような差分ピクチャに画像圧縮する。差分ピクチャは、他のフレームデータとの差分より得られる動画圧縮画像である。なお、差分ピクチャへの圧縮方法としては、従来周知の方法(例えば、Pピクチャを得るための動画圧縮方法)を採用することができるので、ここでは詳細な説明を省略する。 In the first compression processing, first, the first frame data is image-compressed (encoded) into a reference picture such as an I picture (intra-frame encoded image). The reference picture is a still image compressed image that is independent of other frame data and can be expanded independently. As a compression method to the reference picture, a conventionally well-known method (for example, a still image compression method for obtaining JPEG, I picture, or the like) can be adopted, and detailed description thereof is omitted here. Next, in the first compression process, the subsequent frame data is image-compressed into a differential picture such as a P picture (forward prediction encoded image). The difference picture is a compressed moving image obtained from a difference from other frame data. Note that a conventionally known method (for example, a moving image compression method for obtaining a P picture) can be employed as a compression method to a differential picture, and thus detailed description thereof is omitted here.
第2の圧縮処理は、フレームデータを基準ピクチャのみに画像圧縮する処理である。なお、後述するように、第2の圧縮処理で圧縮された圧縮フレームデータは、第1の圧縮処理で圧縮された圧縮フレームデータを送信する一定周期T1よりも長い周期T2で表示装置2に送信される。したがって、第2の圧縮処理では、第1の圧縮処理とは異なり全てのフレームデータに対して圧縮処理を行うのではなく、一定の間隔を空けて圧縮処理を行う(図2(c)参照)。
The second compression process is a process for compressing the frame data into only the reference picture. As will be described later, the compressed frame data compressed by the second compression processing is transmitted to the
処理部14は、例えば、入力部10が順次出力する動画データのフレームデータに管理用の識別符号(例えばフレーム番号等)を付して記憶部11に記憶させる記憶処理を実行する。また、処理部14は、所定の時間間隔で、入力部10のフレームデータによるフレームに対象物(本実施形態では人)が写っているか否か(すなわち、入力部10の撮像範囲内に人が存在しているか否か)を判定する検出処理を実行する。このような検出処理は、入力部10より得たフレームデータに対して画像処理を行うことで実現可能である。例えば、入力されたフレームデータに顔認証処理を行うことで全画面領域上での人の顔の位置を検出する。なお、このような検出処理は、従来から種々の方法が提供されているため詳細な説明は省略する。処理部14は、検出処理において対象物を検出すると、対象物の検出時刻を含む所定期間内に入力部10より得られる動画データを表示装置2に送信する送信処理を実行する。当該送信処理では、各圧縮部12,13に動画データの圧縮を開始させるとともに、送受信部15に動画データの送信を開始させる。なお、処理部14には、例えばマイコンが用いられる。
For example, the
送受信部15は、各圧縮部12,13で圧縮された動画データ(圧縮動画データ)を表示装置2に送信するための通信部であり、圧縮動画データを符号化(伝送路符号化)して表示装置2に出力する。このような送受信部15は、各圧縮部12,13で作成された圧縮フレームデータを時系列順に送信することで圧縮動画データをリアルタイムで伝送する。また、送受信部15は、表示装置2から送信される後述の切替要求コマンドを含む指令信号を受信し、当該指令信号を処理部14に与える受信部としての機能も有する。
The transmission /
また、送受信部15は、各圧縮部12,13で作成された圧縮フレームデータをそれぞれ異なる周期で表示装置2に送信する。すなわち、送受信部15は、各圧縮部12,13のうち第1の圧縮処理を実行する圧縮部からの圧縮フレームデータを一定周期T1で送信するとともに、第2の圧縮処理を実行する圧縮部からの圧縮フレームデータを周期T2(T2>T1)で送信する。したがって、第2の圧縮処理を実行する圧縮部からの圧縮フレームデータは、第1の圧縮処理を実行する圧縮部からの圧縮フレームデータよりも低いビットレートで送信されるため、伝送負荷が増大するのを抑えることができる。
The transmission /
表示装置2は、撮像装置1が送信した動画データを受信して表示する機能を有した受信装置である。このような表示装置2は、送受信部20と、記憶部21と、伸長部22と、表示部23と、処理部24と、解析部25とを主な構成要素として備えている。
The
送受信部20は、撮像装置1より送信されてくる動画データを受信するための通信部であり、送受信部15より送信された圧縮動画データを含む信号を復号化(伝送路復号化)して順次出力する処理を実行する。また、送受信部20は、解析部25で生成される後述の切替要求コマンドを含む指令信号を撮像装置1に送信する送信部としての機能も有する。
The transmission /
記憶部21は、記憶部11と同様に、フラッシュメモリやSDRAM、SRAM等の書き換え可能な記憶装置であり、主として送受信部20で受信した圧縮動画データの記憶(貯蔵)に使用される。
Similar to the
伸長部22は、送受信部20で受信した圧縮動画データを伸長するためのものであり、圧縮フレームデータそれぞれを伸長することにより圧縮動画データの伸長を行う。ここで、伸長部22は、撮像装置1において第1の圧縮処理で圧縮された圧縮動画データの伸長を行う。なお、伸長部22は、圧縮部12と同様に、マイコンや、ASIC、FPGA、DSP等を主な構成要素とすることができる。
The
表示部23は、液晶表示装置(LCD)やCRT等の表示装置(図示せず)より成る。表示部23は、伸長部22で伸長された圧縮フレームデータ、すなわちフレームデータによるフレームを時系列順に表示することによって、動画データを表示する(動画を再生する)。
The
処理部24は、例えば送受信部20で受信した圧縮動画データを記憶部21に録画する録画処理を実行する。また、処理部24は、送受信部20で圧縮動画データを受信すると、当該圧縮動画データを表示部23に表示させる表示処理を実行する。この表示処理では、伸長部22に圧縮動画データの伸長を開始させるとともに、表示部23に動画データの表示を開始させる。このような処理部24は、処理部14と同様にマイコンが用いられる。
For example, the
解析部25は、伸長部22で伸長されたフレームデータを解析して動画像の品質を評価するためのパラメータを求めるものであって、当該パラメータと予め設定された閾値とを比較する処理を実行する。解析部25は、上記パラメータが上記閾値を下回る場合には、当該フレームデータの品質が劣化して映像に乱れが発生している、すなわち動画の品質が劣化したと判定する。そして、解析部25は、撮像装置1に対して各圧縮部12,13における圧縮処理を切り替えるように要求する切替要求コマンドを生成する。生成された切替要求コマンドは、送受信部20から指令信号として撮像装置1に送信される。
The
以下、本実施形態の動作について説明する。なお、以下の説明では、基準ピクチャとしてIピクチャ、差分ピクチャとしてPピクチャを用いている。また、以下の説明では、初めは第1の圧縮部12が第1の圧縮処理を実行し、第2の圧縮部13が第2の圧縮処理を実行するものとする。
Hereinafter, the operation of this embodiment will be described. In the following description, an I picture is used as a reference picture, and a P picture is used as a difference picture. In the following description, it is assumed that the
撮像装置1は、起動している間は常時、入力部10により所定の撮像領域を所定のフレームレートで撮像する。入力部10で撮像されたフレームデータは、処理部14によって記憶部11に順次記憶される。処理部14は、入力部10より得たフレームデータに基づいて上述の検出処理を行う。当該検出処理の結果、対象物が写っていると判定されると、処理部14は、各圧縮部12,13に動画データの圧縮を開始させるとともに、送受信部15に動画データの送信を開始させる。
While the
ここで、第1の圧縮部12は、最初に送信するフレームデータをIピクチャに画像圧縮するとともに、以降に送信するフレームデータをPピクチャに画像圧縮する。したがって、Iピクチャに画像圧縮した圧縮フレームデータI1が先ず表示装置2に対して送信され、その後Pピクチャに画像圧縮した圧縮フレームデータP1〜P7が時系列順に表示装置2に対して一定周期T1で送信される(図2(a),(c)参照)。また、第2の圧縮部13は、送信するフレームデータを一定の間隔を空けてIピクチャに画像圧縮する。したがって、Iピクチャに画像圧縮した圧縮フレームデータI2〜I4が時系列順に表示装置2に対して周期T2で送信される(図2(c)参照)。
Here, the
表示装置2では、送受信部20により圧縮動画データが受信される。すると、処理部24によって圧縮動画データが記憶部21に録画される。また、処理部24は、伸長部22に第1の圧縮部12からの圧縮動画データの伸長を開始させるとともに、表示部23に伸長された圧縮動画データ、すなわち動画データの表示を開始させる。伸長部22は、先ず圧縮フレームデータI1を単独で伸長し、伸長されたフレームデータA1を表示部23に表示させる。そして、処理部24は、後続の圧縮フレームデータP1〜P7を直前のフレームデータA1〜A7を参照してフレームデータA2〜A8に伸長し、伸長されたフレームデータA2〜A8を時系列順に表示部23に表示させる(図2(b)参照)。
In the
このように、最初に送信するフレームデータのみをIピクチャに画像圧縮し、以降に送信するフレームデータはPピクチャに画像圧縮することで、全体としてデータの伝送量を低減することができる。すなわち、フレームデータを定期的にIピクチャに圧縮して送信する場合(図4(a)〜(c)参照)と比較して、送信される圧縮フレームデータのデータサイズの総計を小さくすることができる。また、最初に送信するフレームデータはIピクチャに圧縮されるが、他のフレームデータはPピクチャに圧縮されるため、データサイズの平均値を小さくすることができる(図2(c)参照)。 In this way, only the frame data to be transmitted first is image-compressed into an I picture, and the frame data to be transmitted thereafter is image-compressed into a P picture, so that the data transmission amount can be reduced as a whole. That is, the total data size of the compressed frame data to be transmitted can be reduced as compared with the case where the frame data is periodically compressed into an I picture and transmitted (see FIGS. 4A to 4C). it can. The frame data to be transmitted first is compressed into an I picture, but the other frame data is compressed into a P picture, so that the average data size can be reduced (see FIG. 2C).
ところで、Pピクチャを用いた動画の再生は、直前のフレームデータを参照することが前提となるため、対象物の動きが激しくなった場合には表示される動画の品質が劣化する虞がある。そこで、処理部24は、伸長部22及び表示部23に上記処理を実行させるとともに、解析部25に動画データの解析を実行させている。
By the way, since the reproduction of a moving image using a P picture is based on the premise that the immediately preceding frame data is referred to, there is a possibility that the quality of the displayed moving image is deteriorated when the movement of the object becomes intense. Therefore, the
解析部25は、伸長されたフレームデータA1〜A8のうち、前回のフレームデータと今回のフレームデータとから例えば色成分の分散や度数分布を演算することでパラメータを求め、当該パラメータと予め設定された閾値とを比較する。なお、閾値は、例えば実際に対象物が存在している状態で動画の再生を行い、人間の目から見て許容される動画の品質に基づいて実験的に求められるものである。そして、解析部25は、パラメータが閾値を下回った場合には、動画の品質が劣化したと判定し、切替要求コマンドを生成する。この切替要求コマンドは、送受信部20から指令信号として撮像装置1に対して送信される。
The
撮像装置1では、送受信部15が指令信号を受信すると、指令信号に含まれる切替要求コマンドを処理部14に解釈させる。処理部14では、切替要求コマンドを解釈することで、各圧縮部12,13で実行される圧縮処理を切り替える。すなわち、処理部14は、第1の圧縮部12に第2の圧縮処理を実行させ、第2の圧縮部13に第1の圧縮処理を実行させる。したがって、指令信号の受信後は、第1の圧縮部12がフレームデータを周期T2でIピクチャに画像圧縮し、第2の圧縮部13がフレームデータを一定周期T1でPピクチャに画像圧縮する。なお、上記指令信号の受信後における第1の圧縮処理では、最初のフレームデータをIピクチャに画像圧縮する圧縮処理は実行されない。
In the
一方、表示装置2の処理部24では、送受信部20が指令信号を送信した後は、伸長部22に伸長させる圧縮動画データを切り替える。すなわち、処理部24は、伸長部22に第2の圧縮部13からの圧縮動画データの伸長を開始させる。ここで、第2の圧縮部13は、指令信号の受信前にはフレームデータをIピクチャに画像圧縮する圧縮処理を実行している。したがって、伸長部22は、指令信号の送信後において、指令信号を送信する直前に受信したIピクチャを参照することができる。その後、上記のように第2の圧縮部13はフレームデータをPピクチャに画像圧縮する圧縮処理を実行するため、伸長部22は、指令信号を送信する直前に受信したIピクチャを参照することで、第2の圧縮部13から得たPピクチャを伸長する。
On the other hand, in the
なお、第1の圧縮部12では、指令信号の受信後は第2の圧縮処理を実行することでフレームデータを周期T2でIピクチャに画像圧縮する。したがって、次に映像の乱れが発生した際には、各圧縮部12,13で実行される圧縮処理が切り替えられて上記と同様の処理が実行されるので、第1の圧縮部12から得たIピクチャを参照して伸長することができる。
Note that the
例えば、図3(a)〜(c)に示すように、伸長されたフレームデータA3を表示部23に表示させる時点で映像に乱れ(動画の品質の劣化)が発生したと解析部25が判定し、その後撮像装置1の送受信部15が指令信号を受信したものとする。この場合、表示装置2では、指令信号の送信前から受信している第2の圧縮部13からの圧縮フレームデータI2の受信が完了していない。そこで、撮像装置1では、伝送速度を上げて当該圧縮フレームデータI2を送信することで、表示装置2における当該圧縮フレームデータI2の受信を完了させる。また、撮像装置1では、指令信号の受信後は第2の圧縮部13が第1の圧縮処理を実行するので、当該圧縮処理で得られる圧縮フレームデータP3〜P7が表示装置2に対して順次送信される。そして、表示装置2の伸長部22は、受信した圧縮フレームデータI2を参照して圧縮フレームデータP3を伸長し、後続の圧縮フレームデータP4〜P7を直前のフレームデータを参照して順次伸長する。このように、指令信号の送信後に表示されるフレームデータは、撮像装置1から送信される圧縮フレームデータI2を参照して圧縮フレームデータP3を伸長したものとなるため、動画の品質が再度向上し、結果として動画の品質の劣化を抑制することができる。
For example, as illustrated in FIGS. 3A to 3C, the
上述のように、最初に送信するフレームデータのみIピクチャ(基準ピクチャ)に画像圧縮し、他のフレームデータはPピクチャ(差分ピクチャ)に画像圧縮するため、データサイズの平均値を小さくし、且つデータの伝送量を低減することができる。また、解析部25が再生される動画の品質を解析し、動画の品質が劣化したと判定すると、第2の圧縮処理で得たIピクチャを参照して圧縮フレームデータを伸長することができるので、動画の品質の劣化を抑制することができる。更に、動画の品質の劣化が発生した後に各圧縮部12,13が改めてフレームデータをIピクチャに画像圧縮する場合と比較して、動画の品質を復帰させるのに要する時間を短縮することができる。
As described above, only the frame data to be transmitted first is compressed into an I picture (reference picture), and the other frame data is compressed into a P picture (difference picture). Therefore, the average value of the data size is reduced, and The amount of data transmission can be reduced. If the
ところで、本実施形態の解析部25は、色成分の分散や度数分布を演算することでパラメータを求める、すなわち伸長したフレームデータの色情報に基づいて解析している。このため、本実施形態では、色の変化に伴う映像の乱れを検出することができる。一方、解析部25において、伸長されたフレームデータのうち、前回のフレームデータと今回のフレームデータから輝度成分の分散や度数分布を演算することでパラメータを求めてもよい。すなわち、解析部25は、伸長したフレームデータの輝度情報に基づいて解析してもよい。この場合、色情報に基づいて解析する場合と同様に、色の変化に伴う映像の乱れを検出することができる。また、輝度成分は人間にとっては違和感を感じ易い成分であるため、人間の体感に近いレベルで動画の品質の劣化を判定することができる。
By the way, the
また、解析部25において、第1の圧縮処理で得た圧縮フレームデータのデータサイズを演算することでパラメータを求める、すなわち圧縮フレームデータのデータサイズに基づいて解析してもよい。この場合、データサイズという1次元的な数字で動画の品質の劣化を判定できるので、処理負荷の小さいソフトウェアや、回路規模の小さい(処理に必要なゲート数が少ない)ハードウェアで解析部25を構成することができる。したがって、色情報や輝度情報に基づいて解析する場合と比較して、コストを削減することができる。上述のように、解析部25は、圧縮フレームデータに基づいて解析するように構成してもよいし、圧縮フレームデータを伸長したフレームデータに基づいて解析するように構成してもよい。
Further, the
なお、上述した本実施形態の動画伝送システムの構成は、あくまでも本発明の一実施形態であって、本発明の技術的範囲を上記の例に限定する趣旨ではなく、本発明の趣旨を逸脱しない程度に変更することができる。例えば、上記の例では、差分ピクチャとしてPピクチャを採用しているが、Pピクチャに代えて、或いはPピクチャとともに、Bピクチャ(双方向予測符号化画像)を用いてもよい。 The above-described configuration of the moving image transmission system of the present embodiment is merely an embodiment of the present invention, and is not intended to limit the technical scope of the present invention to the above example, and does not depart from the spirit of the present invention. Can be changed to a degree. For example, in the above example, a P picture is adopted as the differential picture, but a B picture (bidirectional predictive coded image) may be used instead of or together with the P picture.
また、本実施形態では、撮像装置1の処理部14が検出処理を実行しており、当該検出処理で対象物が検出された際に、動画データの伝送を開始するようになっている。しかしながら、対象物の有無に関係なく、撮像装置1から動画データが得られた際に動画データの伝送を開始するようにしてもよい。すなわち、動画データの伝送を開始するタイミングは、動画伝送システムの使用目的等に応じて適宜設定することができる。
In the present embodiment, the
また、本実施形態では、撮像装置1と表示装置2とが本発明の動画伝送システムを構成している。ここで、インターホンシステムでは、上記子器としてカメラ付きのものが使用されることが多いため、このようなカメラ付き子器と表示装置2とで本発明の動画伝送システムを構成してもよい。この場合、子器が送信装置、表示装置2が受信装置となる。
In the present embodiment, the
また、本実施形態は、本発明の動画伝送システムをインターホンシステムに適用したものであるが、本発明の動画伝送システムは、監視システム等のシステムにも適用することができる。すなわち、動画データをリアルタイムで伝送するものであれば、本発明の動画伝送システムを適用可能である。 In this embodiment, the moving image transmission system of the present invention is applied to an intercom system. However, the moving image transmission system of the present invention can also be applied to a system such as a monitoring system. That is, the moving image transmission system of the present invention is applicable as long as moving image data is transmitted in real time.
1 撮像装置(送信装置)
10 入力部
12 第1の圧縮部
13 第2の圧縮部
15 送受信部
2 表示装置(受信装置)
20 送受信部
22 伸長部
23 表示部
25 解析部
A1〜A8 フレームデータ
I1〜I4 Iピクチャ(基準ピクチャ)
P1〜P7 Pピクチャ(差分ピクチャ)
1 Imaging device (transmitting device)
DESCRIPTION OF
20 transmitting / receiving
P1 to P7 P picture (difference picture)
Claims (5)
前記送信装置は、動画データに含まれる時系列順の複数のフレームデータのうち最初のフレームデータを基準ピクチャに圧縮するとともに、残りのフレームデータを、他のフレームデータとの差分よりなる差分ピクチャに一定周期で圧縮する第1の圧縮処理と、前記複数のフレームデータを前記一定周期よりも長い周期で前記基準ピクチャに圧縮する第2の圧縮処理とをそれぞれ実行し、
前記受信装置は、前記第1の圧縮処理及び前記第2の圧縮処理の各々で得たデータを受信し、前記第1の圧縮処理で得たデータを伸長するとともに、前記データを解析して動画像の品質を評価するためのパラメータを求め、当該パラメータが閾値を下回ると、前記第2の圧縮処理で得たデータを参照して伸長することを特徴とする動画伝送システム。 A transmitter and a receiver for transmitting and receiving moving image data;
The transmitting device compresses the first frame data among a plurality of time-series frame data included in the moving image data into a reference picture, and converts the remaining frame data into a differential picture that is a difference from other frame data. Performing a first compression process for compressing at a constant period and a second compression process for compressing the plurality of frame data into the reference picture at a period longer than the constant period ;
The receiving device receives data obtained by each of the first compression processing and the second compression processing, decompresses the data obtained by the first compression processing, analyzes the data, and analyzes a moving image. A video transmission system characterized in that a parameter for evaluating the quality of an image is obtained, and when the parameter falls below a threshold value, the image is decompressed with reference to the data obtained by the second compression processing.
前記各圧縮部は、前記第1の圧縮処理と、前記第2の圧縮処理とをそれぞれ実行し、
前記受信装置は、前記送信装置から送信される前記圧縮フレームデータを受信するとともに、前記送信装置に前記指令信号を送信する送受信部と、前記第1の圧縮処理で得た前記圧縮フレームデータを伸長することで圧縮された前記動画データの伸長を行う伸長部と、伸長された前記動画データを表示する表示部と、前記第1の圧縮処理で得た前記圧縮フレームデータを解析して動画像の品質を評価するためのパラメータを求める解析部とを有し、
前記受信装置は、前記解析部において前記パラメータが閾値を下回ると、前記各圧縮部における圧縮処理を切り替えるように要求する前記指令信号を前記送信装置に送信するとともに、前記第2の圧縮処理で得た前記圧縮フレームデータを参照して伸長することを特徴とする請求項1記載の動画伝送システム。 The transmission apparatus includes: an input unit for obtaining moving image data; and a first compression unit that compresses moving image data by compressing each of a plurality of time-series frame data included in the moving image data obtained by the input unit. A compression unit and a second compression unit; and a transmission / reception unit that transmits the compressed frame data compressed by each compression unit to the reception device in time series and receives a command signal transmitted from the reception device. And
Wherein each compression unit includes a first compression process, and the second compression process executed respectively,
The receiving device receives the compressed frame data transmitted from the transmitting device, and expands the compressed frame data obtained by the first compression processing, and a transmitting / receiving unit that transmits the command signal to the transmitting device a decompression unit for performing decompression of the video data compressed by a display unit for displaying the decompressed moving picture data, the moving image by analyzing the compressed frame data obtained by the first compression An analysis unit for obtaining parameters for evaluating quality,
When the parameter falls below a threshold value in the analysis unit, the reception device transmits the command signal for requesting to switch the compression processing in each compression unit to the transmission device, and obtains the command signal in the second compression processing. 2. The moving picture transmission system according to claim 1, wherein the compressed frame data is decompressed with reference to the compressed frame data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011012328A JP5853142B2 (en) | 2011-01-24 | 2011-01-24 | Video transmission system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011012328A JP5853142B2 (en) | 2011-01-24 | 2011-01-24 | Video transmission system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012156652A JP2012156652A (en) | 2012-08-16 |
| JP5853142B2 true JP5853142B2 (en) | 2016-02-09 |
Family
ID=46837962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011012328A Expired - Fee Related JP5853142B2 (en) | 2011-01-24 | 2011-01-24 | Video transmission system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5853142B2 (en) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3074115B2 (en) * | 1993-10-01 | 2000-08-07 | 東光株式会社 | Image transmission device |
| JPH08205159A (en) * | 1995-01-30 | 1996-08-09 | Kokusai Electric Co Ltd | Video transmission system |
| JP3068002B2 (en) * | 1995-09-18 | 2000-07-24 | 沖電気工業株式会社 | Image encoding device, image decoding device, and image transmission system |
| WO2001084850A1 (en) * | 2000-04-27 | 2001-11-08 | Koninklijke Philips Electronics N.V. | Video compression |
| JP2002330437A (en) * | 2001-05-01 | 2002-11-15 | Sony Corp | Image transmission method, program for image transmission method, recording medium storing program for image transmission method, and image transmission apparatus |
| JP2003087794A (en) * | 2001-09-07 | 2003-03-20 | Marine System Associates Inc | Encoding system |
| JP2003116136A (en) * | 2001-10-05 | 2003-04-18 | Sharp Corp | Video decoding device |
| JP3911222B2 (en) * | 2002-09-20 | 2007-05-09 | 富士通テン株式会社 | Digital broadcast receiver |
| JP2006527518A (en) * | 2003-06-06 | 2006-11-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Video compression |
| AU2004250927B2 (en) * | 2003-06-16 | 2010-04-08 | Interdigital Vc Holdings, Inc. | Decoding method and apparatus enabling fast channel change of compressed video |
| US8327411B2 (en) * | 2003-12-01 | 2012-12-04 | Sharp Laboratories Of America, Inc. | Low-latency random access to compressed video |
| JP2005303555A (en) * | 2004-04-09 | 2005-10-27 | Matsushita Electric Ind Co Ltd | Moving picture coding apparatus and moving picture coding method |
| EP1827009A1 (en) * | 2006-02-28 | 2007-08-29 | Matsushita Electric Industrial Co., Ltd. | Video encoder and decoder for an improved zapping service for mobile video reception |
| JP4753204B2 (en) * | 2006-11-17 | 2011-08-24 | 株式会社ソニー・コンピュータエンタテインメント | Encoding processing apparatus and encoding processing method |
| JP5369599B2 (en) * | 2008-10-20 | 2013-12-18 | 富士通株式会社 | Video encoding apparatus and video encoding method |
-
2011
- 2011-01-24 JP JP2011012328A patent/JP5853142B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012156652A (en) | 2012-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423942B2 (en) | Reference and non-reference video quality evaluation | |
| US7421727B2 (en) | Motion detecting system, motion detecting method, motion detecting apparatus, and program for implementing the method | |
| US11627369B2 (en) | Video enhancement control method, device, electronic device, and storage medium | |
| US20140289787A1 (en) | Communication device, communication method, and compter program product | |
| US10015395B2 (en) | Communication system, communication apparatus, communication method and program | |
| CN112543348A (en) | Remote screen recording method, device, equipment and computer readable storage medium | |
| WO2025156879A1 (en) | Display device test method and apparatus | |
| US9332308B2 (en) | Image communication apparatus and control method therefor | |
| JP2010062792A (en) | Image compression apparatus, image decompression apparatus, image compression program, and image decompression program | |
| CN107734278B (en) | Video playback method and related device | |
| JP5853142B2 (en) | Video transmission system | |
| JP2008042695A (en) | Monitor camera apparatus, monitor camera system, and method of recording monitor camera image | |
| CN113706573B (en) | A method, device and storage medium for detecting moving objects | |
| JP2007235191A (en) | Video playback apparatus and video playback method | |
| JP5816858B2 (en) | Video transmission system | |
| JP6483850B2 (en) | Data processing method and apparatus | |
| US20200106821A1 (en) | Video processing apparatus, video conference system, and video processing method | |
| JP2010081140A (en) | Moving image transmission system | |
| JP2012156650A (en) | Moving image transmission system | |
| JP2010062946A (en) | Video transmitting apparatus, video transmitting method and video transmission program | |
| JP5906430B2 (en) | Video transmission terminal and video transmission system | |
| JP2012156654A (en) | Transmitter and moving image transmission system using the same | |
| KR101251879B1 (en) | Apparatus and method for displaying advertisement images in accordance with screen changing in multimedia cloud system | |
| JP2006319547A (en) | Video encoding device | |
| JP2007166022A (en) | Video display system and video display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140703 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140715 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140916 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150717 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5853142 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |