JP7560969B2

JP7560969B2 - Video input device, video output device, video transmission system and program

Info

Publication number: JP7560969B2
Application number: JP2020104865A
Authority: JP
Inventors: 貴弘佐藤; 史人伊藤; 史弥山岸; 直彦居相
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2020-06-17
Filing date: 2020-06-17
Publication date: 2024-10-03
Anticipated expiration: 2040-06-17
Also published as: JP2021197700A

Description

本発明は、映像入力装置、映像出力装置、映像伝送システムおよびプログラムに関する。 The present invention relates to a video input device, a video output device, a video transmission system, and a program.

７６８０画素×４３２０画素からなる８Ｋ映像の衛星放送が開始され、臨場感あふれる超高精細映像を家庭でも楽しめるようになっている。８Ｋ映像の番組のさらなる拡充のためには、番組制作設備の８Ｋ化の必要があり、そのような番組制作設備の１つとして、撮像した映像を無線伝送するワイヤレスカメラがある。 Satellite broadcasting of 8K video, consisting of 7680 x 4320 pixels, has begun, making it possible to enjoy immersive, ultra-high definition video at home. To further expand 8K video programs, it is necessary to upgrade program production equipment to 8K, and one such program production equipment is a wireless camera that wirelessly transmits captured video.

ワイヤレスカメラで撮像された映像を伝送するには、無線信号の伝送帯域に制限があるため、ＨＥＶＣ（High Efficiency Video Coding）などの映像圧縮技術を用いたコーデックを用いるのが一般的である。送信側では、エンコーダにより圧縮された映像信号（ＴＳ（Transport Stream）信号）を伝送し、受信側では、デコーダにより元の映像を復元する。しかしながら、８Ｋ映像を圧縮するコーデックは、市場で入手可能な製品がほとんど存在せず、存在したとしても、非常に大型で高価である。一方、４Ｋ映像のコーデックは、複数の製品が存在し、小型で比較的安価な製品が入手できるようになっている。 When transmitting video captured by a wireless camera, due to limitations on the transmission bandwidth of wireless signals, it is common to use a codec that uses video compression technology such as HEVC (High Efficiency Video Coding). On the sending side, a compressed video signal (TS (Transport Stream) signal) is transmitted by an encoder, and on the receiving side, the original video is restored by a decoder. However, there are almost no codec products available on the market that compress 8K video, and even if there are, they are very large and expensive. On the other hand, there are multiple codec products for 4K video, and small, relatively inexpensive products are now available.

そこで、送信側では、８Ｋ映像を３８４０画素×２１６０画素からなる４つの４Ｋ映像に分割し、４つの４Ｋ映像それぞれを４つのエンコーダで圧縮して伝送し、受信側では、４つのデコーダで元の８Ｋ映像を復元する映像伝送システムが検討されている（例えば、特許文献１および非特許文献１参照）。８Ｋ映像のインタフェースとして、１２Ｇ－ＳＤＩ（Serial Digital Interface）ケーブル４本を用いることが知られている。１２Ｇ－ＳＤＩケーブルで伝送される信号は４Ｋ信号であるので、上述した映像伝送システムへの適用に適している。 A video transmission system has been developed in which, on the transmitting side, 8K video is divided into four 4K videos of 3840 pixels x 2160 pixels, each of which is compressed and transmitted by four encoders, and on the receiving side, the original 8K video is restored by four decoders (see, for example, Patent Document 1 and Non-Patent Document 1). It is known to use four 12G-SDI (Serial Digital Interface) cables as an interface for 8K video. The signal transmitted by the 12G-SDI cables is a 4K signal, so it is suitable for application to the above-mentioned video transmission system.

特開２０１９－９７０７６号公報JP 2019-97076 A

兼六館出版放送技術２０１９年１０月号Kenrokukan Publishing Broadcasting Technology October 2019 issue

上述した８Ｋ映像を４つの４Ｋ映像に分割して伝送する映像伝送システムについて、より詳細に説明する。 The following describes in more detail the video transmission system that splits the above-mentioned 8K video into four 4K videos for transmission.

図１４は、８Ｋ映像を４つの４Ｋ映像に分割して伝送する映像伝送システム１Ａにおける、映像を伝送する送信側の構成例を示す図である。 Figure 14 shows an example of the configuration of the transmitting side that transmits video in a video transmission system 1A that divides an 8K video into four 4K videos and transmits them.

図１４に示すように、映像伝送システム１Ａにおける送信側は、８Ｋカメラ２と、４つの４Ｋエンコーダ３（４Ｋエンコーダ３a～３ｄ）と、ＴＳ信号多重器４と、送信機５とを備える。 As shown in FIG. 14, the transmitting side of the video transmission system 1A includes an 8K camera 2, four 4K encoders 3 (4K encoders 3a to 3d), a TS signal multiplexer 4, and a transmitter 5.

８Ｋカメラ２は、８Ｋ映像を撮像し、図１５に示すように、撮像した８Ｋ映像を垂直方向と水平方向とにそれぞれ２等分して（田の字状に分割して）、放送用４Ｋフォーマット（３８４０画素×２１６０画素）の４つの４Ｋ映像ａ～ｄを生成する。図１４を再び参照すると、８Ｋカメラ２は、４つの４Ｋ映像ａ～ｄをそれぞれ、対応する４Ｋエンコーダ３ａ～３ｄに出力する。つまり、８Ｋカメラ２は、４Ｋ映像aを対応する４Ｋエンコーダ３ａに出力し、４Ｋ映像ｂを対応する４Ｋエンコーダ３ｂに出力し、４Ｋ映像ｃを対応する４Ｋエンコーダ３ｃに出力し、４Ｋ映像ｄを対応する４Ｋエンコーダ３ｄに出力する。 The 8K camera 2 captures 8K video and, as shown in FIG. 15, divides the captured 8K video vertically and horizontally in half (in a cross-shaped pattern) to generate four 4K videos a-d in the 4K broadcast format (3840 pixels x 2160 pixels). Referring again to FIG. 14, the 8K camera 2 outputs the four 4K videos a-d to the corresponding 4K encoders 3a-3d, respectively. That is, the 8K camera 2 outputs 4K video a to the corresponding 4K encoder 3a, outputs 4K video b to the corresponding 4K encoder 3b, outputs 4K video c to the corresponding 4K encoder 3c, and outputs 4K video d to the corresponding 4K encoder 3d.

４Ｋエンコーダ３は、放送用４Ｋフォーマットの４Ｋ映像をエンコード（圧縮）するエンコーダである。４Ｋエンコーダ３は、８Ｋカメラ２から入力された、対応する４Ｋ映像をエンコードしてＴＳ信号を生成し、ＴＳ信号多重器４に出力する。 The 4K encoder 3 is an encoder that encodes (compresses) 4K video in the 4K broadcast format. The 4K encoder 3 encodes the corresponding 4K video input from the 8K camera 2 to generate a TS signal, which it outputs to the TS signal multiplexer 4.

ＴＳ信号多重器４は、４Ｋエンコーダ３ａ～３ｄそれぞれから出力されたＴＳ信号を１つのＴＳ信号に多重し、送信機５に出力する。 The TS signal multiplexer 4 multiplexes the TS signals output from each of the 4K encoders 3a to 3d into one TS signal and outputs it to the transmitter 5.

送信機５は、ＴＳ信号多重器４から出力されたＴＳ信号を伝送する。 The transmitter 5 transmits the TS signal output from the TS signal multiplexer 4.

次に、上述した映像伝送システム１Ａにおける、伝送された映像を受信する受信側の構成について説明する。図１６は、映像伝送システム１Ａにおける受信側の構成例を示す図である。 Next, we will explain the configuration of the receiving side that receives the transmitted video in the above-mentioned video transmission system 1A. Figure 16 is a diagram showing an example of the configuration of the receiving side in the video transmission system 1A.

図１６に示すように、映像伝送システム１Ａにおける受信側は、受信機６と、ＴＳ信号分離器７と、４つの４Ｋデコーダ８（４Ｋデコーダ８ａ～８ｄ）と、表示器９とを備える。 As shown in FIG. 16, the receiving side of the video transmission system 1A includes a receiver 6, a TS signal separator 7, four 4K decoders 8 (4K decoders 8a to 8d), and a display 9.

受信機６は、送信機５から送信されてきたＴＳ信号を受信し、ＴＳ信号分離器７に出力する。 The receiver 6 receives the TS signal transmitted from the transmitter 5 and outputs it to the TS signal separator 7.

ＴＳ信号分離器７は、受信機６から出力されたＴＳ信号を、ＴＳ信号多重器４により多重される前の４つのＴＳ信号に分離し、分離した４つのＴＳ信号をそれぞれ、４Ｋデコーダ８ａ～８ｄに出力する。 The TS signal separator 7 separates the TS signal output from the receiver 6 into four TS signals that were not multiplexed by the TS signal multiplexer 4, and outputs each of the four separated TS signals to the 4K decoders 8a to 8d.

４Ｋデコーダ８は、ＴＳ信号分離器７から出力されたＴＳ信号をデコード（復元）して元の放送用４Ｋフォーマットの４Ｋ映像を生成し、表示器９に出力する。 The 4K decoder 8 decodes (restores) the TS signal output from the TS signal separator 7 to generate 4K video in the original 4K broadcast format, and outputs it to the display 9.

表示器９は、４Ｋデコーダ８ａ～８ｄそれぞれから出力された４Ｋ映像を統合して元の８Ｋ映像を表示する。 The display 9 combines the 4K images output from each of the 4K decoders 8a to 8d to display the original 8K image.

上述した映像伝送システム１Ａにおいては、８Ｋ映像を空間的に分割した４つの４Ｋ映像を、４Ｋエンコーダ３ａ～３ｄがそれぞれ独立に圧縮し、４Ｋデコーダ８ａ～８ｄがそれぞれ独立に復元するため、４つの４Ｋ映像の画質に差が現れることがある。このような場合、分割した映像を受信側において統合すると、図１５に示すように、４Ｋ映像が隣り合う部分に画質の差による境界線が現われ、受信側における８Ｋ映像の品質劣化を招いてしまう。 In the above-mentioned video transmission system 1A, the 4K encoders 3a to 3d compress the four 4K videos obtained by spatially dividing the 8K video independently, and the 4K decoders 8a to 8d restore the four 4K videos independently, which can result in differences in image quality between the four 4K videos. In such a case, when the divided videos are integrated on the receiving side, as shown in FIG. 15, a boundary line due to the difference in image quality appears between adjacent 4K videos, resulting in a deterioration in the quality of the 8K video on the receiving side.

受信側における８Ｋ映像の品質を向上させるためには、上述した境界線が目立たないようにすることが望ましい。境界線が目立たないようにするために、４Ｋ映像ａ～ｄを拡大し、図１７に示すように、隣り合う４Ｋ映像同士で一部を重複させる方法が考えられる。 To improve the quality of the 8K video on the receiving side, it is desirable to make the above-mentioned boundary lines less noticeable. In order to make the boundary lines less noticeable, one possible method is to enlarge the 4K videos a to d and have adjacent 4K videos partially overlap each other, as shown in Figure 17.

４Ｋ映像を拡大して、隣り合う４Ｋ映像同士を重複させるためには、放送用４Ｋフォーマットよりも広い解像度に対応するコーデックが必要となる。４Ｋ映像のエンコーダとして、シネマ用４Ｋフォーマット（４０９６画素×２１６０画素）の４Ｋ映像をエンコードするコーデックがある。このコーデックを用いることで、４Ｋ映像を水平方向に拡大することができる。４Ｋ映像を水平方向に拡大して隣り合う４Ｋ映像同士を重複させることで、垂直方向に生じる境界線を目立たなくすることができる。一方、垂直方向の解像度を２１６０画素以上に拡大した４Ｋコーデックは現状では入手困難であるため、垂直方向に４Ｋ映像を拡大することは困難である。そのため、映像を分割して伝送する際に、水平方向に生じる境界線の発生を抑制することはできなかった。 In order to enlarge 4K video and overlap adjacent 4K videos, a codec that supports a wider resolution than the 4K broadcast format is required. As a 4K video encoder, there is a codec that encodes 4K video in the 4K cinema format (4096 pixels x 2160 pixels). By using this codec, 4K video can be enlarged in the horizontal direction. By enlarging 4K video horizontally and overlapping adjacent 4K videos, the vertical boundary lines can be made less noticeable. On the other hand, 4K codecs that enlarge the vertical resolution to 2160 pixels or more are currently difficult to obtain, so it is difficult to enlarge 4K video vertically. Therefore, it has not been possible to suppress the occurrence of horizontal boundary lines when dividing and transmitting video.

本発明の目的は、上述した課題を解決し、送信側において映像を分割して伝送し、受信側において分割された映像を統合する場合に、隣り合う映像間の境界線の発生を抑制することができる映像入力装置、映像出力装置、映像伝送システムおよびプログラムを提供することにある。 The object of the present invention is to provide a video input device, a video output device, a video transmission system, and a program that can solve the above-mentioned problems and suppress the occurrence of borders between adjacent images when a video is divided and transmitted on the transmitting side and the divided images are integrated on the receiving side.

上記課題を解決するため、本発明に係る映像入力装置は、入力映像を４つの分割映像に分割し、前記４つの分割映像のそれぞれに対応する第１から第４のエンコーダに前記４つの分割映像を入力する映像入力装置であって、前記第１から第３のエンコーダは、垂直方向に前記入力映像の垂直方向の画素数の半分の画素数を有し、水平方向に前記入力映像の水平方向の画素の半分よりも大きい画素数を有する映像をエンコード処理可能であり、前記第４のエンコーダは、垂直方向に前記入力映像の垂直方向の画素数の半分の画素数を有し、水平方向に前記入力映像の水平方向の画素数の半分以上の画素数を有する映像をエンコード処理可能であり、前記入力映像を、垂直方向と水平方向とにそれぞれ２分割して、前記４つの分割映像が垂直方向と水平方向とにそれぞれ２つずつ並ぶように分割する分割部と、前記分割映像を対応するエンコーダがエンコード処理可能な映像の画素数に合わせて整形して、前記対応するエンコーダに入力する整形部と、を備え、前記分割部は、隣り合う分割映像同士がそれぞれ、一部が重複し、かつ、前記４つの分割映像のうち、少なくとも一部の分割映像について、水平方向の画素数が対応するエンコーダがエンコード処理可能な映像の水平方向の画素数よりも小さく、垂直方向の画素数が対応するエンコーダがエンコード処理可能な映像の垂直方向の画素数よりも大きくなるように、前記入力映像を分割し、前記整形部は、前記４つの分割映像それぞれの、対応するエンコーダがエンコード処理可能な映像から垂直方向にはみ出すはみ出し領域の映像が、前記第１から第４のエンコーダがエンコード処理可能な映像のうち、対応する分割映像が割り当てられていない未割当領域に割り当てられるように、前記４つの分割映像の一部を整形する。 In order to solve the above problem, the video input device of the present invention is a video input device that divides an input video into four divided videos and inputs the four divided videos to first to fourth encoders corresponding to the four divided videos, the first to third encoders being capable of encoding video having half the number of pixels in the vertical direction of the input video and a number of pixels greater than half the number of pixels in the horizontal direction of the input video, the fourth encoder being capable of encoding video having half the number of pixels in the vertical direction of the input video and a number of pixels greater than half the number of pixels in the horizontal direction of the input video, the input video being divided into two in the vertical direction and the horizontal direction, the four divided videos being arranged two by two in each direction, and the divided videos being input to the corresponding encoders. and a shaping unit that shapes the input video to match the number of pixels of the video that can be encoded by the corresponding encoder and inputs the video to the corresponding encoder, the division unit divides the input video so that adjacent divided videos overlap each other and at least some of the four divided videos have a smaller number of pixels in the horizontal direction than the number of pixels in the horizontal direction of the video that can be encoded by the corresponding encoder and a larger number of pixels in the vertical direction than the number of pixels in the vertical direction of the video that can be encoded by the corresponding encoder, and the shaping unit shapes a portion of the four divided videos so that an image in an overflow area that extends vertically beyond the image that can be encoded by the corresponding encoder is assigned to an unallocated area of the video that can be encoded by the first to fourth encoders to which the corresponding divided video is not assigned.

また、本発明に係る映像入力装置において、前記整形部は、前記分割映像の前記はみ出し領域の映像を前記未割当領域に割り当てる場合、前記分割映像の垂直方向の両端部のうち、前記分割映像と垂直方向に並ぶ分割映像から遠い端部側の映像を前記未割当領域に割り当てることが好ましい。 In addition, in the video input device according to the present invention, when the shaping unit assigns the image of the overflow area of the split image to the unallocated area, it is preferable that, of both vertical ends of the split image, the image on the end side farthest from the split image that is vertically aligned with the split image is assigned to the unallocated area.

また、本発明に係る映像入力装置において、前記整形部は、前記分割映像に対応するエンコーダがエンコード処理可能な映像における前記未割当領域に、前記分割映像のはみ出し領域の映像を割り当てることが好ましい。 In the video input device according to the present invention, it is preferable that the shaping unit assigns an image of the overflow area of the divided video to the unassigned area in the video that can be encoded by the encoder corresponding to the divided video.

また、本発明に係る映像入力装置において、前記整形部は、複数の前記分割映像それぞれの前記はみ出し領域の映像を、１つのエンコーダがエンコード処理可能な映像における前記未割当領域に割り当てることが好ましい。 In addition, in the video input device according to the present invention, it is preferable that the shaping unit assigns the image of the protruding area of each of the multiple divided images to the unallocated area in the image that can be encoded by one encoder.

また、本発明に係る映像入力装置において、前記第１から第４のエンコーダは、Ｍ画素×Ｍ画素単位でエンコードを行い、前記分割部は、垂直方向に並ぶ分割映像同士が重複する領域の垂直方向の画素数、および、水平方向に並ぶ分割映像同士が重複する領域の水平方向の画素数が、Ｍの整数倍となるように、前記入力映像を分割することが好ましい。 Furthermore, in the video input device according to the present invention, it is preferable that the first to fourth encoders perform encoding in units of M pixels x M pixels, and the division unit divides the input video so that the number of vertical pixels in an area where vertically aligned divided videos overlap, and the number of horizontal pixels in an area where horizontally aligned divided videos overlap, are an integer multiple of M.

また、上記課題を解決するため、本発明に係る映像出力装置は、上述したいずれかの映像入力装置により前記第１から第４のエンコーダに入力され、前記第１から第４のエンコーダによるエンコード後の分割映像が第１から第４のデコーダによりデコードされた分割映像から、前記入力映像を出力する映像出力装置であって、前記第１から第４のデコーダによりデコードされた整形後の前記４つの分割映像において前記未割当領域に相当する領域の映像を元の位置に移動し、前記４つの分割映像を再構成する再構成部と、前記再構成部により再構成された前記４つの分割映像から前記入力映像を復元して出力する復元部と、を備える。 In order to solve the above problem, the video output device according to the present invention is a video output device that outputs an input video from split videos that are input to the first to fourth encoders by any of the video input devices described above and are decoded by the first to fourth decoders from the split videos encoded by the first to fourth encoders, and includes a reconstruction unit that moves the video of an area corresponding to the unallocated area in the four split videos after shaping decoded by the first to fourth decoders to their original positions and reconstructs the four split videos, and a restoration unit that restores and outputs the input video from the four split videos reconstructed by the reconstruction unit.

また、上記課題を解決するため、本発明に係る映像伝送システムは、入力映像を４つの分割映像に分割し、前記４つの分割映像のそれぞれに対応する第１から第４のエンコーダに前記４つの分割映像を入力する映像入力装置と、前記第１から第４のエンコーダによるエンコード後の分割映像が第１から第４のデコーダによりデコードされた分割映像から、前記入力映像を出力する映像出力装置と、を備え、前記第１から第３のエンコーダは、垂直方向に前記入力映像の垂直方向の画素数の半分の画素数を有し、水平方向に前記入力映像の水平方向の画素の半分よりも大きい画素数を有する映像をエンコード処理可能であり、前記第４のエンコーダは、垂直方向に前記入力映像の垂直方向の画素数の半分の画素数を有し、水平方向に前記入力映像の水平方向の画素数の半分以上の画素数を有する映像をエンコード処理可能であり、前記映像入力装置は、前記入力映像を、垂直方向と水平方向とにそれぞれ２分割して、前記４つの分割映像が垂直方向と水平方向とにそれぞれ２つずつ並ぶように分割する分割部と、前記分割映像を対応するエンコーダがエンコード処理可能な映像の画素数に合わせて整形して、前記対応するエンコーダに入力する整形部と、を備え、前記映像出力装置は、前記第１から第４のデコーダによりデコードされた整形後の前記４つの分割映像において、対応する分割映像が割り当てられていない未割当領域に相当する領域の映像を元の位置に移動し、前記４つの分割映像を再構成する再構成部と、前記再構成部により再構成された前記４つの分割映像から前記入力映像を復元して出力する復元部と、を備え、前記分割部は、隣り合う分割映像同士がそれぞれ、一部が重複し、かつ、前記４つの分割映像のうち、少なくとも一部の分割映像について、水平方向の画素数が対応するエンコーダがエンコード処理可能な映像の水平方向の画素数よりも小さく、垂直方向の画素数が対応するエンコーダがエンコード処理可能な映像の垂直方向の画素数よりも大きくなるように、前記入力映像を分割し、前記整形部は、前記４つの分割映像それぞれの、対応するエンコーダがエンコード処理可能な映像から垂直方向にはみ出すはみ出し領域の映像が、前記第１から第４のエンコーダがエンコード処理可能な映像のうち、前記未割当領域に割り当てられるように、前記４つの分割映像の一部を整形する。
In order to solve the above problem, a video transmission system according to the present invention includes a video input device that divides an input video into four divided videos and inputs the four divided videos to first to fourth encoders corresponding to the four divided videos, respectively, and a video output device that outputs the input video from divided videos that have been encoded by the first to fourth encoders and decoded by first to fourth decoders, wherein the first to third encoders have half the number of pixels in the vertical direction of the input video and half the number of pixels in the horizontal direction of the input video. the fourth encoder is capable of encoding an image having a number of pixels larger than half of the number of pixels in the vertical direction of the input image, and the fourth encoder is capable of encoding an image having a number of pixels in the vertical direction that is half the number of pixels in the vertical direction of the input image and a number of pixels in the horizontal direction that is equal to or greater than half the number of pixels in the horizontal direction of the input image, and the image input device includes a division unit that divides the input image into two in the vertical direction and the horizontal direction so that the four divided images are lined up two by two in the vertical direction and two by two in the horizontal direction, and a division unit that shapes the divided images to match the number of pixels of an image that can be encoded by a corresponding encoder, and a shaping unit that inputs the input video to the corresponding encoder, and the video output device comprises a reconstruction unit that moves video of areas corresponding to unallocated areas to which corresponding split videos are not assigned in the four split videos after shaping decoded by the first to fourth decoders to their original positions and reconstructs the four split videos, and a restoration unit that restores the input video from the four split videos reconstructed by the reconstruction unit and outputs the input video, and the division unit divides the input video so that adjacent split videos partially overlap each other and so that at least some of the four split videos have a horizontal pixel count smaller than the horizontal pixel count of the video that the corresponding encoder can encode and so that the vertical pixel count of at least some of the four split videos is larger than the vertical pixel count of the video that the corresponding encoder can encode, and the shaping unit shapes some of the four split videos so that video of an overflow area that vertically overflows from the video that the corresponding encoder can encode is assigned to the unallocated area of the video that the first to fourth encoders can encode.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上述したいずれかの映像入力装置として機能させる。 To solve the above problem, the program of the present invention causes a computer to function as any of the above-mentioned video input devices.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上述した映像出力装置として機能させる。 To solve the above problem, the program according to the present invention causes a computer to function as the above-mentioned video output device.

本発明に係る映像入力装置、映像出力装置、映像伝送システムおよびプログラムによれば、送信側において映像を分割し、受信側において分割された映像を統合する場合に、隣り合う映像間の境界線の発生を抑制することができる。 The video input device, video output device, video transmission system, and program of the present invention can prevent the occurrence of boundary lines between adjacent images when video is divided on the transmitting side and the divided video is integrated on the receiving side.

本発明の一実施形態に係る映像伝送システムの送信側の構成例を示す図である。FIG. 2 is a diagram illustrating an example of a configuration of a transmitting side of a video transmission system according to an embodiment of the present invention. 図１に示す映像入力装置の構成例を示す図である。FIG. 2 is a diagram illustrating an example of the configuration of the video input device illustrated in FIG. 1 . 本発明の一実施形態に係る映像伝送システムの受信側の構成例を示す図である。FIG. 2 is a diagram illustrating an example of a configuration of a receiving side of a video transmission system according to an embodiment of the present invention. 図３に示す映像出力装置の構成例を示す図である。FIG. 4 is a diagram illustrating an example of the configuration of the video output device illustrated in FIG. 3 . 図１に示す４Ｋエンコーダがエンコード処理可能な映像について説明するための図である。2 is a diagram for explaining video that can be encoded by the 4K encoder shown in FIG. 1 . FIG. 図２に示す分割部による入力映像の分割の一例を示す図である。3 is a diagram showing an example of division of an input video by the division unit shown in FIG. 2; 図２に示す整形部の動作を説明するための図である。3 is a diagram for explaining the operation of the shaping unit shown in FIG. 2 . FIG. 図２に示す整形部の動作を説明するための図である。3 is a diagram for explaining the operation of the shaping unit shown in FIG. 2 . FIG. 図２に示す整形部の動作を説明するための図である。3 is a diagram for explaining the operation of the shaping unit shown in FIG. 2 . FIG. 図２に示す整形部による分割映像の整形の一例を示す図である。3 is a diagram showing an example of shaping of divided images by the shaping unit shown in FIG. 2 . エンコードの処理単位であるＣＴＵについて説明するための図である。FIG. 2 is a diagram for explaining a CTU, which is a processing unit for encoding. 図２に示す分割部による入力映像の分割の他の一例を示す図である。3 is a diagram showing another example of division of an input video by the division unit shown in FIG. 2 . FIG. 図２に示す整形部による分割映像の整形の他の一例を示す図である。3 is a diagram showing another example of shaping of divided images by the shaping unit shown in FIG. 2 . FIG. 図２に示す映像入力装置の動作の一例を示すフローチャートである。3 is a flowchart showing an example of an operation of the video input device shown in FIG. 2 . 図４に示す映像出力装置の動作の一例を示すフローチャートである。5 is a flowchart showing an example of an operation of the video output device shown in FIG. 4 . 従来の映像伝送システムの送信側の構成例を示す図である。FIG. 1 is a diagram illustrating an example of the configuration of a transmitting side of a conventional video transmission system. 図１４に示す８Ｋカメラによる８Ｋ映像の分割について説明するための図である。FIG. 15 is a diagram for explaining division of an 8K video by the 8K camera shown in FIG. 14 . 従来の映像伝送システムの受信側の構成例を示す図である。FIG. 1 is a diagram illustrating an example of the configuration of a receiving side of a conventional video transmission system. ８Ｋ映像の分割の他の一例を示す図である。FIG. 13 is a diagram showing another example of division of 8K video.

以下、本発明の実施の形態について図面を参照して説明する。 The following describes an embodiment of the present invention with reference to the drawings.

図１は、本発明の一実施形態に係る映像伝送システム１の送信側の構成例を示す図である。本実施形態に係る映像伝送システム１は、送信側において、８Ｋ映像などの入力映像を分割して伝送し、受信側において、分割された映像から元の映像を復元して表示するものである。以下では、８Ｋ映像を４つの分割映像に分割して伝送する例を用いて説明する。図１において、図１４と同様の構成には同じ符号を付し、説明を省略する。 Figure 1 is a diagram showing an example of the configuration of the transmitting side of a video transmission system 1 according to one embodiment of the present invention. The video transmission system 1 according to this embodiment divides and transmits an input video such as 8K video on the transmitting side, and restores and displays the original video from the divided videos on the receiving side. Below, an example in which 8K video is divided into four divided videos and transmitted will be described. In Figure 1, the same components as those in Figure 14 are given the same reference numerals, and description will be omitted.

図１に示すように、本実施形態に係る映像伝送システム１の送信側は、８Ｋカメラ２と、４つの４Ｋエンコーダ３（４Ｋエンコーダ３ａ～３ｄ（第１から第４のエンコーダ））と、ＴＳ信号多重器４と、送信機５と、映像入力装置１０とを備える。本実施形態に映像伝送システム１は、図１４に示す映像伝送システム１Ａと比較して、映像入力装置１０が追加された点が異なる。 As shown in FIG. 1, the transmitting side of the video transmission system 1 according to this embodiment includes an 8K camera 2, four 4K encoders 3 (4K encoders 3a to 3d (first to fourth encoders)), a TS signal multiplexer 4, a transmitter 5, and a video input device 10. The video transmission system 1 according to this embodiment differs from the video transmission system 1A shown in FIG. 14 in that a video input device 10 is added.

映像入力装置１０は、８Ｋカメラ２と４Ｋエンコーダ３ａ～３ｄとの間に設けられる。映像入力装置１０は、８Ｋカメラ２から、８Ｋ映像を４つに分割した、放送用４Ｋフォーマットの４Ｋ映像が入力される。映像入力装置１０は、４つの４Ｋ映像を統合して８Ｋ映像を復元し、復元した８Ｋ映像（入力映像）を垂直方向および水平方向に２分割して４つの分割映像を生成する。映像入力装置１０は、生成した４つの分割映像をそれぞれ、対応する４Ｋエンコーダ３ａ～３ｄに整形後の４Ｋ映像として出力する。４Ｋエンコーダ３ａ～３ｄに入力された整形後の４Ｋ映像はそれぞれエンコードされ、ＴＳ信号としてＴＳ信号多重器４に入力される。 The video input device 10 is provided between the 8K camera 2 and the 4K encoders 3a to 3d. The video input device 10 receives 4K video in a 4K broadcast format, which is an 8K video split into four, from the 8K camera 2. The video input device 10 integrates the four 4K videos to restore the 8K video, and splits the restored 8K video (input video) vertically and horizontally to generate four split videos. The video input device 10 outputs each of the four split videos to the corresponding 4K encoders 3a to 3d as shaped 4K video. The shaped 4K videos input to the 4K encoders 3a to 3d are each encoded and input to the TS signal multiplexer 4 as a TS signal.

図２は、映像入力装置１０の構成例を示す図である。 Figure 2 shows an example configuration of the video input device 10.

図２に示すように、映像入力装置１０は、バッファ１１と、分割部１２と、整形部１３とを備える。 As shown in FIG. 2, the video input device 10 includes a buffer 11, a splitting unit 12, and a shaping unit 13.

バッファ１１は、８Ｋカメラ２から出力された、放送用４Ｋフォーマットの４つの４Ｋ映像が入力される。バッファ１１は、入力された４Ｋ映像を格納し、４つの４Ｋ映像を統合した１つの８Ｋ映像を分割部１２に出力する。 The buffer 11 receives four 4K images in 4K broadcast format output from the 8K camera 2. The buffer 11 stores the input 4K images and outputs one 8K image that combines the four 4K images to the splitter 12.

分割部１２は、バッファ１１から出力された８Ｋ映像（入力映像）を、垂直方向と水平方向とにそれぞれ２分割して４つの分割映像を生成する。１つの８Ｋ映像が垂直方向と水平方向とにそれぞれ２分割されるため、垂直方向と水平方向とにそれぞれ２つずつ分割映像が並ぶ。分割部１２は、生成した４つの分割映像を整形部１３に出力する。 The division unit 12 divides the 8K video (input video) output from the buffer 11 into two parts each in the vertical and horizontal directions to generate four divided videos. Since one 8K video is divided into two parts each in the vertical and horizontal directions, two divided videos are arranged in each of the vertical and horizontal directions. The division unit 12 outputs the four divided videos it has generated to the shaping unit 13.

整形部１３は、分割部１２から入力された分割映像を、対応する４Ｋエンコーダ３ａ～３ｄがエンコード処理可能な映像の画素数に合わせて整形し、整形後の分割映像（整形後の４Ｋ映像）を対応する４Ｋエンコーダ３ａ～３ｄに出力する。 The shaping unit 13 shapes the divided video input from the splitting unit 12 to match the number of pixels of the video that can be encoded by the corresponding 4K encoders 3a to 3d, and outputs the shaped divided video (shaped 4K video) to the corresponding 4K encoders 3a to 3d.

分割部１２および整形部１３の動作の詳細については後述する。 The operation of the splitting unit 12 and the shaping unit 13 will be described in detail later.

次に、本実施形態に係る映像伝送システム１の受信側の構成について、図３を参照して説明する。図３において、図１６と同様の構成には同じ符号を付し、説明を省略する。 Next, the configuration of the receiving side of the video transmission system 1 according to this embodiment will be described with reference to FIG. 3. In FIG. 3, the same components as those in FIG. 16 are given the same reference numerals, and the description thereof will be omitted.

図３に示すように、本実施形態に係る映像伝送システム１の受信側は、受信機６と、ＴＳ信号分離器７と、４つの４Ｋデコーダ（４Ｋデコーダ８ａ～８ｄ（第１から第４のデコーダ））と、表示器９と、映像出力装置２０とを備える。本実施形態に係る映像伝送システム１は、図１６に示す映像伝送システム１Ａと比較して、映像出力装置２０が追加された点が異なる。 As shown in FIG. 3, the receiving side of the video transmission system 1 according to this embodiment includes a receiver 6, a TS signal separator 7, four 4K decoders (4K decoders 8a to 8d (first to fourth decoders)), a display 9, and a video output device 20. The video transmission system 1 according to this embodiment differs from the video transmission system 1A shown in FIG. 16 in that a video output device 20 is added.

映像出力装置２０は、４Ｋデコーダ８ａ～８ｄと表示器９との間に設けられる。映像出力装置２０は、４Ｋデコーダ８ａ～８ｄから、上述した整形部１３による整形後の分割映像（整形後の４Ｋ映像）が入力される。映像出力装置２０は、入力された整形後の分割映像から、整形部１３による整形前の４つの分割映像を再構成する。映像出力装置２０は、再構成した４つの分割映像から元の８Ｋ映像を復元し、復元した８Ｋ映像を放送用４Ｋフォーマットの４Ｋ映像に分割して表示器９に出力する。 The video output device 20 is provided between the 4K decoders 8a to 8d and the display device 9. The video output device 20 receives the split video (shape-processed 4K video) from the 4K decoders 8a to 8d after shaping by the shaping unit 13. The video output device 20 reconstructs the four split videos before shaping by the shaping unit 13 from the input shaping-processed split video. The video output device 20 restores the original 8K video from the four reconstructed split videos, and splits the restored 8K video into 4K video in the broadcast 4K format and outputs it to the display device 9.

図４は、映像出力装置２０の構成例を示す図である。 Figure 4 shows an example configuration of the video output device 20.

図４に示すように、映像出力装置２０は、再構成部２１と、復元部２２と、バッファ２３とを備える。 As shown in FIG. 4, the video output device 20 includes a reconstruction unit 21, a restoration unit 22, and a buffer 23.

再構成部２１は、４Ｋデコーダ８ａ～８ｄによりデコードされた整形後の４つの分割映像（整形後の４Ｋ映像）から、４つの分割映像（整形部１３による整形前の分割映像）を再構成する。再構成部２１は、再構成した４つの分割映像を復元部２２に出力する。 The reconstruction unit 21 reconstructs four split images (split images before shaping by the shaping unit 13) from the four shaped split images (4K images after shaping) decoded by the 4K decoders 8a to 8d. The reconstruction unit 21 outputs the four reconstructed split images to the restoration unit 22.

復元部２２は、再構成部２１により再構成された４つの分割映像から元の８Ｋ映像を復元し、バッファ２３に出力する。 The restoration unit 22 restores the original 8K video from the four split videos reconstructed by the reconstruction unit 21 and outputs it to the buffer 23.

バッファ２３は、復元部２２により復元された８Ｋ映像を格納し、格納した８Ｋ映像を放送用４Ｋフォーマットの４Ｋ映像に分割して表示器９に出力する。 The buffer 23 stores the 8K video restored by the restoration unit 22, divides the stored 8K video into 4K video in the 4K broadcast format, and outputs it to the display device 9.

再構成部２１および復元部２２の動作の詳細については後述する。 The operation of the reconstruction unit 21 and the restoration unit 22 will be described in detail later.

次に、分割部１２および整形部１３の動作について説明する。まず、本実施形態における４Ｋエンコーダ３ａ～３ｄがエンコード処理可能な映像について説明する。 Next, the operation of the division unit 12 and the shaping unit 13 will be described. First, the video that can be encoded by the 4K encoders 3a to 3d in this embodiment will be described.

上述したように、図１４においては、４Ｋエンコーダ３ａ～３ｄは、放送用４Ｋフォーマットの４Ｋ映像をエンコードするエンコーダである。図１４においては、４Ｋエンコーダ３ａ～３ｄは、放送用４Ｋフォーマット（３８４０画素×２１６０画素）の４Ｋ映像をエンコード処理可能である。 As described above, in FIG. 14, the 4K encoders 3a to 3d are encoders that encode 4K video in the 4K broadcast format. In FIG. 14, the 4K encoders 3a to 3d are capable of encoding 4K video in the 4K broadcast format (3840 pixels x 2160 pixels).

一方、本実施形態においては、４Ｋエンコーダ３ａ～３ｃ（第１から第３のエンコーダ）として、シネマ用４Ｋフォーマット（４０９６画素×２１６０画素）の４Ｋ映像をエンコードするエンコーダを用いる。図５に示すように、４Ｋエンコーダ３ａ～３ｃは、垂直方向に入力映像である８Ｋ映像の垂直方向の画素数（４３２０画素）の半分の画素数（２１６０画素）を有し、水平方向に８Ｋ映像の水平方向の画素数（７６８０画素）の半分よりも大きい画素数（４０９６画素）を有する映像をエンコード処理可能である。 In this embodiment, on the other hand, the 4K encoders 3a to 3c (first to third encoders) are encoders that encode 4K video in a 4K cinema format (4096 pixels x 2160 pixels). As shown in FIG. 5, the 4K encoders 3a to 3c are capable of encoding video that has half the number of pixels (2160 pixels) in the vertical direction of the 8K video input video (4320 pixels), and has a number of pixels (4096 pixels) in the horizontal direction that is greater than half the number of pixels (7680 pixels) in the horizontal direction of the 8K video.

また、本実施形態においては、４Ｋエンコーダ３ｄ（第４のエンコーダ）として、放送用４Ｋフォーマットの４Ｋ映像をエンコードするエンコーダまたはシネマ用４Ｋフォーマットの４Ｋ映像をエンコードするエンコーダを用いる。４Ｋエンコーダ３ｄは、垂直方向に入力映像である８Ｋ映像の垂直方向（４３２０画素）の画素数の半分の画素数（２１６０画素）を有し、水平方向に８Ｋ映像の水平方向の画素数（７６８０画素）の半分以上の画素数を有する映像をエンコード処理可能である。以下では、４Ｋエンコーダ３ｄは、図５に示すように、放送用４Ｋフォーマット（３８４０画素×２１６０画素）の４Ｋ映像をエンコード処理可能であるとする。 In the present embodiment, an encoder that encodes 4K video in a 4K broadcasting format or an encoder that encodes 4K video in a 4K cinema format is used as the 4K encoder 3d (fourth encoder). The 4K encoder 3d is capable of encoding video that has half the number of pixels (2160 pixels) in the vertical direction (4320 pixels) of the 8K video that is the input video, and has more than half the number of pixels (7680 pixels) in the horizontal direction of the 8K video. In the following, it is assumed that the 4K encoder 3d is capable of encoding 4K video in a 4K broadcasting format (3840 pixels x 2160 pixels) as shown in FIG. 5.

次に、分割部１２の動作について説明する。 Next, the operation of the splitter 12 will be described.

上述したように、分割部１２は、入力映像である８Ｋ映像を、垂直方向と水平方向とにそれぞれ２分割して、垂直方向と水平方向とにそれぞれ２つずつ分割映像が並ぶように分割する。さらに、分割部１２は、隣り合う分割映像同士が、一部が重複するように８Ｋ映像を分割する。また、分割部１２は、４つの分割映像のうち、少なくとも一部の分割映像について、水平方向の画素数が対応する４Ｋエンコーダ３がエンコード処理可能な映像の水平方向の画素数よりも小さく、垂直方向の画素数が対応するエンコーダ３がエンコード処理可能な映像の垂直方向の画素数よりも大きくなるように、８Ｋ映像を分割する。 As described above, the splitter 12 splits the 8K video, which is the input video, into two vertically and horizontally, so that two split videos are lined up in each of the vertical and horizontal directions. Furthermore, the splitter 12 splits the 8K video so that adjacent split videos partially overlap. The splitter 12 also splits the 8K video so that, for at least some of the four split videos, the number of pixels in the horizontal direction is smaller than the number of pixels in the horizontal direction of the video that the corresponding 4K encoder 3 can encode, and the number of pixels in the vertical direction is greater than the number of pixels in the vertical direction of the video that the corresponding encoder 3 can encode.

図６は、分割部１２による入力映像である８Ｋ映像の分割の一例を示す図である。以下では、図６に示すように、８Ｋ映像を垂直方向および水平方向に２分割した４つの４Ｋ映像（分割映像）のうち、左上の映像を分割映像Ａと称し、右上の映像を分割映像Ｂと称し、左下の映像を分割映像Ｃと称し、右下の映像を分割映像Ｄと称する。 Fig. 6 is a diagram showing an example of division of an 8K image, which is an input image, by the division unit 12. In the following, of the four 4K images (divided images) obtained by dividing the 8K image vertically and horizontally as shown in Fig. 6, the upper left image is referred to as divided image A, the upper right image is referred to as divided image B, the lower left image is referred to as divided image C, and the lower right image is referred to as divided image D.

図６に示すように、分割部１２は、分割映像Ａ，Ｃの水平方向の画素数が、８Ｋ映像の左端から（３８４０＋Ｈ_over）画素となり、分割映像Ｂ，Ｄの水平方向の画素数が、８Ｋ映像の右端から３８４０画素となるように、８Ｋ映像を分割する。また、分割部１２は、分割映像Ａ，Ｂの垂直方向の画素数が、８Ｋ映像の上端から（２１６０＋Ｖ_over）画素となり、分割映像Ｃ，Ｄの垂直方向の画素数が２１６０画素となるように、８Ｋ映像を分割する。分割部１２は、分割映像Ａ，Ｂがそれぞれ分割映像Ｃ，Ｄと垂直方向にＶ_over画素だけ重複し、分割映像Ａ，Ｃがそれぞれ分割映像Ｂ，Ｄと水平方向にＨ_over画素だけ重複するように、８Ｋ映像を分割する。なお、分割部１２は、分割映像Ａ～Ｄの水平方向の画素数が、対応する４Ｋエンコーダ３がエンコード処理可能な映像の水平方向の画素数を超えないように、８Ｋ映像を分割する。 As shown in FIG. 6, the division unit 12 divides the 8K video such that the number of pixels in the horizontal direction of the divided images A and C is (3840+H _over ) pixels from the left end of the 8K video, and the number of pixels in the horizontal direction of the divided images B and D is 3840 pixels from the right end of the 8K video. The division unit 12 also divides the 8K video such that the number of pixels in the vertical direction of the divided images A and B is (2160+V _over ) pixels from the top end of the 8K video, and the number of pixels in the vertical direction of the divided images C and D is 2160 pixels. The division unit 12 divides the 8K video such that the divided images A and B overlap with the divided images C and D in the vertical direction by V _over pixels, respectively, and the divided images A and C overlap with the divided images B and D in the horizontal direction by H _over pixels, respectively. The division unit 12 divides the 8K video such that the number of pixels in the horizontal direction of the divided images A to D does not exceed the number of pixels in the horizontal direction of the video that the corresponding 4K encoder 3 can encode.

上述したように、分割映像Ａ，Ｂに対応する４Ｋエンコーダ３ａ，３ｂは、４０９６画素×２１６０画素の映像をエンコード処理可能である。したがって、図６に示す例では、分割部１２は、分割映像Ａ，Ｂが、水平方向の画素数が対応する４Ｋエンコーダ３ａ，３ｂがエンコード処理可能な映像の水平方向の画素数よりも小さく、垂直方向の画素数が対応する４Ｋエンコーダ３ａ，３ｂがエンコード処理可能な映像の垂直方向の画素数よりも大きくなるように、８Ｋ映像を分割する。 As described above, the 4K encoders 3a and 3b corresponding to the divided images A and B are capable of encoding an image of 4096 pixels x 2160 pixels. Therefore, in the example shown in FIG. 6, the division unit 12 divides the 8K image so that the number of pixels in the horizontal direction of the divided images A and B is smaller than the number of pixels in the horizontal direction of the image that can be encoded by the corresponding 4K encoders 3a and 3b, and the number of pixels in the vertical direction is greater than the number of pixels in the vertical direction of the image that can be encoded by the corresponding 4K encoders 3a and 3b.

次に、整形部１３の動作について、図７Ａ～図７Ｃを参照して説明する。 Next, the operation of the shaping unit 13 will be described with reference to Figures 7A to 7C.

図７Ａは、分割映像Ａと分割映像Ａに対応する４Ｋエンコーダ３ａがエンコード処理可能な映像とを重ね合わせた図である。図７Ａにおいては、実線の矩形が、分割映像Ａを示し、破線の矩形が、４Ｋエンコーダ３ａがエンコード処理可能な映像を示す。図７Ａにおいて、分割映像Ａのうち、４Ｋエンコーダ３ａがエンコード処理可能な映像と重なる領域は、４Ｋエンコーダ３ａによるエンコードが可能な領域である。 Figure 7A is a diagram in which divided image A is superimposed on an image that can be encoded by the 4K encoder 3a and corresponds to divided image A. In Figure 7A, the solid-line rectangle indicates divided image A, and the dashed-line rectangle indicates an image that can be encoded by the 4K encoder 3a. In Figure 7A, the area of divided image A that overlaps with the image that can be encoded by the 4K encoder 3a is an area that can be encoded by the 4K encoder 3a.

図６を参照して説明したように、分割映像Ａの垂直方向の画素数は（２１６０＋Ｖ_over）画素であり、分割映像Ａの水平方向の画素数は（３８４０＋Ｈ_over）画素（＜４０９６）である。したがって、図７Ａに示すように、分割映像Ａのうち、垂直方向にＶ_over画素、水平方向に（３８４０＋Ｈ_over）画素の領域は、４Ｋエンコーダ３ａがエンコード処理可能な映像からはみ出す。以下では分割映像のうち、対応する４Ｋエンコーダ３がエンコード処理可能な映像からはみ出す領域をはみ出し領域と称する。 As described with reference to Fig. 6, the number of pixels in the vertical direction of the divided video A is (2160 + V _over ) pixels, and the number of pixels in the horizontal direction of the divided video A is (3840 + H _over ) pixels (< 4096). Therefore, as shown in Fig. 7A, an area of the divided video A that is V _over pixels in the vertical direction and (3840 + H _over ) pixels in the horizontal direction extends beyond the image that can be encoded by the 4K encoder 3a. Hereinafter, an area of the divided video that extends beyond the image that can be encoded by the corresponding 4K encoder 3 is referred to as an extension area.

図７Ａに示すように、４Ｋエンコーダ３ａがエンコード処理可能な映像のうち、垂直方向に２１６０画素、水平方向に（２５６－Ｈ_over）画素の領域には、４Ｋエンコーダ３ａに対応する分割映像Ａが割り当てられていない。以下では、４Ｋエンコーダ３がエンコード処理可能な映像のうち、整形部１３による整形前の分割映像が割り当てられていない領域を未割当領域と称する。 7A, in the video that can be encoded by the 4K encoder 3a, an area of 2160 pixels in the vertical direction and (256-H _over ) pixels in the horizontal direction is not assigned the divided video A corresponding to the 4K encoder 3a. Hereinafter, an area in the video that can be encoded by the 4K encoder 3 that is not assigned the divided video before shaping by the shaping unit 13 is referred to as an unallocated area.

整形部１３は、分割映像Ａのはみ出し領域の映像が、４Ｋエンコーダ３ａがエンコード処理可能な映像における未割当領域に割り当てられるように、分割映像Ａを整形する。具体的には、整形部１３は、図７Ｂに示すように、垂直方向にＶ_over画素、水平方向に（３８４０＋Ｈ_over）画素からなるはみ出し領域の映像を、未割当領域の水平方向の画素数（２５６－Ｈ_over）に合わせて、垂直方向にＶ_over画素、水平方向にＨ_cut（＝２５６－Ｈｏｖｅｒ）画素の、Ｎ個（ＮはＮ≧（３８４０＋Ｈ_over）／Ｈ_cutを満たす最小の整数）のブロックに分割する。ただし、Ｎ個目のブロックの水平方向の画素数はＨ_cut画素以下となる。 The shaping unit 13 shapes the divided video A so that the video of the overflow area of the divided video A is assigned to an unallocated area in the video that can be encoded by the 4K encoder 3a. Specifically, as shown in FIG. 7B, the shaping unit 13 divides the video of the overflow area consisting of V _over pixels in the vertical direction and (3840+H _over ) pixels in the horizontal direction into N blocks (N is the smallest integer that satisfies N≧(3840+H _over )/H _cut ) of V _over pixels in the vertical direction and H _cut (=256-Hover ) pixels in the horizontal direction in accordance with the number of pixels (256-H _over ) in the horizontal direction of the unallocated area. However, the number of pixels in the horizontal direction of the Nth block is equal to or less than H _cut pixels.

整形部１３は、図７Ｃに示すように、はみ出し領域の映像を分割したＮ個のブロックが未割当領域に割り当てられるように、分割映像Ａを整形しはみ出し領域の映像を移動させる。このように整形部１３は、分割映像のうち、対応する４Ｋエンコーダ３がエンコード処理可能な映像から垂直方向にはみ出すはみ出し領域の映像が未割当領域に割り当てられるように、分割映像を整形する。そのため、垂直方向にも分割映像を拡大して重複させることができるので、送信側において映像を分割して伝送する場合に、受信側で復元される映像に分割映像の境界線が生じにくくすることができる。特に、本発明においては、垂直方向にも分割映像を拡大して重複させることで、水平方向に生じる境界線の発生を抑制することができる。 As shown in FIG. 7C, the shaping unit 13 shapes the divided video A and moves the video of the overflow area so that the N blocks obtained by dividing the video of the overflow area are assigned to the unallocated area. In this way, the shaping unit 13 shapes the divided video so that the video of the overflow area that vertically overflows from the video that can be encoded by the corresponding 4K encoder 3 is assigned to the unallocated area. Therefore, since the divided video can be expanded and overlapped vertically as well, when the video is divided and transmitted on the transmitting side, it is possible to make it difficult for boundaries between the divided videos to appear in the video restored on the receiving side. In particular, in the present invention, the occurrence of boundaries in the horizontal direction can be suppressed by expanding and overlapping the divided video vertically as well.

なお、整形部１３は、はみ出し領域の映像が割り当てられていない未割当領域には、例えば、単一色の映像など情報量の少ない映像を付加する。 The shaping unit 13 adds an image with less information, such as a single-color image, to the unallocated area where no image of the protruding area is allocated.

図８は、分割映像Ａ～Ｄそれぞれに対する整形部１３の処理を示す図である。 Figure 8 shows the processing performed by the shaping unit 13 on each of the divided images A to D.

図７Ａ～図７Ｃを参照して説明したように、整形部１３は、分割映像Ａのうち、はみ出し領域の映像を４Ｋエンコーダ３ａがエンコード処理可能な映像における未割当領域に割り当てる。 As described with reference to Figures 7A to 7C, the shaping unit 13 allocates the image of the protruding area of the divided image A to an unallocated area in the image that can be encoded by the 4K encoder 3a.

分割映像Ｂは、３８４０画素×（２１６０＋Ｖ_over）画素の映像である。したがって、分割映像Ｂのうち、垂直方向にＶ_over画素、水平方向に３８４０画素の領域の映像は、４Ｋエンコーダ３ｂがエンコード処理可能な映像（４０９６×２１６０画素）からはみ出す。整形部１３は、分割映像Ａと同様に、はみ出し領域の映像が、４Ｋエンコーダ３ｂがエンコード処理可能な映像における未割当領域（２５６画素×２１６０画素の領域）に割り当てられるように、分割映像Ｂを整形して、４Ｋエンコーダ３ｂに出力する。 The divided video B is an image of 3840 pixels x (2160 + V _over ) pixels. Therefore, an area of divided video B that is V _over pixels in the vertical direction and 3840 pixels in the horizontal direction protrudes from the image (4096 x 2160 pixels) that can be encoded by the 4K encoder 3b. The shaping unit 13 shapes the divided video B so that the image of the protruding area is assigned to an unassigned area (area of 256 pixels x 2160 pixels) in the image that can be encoded by the 4K encoder 3b, similar to the divided video A, and outputs the result to the 4K encoder 3b.

分割映像Ｃは、（３８４０＋Ｈ_over）画素×２１６０画素の映像であり、４Ｋエンコーダ３ｃがエンコード処理可能な映像（４０９６画素×２１６０画素の映像）内に収まる。したがって、整形部１３は、分割映像Ｃをそのまま４Ｋエンコーダ３ｃに出力する。 The divided video C is a video of (3840+H _over )×2160 pixels, which falls within the video (video of 4096×2160 pixels) that can be encoded by the 4K encoder 3c. Therefore, the shaping unit 13 outputs the divided video C to the 4K encoder 3c as is.

分割映像Ｄは、３８４０画素×２１６０画素の映像であり、４Ｋエンコーダ３ｄがエンコード処理可能な映像（３８４０×２１６０画素の映像）内に収まる。したがって、整形部１３は、分割映像Ｄをそのまま４Ｋエンコーダ３ｄに出力する。 The divided image D is a 3840 x 2160 pixel image, which fits within the image that can be encoded by the 4K encoder 3d (3840 x 2160 pixel image). Therefore, the shaping unit 13 outputs the divided image D to the 4K encoder 3d as is.

図８においては、分割映像のはみ出し領域の映像を未割当領域に割り当てる場合、その分割映像に対応する４Ｋエンコーダ３がエンコード処理可能な映像における未割当領域に割り当てる例を用いて説明したが、これに限られるものではない。要は、整形部１３は、４つの分割映像それぞれのはみ出し領域の映像が、４Ｋエンコーダ３ａ～３ｄのいずれかがエンコード処理可能な映像における未割当領域に割り当てられるように、４つの分割映像の一部を整形すればよい。したがって、整形部１３は、分割映像のはみ出し領域の映像が、その分割映像に対応する４Ｋエンコーダ３以外の４Ｋエンコーダ３がエンコード処理可能な映像における未割当領域に割り当てられるように、分割映像を整形してもよい。 In FIG. 8, an example has been described in which the image of the overflow area of a split image is assigned to an unallocated area in an image that can be encoded by the 4K encoder 3 corresponding to that split image, but this is not limiting. In short, the shaping unit 13 only needs to shape parts of the four split images so that the image of the overflow area of each of the four split images is assigned to an unallocated area in an image that can be encoded by any of the 4K encoders 3a to 3d. Therefore, the shaping unit 13 may shape the split images so that the image of the overflow area of a split image is assigned to an unallocated area in an image that can be encoded by a 4K encoder 3 other than the 4K encoder 3 corresponding to that split image.

なお、４Ｋエンコーダ３は、図９に示すように、Ｍ画素×Ｍ画素単位（Ｍは１６，３２または６４）でエンコードを行う。Ｍ画素×Ｍ画素のエンコードの単位は、ＨＥＶＣにおいてＣＴＵ（Coding Tree Unit）と称される。４Ｋエンコーダ３は、図９に示すように、ＣＴＵを水平方向および垂直方向にずらしながら、ＣＴＵ内の映像のエンコードを行う。 As shown in FIG. 9, the 4K encoder 3 performs encoding in units of M pixels x M pixels (M is 16, 32, or 64). In HEVC, the M pixel x M pixel encoding unit is called a CTU (Coding Tree Unit). As shown in FIG. 9, the 4K encoder 3 encodes the video within a CTU while shifting the CTU in the horizontal and vertical directions.

分割部１２は、Ｖ_over＝Ｈ_overであり、かつ、Ｖ_overおよびＨ_overがＭの整数倍となるように、８Ｋ映像を分割する。こうすることで、はみ出し領域の映像が割り当てられていない未割当領域はＣＴＵ単位となるので、４Ｋエンコーダ３によるエンコードの対象から除外することができる。その結果、４Ｋエンコーダ３の処理負荷を低減することができる。 The division unit 12 divides the 8K video so that V _over =H _over and V _over and H _over are integer multiples of M. In this way, the unallocated area to which the video of the protruding area is not allocated becomes a CTU unit, and can be excluded from the target for encoding by the 4K encoder 3. As a result, the processing load of the 4K encoder 3 can be reduced.

図７Ａ，７Ｃを参照して説明したように、整形部１３は、分割映像Ａのうち、分割映像Ａの上端から垂直方向にＶｏｕｔ画素分の領域をはみ出し領域とし、この領域の映像を未割当領域に割り当てる。整形部１３は、分割映像のはみ出し領域の映像を未割当領域に割り当てる場合、分割映像の垂直方向の両端部のうち、当該分割映像と垂直方向に並ぶ分割映像から遠い端部側の映像を未割当領域に割り当てる。 As described with reference to Figures 7A and 7C, the shaping unit 13 sets an area of Vout pixels vertically from the top end of the divided image A as an overflow area, and allocates the image of this area to an unallocated area. When allocating the image of the overflow area of the divided image to an unallocated area, the shaping unit 13 allocates the image of the end side farthest from the divided image that is aligned vertically with the divided image, out of both vertical ends of the divided image, to the unallocated area.

はみ出し領域の映像を未割当領域に割り当てて、はみ出し領域の映像を移動させた場合には、受信側で映像を復元した場合に、映像を移動させた部分の品質の劣化が生じる可能性がある。ここで、分割映像の垂直方向の両端部のうち、当該分割映像と垂直方向に並ぶ分割映像から近い端部側の映像（元の映像の中央付近の映像）を移動させると、受信側で映像を復元した場合に、視覚上の影響が大きくなる。そこで、分割映像の垂直方向の両端部のうち、当該分割映像と垂直方向に並ぶ分割映像から遠い端部側の映像（元の映像の上端あるいは下端付近の映像）を移動させることで、視覚上の影響を抑制することができる。 If the image of the overflow area is allocated to an unallocated area and the image of the overflow area is moved, there is a possibility that the quality of the moved part will deteriorate when the image is restored on the receiving side. Here, if the image on the end side closest to the divided image aligned vertically with the divided image (image near the center of the original image) is moved, the visual impact will be large when the image is restored on the receiving side. Therefore, the visual impact can be reduced by moving the image on the end side farthest from the divided image aligned vertically with the divided image (image near the top or bottom of the original image) of the divided images in the vertical direction.

また、本実施形態では、分割映像のはみ出し領域の映像を、その分割映像に対応する４Ｋエンコーダ３の未割当領域に割り当てる（１つの４Ｋエンコーダ３の未割当領域に割り当てる）例を用いて説明した。この例では、４Ｋエンコーダ３ａ，３ｂにおいて、元の分割映像と、はみ出し領域の映像であり、未割当領域に移動させた映像とが隣接する不連続面が生じる。このような不連続面は受信側において８Ｋ映像を復元した際に、品質に影響を及ぼす可能性がある。 Also, in this embodiment, an example has been described in which the image of the overflow area of a divided image is assigned to an unallocated area of the 4K encoder 3 corresponding to that divided image (assigned to an unallocated area of one 4K encoder 3). In this example, in the 4K encoders 3a and 3b, a discontinuous surface is generated where the original divided image and the image of the overflow area that has been moved to the unallocated area are adjacent to each other. Such a discontinuous surface may affect the quality when the 8K image is restored on the receiving side.

そこで、映像入力装置１０は、複数の分割映像それぞれのはみ出し領域の映像が、１つの４Ｋエンコーダ３がエンコード処理可能な映像の未割当領域に割り当てられるように、分割映像を整形してもよい。こうすることで、不連続面が生じるエンコーダ３の数を減らすことができるので、受信側での映像品質の劣化を抑制することができる。以下に、複数の分割映像それぞれのはみ出し領域の映像を、１つの４Ｋエンコーダ３がエンコード処理可能な映像の未割当領域に割り当てる場合の、分割部１２および整形部１３の動作について説明する。 The video input device 10 may therefore shape the split videos so that the video of the overflow areas of each of the multiple split videos is assigned to an unallocated area of the video that can be encoded by a single 4K encoder 3. This can reduce the number of encoders 3 where discontinuous surfaces occur, thereby suppressing degradation of video quality on the receiving side. Below, the operation of the splitting unit 12 and the shaping unit 13 when the video of the overflow areas of each of the multiple split videos is assigned to an unallocated area of the video that can be encoded by a single 4K encoder 3 will be described.

図１０は、分割部１２による８Ｋ映像（入力映像）の分割の他の一例を示す図である。 Figure 10 shows another example of division of 8K video (input video) by the division unit 12.

図１０に示すように、分割部１２は、分割映像Ａ，Ｃの水平方向の画素数が、８Ｋ映像の左端から４０９６画素となり、分割映像Ｂ，Ｄの画素数が、８Ｋ映像の右端から（３５８４＋Ｈ_over）画素となるように、８Ｋ映像を分割する。また、分割部１２は、分割映像Ａ，Ｂの垂直方向の画素数が（２１６０＋Ｖ_over）画素となり、分割映像Ｃ，Ｄの垂直方向の画素数が２１６０画素となるように、８Ｋ映像を分割する。分割部１２は、分割映像Ａ，Ｂがそれぞれ分割映像Ｃ，Ｄと垂直方向にＶ_over画素だけ重複し、分割映像Ａ，Ｃがそれぞれ分割映像Ｂ，Ｄと水平方向にＨ_over画素だけ重複するように、８Ｋ映像を分割する。また、分割部１２は、分割映像Ａ，Ｃの水平方向の画素数が、対応する４Ｋエンコーダ３ａ，３ｃがエンコード処理可能な映像の水平方向の画素数と同じになるように、８Ｋ映像を分割する。 As shown in FIG. 10, the division unit 12 divides the 8K video such that the number of pixels in the horizontal direction of the divided images A and C is 4096 pixels from the left end of the 8K video, and the number of pixels in the divided images B and D is (3584+H _over ) pixels from the right end of the 8K video. The division unit 12 also divides the 8K video such that the number of pixels in the vertical direction of the divided images A and B is (2160+V _over ) pixels, and the number of pixels in the vertical direction of the divided images C and D is 2160 pixels. The division unit 12 divides the 8K video such that the divided images A and B overlap with the divided images C and D by V _over pixels in the vertical direction, respectively, and the divided images A and C overlap with the divided images B and D by H _over pixels in the horizontal direction, respectively. The division unit 12 also divides the 8K video such that the number of pixels in the horizontal direction of the divided images A and C is the same as the number of pixels in the horizontal direction of the video that can be encoded by the corresponding 4K encoders 3a and 3c.

上述したように、分割映像Ｂに対応する４Ｋエンコーダ３ｂは、４０９６画素×２１６０画素の映像をエンコード処理可能である。したがって、図１０に示す例では、分割部１２は、分割映像Ｂが、水平方向の画素数が対応する４Ｋエンコーダ３ｂがエンコード処理可能な映像の水平方向の画素数よりも小さく、垂直方向の画素数が対応する４Ｋエンコーダ３ｂがエンコード処理可能な映像の垂直方向の画素数よりも大きくなるように、８Ｋ映像を分割する。 As described above, the 4K encoder 3b corresponding to the divided image B is capable of encoding an image of 4096 pixels x 2160 pixels. Therefore, in the example shown in FIG. 10, the division unit 12 divides the 8K image so that the number of pixels in the horizontal direction of the divided image B is smaller than the number of pixels in the horizontal direction of the image that can be encoded by the corresponding 4K encoder 3b, and the number of pixels in the vertical direction is greater than the number of pixels in the vertical direction of the image that can be encoded by the corresponding 4K encoder 3b.

図１１は、分割映像Ａ～Ｄそれぞれに対する整形部１３の処理を示す図である。 Figure 11 shows the processing performed by the shaping unit 13 on each of the divided images A to D.

上述したように、分割映像Ａは、４０９６画素×（２１６０＋Ｖ_over）画素の映像である。したがって、分割映像Ａのうち、垂直方向にＶ_over画素、水平方向に４０９６画素の領域は、４Ｋエンコーダ３ａがエンコード処理可能な映像（４０９６画素×２１６０画素）からはみ出す。ただし、分割映像Ａの水平方向の画素数と４Ｋエンコーダ３ａがエンコード処理可能な映像の水平方向の画素数とが同じであるため、未割当領域が存在しない。 As described above, the divided video A is an image of 4096 pixels x (2160 + V _over ) pixels. Therefore, an area of the divided video A that is V _over pixels in the vertical direction and 4096 pixels in the horizontal direction extends beyond the image (4096 pixels x 2160 pixels) that can be encoded by the 4K encoder 3a. However, since the number of pixels in the horizontal direction of the divided video A is the same as the number of pixels in the horizontal direction of the image that can be encoded by the 4K encoder 3a, there is no unallocated area.

分割映像Ｂは、（３５８４＋Ｈ_over）画素×（２１６０＋Ｖ_over）画素の映像である。したがって、分割映像Ｂのうち、垂直方向にＶ_over画素、水平方向に（３５８４＋Ｈ_over）画素の領域は、４Ｋエンコーダ３ｂがエンコード処理可能な映像（４０９６画素×２１６０画素）からはみ出す。整形部１３は、図１１に示すように、分割映像Ａのはみ出し領域の映像および分割映像Ｂのはみ出し領域の映像を、４Ｋエンコーダ３ｂがエンコード処理可能な映像における未割当領域に割り当てるように、分割映像Ａ，Ｂを整形して、４Ｋエンコーダ３ａ，３ｂに出力する。なお、図１１においては、分割映像Ａのはみ出し領域の映像を右斜め上がりのハッチングを付して示し、分割映像Ｂのはみ出し領域の映像を右斜め下がりのハッチングを付して示している。 Split video B is an image of (3584+H _over ) pixels×(2160+V _over ) pixels. Therefore, an area of split video B with V _over pixels in the vertical direction and (3584+H _over ) pixels in the horizontal direction protrudes from the image (4096 pixels×2160 pixels) that can be encoded by the 4K encoder 3b. As shown in FIG. 11, the shaping unit 13 shapes split video A and B so that the image of the protruding area of split video A and the image of the protruding area of split video B are assigned to an unassigned area in the image that can be encoded by the 4K encoder 3b, and outputs the shaped images to the 4K encoders 3a and 3b. In FIG. 11, the image of the protruding area of split video A is shown with hatching diagonally upward to the right, and the image of the protruding area of split video B is shown with hatching diagonally downward to the right.

分割映像Ｃは、４０９６画素×２１６０画素の映像であり、４Ｋエンコーダ３ｃがエンコード処理可能な映像（４０９６画素×２１６０画素の映像）内に収まる。したがって、整形部１３は、分割映像Ｃをそのまま４Ｋエンコーダ３ｃに出力する。 The divided image C is a 4096 pixel x 2160 pixel image, which fits within the image that the 4K encoder 3c can encode (4096 pixel x 2160 pixel image). Therefore, the shaping unit 13 outputs the divided image C to the 4K encoder 3c as is.

分割映像Ｄは、（３５８４＋Ｈ_over）画素×２１６０画素の映像である。分割映像Ｄの水平方向の画素数が、４Ｋエンコーダ３ｄがエンコード処理可能な映像（３８４０画素×２１６０画素の映像）内に収まる場合、整形部１３は、分割映像Ｄをそのまま４Ｋエンコーダ３ｄに出力する。 The divided video D is an image of (3584+H _over ) pixels×2160 pixels. If the number of pixels in the horizontal direction of the divided video D falls within the range of an image that can be encoded by the 4K encoder 3d (an image of 3840 pixels×2160 pixels), the shaping unit 13 outputs the divided video D as is to the 4K encoder 3d.

このように、整形部１３は、複数の分割映像のはみ出し領域の映像が、１つの４Ｋエンコーダ３がエンコード処理可能な映像における未割当領域に割り当てられるように、複数の分割映像を整形してもよい。 In this way, the shaping unit 13 may shape the multiple split images so that the images of the overflow areas of the multiple split images are assigned to unallocated areas in the images that can be encoded by a single 4K encoder 3.

次に、再構成部２１および復元部２２の動作について説明する。 Next, the operation of the reconstruction unit 21 and the restoration unit 22 will be described.

再構成部２１は、４Ｋデコーダ８ａ～８ｄによりデコードされた、整形後の分割映像（整形後の４Ｋ映像）が入力されると、整形部１３と逆の処理を行うことで、整形部１３により移動された映像を元の領域に戻し、整形前の分割映像を再構成する。再構成部２１は、４Ｋエンコーダ３がエンコード処理可能な映像の未割当領域に割り当てられた映像を、はみ出し領域に戻して、整形前の分割映像を再構成する。 When the reconstruction unit 21 receives the shaped divided images (shaped 4K images) decoded by the 4K decoders 8a to 8d, it performs the reverse process of the shaping unit 13 to return the images moved by the shaping unit 13 to their original areas and reconstruct the divided images before shaping. The reconstruction unit 21 returns the images that have been allocated to unallocated areas of the images that can be encoded by the 4K encoder 3 to the overflow areas, and reconstructs the divided images before shaping.

復元部２２は、再構成部２１により再構成された分割映像を統合して、入力映像である８Ｋ映像を生成する。ここで、復元部２２は、分割映像同士が重複する領域の映像を用いたフィルタ処理により平滑化を行ってもよい。復元部２２は、復元した８Ｋ映像をバッファ２３に出力する。 The restoration unit 22 integrates the split images reconstructed by the reconstruction unit 21 to generate an 8K image, which is an input image. Here, the restoration unit 22 may perform smoothing by a filter process using images of areas where the split images overlap. The restoration unit 22 outputs the restored 8K image to the buffer 23.

次に、映像入力装置１０の動作について、図１２に示すフローチャートを参照して説明する。 Next, the operation of the video input device 10 will be described with reference to the flowchart shown in FIG. 12.

ステップＳ１１において、映像入力装置１０の分割部１２は、入力映像である８Ｋ映像を、垂直方向と水平方向とにそれぞれ２分割して、垂直方向と水平方向とにそれぞれ２つずつ分割映像が並ぶように分割する。ここで、分割部１２は、隣り合う分割映像同士がそれぞれ、一部が重複するように、８Ｋ映像を分割する。また、分割部１２は、４つの分割映像のうち、少なくとも一部の分割映像について、水平方向の画素数が対応する４Ｋエンコーダ３がエンコード処理可能な映像の水平方向の画素数よりも小さく、垂直方向の画素数が対応する４Ｋエンコーダ３がエンコード処理可能な映像の垂直方向の画素数よりも大きくなるように、８Ｋ映像を分割する。 In step S11, the splitter 12 of the video input device 10 splits the 8K video, which is the input video, into two vertically and horizontally, so that two split videos are lined up in each of the vertical and horizontal directions. Here, the splitter 12 splits the 8K video so that adjacent split videos partially overlap. In addition, the splitter 12 splits the 8K video so that, for at least some of the four split videos, the number of pixels in the horizontal direction is smaller than the number of pixels in the horizontal direction of the video that can be encoded by the corresponding 4K encoder 3, and the number of pixels in the vertical direction is greater than the number of pixels in the vertical direction of the video that can be encoded by the corresponding 4K encoder 3.

ステップＳ１２において、映像入力装置１０の整形部１３は、分割映像を対応するエンコーダ３がエンコード処理可能な映像の画素数に合わせて整形して、対応する４Ｋエンコーダ３に入力する。ここで、整形部１３は、４つの分割映像それぞれの、対応する４Ｋエンコーダ３がエンコード処理可能な映像から垂直方向にはみ出すはみ出し領域の映像が、４Ｋエンコーダ３がエンコード処理可能な映像のうち、対応する分割映像が割り当てられていない未割当領域に割り当てられるように、４つの分割映像の一部を整形する。 In step S12, the shaping unit 13 of the video input device 10 shapes the divided video to match the number of pixels of the video that can be encoded by the corresponding encoder 3, and inputs the result to the corresponding 4K encoder 3. Here, the shaping unit 13 shapes a part of the four divided videos so that the video of the protruding area that protrudes vertically from the video that can be encoded by the corresponding 4K encoder 3 is assigned to an unallocated area of the video that can be encoded by the 4K encoder 3 to which the corresponding divided video is not assigned.

少なくとも一部の分割映像が、対応する４Ｋエンコーダ３がエンコード処理可能な映像に対して、垂直方向には大きく、水平方向には小さくなるよう入力映像を分割し、分割映像を対応する４Ｋエンコーダ３がエンコード処理可能な映像に合わせて整形することで、分割映像における、垂直方向にはみ出した領域の映像を、４Ｋエンコーダ３がエンコード処理可能な映像における未割当領域に割り当てることができる。そのため、垂直方向にも分割映像を拡大して重複させることができるので、送信側において映像を分割して伝送する場合に、受信側で復元される映像に分割映像の境界線が生じにくくなり、受信側における映像の品質劣化を抑制することができる。 By dividing the input video so that at least some of the divided images are larger in the vertical direction and smaller in the horizontal direction than the video that the corresponding 4K encoder 3 can encode, and shaping the divided images to match the video that the corresponding 4K encoder 3 can encode, it is possible to allocate the video in the vertically protruding area of the divided images to unallocated areas in the video that the 4K encoder 3 can encode. Therefore, since the divided images can be expanded and overlapped in the vertical direction as well, when the video is divided and transmitted on the transmitting side, the boundary lines of the divided images are less likely to appear in the video restored on the receiving side, and degradation of the quality of the video on the receiving side can be suppressed.

次に、映像出力装置２０の動作について、図１３に示すフローチャートを参照して説明する。 Next, the operation of the video output device 20 will be described with reference to the flowchart shown in FIG. 13.

ステップＳ２１において、映像出力装置２０の再構成部２１は、４Ｋデコーダ８ａ～８ｄによりデコードされた整形後の４つの分割映像において未割当領域に相当する領域の映像を元の位置に移動し、４つの分割映像（整形部１３による整形前の分割映像）を再構成する。 In step S21, the reconstruction unit 21 of the video output device 20 moves the image of the area corresponding to the unallocated area in the four divided images after shaping decoded by the 4K decoders 8a to 8d to the original position, and reconstructs the four divided images (the divided images before shaping by the shaping unit 13).

ステップＳ２２において、映像出力装置２０の復元部２２は、再構成部２１により再構成された４つの分割映像から元の入力映像を復元して出力する。 In step S22, the restoration unit 22 of the video output device 20 restores and outputs the original input video from the four split videos reconstructed by the reconstruction unit 21.

このように本実施形態においては、映像入力装置１０は、入力映像を、垂直方向と水平方向とにそれぞれ２分割して、４つの分割映像が垂直方向と水平方向とにそれぞれ２つずつ並ぶように分割する分割部１２と、分割映像を対応する４Ｋエンコーダ３がエンコード処理可能な映像の画素数に合わせて整形して、対応する４Ｋエンコーダ３に入力する整形部１３と、を備える。分割部１２は、隣り合う分割映像同士がそれぞれ、一部が重複し、かつ、４つの分割映像のうち、少なくとも一部の分割映像について、水平方向の画素数が対応する４Ｋエンコーダ３がエンコード処理可能な映像の水平方向の画素数よりも小さく、垂直方向の画素数が対応する４Ｋエンコーダ３がエンコード処理可能な映像の垂直方向の画素数よりも大きくなるように、入力映像を分割する。整形部１３は、４つの分割映像それぞれの、対応する４Ｋエンコーダ３がエンコード処理可能な映像から垂直方向にはみ出すはみ出し領域の映像が、４Ｋエンコーダ３がエンコード処理可能な映像のうち、対応する分割映像が割り当てられていない未割当領域に割り当てられるように、４つの分割映像の一部を整形する。 Thus, in this embodiment, the video input device 10 includes a splitting unit 12 that splits the input video into two vertically and horizontally so that four split videos are arranged two by two in each of the vertical and horizontal directions, and a shaping unit 13 that shapes the split videos to match the number of pixels of a video that can be encoded by the corresponding 4K encoder 3 and inputs them to the corresponding 4K encoder 3. The splitting unit 12 splits the input video so that adjacent split videos overlap in part, and so that at least some of the four split videos have a smaller number of pixels in the horizontal direction than the number of pixels in the horizontal direction of a video that can be encoded by the corresponding 4K encoder 3 and a larger number of pixels in the vertical direction than the number of pixels in the vertical direction of a video that can be encoded by the corresponding 4K encoder 3. The shaping unit 13 shapes a part of the four divided images so that the image of the protruding area of each of the four divided images that protrudes vertically from the image that can be encoded by the corresponding 4K encoder 3 is assigned to an unallocated area of the image that can be encoded by the 4K encoder 3 to which the corresponding divided image is not assigned.

また、本実施形態においては、映像出力装置２０は、４Ｋデコーダ８ａ～８ｄによりデコードされた整形後の４つの分割映像において未割当領域に相当する領域の映像を元の位置に移動し、４つの分割映像を再構成する再構成部２１と、再構成部２１により再構成された４つの分割映像から入力映像を復元して出力する復元部２２と、を備える。 In addition, in this embodiment, the video output device 20 includes a reconstruction unit 21 that moves the video of the area corresponding to the unallocated area in the four divided videos after shaping decoded by the 4K decoders 8a to 8d to the original position and reconstructs the four divided videos, and a restoration unit 22 that restores and outputs the input video from the four divided videos reconstructed by the reconstruction unit 21.

このように、送信側に設けられる映像入力装置１０では、少なくとも一部の分割映像が、対応する４Ｋエンコーダ３がエンコード処理可能な映像に対して、垂直方向には大きく、水平方向には小さくなるよう入力映像が分割される。また、分割映像が、対応する４Ｋエンコーダ３がエンコード処理可能な映像に合わせて整形される。また、受信側に設けられる映像出力装置２０では、整形後の分割映像から元の分割映像が再構成され、再構成された分割映像から元の入力映像が復元される。 In this way, in the video input device 10 provided on the transmitting side, the input video is divided so that at least some of the divided videos are larger in the vertical direction and smaller in the horizontal direction than the video that the corresponding 4K encoder 3 can encode. The divided videos are also shaped to match the video that the corresponding 4K encoder 3 can encode. In addition, in the video output device 20 provided on the receiving side, the original divided videos are reconstructed from the shaped divided videos, and the original input video is restored from the reconstructed divided videos.

こうすることで、分割映像における、垂直方向にはみ出した領域の映像を、４Ｋエンコーダ３がエンコード処理可能な映像における未割当領域に割り当てることができる。そのため、垂直方向にも分割映像を拡大して重複させることができるので、送信側において映像を分割し、受信側において分割された映像を統合する場合、隣り合う映像間の境界線の発生を抑制することができる。 By doing this, the image of the area that protrudes vertically in the divided images can be assigned to an unallocated area in the image that can be encoded by the 4K encoder 3. Therefore, the divided images can be expanded and overlapped in the vertical direction as well, so that when the image is divided on the transmitting side and the divided images are integrated on the receiving side, the occurrence of boundary lines between adjacent images can be suppressed.

なお、実施形態では特に触れていないが、コンピュータを、映像入力装置１０または映像出力装置２０として機能させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。 Although not specifically mentioned in the embodiment, a program may be provided that causes a computer to function as the video input device 10 or the video output device 20. The program may also be recorded on a computer-readable medium. The computer-readable medium can be used to install the program on a computer. Here, the computer-readable medium on which the program is recorded may be a non-transient recording medium. The non-transient recording medium is not particularly limited, and may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.

あるいは、映像入力装置１０および映像出力装置２０が行う各処理を実行するためのプログラムを記憶するメモリ、および、メモリに記憶されたプログラムを実行するプロセッサによって構成され、映像入力装置１０または映像出力装置２０に搭載されるチップが提供されてもよい。 Alternatively, a chip may be provided that is configured with a memory that stores programs for executing the processes performed by the video input device 10 and the video output device 20, and a processor that executes the programs stored in the memory, and is mounted on the video input device 10 or the video output device 20.

上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 The above-mentioned embodiment has been described as a representative example, but it will be apparent to those skilled in the art that many modifications and substitutions are possible within the spirit and scope of the present invention. Therefore, the present invention should not be interpreted as being limited by the above-mentioned embodiment, and various modifications and changes are possible without departing from the scope of the claims. For example, it is possible to combine multiple configuration blocks shown in the configuration diagram of the embodiment into one, or to divide one configuration block.

１，１Ａ映像伝送システム
２８Ｋカメラ
３，３ａ～３ｄ４Ｋエンコーダ
４ＴＳ信号多重器
５送信機
６受信機
７ＴＳ信号分離器
８，８ａ～８ｄ４Ｋデコーダ
９表示器
１０映像入力装置
１１バッファ
１２分割部
１３整形部
２０映像出力装置
２１再構成部
２２復元部
２３バッファ REFERENCE SIGNS LIST 1, 1A video transmission system 2 8K camera 3, 3a to 3d 4K encoder 4 TS signal multiplexer 5 transmitter 6 receiver 7 TS signal separator 8, 8a to 8d 4K decoder 9 display 10 video input device 11 buffer 12 division section 13 shaping section 20 video output device 21 reconstruction section 22 restoration section 23 buffer

Claims

A video input device that divides an input video into four divided videos and inputs the four divided videos to first to fourth encoders corresponding to the four divided videos,
the first to third encoders are capable of encoding an image having half the number of pixels in the vertical direction of the input image and having more than half the number of pixels in the horizontal direction of the input image;
the fourth encoder is capable of encoding an image having a number of pixels in a vertical direction that is half the number of pixels in the vertical direction of the input image, and a number of pixels in a horizontal direction that is equal to or greater than half the number of pixels in the horizontal direction of the input image;
a division unit that divides the input image into two in a vertical direction and a horizontal direction, so that the four divided images are arranged in pairs in the vertical direction and two in the horizontal direction;
a shaping unit that shapes the divided video in accordance with a number of pixels of a video that can be encoded by a corresponding encoder and inputs the divided video to the corresponding encoder;
The division unit is
Adjacent split images overlap in part, and
Dividing the input video such that, for at least some of the four divided videos, the number of pixels in the horizontal direction is smaller than the number of pixels in the horizontal direction of a video that can be encoded by a corresponding encoder, and the number of pixels in the vertical direction is greater than the number of pixels in the vertical direction of a video that can be encoded by a corresponding encoder;
The shaping unit shapes a portion of the four split images so that an image of an overhanging area of each of the four split images that extends vertically beyond the image that can be encoded by the corresponding encoder is assigned to an unallocated area of the images that can be encoded by the first to fourth encoders to which the corresponding split image is not assigned.

2. The video input device according to claim 1,
A video input device in which, when the shaping unit assigns an image of the overflow area of the split image to the unallocated area, the image of the end side farthest from the split image that is vertically aligned with the split image is assigned to the unallocated area, out of both vertical ends of the split image.

3. The video input device according to claim 1,
The shaping unit assigns an image of a protruding area of the divided image to the unassigned area in an image that can be encoded by an encoder corresponding to the divided image.

3. The video input device according to claim 1,
A video input device, wherein the shaping unit allocates the image of the protruding area of each of the plurality of divided images to the unallocated area in an image that can be encoded by a single encoder.

5. The video input device according to claim 1,
The first to fourth encoders perform encoding in units of M pixels by M pixels,
A video input device, wherein the division unit divides the input video so that the number of vertical pixels in an area where vertically aligned divided videos overlap, and the number of horizontal pixels in an area where horizontally aligned divided videos overlap, are integer multiples of M.

A video output device that outputs the input video from divided videos that are input to the first to fourth encoders by the video input device according to any one of claims 1 to 5 and are decoded by first to fourth decoders from divided videos that have been encoded by the first to fourth encoders,
a reconstruction unit that moves an image of an area corresponding to the unallocated area in the four divided images after shaping decoded by the first to fourth decoders to an original position, and reconstructs the four divided images;
a restoration unit that restores the input video from the four divided videos reconstructed by the reconstruction unit and outputs the restored video.

a video input device that divides an input video into four divided videos and inputs the four divided videos to first to fourth encoders corresponding to the four divided videos;
a video output device that outputs the input video from the divided videos that have been encoded by the first to fourth encoders and decoded by first to fourth decoders,
the first to third encoders are capable of encoding an image having half the number of pixels in the vertical direction of the input image and having more than half the number of pixels in the horizontal direction of the input image;
the fourth encoder is capable of encoding an image having a number of pixels in a vertical direction that is half the number of pixels in the vertical direction of the input image, and a number of pixels in a horizontal direction that is equal to or greater than half the number of pixels in the horizontal direction of the input image;
The video input device is
a division unit that divides the input image into two in a vertical direction and a horizontal direction, so that the four divided images are arranged in pairs in the vertical direction and two in the horizontal direction;
a shaping unit that shapes the divided video in accordance with a number of pixels of a video that can be encoded by a corresponding encoder and inputs the divided video to the corresponding encoder;
The video output device is
a reconstruction unit that moves, in the four divided images after shaping decoded by the first to fourth decoders , images of areas corresponding to unallocated areas to which no corresponding divided images are assigned , to their original positions, and reconstructs the four divided images;
a restoration unit that restores the input video from the four divided videos reconstructed by the reconstruction unit and outputs the restored video,
The division unit is
Adjacent split images overlap in part, and
Dividing the input video such that, for at least some of the four divided videos, the number of pixels in the horizontal direction is smaller than the number of pixels in the horizontal direction of a video that can be encoded by a corresponding encoder, and the number of pixels in the vertical direction is greater than the number of pixels in the vertical direction of a video that can be encoded by a corresponding encoder;
The shaping unit shapes a portion of the four divided images so that an image of an overhanging area of each of the four divided images that vertically extends beyond the image that can be encoded by the corresponding encoder is assigned to the unallocated area of the image that can be encoded by the first to fourth encoders.

A program that causes a computer to function as a video input device according to any one of claims 1 to 5.

A program that causes a computer to function as the video output device described in claim 6.