Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6989463B2 - Video transmission device for mobile remote control device, video transmission method for mobile remote control device, and computer program - Google Patents
[go: Go Back, main page]

JP6989463B2 - Video transmission device for mobile remote control device, video transmission method for mobile remote control device, and computer program - Google Patents

Video transmission device for mobile remote control device, video transmission method for mobile remote control device, and computer program Download PDF

Info

Publication number
JP6989463B2
JP6989463B2 JP2018160292A JP2018160292A JP6989463B2 JP 6989463 B2 JP6989463 B2 JP 6989463B2 JP 2018160292 A JP2018160292 A JP 2018160292A JP 2018160292 A JP2018160292 A JP 2018160292A JP 6989463 B2 JP6989463 B2 JP 6989463B2
Authority
JP
Japan
Prior art keywords
communication
video
communication path
wireless communication
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018160292A
Other languages
Japanese (ja)
Other versions
JP2020036156A (en
Inventor
雄太 森澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018160292A priority Critical patent/JP6989463B2/en
Publication of JP2020036156A publication Critical patent/JP2020036156A/en
Application granted granted Critical
Publication of JP6989463B2 publication Critical patent/JP6989463B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)

Description

本発明は、移動体遠隔操作装置の映像伝送装置移動体遠隔操作装置の映像伝送方法及びコンピュータプログラムに関する。 The present invention relates to a video transmission device of a mobile remote control device, a video transmission method of the mobile remote control device, and a computer program.

無線通信品質を向上させるための無線通信技術として、例えば特許文献1に記載の従来技術が知られている。特許文献1に記載の従来技術では、移動端末装置は、複数の契約事業者がそれぞれ提供する無線通信網の受信電界強度や受信信号の誤り率に基づき複数の契約事業者が提供する無線通信網の中からより受信電界強度の高いまたは受信信号の誤り率の低い無線通信網を選択して接続要求を行う。 As a wireless communication technique for improving wireless communication quality, for example, the conventional technique described in Patent Document 1 is known. In the prior art described in Patent Document 1, the mobile terminal device is a wireless communication network provided by a plurality of contractors based on the received electric field strength and the error rate of the received signal of the wireless communication network provided by the plurality of contractors. A wireless communication network having a higher received electric field strength or a lower error rate of the received signal is selected from among them to make a connection request.

また、従来の映像伝送技術として、例えば非特許文献1に記載の従来技術が知られている。非特許文献1に記載の従来技術では、複数のIP(Internet Protocol)通信路に映像データを分散させて送信する際に、各IP通信路の混雑状況を予測し、混雑が予測されたIP通信路へのデータ配分比率を減少させる。 Further, as a conventional video transmission technique, for example, the conventional technique described in Non-Patent Document 1 is known. In the prior art described in Non-Patent Document 1, when video data is distributed and transmitted over a plurality of IP (Internet Protocol) communication paths, the congestion status of each IP communication path is predicted, and the congestion is predicted. Reduce the data distribution ratio to the road.

特開2002−300653号公報Japanese Unexamined Patent Publication No. 2002-300563

「映像ファイル伝送のための優先制御伝送技術」、[平成30年8月16日検索]、インターネット<URL:https://www.nhk.or.jp/strl/publica/giken_dayori/jp3/mt-1212.html>"Priority control transmission technology for video file transmission", [Search on August 16, 2018], Internet <URL: https://www.nhk.or.jp/strl/publica/giken_dayori/jp3/mt- 1212.html >

しかし、上述した従来の無線通信技術では、移動端末装置が接続する無線通信網を、複数の契約事業者が提供する無線通信網の間で切り替えると、送信側と受信側との間のIP通信が切断されるので、送信側と受信側との間のデータ通信が途切れる。このため、上述した従来の無線通信技術では、例えば映像伝送システムにおいて、受信側で映像データを受信できななくなり、受信側で再生する映像が途絶える等、映像品質が劣化する。また、上述した従来の映像伝送技術では、無線通信路を介するIP通信路が存在する場合、当該無線通信路における無線環境の変化に応じた通信品質の変動に適応することが難しい。 However, in the conventional wireless communication technology described above, when the wireless communication network to which the mobile terminal device is connected is switched between the wireless communication networks provided by a plurality of contractors, IP communication between the transmitting side and the receiving side is performed. Is disconnected, so that the data communication between the transmitting side and the receiving side is interrupted. For this reason, in the above-mentioned conventional wireless communication technology, for example, in a video transmission system, video data cannot be received on the receiving side, and the video to be reproduced on the receiving side is interrupted, resulting in deterioration of video quality. Further, in the above-mentioned conventional video transmission technology, when an IP communication path via a wireless communication path exists, it is difficult to adapt to changes in communication quality according to a change in the wireless environment in the wireless communication path.

本発明は、このような事情を考慮してなされたものであり、その目的は、無線通信路を介する複数のIP通信路を使用して伝送される映像の品質向上を図ることにある。 The present invention has been made in consideration of such circumstances, and an object of the present invention is to improve the quality of an image transmitted by using a plurality of IP communication paths via a wireless communication path.

(1)本発明の一態様は、各々異なる無線通信方式の無線通信路を確立する複数の無線通信部と、前記無線通信路の通信品質値を測定する無線測定部と、前記複数の無線通信部の各々に対応して設けられる複数のIP通信部であって、前記IP通信部に対応する前記無線通信路を介する映像受信装置間のIP通信路を、前記IP通信部毎に異なるIPアドレスで確立する前記複数の前記IP通信部と、前記IP通信路の通信品質値を測定するIP測定部と、前記無線通信路の通信品質値と対応する前記IP通信路の通信品質値との組合せで総合通信路品質を判断する通信路品質判断部と、複数の前記IP通信路を使用して前記映像受信装置への映像データ送信を行う送信制御部と、を備え、前記送信制御部は、前記総合通信路品質と映像データの重要度とに基づいて当該映像データを送信する前記IP通信路を選択する、映像伝送装置であって、前記映像伝送装置が前記映像受信装置へ送信する映像データは、移動体に備わる複数台のビデオカメラが撮像した撮像データであって前記移動体の遠隔操作に用いられる映像データであり、各前記ビデオカメラの映像データの重要度は、前記移動体の運転状況に応じて変わる、移動体遠隔操作装置の映像伝送装置である。
(2)本発明の一態様は、前記通信路品質判断部は、無線通信路の通信品質値とIP通信路の通信品質値とに加えてさらに無線通信方式の契約情報を加味して総合通信路品質を判断する、上記(1)の移動体遠隔操作装置の映像伝送装置である。
)本発明の一態様は、前記送信制御部は、前記総合通信路品質に基づいて該当する前記IP通信路の通信量上限を判断し、前記通信量上限に達するまで当該前記IP通信路に対して前記映像データを割り当てる、上記(1)又は(2)のいずれかの移動体遠隔操作装置の映像伝送装置である。
)本発明の一態様は、前記無線通信路のハンドオーバタイミングを取得するハンドオーバタイミング取得部をさらに備え、前記送信制御部は、前記ハンドオーバタイミングに合わせて、映像データ送信方法を変更する、上記(1)から(3)のいずれかの移動体遠隔操作装置の映像伝送装置である。
)本発明の一態様は、前記送信制御部は、前記ハンドオーバタイミングに合わせて、カバレッジが異なる複数の前記無線通信方式の無線通信路に該当する複数の前記IP通信路を使用して前記映像受信装置への映像データ送信を行う、上記()の移動体遠隔操作装置の映像伝送装置である。
)本発明の一態様は、前記送信制御部は、前記ハンドオーバタイミングに合わせて、複数の前記IP通信路を使用して前記映像受信装置への映像データ冗長化送信を行う、上記()又は()のいずれかの移動体遠隔操作装置の映像伝送装置である。
(1) One aspect of the present invention includes a plurality of wireless communication units that establish wireless communication paths of different wireless communication methods, a wireless measurement unit that measures a communication quality value of the wireless communication path, and the plurality of wireless communication units. A plurality of IP communication units provided corresponding to each unit, and the IP communication path between video receiving devices via the wireless communication path corresponding to the IP communication unit is set to a different IP address for each IP communication unit. A combination of the plurality of IP communication units established in the above, an IP measurement unit that measures the communication quality value of the IP communication path, and a communication quality value of the IP communication path corresponding to the communication quality value of the wireless communication path. The transmission control unit includes a communication path quality determination unit that determines the overall communication path quality, and a transmission control unit that transmits video data to the video receiving device using the plurality of IP communication paths. A video transmission device that selects the IP communication path for transmitting the video data based on the total communication path quality and the importance of the video data, and the video data transmitted by the video transmission device to the video reception device. Is image data captured by a plurality of video cameras provided in the moving body and is video data used for remote operation of the moving body, and the importance of the video data of each video camera is the operation of the moving body. It is a video transmission device for mobile remote control devices that changes according to the situation.
(2) In one aspect of the present invention, the communication path quality determination unit takes into account the communication quality value of the wireless communication path and the communication quality value of the IP communication path, as well as the contract information of the wireless communication method, for comprehensive communication. This is a video transmission device for the mobile remote control device according to (1) above, which determines the road quality.
( 3 ) In one aspect of the present invention, the transmission control unit determines the upper limit of the communication amount of the corresponding IP communication path based on the total communication path quality, and the IP communication path is reached until the upper limit of the communication amount is reached. It is a video transmission device of the mobile remote control device according to any one of (1) and (2) above, which allocates the video data to the device.
( 4 ) One aspect of the present invention further includes a handover timing acquisition unit that acquires the handover timing of the wireless communication path, and the transmission control unit changes the video data transmission method according to the handover timing. It is a video transmission device of the mobile remote control device according to any one of (1) to (3).
( 5 ) In one aspect of the present invention, the transmission control unit uses the plurality of IP communication paths corresponding to the plurality of wireless communication paths of the wireless communication method having different coverage according to the handover timing. This is the video transmission device of the mobile remote control device according to (4 ) above, which transmits video data to the video receiver.
( 6 ) In one aspect of the present invention, the transmission control unit performs video data redundant transmission to the video receiving device using a plurality of the IP communication paths in accordance with the handover timing ( 4). ) Or ( 5 ) is a video transmission device for a mobile remote control device.

)本発明の一態様は、映像伝送装置が、各々異なる無線通信方式の無線通信路を確立する複数の無線通信ステップと、前記映像伝送装置が、前記無線通信路の通信品質値を測定する無線測定ステップと、前記映像伝送装置が、前記複数の無線通信ステップの各々に対応して設けられる複数のIP通信ステップであって、前記IP通信ステップに対応する前記無線通信路を介する映像受信装置間のIP通信路を、前記IP通信ステップ毎に異なるIPアドレスで確立する前記複数の前記IP通信ステップと、前記映像伝送装置が、前記IP通信路の通信品質値を測定するIP測定ステップと、前記映像伝送装置が、前記無線通信路の通信品質値と対応する前記IP通信路の通信品質値との組合せで総合通信路品質を判断する通信路品質判断ステップと、前記映像伝送装置が、複数の前記IP通信路を使用して前記映像受信装置への映像データ送信を行う制御ステップと、を含み、前記制御ステップは、前記総合通信路品質と映像データの重要度とに基づいて当該映像データを送信する前記IP通信路を選択する、映像伝送方法であって、前記映像伝送装置が前記映像受信装置へ送信する映像データは、移動体に備わる複数台のビデオカメラが撮像した撮像データであって前記移動体の遠隔操作に用いられる映像データであり、各前記ビデオカメラの映像データの重要度は、前記移動体の運転状況に応じて変わる、移動体遠隔操作装置の映像伝送方法である。 (7) In one aspect of the present invention, measuring video transmission apparatus, a plurality of radio communication step of establishing a wireless communication path of each different wireless communication systems, the video transmission device, a communication quality value of said radio communication channel The wireless measurement step and the video transmission device are a plurality of IP communication steps provided corresponding to each of the plurality of wireless communication steps, and video reception is performed via the wireless communication path corresponding to the IP communication step. The plurality of IP communication steps for establishing an IP communication path between devices with different IP addresses for each IP communication step, and an IP measurement step for the video transmission device to measure a communication quality value of the IP communication path. the video transmission apparatus includes a channel quality determining step of determining the overall channel quality in combination with the communication quality value of the IP communication path corresponding to the communication quality value of said radio communication channel, the video transmission device, The control step includes a control step of transmitting video data to the video receiving device using the plurality of IP communication paths, and the control step is based on the total communication path quality and the importance of the video data. It is a video transmission method that selects the IP communication path for transmitting data, and the video data transmitted by the video transmission device to the video receiving device is image data captured by a plurality of video cameras provided in the moving body. It is video data used for remote operation of the mobile body, and the importance of the video data of each video camera is a video transmission method of the mobile remote control device, which changes according to the operating condition of the mobile body. ..

)本発明の一態様は、移動体遠隔操作装置の映像伝送装置のコンピュータに、各々異なる無線通信方式の無線通信路を確立する複数の無線通信ステップと、前記無線通信路の通信品質値を測定する無線測定ステップと、前記複数の無線通信ステップの各々に対応して設けられる複数のIP通信ステップであって、前記IP通信ステップに対応する前記無線通信路を介する映像受信装置間のIP通信路を、前記IP通信ステップ毎に異なるIPアドレスで確立する前記複数の前記IP通信ステップと、前記IP通信路の通信品質値を測定するIP測定ステップと、前記無線通信路の通信品質値と対応する前記IP通信路の通信品質値との組合せで総合通信路品質を判断する通信路品質判断ステップと、複数の前記IP通信路を使用して前記映像受信装置への映像データ送信を行う制御ステップと、を実行させるためのコンピュータプログラムであり、前記制御ステップは、前記総合通信路品質と映像データの重要度とに基づいて当該映像データを送信する前記IP通信路を選択する、コンピュータプログラムであって、前記映像伝送装置が前記映像受信装置へ送信する映像データは、移動体に備わる複数台のビデオカメラが撮像した撮像データであって前記移動体の遠隔操作に用いられる映像データであり、各前記ビデオカメラの映像データの重要度は、前記移動体の運転状況に応じて変わる、コンピュータプログラムである。 ( 8 ) One aspect of the present invention is a plurality of wireless communication steps for establishing wireless communication paths of different wireless communication methods in a computer of a video transmission device of a mobile remote control device, and a communication quality value of the wireless communication path. And a plurality of IP communication steps provided corresponding to each of the plurality of wireless communication steps, the IP between the video receiving devices via the wireless communication path corresponding to the IP communication step. The plurality of IP communication steps for establishing a communication path with different IP addresses for each IP communication step, an IP measurement step for measuring a communication quality value of the IP communication path, and a communication quality value of the wireless communication path. A communication path quality determination step for determining the overall communication path quality in combination with the communication quality value of the corresponding IP communication path, and a control for transmitting video data to the video receiving device using the plurality of IP communication paths. a method, a computer program for executing the control step selects the IP communication path for transmitting the video data based on the importance of the overall channel quality video data, a computer program The video data transmitted by the video transmission device to the video receiving device is image data captured by a plurality of video cameras provided in the moving body and is video data used for remote operation of the moving body. The importance of the video data of each of the video cameras is a computer program that changes according to the operating conditions of the moving object.

本発明によれば、無線通信路を介する複数のIP通信路を使用して伝送される映像の品質向上を図ることができるという効果が得られる。 According to the present invention, there is an effect that the quality of an image transmitted by using a plurality of IP communication paths via a wireless communication path can be improved.

一実施形態に係る映像送信装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image transmission apparatus which concerns on one Embodiment. 一実施形態に係る映像伝送システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the video transmission system which concerns on one Embodiment. 一実施形態に係る映像送信方法の手順の例を示すフローチャートである。It is a flowchart which shows the example of the procedure of the video transmission method which concerns on one Embodiment. 他の実施形態に係る映像送信装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image transmission apparatus which concerns on other embodiment.

以下、図面を参照し、本発明の実施形態について説明する。
図1は、一実施形態に係る映像送信装置の構成例を示すブロック図である。図1において、映像送信装置1は、複数(n個、nは2以上の整数)の通信部10−1、10−2、・・・、10−n(以下、特に区別しないときは「通信部10」と称する)と、入力部21と、送信バッファ22と、制御部30と、を備える。通信部10は、アンテナ11と、無線通信部12と、無線測定部13と、IP通信部14と、IP測定部15と、を備える。制御部30は、通信路品質判断部31と、送信制御部32と、を備える。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration example of a video transmission device according to an embodiment. In FIG. 1, the video transmission device 1 has a plurality of (n pieces, n is an integer of 2 or more) communication units 10-1, 10-2, ..., 10-n (hereinafter, when not particularly distinguished, "communication". A unit 10 ”), an input unit 21, a transmission buffer 22, and a control unit 30. The communication unit 10 includes an antenna 11, a wireless communication unit 12, a wireless measurement unit 13, an IP communication unit 14, and an IP measurement unit 15. The control unit 30 includes a communication path quality determination unit 31 and a transmission control unit 32.

通信部10−1、10−2、・・・、10−nにおいて、各無線通信部12は、異なる無線通信方式の無線通信路を確立する。通信部10−1、10−2、・・・、10−nに備わる合計n個の無線通信部12は、同時に無線通信を行っても互いの通信品質に悪影響を及ぼさないように、各無線通信方式が決定される。例えば、利用周波数帯や符号化方式などが異なる無線通信方式が各無線通信部12の無線通信方式に決定される。例えば、複数の無線通信部12は、各々異なる通信事業者が提供する携帯電話ネットワーク等の無線通信ネットワークに接続して無線通信路を確立するものであってもよい。また、複数の無線通信部12は、同じ通信事業者が提供する各々異なる無線通信方式で無線通信路を確立するものであってもよい。 In the communication units 10-1, 10-2, ..., 10-n, each radio communication unit 12 establishes a radio communication path of a different radio communication method. The total of n wireless communication units 12 provided in the communication units 10-1, 10-2, ..., 10-n do not adversely affect the communication quality of each other even if they perform wireless communication at the same time. The communication method is determined. For example, a wireless communication method having a different frequency band to be used, a coding method, or the like is determined as the wireless communication method of each wireless communication unit 12. For example, the plurality of wireless communication units 12 may be connected to a wireless communication network such as a mobile phone network provided by different communication carriers to establish a wireless communication path. Further, the plurality of wireless communication units 12 may establish a wireless communication path by different wireless communication methods provided by the same communication carrier.

アンテナ11は、自通信部10の無線通信部12の無線通信方式に適合するアンテナである。無線測定部13は、自通信部10の無線通信部12が確立する無線通信路の通信品質値を測定する。無線通信路の通信品質値は、例えば、電界強度や誤り率などである。 The antenna 11 is an antenna suitable for the wireless communication method of the wireless communication unit 12 of the self-communication unit 10. The wireless measurement unit 13 measures the communication quality value of the wireless communication path established by the wireless communication unit 12 of the self-communication unit 10. The communication quality value of the wireless communication path is, for example, an electric field strength or an error rate.

通信部10−1、10−2、・・・、10−nにおいて、各IP通信部14には、各々異なるIPアドレスが設定される。IP通信部14は、自己のIPアドレスで映像受信装置間のIP通信路を確立する。IP通信部14が確立する映像受信装置間のIP通信路は、自通信部10の無線通信部12が確立する無線通信路を介するIP通信路である。具体的には、IP通信部14は、映像受信装置のIPアドレスを宛先アドレスに設定するIPパケットに対して、自己のIPアドレスを送信元アドレスに設定する。IP通信部14は、映像受信装置宛てのIPパケットを自通信部10の無線通信部12へ渡す。無線通信部12は、自通信部10のIP通信部14から受け取った映像受信装置宛てのIPパケットを、自通信部10のアンテナ11を介して無線送信する。 In the communication units 10-1, 10-2, ..., 10-n, different IP addresses are set for each IP communication unit 14. The IP communication unit 14 establishes an IP communication path between video receiving devices with its own IP address. The IP communication path between the video receiving devices established by the IP communication unit 14 is an IP communication path via the wireless communication path established by the wireless communication unit 12 of the own communication unit 10. Specifically, the IP communication unit 14 sets its own IP address as the source address for the IP packet that sets the IP address of the video receiving device as the destination address. The IP communication unit 14 passes an IP packet addressed to the video receiving device to the wireless communication unit 12 of the own communication unit 10. The wireless communication unit 12 wirelessly transmits an IP packet addressed to the video receiving device received from the IP communication unit 14 of the self-communication unit 10 via the antenna 11 of the self-communication unit 10.

IP測定部15は、自通信部10のIP通信部14が確立するIP通信路の通信品質値を測定する。IP通信路の通信品質値は、例えば、遅延、ジッター、スループットなどである。 The IP measuring unit 15 measures the communication quality value of the IP communication path established by the IP communication unit 14 of the own communication unit 10. The communication quality value of the IP communication path is, for example, delay, jitter, throughput, and the like.

入力部21は、制御命令や、映像受信装置へ送信される映像データ等の入力データを受け付ける。入力部21が受け付けた制御命令は制御部30に渡される。入力部21が受け付けた映像データは送信バッファ22に格納される。本実施形態の一例として、1個の映像データのデータサイズは、1個のIPパケットに格納できるデータサイズである。また、各映像データは、自己のシーケンス番号(ID)と、自己の重要度とを有する。映像データの重要度は、例えば、MPEG等の動画像符号化方式における符号化フレームであって当該映像データに含まれる符号化フレームの重要度を示すものである。MPEGの3種類の符号化フレーム「Iフレーム」、「Pフレーム」及び「Bフレーム」のうち、Iフレームは、当該Iフレームを参照して復号が行われるPフレーム及びBフレームのキーフレームであって、Pフレーム及びBフレームに比して重要度が高い符号化フレームである。このように、MPEG等の動画像符号化方式における符号化フレームにおいて、復号の際に一の符号化フレームに依存する他の符号化フレームが多い当該一の符号化フレームほど高い重要度を割り当てる。 The input unit 21 receives input data such as control commands and video data transmitted to the video receiving device. The control command received by the input unit 21 is passed to the control unit 30. The video data received by the input unit 21 is stored in the transmission buffer 22. As an example of this embodiment, the data size of one video data is the data size that can be stored in one IP packet. Further, each video data has its own sequence number (ID) and its own importance. The importance of the video data is, for example, a coded frame in a moving image coding method such as MPEG, and indicates the importance of the coded frame included in the video data. Of the three types of MPEG encoded frames "I frame", "P frame", and "B frame", the I frame is a key frame of the P frame and the B frame that is decoded with reference to the I frame. Therefore, it is a coded frame having a higher importance than the P frame and the B frame. As described above, in the coded frame in the moving image coding method such as MPEG, the higher the importance is assigned to the one coded frame in which there are many other coded frames that depend on one coded frame at the time of decoding.

又は、映像データの重要度は、映像内容の重要度を示すものである。
ここで、映像内容の重要度の一例を説明する。本実施形態の一例として、映像データは、自動運転車両に備わる複数台のビデオカメラが撮像した撮像データである。複数台のビデオカメラは、自動運転車両の前方を撮像するビデオカメラ、自動運転車両の両側方(右側と左側)をそれぞれ撮像するビデオカメラ、自動運転車両の後方を撮像するビデオカメラなどである。
Alternatively, the importance of the video data indicates the importance of the video content.
Here, an example of the importance of the video content will be described. As an example of the present embodiment, the video data is image data captured by a plurality of video cameras provided in the autonomous driving vehicle. The plurality of video cameras include a video camera that captures the front of the self-driving vehicle, a video camera that captures both sides (right side and left side) of the self-driving vehicle, and a video camera that captures the rear of the self-driving vehicle.

自動運転車両で撮像された映像データは、映像送信装置1から映像受信装置へ送信されて映像受信装置で受信された後、映像再生装置で再生されて、当該自動運転車両を遠隔操作する遠隔操作者に提示される。遠隔操作者は、提示された映像を見ながら、当該自動運転車両を遠隔操作する。このような場合、自動運転車両の運転状況に応じて、各ビデオカメラの映像の重要度が変わる。例えば、自動運転車両が直進している場合、自動運転車両の前方を撮像するビデオカメラの映像の重要度が比較的高く、他のビデオカメラの映像の重要度は比較的低い。一方、自動運転車両が右折や左折等の曲がって進む場合、自動運転車両の前方及び曲がる方の側方を撮像する各ビデオカメラの映像の重要度が比較的高く、他のビデオカメラの映像の重要度は比較的低い。自動運転車両が直進しているか、又は、曲がって進んでいるかは、自動運転車両のハンドル操作量に基づいて判断される。 The video data captured by the autonomous driving vehicle is transmitted from the video transmitting device 1 to the video receiving device, received by the video receiving device, and then reproduced by the video reproducing device, and is remotely controlled to remotely control the autonomous driving vehicle. Presented to the person. The remote operator remotely controls the autonomous driving vehicle while watching the presented video. In such a case, the importance of the image of each video camera changes according to the driving situation of the autonomous driving vehicle. For example, when the self-driving vehicle is traveling straight, the image of the video camera that captures the front of the self-driving vehicle is relatively important, and the image of the other video camera is relatively low. On the other hand, when the self-driving vehicle makes a turn such as a right turn or a left turn, the image of each video camera that captures the front of the self-driving vehicle and the side of the turn is relatively important, and the image of other video cameras is relatively high. The importance is relatively low. Whether the self-driving vehicle is traveling straight or turning is determined based on the amount of steering wheel operation of the self-driving vehicle.

説明を図1に戻す。
制御部30において、通信路品質判断部31は、一の通信部10に係る無線通信路の通信品質値とIP通信路の通信品質値との組合せで総合通信路品質を判断する。例えば、無線通信路の通信品質値とIP通信路の通信品質値とから総合通信路品質値を決定する関数が予め設定され、通信路品質判断部31は、当該関数を使用して総合通信路品質値を求める。
The explanation is returned to FIG.
In the control unit 30, the communication path quality determination unit 31 determines the total communication path quality by combining the communication quality value of the wireless communication path related to one communication unit 10 and the communication quality value of the IP communication path. For example, a function for determining the total communication path quality value from the communication quality value of the wireless communication path and the communication quality value of the IP communication path is set in advance, and the communication path quality determination unit 31 uses the function to determine the comprehensive communication path. Find the quality value.

なお、通信路品質判断部31は、無線通信路の通信品質値とIP通信路の通信品質値とに加えて、さらに無線通信方式の契約情報を加味して総合通信路品質を判断してもよい。無線通信の契約情報は、例えば、通信料金や契約プランなどである。通信路品質判断部31は、例えば、通信料金が比較的安い無線通信方式の無線通信部12が確立する無線通信路に該当する総合通信路品質を、比較的良い品質として判断する。 Even if the communication path quality determination unit 31 determines the total communication path quality by taking into account the communication quality value of the wireless communication path and the communication quality value of the IP communication path, as well as the contract information of the wireless communication method. good. The contract information for wireless communication is, for example, a communication charge or a contract plan. The communication path quality determination unit 31 determines, for example, the comprehensive communication path quality corresponding to the wireless communication path established by the wireless communication unit 12 of the wireless communication method having a relatively low communication charge as a relatively good quality.

送信制御部32は、複数のIP通信路を使用して映像受信装置への映像データ送信を行う。具体的には、送信制御部32は、送信バッファ22から映像データを取り出して、いずれかの通信部10へ渡す。通信部10のIP通信部14は、送信制御部32から受け取った映像データを映像受信装置宛てのIPパケットに格納して自通信部10の無線通信部12へ渡す。無線通信部12は、自通信部10のIP通信部14から受け取った映像受信装置宛てのIPパケットを、自通信部10のアンテナ11を介して無線送信する。送信制御部32は、総合通信路品質と映像データの重要度とに基づいて当該映像データを送信する通信部10つまりIP通信路を選択する。 The transmission control unit 32 transmits video data to the video receiving device using a plurality of IP communication paths. Specifically, the transmission control unit 32 takes out video data from the transmission buffer 22 and passes it to any communication unit 10. The IP communication unit 14 of the communication unit 10 stores the video data received from the transmission control unit 32 in an IP packet addressed to the video receiving device and passes it to the wireless communication unit 12 of the own communication unit 10. The wireless communication unit 12 wirelessly transmits an IP packet addressed to the video receiving device received from the IP communication unit 14 of the self-communication unit 10 via the antenna 11 of the self-communication unit 10. The transmission control unit 32 selects a communication unit 10 that transmits the video data, that is, an IP communication path, based on the overall communication path quality and the importance of the video data.

次に図2を参照して本実施形態に係る映像伝送システムを説明する。図2は、本実施形態に係る映像伝送システムの構成例を示すブロック図である。図2において、映像伝送システム100は、映像送信装置1と、映像受信装置4とを備える。映像送信装置1には、映像生成装置2から映像データが入力される。映像生成装置2は、例えば、ビデオカメラで撮像した撮像データから映像データを生成する。又は、映像生成装置2は、例えば、コンピュータグラフィックにより映像データを生成してもよい。 Next, the video transmission system according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram showing a configuration example of the video transmission system according to the present embodiment. In FIG. 2, the video transmission system 100 includes a video transmission device 1 and a video reception device 4. Video data is input to the video transmission device 1 from the video generation device 2. The image generation device 2 generates image data from, for example, image pickup data captured by a video camera. Alternatively, the video generation device 2 may generate video data by computer graphics, for example.

映像送信装置1は、通信部10−1、10−2、・・・、10−nに各々対応するn台の無線基地局3−1、3−2、・・・、3−nとの間で、n個の無線通信路を確立する。通信部10−1の無線通信部12は、無線基地局3−1に接続して無線通信方式R−1の無線通信路を確立する。通信部10−2の無線通信部12は、無線基地局3−2に接続して無線通信方式R−2の無線通信路を確立する。同様に、通信部10−nの無線通信部12は、無線基地局3−nに接続して無線通信方式R−nの無線通信路を確立する。 The video transmission device 1 has n radio base stations 3-1, 3-2, ..., 3-n corresponding to the communication units 10-1, 10-2, ..., 10-n, respectively. N wireless communication paths are established between them. The wireless communication unit 12 of the communication unit 10-1 connects to the wireless base station 3-1 to establish a wireless communication path of the wireless communication method R-1. The wireless communication unit 12 of the communication unit 10-2 connects to the wireless base station 3-2 to establish a wireless communication path of the wireless communication method R-2. Similarly, the radio communication unit 12 of the communication unit 10-n connects to the radio base station 3-n to establish a radio communication path of the radio communication system Rn.

映像送信装置1と映像受信装置4との間には、n個のIP通信路が確立される。通信部10−1のIP通信部14は、自己のIPアドレスAd−1をIPパケットの送信元アドレスに使用して映像受信装置間のIP通信路を確立する。通信部10−2のIP通信部14は、自己のIPアドレスAd−2をIPパケットの送信元アドレスに使用して映像受信装置間のIP通信路を確立する。同様に、通信部10−nのIP通信部14は、自己のIPアドレスAd−nをIPパケットの送信元アドレスに使用して映像受信装置間のIP通信路を確立する。 N IP communication paths are established between the video transmitting device 1 and the video receiving device 4. The IP communication unit 14 of the communication unit 10-1 uses its own IP address Ad-1 as the source address of the IP packet to establish an IP communication path between the video receiving devices. The IP communication unit 14 of the communication unit 10-2 uses its own IP address Ad-2 as the source address of the IP packet to establish an IP communication path between the video receiving devices. Similarly, the IP communication unit 14 of the communication unit 10-n uses its own IP address Ad-n as the source address of the IP packet to establish an IP communication path between the video receiving devices.

n個のIP通信路(送信元アドレスAd−1、Ad−2、・・・、Ad−n)は、それぞれ対応する無線通信路(無線通信方式R−1、R−2、・・・、R−n)を介するIP通信路である。具体的には、送信元アドレスAd−1のIPパケットは、無線通信方式R−1の無線通信路を介して無線基地局3−1で受信され、無線基地局3−1からインターネット等のIPネットワークを介して映像受信装置4へ伝送される。送信元アドレスAd−2のIPパケットは、無線通信方式R−2の無線通信路を介して無線基地局3−2で受信され、無線基地局3−2からインターネット等のIPネットワークを介して映像受信装置4へ伝送される。同様に、送信元アドレスAd−nのIPパケットは、無線通信方式R−nの無線通信路を介して無線基地局3−nで受信され、無線基地局3−nからインターネット等のIPネットワークを介して映像受信装置4へ伝送される。 The n IP communication paths (source addresses Ad-1, Ad-2, ..., Ad-n) correspond to the corresponding wireless communication paths (wireless communication methods R-1, R-2, ..., Ad-n), respectively. It is an IP communication path via Rn). Specifically, the IP packet of the source address Ad-1 is received by the wireless base station 3-1 via the wireless communication path of the wireless communication method R-1, and the IP of the Internet or the like is received from the wireless base station 3-1. It is transmitted to the video receiving device 4 via the network. The IP packet of the source address Ad-2 is received by the wireless base station 3-2 via the wireless communication path of the wireless communication method R-2, and the video is transmitted from the wireless base station 3-2 via an IP network such as the Internet. It is transmitted to the receiving device 4. Similarly, the IP packet of the source address Ad-n is received by the wireless base station 3-n via the wireless communication path of the wireless communication method RN, and the IP network such as the Internet is transmitted from the wireless base station 3-n. It is transmitted to the video receiving device 4 via the video receiving device 4.

映像受信装置4は、映像送信装置1から送信されたIPパケットを、n個のIP通信路を介して受信する。映像受信装置4は、当該受信したIPパケットに格納された映像データを、映像データのIDの順番で映像再生装置5へ出力する。映像再生装置5は、映像データのIDに基づいて、映像データの再生を行う。 The video receiving device 4 receives the IP packet transmitted from the video transmitting device 1 via n IP communication paths. The video receiving device 4 outputs the video data stored in the received IP packet to the video reproducing device 5 in the order of the video data IDs. The video reproduction device 5 reproduces the video data based on the ID of the video data.

次に図3を参照して、本実施形態に係る映像送信装置の動作を説明する。図3は、本実施形態に係る映像送信方法の手順の例を示すフローチャートである。 Next, the operation of the video transmission device according to the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart showing an example of the procedure of the video transmission method according to the present embodiment.

(ステップS1) 映像送信装置1において、入力部21は受け付けた映像データを送信バッファ22に格納する。 (Step S1) In the video transmission device 1, the input unit 21 stores the received video data in the transmission buffer 22.

(ステップS2) 送信制御部32は、所定の送信条件を満たすか否かを判断する。送信条件は、映像データ送信処理を実行する条件である。送信条件の例を以下に示す。 (Step S2) The transmission control unit 32 determines whether or not a predetermined transmission condition is satisfied. The transmission condition is a condition for executing the video data transmission process. An example of transmission conditions is shown below.

(送信条件の例1) 送信バッファ22内の現在の映像データの総量が所定の閾値を超えること。
(送信条件の例2) 送信バッファ22内の現在の映像データの総個数が所定の閾値を超えること。
(送信条件の例3) 前回の送信タイミングから経過した時間が所定の閾値を超えること。
(Example 1 of transmission condition) The total amount of current video data in the transmission buffer 22 exceeds a predetermined threshold value.
(Example 2 of transmission condition) The total number of current video data in the transmission buffer 22 exceeds a predetermined threshold value.
(Example 3 of transmission condition) The time elapsed from the previous transmission timing exceeds a predetermined threshold value.

なお、上記した送信条件の例1、例2、例3は、単独で用いられてもよく、又は、複数が組み合わされて用いられてもよい。 The above-mentioned transmission conditions Examples 1, 2, and 3 may be used alone or in combination of two or more.

送信条件を満たす場合にはステップS3に進み、送信条件を満たさない場合にはステップS1に戻る。 If the transmission condition is satisfied, the process proceeds to step S3, and if the transmission condition is not satisfied, the process returns to step S1.

(ステップS3) 通信路品質判断部31は、通信部10毎に、無線通信路の通信品質値とIP通信路の通信品質値との組合せで総合通信路品質を判断する。送信制御部32は、通信部10毎に、総合通信路品質に基づいてIP通信路の通信量上限を設定する。IP通信路の通信量上限設定方法の例を以下に示す。 (Step S3) The communication path quality determination unit 31 determines the total communication path quality for each communication unit 10 by combining the communication quality value of the wireless communication path and the communication quality value of the IP communication path. The transmission control unit 32 sets the upper limit of the communication amount of the IP communication path for each communication unit 10 based on the total communication path quality. An example of the method of setting the upper limit of the communication amount of the IP communication path is shown below.

(IP通信路の通信量上限設定方法の例)
IP通信路の通信量上限は、当該IP通信路に該当する総合通信路品質値Am(Am;m=1,2,・・・,n)と送信バッファ22内の映像データの総量Bとを引数にした所定の関数Fで求められる。例えば、通信部10−2の通信量上限は、F(A2,B)で求められる。また、関数Fは、「ΣF(Am,B)=B」を満たす。関数Fは、総合通信路品質値Amが大きい(品質がよい)ほどに大きい値(通信量上限が多い)になるように決定される。関数Fは、線形関数であってもよく、又は、指数関数であってもよい。また、関数Fは、映像データの重要度の決め方に適合させて決定されてもよい。
(Example of how to set the upper limit of communication volume of IP communication path)
The upper limit of the communication amount of the IP communication path is the total communication path quality value Am (Am; m = 1, 2, ..., N) corresponding to the IP communication path and the total amount B of the video data in the transmission buffer 22. It is obtained by a predetermined function F as an argument. For example, the upper limit of the communication amount of the communication unit 10-2 is obtained by F (A2, B). Further, the function F satisfies "ΣF (Am, B) = B". The function F is determined so that the larger the total communication path quality value Am (the better the quality), the larger the value (the larger the upper limit of the communication amount). The function F may be a linear function or an exponential function. Further, the function F may be determined in accordance with the method of determining the importance of the video data.

(ステップS4) 送信制御部32は、送信バッファ22内の映像データのうち、重要度の高い方の映像データから順次選択して、総合通信路品質の高い方の通信部10のIP通信路へ通信量上限まで割り当てる。IP通信路の通信量上限まで映像データを割り当てたら、次に総合通信路品質が高い通信部10のIP通信路へ映像データを割り当てていく。 (Step S4) The transmission control unit 32 sequentially selects from the video data of higher importance among the video data in the transmission buffer 22, and goes to the IP communication path of the communication unit 10 having the higher overall communication path quality. Allocate up to the traffic limit. After allocating the video data up to the upper limit of the communication amount of the IP communication path, the video data is next assigned to the IP communication path of the communication unit 10 having the highest overall communication path quality.

(ステップS5) 送信制御部32は、送信バッファ22内のすべての映像データをIP通信路に割り当てたか否かを判断する。この判断の結果、すべての映像データをIP通信路に割り当てた場合にはステップS6に進み、まだ未割当の映像データが残っている場合にはステップS4に戻る。 (Step S5) The transmission control unit 32 determines whether or not all the video data in the transmission buffer 22 has been allocated to the IP communication path. As a result of this determination, if all the video data is allocated to the IP communication path, the process proceeds to step S6, and if unallocated video data still remains, the process returns to step S4.

(ステップS6) 送信制御部32は、映像データを割り当てた通信部10のIP通信路で送信させる映像データ送信処理を実行する。映像データ送信処理によって、送信バッファ22内の各映像データは、自己が割り当てられたIP通信路で送信される。 (Step S6) The transmission control unit 32 executes a video data transmission process of transmitting video data on the IP communication path of the communication unit 10 to which the video data is assigned. By the video data transmission process, each video data in the transmission buffer 22 is transmitted on the IP communication path to which it is assigned.

(ステップS7) 図3の処理の終了の場合は図3の処理を終了する。一方、図3の処理の継続の場合はステップS1に戻る。 (Step S7) When the process of FIG. 3 is completed, the process of FIG. 3 is terminated. On the other hand, in the case of continuing the process of FIG. 3, the process returns to step S1.

上述した実施形態によれば、各々異なる無線通信方式の無線通信路を介する映像受信装置間の複数のIP通信路が確立され、無線通信路の通信品質値と対応するIP通信路の通信品質値との組合せで判断された総合通信路品質と映像データの重要度とに基づいて当該映像データを送信するIP通信路が選択される。これにより、各無線通信路における無線環境の変化に応じた通信品質の変動に適応して映像データの送信IP通信路を選択できるので、無線通信路を介する複数のIP通信路を使用して伝送される映像の品質向上を図ることができるという効果が得られる。 According to the above-described embodiment, a plurality of IP communication paths between video receiving devices via wireless communication paths of different wireless communication methods are established, and the communication quality value of the wireless communication path and the communication quality value of the corresponding IP communication path are established. The IP channel for transmitting the video data is selected based on the total channel quality determined by the combination with and the importance of the video data. As a result, it is possible to select a transmission IP communication path for video data in accordance with changes in communication quality according to changes in the wireless environment in each wireless communication path, so transmission is performed using multiple IP communication paths via the wireless communication path. The effect of being able to improve the quality of the resulting image can be obtained.

本実施形態によれば、例えば自動運転車両の遠隔操作に用いられる映像などのように、映像の信頼性が要求される映像伝送システムにおいて、高品質且つ大容量の映像データの安定した伝送が可能になるという格別の効果が得られる。 According to this embodiment, stable transmission of high-quality and large-capacity video data is possible in a video transmission system that requires video reliability, such as video used for remote operation of an autonomous vehicle. You can get a special effect of becoming.

[他の実施形態]
次に図4を参照して他の実施形態に係る映像送信装置を説明する。図4は、他の実施形態に係る映像送信装置の構成例を示すブロック図である。図4において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。図4に示される映像送信装置1aは、図1の映像送信装置1に対して、さらにハンドオーバタイミング取得部41を備える。
[Other embodiments]
Next, a video transmission device according to another embodiment will be described with reference to FIG. FIG. 4 is a block diagram showing a configuration example of a video transmission device according to another embodiment. In FIG. 4, the parts corresponding to the parts of FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted. The video transmission device 1a shown in FIG. 4 further includes a handover timing acquisition unit 41 with respect to the video transmission device 1 of FIG.

ハンドオーバタイミング取得部41は、各無線通信路のハンドオーバタイミングを取得する。送信制御部は、ハンドオーバタイミングに合わせて、映像データ送信方法を変更する。映像データ送信方法の変更例を以下に示す。 The handover timing acquisition unit 41 acquires the handover timing of each wireless communication path. The transmission control unit changes the video data transmission method according to the handover timing. An example of changing the video data transmission method is shown below.

(映像データ送信方法の変更例1)
送信制御部32は、ハンドオーバタイミングに合わせて、カバレッジが異なる複数の無線通信方式の無線通信路に該当する複数のIP通信路を使用して映像受信装置への映像データ送信を行う。無線通信路のハンドオーバタイミングでは、当該無線通信路においてデータ伝送の乱れが発生する可能性がある。そして、カバレッジが異なる複数の無線通信方式の無線通信路の間では、ハンドオーバタイミングが異なることが想定できる。そこで、ハンドオーバタイミングに合わせて、カバレッジが異なる複数の無線通信方式の無線通信路を使用することによって、一の無線通信路のハンドオーバタイミングにおいて、ハンドオーバタイミングではない他の無線通信路で円滑にデータ伝送が行われる。これにより、ハンドオーバタイミングにおける映像データ伝送の乱れを防止する効果が得られる。
(Example of changing the video data transmission method 1)
The transmission control unit 32 transmits video data to the video receiving device using a plurality of IP communication paths corresponding to the wireless communication paths of the plurality of wireless communication methods having different coverage according to the handover timing. At the handover timing of the wireless communication path, the data transmission may be disturbed in the wireless communication path. Then, it can be assumed that the handover timing is different between the wireless communication paths of a plurality of wireless communication methods having different coverages. Therefore, by using multiple wireless communication paths with different coverage according to the handover timing, data is smoothly transmitted in the handover timing of one wireless communication path on another wireless communication path that is not the handover timing. Is done. This has the effect of preventing disturbance of video data transmission at the handover timing.

(映像データ送信方法の変更例2)
送信制御部32は、ハンドオーバタイミングに合わせて、複数のIP通信路を使用して映像受信装置への映像データ冗長化送信を行う。映像データ冗長化送信では、同じ映像データが複数のIP通信路で送信される。これにより、あるIP通信路に対応する無線通信路のハンドオーバタイミングにおいて映像データ伝送の乱れが発生しても、他のIP通信路により冗長化されて伝送される映像データによって映像再生の乱れを防止する効果が得られる。
(Example 2 of changing the video data transmission method)
The transmission control unit 32 performs video data redundant transmission to the video receiving device using a plurality of IP communication paths according to the handover timing. In video data redundant transmission, the same video data is transmitted over a plurality of IP communication paths. As a result, even if the video data transmission is disturbed at the handover timing of the wireless communication path corresponding to a certain IP communication path, the video data transmitted redundantly by another IP communication path prevents the disturbance of the video reproduction. The effect is obtained.

なお、上記した映像データ送信方法の変更例1、変更例2は、単独で用いられてもよく、又は、両方が組み合わされて用いられてもよい。 The above-mentioned modification 1 and modification 2 of the video data transmission method may be used alone or in combination of both.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes design changes and the like within a range that does not deviate from the gist of the present invention.

例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
For example, a computer program for realizing the functions of the above-mentioned devices may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed. The "computer system" here may include hardware such as an OS and peripheral devices.
The "computer-readable recording medium" is a flexible disk, a magneto-optical disk, a ROM, a writable non-volatile memory such as a flash memory, a portable medium such as a DVD (Digital Versatile Disc), and a built-in computer system. A storage device such as a hard disk.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the "computer-readable recording medium" is a volatile memory inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line (for example, DRAM (Dynamic)). It also includes those that hold the program for a certain period of time, such as Random Access Memory)).
Further, the above program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned function in combination with a program already recorded in the computer system.

1…映像送信装置、2…映像生成装置、3−1,3−2,・・・,3−n…無線基地局、4…映像受信装置、5…映像再生装置、10−1,10−2,・・・,10−n…通信部、11…アンテナ、12…無線通信部、13…無線測定部、14…IP通信部、15…IP測定部、21…入力部、22…送信バッファ、30…制御部、31…通信路品質判断部、32…送信制御部、41…ハンドオーバタイミング取得部、100…映像伝送システム 1 ... Video transmission device, 2 ... Video generation device, 3-1, 3-2, ..., 3-n ... Wireless base station, 4 ... Video reception device, 5 ... Video playback device, 10-1, 10- 2, ..., 10-n ... communication unit, 11 ... antenna, 12 ... wireless communication unit, 13 ... wireless measurement unit, 14 ... IP communication unit, 15 ... IP measurement unit, 21 ... input unit, 22 ... transmission buffer , 30 ... Control unit, 31 ... Communication path quality judgment unit, 32 ... Transmission control unit, 41 ... Handover timing acquisition unit, 100 ... Video transmission system

Claims (8)

各々異なる無線通信方式の無線通信路を確立する複数の無線通信部と、
前記無線通信路の通信品質値を測定する無線測定部と、
前記複数の無線通信部の各々に対応して設けられる複数のIP通信部であって、前記IP通信部に対応する前記無線通信路を介する映像受信装置間のIP通信路を、前記IP通信部毎に異なるIPアドレスで確立する前記複数の前記IP通信部と、
前記IP通信路の通信品質値を測定するIP測定部と、
前記無線通信路の通信品質値と対応する前記IP通信路の通信品質値との組合せで総合通信路品質を判断する通信路品質判断部と、
複数の前記IP通信路を使用して前記映像受信装置への映像データ送信を行う送信制御部と、を備え、
前記送信制御部は、前記総合通信路品質と映像データの重要度とに基づいて当該映像データを送信する前記IP通信路を選択する、
映像伝送装置であって、
前記映像伝送装置が前記映像受信装置へ送信する映像データは、移動体に備わる複数台のビデオカメラが撮像した撮像データであって前記移動体の遠隔操作に用いられる映像データであり、
各前記ビデオカメラの映像データの重要度は、前記移動体の運転状況に応じて変わる、
移動体遠隔操作装置の映像伝送装置
Multiple wireless communication units that establish wireless communication paths with different wireless communication methods,
A wireless measuring unit that measures the communication quality value of the wireless communication path,
A plurality of IP communication units provided corresponding to each of the plurality of wireless communication units, and the IP communication path between video receiving devices via the wireless communication path corresponding to the IP communication unit is defined as the IP communication unit. With the plurality of IP communication units established with different IP addresses for each,
An IP measurement unit that measures the communication quality value of the IP communication path,
A communication path quality determination unit that determines the total communication path quality by combining the communication quality value of the wireless communication path and the communication quality value of the corresponding IP communication path,
A transmission control unit for transmitting video data to the video receiving device using the plurality of IP communication paths is provided.
The transmission control unit selects the IP communication path for transmitting the video data based on the total communication path quality and the importance of the video data.
It ’s a video transmission device,
The video data transmitted by the video transmission device to the video receiving device is image data captured by a plurality of video cameras provided in the moving body and is used for remote operation of the moving body.
The importance of the video data of each video camera changes according to the driving situation of the moving body.
Video transmission device for mobile remote control devices .
前記通信路品質判断部は、無線通信路の通信品質値とIP通信路の通信品質値とに加えてさらに無線通信方式の契約情報を加味して総合通信路品質を判断する、The communication path quality determination unit determines the total communication path quality by further adding the communication quality value of the wireless communication path and the communication quality value of the IP communication path and the contract information of the wireless communication method.
請求項1に記載の移動体遠隔操作装置の映像伝送装置。 The video transmission device for the mobile remote control device according to claim 1.
前記送信制御部は、前記総合通信路品質に基づいて該当する前記IP通信路の通信量上限を判断し、前記通信量上限に達するまで当該前記IP通信路に対して前記映像データを割り当てる、
請求項1又は2のいずれか1項に記載の移動体遠隔操作装置の映像伝送装置
The transmission control unit determines the upper limit of the communication amount of the corresponding IP communication path based on the total communication path quality, and allocates the video data to the IP communication path until the communication amount upper limit is reached.
The video transmission device for a mobile remote control device according to any one of claims 1 or 2 .
前記無線通信路のハンドオーバタイミングを取得するハンドオーバタイミング取得部をさらに備え、
前記送信制御部は、前記ハンドオーバタイミングに合わせて、映像データ送信方法を変更する、
請求項1から3のいずれか1項に記載の移動体遠隔操作装置の映像伝送装置
Further, a handover timing acquisition unit for acquiring the handover timing of the wireless communication path is provided.
The transmission control unit changes the video data transmission method according to the handover timing.
The video transmission device for a mobile remote control device according to any one of claims 1 to 3 .
前記送信制御部は、前記ハンドオーバタイミングに合わせて、カバレッジが異なる複数の前記無線通信方式の無線通信路に該当する複数の前記IP通信路を使用して前記映像受信装置への映像データ送信を行う、
請求項に記載の移動体遠隔操作装置の映像伝送装置
The transmission control unit transmits video data to the video receiving device using the plurality of IP communication paths corresponding to the plurality of wireless communication paths of the wireless communication method having different coverage according to the handover timing. ,
The video transmission device for the mobile remote control device according to claim 4 .
前記送信制御部は、前記ハンドオーバタイミングに合わせて、複数の前記IP通信路を使用して前記映像受信装置への映像データ冗長化送信を行う、
請求項又はのいずれか1項に記載の移動体遠隔操作装置の映像伝送装置
The transmission control unit performs video data redundant transmission to the video receiving device using the plurality of IP communication paths in accordance with the handover timing.
The video transmission device for a mobile remote control device according to any one of claims 4 or 5 .
映像伝送装置が、各々異なる無線通信方式の無線通信路を確立する複数の無線通信ステップと、
前記映像伝送装置が、前記無線通信路の通信品質値を測定する無線測定ステップと、
前記映像伝送装置が、前記複数の無線通信ステップの各々に対応して設けられる複数のIP通信ステップであって、前記IP通信ステップに対応する前記無線通信路を介する映像受信装置間のIP通信路を、前記IP通信ステップ毎に異なるIPアドレスで確立する前記複数の前記IP通信ステップと、
前記映像伝送装置が、前記IP通信路の通信品質値を測定するIP測定ステップと、
前記映像伝送装置が、前記無線通信路の通信品質値と対応する前記IP通信路の通信品質値との組合せで総合通信路品質を判断する通信路品質判断ステップと、
前記映像伝送装置が、複数の前記IP通信路を使用して前記映像受信装置への映像データ送信を行う制御ステップと、を含み、
前記制御ステップは、前記総合通信路品質と映像データの重要度とに基づいて当該映像データを送信する前記IP通信路を選択する、
映像伝送方法であって、
前記映像伝送装置が前記映像受信装置へ送信する映像データは、移動体に備わる複数台のビデオカメラが撮像した撮像データであって前記移動体の遠隔操作に用いられる映像データであり、
各前記ビデオカメラの映像データの重要度は、前記移動体の運転状況に応じて変わる、
移動体遠隔操作装置の映像伝送方法
A plurality of wireless communication steps in which a video transmission device establishes a wireless communication path of a different wireless communication method,
A wireless measurement step in which the video transmission device measures a communication quality value of the wireless communication path,
The video transmission device is a plurality of IP communication steps provided corresponding to each of the plurality of wireless communication steps, and is an IP communication path between video receiving devices via the wireless communication path corresponding to the IP communication step. With the plurality of IP communication steps, which are established with different IP addresses for each of the IP communication steps.
The IP measurement step in which the video transmission device measures the communication quality value of the IP communication path,
A communication path quality determination step in which the video transmission device determines the total communication path quality by combining the communication quality value of the wireless communication path and the communication quality value of the corresponding IP communication path.
The video transmission device includes a control step of transmitting video data to the video receiving device using the plurality of IP communication paths.
The control step selects the IP channel to transmit the video data based on the overall channel quality and the importance of the video data.
It ’s a video transmission method.
The video data transmitted by the video transmission device to the video receiving device is image data captured by a plurality of video cameras provided in the moving body and is video data used for remote operation of the moving body.
The importance of the video data of each video camera changes according to the driving situation of the moving body.
Video transmission method for mobile remote control devices .
移動体遠隔操作装置の映像伝送装置のコンピュータに、
各々異なる無線通信方式の無線通信路を確立する複数の無線通信ステップと、
前記無線通信路の通信品質値を測定する無線測定ステップと、
前記複数の無線通信ステップの各々に対応して設けられる複数のIP通信ステップであって、前記IP通信ステップに対応する前記無線通信路を介する映像受信装置間のIP通信路を、前記IP通信ステップ毎に異なるIPアドレスで確立する前記複数の前記IP通信ステップと、
前記IP通信路の通信品質値を測定するIP測定ステップと、
前記無線通信路の通信品質値と対応する前記IP通信路の通信品質値との組合せで総合通信路品質を判断する通信路品質判断ステップと、
複数の前記IP通信路を使用して前記映像受信装置への映像データ送信を行う制御ステップと、を実行させるためのコンピュータプログラムであり、
前記制御ステップは、前記総合通信路品質と映像データの重要度とに基づいて当該映像データを送信する前記IP通信路を選択する、
コンピュータプログラムであって、
前記映像伝送装置が前記映像受信装置へ送信する映像データは、移動体に備わる複数台のビデオカメラが撮像した撮像データであって前記移動体の遠隔操作に用いられる映像データであり、
各前記ビデオカメラの映像データの重要度は、前記移動体の運転状況に応じて変わる、
コンピュータプログラム。
To the computer of the video transmission device of the mobile remote control device,
Multiple wireless communication steps that establish wireless communication paths of different wireless communication methods,
A wireless measurement step for measuring the communication quality value of the wireless communication path, and
A plurality of IP communication steps provided corresponding to each of the plurality of wireless communication steps, and the IP communication path between video receiving devices via the wireless communication path corresponding to the IP communication step is defined as the IP communication step. The plurality of IP communication steps established with different IP addresses for each, and
The IP measurement step for measuring the communication quality value of the IP communication path, and
A communication path quality determination step for determining the total communication path quality by combining the communication quality value of the wireless communication path and the communication quality value of the corresponding IP communication path, and
It is a computer program for executing a control step of transmitting video data to the video receiving device using the plurality of IP communication paths.
The control step selects the IP channel to transmit the video data based on the overall channel quality and the importance of the video data.
It ’s a computer program ,
The video data transmitted by the video transmission device to the video receiving device is image data captured by a plurality of video cameras provided in the moving body and is used for remote operation of the moving body.
The importance of the video data of each video camera changes according to the driving situation of the moving body.
Computer program.
JP2018160292A 2018-08-29 2018-08-29 Video transmission device for mobile remote control device, video transmission method for mobile remote control device, and computer program Active JP6989463B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018160292A JP6989463B2 (en) 2018-08-29 2018-08-29 Video transmission device for mobile remote control device, video transmission method for mobile remote control device, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018160292A JP6989463B2 (en) 2018-08-29 2018-08-29 Video transmission device for mobile remote control device, video transmission method for mobile remote control device, and computer program

Publications (2)

Publication Number Publication Date
JP2020036156A JP2020036156A (en) 2020-03-05
JP6989463B2 true JP6989463B2 (en) 2022-01-05

Family

ID=69668735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018160292A Active JP6989463B2 (en) 2018-08-29 2018-08-29 Video transmission device for mobile remote control device, video transmission method for mobile remote control device, and computer program

Country Status (1)

Country Link
JP (1) JP6989463B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144246A (en) * 2021-03-18 2022-10-03 トヨタ自動車株式会社 Information processing device
CN115967663A (en) * 2022-12-16 2023-04-14 新石器慧通(北京)科技有限公司 Data transmission method, device, equipment and storage medium
JP2026042401A (en) * 2024-08-27 2026-03-11 キヤノン株式会社 Video transmission device, video transmission method, and computer program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252608A (en) * 2004-03-03 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> Transmission method selection method and apparatus based on radio characteristic information, and program and recording medium thereof
US20050226185A1 (en) * 2004-04-07 2005-10-13 Tell Daniel F Method and apparatus for communicating via a wireless local-area network
WO2012114728A1 (en) * 2011-02-25 2012-08-30 パナソニック株式会社 Transmission data processing method, information processing method, transmission device, and reception device
US20150326636A1 (en) * 2015-05-08 2015-11-12 Bandwidth.Com, Inc. Optimal use of multiple concurrent internet protocol (ip) data streams for voice communications

Also Published As

Publication number Publication date
JP2020036156A (en) 2020-03-05

Similar Documents

Publication Publication Date Title
US8942215B2 (en) System and method for transmission of data from a wireless mobile device over a multipath wireless router
US8683007B2 (en) Seamless transfer of media streams
KR101900168B1 (en) Adaptive media streaming
KR101145259B1 (en) System and method for wireless communication of uncompressed video having multiple destination aggregation mda
KR102106298B1 (en) Additive content and related client devices
JP6989463B2 (en) Video transmission device for mobile remote control device, video transmission method for mobile remote control device, and computer program
US10750222B2 (en) Apparatus and method for providing adaptive multimedia service
US9749379B2 (en) Apparatus and method for receiving video service in hybrid network
CN104285411A (en) Distribution of layered multi-media streams over multiple radio links
US20140189142A1 (en) Adaptive streaming method with rtsp protocol
US20100240320A1 (en) Radio communication device, program and radio communication method
US8903398B2 (en) Systems and methods for providing a content proxy in a wireless network
US9379807B2 (en) Data transmission system for asynchronous transmitting data and map information
JP5923745B2 (en) Transmitter
US10750247B2 (en) Facilitating mixed service use of bonded satellite transponders
US9794317B2 (en) Network system and network method
JP2015065574A (en) Receiving device, receiving method, program
US9451201B2 (en) Apparatus for outputting broadcast recorded by schedule recording and control method thereof
KR102762209B1 (en) Long-duration error correction with fast channel change for ATSC 3.0 live broadcast mobile applications
JP2007252005A (en) Wireless communication terminal and communication method
US20080140854A1 (en) Method and apparatus for streaming av data
TW201009823A (en) Recording apparatus, recording method, recording medium, and recording system
KR20060016809A (en) Receiver, Transmitter and Transceiver System of Media Signal
KR20130141227A (en) Video transmission and reception system, and method thereof operating in accordance with channel status
KR101278847B1 (en) System and method for transmitting high-definition video contents using scalable video coding in cooperative communication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R150 Certificate of patent or registration of utility model

Ref document number: 6989463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150