JP7655338B2 - 画像伝送システム、画像伝送方法、及びプログラム - Google Patents

Description

本開示は、複数の画像データを合成して遠隔地に送信する技術に関する。

特開２０１１－２２１６８６号公報は、車載カメラによる車両周辺の撮影画像を車両の外部のセンタに無線送信する技術を開示している。送信される画像は、時系列に沿った複数の画像から成る。また、画像の送信頻度は、安全運転の困難度の高さに基づいて変更され、困難度が高いときは高い頻度で送信される。

特開２００８－０２７０９７号公報 特開２０１１－２２１６８６号公報

複数のカメラによって取得される複数の撮像データを合成して１つの合成画像データを生成し、遠隔地に伝送する画像伝送システムを考える。それぞれのカメラは所定の周期ごとに連続的に撮像を行い、撮像画像を生成する。画像伝送システムは連続的に生成されるそれぞれの撮像データを順次取得し、複数の撮像データを合成して遠隔地に伝送する。このとき、処理の遅れなどによっていずれかの撮像データの取得抜けが発生することがある。そのため、データの伝送のタイミングを適切に設定する必要がある。

もしも画像伝送システムが、撮像データの合成を行わずにそれぞれの撮像データを個別に遠隔地に伝送するシステムであれば、データの伝送のタイミングが問題となることはない。つまり、この場合はいずれかの撮像データの取得抜けが発生したらその撮像データの送信を行わないとすればよく、いずれかの撮像データに取得抜けが発生しても、取得抜けが発生していない他の撮像データの伝送には影響しない。しかし、本実施の形態に係る画像伝送システムのように複数の撮像データを合成してから遠隔地に伝送するシステムにおいては、１つの合成画像データの伝送が行われないことは、合成画像データに含まれる全ての撮像データが伝送されないことを意味する。そのため、データの伝送のタイミングを適切に設定することが求められる。

本開示の一つの目的は、連続的に取得される複数の撮像データを１つの画像データに合成してから遠隔地に送信するシステムにおいて、データの伝送のタイミングを適切に設定することのできる技術を提供することにある。

第１の観点は、複数のカメラと通信装置とを備える画像伝送システムに関する。
通信装置は、
複数のカメラのそれぞれから撮像データを順次取得する処理と、
複数のカメラのうちの１つであるメインカメラから撮像データを取得するごとに、複数のカメラのそれぞれの最後に取得した撮像データを合成した合成画像データを生成する処理と、
合成画像データを所定の端末に伝送する処理と、
を実行するように構成される。

第２の観点は、画像伝送方法に関する。
画像伝送方法は、
複数のカメラのそれぞれから撮像データを順次取得することと、
複数のカメラのうちの１つであるメインカメラから撮像データを取得するごとに、複数のカメラのそれぞれの最後に取得した撮像データを合成した合成画像データを生成することと、
合成画像データを所定の端末に伝送することと、
を含む。

第３の観点は、コンピュータによって実行されるプログラムに関する。
プログラムは、上記第２の観点に係る画像伝送方法をコンピュータに実行させる。

本開示によれば、連続的に取得される複数の撮像データを１つの画像データに合成してから遠隔地に送信するシステムにおいて、データの伝送のタイミングを適切に設定することができる。

本開示の実施の形態に係る画像の伝送の概要を説明するための図である。 画像伝送システムの構成例を示すブロック図である。 カメラ及び合成画像データの例を説明するための図である。 端末の構成例を示すブロック図である。 画像伝送システム及び端末の機能構成の例を示すブロック図である。 キューイング部において行われる処理の例を示すフローチャートである。 本開示の実施の形態に係る送信タイミングを表すタイムチャートである。 比較例における送信タイミングを表すタイムチャートである。 比較例における送信タイミングを表すタイムチャートである。

添付図面を参照して、本開示の実施の形態を説明する。

１．概要
図１は、本実施の形態に係る画像伝送システム１００が行う画像の伝送に係る処理の概要を説明する図である。画像伝送システム１００は、所定の端末２００とネットワークを介して通信可能に構成され、端末２００への画像のデータの伝送を行う。画像伝送システム１００から端末２００に送信されるデータには合成画像データ４２ｚが含まれる。合成画像データ４２ｚは、複数の撮像データ４１ｘ、４１ｙを合成することにより得られる画像のデータである。複数の撮像データ４１ｘ、４１ｙは、それぞれ異なるカメラが所定の周期ごとに連続的に周囲を撮像することにより得られる画像データであり、画像伝送システム１００によって順次取得される。

以下、撮像データを示す符号としては、１つを特定する場合は符号４１ｘ，４１ｙを用いるが、任意の撮像データを指す場合及び総称する場合は符号４１を用いる。また、合成画像データを示す符号としては、１つを特定する場合は符号４２ｚを用いるが、任意の合成画像データを指す場合及び総称する場合は符号４２を用いる。

撮像データ４１は、例えば、車両に搭載された車載カメラによって取得されてもよい。

画像伝送システム１００から端末２００に伝送された合成画像データ４２は、端末２００のディスプレイ２４に表示される。複数の撮像データ４１が車載カメラにより取得される場合は、端末２００としては車両の遠隔支援を行うための遠隔端末が例示される。この場合は、例えば、車両の遠隔支援を行うオペレータがディスプレイ２４に表示された合成画像データ４２を監視し、遠隔端末２００を通じて車両の遠隔支援を行うことが想定される。

合成画像データ４２は、ディスプレイ２４の表示領域に合わせて複数の撮像データ４１を合成することにより生成される。合成画像データ４２の生成は、例えば、ＰＩＰ（ピクチャーインピクチャー）処理により行われる。ＰＩＰ処理では、複数の撮像データ４１のうちのいずれかの画像データの一部の領域に、他の画像データの一部又は全部が重畳されるように合成される。例えば、図１の例では、撮像データ４１ｘをベースの画像として、撮像データ４１ｘの一部の領域に撮像データ４１ｙが重畳されて合成画像データ４２ｚが生成されている。

なお、合成画像データ４２の生成に用いられる撮像データ４１の数は、複数であれば特に限定されない。撮像データ４１の数が３つ以上の場合も同様に、合成画像データ４２の生成はＰＩＰ処理によって行われてもよい。

本実施の形態においては、複数の撮像データ４１は、それぞれが単独で端末２００に伝送されるのではなく、画像伝送システム１００によって合成され、合成画像データ４２が端末２００に伝送される。複数の撮像データ４１が合成画像データ４２とされてから端末２００に伝送されることで、伝送されるデータの量を削減し、ネットワークの負荷を減らすことができる。また、合成画像データ４２の生成がＰＩＰ処理により行われる場合は、合成画像データ４２の生成にあたって重畳する撮像データ４１を圧縮したり、複数の撮像データ４１の重畳部を削除したりすることができる。そのため、画像伝送システム１００から端末２００に伝送されるデータの量を更に削減することができる。

複数の撮像データ４１は、それぞれ異なるカメラによって連続的に取得される。そのため、取得された撮像データ４１は連続的に端末２００に伝送される必要がある。ここで、もし、それぞれの撮像データ４１がばらばらに端末２００に伝送されるのであれば、画像伝送システム１００は、いずれかの撮像データ４１がカメラから取得される都度ごとに端末２００に伝送すればよい。しかし、複数の撮像データ４１を合成してから端末２００に送信する場合は、全ての撮像データ４１が合成画像データ４２として同時に端末２００に伝送されることになる。そのため、撮像データ４１の合成及び伝送を行うタイミングを適切に設定する必要がある。以下、本実施の形態に係る画像伝送システム１００が撮像データ４１の合成及び伝送を行うタイミングについて説明する。

２．構成例
まず、画像伝送システム１００及び端末２００の構成例について、図２から図４を参照しながら説明する。図２は、画像伝送システム１００の構成例を示すブロック図である。画像伝送システム１００は、通信装置１１及び複数のカメラ１４ｘ、１４ｙを備える。通信装置１１とカメラ１４ｘ、１４ｙとは、所定のネットワークによって接続されている。以下、カメラを示す符号としては、１つを特定する場合は符号１４ｘ、１４ｙを用いるが、任意のカメラを指す場合及び総称する場合は符号１４を用いる。

通信装置１１は、端末２００にデータを伝送する装置である。通信装置１１は、端末２００と無線通信を行う。端末２００との通信は、ネットワーク上の基地局を介して行われてもよいし、直接行われてもよい。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の通信規格が例示される。

通信装置１１は、少なくとも１つのプロセッサ１２（以下、単にプロセッサ１２と呼ぶ）と、少なくとも１つのメモリ１３（以下、単にメモリ１３と呼ぶ）とを備えている。プロセッサ１２は、ＣＰＵ（Central Processing Unit）を含んでいる。メモリ１３は、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ１２が使用する各種プログラムの展開及び各種データの一時保存を行う。この各種データには、撮像データ４１、合成画像データ４２、レイアウト情報、後述するメインカメラについての情報などが含まれる。

レイアウト情報は、複数の撮像データ４１から合成画像データ４２を生成するための撮像データ４１のレイアウトに関する情報である。レイアウト情報は、メモリ１３に予め格納されていてもよいし、合成画像データ４２の生成前に端末２００から通信によって取得されてもよい。

プロセッサ１２は、メモリ１３に格納された所定のデータ処理用のプログラムを実行することにより、各種のデータ処理を行う。プロセッサ１２が行うデータ処理には、撮像データ４１を取得する処理、合成画像データ４２を生成する処理、端末２００にデータを伝送する処理、などが含まれる。

カメラ１４は、周囲を撮像して撮像データ４１を取得するためのカメラである。カメラ１４の数は複数であれば特に限定されない。例えば、図２には２台のカメラ１４ｘ及び１４ｙが示されている。複数のカメラ１４はそれぞれ、撮像によって得られた撮像データ４１を通信装置１１に送信する。

カメラ１４は、車載カメラであってもよい。図３には、車載カメラとしてのカメラ１４ａ、１４ｂ、１４ｃ、１４ｄ、１４ｆ、１４ｇ、１４ｉ、１４ｊ（カメラ１４）及び合成画像データ４２ｅ（合成画像データ４２）の例が示されている。破線で示される各領域は、それぞれのカメラ１４が撮像する範囲を表している。図３の例では、複数の車載カメラ１４ａ、１４ｂ、１４ｃ、１４ｄによってそれぞれ得られる撮像データ４１ａ、４１ｂ、４１ｃ、４１ｄが合成されて合成画像データ４２ｅが生成されている。このうち、カメラ１４ａは車両ＶＥの前方正面を撮像する前方カメラである。カメラ１４ｂは車両ＶＥの後方を撮像する後方カメラである。カメラ１４ｃは車両ＶＥの左側方を撮像する左サイドカメラである。また、カメラ１４ｄは車両ＶＥの右側方を撮像する右サイドカメラである。また、合成画像データ４２ｅはＰＩＰ処理によって生成されている。ここでは、カメラ１４ａから取得される撮像データ４１ａをベースとして、撮像データ４１ｂ、４１ｃ、及び４１ｄの一部が重畳されている。合成画像データ４２ｅの生成の際のそれぞれの撮像データ４１の大きさや配置は、レイアウト情報に基づいて決定される。

以下、合成画像データ４２がＰＩＰ処理によって生成される場合に、ベースとなる撮像データ４１を取得するカメラ１４をベースカメラと呼ぶ。図３の例では、撮像データ４１ａを取得するカメラ４１ａがベースカメラである。レイアウト情報は、ベースカメラについての情報を含んでいてもよい。

なお、画像伝送システム１００は複数の合成画像データ４２を生成してもよい。例えば、合成画像データ４２ｅとは別に、カメラ１４ｆ及び１４ｇから取得される撮像データ４１ｆ及び４１ｇから合成画像データ４２ｈが生成され、カメラ１４ｉ及び１４ｊから取得される撮像データ４１ｉ及び４１ｊから合成画像データ４２ｋが生成されてもよい。

また、図３の例のようにカメラ１４が車載カメラの場合、通信装置１１は、車両ＶＥに搭載される各種のセンサと所定のネットワークによって接続されていてもよい。各種のセンサとしては、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、ギアポジションセンサ等の車両状態センサが例示される。通信装置１１は、これらのセンサと通信を行うことで、速度、加速度、ヨーレート、操舵角、ギアポジションなどの車両の状態についての情報を取得することができる。

図４は、端末２００の構成例を示すブロック図である。端末２００は、データ処理装置２１、ディスプレイ２４、入力装置２５、及び通信装置２６を備えている。ディスプレイ２４、入力装置２５、及び通信装置２６と、データ処理装置２１とは、所定のネットワークによって接続されている。

データ処理装置２１は、端末２００が有する各種データや、端末２００が取得した各種データに基づいたデータ処理を行うコンピュータである。データ処理装置２１は、少なくとも１つのプロセッサ２２（以下、単にプロセッサ２２と呼ぶ）と、少なくとも１つのメモリ２３（以下、単にメモリ２３と呼ぶ）とを備えている。プロセッサ２２は、メモリ２３に格納された所定のデータ処理用のプログラムを実行することにより、各種のデータ処理を行う。プロセッサ２２は、ＣＰＵを含んでいる。メモリ２３は、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ２２が使用する各種プログラムの展開及び各種データの一時保存を行う。

ディスプレイ２４は、画像伝送システム１００から受信した合成画像データ４２を、端末２００のユーザに向けて表示する。カメラ１４が車載カメラの場合、端末２００は、車両ＶＥの遠隔支援を行うための端末であってもよい。この場合は、端末２００のユーザとしては遠隔支援を行うオペレータが想定され、ディスプレイ２４に表示される合成画像データ４２は、オペレータにより監視される。

なお、オペレータによる遠隔支援には、遠隔運転も含まれる。遠隔運転において、オペレータは、ディスプレイ２４に表示される合成画像データ４２を参照して、操舵、加速、減速等を含む車両ＶＥの運転操作を行う。

入力装置２５は、端末２００のユーザにより操作される。入力装置２５は、例えば、ユーザにより操作されるマウス、キーボード、ボタン、スイッチ、等の入力部を備えている。端末２００が車両ＶＥの遠隔支援を行うための端末である場合、入力装置２５はオペレータにより操作される。また、オペレータが車両ＶＥの遠隔運転を行う場合、入力装置２５は走行用の入力装置を含んでいてもよい。この走行用の入力装置としては、ステアリングホイール、シフトレバー、アクセルペダル及びブレーキペダルが例示される。端末２００のユーザは、これらの他に、後述するメインカメラの設定を変更するための指示を入力装置２５に入力してもよい。

通信装置２６は、少なくとも画像伝送システム１００と無線通信を行う。通信装置２６は、無線通信を介して画像伝送システム１００からデータを受信することができる。通信装置２６は、また、端末２００のユーザが入力装置２５に入力した操作に基づいて指示情報を生成し、画像伝送システム１００に送信することができる。端末２００が車両ＶＥの遠隔支援や遠隔運転を行う場合、指示情報には遠隔支援や遠隔運転に関する情報が含まれる。また、指示情報には、後述するメインカメラの設定に関する指示が含まれていてもよい。

３．データ処理の流れ
画像伝送システム１００及び端末２００が有する機能ブロック及びデータ処理の流れの例について、図５を用いて説明する。

画像伝送システム１００は、キューイング部１０１、合成部１０２、エンコード部１０３、及び通信部１０４を含む。これらの機能ブロックは、プロセッサ１２がメモリ１３に格納されたプログラムを実行することにより実現される。

画像伝送システム１００が行うデータ処理の流れでは、まず、キューイング部１０１において各種データが取得される。この各種データには、それぞれのカメラ１４が周囲を撮像して得られる撮像データ４１が含まれる。それぞれのカメラ１４は、順次撮像データ４１を取得し、取得した撮像データ４１を順次キューイング部１０１に送信する。キューイング部１０１では、それぞれのカメラ１４から送信される撮像データ４１が順次取得される。

プロセッサ１２が送信タイミングと判断すると、複数の撮像データ４１がキューイング部１０１から合成部１０２へ送られる。複数の撮像データ４１のうち、同じ合成画像データ４２を生成するものについては、同じタイミングで合成部１０２へ送られる。送信タイミングについては後述する。

合成部１０２では、複数の撮像データ４１が合成され、合成画像データ４２が生成される。合成画像データ４２の生成の際には、レイアウトデータに基づいてそれぞれの撮像データ４１の位置やサイズが特定される。合成部１０２で合成された合成画像データ４２はエンコード部１０３に送られる。合成部１０２がキューイング部１０１から撮像データ４１を受け取ると、合成画像データ４２が順次生成され、生成された合成画像データ４２がエンコード部１０３に順次送信される。

エンコード部１０３では合成画像データ４２のエンコード処理が行われる。エンコード処理に際し、合成画像データ４２は圧縮されてもよい。エンコード部１０３が合成部１０２から合成画像データ４２を受け取ると、順次エンコード処理が行われ、エンコード処理が行われた合成画像データ４２は通信部１０４に順次送られる。通信部１０４では端末２００との通信が行われ、エンコード部１０３から受け取った合成画像データ４２が順次端末２００に送信される。

端末２００は、通信部２０１及び表示部２０２を含む。これらの機能ブロックは、プロセッサ２２がメモリ２３に格納されたプログラムを実行することにより実現される。

通信部２０１では、画像伝送システム１００との通信が行われ、画像伝送システム１００から送信された合成画像データ４２が順次受信される。受信された合成画像データ４２は表示部２０２に順次送られる。

表示部２０２では、取得した合成画像データ４２のデコード処理が行われ、ディスプレイ２４に順次表示される。合成画像データ４２が圧縮されている場合は、当該データが展開される。

合成部１０２以降の機能部においては、データの入力があったときに順次処理が行われ、処理の結果生成されたデータは次の機能部へ順次送られる。つまり、キューイング部１０１から合成部１０２への撮像データ４１の送信タイミングが、撮像データ４１の合成及び伝送が行われるタイミングを決定することになる。送信タイミングは、キューイング部１０１において行われる処理によって決定される。

４．処理フロー例
図６は、キューイング部１０１において行われる処理の例を示すフローチャートである。図６に示される処理は、プロセッサ１２がメモリ１３に格納されたプログラムを実行することにより実現される。

いずれかのカメラ１４から画像伝送システム１００への撮像データ４１の送信が行われると、一連の処理が開始する。ステップＳ１１１において、プロセッサ１２は、カメラ１４から送信された撮像データ４１を取得する。取得された撮像データ４１は、送信タイミングになるまでキューイング部１０１によって保持される。また、同じカメラ１４から取得された前回の撮像データ４１が既にキューイング部１０１で保持されている場合は、新しく取得された撮像データ４１に更新される。

ステップＳ１１２において、プロセッサ１２は、メイン画像データがキューイング部１０１に保持されているか否かを判定する。メイン画像データが保持されている場合（ステップＳ１１２；Ｙｅｓ）、処理はステップＳ１１３に進む。メイン画像データが保持されていない場合（ステップＳ１１２；Ｎｏ）、処理は終了する。

メイン画像データは、合成画像データ４２の生成に用いられる撮像データ４１のうち、端末２００のユーザが最も多くの情報を得ていると考えられる撮像データである。メイン画像データについては後述する。

ステップＳ１１３において、プロセッサ１２は、１つの合成画像データ４２の生成に用いられる全ての撮像データ４１をキューイング部１０１から合成部１０２へ送信する。すなわち、ステップＳ１１３の処理が行われるタイミングが、送信タイミングである。合成部１０２へはそれぞれのカメラ１４から最後に取得された撮像データ４１が送信される。送信された撮像データ４１はその後、合成部１０２での合成画像データ４２の生成に用いられ、合成画像データ４２が端末２００に送信されることになる。

ステップＳ１１４において、プロセッサ１２は、キューイング部１０１で保持されているメイン画像データを全て消去する。メイン画像データが消去されると、処理は終了する。

一連の処理に示されるように、本実施の形態においては、メイン画像データが取得されたタイミングが送信タイミングとされる。以下、メイン画像データを取得するカメラ１４をメインカメラと呼ぶ。メイン画像データ及びメインカメラについて詳しく説明する。

合成画像データ４２に含まれる撮像データ４１から端末２００のユーザが得る情報量は、全ての撮像データ４１で同じとは限らない。例えば、図３の例のようにカメラ１４が車両ＶＥに搭載される車載カメラであり、端末２００のユーザが遠隔支援のオペレータである場合を考える。車両ＶＥが前方に向かって走行しているときは、遠隔支援のオペレータは通常、前方カメラ１４ａから最も多くの情報を得ていると考えられる。メインカメラは、このように、それぞれの撮像データ４１からユーザが得る情報量が異なることを考慮して、１つの合成画像データ４２に対して１つとなるように設定される。メインカメラが１つ設定されることで、メイン画像データも、１つの合成画像データ４２の生成に用いられる撮像データ４１のうちのいずれか１つのデータに決定される。

メインカメラの設定方法の例について説明する。１つ目の例では、メインカメラは事前に決められた特定のカメラに固定される。メインカメラは任意のカメラに決められてよいが、合成画像データ４２がＰＩＰ処理により生成される場合は、ベースカメラがメインカメラとして設定されることが好ましい。この場合、ベースとなる撮像データ４１がメイン画像データとなる。端末２００のユーザが最も必要とする情報はベースカメラから得られることが多いため、メインカメラとして設定されることは適切である。

２つ目の例では、メインカメラは状況に応じて変更される。例えば、カメラ１４が車両ＶＥの車載カメラの場合、車両ＶＥが前方に走行時には前方カメラ１４ａ、車両ＶＥのバック走行時には後方カメラ１４ｂといったように、端末２００のユーザが特に多くの情報量を得ているカメラ１４は状況によって異なる可能性がある。そこで、２つ目の例では、状況に合わせてメインカメラを変更する。この場合は、例えば、車両ＶＥの進行方向を向いたカメラをメインカメラとして設定することが想定される。例えば、車両ＶＥの前方への走行時には前方カメラ１４ａを、車両ＶＥのバック時には後方カメラ１４ｂを、車両ＶＥの左折時には左サイドカメラ１４ｃをメインカメラとすることが想定される。プロセッサ１２は、例えば、車両ＶＥのギアポジションセンサや速度センサ、加速度センサから情報を取得することで車両ＶＥの進行方向を判断し、判断した結果に基づいてメインカメラを設定することができる。

３つ目の例でも、メインカメラが任意のカメラ１４に変更可能とされる。ただし、３つ目の例においては、端末２００のユーザによってメインカメラが設定される。この場合は、例えば、ユーザが入力装置２５にいずれのカメラ１４をメインカメラとして設定するかについての指示を入力し、指示結果が端末２００から画像伝送システム１００に送信される。画像伝送システム１００は、指示結果に基づいて、ユーザが選択したカメラ１４をメインカメラに設定する。

４つ目の例は、２つ目の例と３つ目の例の組み合わせである。すなわち、メインカメラは車両ＶＥの状況に応じて変更可能に設定され、かつ、ユーザの指示があったときにはユーザからの指示に応じて変更されてもよい。

５．タイムチャート
図７は、本実施の形態における送信タイミングを表したタイムチャートである。以下の説明では、例として、カメラ１４ａ、１４ｂ、１４ｃ、１４ｄのそれぞれにより取得される撮像データ４１ａ、４１ｂ、４１ｃ、４１ｄから合成画像データ４２が生成される場合を想定している。また、メインカメラはカメラ１４ａに設定されている。メイン画像データは撮像データ４１ａとなる。

図７に示されるように、それぞれのカメラ１４からは所定の周期ごとに撮像データ４１が送信され、キューイング部１０１によって順次取得される。なお、撮像データ４１が取得される周期は、全てのカメラ１４について同じであってもよいし、カメラ１４毎に異なっていてもよい。また、それぞれの撮像データ４１が取得されるタイミングは、同時であってもよいし、カメラ１４毎にずれていてもよい。図７の例では、撮像データ４１が取得される周期は４つのカメラ１４で等しくなっている。また図７において、それぞれの撮像データ４１の符号には、周期を表す数字を附している。

本実施の形態において、送信タイミングはメイン画像データである撮像データ４１ａの取得の有無によって判断される。ここで、それぞれのカメラ１４から送信されてくる撮像データ４１については、プロセッサ１２の処理の遅れなどにより取得抜けが発生することがある。例えば、カメラ１４ｂ、１４ｃ、及び１４ｄについて、第５周期で取得されるはずの撮像データ４１ｂ－５、４１ｃ－５、４１ｄ－５について取得抜けが発生している。本実施の形態においては、このように他の全ての撮像データ４１に取得抜けが発生した場合であっても、メイン画像データ４１ａ－６が取得される時刻Ｔ５が送信タイミングと判断される。

なお、いずれかの撮像データ４１に取得抜けが発生した場合の合成画像データ４２の生成には、前回データ、つまり取得できている最新の撮像データ４１が用いられる。例えば、時刻Ｔ５では、取得抜けが発生した撮像データ４１ｂ－５、４１ｃ－５、４１ｄ－５の代わりに前回の撮像データ４１ｂ－４、４１ｃ－４、４１ｄ－４が用いられて合成画像データ４２－５が生成される。

また、メインカメラ１４ａについては、第４周期で取得されるはずの撮像データ４１ａ－４について取得抜けが発生している。本実施の形態においては、このような場合、メインカメラ１４ａの撮像データ４１ａが取得されるまで合成画像データ４２の生成は行われない。

なお、このとき、送信タイミングにおけるそれぞれの撮像データ４１は、取得できている最新の撮像データ４１に更新された上で合成部１０２に送られる。撮像データ４１ｂ－３、４１ｃ－３、４１ｄ－３が取得されてから送信タイミングと判断される時刻Ｔ４までには、同じカメラ１４ｂ、１４ｃ、１４ｄから新しく撮像データ４１ｂ－４、１４ｃ－４、１４ｄ－４が取得されている。そのため、撮像データ４１ｂ－３、４１ｃ－３、４１ｄ－３は合成部１０２へ送られず、代わりに更新後の撮像データ４１ｂ－４、１４ｃ－４、１４ｄ－４が合成部１０２へ送られる。

６．比較例
比較例として、典型的な送信タイミングの決定方法を２つ示す。図８は、比較例の１つ目における送信タイミングを表したタイムチャートである。

図８の例では、送信タイミングは、全てのカメラ１４から新しく撮像データ４１が取得されたタイミングである。例えば、時刻Ｔ１においては、最新の撮像データ４１ａ－１、４１ｂ－１、４１ｃ－１、４１ｄ－１が取得されることで、プロセッサ１２により送信タイミングと判断される。

時刻Ｔ１の後、カメラ１４ｂについて、第２周期で取得されるはずの撮像データ４１ｂ－２の取得抜けが発生している。このため、次の送信タイミングは、カメラ１４ｂから新しく撮像データ４１ｂ－３が取得された時刻Ｔ２と判断されることになる。

特に、カメラ１４ａから取得されていた撮像データ４１ａ－２は、次の周期で新しく取得された撮像データ４１ａ－３に更新されることになる。つまり、カメラ１４ａから第２周期で取得された撮像データ４１ａ－２については、合成画像データ４２の生成には用いられず、端末２００への伝送も行われないことになる。そのため、端末２００のユーザにとっては、メイン画像データの伝送が１周期分遅延することになる。

また、第５周期では撮像データ４１ｂ－５、４１ｃ－５、４１ｄ－５に取得抜けが、第６周期では撮像データ４１ｄ－６に取得抜けが発生している。そのため、全てのカメラ１４から最新の撮像データ４１が取得される時刻Ｔ４までの間、合成画像データ４２の生成は行われない。

この場合も同様に、メインカメラから取得されていた撮像データ４１ａ－６が新しく取得された撮像データ４１ａ－７に更新される。つまり、撮像データ４１ａ－６は合成画像データ４２の生成には用いられず、端末２００への伝送も行われないことになる。端末２００のユーザにとっては、メイン画像データの伝送が１周期分遅延することになる。

このように、図８の比較例においては、メイン画像データ以外のいずれかの撮像データ４１に取得抜けが発生すると、メイン画像データの伝送が遅延することになる。端末２００のユーザにとっては、メイン画像データが最も重要なデータのため、メイン画像データの伝送に遅延が発生することは好ましくない。

それに対し、本実施の形態においては、メイン画像データが取得されたときには、他の撮像データ４１の取得の有無に関わらず、合成画像データ４２の生成及び端末２００への伝送が行われる。そのため、端末２００への伝送において、メイン画像データの遅延をなくすことができる。端末２００のユーザによっては、重要な情報を逃さずに得ることができるようになる。

次に、図９に、比較例の２つ目におけるタイムチャートを示す。２つ目の比較例では、送信タイミングは予め設定した所定周期ごととされる。図９の例では、所定周期は撮像データ４１が取得される周期と等しい周期としている。

この例では、まず時刻Ｔ１で撮像データ４１ａ－１、４１ｂ－１、４１ｃ－１、４１ｄ－１が合成されて合成画像データ４２－１が生成される。次に、時刻Ｔ１から所定周期が経過した時刻Ｔ２で次の合成画像データ４２－２が生成される。更に、時刻Ｔ２から所定周期が経過した時刻Ｔ３に次の合成画像データ４２－３が生成される。時刻Ｔ４以降についても同様である。

なお、撮像データ４１ａ－４のように、いずれかの周期でメイン画像データの取得抜けが発生することがある。この場合は、取得できている最新の撮像データ４１ａ、つまり前回データである撮像データ４１ａ－３が合成画像データ４２の生成に用いられる。

２つ目の比較例では、仮にいずれかの撮像データ４１に取得抜けが発生したとしても、所定の周期が経過すれば合成画像データ４２の生成が行われるため、１つ目の比較例のようなメイン画像データの遅延は発生しない。しかし、メイン画像データに取得抜けが発生した場合、前回データが合成画像データ４２の生成に用いられることになる。そのため、ディスプレイ２４に表示される合成画像データ４２は、メイン画像データのみが１周期分遅れたデータとなり、メイン画像データに注目したときの合成画像データ４２の品質が下がることになる。

それに対し、本実施の形態においては、メイン画像データに取得抜けが発生した場合は合成画像データ４２の生成が行われない。そのため、合成画像データ４２の生成に用いられるメイン画像データが前回データとなることはなくなり、メイン画像データに注目したときの合成画像データ４２の品質が担保される。

７．まとめ
以上に説明したように、本実施の形態に係る画像伝送システム１００は、複数のカメラ１４から取得される複数の撮像データ４１を合成し、合成画像データ４２を所定の端末２００に伝送する。撮像データ４１の合成及び伝送を行う送信タイミングの決定にあたっては、メインカメラが設定され、メインカメラからのメイン画像データが取得されたタイミングが送信タイミングとされる。メイン画像データさえ取得されれば、他のカメラ１４から最新の撮像データ４１が取得されるのを待たずに合成画像データ４２の生成が行われる。これにより、ユーザが特に必要とする情報を、所定の端末２００へ漏れなく伝送することができる。また、逆に、メイン画像データが取得されない場合には、送信は行われない。これにより、合成画像データ４２に含まれるメイン画像データの品質を担保することができる。また、重要でないデータの送信頻度を減らすことができ、ネットワークの負荷の低減にもつながる。

１１ 通信装置
１２ プロセッサ
１３ メモリ
１４ カメラ
２１ データ処理装置
２２ プロセッサ
２３ メモリ
２４ ディスプレイ
２５ 入力装置
２６ 通信装置
４１ 撮像データ
４２ 合成画像データ
１００ 画像伝送システム
１０１ キューイング部
１０２ 合成部
１０３ エンコード部
１０４ 通信部
２００ 端末
２０１ 通信部
２０２ 表示部
ＶＥ 車両

Claims (8)

1. 複数のカメラと、
   通信装置と、
   を備え、
   前記通信装置は、
   前記複数のカメラのそれぞれから撮像データを順次取得する処理と、
   前記複数のカメラのうちの１つであるメインカメラを設定する処理と、
   前記メインカメラから前記撮像データを取得した場合に前記複数のカメラのそれぞれの最後に取得した前記撮像データを合成した合成画像データを生成し、前記メインカメラから前記撮像データを取得しなかった場合は前記複数のカメラのうち前記メインカメラ以外から新たな撮像データが取得されていたとしても前記合成画像データを生成しない処理と、
   前記合成画像データを所定の端末に伝送する処理と、
   を実行するように構成された
   画像伝送システム。
2. 請求項１に記載の画像伝送システムであって、
   前記合成画像データを生成する処理は、
   前記複数のカメラのいずれかのベースカメラの前記撮像データの一部の領域に、前記ベースカメラ以外の前記複数のカメラのそれぞれの前記撮像データの一部又は全部が重畳されるように合成することを含む
   画像伝送システム。
3. 請求項２に記載の画像伝送システムであって、
   前記メインカメラは前記ベースカメラである
   画像伝送システム。
4. 請求項１又は２に記載の画像伝送システムであって、
   前記通信装置は、
   前記複数のカメラのうちの１つを選択する入力を受け付ける処理と、
   前記入力で選択されたカメラをメインカメラとする処理と、
   をさらに実行するように構成されている
   画像伝送システム。
5. 請求項１又は２に記載の画像伝送システムであって、
   前記通信装置は車両に搭載され、
   前記複数のカメラは前記車両に搭載される複数の車載カメラである
   画像伝送システム。
6. 複数のカメラのそれぞれから撮像データを順次取得することと、
   前記複数のカメラのうちの１つであるメインカメラを設定することと、
   前記メインカメラから前記撮像データを取得した場合に前記複数のカメラのそれぞれの最後に取得した前記撮像データを合成した合成画像データを生成し、前記メインカメラから前記撮像データを取得しなかった場合は前記複数のカメラのうち前記メインカメラ以外から新たな撮像データが取得されていたとしても前記合成画像データを生成しないことと、
   前記合成画像データを所定の端末に伝送することと、
   を含む
   画像伝送方法。
7. コンピュータによって実行され、請求項６に記載の画像伝送方法を前記コンピュータに実行させるプログラム。
8. 請求項２に記載の画像伝送システムであって、
   前記メインカメラは、前記ベースカメラと異なるカメラに設定可能である
   画像伝送システム。

Images