JP6041936B2 - 表示装置及び表示システム - Google Patents

Description

本発明は、移動体の遠隔操作における、表示装置及び表示システムに関する。

操作者が遠隔操作より車両を走行させる場合、操作側の表示装置は、その車両の周囲環境が撮像された画像を表示する必要がある。ここで、車両側の撮像装置から操作側の表示装置に、車両の周囲環境の画像が、送信データ量が多いまま送信された場合、操作側の表示装置に表示される画像には、車両の実際の周囲環境と比較して表示遅延が発生してしまう。特許文献１には、撮像された画像をデータ圧縮して少ないデータ量で送信することにより、周囲環境の画像の表示遅延を低減させる遠隔操作装置が開示されている。

特開２００９−１１８０７２号公報

しかしながら、特許文献１に開示された遠隔操作装置（送信装置）は、車両の周囲環境が撮像された画像を少ない送信データ量で操作者に提供することはできても、操作側の装置（表示装置）の構成が複雑になってしまうという問題がある。

本発明は、前記の点に鑑みてなされたものであり、移動体を遠隔操作する操作者側の表示装置の構成を複雑にすることなく、移動体の周囲環境が撮像された画像を少ない送信データ量で操作者に提供することができる表示装置、及び表示システムを提供することを目的とする。

本発明の第１の態様によれば、表示装置は、送信装置から、当該送信装置の周囲環境の測定により得られる３次元情報の差分情報と、前記周囲環境を前記３次元情報の測定時に撮像した画像のうち所定高さ以上となる位置に相当する部分の画像であるモデル画像とを受信する受信部と、前記差分情報を蓄積することにより前記３次元情報を再生し、再生した前記３次元情報が示す領域から表示領域を抽出する再生部と、前記送信装置の運動視差に応じて前記モデル画像を変形させ、前記再生部により抽出された前記表示領域に、俯瞰画像と、前記変形させたモデル画像と、を貼り付ける貼付部と、前記俯瞰画像と、前記モデル画像と、が貼り付けられた前記抽出された表示領域を表示する表示部と、を備える。

本発明の第２の態様によれば、第１の態様に係る表示装置は、前記貼付部は、先読みされた前記モデル画像を前記送信装置の運動視差に応じて変形させ、前記表示領域に、俯瞰画像と、前記変形させたモデル画像と、を貼り付ける。

本発明の第３の態様によれば、第２の態様に係る表示装置は、前記貼付部は、前記送信装置が移動し、かつ前記受信部が前記送信装置の移動後に前記モデル画像を受信していない場合に、前記送信装置の移動前に受信した前記モデル画像を当該移動に基づく運動視差に応じて変形させ、前記表示領域に、俯瞰画像と、前記変形させたモデル画像と、を貼り付ける。

本発明の第４の態様によれば、表示システムは、周囲環境を撮像する撮像部と、前記周囲環境の３次元情報を測定する測定部と、前記周囲環境における所定高さ以上の位置を、前記３次元情報に基づいて抽出する抽出部と、前記抽出部により抽出された前記位置の画像であるモデル画像を、前記撮像部により撮像された画像から切り出す切出部と、前記モデル画像と、前記３次元情報の差分情報とを送信する送信部とを備える送信装置と、第１から第３の何れかの態様に係る表示装置と、を備えることを特徴とする。

本発明によれば、受信部は、切り出された被写体の画像を受信する。これにより、表示装置は、装置構成を複雑にすることなく、移動体の周囲環境が撮像された画像を少ない送信データ量で操作者に提供することができる。

本発明の第１実施形態における、表示システムの構成例を示すブロック図である。 本発明の第１実施形態における、送信装置を備える移動体、及びその周囲環境の例を示す俯瞰図である。 本発明の第１実施形態における、高さグリッドマップの例を示す図である。 本発明の第１実施形態における、モデル画像の切り出し処理を説明するための図である。 本発明の第１実施形態における、補正されたモデル範囲が定められた高さグリッドマップの例を示す図である。 本発明の第１実施形態における、再生三次元マップの俯瞰図の例を示す図である。 本発明の第１実施形態における、送信装置の動作手順を示すフローチャートである。 本発明の第２実施形態における、テクスチャマップの例を示す図である。 本発明の第２実施形態における、送信装置の動作手順を示すフローチャートである。

［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、表示システムの構成例が、ブロック図により示されている。表示システムは、移動体（例えば、車両）を遠隔操作する操作者側の装置構成を複雑にすることなく、その移動体の周囲環境が撮像された画像を、画像が単に送信された場合と比較して少ない送信データ量で操作者に提供する。

表示システムは、送信装置１００と、表示装置２００とを備える。送信装置１００は、移動体側の装置であり、移動体に設置されることで、その移動体の周囲環境を撮像しながら移動体と共に移動する。また、表示装置２００は、操作者側の装置であり、移動体の周囲環境が撮像された画像を、送信装置１００から無線により受信し、受信した画像を操作者に提供する。

まず、送信装置１００の構成例を説明する。
送信装置１００は、撮像部１１０と、測定部１２０と、測位部１３０と、抽出部１４０と、切出部１５０と、送信部１６０とを備える。

以下、３次元情報は、予め定められた座標系における３次元座標（ｘ，ｙ，ｚ）により表されるものとして説明を続ける。ここで、座標成分ｚは、高さ成分である。また、測位部１３０が測位した移動体の３次元座標及び向きと、測定部１２０が測定した周囲環境の３次元座標との対応が判るように、測位部１３０と測定部１２０との相対的な距離及び姿勢は、予めキャリブレーションされているものとする。また、撮像部１１０が撮像した周囲環境の画像全体における２次元座標と、測定部１２０が測定した周囲環境の３次元座標との対応が判るように、撮像部１１０と測定部１２０との相対的な距離及び姿勢は、予めキャリブレーションされているものとする。

撮像部１１０は、移動体の周囲環境を撮像し、被写体（例えば、構造物、人物、道路、白線、縁石）の画像（以下、「モデル画像」という）を含む画像を、切出部１５０に出力する。ここで、撮像部１１０は、動画又は静止画のいずれの形式により被写体を撮像してもよい。

測定部１２０は、移動体の周囲環境の３次元座標を測定するレーザレーダ装置である。
測定部１２０は、移動体の周囲環境にレーザ光を照射する。測定部１２０は、照射したレーザ光が周囲環境に反射されて測定部１２０に戻るまでの時間と、レーザ光の照射方向（測定部１２０の姿勢）とに基づいて、移動体の周囲環境の３次元情報（３次元座標）を、周囲環境をスキャンしながら繰り返し測定する。

なお、レーザレーダ装置の一例については、例えば、特開２０１１−９９７４２号公報を参照することができる。

図２には、送信装置を備える移動体及びその周囲環境の例が、俯瞰図により示されている。図２では、送信装置１００が移動体９００に設置されることで、撮像部１１０（図１を参照）は、移動体９００の周囲環境に在る被写体５００、被写体５１０、被写体５２０及び道路４００等を撮像しながら、移動体９００と共に道路４００上を移動している。また、測定部１２０（図１を参照）は、移動体９００の周囲環境に在る被写体５００、被写体５１０、被写体５２０、道路４００等の３次元座標を測定しながら、移動体９００と共に道路４００上を移動している。

図２では、測定点３００−１〜３００−１９は、周囲環境においてレーザ光が反射された位置（以下、「測定点」という）をそれぞれ示す。このうち、測定点３００−１〜３００−９，３００−１９は、ぞれぞれの座標成分ｚ（高さ成分）が、予め定められた高さ閾値未満である測定点である。一方、測定点３００−１０〜３００−１８は、測定点の座標成分ｚが、高さ閾値以上である測定点である。

つまり、被写体５２０が立体的であるために、測定点３００−１０及び３００−１１は、座標成分ｚが周囲の測定点のそれよりも高い測定点となっている。被写体５１０の各測定点、及び被写体５００の各測定点についても同様である。測定部１２０は、各測定点の３次元座標を示す情報を、抽出部１４０に出力する。

なお、図２では、被写体５３０と移動体９００との距離が離れて過ぎているために、被写体５３０にレーザ光が照射されず、測定部１２０が被写体５３０の３次元座標を測定していない状態が示されている。移動体９００が道路４００上をさらに移動して、被写体５３０と移動体９００とが接近することにより、測定部１２０は、被写体５３０の３次元座標を測定することができるようになる。撮像部１１０についても同様に、移動体９００が道路４００上をさらに移動して、被写体５３０と移動体９００とが接近することにより、撮像部１１０は、被写体５３０を撮像することができるようになる。

図１に戻り、送信装置１００の構成例の説明を続ける。測位部１３０は、送信装置１００の３次元座標及び向き、すなわち、移動体９００の３次元座標及び向きを繰り返し測定し、移動体９００の３次元座標及び向きを示す情報を、抽出部１４０に繰り返し出力する。ここで、測位部１３０は、人工衛星（例えば、Ｇｌｏｂａｌ ＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ（ＧＰＳ）衛星）からの電波を受信することにより、移動体９００の３次元座標及び向きを測定してもよい。また、測位部１３０は、時刻毎の座標成分の変化に基づいて、移動体９００の向き（移動方向）を測定してもよい。

また、測位部１３０は、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：慣性計測装置）として、速度センサ、３軸加速度センサ及び３軸ジャイロ(回転角センサ)を備え、これらセンサによるセンシング結果のうち少なくとも一つに基づいて、移動体９００の３次元座標及び向きを測定してもよい。ここで、測位部１３０は、例えば、加速度センサにより検出した加速度を積分することにより移動体９００の移動速度を検出し、検出した移動速度をさらに積分することにより、移動体９００の３次元座標を測定してもよい。

抽出部１４０には、各測定点の３次元座標を示す情報が、測定部１２０から入力される。また、抽出部１４０には、移動体９００の３次元座標及び向きを示す情報が、測位部１３０から入力される。

抽出部１４０は、各測定点の３次元座標を示す情報と、移動体９００の３次元座標及び向きを示す情報とに基づいて、３次元座標により表される測定点が平面に格子状に並べられたマップ（以下、「高さグリッドマップ」という）を生成する。

また、抽出部１４０は、高さグリッドマップを構成する測定点のうち、座標成分ｚ（高さ成分）が高さ閾値以上である測定点を、各測定点の３次元座標を示す情報に基づいて高さグリッドマップに抽出する。抽出部１４０は、座標成分ｚが高さ閾値以上である測定点が抽出された高さグリッドマップを示す情報を、切出部１５０に出力する。ここで、高さグリッドマップを示す情報は、例えば、３次元座標の配列により表されてもよい。

図３には、高さグリッドマップの例が示されている。抽出部１４０は、抽出された複数の測定点を仮想的に結び、測定点を結んだ範囲を、モデル画像に対応付ける範囲（以下、「モデル範囲」という）として暫定的に定める。ここで、モデル範囲は、高さグリッドマップの地平面（ｘｙ平面）において、直線に定められてもよいし、曲線（扇形）に定められてもよい。

図３では、測定点３００−１０及び３００−１１を直線で結んだ範囲に、モデル範囲６２０ａが暫定的に定められている。また、測定点３００−１２及び３００−１３を直線で結んだ範囲に、モデル範囲６１０ａが暫定的に定められている。また、測定点３００−１４及び３００−１８を曲線で結んだ範囲に、モデル範囲６００ａが暫定的に定められている。

切出部１５０には、モデル画像を含む画像が、撮像部１１０から所定周期で入力される。また、切出部１５０には、座標成分ｚが高さ閾値以上である測定点が抽出された高さグリッドマップを示す情報が、抽出部１４０から入力される。

切出部１５０は、撮像部１１０から入力された画像（以下、「撮像画像」という）における２次元座標と、座標成分ｚが高さ閾値以上である測定点の３次元座標との対応に基づいて、暫定的に定めたモデル範囲を撮像画像に定める。ここで、切出部１５０は、暫定的に定めたモデル範囲を示す枠が周囲環境に実際に在ると仮定した場合に、その枠が撮像画像に撮像されることになる範囲を撮像画像に定める。

また、切出部１５０は、モデル画像を含むようにモデル範囲を大まかに補正する。また、切出部１５０は、撮像画像に定められたモデル範囲、及びその周辺の所定範囲について、モデル画像の輪郭（エッジ）の強度を判定することにより、そのモデル画像を含むようにモデル範囲をさらに補正する。ここで、モデル範囲は、そのモデル範囲の各頂点の３次元座標により表されてもよい。また、切出部１５０は、補正したモデル範囲に含まれるモデル画像を、撮像画像から切り出す。

図４は、モデル画像の切り出し処理を説明するための図である。図４（Ａ）には、撮像画像が示されている。図４（Ａ）では、モデル画像７００、モデル画像７１０、モデル画像７２０、及び道路４００の画像が、撮像画像に含まれている。ここで、モデル画像７００は、被写体５００の画像である。また、モデル画像７１０は、被写体５１０の画像である。また、モデル画像７２０は、被写体５２０の画像である。

図４（Ｂ）には、モデル画像と、暫定的に定めたモデル範囲を示す枠画像とを含む撮像画像が示されている。図４（Ｂ）では、モデル範囲６００ａを示す枠画像と、モデル範囲６１０ａを示す枠画像と、モデル範囲６２０ａを示す枠画像とが、図４（Ａ）に示す撮像画像に対して更に含まれている。

図４（Ｃ）には、モデル画像と、そのモデル画像の輪郭に基づいて補正したモデル範囲を示す枠画像と、を含む撮像画像が示されている。図４（Ｃ）では、補正したモデル範囲６００ａを示す枠画像と、補正したモデル範囲６１０ａを示す枠画像と、補正したモデル範囲６２０ａを示す枠画像とが、図４（Ａ）に示す撮像画像に対して更に含まれている。

図４（Ｃ）に対し、切出部１５０は、モデル画像７００の輪郭に基づいて補正されたモデル範囲６００ａに含まれるモデル画像７００を切り出す。また、切出部１５０は、モデル画像７１０の輪郭に基づいて補正されたモデル範囲６１０ａに含まれるモデル画像７１０を切り出す。また、切出部１５０は、モデル画像７２０の輪郭に基づいて補正されたモデル範囲６２０ａに含まれるモデル画像７２０を切り出す。

切出部１５０は、補正されたモデル範囲を示す情報（以下、「補正モデル範囲情報」という）と、切り出されたモデル画像と、高さグリッドマップを示す情報とを、送信部１６０に出力する。ここで、モデル範囲と、切り出されたモデル画像とは、識別情報により対応付けられる。

図５には、補正されたモデル範囲が定められた高さグリッドマップの例が示されている。図５では、モデル範囲６００ａは、高さグリッドマップの地平面（ｘｙ平面）において、ｘ軸に平行な直線となるように補正されている。また、モデル範囲６１０ａは、高さグリッドマップの地平面（ｘｙ平面）において、モデル範囲６００ａと平行になるように補正されている。同様に、モデル範囲６２０ａは、高さグリッドマップの地平面（ｘｙ平面）において、モデル範囲６００ａと平行になるように補正されている。

図１に戻り、送信装置１００の構成例の説明を続ける。送信部１６０には、補正モデル範囲情報と、切り出されたモデル画像とが、識別情報により対応付けられて切出部１５０から入力される。また、送信部１６０には、高さグリッドマップを示す情報が、切出部１５０から入力される。送信部１６０は、補正モデル範囲情報と、切り出されたモデル画像とを、識別情報により対応付けて無線により送信する。

また、送信部１６０は、高さグリッドマップを示す情報を、無線により送信する。ここで、送信部１６０は、高さグリッドマップを示す情報のうち、更新された情報又は未送信である情報（以下、「差分情報」という）のみを、無線により送信する。

次に、表示装置２００の構成例を説明する。
表示装置２００は、受信部２１０と、記憶部２２０と、生成部２３０と、貼付部２４０と、表示部２５０とを備える。

受信部２１０は、補正モデル範囲情報と、切り出されたモデル画像と、これらを対応付ける識別情報とを、対送信装置１００の送信部１６０から無線により受信する。受信部２１０は、補正モデル範囲情報と、切り出されたモデル画像とを、識別情報により対応付けて貼付部２４０に転送する。また、受信部２１０は、送信装置１００の送信部１６０から無線により、差分情報を受信する。受信部２１０は、高さグリッドマップを示す情報を、生成部２３０に転送する。

記憶部２２０は、高さグリッドマップの地平面の２次元座標（ｘ，ｙ）に対応付けられた俯瞰画像（例えば、空撮画像、航空写真、衛星画像）を予め記憶する。

生成部２３０は、受信部２１０から入力された差分情報を、既に入力されて蓄積している高さグリッドマップに追加することにより、送信装置１００の送信部１６０から送信された高さグリッドマップを再生する。また、生成部２３０は、差分情報が追加された高さグリッドマップから、表示部２５０に表示すべき領域（表示領域）を抽出する。生成部２３０は、抽出された高さグリッドマップを示す情報を、貼付部２４０に出力する。

ここで、表示部２５０に表示すべき領域とは、例えば、次々と追加される差分情報のうち、所定の回数前までに追加された領域のみを含むように、高さグリッドマップに定められた領域である。また、例えば、表示部２５０に表示すべき領域とは、移動体９００の２次元座標（ｘ，ｙ）を含むように、高さグリッドマップに定められた領域でもよい。この場合、受信部２１０は、送信装置１００の測位部１３０が測位した移動体９００の２次元座標（ｘ，ｙ）を、送信装置１００の送信部１６０から受信して、生成部２３０に転送する。

貼付部２４０には、補正モデル範囲情報と、切り出されたモデル画像とが、識別情報により対応付けられて受信部２１０から入力される。また、貼付部２４０には、抽出された高さグリッドマップを示す情報が、生成部２３０から入力される。貼付部２４０は、抽出された高さグリッドマップを示す情報に基づいて、その抽出された高さグリッドマップの地平面の２次元座標（ｘ，ｙ）に対応付けられた俯瞰画像を、記憶部２２０から取得する。

また、貼付部２４０は、抽出された高さグリッドマップに俯瞰画像を貼り付け、その高さグリッドマップの俯瞰図を生成する。以下、俯瞰画像が貼り付けられた高さグリッドマップを、「再生三次元マップ」という。また、貼付部２４０は、抽出された高さグリッドマップを示す情報に基づいて、座標成分ｚ（高さ成分）が同じ高さである測定点を結ぶことで、再生三次元マップに等高線を貼り付ける。

また、貼付部２４０は、補正モデル範囲情報に基づいて、再生三次元マップの俯瞰図に、補正されたモデル範囲を定める。また、貼付部２４０は、この補正されたモデル範囲に、識別情報により対応付けられたモデル画像を貼り付ける。また、貼付部２４０は、再生三次元マップの俯瞰図の予め定められた座標に、移動体９００の俯瞰画像を貼り付ける。
また、貼付部２４０は、再生三次元マップの俯瞰図を、表示部２５０に出力する。

図６には、再生三次元マップの俯瞰図の例が示されている。図６では、モデル範囲６００ａに予め対応付けられているモデル画像７００は、再生三次元マップの俯瞰図におけるモデル範囲６００ａ（図５を参照）に貼り付けられている。また、モデル範囲６１０ａに予め対応付けられているモデル画像７１０は、再生三次元マップの俯瞰図におけるモデル範囲６１０ａ（図５を参照）に貼り付けられている。また、モデル範囲６２０ａに予め対応付けられているモデル画像７２０は、再生三次元マップの俯瞰図におけるモデル範囲６２０ａ（図５を参照）に貼り付けられている。また、移動体９００の俯瞰画像は、再生三次元マップの俯瞰図の予め定められた座標に貼り付けられている。また、等高線８００−１〜８００−５を示す画像は、再生三次元マップに定められた等高線と重なるように、再生三次元マップの俯瞰図に貼り付けられている。

図１に戻り、表示装置２００の構成例の説明を続ける。表示部２５０は、モデル画像と、等高線を示す画像と、移動体の俯瞰画像とが貼り付けられた再生三次元マップの俯瞰図（図６を参照）を表示する。また、表示部２５０は、遠隔操作に必要な各種情報（例えば、移動体９００の３次元座標）を更に表示してもよい。表示部２５０は、例えば、液晶表示装置である。

次に、送信装置１００の動作手順を説明する。
図７は、送信装置の動作手順を示すフローチャートである。切出部１５０は、モデル画像を含む画像、及び、各測定点の３次元座標を取得する（ステップＳ１）。そして、抽出部１４０は、高さグリッドマップを生成する（ステップＳ２）。また、抽出部１４０は、高さグリッドマップにおいて高さ成分が高さ閾値以上である測定点を結んだ範囲を、モデル範囲として暫定的に定める（ステップＳ３）。

切出部１５０は、モデル画像を含むようにモデル範囲を補正する（ステップＳ４）。また、切出部１５０は、モデル画像の輪郭を判定し、補正したモデル範囲を画像から切り出す。すなわち、切出部１５０は、補正したモデル範囲に基づいて、モデル画像を切り出す。（ステップＳ５）。そして、送信部１６０は、高さグリッドマップの差分情報等と、補正モデル範囲情報と、切り出されたモデル画像とを送信する（ステップＳ６）。

送信装置１００の各部は、ユーザからの終了指示を受け付けているか否かを判定する（ステップＳ７）。終了指示を受け付けている場合（ステップＳ７−Ｙｅｓ）、送信装置１００の各部は、処理を終了する。一方、終了指示を受け付けていない場合（ステップＳ７−Ｎｏ）、送信装置１００の各部は、処理をステップＳ１に戻す。

以上のように、送信装置１００は、周囲環境を撮像する撮像部１１０と、前記周囲環境の３次元情報を測定する測定部１２０と、前記周囲環境における所定高さ以上の位置を、前記３次元情報に基づいて抽出する抽出部１４０と、抽出部１４０により抽出された前記位置の画像を、撮像部１１０により撮像された画像から切り出す切出部１５０と、切出部１５０により切り出された画像（モデル画像）と、前記３次元情報（高さグリッドマップ）の差分情報とを送信する送信部１６０と、を備える。

この構成により、送信部１６０は、切り出された画像と、３次元情報の差分情報とを送信する。これにより、送信装置１００は、移動体を遠隔操作する操作者側の装置構成を複雑にすることなく、移動体の周囲環境が撮像された画像を少ない送信データ量で操作者に提供することができる。また、送信装置１００は、俯瞰画像（例えば、空撮画像）を表示装置２００に遅延なく表示させることができる。また、高さグリッドマップに俯瞰画像が単に貼り付けられた場合と異なり、被写体の側面のモデル画像が表示装置２００に表示されるため、操作者は、表示された画像に不自然さや違和感を覚えることなく、移動体９００を遠隔操作することができる。

また、送信装置１００は、送信装置１００の位置を測位する測位部１３０を備える。送信部１６０は、前記切り出された画像を送信装置１００の位置に応じた俯瞰画像に貼り付けて表示する表示装置２００に、送信装置１００の位置を送信する。
これにより、送信装置１００は、送信装置１００の位置に応じた俯瞰画像を、表示装置２００に表示させることができる。

また、表示装置２００は、切り出された画像（モデル画像）と、前記３次元情報の差分情報と、を受信する受信部２１０と、前記差分情報を蓄積することにより前記３次元情報を再生し、再生した前記３次元情報（高さグリッドマップ）が示す領域から表示領域を抽出する生成部２３０と、生成部２３０により抽出された前記表示領域に、俯瞰画像と、前記切り出された画像と、を貼り付ける貼付部２４０と、前記俯瞰画像と、前記切り出された画像と、が貼り付けられた前記抽出された表示領域（再生三次元マップ）を表示する表示部２５０と、を備える。

この構成により、表示部２５０は、前記俯瞰画像と、前記切り出された画像と、が貼り付けられた前記俯瞰画像を表示する。
これにより、表示装置２００は、移動体を遠隔操作する操作者側の装置構成を複雑にすることなく、移動体の周囲環境が撮像された画像を少ない送信データ量で操作者に提供することができる。また、表示装置２００は、俯瞰画像を遅延なく表示することができる。
また、高さグリッドマップに俯瞰画像が単に貼り付けられた場合と異なり、被写体の側面のモデル画像が表示装置２００に表示されるため、操作者は、表示された画像に不自然さや違和感を覚えることなく、移動体９００を遠隔操作することができる。

また、受信部２１０は、送信装置１００の位置を受信する。生成部２３０は、送信装置１００の位置に応じて、前記表示領域を抽出する。
これにより、表示装置２００は、送信装置１００の位置に応じた俯瞰画像を表示することができる。

［第２実施形態］
第２実施形態では、モデル画像が並べられた画像が送信される点が、第１実施形態と相違する。以下では、第１実施形態との相違点についてのみ説明する。

まず、送信装置１００の構成例を説明する。
送信部１６０は、切り出されたモデル画像が並べられた画像（以下、「テクスチャマップ」という）を生成する。送信部１６０は、所定のデータ圧縮処理（例えば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）規格に準拠した伸張処理により復号可能であるデータ圧縮処理）をテクスチャマップに施し、データ圧縮されたテクスチャマップを送信する。ここで、テクスチャマップは、複数枚でもよい。

図８には、テクスチャマップの例が示されている。テクスチャマップ１０００には、座標系（ｕ，ｖ）が予め定められている。ここで、座標（ｕ，ｖ）＝（０，１）には、モデル範囲６００ａ（図５を参照）が予め対応付けられ、座標（ｕ，ｖ）＝（１，１）には、モデル範囲６１０ａが予め対応付けられ、座標（ｕ，ｖ）＝（２，１）には、モデル範囲６２０ａが予め対応付けられているとする。

図８では、モデル画像７００は、モデル画像７００を含むモデル範囲６００ａに予め対応付けられた座標（ｕ，ｖ）＝（０，１）に貼り付けられている。また、モデル画像７１０は、モデル画像７１０を含むモデル範囲６１０ａに予め対応付けられた座標（ｕ，ｖ）＝（１，１）に貼り付けられている。また、モデル画像７２０は、モデル画像７２０を含むモデル範囲６２０ａに予め対応付けられた座標（ｕ，ｖ）＝（２，１）に貼り付けられている。

受信部２１０（図１を参照）は、高さグリッドマップを示す情報と、補正モデル範囲情報と、テクスチャマップ１０００とを、送信装置１００の送信部１６０から無線により受信する。受信部２１０は、送信部１６０により圧縮されたデータを伸張する処理をテクスチャマップ１０００に施すことで、テクスチャマップ１０００に含まれるモデル画像を復号する。受信部２１０は、補正モデル範囲情報と、復号したモデル画像とを、識別情報により対応付けて貼付部２４０に転送する。

次に、表示装置２００の構成例を説明する。
貼付部２４０は、復号したモデル画像が立体的に見えるように、そのモデル画像をフレームモデル画像（例えば、立方体、直方体）に組み立て直してもよい。貼付部２４０は、再生三次元マップの俯瞰図におけるモデル範囲に、そのモデル範囲に対応付けられたフレームモデル画像を貼り付ける。

次に、送信装置１００の動作手順を説明する。
図９は、送信装置の動作手順を示すフローチャートである。ステップＳａ１〜ステップＳａ５は、図７に示すフローチャートのステップＳ１〜ステップＳ５と同様である。送信部１６０は、補正モデル範囲情報と、切り出されたモデル画像とに基づいて、テクスチャマップ１０００を更新する（ステップＳａ６）。送信部１６０は、高さグリッドマップの差分情報等と、補正モデル範囲情報と、テクスチャマップ１０００とを送信する（ステップＳａ７）。

送信装置１００の各部は、ユーザからの終了指示を受け付けているか否かを判定する（ステップＳａ８）。終了指示を受け付けている場合（ステップＳａ８−Ｙｅｓ）、送信装置１００の各部は、処理を終了する。一方、終了指示を受け付けていない場合（ステップＳａ８−Ｎｏ）、送信装置１００の各部は、処理をステップＳａ１に戻す。

以上のように、送信部１６０は、前記切り出された画像が並べられた画像であるテクスチャマップ１０００を送信する。
これにより、送信装置１００は、移動体を遠隔操作する操作者側の装置構成を複雑にすることなく、移動体の周囲環境が撮像された画像を、より少ない送信データ量で操作者に提供することができる。

また、受信部２１０は、前記切り出された画像が並べられた画像であるテクスチャマップ１０００を受信する。貼付部２４０は、テクスチャマップ１０００に並べられた前記切り出された画像を、前記抽出された表示領域に貼り付ける。

これにより、表示装置２００は、移動体を遠隔操作する操作者側の装置構成を複雑にすることなく、移動体の周囲環境が撮像された画像を、より少ない送信データ量で操作者に提供することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、測位部１３０は、移動体９００の３次元座標（ｘ，ｙ，ｚ）のうち、地平面の座標（ｘ，ｙ）のみ測定するとしてもよい。また、例えば、抽出部１４０は、複数の測定点のうち、移動体９００に近い側の測定点と比較して座標成分ｚが高くなっている測定点を、高さグリッドマップに抽出するとしてもよい。

また、例えば、送信装置１００の送信部１６０は、表示装置２００の受信部２１０に、有線通信により情報を送信してもよい。また、例えば、貼付部２４０は、移動体９００の運動視差に応じてモデル画像を変形させてもよい。ここで、貼付部２４０は、表示遅延が補正されるように先読みされたモデル画像を、再生三次元マップの俯瞰図に貼り付けてもよい。

なお、上記に説明した送信装置、表示装置、及び表示システムを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…送信装置、１１０…撮像部、１２０…測定部、１３０…測位部、１４０…抽出部
、１５０…切出部、１６０…送信部、２００…表示装置、２１０…受信部、２２０…記憶
部、２３０…生成部、２４０…貼付部、２５０…表示部、３００…測定点、４００…道路
、５００…被写体、５１０…被写体、５２０…被写体、５３０…被写体、６００ａ…モデ
ル範囲、６１０ａ…モデル範囲、６２０ａ…モデル範囲、７００…モデル画像、７１０…
モデル画像、７２０…モデル画像、８００…等高線、９００…移動体、１０００…テクス
チャマップ

Claims (4)

1. 送信装置から、当該送信装置の周囲環境の測定により得られる３次元情報の差分情報と、前記周囲環境を前記３次元情報の測定時に撮像した画像のうち所定高さ以上となる位置に相当する部分の画像であるモデル画像とを受信する受信部と、
   前記差分情報を蓄積することにより前記３次元情報を再生し、再生した前記３次元情報が示す領域から表示領域を抽出する再生部と、
   前記送信装置の運動視差に応じて前記モデル画像を変形させ、前記再生部により抽出された前記表示領域に、俯瞰画像と、前記変形させたモデル画像と、を貼り付ける貼付部と、
   前記俯瞰画像と、前記モデル画像と、が貼り付けられた前記抽出された表示領域を表示する表示部と、
   を備える表示装置。
2. 前記貼付部は、先読みされた前記モデル画像を前記送信装置の運動視差に応じて変形させ、前記表示領域に、俯瞰画像と、前記変形させたモデル画像と、を貼り付ける
   請求項１に記載の表示装置。
3. 前記貼付部は、前記送信装置が移動し、かつ前記受信部が前記送信装置の移動後に前記モデル画像を受信していない場合に、前記送信装置の移動前に受信した前記モデル画像を当該移動に基づく運動視差に応じて変形させ、前記表示領域に、俯瞰画像と、前記変形させたモデル画像と、を貼り付ける
   請求項２に記載の表示装置。
4. 周囲環境を撮像する撮像部と、
   前記周囲環境の３次元情報を測定する測定部と、
   前記周囲環境における所定高さ以上の位置を、前記３次元情報に基づいて抽出する抽出部と、
   前記抽出部により抽出された前記位置の画像であるモデル画像を、前記撮像部により撮像された画像から切り出す切出部と、
   前記モデル画像と、前記３次元情報の差分情報とを送信する送信部と
   を備える送信装置と、
   請求項１から請求項３の何れか１項に記載の表示装置と、
   を備えることを特徴とする表示システム。

Images