JP7346830B2 - 通信端末、プログラム、表示方法、記録媒体、システム - Google Patents

Description

本発明は、通信端末、プログラム、表示方法、記録媒体、及びシステムに関する。

インターネットやＬＡＮ（Local Area Network）等の通信ネットワークを介して、複数の拠点の間で通信端末が通信して、互いに映像や音声を送受信する通信システムが普及している。通信システムを利用すると遠隔地のユーザがコミュニケーションすることができ、例えばテレビ会議を開催できる。

また、通信システムがロボットに適用されたテレプレゼンスロボットが知られている。テレプレゼンスロボットとは、「テレビ会議」と「遠隔操作技術」が組み合わされたロボットである。遠隔地からのリモートコントロールとロボット技術を組み合わせて、操作者が遠方からロボットを移動させる移動装置を操作し、ある場所で操作者が存在（プレゼンス）しているように振る舞わせる技術である。

また、ロボットに複数のカメラを搭載する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、走行装置の前後を写す前方カメラと後方カメラ、及び、ロボットの付近の全周囲を写すことができる俯瞰カメラを備えた移動体が開示されている。

しかしながら、従来の技術では、移動装置を制御するコントローラについて考慮されていないという問題がある。すなわち、移動装置から複数の映像が送信された場合に、映像を表示しながらどのようにコントローラを表示するかについて開示されていない。

本発明は、上記課題に鑑み、移動装置から送信される複数の撮像装置の映像を操作者が見ながらロボットを制御することができる通信端末を提供することを目的とする。

上記課題に鑑み、本発明は、移動装置に搭載された他の通信端末又は移動装置が有する通信部とネットワークを介して通信し、操作者からの入力操作に応じた前記移動装置に対する操作指示情報を前記他の通信端末又は前記通信部に送信する通信端末であって、前記他の通信端末又は前記通信部が送信した第１の映像、及び、前記他の通信端末又は前記移動装置に接続若しくは一体の広角撮像装置が撮像した広角な第２の映像を受信する通信手段と、 前記通信手段が受信した前記第１の映像及び前記第２の映像を表示画面にいずれも表示させるように制御すると共に、前記移動装置の移動を制御するコントローラを、前記表示画面に表示された前記第１の映像に重ねて表示する表示処理手段と、を有し、前記コントローラは、前記表示画面上から前記入力操作を受け付けることを特徴とする。

移動装置から送信される複数の撮像装置の映像を操作者が見やすい態様で表示する通信端末を提供することができる。

通信システムの概略を説明する図の一例である。 平面撮像装置が撮像した正面映像又は背面映像と広角撮像装置が撮像した全天球映像の表示例を説明する図である。 一実施形態に係る通信システムの構成例を示す図である。 一実施形態に係る通信端末のハードウェア構成例を示す図である。 通信管理システムのハードウェア構成例を示す図である。 移動装置のハードウェア構成例を示す図である。 広角撮像装置の一例のハードウェア構成図である。 広角撮像装置の使用イメージ図の一例である。 広角撮像装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。 広角撮像装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 図１１の立体斜視図等の一例を示す図である。 所定領域情報と所定領域の画像の関係との関係を示した図の一例である。 通信システムが有する通信管理システム、通信端末１０Ａ、及び、通信端末１０Ａの機能をブロック状に示す機能ブロック図である。 通信システムの通信の準備段階の処理の例を示すシーケンス図である。 通信端末に表示される宛先選択画面の一例を示す図である。 通信システムの通信処理の例を示すシーケンス図である。 パターン１において通信端末が表示部に表示する映像表示画面の一例を示す図である。 パターン１の映像の配置例において映像を切り替える手順を示すフローチャート図の一例である。 パターン２において通信端末が表示部に表示する映像表示画面の一例を示す図である。 パターン２の映像の配置例において映像を表示する手順を示すフローチャート図の一例である。 パターン２の別の表示例において通信端末が表示部に表示する映像表示画面の一例を示す図である。 図２２のパターン２の別の表示例において、映像を表示する手順を示すフローチャート図の一例である。 パターン３において通信端末が表示部に表示する映像表示画面の一例を示す図である。 パターン３の映像の配置例において映像を表示する手順を示すフローチャート図の一例である。 パターン３の別の表示例において通信端末が表示部に表示する映像表示画面の一例を示す図である。 図２６のパターン３の別の表示例において、映像を表示する手順を示すフローチャート図の一例である。 パターンが自動で切り替えられる契機について説明する図の一例である。

以下、本発明を実施するための形態の一例として、通信端末と通信端末が行う映像の表示方法について図面を用いて説明する。

＜通信システムと通信端末の動作の概略＞
まず、図１を用いて通信システムの概略を説明する。図１（ａ）は、テレプレゼンスロボットを用いた通信システムの概略構成図の一例を示す。社内８０１にテレプレゼンスロボットが配置されており、自宅８０２に操作者８１０が存在している。テレプレゼンスロボットは移動装置２０に搭載された通信端末１０Ｂと広角撮像装置９を有している。また、操作者８１０は通信端末１０Ａを有している。

広角撮像装置９は通信端末１０Ｂに後述する全天球映像（第２の映像の一例）を送信する。通信端末１０Ａ、１０Ｂはそれぞれ平面撮像装置とマイクを有しており互いに映像と音声を送受信する。すなわち、通信端末１０Ｂは全天球映像と正面映像８３１（又は/及び背面映像８３２。第１の映像の一例）を通信端末１０Ａに送信し、通信端末１０Ａは正面映像８３１を通信端末１０Ｂに送信する。

また、通信端末１０Ａでは移動装置２０の移動などに関する操作を受け付けるアプリケーションソフト（以下、アプリという）が動作しており、操作者８１０は通信端末１０Ｂが送信する映像を確認しながら操作指示を入力する。操作者８１０が入力した操作指示は通信端末１０Ａから通信端末１０Ｂに送信される。

通信端末１０Ｂと移動装置２０はBluetooth（登録商標）などの近距離無線で通信でき、通信端末１０Ｂは操作指示に基づいて移動装置２０を制御するので、操作者８１０は遠隔地（自宅）から移動装置２０を移動させることができる。

このようにして移動装置２０を移動させることで、図１（ｂ）に示すように、操作者８１０は所望の相手８２０と会話することができる。図１（ｂ）では、操作者８１０はＡさん８２０ａの場所まで移動装置２０を移動させてＡさんと会話し、次に、Ｂさん８２０ｂの場所まで移動装置２０を移動させてＢさんと会話している。

人と会うだけでなく、操作者８１０は遠隔地にある店舗の商品を確認したり、工場を視察したり、展示会に参加したりするなど、現地に移動しなくても多くのことを遠隔地から行うことができる。

また、通信端末１０Ｂに内蔵された平面撮像装置が正面と後方しか撮像できないと、操作者８１０が移動装置２０の周囲の状況（例えば、足下や左右）を確認しづらい。そこで、本実施形態では、通信端末１０Ｂに周囲３６０度を撮像できる広角撮像装置９が搭載されている。広角撮像装置９は通信端末１０Ｂに搭載されていてもよいし、移動装置２０に搭載されていてもよい。広角撮像装置９は広角な範囲を撮像できるため、例えば、周囲が遮られにくい上方に配置される。図１では通信端末１０Ｂの上側に配置されているが、左側又は右側に配置されてもよいし、移動装置２０のポール部分に配置されてもよい。

図２を用いて本実施形態の通信端末１０Ａが、平面撮像装置と周囲３６０度の映像を撮像できる広角撮像装置９の映像をどのように表示するかの概略を説明する。図２は平面撮像装置が撮像した正面映像又は背面映像と広角撮像装置９が撮像した全天球映像の表示例を説明する図である。本実施形態では正面映像、背面映像及び全天球映像の配置例として３つのパターンを説明する。

図２（ａ）はパターン１の配置例を示す。パターン１は、全天球映像８４０又は正面映像（背面映像）８４１を切り替えて表示する配置例である。図２（ａ）の左図では通信端末１０Ａが全天球映像８４１を全面に表示しており、図２（ａ）の右図では正面映像（又は背面映像）８４１が全面に表示されている。全面とはディスプレイに他の要素が何ら含まれないことまでは要さず、アプリのソフトキーや別のアプリの画面が含まれていてもよい。操作者は正面映像（又は背面映像）と全天球映像を切り替えることができ、これらのどちらも大きな画面で見ることができる。

図２（ｂ）はパターン２の配置例を示す。パターン２は、全天球映像及び正面映像（背面映像）を並べて同じ画面に表示する配置例である。図２（ｂ）では全天球映像が正距円筒図法で平面に変換された正距円筒射影映像８４２が上側に小さく表示され、下側に正面映像（又は背面映像）８４３が大きく表示されている。操作者は正距円筒射影映像８４２で全体を確認しながら正面映像（又は背面映像）８４３で正面又は背面を確認できる。

図２（ｃ）はパターン３の配置例を示す。パターン３は、全天球映像及び正面映像（背面映像）のどちらかを基本映像とし、メイン画面と複数のサブ画面を組み合わせる配置例である。図２（ｃ）の左図ではメイン画面に全天球映像８４４が表示され、メイン画面の下方に２つのサブ画面（正面映像８４５と背面映像８４６）が配置されている。図２（ｃ）の右図ではメイン画面８４７に全天球映像が表示され、メイン画面に重ねて複数のサブ画面８４８が配置されている。サブ画面８４８には正面映像、背面映像、及び、全天球映像の一部の画角の複製を任意に表示できる。

図２では、全天球映像、又は正面映像（又は背面映像）の少なくとも一方に移動装置操作ボタン６１４（コントローラの一例）が表示されている。従って、操作者は全天球映像又は正面映像（又は背面映像）を見ながら移動装置２０を移動させることができる。

このように本実施形態の通信システムでは、操作者８１０の通信端末１０Ａが全天球映像と正面映像（背面映像）を適切に配置して表示するため、操作者は移動装置２０の周囲の全体的な状況を確認することも、正面又は背後の高解像度な映像を確認することもできる。

＜用語について＞
操作者８１０は移動装置２０を操作する者である。操作者８１０は通信端末１０Ａを使用するユーザでもあるが、本実施形態では操作者と称する。

会話の相手８２０は社内などの人であるが、犬や猫などの動物でもよい。また、移動装置２０は、操作者８１０が相手と話すために使用されなくてもよい。例えば、移動装置２０が社内などをパトロールするような場合、通信端末１０Ｂは映像や音声を通信端末１０Ａに送信すればよく、操作者が会話しない場合がある。

移動装置２０が移動する場所は移動装置２０が移動可能な場所であればよい。また、モータなどの動力で移動する装置に限らず、人間が補助的に移動を補助してもよい。

第１の映像は通常の画角の映像をいい、第２の映像は第１の映像よりも広角な映像をいう。通常の画角は透視射影レンズで撮像しても歪みが許容される程度の画角であり、簡単には透視射影レンズで撮像された映像ということができる。広角な映像は例えば魚眼レンズのような広角レンズで撮像された映像をいう。射影方式は立体射影、等距離射影、等立体角射影、正射影などがある。広角な映像は周囲３６０度が撮像された全天球映像に限らず、半球が撮像された映像や水平方向に１８０～３６０度が撮像された映像でもよい。

第１の映像又は第２の映像が大きく表示されるなどの「大きい」とは、第１の映像又は第２の映像の表示エリアが大きいこと、すなわち画面を占める面積の大小をいう。単位長さ当たりの画素数はどちらが大きくてもよい。

本実施形態では、動画を想定する場合は映像と称し、１枚の静止画を想定した説明の場合は画像と称するが、映像は複数の画像を有するものであり、映像と画像は厳密に区別しないものとする。

第１の映像及び第２の映像をいずれも表示できるよう制御するとは、第１の映像及び第２の映像を同時に表示すること、又は、一方のみを表示することをいい、好ましくは同時に表示するかどうか、第１の映像と第２の映像のどちらを表示するかをユーザが選択できることをいう。

移動装置を制御するコントローラとは、移動装置に何らかの制御信号を送信することができるユーザインタフェース、ソフトキー、表示部品等をいう。移動のための制御信号に限らず、電源ＯＮ/ＯＦＦ、撮像停止/再開、ランプの点灯や動画の再生などの制御信号が含まれてよい。

＜システム構成例＞
図３は、一実施形態に係る通信システムの構成例を示す図である。通信システム１は、複数の通信端末（１０Ａ，１０Ｂ１，１０Ｂ２，１０Ｂ３、１０Ｅ）、移動装置２０、中継装置３０、及び、通信管理システム５０等を有する。なお、以下の説明の中で、複数の通信端末（１０Ａ，１０Ｂ１，１０Ｂ２，１０Ｂ３，１０Ｅ）のうち、任意の通信端末を示す場合「通信端末１０」を用いる。また、通信端末（１０Ｂ１，１０Ｂ２，１０Ｂ３）のうち、任意の通信端末を示す場合「通信端末１０Ｂ」を用いる。また、図３の通信端末１０の数は一例である。

通信端末１０、中継装置３０、通信管理システム５０は、それぞれ、通信ネットワーク２を介して、他の通信端末１０、装置、システムとの間で通信可能に接続されている。通信ネットワーク２は、例えば、ＬＡＮ(Local Area Network)、インターネット、携帯電話網、あるいは専用線等を含んでいてもよい。

通信端末１０は、例えば、タブレット端末、スマートフォン、ＰＣ（Personal Computer）等の汎用の情報処理装置、又は専用のテレビ会議装置等の通信端末である。通信端末１０は、他の１つ以上の通信端末１０との間で、例えば、画像データ、音声データ等を送受信することにより、例えば、テレビ会議等を行うことができる。

通信端末１０Ａは、通信システム１に対応するアプリを実行することにより、通信端末１０Ｂとテレビ会議を行うと共に、通信端末１０Ｂを介して、移動装置２０を遠隔操作することができる。例えば、通信端末１０Ａは、テレビ会議の表示画面に表示された操作ボタンを操作することにより、通信端末１０Ｂを搭載した移動装置２０を、例えば、前後、左右等に移動させることができる。なお、通信端末１０Ａはブラウザソフトを動作させることも可能であり、ブラウザソフトが映像を表示し、ブラウザソフトに対する移動装置２０の操作を受け付けることもできる。

移動装置２０と通信端末１０Ｂ（広角撮像装置９を含む）をテレプレゼンスロボットという。移動装置２０は、移動装置２０に取り付けられた通信端末１０Ｂからの制御に応じて、例えば、複数の車輪を駆動することにより、「前進」、「後退」、「右旋回」、「左旋回」等の移動を行う走行機能を有する装置である。ユーザが左右への移動を指示した場合、「右旋回」後又は「左旋回」後に前進する。なお、図３に示す移動装置２０の外観はあくまで一例である。移動装置２０は、移動装置２０に搭載された通信端末１０Ｂからの操作指示に応じて、通信端末１０Ｂと共に移動可能であればよい。

また、移動装置２０と通信端末１０Ｂは一体でもよい。一体とは、出荷時から流通段階において移動装置２０に通信端末１０Ｂが取り付けた状態であること、移動装置２０の一部の部品として通信端末１０Ｂが存在することが外部から明らかな状態で色、デザイン、製造元、販売元に一体性が認められること、又は、移動装置２０と通信端末１０Ｂが一体不可分であり分離することが困難であるか又は分離できても機能の一部が損なわれること、等をいう。なお、移動装置２０と通信端末１０Ｂが一体の場合、通信端末１０Ｂは移動装置２０が有する通信部として扱われる。

移動装置２０と通信端末１０Ｂが一体の場合、広角撮像装置９も移動装置２０に内蔵されてもいてもよいし、広角撮像装置９は移動装置２０に外付けされていてもよい。広角撮像装置９が移動装置２０に内蔵されている場合、広角撮像装置９は移動装置２０が有する広角撮像部として扱われる。

更に、移動装置２０に通信端末１０Ｂが外付けされている場合でも、広角撮像装置９が移動装置２０に内蔵されていてもよいし、広角撮像装置９は移動装置２０に外付けされていてもよい。

また、広角撮像装置９は通信端末１０Ｂに内蔵されていてもよいし、外付けされてもよい。広角撮像装置９が通信端末１０Ｂに内蔵されている場合、広角撮像装置９は通信端末１０Ｂが有する広角撮像部として扱われる。

中継装置３０は、例えば、情報処理装置、又は１つ以上の情報処理装置を含むシステムであり、複数の通信端末１０間で送受信されるコンテンツデータ（映像、音声、操作指示情報）を中継する。ただし、中継装置３０を介することなく、複数の通信端末１０が直接、コンテンツデータを送受信してもよい。

通信管理システム５０は、例えば、情報処理装置、又は１つ以上の情報処理装置を含むシステムである。通信管理システム５０は、例えば、通信端末１０からのログイン認証、通信端末１０の通信状況の管理、宛先リストの等の管理、及び複数の通信端末１０間で中継装置３０を介して通信を行うセッションの制御等を行う。

一実施形態において、セッションは、中継装置３０が、複数の通信端末１０間で画像データ、及び音データ（音声その他の音）を含むコンテンツデータを中継することで実現される。

上記の構成において、例えば、通信端末１０Ａの操作者は、通信端末１０Ｂと通信を行い、通信端末１０Ｂ及び移動装置２０を遠隔操作により移動させることができる。これにより、通信端末１０Ａの操作者は、通信端末１０Ｂ及び移動装置２０を任意の相手の近くに移動させて、テレビ会議等を行うことができる。

また、通信システム１には、通信管理システム５０を介して一方の通信端末１０から他方の通信端末１０に一方向でコンテンツデータを伝送するデータ提供システムや、通信管理システム５０を介して複数の通信端末１０間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、中継装置３０を介して複数のコミュニケーション通信端末間で情報や感情等を相互に伝達するためのシステムであり、テレビ（又はビデオ）会議システムやテレビ電話システム等が例として挙げられる。

＜ハードウェア構成＞
＜＜通信端末のハードウェア構成＞＞
図４は、本発明の一実施形態に係る通信端末のハードウェア構成例を示す図である。通信端末１０は、一般的なコンピュータの構成を含み、例えば、ＣＰＵ（Central Processing Unit)１０１、ＲＯＭ（Read Only Memory)１０２、ＲＡＭ(Random Access Memory)１０３、フラッシュメモリ１０４、及びＳＳＤ（Solid State Drive）１０５等を有する。また、通信端末１０は、メディアＩ／Ｆ（Interface）１０７、入力部１０８、表示部１０９、ネットワークＩ／Ｆ１１１、カメラ１１２、撮像素子Ｉ／Ｆ１１３、マイク１１４、スピーカ１１５、及び音声入出力Ｉ／Ｆ１１６等を有する。更に、通信端末１０は、外部機器接続Ｉ／Ｆ１１７、近距離無線通信部１１８、及びバス１１９等を有する。

ＣＰＵ１０１は、例えば、ＲＯＭ１０２や、フラッシュメモリ１０４等からプログラムやデータを読み出し、処理を実行することで、通信端末１０が備える各機能を実現する演算装置である。ＲＯＭ１０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリア等として利用される揮発性のメモリである。

フラッシュメモリ１０４は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、及び各種のデータ等を記憶するストレージデバイスである。ＳＳＤ１０５は、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出し、書き込みを制御する。メディアＩ／Ｆ１０７は、例えば、メモリカード等の記録媒体である記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御する。記録媒体には通信端末１０を制御するプログラムが記憶され得る。

入力部１０８は、例えば、タッチパネル、キーボード、ポインティングデバイス等の操作者からの入力操作を受け付けるための入力装置である。音声入力が可能でもよい。表示部１０９は、操作者に向けた各種の表示を行う表示装置である。なお、入力部１０８、及び表示部１０９は、例えば、タッチパネルとディスプレイが一体化されたタッチパネルディスプレイ等の表示入力部１１０であっても良い。

ネットワークＩ／Ｆ１１１は、通信端末１０が通信ネットワーク２を利用してデータを送信したり受信したりするための通信インタフェースである。カメラ１１２は、ＣＰＵ１０１の制御に従って被写体を撮像するための撮像素子を含む。撮像素子Ｉ／Ｆ１１３は、カメラ１１２による撮像を制御すると共に、撮像したデータを所定の画像データに変換する。カメラ１１２は平面撮像装置であり、広角撮像装置９よりも狭い画角で撮像するが、広角撮像装置９よりも高解像度である。解像度とはデジタル画像の細かさを表す度合いのことであり、解像度はデジタル画像を構成する個々の単位点（ドット、ピクセル）の細かさを数値化することによって表現される。解像度を表す単位には一般に「ドット」が用いられる。ディスプレイの場合は、多くの場合「１０２４×７６８ドット」のようにヨコ×タテに並んでいる数で表される。同じ撮像範囲で比較すると、広角撮像装置９のドット数はカメラ１１２のドット数よりも少ない。

マイク１１４は、収録した音声を電気信号に変換する。スピーカ１１５は、音声信号を音声に変換して出力する。音声入出力Ｉ／Ｆ１１６は、マイク１１４及びスピーカ１１５による音声の入出力を制御する。

外部機器接続Ｉ／Ｆ１１７は、例えば、ＵＳＢ(Universal Serial Bus)等の外部機器を接続するためのインタフェースである。外部機器には、例えば、図３の移動装置２０等が含まれる。

近距離無線通信部１１８は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ等の近距離無線通信により、外部機器（例えば移動装置２０）と通信するための通信インタフェースである。バス１１９は、上記の各構成に共通に接続され、アドレス信号、データ信号、及び各種の制御信号等を伝達する。

＜＜通信管理システム、中継装置のハードウェア構成＞＞
図５は、一実施形態に係る通信管理システムのハードウェア構成例を示す図である。通信管理システム５０は、一般的なコンピュータの構成を有しており、例えば、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ（Hard Disk Drive）５０５、メディアドライブ５０７、及びディスプレイ５０８等を有する。また、通信管理システム５０は、ネットワークＩ／Ｆ５０９、キーボード５１１、マウス５１２、ＣＤ－ＲＯＭドライブ５１４、及びバス５１０等を有する。

ＣＰＵ５０１は、例えば、ＲＯＭ５０２、ＨＤ５０４等に格納されたプログラムやデータを読み出し、処理を実行することにより、通信管理システム５０が備える各機能を実現する演算装置である。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリア等として利用される揮発性のメモリである。

ＨＤ５０４は、例えば、ＯＳや、アプリケーションプログラム等のプログラムや、各種のデータを記憶するストレージ装置である。ＨＤＤ５０５は、ＣＰＵ５０１の制御に従って、ＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０８は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種の情報を表示する表示装置である。

ネットワークＩ／Ｆ５０９は、通信ネットワーク２を利用してデータ通信を行うための通信インタフェースである。キーボード５１１は、システム管理者による文字、数値、各種指示などの入力操作を受け付けるための入力装置の一例である。マウス５１２は、システム管理者による各種指示の選択や実行、処理対象の選択、カーソルの移動等の操作を受け付けるポインティングデバイスの一例である。

なお、ディスプレイ５０８、キーボード５１１及びマウス５１２に関して、通信管理システム５０又は中継装置３０は普段は有していなくてもよい。この場合、必要に応じて接続されてよい。

メディアドライブ５０７は、例えば、メモリカード等の記録メディア５０６に対するデータの読み出しや、書き込み（記憶）を制御する。ＣＤ－ＲＯＭドライブ５１４は、着脱可能な記録媒体の一例としてのディスク５１３に対するデータの読み出し又は書き込みを制御する。バス５１０は、上記の各構成要素を電気的に接続し、アドレス信号、データ信号、及び各種の制御信号等を伝達する。

なお、上記のコンピュータのハードウェア構成はあくまで一例である。

中継装置３０は、通信管理システム５０と同様のハードウェア構成を有しているものとする。なお、通信端末１０、中継装置３０、及び通信管理システム５０用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク、ＵＳＢメモリ等が挙げられる。また、各プログラムが記憶されたＣＤ－ＲＯＭ等の記録メディア、並びに、これらプログラムが記憶されたＨＤ５０４は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。

＜＜移動装置のハードウェア構成＞＞
図６は、一実施形態に係る移動装置のハードウェア構成例を示す図である。移動装置２０は、例えば、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、外部機器Ｉ／Ｆ４０４、近距離無線通信部４０５、車輪駆動部４０６、操舵部４０７等を有する。

ＣＰＵ４０１は、ＲＯＭ４０３等に格納されたプログラムを実行することにより、移動装置２０の各機能を実現する演算装置である。ＲＡＭ４０２は、ＣＰＵ４０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ４０３は、移動装置２０のプログラム等を記憶する不揮発性のメモリである。ＲＯＭ４０３は、例えば、フラッシュＲＯＭ等の書き換え可能な不揮発性メモリであっても良い。

外部機器Ｉ／Ｆ４０４は、通信端末１０の外部機器接続Ｉ／Ｆ１１７等と有線接続し、通信を行うための有線通信インタフェースである。

近距離無線通信部４０５は、例えば、通信端末１０の近距離無線通信部１１８と同じ無線通信方式により無線通信を行うための無線通信インタフェースである。移動装置２０は、例えば、外部機器Ｉ／Ｆ４０４、又は近距離無線通信部４０５により、通信端末１０と通信可能であれば良い。

車輪駆動部４０６は、移動装置２０を移動させるための車輪を駆動させる駆動装置の一例である。車輪駆動部４０６には、例えば、モータ等が含まれる。

操舵部４０７は、車輪駆動部４０６によって移動する移動装置２０の操舵を行う操舵装置の一例である。操舵部４０７は、例えば、車輪の向きや傾きを変えるものであっても良いし、左右の車輪の回転数や速度等を制御することにより、移動装置２０の向きを変えるもの等であっても良い。

＜＜広角撮像装置のハードウェア構成例＞＞
図７を用いて、広角撮像装置９のハードウェア構成を説明する。図７は、広角撮像装置９の一例のハードウェア構成図である。以下では、広角撮像装置９は、２つの撮像素子を使用した全天球（全方位）広角撮像装置９であるが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に広角撮像装置９と同じ機能を有するようにしてもよい。

図７に示されているように、広角撮像装置９は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、ＣＰＵ(Central Processing Unit)３１１、ＲＯＭ(Read Only Memory)３１２、ＳＲＡＭ(Static Random Access Memory)３１３、ＤＲＡＭ(Dynamic Random Access Memory)３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、アンテナ３１７ａ、電子コンパス３１８、ジャイロセンサ３１９、及び、加速度センサ３２０なども接続される。

このうち、撮像ユニット３０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）３０２ａ，３０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子３０３ａ，３０３ｂを備えている。撮像素子３０３ａ，３０３ｂは、魚眼レンズ３０２ａ，３０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、各々、画像処理ユニット３０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、撮像制御ユニット３０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット３０４、撮像制御ユニット３０５及び音処理ユニット３０９は、バス３１０を介してＣＰＵ３１１と接続される。更に、バス３１０には、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、及び電子コンパス３１８なども接続される。

画像処理ユニット３０４は、撮像素子３０３ａ，３０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図９（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット３０５は、一般に撮像制御ユニット３０５をマスタデバイス、撮像素子３０３ａ，３０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ３１１から受け取る。また、撮像制御ユニット３０５は、同じくＩ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ３１１に送る。

また、撮像制御ユニット３０５は、操作部３１５のシャッターボタンが押下されたタイミングで、撮像素子３０３ａ，３０３ｂに画像データの出力を指示する。広角撮像装置９によっては、ディスプレイ（例えば、通信端末１０Ｂのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子３０３ａ，３０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット３０５は、後述するように、ＣＰＵ３１１と協働して撮像素子３０３ａ，３０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、広角撮像装置９にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク３０８は、音を音（信号）データに変換する。音処理ユニット３０９は、マイク３０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ３１１は、広角撮像装置９の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ３１２は、ＣＰＵ３１１のための種々のプログラムを記憶している。ＳＲＡＭ３１３及びＤＲＡＭ３１４はワークメモリであり、ＣＰＵ３１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ３１４は、画像処理ユニット３０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部３１５は、シャッターボタンなどの操作ボタンの総称である。操作者は操作部３１５を操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ３１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ３１６としては、無線、有線を問わない。ＤＲＡＭ３１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ３１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ３１６を介して通信端末１０Ｂ等の外部端末（装置）に送信されたりする。

通信部３１７は、広角撮像装置９に設けられたアンテナ３１７ａを介して、Wi－Fi、NFC、Bluetooth（登録商標）等の近距離無線通信技術によって、通信端末１０Ｂの外部端末（装置）と通信を行う。この通信部３１７によっても、正距円筒射影画像のデータを通信端末１０Ｂ等の外部端末（装置）に送信することができる。

電子コンパス３１８は、地球の磁気から広角撮像装置９の方位を算出し、方位情報を出力する。この方位情報はExif(Exchangeable image file format)に沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ３１９は、広角撮像装置９の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ３２０は３軸方向の加速度を検出する。検出した加速度に基づいて広角撮像装置９の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ３１９と加速度センサ３２０は両方を有することで画像補正の精度が向上する。

＜全天球映像について＞
次に、図８を用いて、広角撮像装置９の使用状況を説明する。なお、図８は、広角撮像装置９の使用イメージ図である。広角撮像装置９は、図８に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図７に示されている撮像素子３０３ａ及び撮像素子３０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図９及び図１０を用いて、広角撮像装置９で撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図９（ａ）は広角撮像装置９で撮像された半球画像（前側）、図９（ｂ）は広角撮像装置９で撮像された半球画像（後側）、図９（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図１０（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図１０（ｂ）は全天球画像を示した図である。

図９（ａ）に示されているように、撮像素子３０３ａによって得られた画像は、後述の魚眼レンズ３０２ａによって湾曲した半球画像（前側）となる。また、図９（ｂ）に示されているように、撮像素子３０３ｂによって得られた画像は、魚眼レンズ３０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、広角撮像装置９によって合成され、図９（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図１０（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図１０（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions) 及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図１１及び図１２を用いて説明する。

なお、図１１は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見る操作者の視点の位置に相当するものである。また、図１２（ａ）は図１１の立体斜視図、図１２（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図１２（ａ）では、図１１に示されている全天球画像が、三次元の立体球ＣＳで表されている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図１２に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。従って、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図１３参照）。

そして、図１２（ａ）に示されている所定領域画像Ｑは、図１２（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図１２（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮像方向（ea，aa）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図１３を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図１３は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図１３に示されているように、「ea」はelevation angle（仰角）、「aa」はazimuth angle（方位角）、「α」は画角(Angle)を示す。即ち、撮像方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。図１３に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図１３では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
＜機能について＞
次に、図１４を用いて通信システムの機能について説明する。図１４は、通信システム１が有する通信管理システム５０、通信端末１０Ｂ、及び、通信端末１０Ａの機能をブロック状に示す機能ブロック図である。

＜＜通信端末１０Ａの機能構成＞＞
通信端末１０Ａは、例えば、移動装置２０等の機器の制御のための操作指示を受け付ける。通信端末１０Ａは、送受信部１１、操作入力受付部１２、通信制御部１３、撮像部１４、音声入力部１５ａ、音声出力部１５ｂ、表示制御部１６、及び記憶・読出部１７を有している。これらの各部は、図４に示されている各構成要素のいずれかが、フラッシュメモリ１０４からＲＡＭ１０３上に展開された通信端末１０用のプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、通信端末１０は、図４に示されているＲＡＭ１０３、及び図４に示されているフラッシュメモリ１０４によって実現される記憶部１８を有している。

＜＜通信端末１０Ｂの機能構成＞＞
通信端末１０Ｂは、移動装置２０に搭載された通信端末１０である。通信端末１０Ｂは、例えば、移動装置２０等の機器の制御機能を有する通信端末１０の一例である。通信端末１０Ｂは、前述した通信端末１０Ａの機能構成に加えて、操作指示受信部１９ａ、全天球映像受信部１９ｂ、機器制御部１９ｃ、及び、機器間通信部１９ｄ等を有する。なお、通信端末１０Ａもこれら追加の構成を有している。

（通信端末１０の各機能構成）
次に、通信端末１０（通信端末１０Ａ及び通信端末１０Ｂ）の各機能構成について詳細に説明する。

送受信部１１は、通信ネットワーク２を介して他の通信端末、装置又はシステムと各種データ（又は情報）の送受信を行う。送受信部１１は、所望の宛先端末と通話を開始する前から、通信管理システム５０より、宛先候補としての各通信端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各通信端末１０の稼動状態（ＯＮラインかＯＦＦラインかの状態）だけでなく、ＯＮラインの場合、更に通話可能であるか、通話中であるか等の詳細な状態を示す。

通信端末１０Ａの送受信部１１は、通信端末１０Ｂ（又は通信端末１０Ｂが有する通信部）が送信した第１の映像、及び、通信端末１０Ｂ又は移動装置に接続若しくは一体の広角撮像装置９が撮像した全天球映像を受信する。

操作入力受付部１２は、操作者による通信端末に対する各種入力を受け付ける。例えば、操作者が、通信端末１０の電源をＯＮさせる操作を行うと、操作入力受付部１２が操作を受け付けて電源をＯＮに制御する。

通信制御部１３は、例えば、上記電源ＯＮの受付を契機として、送受信部１１から通信ネットワーク２を介して通信管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のＩＰアドレスを自動的に送信する。また、操作者が、通信端末１０の電源をＯＦＦする操作を行うと、送受信部１１が通信管理システム５０へ電源をＯＦＦする旨の状態情報を送信した後に、操作入力受付部１２が電源をＯＦＦにする。これにより、通信管理システム５０側では、通信端末１０が電源ＯＮから電源ＯＦＦになったことを把握することができる。

また、通信制御部１３は、中継装置３０を介して、他の通信端末１０とコンテンツデータの送受信を行うセッションの確立や、切断等、様々な通信制御を行う。なお、本実施形態に係る通信制御部１３は、通信管理システム５０に送信するセッションの制御情報（例えば、後述する開始要求情報、開始応答情報等）に、通信端末１０の通信ＩＤ（Identification）を含めて送信する。

通信ＩＤは、通信端末１０を用いてコンテンツデータの送受信を行うセッションに参加可能なアカウントの識別情報の一例である。通信ＩＤは、例えば、操作者の識別情報であるユーザＩＤ、アプリの識別情報であるアプリＩＤ、通信端末１０の契約者の識別情報である契約ＩＤ等であっても良い。また、通信ＩＤとしては、文字、数字、記号、及び各種のしるしのうち、少なくとも２つが組み合わされた情報が挙げられる。メールアドレスなどでもよい。

撮像部１４は、被写体を撮像して得られた撮像データを、所定の画像（映像）データに変換して出力する。撮像部１４は通信端末の正面側に１つ（正面映像を撮像）、背面側に１つある（背面映像を撮像）。これ以上の数の撮像部があってもよい。

音声入力部１５ａは、マイク１１４によって操作者の音声が音声信号に変換された後、この音声信号を所定の音声データに変換して出力する。音声出力部１５ｂは、音声データを音声信号に変換してスピーカに出力して、スピーカ１１５から音声を出力させる。

表示制御部１６は、例えば、通信端末１０が受信したコンテンツデータに含まれる画像データを表示部１０９、又は表示入力部１１０等に表示させる。また、表示制御部１６は、通信管理システム５０から受信した宛先リストの情報を表示部１０９に送信して、表示部１０９に宛先リストを表示させることができる。

通信端末１０Ａの表示制御部１６は、送受信部１１が受信した正面映像又は背面映像をいずれも表示できるよう制御すると共に、移動装置２０を制御する移動装置操作ボタン６１４を正面映像又は背面映像に重ねて表示装置に表示する。

記憶・読出部１７は、記憶部１８に各種データを記憶したり、記憶部１８に記憶された各種データを読み出したりする処理を行う。

記憶部１８には、例えば、前述した通信ＩＤと通信ＩＤに対応するパスワード等の認証情報が記憶される。記憶部１８には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによって表示部１０９等に画像が表示され、上書きされる前の音声データによってスピーカ１１５から音声が出力される。

続いて、通信端末１０Ｂに含まれる各機能構成について説明する。

全天球映像受信部１９ｂは、例えば、Bluetooth（登録商標）などの無線通信又はＵＳＢケーブルなどの有線通信で広角撮像装置９から正距円筒射影映像を受信する。正距円筒射影映像は動画と見なせる程度の頻度で繰り返し送信される動画である。ただし、静止画でもよいし、動画と静止画を切り替え可能であってもよい。

操作指示受信部１９ａは、送受信部１１を介して、通信端末１０Ａから通信端末１０Ｂに対する機器（移動装置２０）の制御を要求する操作指示情報を受信する。この操作指示情報には、例えば、操作指示情報を送信した通信端末１０の通信ＩＤ、及び要求する制御内容を示す操作指示等が含まれる。

機器制御部１９ｃは、操作指示受信部１９ａで受信された操作指示情報に含まれる操作指示に基づいて、移動装置２０を制御する。機器間通信部１９ｄは、近距離無線通信部１１８を用いて移動装置２０と通信を行う。

＜＜移動装置の機能構成＞＞
移動装置２０は、例えば、機器間通信部２１、及び走行制御部２２等を有する。機器間通信部２１は、例えば、図６に示されているＣＰＵ４０１からの命令、及び外部機器Ｉ／Ｆ４０４、又は近距離無線通信部４０５等によって実現される。ここでは、機器間通信部２１は、近距離無線通信部４０５を用いて通信端末１０Ｂと通信を行うものとする。

走行制御部２２は、通信端末１０Ａから取得した制御内容に応じて、例えば、図６の車輪駆動部４０６、及び操舵部４０７を制御することにより、移動装置２０を前進、後退、左旋回、右旋回等の移動（走行）を制御する。

＜＜広角撮像装置の機能構成＞＞
広角撮像装置９は、例えば、広角画像送信部３１、及び広角画像撮像部３２等を有する。広角画像撮像部３２は周囲３６０度の広角な正距円筒射影映像を所定のフレームレートで撮像する。静止画を撮像してもよい。広角画像送信部３１は、図７に示した通信部３１７により実現されており、動画又は静止画の正距円筒射影映像を通信端末１０Ｂに送信する。

＜＜通信管理システムの機能構成＞＞
通信管理システム５０は、送受信部５１、端末認証部５２、端末管理部５３、端末抽出部５４、セッション管理部５５、及び記憶・読出部５７等を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５０用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム５０は、図５に示されているＨＤ５０４等により実現される記憶部５０００を有している。

（通信管理システムの各機能構成）
次に、通信管理システム５０の各機能構成について詳細に説明する。送受信部５１は、通信ネットワーク２を介して他の通信端末、装置又はシステムと各種データ（又は情報）の送受信を行う。

端末認証部５２は、送受信部５１を介して受信されたログイン要求情報に含まれている通信ＩＤ及びパスワードの組み合せが、認証管理ＤＢ（Database）５００２に含まれるか否かを判断することにより通信端末１０の認証を行う。

端末管理部５３は、端末管理ＤＢ５００３に、通信ＩＤ毎の、宛先名、稼動状態、要求情報等の受信日時、及び要求元端末のＩＰアドレス等を関連付けて記憶して、管理する。例えば、端末管理部５３は、操作者が通信端末１０の電源をＯＮからＯＦＦにすることで、通信端末１０から送られてきた、電源をＯＦＦする旨の状態情報に基づいて、端末管理ＤＢ５００３の稼動状態をＯＮラインからＯＦＦラインに変更する。

端末抽出部５４は、ログイン要求した要求元端末の通信ＩＤをキーとして、宛先リスト管理ＤＢ５００４を検索し、要求元端末と通話することができる宛先端末の通信ＩＤを抽出する。更に、端末抽出部５４は、宛先リスト管理ＤＢ５００４を検索し、上記要求元端末の通信ＩＤを宛先端末の候補として登録している他の通信端末の通信ＩＤも抽出する。

更に、端末抽出部５４は、抽出された宛先端末の候補の通信ＩＤを検索キーとして、前述した端末管理ＤＢ５００３を検索し、抽出された通信ＩＤ毎に稼動状態を読み出す。これにより、端末管理部５３は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末管理部５３は、要求元の通信ＩＤを検索キーとして、前述した端末管理ＤＢ５００３を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。

セッション管理部５５は、通信管理システム５０が管理するセッションの制御を行う。セッションの制御には、例えば、セッションを確立するための制御、確立されたセッションに通信端末１０を参加させる制御、セッションを切断する制御、セッションＩＤの生成等が含まれる。また、セッション管理部５５は、セッションの識別情報であるセッションＩＤに対応づけて、セッションの開始を要求した通信端末１０の通信ＩＤ、及び宛先端末の通信ＩＤ等を、セッション管理ＤＢ５００５に記憶して、管理する。

記憶・読出部５７は、図５に示されているＣＰＵ５０１からの命令及びＨＤＤ５０５によって実現され、又はＣＰＵ５０１からの命令によって実現される。記憶・読出部５７は、記憶部５０００への各種データを記憶、及び記憶部５０００からの各種データの読み出しを行う。

＜通信管理システムが管理する情報の例＞
通信管理システム５０の記憶部５０００に記憶されている各管理ＤＢについて説明する。

通信管理システム５０の記憶部５０００に記憶された認証管理ＤＢ５００２には、例えば、表１に示されているような認証管理テーブル６０２が含まれる。この認証管理テーブル６０２では、通信管理システム５０によって管理される通信端末１０の通信ＩＤと、通信ＩＤに対応するパスワードとが関連付けられて管理されている。例えば、表１に示されている認証管理テーブル６０２において、通信ＩＤが「０１ａａ」の通信端末１０のパスワードは、「ａａａａ」であることが示されている。

通信管理システム５０の記憶部５０００に記憶された端末管理ＤＢ５００３には、例えば、表２に示されているような端末管理テーブル６０３が含まれる。この端末管理テーブル６０３では、通信端末１０の通信ＩＤ毎に、各通信端末１０を宛先とした場合の宛先名、各通信端末１０の稼動状態、後述のログイン要求情報が通信管理システム５０で受信された受信日時、及び通信端末１０のＩＰアドレスが関連付けられて管理される。例えば、表２に示されている端末管理テーブル６０３において、通信ＩＤが「０１ａａ」の通信端末１０は、端末名が「日本 本社」で、稼動状態が「ＯＮライン（通信可能）」であることが示されている。また、通信ＩＤが「０１ａａ」の通信端末１０は、通信管理システム５０でログイン要求情報が受信された日時が「２０ｘｘ年４月１０日の１３時４０分」で、ＩＰアドレスが「１．２．１．３」であることが示されている。

通信管理システム５０の記憶部５０００に記憶された宛先リスト管理ＤＢ５００４には、例えば、表３に示されているような宛先リスト管理テーブル７０１が含まれる。この宛先リスト管理テーブル７０１では、テレビ会議における通信の開始を要求する要求元端末の通信ＩＤに対して、宛先端末の候補として登録されている宛先端末の通信ＩＤが全て関連付けられて管理される。例えば、表３に示されている宛先リスト管理テーブル７０１において、通信ＩＤが「０１ａａ」である要求元端末から通信の開始を要求することができる宛先端末の候補は、通信ＩＤが「０１ｂ１」、「０１ｂ２」、及び「０１ｂ３」の通信端末である。この宛先端末の候補は、任意の要求元端末から通信管理システム５０に対する追加又は削除の要請により、通信管理システム５０によって追加又は削除されることで更新される。

このような構成によれば、要求元端末（例えば、０１ａａ）は予め登録されている宛先端末の候補（例えば、０１ｂ１）としか通信を開始できない。この宛先端末（例えば、０１ｂ１）も要求元端末（例えば、０１ａａ）を宛先端末として宛先リスト管理テーブル７０１に登録しておかなければ要求元端末と通信できない。このような仕組みは想定外の通信端末１０同士が通信する可能性を低減できる点で好ましい。ただし、宛先リスト管理テーブル７０１への登録を不要にして任意に通信端末１０同士が通信できてもよい。

通信管理システム５０の記憶部５０００に記憶されたセッション管理ＤＢ５００５には、例えば、表４に示されているようなセッション管理テーブル７０２が含まれる。このセッション管理テーブル７０２には、セッションの識別情報であるセッションＩＤ毎に、中継に使用される中継装置３０の中継装置ＩＤ、要求元端末の通信ＩＤ、宛先端末の通信ＩＤ、及びセッション参加日時等の情報が管理される。例えば、表４に示されているセッション管理テーブル７０２において、セッションＩＤ「ｓｅ２」のセッションは、要求元端末の通信ＩＤ「０１ａｄ」と宛先端末の通信ＩＤ「０１ｃａ」との間で行われていることが示されている。また、セッションＩＤ「ｓｅ２」のセッションは、中継装置ＩＤ「１１１ｂ」の中継装置３０を介して、「２０ｘｘ／４／１０ １３：１１：１１」に開始されたことが示されている。

＜処理の流れ＞
次に、通信システム１の処理の流れについて説明する。

（準備段階の処理）
図１５は、通信システム１の通信の準備段階の処理の例を示すシーケンス図である。ここでは、一例として、通信端末１０Ａと通信端末１０Ｂ１によるセッションを開始する前の準備段階における処理について説明する。なお、以下の説明の中で、通信端末１０Ａの通信ＩＤは「０１ａａ」、通信端末１０Ｂ１の通信ＩＤは「０１ｂ」であるものとする。

まず、要求元端末である通信端末１０Ａの操作者が、例えば、通信端末１０Ａの電源をＯＮにする操作を行うと、操作入力受付部１２が電源ＯＮにする操作を受け付けて、通信端末１０Ａの電源をＯＮにする（ステップＳ２１）。

そして、通信制御部１３は、上記の電源ＯＮを契機とし、送受信部１１から通信ネットワーク２を介して通信管理システム５０に、ログインを要求するログイン要求情報を送信する（ステップＳ２２）。なお、ログイン要求情報が、通信端末１０Ａの電源をＯＮにする操作によって送信されるのは一例であって、例えば、操作者による入力部１０８への操作や、アプリの起動等によって送信されるものであっても良い。

また、ログイン要求情報には、要求元としての自機である通信端末１０Ａを識別するための通信ＩＤ（要求元端末の通信ＩＤ）及びパスワードが含まれている。これら通信ＩＤ及びパスワードは、例えば、記憶・読出部１７を介して記憶部１８から読み出された情報である。また、通信端末１０Ａから通信管理システム５０へログイン要求情報が送信される際に、受信側である通信管理システム５０は、送信側である通信端末１０ＡのＩＰアドレスを把握することができる。

次に、通信管理システム５０の端末認証部５２は、送受信部５１を介して受信したログイン要求情報に含まれている通信ＩＤ及びパスワードを検索キーとして、前述した認証管理テーブル６０２を検索する。端末認証部５２は、通信端末１０Ａから受信したログイン要求情報に含まれる通信ＩＤ及びパスワードの組み合せが、認証管理テーブル６０２に含まれるか否かによって認証を行う（ステップＳ２３）。

端末認証部５２により、正当な利用権限を有する通信端末１０Ａからのログイン要求であると判断された場合、端末管理部５３は、端末管理テーブル６０３に記録されている通信端末１０Ａの通信ＩＤ「０１ａａ」の稼動状態を、「ＯＮライン（通信可能）」に変更する。このとき、端末管理部５３は、受信日時を更新し、また、必要に応じて、通信端末１０のＩＰアドレスを更新する（ステップＳ２４）。これにより、端末管理テーブル６０３には、通信端末１０Ａの通信ＩＤ「０１ａａ」に、稼動状態「ＯＮライン（通信可能）」、受信日時「２０ｘｘ．４．１０．１３：４０」及び通信端末１０ＡのＩＰアドレス「１．２．１．３」が関連付けて管理される。

そして、通信管理システム５０の送受信部５１は、上記の端末認証部５２によって得られた認証結果が示された認証結果情報を、通信ネットワーク２を介して、上記ログイン要求してきた要求元端末である通信端末１０Ａに送信する（ステップＳ２５）。ここでは、端末認証部５２によって正当な利用権限を有する通信端末であると判断された場合について、以下で説明する。

通信管理システム５０の端末抽出部５４は、ログイン要求した要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理テーブル７０１を検索する。これにより、端末管理部５３は、要求元端末（通信端末１０Ａ）と通信することができる宛先端末の候補の通信ＩＤを抽出する（ステップＳ２６）。ここでは、一例として、要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」に対応する宛先端末の通信ＩＤとして、「０１ｂ１」、「０１ｂ２」、「０１ｂ３」が抽出されるものとする。

次に、端末抽出部５４は、抽出された宛先端末の候補の通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）を検索キーとして、端末管理テーブル６０３を検索する。これにより、抽出された通信ＩＤ毎に稼動状態を読み出すことにより、通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）の各稼動状態を取得する（ステップＳ２７）。

次に、送受信部５１は、宛先端末の候補の通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）のそれぞれの稼動状態が含まれた宛先状態情報を、要求元端末（通信端末１０Ａ）に送信する（ステップＳ２８）。これにより、要求元端末（通信端末１０Ａ）は、この要求元端末（通信端末１０Ａ）の宛先端末の候補となる通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）の現時点の稼動状態を把握することができる。通信端末１０Ａは図１６に示される宛先選択画面を表示する。

更に、通信管理システム５０の端末抽出部５４は、ログイン要求してきた要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理テーブル７０１を検索する。これにより、端末抽出部５４は、要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」を宛先端末の候補として登録している他の要求元端末の通信ＩＤを抽出する（ステップＳ２９）。表３に示されている宛先リスト管理テーブル７０１では、抽出される他の要求元端末の通信ＩＤは、「０１ｂ１」、「０１ｂ２」及び「０１ｂ３」である。

次に、通信管理システム５０の端末管理部５３は、上記ログイン要求して来た要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」を検索キーとして、端末管理テーブル６０３を検索する。これにより、端末管理部５３は、ログイン要求してきた要求元端末（通信端末１０Ａ）の稼動状態を取得する（ステップＳ３０）。

そして、通信管理システム５０の端末管理部５３は、上記ステップＳ２９で抽出された通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）のうち、端末管理テーブル６０３で稼動状態が「ＯＮライン（通信可能）」となっている通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）を抽出する。

また、送受信部５１は、抽出された通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）に対応する通信端末１０Ｂ１に、要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」と稼動状態「ＯＮライン（通信可能）」が含まれる宛先状態情報を送信する（ステップＳ３１）。

一方、他の通信端末１０Ｂ１でも、例えば、電源ＯＮの操作等に応じて、上記ステップＳ２２～Ｓ３２の処理と同様の処理を行う。通信端末１０Ｂ１の電源ＯＮは例えば移動装置２０の管理者などによって行われる。

＜宛先選択画面＞
図１６は、通信端末１０Ａに表示される宛先選択画面の一例を示す図である。図１６に示す宛先選択画面１２０１には、操作者に宛先の通信端末１０の選択を促すメッセージ１２０２と、宛先の通信端末１０を選択する複数のボタン１２０３が表示されている。通信端末１０Ａの操作者は、例えば、表示された複数のボタン１２０３の中から１つのボタン１２０３を選択することにより、セッションへの参加を要求する宛先端末を選択する。つまり、どの移動装置２０を制御するかを選択する。図１６に示すように、操作者が複数の通信端末１０Ｂを選択できることで、操作者は異なる拠点の状況を同じ場所から把握できる。

＜通信処理＞
図１７は、通信システム１の通信処理の例を示すシーケンス図である。ここでは、通信端末１０Ａと、移動装置２０を制御可能な機器制御端末である通信端末１０Ｂ１との間で通信を開始する通信管理方法の例について説明する。

ステップＳ９０１において、通信端末１０Ａの操作入力受付部１２は通信端末１０Ａの操作者による、宛先端末（通信端末１０Ｂ１）の選択操作を受け付ける。

通信端末１０Ａの送受信部１１は通信管理システム５０にセッションの開始を要求する開始要求情報を送信する（ステップＳ９０２）。この開始要求情報には、例えば、要求元端末である通信端末１０Ａの通信ＩＤである要求元端末の通信ＩＤ、宛先端末である通信端末１０Ｂ１の通信ＩＤである宛先端末の通信ＩＤ等が含まれる。また、開始要求情報には、通信端末１０ＡのＩＰアドレス（要求元ＩＰアドレス）等の情報も含まれる。

ステップＳ９０３において、通信端末１０Ａから開始要求情報を受信した通信管理システム５０の端末管理部５３は、開始要求情報に含まれる要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」に基づいて、端末管理ＤＢ５００３を更新する。例えば、端末管理部５３は、通信端末１０Ａの通信ＩＤ「０１ａａ」に対応する稼動状態の情報を「ＯＮライン（通信中）」に変更し、受信日時の情報も更新する。

ステップＳ９０４において、通信管理システム５０のセッション管理部５５は、宛先端末である通信端末１０Ｂ１にセッションの開始を要求する開始要求情報を送信する。この開始要求情報には、例えば、要求元端末である通信端末１０Ａの要求元端末の通信ＩＤが含まれる。

ステップＳ９０５において、通信管理システム５０から開始要求情報を受信した通信端末１０Ｂ１は、通信管理システム５０に開始応答情報を送信する。この開始応答情報には、例えば、通信端末１０Ｂ１の宛先端末の通信ＩＤ等が含まれる。本実施形態では、通信端末１０Ｂ１側の操作は必要なく開始応答情報が送信されるものとするが、通信端末１０Ｂ１を管理者が操作することを条件としてもよい。

ステップＳ９０６において、通信端末１０Ｂ１から開始応答情報を受信した通信管理システム５０の端末管理部５３は、開始応答情報に含まれる通信端末１０Ｂ１の通信ＩＤ「０１ｂ１」に基づいて、端末管理ＤＢ５００３を更新する。例えば、端末管理部５３は、通信端末１０Ｂ１の通信ＩＤ「０１ｂ１」に対応する稼動状態の情報を「ＯＮライン（通信中）」に変更し、受信日時の情報を更新する。

ステップＳ９０７において、通信管理システム５０のセッション管理部５５は、セッションを識別するための識別情報であるセッションＩＤを採番する。また、セッション管理部５５は、作成されたセッションＩＤを、要求元端末の通信ＩＤ（通信端末１０Ａの通信ＩＤ）、及び宛先端末の通信ＩＤ（通信端末１０Ｂ１の通信ＩＤ）と対応づけてセッション管理ＤＢ５００５に記憶する。

ステップＳ９０９において、通信管理システム５０のセッション管理部５５は、中継装置３０に、セッション情報を送信する。このセッション情報には、例えば、ステップＳ９０７で作成されたセッションＩＤ等の情報が含まれる。中継装置３０はセッションＩＤに基づいてセッション管理ＤＢ５００５からセッション情報を取得できる。

ステップＳ９１０ａにおいて、通信管理システム５０のセッション管理部５５は、通信端末１０Ａにセッションの開始を指示する開始指示情報を送信する。同様に、ステップＳ９１０ｂにおいて、通信管理システム５０のセッション管理部５５は、通信端末１０Ｂ１にセッションの開始を指示する開始指示情報を送信する。開始指示情報にはセッションＩＤが含まれ、通信端末１０はセッションＩＤに基づいてセッション管理ＤＢ５００５からセッション情報を取得できる。

ステップＳ９１１ａにおいて、通信端末１０Ａは、受信した開始指示情報に基づいて、中継装置３０との間でセッションを確立する。同様に、ステップ９１１ｂにおいて、通信端末１０Ｂ１は、受信した開始指示情報に基づいて、中継装置３０との間でセッションを確立する。これにより、同じセッションに通信端末１０Ａと１０Ｂ１が参加できる。

ステップＳ９１１ｃにおいて、広角撮像装置９の広角画像送信部３１は正距円筒射影映像を通信端末１０Ｂ１に送信する。例えば、通信端末１０Ｂ１がセッションを確立すると、通信端末１０Ｂ１が正距円筒射影映像の撮像と送信の開始を広角撮像装置９に指示する。あるいは、広角撮像装置９の電源がＯＮの間、常に、広角撮像装置９が正距円筒射影映像を通信端末１０Ｂ１に送信してもよい。また、正距円筒射影映像はセッションの確立前から送信されてもよい。

通信端末１０Ａと通信端末１０Ｂ１は、同じセッションＩＤのセッションに参加し、画像データや音声データ等のコンテンツデータを送受信することにより、例えば、テレビ会議を行うことができる（Ｓ９１２）。この画像データには正距円筒射影映像、正面映像、及び、背面映像が含まれている。

また、通信端末１０Ａは、確立されたセッションを用いて、通信端末１０Ｂ１との間で機器（例えば移動装置２０）の操作に関する情報を送受信することができる。

なお、機器の操作に関する情報の送受信は、セッションを用いずに、通信管理システム５０を介した制御セッションを用いて送受信されるものであっても良いし、通信ネットワーク２等を介して、通信端末１０Ａと通信端末１０Ｂ１との間で送受信されるものであっても良い。

ここでは、通信端末１０Ａは、確立されたセッションを用いて、通信端末１０Ｂ１との間で機器（例えば移動装置２０）の操作に関する情報を送受信するものとして以下の説明を行う。

ステップＳ９１３において、通信端末１０Ａの操作者が、機器の操作画面に入力を行うと、入力された操作に応じた操作指示情報が、セッションを用いて送信される。この操作指示情報には、例えば、通信端末１０Ａの通信ＩＤ、及び操作者の操作内容に応じた操作指示が含まれる。

ステップＳ９１４において、通信端末１０Ｂ１の機器制御部１９ｃは、通知された操作指示情報に含まれる操作指示に基づいて、機器間通信部１９ｄを介して、移動装置２０を制御する。

＜パターン１＞
続いてパターン１～３の映像の配置例を説明する。
図１８は、パターン１において通信端末１０Ａが表示部１０９に表示する映像表示画面６１０の一例を示す。映像表示画面６１０は映像表示欄６１１、正面映像ボタン６１２、背面映像ボタン６１３、及び、移動装置操作ボタン６１４を有している。図１８（ａ）の映像表示欄６１１は全天球映像を表示している。通信端末１０Ａの表示制御部１６は通信端末１０Ｂから送信された正距円筒射影映像を立体球に貼り付けて全天球映像を生成している（図１０参照）。

操作者は、全天球映像を指やマウス等で水平方向及び垂直方向に回転させることができる。また、指でピンチインすることで縮小でき、ピンチアウトすることで拡大できる。このようにして操作者は任意の所定領域画像Ｑを映像表示欄６１１に表示させることができる。

正面映像ボタン６１２は映像表示欄６１１に表示させる映像を正面映像に切り替えるためのボタンであり、背面映像ボタン６１３は映像表示欄６１１に表示させる映像を背面映像に切り替えるためのボタンである。移動装置操作ボタン６１４は４つのボタンを有しており、４つのボタンはそれぞれ移動装置２０を前後左右に移動させるボタンに対応する。移動装置操作ボタン６１４が全天球映像と重なって表示されるので、移動装置操作ボタン６１４を独立して表示するよりも表示エリアを広くでき、見やすいという効果を奏することができる。

図１８（ｂ）は正面映像ボタン６１２が押下されることで映像表示欄６１１に正面映像が表示された映像表示画面６１０を示す。正面映像ボタン６１２が押下されたので映像表示欄６１１には正面映像が表示されている。また、正面映像ボタン６１２の代わりに全天球映像ボタン６１５が表示される。全天球映像ボタン６１５は映像表示欄６１１に表示させる映像を全天球映像に切り替えるためのボタンである。

移動装置操作ボタン６１４が正面映像又は背面映像と重なって表示されるので、移動装置操作ボタン６１４を独立して表示するよりも表示エリアを広くでき、見やすいという効果を奏することができる。

図１８（ｃ）は背面映像ボタン６１３が押下されることで映像表示欄６１１に背面映像が表示された映像表示画面６１０を示す。背面映像ボタン６１３の代わりに全天球映像ボタン６１５及び正面映像ボタン６１２が表示される。

このように、正面映像ボタン６１２、背面映像ボタン６１３、全天球映像ボタン６１５を押下することで、映像表示欄６１１に表示させる映像を交互に切り替えることができる。

図１９はパターン１の映像の配置例において映像を切り替える手順を示すフローチャート図の一例である。図１９の処理は通信端末１０Ａが全天球映像、正面映像、及び、背面映像の少なくとも１つを受信するとスタートする。

まず、表示制御部１６は全天球映像を表示部１０９に表示する（Ｓ１０１）。この場合、全天球映像に重ねて移動装置操作ボタン６１４を表示する。全天球映像が表示された場合、操作入力受付部１２は回転、拡大、縮小の操作を受け付け、表示制御部１６は操作に応じた所定領域Ｔを映像表示欄６１１に表示する。

なお、全天球映像を最初に表示するのは一例であり、正面映像又は背面映像を最初に表示してもよい。受信した順に表示してもよい。

表示制御部１６は正面映像ボタン６１２、背面映像ボタン６１３を表示部１０９に表示する（Ｓ１０２）。

操作入力受付部１２は正面映像ボタン６１２が押下されたか否かを判断する（Ｓ１０３）。正面映像ボタン６１２が押下されない場合、処理はステップＳ１０６に進む。

正面映像ボタン６１２が押下された場合、表示制御部１６は正面映像を表示する（Ｓ１０４）。表示制御部１６は背面映像ボタン６１３、全天球映像ボタン６１５を表示部１０９に表示する（Ｓ１０５）。

操作入力受付部１２は背面映像ボタン６１３が押下されたか否かを判断する（Ｓ１０６）。背面映像ボタン６１３が押下されない場合、処理はステップＳ１０９に進む。

背面映像ボタン６１３が押下された場合、表示制御部１６は背面映像を表示する（Ｓ１０７）。表示制御部１６は正面映像ボタン６１２、全天球映像ボタン６１５を表示部１０９に表示する（Ｓ１０８）。

操作入力受付部１２は全天球映像ボタン６１５が押下されたか否かを判断する（Ｓ１０９）。全天球映像ボタン６１５が押下された場合、処理はステップＳ１０１に進む。全天球映像ボタン６１５が押下されない場合、処理はステップＳ１０３に進む。

以上のように、通信端末１０Ａは、正面映像ボタン６１２、背面映像ボタン６１３、又は全天球映像ボタン６１５の押下を受け付けて、パターン１の映像を表示できる。

このように、パターン１の映像の配置例では、１つの表示部１０９に全天球映像と正面映像（背面映像）を切り替えて表示できるため、全天球映像と正面映像（背面映像）の大きさを維持でき、操作者が見づらくなることを抑制できる。全天球映像が表示された状態では、操作者は全天球映像を回転させることで３６０度の周囲を確認できる。また、正面映像は解像度が高いので、正面映像が表示された状態では、看板などの文字を読むような場合、又は、物体の構造を確認する場合、などで有効である。

＜パターン２＞
図２０は、パターン２において通信端末１０Ａが表示部１０９に表示する映像表示画面６１０の一例を示す。図２０（ａ）の映像表示画面６１０は全体表示欄６２１、正面映像欄６２２、及び、移動装置操作ボタン６１４を有している。全体表示欄６２１には正距円筒射影映像が表示される。図２０（ａ）の正距円筒射影映像は一例としてモデルルームのある居室が撮像されたものであり、４つの壁といくつかの什器が写っている。このように正距円筒射影映像では３６０度の被写体が平面上に表される。

正面映像欄６２２には正面映像が表示される。図２０（ａ）では棚６２２ａが写っているが、正距円筒射影映像では歪みが大きいのに対し、正面映像では画角が狭いものの歪みがほとんどない。また、正面映像は正距円筒射影映像よりも大きく表示されるが、正面映像は正距円筒射影映像よりも解像度が高いので、操作者は正面映像から詳細な情報を得やすくなる。例えば、操作者が看板などの文字を読むような場合、又は、製品の構造を確認する場合、などで有効である。また、正距円筒射影映像は歪んでおり、かつ、正面映像よりも小さく表示されるが、映像表示画面６１０に常に表示されているため、操作者は移動装置２０の周囲の状況を把握できる。

移動装置操作ボタン６１４が正面映像と重なって表示されるので、移動装置操作ボタン６１４を独立して表示するよりも表示エリアを広くでき、見やすいという効果を奏することができる。

正面映像欄６２２は背面映像ボタン６１３を有しており、ユーザは正面映像を背面映像に切り替えることができる。

図２０（ｂ）は背面映像ボタンが押下された映像表示画面６１０の一例を示す。図２０（ｂ）の映像表示画面６１０は正面映像欄６２２の代わりに背面映像欄６２３を有し、背面映像を表示している。背面映像欄６２３は正面映像ボタン６１２を有し、ユーザは背面映像を正面映像に切り替えることができる。

また、ユーザは図２０（ａ）（ｂ）のいずれにおいても、正面映像又は背面映像を上側、正距円筒射影映像を下側に配置することができる。例えば、ユーザが全体表示欄６２１を下方向にスワイプ（フリックでもよい）するか、又は、正面映像欄６２２若しくは背面映像欄６２３を上方向にスワイプすることで、通信端末１０Ａは図２０（ｃ）（ｄ）のような映像表示画面６１０を表示できる。

図２０（ｃ）では、正面映像が上側、正距円筒射影映像が下側に表示され、図２０（ｄ）では、背面映像が上側、正距円筒射影映像が下側に表示されている。このように、ユーザは自分が見たい配置で正面映像、背面映像、及び、正距円筒射影映像を表示させることができる。

図２１はパターン２の映像の配置例において映像を表示する手順を示すフローチャート図の一例である。図２１の処理は通信端末１０Ａが全天球映像、正面映像、及び、背面映像の少なくとも１つを受信するとスタートする。

表示制御部１６は全体表示欄６２１に正距円筒射影映像を表示する（Ｓ２０１）。

表示制御部１６は正面映像欄６２２に正面映像を表示する（Ｓ２０２）。この場合、全天球映像に重ねて移動装置操作ボタン６１４を表示する。なお、背面映像を先に表示してもよいし、受信した順に表示してもよい。

次に、操作入力受付部１２は背面映像ボタン６１３が押下されたか否かを判断する（Ｓ２０３）。背面映像ボタン６１３が押下された場合、表示制御部１６は背面映像欄６２３に背面映像を表示する（Ｓ２０４）。

次に、操作入力受付部１２はスワイプなど上下入れ替え操作が入力されたか否かを判断する（Ｓ２０５）。上下入れ替え操作が入力された場合、表示制御部１６は正面映像欄６２２と全体表示欄６２１、又は、背面映像欄６２３と全体表示欄６２１の上下を入れ替える（Ｓ２０６）。

こうすることで、映像表示画面６１０に、正距円筒射影映像と正面映像、又は、正距円筒射影映像と背面映像を同時に表示できる。

次に、図２２を用いてパターン２の別の表示例を説明する。図２２は、パターン２において通信端末１０Ａが表示部１０９に表示する映像表示画面６１０の一例を示す。図２２（ａ）の映像表示画面６１０は、全天球表示欄６３１、正面映像欄６２２、及び、移動装置操作ボタン６１４を有している。全天球表示欄６３１には全天球映像が表示される。通信端末１０Ａの表示制御部１６は通信端末１０Ｂから送信された正距円筒射影映像を立体球に貼り付けて全天球映像を生成している（図１０参照）。図２２（ｂ）～（ｄ）は図２０（ｂ）～（ｄ）と同様に、正面映像と背面映像が切り替わるか、又は、全天球映像と正面映像若しくは全天球映像と背面映像が切り替わった状態を示す。

図２２（ａ）では、全天球表示欄６３１にコピー機６３１ａが写っているがこれは説明の便宜上であり、操作者は全天球映像のうち任意の所定領域画像Ｑを全天球表示欄６３１に表示させることができる。正面映像欄６２２は図２０（ａ）と同様である。なお、移動装置操作ボタン６１４は全天球表示欄６３１に表示されてもよい。

図２２（ａ）において全天球表示欄６３１と正面映像欄６２２はほぼ同じ大きさである。操作者は全天球表示欄６３１で見たい任意の方向を大きく表示させることができる。正面映像欄６２２は図２０（ａ）よりも小さくなるが、正面映像は解像度が高いので、操作者は正面映像から詳細な情報を得られる。従って、全天球表示欄６３１と正面映像欄６２２が同じ大きさであることで、全天球映像と正面映像のそれぞれのメリットを得られやすくなる。

図２３は図２２のパターン２の別の表示例において、映像を表示する手順を示すフローチャート図の一例である。図２３は図２１の正距円筒射影映像が全天球映像に変更されているが全体的な処理の流れは図２１と同様でよい。映像表示画面６１０に、全天球映像と正面映像、又は、全天球映像と背面映像を同時に表示できる。

パターン１，２では通信端末１０Ａが縦長の画面の例を示したが、通信端末１０Ａの画面は横長でもよい。この場合、映像のアスペクト比を維持することが好ましいが、アスペクト比を変更して縦方向又は横方向に拡大縮小してもよい。

＜パターン３＞
図２４は、パターン３において通信端末１０Ａが表示部１０９に表示する映像表示画面６１０の一例を示す。図２４の映像表示画面６１０は全天球表示欄６３１、サブ正面映像欄６４２、サブ背面映像欄６４３、及び、移動装置操作ボタン６１４を有している。全天球表示欄６３１には全天球映像が表示される。サブ正面映像欄６４２には正面映像が表示され、サブ背面映像欄６４３には背面映像が表示される。サブ正面映像欄６４２とサブ背面映像欄６４３には移動装置２０から見て方向が１８０度、異なる被写体が写る。

図２４の映像表示画面６１０では、全天球表示欄６３１がサブ正面映像欄６４２とサブ背面映像欄６４３よりも大きい。従って、全天球映像がメインで正面映像と背面映像がサブという位置づけになる。操作者は全天球表示欄６３１では見たい任意の方向を大きく表示させることができる。また、常に、正面映像と背面映像が表示されるので、移動装置の進行方向を常に把握し、また、背面の状況も常に把握できる。

移動装置操作ボタン６１４が全天球映像と重なって表示されるので、移動装置操作ボタン６１４を独立して表示するよりも表示エリアを広くでき、見やすいという効果を奏することができる。

なお、全天球表示欄６３１がサブ正面映像欄６４２とサブ背面映像欄６４３よりも大きいとしたのは一例に過ぎず、正面映像を全天球映像及び背面映像よりも大きく表示してもよいし、背面映像を全天球映像及び正面映像よりも大きく表示してもよい。また、３つの表示欄（全天球表示欄６３１がサブ正面映像欄６４２とサブ背面映像欄６４３）に何を表示するかを操作者が任意に設定できるとなおよい。

図２５は、パターン３の映像の配置例において映像を表示する手順を示すフローチャート図の一例である。図２５の処理は通信端末１０Ａが全天球映像、正面映像、及び、背面映像の少なくとも１つを受信するとスタートする。

表示制御部１６は全天球表示欄６３１に全天球映像を表示する（Ｓ３０１）。この場合、全天球映像に重ねて移動装置操作ボタン６１４を表示する。

表示制御部１６はサブ正面映像欄６４２に正面映像を表示する（Ｓ３０２）。表示制御部１６はサブ背面映像欄６４３に背面映像を表示する（Ｓ３０３）。

こうすることで、映像表示画面６１０に、全天球映像、正面映像、及び、背面映像を同時に表示できる。

次に、図２６を用いてパターン３の別の表示例を説明する。図２６は、パターン３において通信端末１０Ａが表示部１０９に表示する映像表示画面６１０の一例を示す。図２６の映像表示画面６１０はメイン表示欄６５１、１つ以上の各種映像欄６５２（各種映像欄６５２ａ～６５２ｃ）、及び、移動装置操作ボタン６１４を有している。メイン表示欄６５１には全天球映像が表示される。通信端末１０Ａの表示制御部１６は通信端末１０Ｂから送信された正距円筒射影映像を立体球に貼り付けて全天球映像を生成している（図１０参照）。

１つ以上の各種映像欄６５２には、正面映像及び背面映像を表示できるのはもちろん、任意の所定領域画像Ｑの全天球映像を表示できる。

メイン表示欄６５１は表示部１０９のほぼ全面を占め、その上に１つ以上の各種映像欄６５２が移動可能に重ねて表示されている。図２６では３つの各種映像欄６５２ａ～６５２ｃが表示されている。各種映像欄６５２はウィンドウであり、操作者は位置の変更、大きさの変更、削除（非表示にする。ウィンドウを閉じる。）、最小化、及び、新たな生成、が可能である。

表示制御部１６は、パターン３で映像を表示する際、正面映像と背面映像を各種映像欄６５２に表示する。また、全天球映像の任意の１つ以上の所定領域画像Ｑを複製して各種映像欄６５２に表示する。操作者は所定領域画像Ｑを変更できるため、初期状態で各種映像欄６５２に表示される所定領域画像Ｑはどこでもよい。しかし、正面映像と背面映像が各種映像欄６５２に表示されているので、これ以外の所定領域画像Ｑを複製することが好ましい。例えば、移動装置２０の正面に対し水平方向の右側及び左側などである。

初期状態の各種映像欄６５２の位置は、例えばメイン表示欄６５１の四隅などでよい。操作者は任意の位置に各種映像欄６５２を移動できる。

メイン表示欄６５１と各種映像欄６５２の大きさからメイン表示欄６５１がメインで各種映像欄６５２に表示される映像はサブという位置づけになる。操作者は全天球映像を大画面で見ることができ、見たい任意の方向を大きく表示させることができる。また、各種映像欄６５２では正面映像と背面映像が表示されるので、移動装置２０の進行方向と背面方向の状況を把握できる。また、各種映像欄６５２に全天球映像を表示させると（各種映像欄６５２に表示された全天球映像は複製映像の一例）、移動装置２０の周囲の任意の方向の状況を把握することができる。操作者が新たに各種映像欄６５２を生成する操作を行うと、操作入力受付部１２がこれを受け付け、表示制御部１６が各種映像欄６５２に新たに全天球映像を表示する。

各種映像欄６５２は移動できるので邪魔にならない場所に操作者が移動できる。削除したり最小化したりしてもよい。操作入力受付部１２はこのような操作を受け付け、表示制御部１６が各種映像欄６５２を非表示にしたり、又は、最小化したりする。

このような表示方法は、従来であれば各種映像欄６５２の数だけ撮像装置が必要であったが、本実施形態では全天球映像から任意の所定領域画像Ｑを複製して表示できるため、低コストに多くの方向の映像を常に表示することができる。

移動装置操作ボタン６１４が全天球映像と重なって表示されるので、移動装置操作ボタン６１４を独立して表示するよりも表示エリアを広くでき、見やすいという効果を奏することができる。

図２７は、図２６のパターン３の映像の配置例において映像を表示する手順を示すフローチャート図の一例である。図２７の処理は通信端末１０Ａが全天球映像、正面映像、及び、背面映像の少なくとも１つを受信するとスタートする。

表示制御部１６はメイン表示欄６５１に全天球映像を表示する（Ｓ４０１）。この場合、全天球映像に重ねて移動装置操作ボタン６１４を表示する。

表示制御部１６は全天球映像に重ねて正面映像を表示する（Ｓ４０２）。表示制御部１６は全天球映像に重ねて背面映像を表示する（Ｓ４０３）。正面映像と背面映像が映った各種映像欄６５２の初期位置は予め決まっているか、又は、ユーザが前回、図２６の映像表示画面６１０を表示させた際に設定した位置である。

操作入力受付部１２は新たな各種映像欄６５２が追加されたか否かを判断する（Ｓ４０４）。操作方法はどのようなものでもよいが、例えば長押し、ダブルタップなどしてメニューを表示させ、「各種映像欄の追加」を押下する方法がある。なお、メニューには正面映像と背面映像の選択ボタンが表示されてもよいが、正面映像又は背面映像がすでに表示されている場合には正面映像と背面映像の選択ボタンは表示されないことが好ましい。これにより、１つ以下の正面映像と背面映像を、全天球映像と同時に表示できる。

各種映像欄６５２が追加された場合、表示制御部１６は長押し又はダブルタップされた場所の所定領域Ｔの全天球映像を新しい各種映像欄６５２に設定し、全天球映像に重ねて表示する（Ｓ４０５）。

以上、パターン１～３について説明したが、操作者はボタンを押下するなど所定の操作でパターン１～３を任意に切り変えることができる。

＜パターンの切り替えについて＞
パターン１～３は任意に切り替え可能であるが、これとは別に何らかのイベントを契機にパターンが自動的に切り替わると操作者のユーザビリティが向上する。

図２８を用いてパターンの切り替えの契機について説明する。図２８はパターンが自動で切り替えられる契機について説明する図の一例である。

図２８（ａ）について説明する。図２８（ａ）は通信端末１０Ａがセッションを確立した時に開始される。

セッションの確立により通信端末１０Ａの表示制御部１６は全天球映像、正面映像及び背面映像を表示可能となる。まず、表示制御部１６はパターン１で映像表示欄６１１に全天球映像を表示する（Ｓ１００１）。つまり、表示部１０９の全面に全天球映像を表示する。

次に、表示制御部１６は全天球映像を水平方向に一定速度で回転させる（Ｓ１００２）。これは、画角αを一定のまま、仰角eaを水平方向の一定に保ち、方位角aaを一定速度で変化させることにより実現される。従って、操作者には所定領域画像Ｑが回転するように見える。

表示制御部１６は水平方向に３６０度回転したか否かを判断する（Ｓ１００３）。回転を開始する前の中心点ＣＰの方向（ea,aa）を記憶しておけば容易に判断できる。水平方向に３６０度回転するまでは回転を継続する。

水平方向に３６０度回転した場合（Ｓ１００３のＹｅｓ）、表示制御部１６はパターン２又はパターン３に切り替える（Ｓ１００４）。

セッションが確立した直後、操作者は周囲の状況が分からないが、セッションが確立した直後は所定領域画像Ｑが３６０度回転してから、パターン２，３で表示されるので、状況を把握してから正面映像で正面の状況を確認して移動を開始できる。なお、パターン１のまま正面映像を大きく表示してもよい。

図２８（ｂ）について説明する。図２８（ｂ）は通信端末１０Ａがセッションを確立した時に開始される。

セッションの確立により通信端末１０Ａの表示制御部１６は全天球映像、正面映像及び背面映像を表示可能となる。まず、表示制御部はパターン２で正距円筒射影映像と正面映像を表示する（Ｓ２００１）。つまり、表示部１０９の上方に小さく正距円筒射影映像を表示し、下方に正面映像を表示する。

表示制御部１６はパターン２で表示してから所定時間が経過したか否かを判断する（Ｓ２００２）。所定時間が経過するまではパターン２による表示を継続する。

所定時間が経過した場合（Ｓ２００２のＹｅｓ）、表示制御部１６はパターン１又はパターン３に切り替える（Ｓ２００３）。

セッションが確立した直後、操作者は周囲の状況が分からないが、セッションが確立してから所定時間、パターン２の正距円筒射影映像が表示されるので、状況を把握してからパターン１，３が表示されるので、状況を把握してから正面映像で正面の状況を確認して移動を開始できる。なお、パターン２の表示を継続してもよい。

＜まとめ＞
以上説明したように、本実施形態の通信端末１０Ａは、全天球映像と正面映像（背面映像）を適切に配置して表示するため、操作者は移動装置２０の周囲の全体的な状況を確認することも、正面又は背後の高解像度な映像を確認することもできる。パターン１～３の配置で全天球映像と正面映像（背面映像）を表示することで、操作者は全天球映像と正面映像（背面映像）を活用して移動装置２０を移動したり、周囲を確認したりできる。また、パターン１～３を任意に又は自動的に切り替えることもできる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では広角撮像装置９が通信端末１０Ｂに正距円筒射影映像を送信し、通信端末１０Ｂが正距円筒射影映像を通信端末１０Ａに送信したが、広角撮像装置９が直接、通信端末１０Ａとセッションを接続し、正距円筒射影映像を送信してもよい。この場合、広角撮像装置９は通信端末１０の一形態となり、映像を送信するが受信はしない通信端末１０となる。

また、本実施形態では背面映像が送信されると説明したが、通信端末１０Ｂは背面映像を送信しなくてもよい。また、通信端末１０Ｂが正面映像と背面映像とは別に通常の画角の映像を送信してもよい。

また、パターン１～３はそれぞれが独立しているのではなく、１つの通信端末１０がパターン１から２，２から３、３から１のように（又はこれらの逆）、遷移させることができる。

また、本実施形態では、陸上を走行する移動装置２０を例に説明したが、移動装置２０はドローンなどのように空中を飛行してもよい。また、海上を航行してもよいし、水中を移動してもよい。また、地下、狭路、地中を移動してもよい。また、陸上を移動する場合、車輪で移動してもよいし、２足、３足、４足などの多脚移動を行ってもよいし、キャタピラー（登録商標）で移動してもよい。

また、テレプレゼンスロボットに限らず、人間が移動させる装置に搭載された広角撮像装置９と平面撮像装置の映像に本実施形態の表示方法を適用してもよい。

また、本実施形態では主に、１人の操作者が１つの移動装置２０を操作する例を説明したが、１人の操作者が複数の移動装置２０を操作することも可能である。この場合、通信端末１０Ａは複数の通信端末１０Ｂとセッションを確立する。逆に、複数の操作者が１つの移動装置２０を操作することも可能である。この場合、例えば最後に通信端末１０Ｂに送信された操作指示情報が有効となってもよいし、操作権という概念を導入し操作権がある通信端末１０Ａのみが操作指示の送信を可能としてもよい。操作権は操作者などの操作により移転できる。

また、本実施形態では操作指示情報が通信セッションで送信されると説明したが、コンテンツデータのセッションで送信されてもよい。

また、本実施例では、中継装置３０を介して通信端末１０が通信しているが、通信端末１０は中継装置を介さずに通信してもよい。このような通信の通信プロトコルとして例えばＷｅｂＲＴＣ（Web Real－Time Communication）が知られている。

また、図１４などの構成例は、通信管理システム５０及び通信端末１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。通信管理システム５０及び通信端末１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、本実施例では説明の都合上、通信管理システム５０と中継装置３０を別々の装置として説明したが、両者の機能が統合された装置が通信管理システム５０と中継装置３０の機能を提供してもよい。

また、通信システム１が複数の通信管理システム５０を有していてもよく、通信管理システム５０の機能が複数のサーバに分散して設置されていてもよい。

また、通信管理システム５０が記憶部５０００に有する各データベースの１つ以上は通信ネットワーク２上に存在していてもよい。

なお、送受信部１１は通信手段の一例であり、表示制御部１６は表示処理手段の一例であり、操作入力受付部１２は受付手段の一例である。

１ 通信システム
９ 広角撮像装置
１０ 通信端末
２０ 移動装置
３０ 中継装置
５０ 通信管理システム

特開２０１３－１１２０３０号公報

Claims (15)

1. 移動装置に搭載された他の通信端末又は移動装置が有する通信部とネットワークを介して通信し、操作者からの入力操作に応じた前記移動装置に対する操作指示情報を前記他の通信端末又は前記通信部に送信する通信端末であって、
   前記他の通信端末又は前記通信部が送信した第１の映像、及び、前記他の通信端末又は前記移動装置に接続若しくは一体の広角撮像装置が撮像した広角な第２の映像を受信する通信手段と、
   前記通信手段が受信した前記第１の映像及び前記第２の映像を表示画面にいずれも表示させるように制御すると共に、前記移動装置の移動を制御するコントローラを、前記表示画面に表示された前記第１の映像に重ねて表示する表示処理手段と、を有し、
   前記コントローラは、前記表示画面上から前記入力操作を受け付けることを特徴とする通信端末。
2. 前記表示処理手段は、前記第１の映像及び前記第２の映像を同じ表示画面に両方表示し、
   前記第１の映像は、前記移動装置又は前記通信端末の正面映像又は背面映像であり、前記第２の映像は、前記第１の映像よりも広角な映像であって、前記移動装置の周囲を撮像した全天球映像又は正距円筒射影映像であり、
   前記全天球映像又は前記正距円筒射影映像は、前記第１の映像が撮像された領域を含む領域の撮像映像であり、
   前記表示画面に表示される前記第２の映像は、前記全天球映像又は前記正距円筒射影映像の所定領域であることを特徴とする請求項１に記載の通信端末。
3. 前記表示処理手段は、前記第２の映像を前記表示画面の上側に表示し、前記第１の映像を前記第２の映像の下側に表示することを特徴とする請求項１又は２に記載の通信端末。
4. 前記表示処理手段は、前記第２の映像を前記表示画面の上側に１つ表示し、前記第１の映像を前記第２の映像の下側に１つ表示することを特徴とする請求項１又は３に記載の通信端末。
5. 前記表示処理手段は、前記第１の映像の表示エリアを前記第２の映像の表示エリアよりも大きく表示装置に表示することを特徴とする請求項１に記載の通信端末。
6. 前記表示処理手段は、前記第２の映像の表示エリアを前記第１の映像の表示エリアよりも大きく表示装置に表示することを特徴とする請求項１に記載の通信端末。
7. 前記表示処理手段は、前記第２の映像の表示エリアと前記第１の映像の表示エリアを同じ大きさで表示装置に表示することを特徴とする請求項１に記載の通信端末。
8. 前記第２の映像は前記他の通信端末又は前記移動装置の周囲３６０度が撮像された正距円筒射影映像であることを特徴とする請求項５に記載の通信端末。
9. 前記通信手段は、前記他の通信端末又は前記通信部が送信した撮像方向が異なる２つの前記第１の映像を受信し、
   前記表示処理手段は、２つの前記第１の映像と前記第２の映像を前記表示装置に表示することを特徴とする請求項６に記載の通信端末。
10. 前記表示処理手段は、ユーザの操作に応じて前記第１の映像又は前記第２の映像のどちらか一方のみを表示装置に表示することを特徴とする請求項１に記載の通信端末。
11. 前記通信端末が前記他の通信端末又は前記通信部との通信を開始した場合、
    前記表示処理手段は、前記第２の映像を水平方向に回転させながら表示し、一定の角度を回転すると、前記第１の映像を表示することを特徴とする請求項８に記載の通信端末。
12. 移動装置に搭載された他の通信端末又は移動装置が有する通信部とネットワークを介して通信し、操作者からの入力操作に応じた前記移動装置に対する操作指示情報を前記他の通信端末又は前記通信部に送信する通信端末を、
    前記他の通信端末又は前記通信部が送信した第１の映像、及び、前記他の通信端末又は前記移動装置に接続若しくは一体の広角撮像装置が撮像した広角な第２の映像を受信する通信手段と、
    前記通信手段が受信した前記第１の映像及び前記第２の映像を表示画面にいずれも表示させるように制御すると共に、前記移動装置の移動を制御するコントローラを、前記表示画面に表示された前記第１の映像に重ねて表示する表示処理手段、として機能させ、
    前記コントローラは、前記表示画面上から前記入力操作を受け付けることを特徴とするプログラム。
13. 移動装置に搭載された他の通信端末又は移動装置が有する通信部とネットワークを介して通信し、操作者からの入力操作に応じた前記移動装置に対する操作指示情報を前記他の通信端末又は前記通信部に送信する通信端末が行う表示方法であって、
    通信手段が、前記他の通信端末又は前記通信部が送信した第１の映像、及び、前記他の通信端末又は前記移動装置に接続若しくは一体の広角撮像装置が撮像した広角な第２の映像を受信するステップと、
    表示処理手段が、前記通信手段が受信した前記第１の映像及び前記第２の映像を表示画面にいずれも表示させるように制御すると共に、前記移動装置の移動を制御するコントローラを、前記表示画面に表示された前記第１の映像に重ねて表示するステップと、を有し、
    前記コントローラは、前記表示画面上から前記入力操作を受け付けることを特徴とする表示方法。
14. 移動装置に搭載された他の通信端末又は移動装置が有する通信部とネットワークを介して通信し、操作者からの入力操作に応じた前記移動装置に対する操作指示情報を前記他の通信端末又は前記通信部に送信する通信端末を、
    前記他の通信端末又は前記通信部が送信した第１の映像、及び、前記他の通信端末又は前記移動装置に接続若しくは一体の広角撮像装置が撮像した広角な第２の映像を受信する通信手段と、
    前記通信手段が受信した前記第１の映像及び前記第２の映像を表示画面にいずれも表示させるように制御すると共に、前記移動装置の移動を制御するコントローラを、前記表示画面に表示された前記第１の映像に重ねて表示する表示処理手段、として機能させ、
    前記コントローラは、前記表示画面上から前記入力操作を受け付けることを特徴とするプログラムを記憶するコンピュータが読み取り可能な記録媒体。
15. 他の通信端末又は通信部を搭載する移動装置と、操作者からの入力操作に応じた前記移動装置に対する操作指示情報を前記他の通信端末又は前記通信部に送信する通信端末とを含むシステムであって、
    前記通信端末は、
    前記他の通信端末又は前記通信部が送信した第１の映像、及び、前記他の通信端末又は前記移動装置に接続若しくは一体の広角撮像装置が撮像した広角な第２の映像を受信する通信手段と、
    前記通信手段が受信した前記第１の映像及び前記第２の映像を表示画面にいずれも表示させるように制御すると共に、前記移動装置の移動を制御するコントローラを、前記表示画面に表示された前記第１の映像に重ねて表示する表示処理手段と、を有し、
    前記コントローラは、前記表示画面上から前記入力操作を受け付け、
    前記移動装置は、前記通信端末から送信された前記操作指示情報に応じて移動することを特徴とするシステム。

Images