以下、本発明を実施するための形態の一例として、情報処理システムと情報処理システムが行う画像送信方法について説明する。
<遠隔コミュニケーションの一例>
図1は、広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。図1では、3つの拠点A~Cが情報処理システム50を介して通信している。拠点の数は一例に過ぎず、2拠点でも、4拠点以上でもよい。
拠点Aは一例として、工事現場である。拠点B,Cはどこでもよいが、例えばオフィス等、広視野画像を通信可能な場所であればよい。拠点Aには、被写体等を撮像することで、例えば全天球画像と言われる広視野画像や、上下方向又は水平方向に180~360度といった周囲の広角な広視野画像を生成可能な撮像装置10が配置されている。以下ではこのような広角な画像を単に「広視野画像」という。拠点A~Cには広視野画像を閲覧する各種の通信端末30A~30Cが配置されている。なお、以下では、通信端末30A~30Cのうち任意の通信端末を「通信端末30」と称する。
工事現場は、各場所で様々な工事が作業員により進められており、撮像装置が工事現場の全体が映された広視野画像を生成するために工事現場の全体を撮像しつつ、各拠点A~Cのユーザーが着目したい工事や作業があれば、拠点A~Cの各ユーザーa~cが仮想的な視点を任意に変えて確認できる。この場合の視点とは、広視野画像全体のうちディスプレイ等の表示画面に表示される所定領域の中心位置又は範囲である。
撮像装置10は三脚86に取り付けられたり、ジンバル87を介してアーム85に取り付けられたりする。工事現場には中継装置(図1では通信端末30Aが中継装置を兼ねている)が設置されており、通信端末30Aが有線又は無線で撮像装置10から受信した広視野画像を、情報処理システム50に送信する。通信端末30Aは、広視野画像の閲覧用の端末にもなり得る。通信端末30にカメラ9が接続されており(内蔵していてもよい)、カメラ9が撮像した通常の画角の画像(全天球画像を撮像できてもよい)も情報処理システム50に送信可能である。また、ユーザーa(例えば作業員でもよい)はスマートグラス88を装着でき、スマートグラス88が撮像することで生成した通常の画角の画像(全天球画像を撮像できてもよい)が情報処理システム50に送信される場合がある。スマートグラス88とは、視野を確保しながら、インターネット経由で取得した情報をディスプレイに表示する情報端末である。スマートグラス88は任意の拠点に配置されていてよい。
一方、拠点Bには通信端末30Bの一例としてPC(Personal Computer)やスマートフォン等が配置されている。また、通信端末30Bは情報処理システム50と通信できる装置であればよく、これらの他、タブレット端末、PDA(Personal Digital Assistant)、電子黒板、プロジェクタ等でもよい。通信端末30Bにカメラが内蔵又は接続されていてもよい。
また、拠点Cには通信端末30Cの一例としてPC、スマートフォン、VR(Virtual Reality)ゴーグル89等が配置され、図1では、通信端末30Cにカメラ8が内蔵又は接続されている。VRゴーグル89とは、コンピュータ上の人工的な世界や全天球画像を、首や身体を動かした方向に合わせて表示する情報端末である。VRゴーグル89は、ハコスコ(ダンボール製の本体にプラスチック製のレンズが付いていて、組み立ててスマートフォンをセットすることで手軽にVRを楽しめるVRスコープ)のようにスマートフォンにVR用のゴーグルをセットしたものでもよい。カメラ8は広角用でも通常画角用でもよい。また、通信端末30Cは情報処理システム50と通信できる装置であればよく、タブレット端末、PDA、電子黒板、プロジェクタ等でもよい。VRゴーグル89は任意の拠点に配置されていてよい。
本実施形態では、撮像装置10及び各通信端末30は、「仮想ルーム」という通信グループで通信が管理される。撮像装置10は仮想ルームに対応付けられており、通信端末30(通信端末30を操作するユーザー)は、この仮想ルームに入室して、撮像装置10によって送信された広視野画像を受信することで、ユーザーが広視野画像を閲覧できる。スマートグラス88やVRゴーグル89も仮想ルームに対応付けることが可能である。カメラ8,9は、通信端末30と同様に仮想ルームに入室する。
拠点A~Cのユーザーa~cは各自の通信端末30で任意に広視野画像の視点を変更できる。このため、リアルタイムに広視野画像を閲覧する各ユーザーa~cはそれぞれ異なる視点を見ている可能性が生じて、意思の疎通が困難になるおそれがある。そこで、本実施形態では、任意の拠点の通信端末30において設定されている仮想的な視点の情報を他の拠点の通信端末30でも共有できるようにする。共有の概略を説明する。以下では、説明のため、拠点Bのユーザーbが指定した視点が拠点A、Cのユーザーa,cと共有する場合が示されている。
(1) 通信端末30A~30Cは撮像装置10が撮像することで生成した広視野画像(第一の広視野画像の一例)を共有している。ユーザーbが通信端末30Bで任意の視点で閲覧した状態で広視野画像を要求すると、通信端末30B(第一の通信端末の一例)が視点情報と撮像要求を情報処理システム50に送信する。
(2) 情報処理システム50は撮像要求に応じて、視点情報を指定して撮像装置10に撮像(静止画でも動画でもよい)を要求する。
(3) 撮像装置10は撮像要求に応じて撮像し、広視野画像(第二の広視野画像の一例)と視点情報を情報処理システム50から通知されたURL(保存先情報の一例。図1では、ストレージ90上の保存場所を示す。)に関連付けて保存する。ストレージ90に保存された広視野画像は任意の通信端末30がダウンロードして表示可能である。
(4) 情報処理システム50はURLを通信端末30Bに送信する。
(5)また、情報処理システム50は、自動で又はユーザーbの要求に応じて、URLを同じ仮想ルームに入室中の通信端末30A、30C(第二の通信端末の一例)に送信する。
(6) 通信端末30A、30CはURLにアクセスして視点情報と広視野画像を受信し、視点情報で特定される広視野画像の視点を画像欄の中央に一致させるように設定して表示する。なお、視点を完全に中央に一致させる必要はなく、視点を画像欄の中央近傍の範囲に含まれるように設定して表示させてもよい。
拠点Aのユーザーaの視点を拠点B、Cのユーザーに共有する場合、拠点Cのユーザーの視点を拠点A、Bのユーザーに共有する場合も同様である。
以上のように、本実施形態の通信システム1aは、広視野画像が配信された場合でも、各拠点で着目していた所定領域が表示されるように撮像されることで生成された広視野画像に対する視点の移動を指示しなくとも、視点情報が共有されるので、ユーザーの意図疎通が容易になる。
なお、(3)で撮像装置10が広視野画像そのものを情報処理システム50に送信し、(4)で情報処理システム50が広視野画像を通信端末30A~30Cに送信することもできる。
また、図1では、工事現場に撮像装置10が配置される例を説明したが、VR教育、イベント配信、リモート接客、遠隔医療等にも本実施形態を適用可能である。VR教育では、撮像装置10が研究室等の現場の拠点に配置され、遠隔拠点から学生が任意に視点を変えて黒板、器具、サンプル、実験結果等を閲覧できる。イベント配信では、撮像装置10が現場のイベントの開催場所に配置され、遠隔拠点から観客等のイベント参加者がオンラインで任意に視点を変えて開催場所の様子を閲覧できる。なお、開催場所の様子は演者、出場者、発表者、イベントで説明される製品や展示物などの被写体の映像、イベントで説明される資料の映像、開催場所の状態の映像等を含む。なお、イベントの開催場所は屋内であっても屋外であってもよく、スポーツ、コンサート、演劇等の会場も含まれる。リモート接客では、例えば旅行代理店の接客に適用する場合には、撮像装置10が現場の旅先に配置され、遠隔拠点から顧客が任意に視点を変えて旅程を検討できる。遠隔医療では、撮像装置10が手術室等の医療現場に配置され、遠隔拠点から医師、学生、医療機器の関係者等が任意に視点を変えて医療現場で医療行為を行っている医師の動作、看護師の動作、器具の配置、患者の状態、バイタル等を閲覧できる。
画像が撮像される拠点は、これらに限られず、学校、工場、倉庫、建設現場、サーバルーム又は店舗等、閲覧側の拠点のユーザー(閲覧者)が遠隔拠点の現場の状況を把握したいニーズが存在する空間であればよい。
<用語について>
テナントとは、サービスの提供者(本実施形態では情報処理システム)から画像配信サービスを受けることを契約する際の契約単位に紐づくユーザーのグループを示しており、契約した企業、組織、個人等である。そのため、テナントは、ユーザーグループとも言い換えることができる。ユーザーは一例としてテナントに所属しているが、ユーザー個人でサービスに加入してもよい。テナント(ユーザーグループ)には、ユーザーの他、撮像装置、仮想ルーム等が登録されている。
拠点とは、活動のよりどころとする場所をいう。本実施形態では、拠点の例として会議室を例にする。会議室は、主に会議に使用することを目的に設置された部屋のことである。会議は、会合、ミーティング、打ち合わせ、集会、寄り合い、集まり等ともいう。
デバイスとは、PCやスマートフォン等の汎用的な通信端末30でない装置をいい、撮像装置、又は、広視野画像の閲覧装置である。本実施形態では、撮像装置10、スマートグラス88、及び、VRゴーグル89が挙げられる。
視点情報とは、ディスプレイの表示画面に表示する広視野画像のどの所定領域をディスプレイの表示画面に表示するかを特定するパラメータ情報である。本実施形態ではディスプレイの表示画面に表示される広視野画像の中心に対応する「動径」、「極角」、「方位角」を視点情報の一例として説明するが、対角頂点の座標など他のパラメータ情報で特定されてもよい。
広視野画像とは、所定の表示方法においてディスプレイの表示画面(広視野画像が表示される領域)に一度に表示できる表示範囲より広い広範囲の視野角を有する画像を意味する。広視野画像は、最大で上下方向360度(または180度)、左右方向360度の視野分の表示範囲を持つが、上下360度未満、左右360度未満であってもディスプレイに一度に表示できる表示範囲より広い広範囲の視野角を有する画像であれば広視野画像に含まれる。また、上下方向及び左右方向についてそれぞれ、160度以上の視野分の表示範囲を有している画像も広視野画像に含まれる。例えば、人間が一度に視認できる範囲よりも広い表示範囲を有している画像も広視野画像に含まれる。なお、表示方法によってはディスプレイの表示画面に一度に表示できる画像であっても、所定の表示方法に切り替えたり、変更したりすることによって、広範囲の視野角を有するのであれば広視野画像に含まれる。なお、本実施形態では、広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像を例に説明するが、全方位画像、半球画像、3Dパノラマ画像、2Dパノラマ画像、VR画像も広視野画像に含まれる。広視野画像は、例えばキューブマッピング形式、ドームマスター形式等の画像であってもよい。また、全天球画像はエクイレクタングラー(equirectangular)形式以外の形式であってもよい。
通常の画角で撮像された画像は、広視野画像でない画像であるが、本実施形態では、広視野画像でない画像(平面画像)として説明する。
通信グループとは、広視野画像が共有される(配信される)ユーザーの集まりである。通常の空間では、各ユーザーが同じ部屋に入室した場合に各ユーザーにより広視野画像が共有可能となるという意味で、通信グループを仮想的な部屋(仮想ルーム)という用語で説明する。ここでの仮想とはネットワークを介した情報処理で実現されるという意味である。
各拠点のユーザーは遠隔地同士で遠隔コミュニケーションを行う。遠隔コミュニケーションは遠隔地の拠点で行われる会合である。会合とは相談や討議などのために人々が寄り集まることをいう。会合には接客、会議、集会、打合せ、勉強会、授業、セミナー、発表会など種々の態様がある。必ずしも双方向通信である必要はない。したがって、仮想ルームを仮想会議室と称してもよい。
<通信システムの構成例>
図2は、通信システム1aの構成概略図の一例である。図1は、図2の通信システム1aを現場との遠隔コミュニケーションに適用した一例である。通信システム1aは、複数の拠点間において、撮像装置10が撮像した広視野画像や通常画角の画像を双方向に送受信するシステムであり、ある拠点から配信される画像を、他の拠点において表示させることで、他の拠点のユーザーが画像を閲覧できるシステムである。なお、広視野画像の一例として、撮像装置10が撮像する全天球画像が配信される。通信システム1aは、例えば、所定の一拠点で撮像された広視野画像を、遠隔地にある他の拠点において閲覧させることができる。
図2に示されているように、通信システム1aでは、拠点Aに配置された撮像装置10、通信端末30A、情報処理システム50、及び複数の拠点(拠点B,C)のそれぞれに配置された通信端末30B,30Cが通信可能に接続されている。
撮像装置10が直接、通信ネットワークNに接続できる通信機能を有している場合、中継装置(例えばルーター等)としての通信端末30Aは不要である。この場合、通信端末30Aは、撮像装置10を伴わずに通信ネットワークNに接続される。しかし、拠点Aに通信端末30Aが配置される場合、通信端末30Aが中継装置を兼ね、通信端末30B,30Cと同様にユーザーaが広視野画像を閲覧できる。なお、拠点A以外の拠点に撮像装置10がさらに配置されていてもよいし、拠点Aに複数の撮像装置10が配置されていてもよい。
各通信端末30及び情報処理システム50は、通信ネットワークNを介して通信することができる。通信ネットワークNは、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。なお、通信ネットワークNには、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、Wi-Fi(Wireless Fidelity)(登録商標)、WiMAX(Worldwide Interoperability for Microwave Access)又はLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
撮像装置10は、後述するように、被写体や風景等を撮像して元になる二つの半球画像を得て、一つの全天球画像を生成することが可能なデジタルカメラである。撮像装置10によって得られる広視野画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮像画像は、画像と共に音声を含む映像であってもよい。
通信端末30は、各拠点のユーザーによって使用されるPC等のコンピュータである。通信端末30は、自拠点で撮像することで得られた画像、他の拠点から配信された広視野画像(静止画又は動画)及び通常の画角の画像を表示する。通信端末30は、例えば、通信ネットワークNを介して、撮像装置10によって撮像された広視野画像を取得する。また、通信端末30には、OpenGL ES等の画像処理を実行するソフトウェアがインストールされており、広視野画像の一部の領域を特定する視点情報に基づく画像表示ができる。なお、OpenGL ESは画像処理を実行するソフトウェアの一例であって、他のソフトウェアであってもよい。また、画像処理を実行するソフトウェアをインストールしていなくても、外部から受信したソフトウェアによって画像処理を実行してもよいし、外部のソフトウェアによって実行される画像処理結果を受信することで画像表示を行ってもよい。すなわち、通信端末30は、広視野画像の一部の所定領域を表示可能である。
通信端末30はユーザーの操作に応じて広視野画像の表示範囲に対する視点を任意に変更できる。通信端末30は、タッチパネル、方向ボタン、マウス、キーボード、タッチパッドなどに対するユーザー操作入力(キー入力、ドラッグ、スクロール等を含む)に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示できる。さらに、通信端末30が例えばVRゴーグル等のユーザーが装着する通信端末の場合に、装着したユーザーの動きの変更に応じて変更された通信端末30の姿勢情報を検知し、検知した姿勢情報に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示してもよい。
通信端末30Aは、後述の入出力I/F116に接続されたUSB(Universal Serial Bus)ケーブル等の有線ケーブルを介して撮像装置10から取得した広視野画像を、情報処理システム50を介して、他の拠点の通信端末30に配信する。撮像装置10及び通信端末30Aの接続は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。拠点Aに複数の通信端末30Aが配置されてもよい。
拠点Aのユーザーがスマートグラス88を装着し、スマートグラス88が通信ネットワークNに接続する場合もある。この場合、スマートグラス88が撮像した画像は通信ネットワークNを介して情報処理システム50に送信され、情報処理システム50が各拠点の通信端末30に配信することができる。
通信端末30Bは、ユーザーbが存在する拠点Bに配置されており、通信端末30Cは、ユーザーcが存在する拠点Cに配置されている。拠点B,Cに複数の通信端末30B,30Cが配置されてもよい。なお、通信端末30Bや通信端末30Cはユーザーbやユーザーcがそれぞれ持ち歩くことができてもよい。
なお、拠点A~Cの通信端末30A~30Cは撮像部としての一例のカメラ8、9を内蔵していたり外付けしたりすることが可能であり、通信端末30A~30Cは、自端末のカメラ8、9等によって自拠点が撮像された画像を他拠点に配信することができる。また、拠点A~Cには任意のデバイスが配置されてよい。
図2に示す各端末及び装置(通信端末30及び撮像装置)、並びにユーザーの配置は一例であり、他の例であってもよい。また、通信端末30は、PCに限られず、例えば、タブレット端末、スマートフォン、PDA、ウェアラブル端末(スマートグラスやVRゴーグルを含む)、PJ(Projector:プロジェクタ)、電子黒板(相互通信が可能な電子式の黒板機能を有する白板)又は自律走行ロボット等であってもよい。通信端末30は、Webブラウザ又は画像配信サービスに専用のアプリケーションが動作するコンピュータであればよい。
さらに、撮像装置10がディスプレイを有する場合、他の拠点から配信された画像を表示する構成であってもよい。
情報処理システム50は、一台以上の情報処理装置を有している。情報処理システム50は、各拠点間の撮像装置10、通信端末30の通信を管理及び制御したり、送受信される広視野画像を管理したりする。情報処理システム50は、広視野画像の配信を行う画像配信サービスを提供するために必要な機能を利用できるプラットフォームを提供する。このプラットフォームを、画像配信サービスを提供したい個人や企業等のサービス提供者が、契約により利用できるようにしてもよい。以下、画像配信サービスを受けるテナントと区別するため、契約したプラットフォームを利用して画像配信サービスをユーザーに提供するサービス提供者をプラットフォーム契約者という。
このため、プラットフォームとして情報処理システム50がAPI(Application Programming Interface)を公開し、プラットフォーム契約者がこのAPIを使用して様々な画像配信サービスを提供できるようにしてもよい。プラットフォーム契約者は、主に通信端末30が表示する画面やAPIの呼出しなどを行うアプリケーション等のソフトウェアを開発すればよく、画像配信等のAPIによって提供される機能を一から開発する必要がない。
情報処理システム50は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、情報処理システム50の機能の全て又は一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。
ストレージ90は、広視野画像等のデータを記憶させる記憶装置である。ストレージ90は、情報処理システム50と別体となった外部ストレージ(クラウド上に配置されたストレージでもよいしオンプレミスに配置されたストレージでもよい)でもよいし、情報処理システム50に含まれるストレージでもよい。
<ハードウエア構成例>
続いて、図3、図4を用いて、本実施形態に係る画像通信システムが有する各装置又は端末のハードウエア構成を説明する。なお、図3、図4に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
<<撮像装置のハードウエア構成>>
まず、図3を用いて、撮像装置10のハードウエア構成を説明する。図3は、撮像装置10のハードウエア構成の一例を示す図である。以下では、撮像装置10は、二つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は一つであっても、二つ以上あってもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置10と同じ機能を有するようにしてもよい。
図3に示されているように、撮像装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、近距離通信回路117のアンテナ117a、電子コンパス118、ジャイロセンサ119,加速度センサ120、及びネットワークI/F121によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102b(以下区別する必要のないときは、レンズ102と称する。)、及び各レンズに対応させて設けられている二つの撮像素子103a,103bを備えている。撮像素子103a,103bは、レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット101が広角レンズを2つ備える構成はあくまで一例であって、1つだけ備えていてもよいし、3つ以上備えていてもよい。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスを介して接続している。一方、撮像ユニット101の撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)を介して接続している。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続している。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121等も接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像(広視野画像の一例)のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置10によっては、ディスプレイ(例えば、近距離通信回路117を用いて撮像装置10と近距離通信を行うスマートフォン等の外部端末のディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置10には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮像装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザーは、操作部115を操作することで、種々の撮像モードや撮像条件等を入力する。
入出力I/F116は、SDカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路(USBI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して外部端末(装置)に送信されたりする。
近距離通信回路117は、撮像装置10に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを、外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から撮像装置10の方位を算出し、方位情報を出力する。この方位情報は、Exifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。
ジャイロセンサ119は、撮像装置10の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ120は、三軸方向の加速度を検出するセンサである。撮像装置10は、加速度センサ120が検出した加速度に基づいて、自装置(撮像装置10)の姿勢(重力方向に対する角度)を算出する。撮像装置10は、加速度センサ120を設けることによって、画像補正の精度が向上する。
ネットワークI/F121は、ルーター等を介して、インターネット等の通信ネットワークNを利用したデータ通信を行うためのインターフェースである。また、撮像装置10のハードウエア構成はここに示すものに限られず、撮像装置10の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部は通信ネットワークN上に存在していてもよい。
<<通信端末のハードウエア構成>>
図4は、通信端末30及び情報処理システム50のハードウエア構成の一例を示す図である。まず、通信端末30について説明する。通信端末30のハードウエア構成は、300番台の符号で示されている。通信端末30は、コンピュータによって構築されており、図4に示されているように、CPU301、ROM302、RAM303、HDD(Hard Disk)304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、音入出力I/F317、マイク318、スピーカ319、近距離通信回路320及びカメラ321を備えている。
これらのうち、CPU301は、通信端末30全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HDD304は、プログラムやデータ等の各種データを記憶する。HDDコントローラ305は、CPU301の制御にしたがってHDD304に対する各種データの読み出し又は書き込みを制御する。
ディスプレイ306は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ディスプレイ306は、入力手段を備えたタッチパネルディスプレイであってもよい。なお、ディスプレイ306は、表示部の一例である。表示部には、通信端末30に設けられたディスプレイだけなく、通信端末30の外付けのディスプレイ、通信端末30の外付けの他の通信端末のディスプレイ、又はプロジェクタで映し出されるスクリーン(プロジェクションマッピングの被表示対象も含む)が含まれる。
外部機器接続I/F308は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリ又はプリンタ等である。ネットワークI/F309は、通信ネットワークNを利用してデータ通信をするためのインターフェースである。バスライン310は、図4に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバス又はデータバス等である。なお、HDD304やHDDコントローラ305は、それぞれプログラムやデータ等を記憶するストレージの一例であって、それぞれSSD(Solid State Drive)やSSDコントローラであってもよい。
また、キーボード311は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス312は、各種指示の選択もしくは実行、処理対象の選択、又はカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード311及びポインティングデバイス312のみならず、タッチパネル又は音声入力装置等であってもよい。DVD-RWドライブ314は、着脱可能な記録媒体の一例としてのDVD-RW313に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW313は、DVD-R又はBlu-ray(登録商標) Disc(ブルーレイディスク)等であってもよい。メディアI/F316は、フラッシュメモリ等の記録メディア315に対するデータの読み出し又は書き込み(記憶)を制御する。マイク318は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F317は、CPU301の制御にしたがってマイク318及びスピーカ319との間で音信号の入出力を処理する回路である。近距離通信回路320は、NFC、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行うための通信回路である。カメラ321は、被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、マイク318、スピーカ319及びカメラ321は、通信端末30の内蔵型ではなく、外付けの装置であってもよい。
また、通信端末30のハードウエア構成はここに示すものに限られず、通信端末30の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワークN上に存在していてもよい。
<<情報処理システムのハードウエア構成>>
図4に示すように、情報処理システム50の各ハードウエア構成は、括弧内の500番台の符号で示されている。情報処理システム50は、コンピュータによって構築されており、図4に示されているように、通信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
また、情報処理システム50のハードウエア構成はここに示すものに限られず、情報処理システム50の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワーク上に存在していてもよい。
なお、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc(登録商標)、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、通信端末30は、本発明に係るプログラムが実行されることで本発明に係る画像表示方法を実現する。
<広視野画像、及び、視点情報について>
以下では、図5~図12を用いて広視野画像(全天球画像)の生成方法を説明する。
まず、図5を用いて、撮像装置10の外観を説明する。撮像装置10は、全天球(360°)画像の元になる撮像画像を得るためのデジタルカメラである。図5(a)は撮像装置の左側面図であり、図5(b)は撮像装置の正面図であり、図5(c)は撮像装置の平面図である。この外観図は撮像装置10のあくまで一例であって、他の外観であってもよい。
図5(a)に示されているように、撮像装置10は、人間が片手で持つことができる大きさであるが、この形状はあくまで一例であって、他の形状であってもよい。また、図5(a),図5(b),図5(c)に示されているように、撮像装置10の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮像が可能な光学部材(例えば、後述するレンズ102a,102b)と併せて用いられる。また、図5(b)に示されているように、撮像装置10の正面側とは反対側の面には、シャッターボタン等の操作部115が設けられている。なお、上記したように撮像素子は1つだけであってもよいし、3つ以上備えていてもよい。
次に、図6を用いて、撮像装置10の使用状況を説明する。図6は、撮像装置の使用イメージ図である。撮像装置10は、図6に示されているように、例えば、撮像装置10の周りの被写体を撮像するために用いられる。この場合、図5に示されている撮像素子103a及び撮像素子103bによって、それぞれ撮像装置10の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
次に、図7及び図8を用いて、撮像装置10が撮像して得た画像から全天球画像が作成されるまでの処理の概略を説明する。図7(a)は撮像装置が撮像して得た半球画像(前側)、図7(b)は撮像装置が撮像して得た半球画像(後側)、図7(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図8(a)は正距円筒射影画像で球を被う状態を示した概念図、図8(b)は全天球画像を示した図である。なお、「正距円筒射影画像」は、上述の広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像である。
図7(a)に示されているように、撮像素子103aによって得られた画像は、後述のレンズ102aによって湾曲した半球画像(前側)となる。また、図7(b)に示されているように、撮像素子103bによって得られた画像は、後述のレンズ102bによって湾曲した半球画像(後側)となる。そして、撮像装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、図7(c)に示されているような正距円筒射影画像ECが作成する。
そして、撮像装置10は、OpenGL ES(Open Graphics Library for Embedded Systems)等のソフトウェアを利用することで、図8(a)に示されているように、球面を覆うように正距円筒射影画像ECを貼り付け、図8(b)に示されているような全天球画像(全天球パノラマ画像)CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。OpenGL ESはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像CEを作成してもよい。また、全天球画像CEは、静止画であっても動画であってもよい。なお、ここでは撮像装置10が全天球画像を生成する例として説明したが、同様の画像処理又は一部の画像処理の工程を情報処理システム50又は通信端末30が実行してもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮像装置10又は通信端末30において、全天球画像CEの一部の所定領域T(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図9乃至図10を用いて説明する。
図9は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザーの仮想的な視点の位置に相当するものである。図10において、(a)は図9の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。
このように生成された全天球画像CEが、立体球CSであるとした場合、図9に示されているように、仮想カメラICは、全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは、画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる(図11参照)。
そして、図10(a)に示されている所定領域画像Qは、図10(b)に示されているように、所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される。図10(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下、仮想カメラICの撮像方向(ea,aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域を位置座標(X,Y,Z)によって示してもよい。
また、図10(a)の状態から、図10(c)に示されているように、仮想カメラICの仮想的な視点が右側(図面に向かって左側)に移動(「変更」ともいう)されると、これに応じて全天球画像CEにおける所定領域Tが所定領域T'に移動されるため、所定のディスプレイに表示される所定領域画像Qが所定領域画像Q'に変更される。これにより、ディスプレイには、図10(b)に示されている画像が、図10(d)に示されている画像に変更表示される。
なお、本実施形態では、静止画に係る広視野画像は「広視野静止画」と示し、静止画に係る所定領域画像は「所定領域静止画」と示す場合がある。また、動画に係る広視野画像は「広視野動画」と示し、動画に係る所定領域画像は「所定領域動画」と示す。また、「広視野画像」には、静止画と動画の両方が含まれる。「所定領域画像」には、静止画と動画の両方が含まれる。更に、「撮影」は、特に区別して説明しなければ、静止画の保存及び動画の録画の両方を含む。
ここで、図51を用いて、広視野動画、所定領域動画、広視野静止画、所定領域静止画、所定領域情報(視点情報)、及び再生経過時間の関係を説明する。図51は、広視野動画、所定領域動画、広視野静止画、所定領域静止画、所定領域情報(視点情報)、及び再生経過時間の関係を示した概念図である。なお、「広視野画像」は、広視野動画と広視野静止画を含む概念である。
図51に示すように、広視野動画は、複数のフレーム(広視野静止画)によって構成されている。即ち、広視野動画は広視野静止画を含み、広視野静止画は広視野動画を含む。また、広視野動画における所定領域が所定領域動画であり、広視野静止画における所定領域が所定領域静止画である。所定領域動画は、各所定領域情報(視点情報)に基づいて特定される。所定領域静止画は、切り出し時の所定領域情報(視点情報)に基づいて特定される。図51では、広視野静止画が、広視野動画における再生経過時間teの時点に切り出されたフレームであることが示されている。
次に、図11を用いて、所定領域情報と所定領域Tの画像の関係について説明する。図11は、所定領域情報と所定領域Tの画像との関係を示した図である。図11に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。すなわち、仮想カメラICの姿勢は、撮像方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CP(x,y)となるように変更される。図11に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CP(x,y)が、所定領域情報のパラメータ((x,y))となる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは、仮想カメラICから中心点CP(x,y)までの距離である。Lは、所定領域Tの任意の頂点と中心点CP(x,y)との距離である(2Lは対角線)。そして、図11では、一般的に以下の(式1)で示される三角関数が成り立つ。
なお、上記で説明した撮像装置10は、広視野画像を取得可能な撮像装置の一例であり、全天球画像は、広視野画像の一例である。ここで、広視野画像は、一般には広角レンズを用いて撮像された画像であり、人間の目で感じるよりも広い範囲を撮像することができるレンズで撮像されたものである。
図12は、図11で説明した関係を球座標による三次元ユークリッド空間内の点で示した図である。ここで、図11で示した中心点CPを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、図11で示した距離fに等しい。図12は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ,φ)を視点情報の一例として用いて説明する。なお、視点情報は、上記したように図10で示した所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される所定領域T(所定領域画像Q)が特定できるパラメータ情報であればよく、所定領域Tの対角頂点の座標も含む。また、図11で説明した仮想カメラICの画角αを示す情報及び中心点CP(x,y)を示す情報が視点情報であってもよい。また、図11で説明した仮想カメラICの画角αを示す情報及び方位角aaを示す情報が視点情報であってもよい。また、視点情報は球座標による位置座標情報だけでなく、直交座標による位置座標情報や初期設定(デフォルト)された所定領域情報から座標の差分値等も含む。また、視点情報は図11で示したように角度や距離といった座標情報以外の情報であってもよい。また、図11や図12では所定領域Tの中心点を基準にしているが、所定領域Tの頂点のいずれかを基準としたパラメータ情報により所定領域Tを特定してもよい。なお、上記では広視野画像が全天球画像である場合を例として視点情報を説明したが、他の広視野画像の場合には、その広視野画像における所定領域Tを特定する情報が視点情報となる。また、視点情報には所定領域Tの高さや幅といったパラメータ情報や、仮想カメラICのズーム等による拡大率といったパラメータ情報が含まれていてもよい。また、図7(c)に示されているような正距円筒射影画像ECの各画素の位置を球体の表面の座標(例えば緯度、経度の2軸とした座標)と対応付けた場合に、仮想カメラICの方向と画角といったパラメータ情報を視点情報としてもよいし、緯度や経度といった情報を視点情報に含めてもよい。このように、視点情報とは、必ずしも点を示す情報に限られない。
<機能について>
続いて、図13を用いて、本実施形態に係る通信システム1aの機能構成について説明する。図13は、本実施形態に係る通信システム1aの機能構成の一例を示す図である。なお、図13では、図1に示されている各端末、装置及びサーバのうち、後述の処理又は動作に関連しているものが示されている。
<<撮像装置の機能構成>>
まず、図13を参照して、撮像装置10の機能構成について説明する。撮像装置10は、通信部11、受付部12、撮像処理部13、解析部14、登録要求部15、接続部16、保存処理部17、画像送信制御部18、及び、記憶・読出部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SRAM113又はDRAM114上に展開されたプログラムに従ったCPU111からの命令によって動作することで実現される機能、又は機能する手段である。また、撮像装置10は、図3に示されているROM112等によって構築される記憶部1000を有している。
通信部11は、主に、近距離通信回路117に対するCPU101の処理によって実現され、Wi-Fiなどの無線通信手段を利用して、通信ネットワークNに接続して、他の装置との間で各種データ又は情報の送受信を行う機能である。本実施形態では、主に、接続部16により、撮像処理部13によって取得された広視野画像を情報処理システム50に送信する形態を説明するが、通信部11が広視野画像を情報処理システム50に送信することも可能である。
受付部12は、主に、操作部115に対するCPU101の処理によって実現され、撮像装置10に対するユーザーからの操作入力を受け付ける機能である。受付部12は、電源のオン、オフ、シャッターボタンのオン、オフ(広視野画像の送信開始又は送信停止)、タッチパネルやボタン等に対するユーザーの操作入力等を受け付ける。
撮像処理部13は、主に、画像処理ユニット104に対するCPU101の処理によって実現され、被写体や風景画像等を撮像し、撮像画像を取得(生成)する。撮像処理部13によって取得される撮像画像は、動画であっても静止画であってもよく(両方でもよく)、画像と共に音声を含んでもよい。また、撮像処理部13は、例えば、通信端末30のディスプレイ306に表示された二次元コード(図20参照)を撮像する。また、撮像処理部13が撮像画像に対して図7及び図8で説明した画像処理を実行することによって広視野画像を生成してもよい。
解析部14は、主に、CPU101の処理によって実現され、撮像処理部13によって撮像されて取得された二次元コードを解析して二次元コードに含まれる情報(撮像装置をテナントに登録するためのURL、一時的なIDとパスワード)を抽出する。
登録要求部15は、主に、CPU101の処理によって実現され、解析部14によって読み取られた二次元コードに含まれる情報を用いて、情報処理システム50のテナントに撮像装置10を登録する要求を、通信部11を介して情報処理システム50に送信する。
接続部16は、主に、入出力I/F116に対するCPU101の処理によって実現され、通信端末30Aから電源供給を受けると共に、データ通信を行う機能である。
保存処理部17は、主に、CPU101の処理によって実現され、任意の拠点からの撮像要求に応じて撮像された広視野画像を、情報処理システム50から通知されたURL(例えばストレージ90等)に保存する処理を行う。
画像送信制御部18は、主に、CPU101の処理によって実現され、情報処理システム50に対する広視野画像の送信を制御する機能である。画像送信制御部18は、例えば、撮像処理部13によって取得された撮像画像を、静止画であれば定期的又はユーザー操作に応じて、動画であれば所定のFPS(Flame Per Second)で情報処理システム50に対して送信する。画像送信制御部18は通信部11と接続部16の切り替えも行う。
記憶・読出部19は、主に、CPU101の処理によって実現され、記憶部1000に各種データを記憶させ、又は記憶部1000から各種データを読み出す機能である。また、記憶部1000は、撮像処理部13によって取得された撮像画像データ、撮像装置ID等を記憶している。なお、記憶部1000に記憶されている撮像画像データは、撮像処理部13によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、情報処理システム50へ送信されたデータが削除される構成であってもよい。
なお、撮像装置10では、通信システム1aに対応するためのアプリケーション(プラグインともいう)がインストールされている。このアプリケーションは、撮像装置10を仮想ルームに対応付ける際や、外部からの制御を受け付けたりするために使用される。図13に示した機能の一部(例えば登録要求部15)はこのアプリケーションによるものが含まれる。なお、通信システム1aに対応するためのアプリケーションを通信ネットワークN上に配置し、撮像装置10が有するWebブラウザ等によってアプリケーションにアクセスすることで同様の機能を実現させてもよい。
<<通信端末の機能構成>>
続いて、図13を用いて、通信端末30の機能構成について説明する。通信端末30は、通信部31、受付部32、表示制御部33、撮像部34、接続部36、及び記憶・読出部39、及びを有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM303上に展開されたプログラム(Webブラウザでも専用のアプリケーションでもよい)に従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末30は、図4に示されているROM302又は記録メディア315によって構築される記憶部3000を有している。
通信部31は、主に、ネットワークI/F309に対するCPU301の処理によって実現され、通信ネットワークNに接続し、他の装置との間で各種データ又は情報の送受信を行う機能である。
受付部32は、主に、キーボード311及びポインティングデバイス312に対するCPU301の処理によって実現され、通信端末30への各種選択又は操作入力を受け付ける機能である。表示制御部33は、通信端末30のディスプレイ306に広視野画像や通常の画角の画像、及び、各種画面を表示させる機能である。
表示制御部33は、主に、CPU301の処理によって実現され、例えば、情報処理システム50から送信された二次元コードを、ディスプレイ306に表示させる。二次元コードは、例えば、QRコード(登録商標)、DataMatrix(DataCode)、MaxiCode又はPDF417等である。二次元コードは、バーコードでもよい。
接続部36は、主に、近距離通信回路320に対するCPU301の処理によって実現され、撮像装置10に電源を供給すると共に、データ通信を行う機能である。
記憶・読出部39は、主に、CPU301の処理によって実行され、記憶部3000に各種データを記憶させ、又は記憶部3000から各種データを読み出す機能である。記憶部3000には、画像管理情報記憶部3001が形成される。画像管理情報記憶部3001については情報処理システム50の説明において説明する。
<<情報処理システムの機能構成>>
次に、情報処理システム50の機能構成について説明する。情報処理システム50は、通信部51、画面生成部52、関連付け処理部53、画像配信部54、認証部55、通信グループ管理部56、通信制御部57、コネクション管理部58、記憶・読出部59、及び、API管理部60を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システムは、図4に示されているROM502、HDD504又は記録メディア515によって構築される記憶部5000を有している。
通信部51は、主に、ネットワークI/F509に対するCPU501の処理通信ネットワークNを介して、他の装置との間で各種データ又は情報の送受信を行う機能である。
画面生成部52は、主に、CPU501の処理によって実現され、通信端末30が表示する画面情報の生成を行う。通信端末30がWebアプリを実行する場合は、画面情報は、HTML、XML、CSS(Cascade Style Sheet)、及びJavaScript(登録商標)等により作成される。通信端末30がネイティブアプリを実行する場合は、画面情報は通信端末30が保持しており、表示される情報がXML等で送信される。画面生成部52は画像配信部54が通信部51を介して配信する広視野画像等が配置される画面情報を生成する。
関連付け処理部53は、主に、CPU501の処理によって実現され、広視野画像の視点情報の関連付け及び共有に関する制御を行う。関連付け処理部53は、通信端末30から視点情報と撮像要求を受信した場合、撮像装置10に撮像を要求して取得した広視野画像と視点情報を関連付ける処理を行う。さらに、関連付けた広視野画像と視点情報は、記憶・読出部59によって画像管理情報記憶部5001に保存される。また、関連付け処理部53は、関連付けられた該広視野画像と視点情報が保存される保存場所を示す情報として保存先情報(例えばURL)を通信端末30に送信する。なお、情報処理システム50は、通信端末30から視点情報と撮像要求を同時に受信する必要はなく、別々に受信した上で関連付ける処理を行ってもよい。また、URLは保存場所を示す保存先情報の一例であって、URI等の他の形式であってもよい。
画像配信部54は、主に、CPU501の処理によって実現され、仮想ルームに入室中のユーザーが操作する通信端末30に、同じ仮想ルームに対応付けられている撮像装置10が送信した広視野画像等の画像を、通信部51を介して配信する。通信端末30が有するカメラ又は接続されたカメラ8,9が撮像した通常の画角の画像についても同様に配信される。なお、配信される画像は、ストリーミング映像、動画、静止画等を含む。
認証部55は、主に、CPU501の処理によって実現され、通信部51によって受信された認証要求に基づいて、要求元の認証を行う機能である。認証部55は、例えば、通信部51によって受信された認証要求に含まれている認証情報(ユーザーID及びパスワード)が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ICカードのカード番号、顔、指紋や声紋などの生体認証情報、デバイスID、パスコード、アクセストークン、セキュリティキー、チケット等でもよい。また、認証部55は、外部の認証システムやOAuthなどの認証方法で認証してもよい。また、認証部55は、ユーザーだけでなく撮像装置等のデバイスを認証してもよい。
通信グループ管理部56は、主に、CPU501の処理によって実現され、仮想ルームへの通信端末30やユーザーの入室、デバイスの対応付け等を管理する。通信グループ管理部56は、認証部55による認証が成功した場合に、ユーザーID及び通信端末30のIPアドレスを仮想ルーム情報記憶部5002に登録したり、仮想ルームに撮像装置10を対応付けたりする。
通信制御部57は、主に、CPU501の処理によって実現され、各仮想ルームに対応付けられた撮像装置10との通信の開始、確立、終了を管理する。また、通信制御部57は、通信端末30が仮想ルームに入室したり退室したりすることに応じて、広視野画像や音声を配信する通信の開始、確立、終了を管理する。
コネクション管理部58は、主に、CPU501の処理によって実現され、通信端末30及び撮像装置10が情報処理システム50と確立している通信(コネクション)を、仮想ルームに対応付けて管理をする。
API管理部60は、主に、CPU501の処理によって実現され、プラットフォーム契約者が広視野画像の画像配信サービスを提供する場合に使用するAPIを管理する。APIを利用する場合、プラットフォーム契約者は、別途、APIを呼び出すソフトウェアを開発すればよい。開発するソフトウェアはサーバ上で動作してもよいし、通信端末等のクライアント上で動作するものであってもよい。画像配信部54、関連付け処理部53、通信制御部57等のように情報処理システム50が備える機能であれば、APIとして提供可能である。また、後から情報処理システム50に追加した機能をAPIとして提供することも可能である。APIとして提供するか否かはプラットフォーム提供者が操作する通信端末が情報処理システム50にアクセスし、APIの公開設定を受け付けることによって、API管理部60が公開設定に基づいたAPIの制御ができる。また、API管理部60はAPIの呼び出しを要求する要求元のソフトウェアが正当なプラットフォーム契約者によって開発されたソフトウェアか否かを確認する認証処理を行ってもよい。認証処理は記憶部5000においてプラットフォーム契約者の情報として予め登録して記憶されている情報と、要求元のソフトウェアから送信された情報を対比させることで確認することができる。
認証処理の具体的な処理の一例として、プラットフォーム契約者が開発するソフトウェアに対して、API管理部60によって予め発行されたアプリIDを要求元のソフトウェアから情報処理システム50が受信し、API管理部60が、アプリIDが記憶部5000に記憶されていると判断できれば正当なソフトウェアとしてAPIを提供することを許可する制御をAPI管理部60が行う。一方で、正当なソフトウェアとして判断できなかった場合には、APIを提供することを許可しない制御をAPI管理部60が行う。
なお、アプリIDは正当性を判断するための認証情報の一例であって、予め情報処理システムのAPI管理部60もしくは外部システムが発行したアクセストークン、チケット、セキュリティキー、パスワード、PINコード等の認証情報によってAPI管理部60が要求元の正当性を確認してもよい。本実施形態では、APIとして情報処理システム50が備える機能を使用する形態は説明しないが、プラットフォーム契約者の開発したアプリケーション等のソフトウェアがAPI管理部60における判断を経由して情報処理システム50が備える機能を利用する以外の処理の流れは同じでよい。
記憶・読出部59は、主に、CPU501の処理によって実現され、記憶部5000に各種データを記憶させ、又は記憶部5000から各種データを読み出す機能である。
「画像管理情報記憶部5001」
記憶部5000には、画像管理情報記憶部5001が構築されている。図14(a)は、画像管理情報記憶部5001に記憶される画像管理情報を示す概念図である。なお、ここでは、テーブル形式で管理されているが、テーブル形式で管理されていなくてもよい。
画像管理情報記憶部5001には、図14に示されているような画像管理情報が記憶されている。画像管理情報は、撮像要求により撮像された広視野画像を管理する情報であり、ユーザーが通信端末30から撮像要求を送信すると、1レコードの画像管理情報が生成される。画像管理情報が有する各項目について説明する。
・広視野動画のデータIDは、広視野動画のデータを識別するための識別情報である。データIDは、情報処理システム50が採番する。IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。なお、データIDは広視野動画だけでなく、仮想ルームに対応付けられた撮像装置10によって通常の画角で撮像された画像に対しても関連付けてもよい。
・データ名称は、通信端末30のユーザーが設定した広視野動画の名称である。データ名称はユーザーが設定できるが、自動で設定されてもよい。
・撮像日時情報は、ユーザーが通信端末30に撮像要求を入力した日時、撮像装置10が広視野動画等の撮像画像を撮像した日時等、広視野動画等の撮像画像の撮像日時を特定するための情報である。撮像日時情報は広視野動画等の撮像画像のタイムスタンプ情報で代用してもよい。
・撮像者情報は、通信端末30に撮像要求を入力したユーザーの識別情報(ユーザーIDやユーザー名を含む)である。ユーザーは仮想ルームに入室した状態で、通信端末30に撮像要求を入力するので、撮像者情報に登録されるユーザーは情報処理システム50又は仮想ルームへの認証により特定されている。撮像者情報は、撮像要求と共に情報処理システム50に送信される。なお、撮像要求と撮像者情報は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
・撮像装置情報は、撮像して広視野動画を生成した撮像装置10の識別情報(撮像装置ID)である。撮像装置IDは、情報処理システム50が採番して撮像装置10と共有するが、MACアドレスやシリアル番号など撮像装置10に固有の情報が使用されてもよい。撮像装置IDは、広視野動画と共に情報処理システム50に送信される。なお、撮像装置IDと広視野動画は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
・撮像者の視点情報は、撮像者の通信端末3 0 において指定されている視点情報である。例えば、視点情報は、通信端末30が表示中の広視野画像の所定領域の中心座標(図11における中心点)を示しており、通信端末30において表示される広視野画像の所定領域T(図9、図10参照)を特定するために利用されるパラメータ情報である。ここではパラメータ情報の一例として、動径(r)、極角(θ)及び方位角(φ)を示しているが、図10~図12で説明した他のパラメータ情報であってもよい。視点情報は撮像要求する通信端末30から送信される。なお、視点情報は、所定領域T の表示範囲の幅と高さを指定する情報を有していてよい。あるいは、視点情報は表示範囲の幅と高さのみでもよい。
・撮像時の仮想ルームIDは、撮像装置10が対応付けられている仮想ルームの識別情報である。
・広視野動画のデータの保存場所情報(保存先情報)は、広視野動画が保存されている場所を示す情報であって、URLやファイルパス等である。また、保存場所情報によって特定される保存場所は所定のフォルダを示す情報であってもよい。フォルダは撮像時の仮想ルームに対応付けられたフォルダであってもよい。また、撮像日時、撮像装置、撮像者、撮像時の仮想ルーム等の分類の1つ又は2つ以上の組み合わせを示す識別情報(名称等の付加情報)に対応付けられたフォルダであってもよい。また、データの保存場所情報とデータIDやデータ名称等の情報と組み合わせてデータの保存場所を特定してもよい。
図14(b)は、図14(a)の変形例として、画像管理情報を示す概念図である。なお、ここでも、テーブル形式で管理されているが、テーブル形式で管理されていなくてもよい。図14(b)では、撮像時の仮想ルームIDが同じ広視野動画が保存されている。このように、画像管理情報は仮想ルーム単位で分類されてよい。
「仮想ルーム情報記憶部5002」
記憶部5000には、仮想ルーム情報記憶部5002が構築されている。図15(a)は、仮想ルーム情報記憶部5002に記憶される仮想ルーム情報を示す概念図である。仮想ルーム情報記憶部5002には、図15(a)に示されているような仮想ルーム情報が記憶されている。仮想ルーム情報は、仮想ルームに関する情報であり、仮想ルームごとに保持される。仮想ルーム情報が有する各項目について説明する。なお、ここでは仮想ルームはテナントに登録されているが、テナントへの登録は必須ではなく、一時的に作成された仮想ルームや共有で利用できる仮想ルームの情報も仮想ルーム情報記憶部5002に記憶される。
・仮想ルームIDは、仮想ルームを識別する識別情報である。本実施形態では、仮想ルームはユーザーが任意に作成できるものとする。
・仮想ルーム名称は、ユーザーが仮想ルームを判別するための名称であり、ユーザーが任意に設定できるものとする。なお、仮想ルームIDと仮想ルーム名称は同一の情報であってもよい。
・デバイス情報は、仮想ルームに対応付けられている撮像装置10を含むデバイスの識別情報(デバイスID)である。
・入室中のユーザーは、現在、仮想ルームに入室しているユーザーのユーザーIDである。このユーザーは仮想ルームの入室者に対して配信される広視野画像等の画像を閲覧可能なユーザーである。入室方法については後述する。また、ユーザーIDには該ユーザーが操作する通信端末30のIPアドレスが対応付けられていてもよい。また、ユーザーIDにはユーザー名が対応付けて記憶されていてもよい。
「テナント情報記憶部5003」
記憶部5000には、テナント情報記憶部5003が構築されている。図15(b)は、テナント情報記憶部5003に記憶されるテナント情報を示す概念図である。テナント情報記憶部5003には、図15(b)に示されているようなテナント情報が記憶されている。テナント情報は、テナント(ユーザーグループ)に関する情報であり、テナントごとに保持される。テナント情報が有する各項目について説明する。なお、テナント情報にはユーザー情報など図示する以外に様々な情報が登録されており、図15(b)は一部に過ぎない。
・テナントIDは、テナントを識別する識別情報である。
・テナント名は、ユーザーがテナントを判別するための名称である。なお、テナントIDとテナント名は同一の情報であってもよい。
・テナント登録仮想ルームIDは、テナントに登録された仮想ルームの識別情報である。
・テナント登録デバイスは、テナントに登録されたデバイスに関する情報である。
なお、テナント情報記憶部、テナントID、テナント名、テナント登録仮想ルームID、テナント登録デバイスは、それぞれ、ユーザーグループ情報記憶部、ユーザーグループID、ユーザーグループ名、ユーザーグループ登録仮想ルームID、ユーザーグループ登録デバイスと言い換えることができる。
「再生関連情報記憶部5004」
記憶部5000には、再生関連情報記憶部5004が構築されている。図16は、再生関連情報記憶部5004に記憶される再生関連情報を示す概念図である。なお、ここでは、テーブル形式で管理されているが、テーブル形式で管理されていなくてもよい。
再生関連情報には、広視野静止画の静止画ID、広視野動画の動画ID、再生経過時間、所定領域情報(視点情報)、及び広視野静止画の保存場所情報が関連付けられている。なお、広視野動画の動画ID及び所定領域情報は、それぞれ図14(a)、(b)におけるの広視野動画の動画ID及び撮影者の視点情報と同じ意味である。
・広視野静止画の静止画IDは、図16において同じレコードにおける広視野動画の動画IDで示された広視野動画からフレームとして切り出された広視野静止画を識別するための識別情報の一例である。
・再生経過時間は、広視野動画からフレームとしての広視野静止画が切り出された際の広視野動画における再生経過時間(タイムスタンプ)である。この再生経過時間は、図51の再生経過時間teに相当する。例えば、総再生時間が10分間の動画の場合、総再生時間の真ん中は、再生経過時間が5分である。
・広視野静止画の保存場所情報は、同じレコードにおける広視野動画の動画IDで示された広視野動画からフレームとして切り出された、同じレコードにおける静止画IDで示された広視野静止画の保存場所情報である。
<通信端末の仮想ルームへの入室>
続いて、図17、図18を参照し、ユーザーbが仮想ルームに入室する処理について説明する。なお、すでに撮像装置10が仮想ルームに対応付けられ、通信端末30Aが広視野画像と通常の画角の画像を情報処理システム50に送信しているものとする(撮像装置10の仮想ルームへの対応付け等については図19以降で説明する)。また、以下では、ユーザーbが仮想ルームに入室することと、ユーザーbが操作する通信端末30Bが仮想ルームに入室することを特に区別しないで説明する。
図17は、ユーザーbが仮想ルームに入室する際に通信端末30Bが表示する画面例を示す。図17(a)は、入室画面200の一例である。補足すると、入室画面200の表示に先立って、ユーザーbは情報処理システム50にログインしている。ログインすることでユーザーbが所属するテナントが特定される。仮想ルームはテナントと関連付けられている。ユーザーbはテナントに関連付けられている仮想ルームの一覧を通信端末30Bで表示し(図22参照)、一覧から入室する仮想ルームを選択する。図17(a)はこのようにユーザーbが選択した仮想ルームに対する入室画面200である。なお、テナントに関連付けられていない一時的に作成した仮想ルームや共有の仮想ルームが図17(a)の画面に表示されてもよい。
あるいは、仮想ルームの作成者が仮想ルームに対応するURLの発行を情報処理システム50に要求し、このURLをメール等でユーザーbに送信してもよい。ユーザーbが通信端末30Bに表示されたURLを押下すると、通信端末30Bが図17(a)の入室画面200を表示する。
入室画面200は、仮想ルーム名称201、参加者名入力欄202、及び入室ボタン203を有している。仮想ルーム名称201は仮想ルーム情報記憶部5002に記憶されているものと同じである。参加者名入力欄202は、仮想ルーム内で表示されるユーザー名を入力する欄であって、ニックネームなどユーザーbの呼称でもよい。ユーザーbがログインすることでユーザーbのユーザーIDに紐づくユーザー名を特定し、この特定したユーザー名が自動で表示されてもよい。入室ボタン203は、ユーザーbが仮想ルームへの入室を要求するボタンである。
なお、入室時に仮想ルームの入室のための認証が、テナントへのログインとは別に要求されてもよい。
図17(b)は、ユーザーbが仮想ルームに入室したことで、通信端末30Bが表示する画像閲覧画面210である。図17(b)の画像閲覧画面210は、撮像装置10が情報処理システム50を介して広視野画像の配信をすでに開始しており、通信端末30Aが通常の画角の画像の配信をすでに開始している。このため、画像閲覧画面210は、第一の画像欄211と第二の画像欄212を有している。第一の画像欄211には広視野画像が表示され、第二の画像欄212には通常の画角の画像が表示されている。画像を送信する拠点が3つ以上になれば、送信元の拠点の数に応じて画像閲覧画面210が分割される。
第一の画像欄211には、広視野画像マーク213が表示されている。広視野画像マーク213は、情報処理システム50の画面生成部52が、第一の画像欄211に表示する画像が広視野画像であると判断して設定する。通信端末30Bが判断して表示してもよい。ユーザーbは広視野画像マーク213を見ることで、視点を変更できる広視野画像が配信されていることが分かる。また、第一の画像欄211にはデバイスの名称214(広視野画像と共に撮像装置10から送信される)が表示される。デバイスの名称214は後述するようにユーザーa等によって設定された情報である(図20参照)。
第二の画像欄212には、参加者名215が表示される。参加者名215はユーザー名であって、参加者名入力欄202に、すでに入室済みのユーザー(ここではユーザーaが入室済みなので、ユーザーaが参加者名入力欄202に入力した「AAA」)の参加者名が表示される。
図18は、ユーザーb(又は通信端末30B)が仮想ルームに入室する処理を説明するシーケンス図である。
S1:まず、拠点Bのユーザーbが仮想ルームの一覧画面の表示を行う操作を行う。なお、通信端末30Bは、ユーザーbによる操作に応じて事前に情報処理システム50へアクセスし、仮想ルームの一覧画面を表示させるための仮想ルーム情報記憶部5002に記憶されている仮想ルームの情報を情報処理システム50から受信している。この際に、通信端末30Bはログイン等に必要な認証情報を情報処理システム50へ送信することによって、情報処理システム50の認証部55によって認証されてもよい。認証情報はユーザーbに紐づく認証情報であっても、通信端末30Bに紐づく認証情報であってもよい。このような場合に、一覧画面に表示される仮想ルームはユーザーbに紐づくテナントに登録されている仮想ルームや通信端末30Bに紐づくテナントに登録されている仮想ルームであってもよい。受付部32が一覧画面を表示する操作を受け付けることで、通信端末30Bの表示制御部33は、ディスプレイ306に選択画面を表示させる。
S2:ユーザーbがある仮想ルームの選択ボタンを選択した場合、通信端末30Bの受付部32は、仮想ルームの選択を受け付ける。通信端末30Bの表示制御部33は、ディスプレイ306に図17(a)で示した入室画面200を表示させる。
S3:ユーザーbが必要事項を入力し、入室ボタン203を押下する。受付部32が押下を受け付けることで、通信端末30Bの通信部31は、情報処理システム50に対して、仮想ルームへの入室要求を送信する。この入室要求は、ステップS2で選択された仮想ルームを示す仮想ルームID、ログイン等によって認証されたユーザーbのユーザーID、及び要求元端末である通信端末30BのIPアドレス等の情報を含む。これにより、情報処理システム50の通信部51は、入室要求を受信する。
S4:通信グループ管理部56は、仮想ルーム情報記憶部5002の仮想ルームIDで特定される仮想ルーム情報に、ログイン等によって認証されたユーザーIDとIPアドレスを登録する。
S5:そして、情報処理システム50の通信部51は、通信端末30Bに対して、入室済みを示す応答を送信する。これにより、通信端末30Bの通信部31は、入室済みを示す応答を受信する。通信端末30Bの表示制御部33はS5に続けて、情報処理システム50の画面生成部52が生成した画面の情報と画像配信部54が配信した画像の情報を受信し、受信した情報に基づいて、図17(b)に示した画像閲覧画面210を表示させる。
<撮像装置のルームへの対応付け>
続いて、図19~図26を参照して、撮像装置10の仮想ルームへの対応付けについて説明する。なお、撮像装置10の仮想ルームへの対応付けは拠点Aのユーザーaが行うとして説明するが、システム管理者やテナント管理者等が行ってもよい。
図19は、通信端末30Aが表示するデバイス登録画面220の一例である。ユーザーaは情報処理システム50にログイン等によって認証されている状態である。ログインすることでユーザーaが所属するテナントが特定される。ユーザーaはデバイス登録画面220の表示を情報処理システム50に要求し、通信端末30Aは情報処理システム50から受信したデバイス登録画面220を表示する。デバイス登録画面220によりまず、デバイスがテナントに登録される。
デバイス登録画面220は、撮像装置登録ボタン221、VRゴーグル登録ボタン222、スマートグラス登録ボタン223を有している。デバイスの種類ごとにボタンが用意されるのは、カメラの有無、登録に使用される情報等に違いがあるためである。また、デバイスの種類ごとにデバイスが登録されるので、情報処理システム50ではデバイスの種類も把握できる。
撮像装置登録ボタン221は、ユーザーaが撮像装置10を登録するためのボタンであり、VRゴーグル登録ボタン222はVRゴーグル89を登録するためのボタンであり、スマートグラス登録ボタン223はスマートグラス88を登録するためのボタンである。
図20は、撮像装置登録ボタン221が押下された場合に表示される画面の一例である。図20(a)は、撮像装置登録ダイアログ230を示す。撮像装置登録ダイアログ230は、撮像装置10の名称欄231と、説明欄232と、次へボタン233を有している。ユーザーaは登録する撮像装置10であることが分かるように撮像装置10の名称欄231に任意の名称を設定し、説明欄232に説明を設定する。
ユーザーaが次へボタン233を押下すると、通信端末30Aが二次元コードを情報処理システム50に要求し、通信端末30Aが二次元コードを表示する。
図20(b)は、通信端末30Aが表示した二次元コード画面240の一例である。二次元コード画面240は、「××(名称欄に入力した名称)というデバイスを登録するため、以下の二次元コードをスキャンして下さい」という旨のメッセージ241、及び、二次元コード242を有している。ユーザーaは二次元コード242を登録したい撮像装置10で撮像する。二次元コード242には、撮像装置10が自身の登録のために接続するURL、一時的なIDとパスワードといった登録に必要な認証情報が含まれている。
ユーザーaが撮像装置10で二次元コード242を撮像すると、撮像装置10がURLに接続し、一時的なIDとパスワードで認証を受ける。認証が成功すると、正式な撮像装置IDが交換され、撮像装置10の名称、説明、及び、撮像装置IDがテナントに登録される。撮像装置10もこの撮像装置ID、名称、及び説明を保持する。テナントに登録された撮像装置10は、後述するユーザーaの操作に応じて仮想ルームに対応付けられる。なお、二次元コード242はコード情報の一例であって、同様の認証情報が埋め込まれていればよく、バーコード等の他の形態のコードであってもよい。
続いて、図21を参照して、VRゴーグル89やスマートグラス88等の通信端末のテナントへの登録方法の一例を説明する。図21は、VRゴーグル登録ボタン222が押下された場合に表示されるVRゴーグル登録画面250の一例である。VRゴーグル登録画面250は、一時コード入力欄251と、シークレット入力欄252を有している。
VRゴーグル89がカメラを有さない場合には二次元コードを撮像できない。このため、ユーザーaはVRゴーグル89に一時コード(一時的なID)と、シークレット(パスワード)を出力させ(表示させ)、一時コード入力欄251と、シークレット入力欄252に入力してもよい。通信端末30Aは一時コードとシークレットを情報処理システム50に送信することで、VRゴーグル89をテナントに登録する。VRゴーグル89が情報処理システム50に接続し、一時コードとシークレットを送信することで、認証を受ける。認証が成功すると、正式なVRゴーグルIDが交換され、VRゴーグルIDがテナントに登録される。VRゴーグル89もこのVRゴーグルIDを保持する。テナントに登録されたVRゴーグル89は、後述するユーザーaの操作に応じて仮想ルームに対応付けられる。スマートグラス88については詳細を説明するが、ユーザーaは撮像装置10又はVRゴーグル89と同様に登録できる。なお、一時コードとシークレットは認証情報の一例であって、他の情報を認証情報に用いてもよい。なお、撮像装置ID、VRゴーグルID、スマートグラスIDはそれぞれデバイスIDの一例であるため、デバイスIDと言い換えることができる。そのため、撮像装置10、VRゴーグル、スマートグラス以外のデバイスを登録する際にも同様の手順によってデバイスIDを仮想ルームやテナントとの関連付けに利用することができる。なお、デバイスIDは、デバイスの所有者に紐づく識別情報であってもよい。
図22は、仮想ルームに撮像装置10を対応付けるための仮想ルーム対応付け画面(その1)260の一例を示す。VRゴーグル89、スマートグラス88の場合も画面構成は同じでよい。仮想ルーム対応付け画面(その1)260は、仮想ルームのリスト261を有している。仮想ルームのリスト261は、テナントに作成されている仮想ルームに基づいて仮想ルーム個別欄262~264を表示する。各仮想ルーム個別欄262~264は、リンク発行ボタン265と、入室ボタン266と、設定ボタン267と、仮想ルーム名称268と、を有する。リンク発行ボタン265は、仮想ルームへのリンク(招待するためのURL)とパスコードを発行するためのボタンである。入室ボタン266は仮想ルームにユーザーaが入室するためのボタンである。設定ボタン267は、仮想ルームに撮像装置10を対応付けるためのボタンである。仮想ルーム名称268は仮想ルーム情報記憶部5002に記憶されているものと同じである。したがって、ユーザーaは設定ボタン267を押下する。設定ボタン267の押下により、通信端末30Aは仮想ルーム対応付け画面(その2)270を表示する。
また、仮想ルームにすでにデバイスが対応付けられている場合、仮想ルーム個別欄(図では仮想ルーム個別欄264)にデバイスの名称269が表示される。
図23は、仮想ルーム対応付け画面(その2)270の一例を示す。なお、仮想ルーム対応付け画面(その2)270は仮想ルーム対応付け画面(その1)260にポップアップ表示されている。仮想ルーム対応付け画面(その1)260から仮想ルーム対応付け画面(その2)270への画面遷移は、情報処理システム50を経由しないが、経由する画面遷移も可能である。
仮想ルーム対応付け画面(その2)270は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称271(まだ登録されていないので図では未登録)と、接続ボタン272と、ストレージボタン273と、を有する。接続ボタン272は、仮想ルームにデバイスを対応付けるためにテナントに登録されているデバイスの一覧を対応付ける候補として表示させるボタンである。ストレージボタン273は当該仮想ルームに対応付けられている撮像装置10によって撮像された広視野画像や通常の画角の画像を保存するストレージ90の一覧を表示させるボタンである。ストレージ90の一覧には、仮想ルームに対応付けるストレージ90の一覧だけでなく、ストレージ90上のフォルダ等の特定の保存場所の一覧が含まれていてもよい。ユーザーが所定のストレージ90やストレージ90上のフォルダ等の特定の保存場所を選択することで、仮想ルームに対してストレージ90を対応付けることができる。このようにして対応付けたストレージ90の情報(ストレージ90にアクセスするためのアドレス情報やストレージ90上のフォルダ等の保存場所)は、仮想ルーム情報記憶部5002において仮想ルームIDと関連付けて記憶させることができる。接続ボタン272の押下により、通信端末30Aは仮想ルーム対応付け画面(その3)を表示する。
通信端末30Aは情報処理システム50に仮想ルームIDを送信し、該仮想ルームが生成されているテナントに登録されているデバイスの名称(デバイスのID等も含む)、及び、仮想ルームに対応付けられているデバイスの名称(デバイスのID等も含む)を取得する。
図24は、仮想ルーム対応付け画面(その3)280の一例を示す。仮想ルーム対応付け画面(その3)280は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称281と、追加可能デバイス一覧282と、保存ボタン283と、を有している。ユーザーaは追加可能デバイス一覧282から仮想ルームに追加で対応付けたいデバイスを選択し、保存ボタン283を押下する。これにより、仮想ルームにデバイスが対応付けられる(仮想ルーム情報記憶部5002に撮像装置ID等のデバイスIDが登録される)。なお、図24に示しているように、仮想ルームに対応付けられる撮像装置の数を制限してもよく、例えば上限が2台の場合に、仮想ルーム情報記憶部5002に既に登録されている撮像装置IDの数を参照することによって、追加で登録できるデバイスの残りの数を仮想ルーム対応付け画面(その3)に表示させてもよい。
<撮像装置に対する広視野画像の送信開始処理>
以上で、撮像装置10等のデバイスが仮想ルームに対応付けられたが、ユーザーaがデバイスに対し画像の送信開始を操作する必要がある。
VRゴーグル89とスマートグラス88については、ユーザーaがデバイス本体を操作して画像の送信をオン、オフする。これは、現在、VRゴーグル89とスマートグラス88については、通信システム1aに専用のアプリケーションが動作していないためである。VRゴーグル89とスマートグラス88においても通信システム1aに専用のアプリケーションが動作する場合、ユーザーaが遠隔から画像の送信をオン、オフできる。
撮像装置10の場合、アプリケーションが有効になっていれば、ユーザーaが仮想ルームに入室してメニューから広視野画像の送信をオン、オフできる。
図25は、通信端末30Aが表示する広視野画像送信制御ダイアログ290の一例である。広視野画像送信制御ダイアログ290は画像閲覧画面210にポップアップ表示されている。ユーザーaが通信端末30Aを操作して、撮像装置10を対応付けた仮想ルームに入室したものとする。広視野画像送信制御ダイアログ290は、この仮想ルームに対応付けられている撮像装置10の名称292を表示する。名称292の近くにトグルボタン291が表示されており、ユーザーaがトグルボタン291を操作して、撮像装置10による広視野画像の送信をオン(送信開始)又はオフ(送信停止)に設定できる。なお、トグルボタンによるオン又はオフの設定方法は一例であって、ユーザー操作の入力に応じて設定できればよい。例えば、ラジオボタンや所定のアイコンの選択、メニュー操作等によって設定してもよい。また、ユーザー操作を不要として、撮像装置10が入室してから自動で広視野画像の送信を開始してもよい。また、日時や入室したユーザーの人数や特定のユーザーが参加したことなどの所定の条件を予め定めておき、その条件を満たしたことを判断した場合に、広視野画像の送信を開始してもよい。
通信端末30Aはトグルボタン291の操作による送信制御の設定情報を情報処理システム50に送信する。情報処理システム50は送信制御の設定情報に応じた送信開始要求又は送信停止要求を撮像装置10に送信する。
図25(a)はトグルボタン291がオフの設定の状態を示す。このため、図25(a)では広視野画像が表示されていない。一方、図25(a)では、通信端末30Aが入室した時点で、通信端末30Aのカメラ9が撮像した通常の画角の画像がすでに共有されており、画像閲覧画面210に表示されている。
図25(b)はトグルボタン291がオンの設定の状態を示す。トグルボタン291のオンにより、情報処理システム50が送信開始要求を撮像装置10に送信したため、撮像装置10が広視野画像の送信を開始した。このため、1つの仮想ルームで2つの画像が共有されるので、画像閲覧画面210が2つに分割される。また、オンの設定からオフの設定に変更した場合には、オフの設定情報を通信端末30Aが送信し、情報処理システム50がオフの設定情報の受信に応じて送信停止要求を撮像装置10に送信し、撮像装置10が広視野画像の送信を停止する。
図26で説明したように、ユーザーが仮に現場にいる状況であっても、撮像装置10によってコード情報を撮像するといった簡易な操作によって、仮想ルームに撮像装置10を関連付けることができる。現場にいるユーザーはPC等を持たないこともあるため、予め発行しておいたコード情報と撮像装置10さえあれば、その場で関連付け処理を行うことができることは現場のユーザーにとって特に有用である。また、関連付け処理を予め実施しておけば、ユーザーは仮想ルームの選択等しなくとも撮像装置10を所定の仮想ルームに接続させることができ、送信の開始又は停止についても遠隔拠点から指示できるため、現場の作業に集中したいユーザーの負担を軽減することができる。したがって、事前準備の工程においても現場と遠隔拠点でのコミュニケーションを効率的に行えるシステムを提供することができる。
<<仮想ルームへの撮像装置の登録手順>>
次に、図26を参照して、図19~図25の一連の画面遷移で説明した仮想ルームへの撮像装置10の登録手順を説明する。図26は、ユーザーaが仮想ルームに撮像装置10を登録する手順を示すシーケンス図の一例である。
S11:まず、ユーザーaが通信端末30Aを情報処理システム50に接続させ、認証情報(ユーザーID,パスワード等)を入力して、ログインを要求する。通信端末30Aの受付部32が操作を受け付ける。
S12:通信端末30Aの通信部31は認証情報を指定してログイン要求を情報処理システム50に送信する。情報処理システム50の通信部51は、ログイン要求を受信し、認証部55が指定された認証情報に基づいて認証を行う。ここでは認証が成功したものとする。また、この際に情報処理システム50はテナント情報記憶部5003を参照することで、認証されたユーザーIDに関連付けられたテナントIDを特定することができる。
S13:ユーザー操作に応じて、情報処理システム50の画面生成部52はデバイス登録画面220を生成し、通信部51がデバイス登録画面220の画面情報を通信端末30Aに送信する。
S14:通信端末30Aの通信部31がデバイス登録画面220の画面情報を受信し、表示制御部33が図19に示したデバイス登録画面220を表示する。ユーザーaはデバイスの種類を選択し(ここでは撮像装置10(例えば全天球カメラ)が選択されたものとする)、次いで、図20で示したように撮像装置10の名称、説明を入力する。受付部32が入力を受け付ける。
S15:通信端末30Aの通信部31は、ユーザーaが入力した名称と説明を指定して、コード情報(例えば二次元コード)の要求を情報処理システム50に送信する。
S16:情報処理システム50の通信部51は、コード情報(例えば二次元コード)の要求を受信する。通信グループ管理部56は、名称と説明と関連付けてURL(登録のための接続先)を生成し、URL、一時的なID及びパスワードを含むコード情報(例えば二次元コード)を生成する。情報処理システム50の通信部51はコード情報(例えば二次元コード)を通信端末30Aに送信する。通信端末30Aの通信部31がコード情報(例えば二次元コード)を受信し、図20で示したように表示制御部33がコード情報(例えば二次元コード)を表示する。
S17:次に、ユーザーaは仮想ルームに対応付けたい撮像装置10を操作して、コード情報(例えば二次元コード)を撮像する。撮像装置10の受付部12が操作を受け付ける。
S18:撮像装置10の撮像処理部13はコード情報(例えば二次元コード)を含む撮像対象に対して撮像処理を行うことで画像データを生成し、解析部14が画像データを解析してURL、一時的なID及びパスワードを抽出する。これにより、登録要求部15が接続部16を経由してURLに接続し、一時的なID及びパスワードを指定して撮像装置10の登録要求を情報処理システム50に送信する。なお、図21で説明した登録画面による登録方法を実施する場合は、コード情報を撮像しないため、撮像装置10がVRゴーグル89やスマートグラス88等の通信端末に置き換わり、S15~S17のステップは省略することができる。
S19:情報処理システム50の通信部51は、一時的なID及びパスワードを受信し、認証部55が接続されたURLに関連付けられている一時的なID及びパスワードと一致するかどうかを判断する。ここでは一致したものとする。
S20:情報処理システム50の通信グループ管理部56は、撮像装置10の登録が要求されているので、デバイスIDの一例として撮像装置IDを生成し、ユーザーaがログインした際に特定したテナントIDに対応するテナントに撮像装置IDを登録する。なお、撮像装置IDには名称や説明が関連付けられている。具体的には、通信グループ管理部56が、テナント情報記憶部5003を参照し、特定したテナントIDに関連付けられるテナント登録デバイスに撮像装置IDを追加して登録する。なお、ここでは通信グループ管理部56が撮像装置IDを生成して登録しているが、撮像装置10から受信した撮像装置IDを登録してもよい。なお、撮像装置10ではなくVRゴーグル89やスマートグラス88等の通信端末をテナントに登録する場合には、同様の手順でそれぞれに対応するデバイスIDをテナント情報記憶部5003に登録することができる。
S21:情報処理システム50の通信部51は、撮像装置IDを撮像装置10に送信する。撮像装置10の接続部16が撮像装置IDを受信し、記憶部1000に保存する。
S22:通信端末30Aには、情報処理システム50の通信部51から登録完了が通知され、これによりユーザーaが仮想ルームへの撮像装置10の対応付けを開始することができる。ユーザーaは仮想ルーム対応付け画面(その1)260を通信端末30Aに表示させ、テナントに登録した撮像装置10を対応付けたい仮想ルームを選択する。通信端末30Aの受付部32が選択を示す操作入力を受け付ける。具体的には、通信端末30Aの受付部32がユーザーaからの操作入力を受け付けることによって、表示制御部33が仮想ルーム対応付け画面(その1)260を表示させる。この際に、通信部31は画面の更新要求を情報処理システム50の通信部51へ送信してもよい。情報処理システム50は更新要求を受信すると、テナント情報記憶部5003を参照し、認証されたユーザーIDに関連付けられたテナントに登録された仮想ルームIDを特定する。さらに続けて、仮想ルーム情報記憶部5002を参照し、特定した仮想ルームIDに関連付けられた仮想ルーム名称を取得する。このようにして特定した仮想ルームID及び対応する仮想ルーム名称の情報(画面生成部52がこれらの情報に基づいて生成した画面の情報であってもよい)を情報処理システム50の通信部51は通信端末30Aへ送信する。通信端末30Aの通信部31は、仮想ルームID及び仮想ルーム名称の情報を受信し、受信した情報に基づいて表示制御部33が仮想ルーム対応付け画面(その1)260を更新表示することができる。なお、このような情報はユーザーIDに基づいて特定することができるため、認証後のS13で受信しておいてもよい。このようにして表示した仮想ルーム対応付け画面(その1)260に対してユーザーaからの選択を示す操作入力を受付部32が受け付けることによって、通信端末30Aが選択された仮想ルームIDを特定することができる。
S23:次に、ユーザーaは仮想ルーム対応付け画面(その2)270を通信端末30Aに表示させ、デバイスを追加で仮想ルームに対応付けるために接続ボタン272を押下する。通信端末30Aの受付部32が押下を示す操作入力を受け付ける。具体的には、通信端末30Aの表示制御部33は、S22で特定した選択された仮想ルームIDに対応する仮想ルーム対応付け画面(その2)270を表示する。さらに、受付部32は、ユーザーaからデバイスを追加で仮想ルームに対応付ける指示を受け付ける(接続ボタン272の押下)。
S24:S23における操作入力に応じて、通信端末30Aの通信部31は、仮想ルームに対応付けるデバイスの候補となるテナントに登録済みのデバイスと、ステップS22で選択された仮想ルームIDに既に対応付けられているデバイスの情報を情報処理システム50に要求する。
S25:情報処理システム50の通信部51は、テナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスの情報の要求を受信し、画面生成部52がテナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスのデバイスIDを含む仮想ルーム対応付け画面(その3)280を生成する。情報処理システム50の通信部51は仮想ルーム対応付け画面(その3)280の画面情報を通信端末30Aに送信する。
S26:通信端末30Aの通信部31が仮想ルーム対応付け画面(その3)280の画面情報を受信し、表示制御部33が仮想ルーム対応付け画面(その3)280を表示する。ユーザーaは仮想ルームに対応付けるデバイス(ここでは撮像装置10を例に説明する)を選択する。通信端末30Aの受付部32が選択を受け付け、選択されたデバイスのデバイスIDとして撮像装置IDが特定される。
S27:通信端末30Aの通信部31は、ステップS22で選択された仮想ルームIDとS26で選択されたデバイスID(例えば撮像装置ID)を指定して、対応付け要求を情報処理システム50に送信する。
S28:情報処理システム50の通信部51は、対応付け要求を受信し、通信グループ管理部56が仮想ルームにデバイス(例えば撮像装置10)を登録する。すなわち、通信グループ管理部56は、仮想ルーム情報記憶部5002を参照し、S27の要求で指定されている仮想ルームIDにデバイスID(例えば撮像装置ID)を関連付けて登録する。
S29:仮想ルームにデバイスID(例えば撮像装置ID)が対応付けられたので、情報処理システム50の通信部51は、仮想ルームID,名称、説明を撮像装置10に送信する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用して送信してもよい。撮像装置10の接続部16が仮想ルームID,名称、説明を受信し、記憶部1000に保存する。これにより、撮像装置10が広視野画像を送信する際は、撮像装置ID、仮想ルームID、名称、説明等を付加できる。撮像装置10以外のデバイスも同様の手順で仮想ルームに対応付けることができる。さらに続けて、情報処理システム50の通信部51は、通信端末30Aに対して対応付け完了を示す通知を送信してもよい。このステップ以降、仮想ルームに対して登録されたデバイス(撮像装置10)は、対応付けられた仮想ルームに接続することができる。ここでは、続けて撮像装置10が情報処理システム50に対して、S29で受信した仮想ルームIDを指定して仮想ルームに接続要求を送信することで、仮想ルームに接続したものとして説明を続けるが、撮像装置10が仮想ルームに接続するタイミングはユーザーの操作によって変更することができる。
S30:通信端末30A及び情報処理システム50は、図18で説明した入室処理を行うことで、通信端末30Aがデバイス(撮像装置10)の対応付けを行った仮想ルームに入室する。
S31:入室後、ユーザーaが画像閲覧画面210において仮想ルームに対応付けられた撮像装置10のトグルボタン291をオンする。通信端末30Aの受付部32がオンを受け付ける。
S32:通信端末30Aの通信部31は、デバイスID(撮像装置ID)を指定して広視野画像の送信開始要求を情報処理システム50に送信する。なお、ユーザーaが直接、撮像装置10のボタンを操作して、広視野画像の送信を開始してもよい。なお、ユーザーaの操作により、通信端末30Aの通信部31が、送信停止要求を情報処理システム50に送信する場合もある。
S33:情報処理システム50の通信部51は、送信開始要求を受信し、デバイスID(撮像装置ID)で特定される撮像装置10に送信開始を要求する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用してもよい。撮像装置10の接続部16が送信開始を受信し、撮像処理部13が撮像を開始する。画像送信制御部18が接続部16を介して決まったFPS又は帯域に応じたFPSで広視野画像の送信を繰り返す。したがって、仮想ルームに入室した通信端末30は拠点Aの状況を画像閲覧画面210にリアルタイムに表示できる。
<広視野画像等の配信>
図27を参照して、広視野画像や通常の画角の画像が共有される流れを説明する。図27は、広視野画像が共有される流れを説明するシーケンス図の一例である。図27では、通信端末30A、30Bが図18で説明した入室処理を実行し、仮想ルームに入室ずみである。また、通信端末30Aは通常の画角のカメラ9を有し、通信端末30Bと共有されている。通信端末30Aのカメラ9でなく、仮想ルームに対応付けられたスマートグラス88が撮像した画像等が共有されてもよい。また、図27では、図26で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。
S41:通信端末30Aの撮像部34は周囲の撮像を行い、通信部31は入室している仮想ルームIDを指定して撮像で得た画像を含む映像及び音声を情報処理システム50に送信する。
S42,S43:情報処理システム50の通信部51が画像を含む映像及び音声を受信すると、画像配信部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して画像を含む映像及び音声を送信する。なお、図27では、通信端末30Aの通信部31が通常の画角の画像を情報処理システム50から受信して表示しているが、撮像部34が撮像した通常の画角の画像を受信することなく表示してもよい。
S44:次に、撮像装置10が送信開始の設定に基づく送信開始要求に応じて、撮像処理部13は広視野画像の撮像を行い、画像送信制御部18が接続部16を介して自機が登録されている仮想ルームID、撮像装置ID、名称、説明を指定して広視野画像を含む映像及び音声を、情報処理システム50に送信する。
S45,S46:情報処理システム50の通信部51が広視野画像を含む映像及び音声を受信すると、画像配信部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して広視野画像を含む映像及び音声を送信する。
S47:次に、カメラ9を備えた通信端末30Cが図18で説明した入室処理を実行することで新しく仮想ルームに入室した。
S48:通信端末30Cの通信部31は通常の画角の画像を含む映像及び音声を情報処理システム50に送信する。
S49~S51:情報処理システム50の通信部51は通信端末30Cから通常の画角の画像を含む映像及び音声を受信し、同じ仮想ルームに入室している通信端末30A~30CのIPアドレスを仮想ルーム情報記憶部5002から取得し、画像配信部54が通常の画角の画像を含む映像及び音声を送信する。
S52:また、情報処理システム50の通信部51は同じ仮想ルームに入室した通信端末30Cに対しても、広視野画像を含む映像及び音声を送信する。
このように、同じ仮想ルームに入室したユーザーa,bは、仮想ルームに対応付けられた撮像装置10が撮像する広視野画像を含む映像をリアルタイムに共有できる。なお、図27で示した、各画像の送信順は一例であり、広視野画像が先に共有されてもよいし、通常の画角の画像が先に共有されてもよい。
ここで、スマートグラス88とVRゴーグル89について補足する。スマートグラス88は通常の画角のカメラと表示機能を有している。スマートグラス88が保持するカメラが撮像により得た通常の画角の画像は、カメラ8,9と同様に配信される。スマートグラス88が保持する表示機能は、通常のディスプレイと同様に平面なので、ユーザーが指示する視点で広視野画像の一部が表示される。VRゴーグル89は表示機能を有している(通常の画角のカメラをさらに有していてもよい)。スマートグラス88が保持する表示機能は、ユーザーの頭部の向きによって決まる視点の広視野画像を投影するので、ユーザーの頭部の向きに応じた視点で広視野画像における所定領域Tの所定領域画像Qが表示される。ユーザーは、スマートグラス88やVRゴーグル89で広視野画像を閲覧中に、閲覧中の視点情報を指定した撮像要求を情報処理システム50に送信できる。
<通信端末からの指示による撮像装置の撮像>
続いて、図28~図34を参照して、任意の通信端末30からの指示により撮像装置10が撮像する処理について説明する。
まず、広視野画像の共有時において、通信端末30を操作してユーザーが撮像装置10に撮像を要求する際の画面を説明する。なお、任意のユーザーが撮像を指示できるが、ここでは、ユーザーbが撮像を指示するものとする。また、広視野画像の共有時であるので、厳密には撮像装置10はすでに「撮像」をリアルタイムに行っている。広視野画像の共有時の撮像要求とは、広視野画像を保存のために撮像することをいう。単に、広視野画像がリアルタイムに配信されている状態では広視野画像は保存されていないため、後から確認することができない(ある場面が任意に保存されていない)。
図28は、通信端末30Bが表示する画像閲覧画面400の一例である。なお、図28の説明では主に図25(b)との相違を説明する。通信端末30Aと30Bがリアルタイムに配信されている広視野画像を含む映像をそれぞれ表示し、通信端末30A、30Bは通信端末30Aが有するカメラ9が撮像した通常の画角の画像を含む映像も表示している。広視野画像の映像は、各拠点におけるユーザーの操作により任意に仮想的な視点(図11参照)を変更することで、表示される広視野画像の所定領域T(図9、図10参照)を変更することができる。このため、通常の画角では確認できないような範囲まで現場の状況を確認することができる。
図28に示すように、広視野画像が表示された第一の画像欄211には、2種類の撮像ボタンとして、静止画の保存ボタン401aと動画の録画ボタン401bが表示される。なお、以降、「撮像ボタン401」は、保存ボタン401aと録画ボタン401bの総称として用いる。
保存ボタン401aは、現在、第一の画像欄211に表示されている広視野画像(ここでは、広視野静止画)を含む映像の所定領域を特定するための視点情報を用いて、通信端末30Bが撮像装置10に広視野画像の保存要求(撮影要求の一種)を送信するためのボタンである。
録画ボタン401bは、現在、第一の画像欄211に表示されている広視野画像を含む映像の所定領域を特定するための視点情報を用いて、通信端末30Bが、撮像装置10に現在から広視野画像(ここでは、広視野動画)の録画を開始するための録画要求(撮影要求の一種)を送信するためのボタンである。
なお、撮像ボタン401は、撮像を指示可能なGUIの部品であればよく、図28の例に限られない。
図29は、通信端末30Bにおいて、撮像ボタン401が押下されたことでダウンロードボタン402が表示された画像閲覧画面400を示す。図29では、第一の画像欄211の下方に2種類のダウンロードボタン(表示部品の一例)として、保存された広視野静止画をダウンロードする際に押下される静止画ダウンロードボタン402a、録画された広視野動画をダウンロードする際に押下される動画ダウンロードボタン402bが表示されている。なお、以降、「ダウンロードボタン402」は、静止画ダウンロードボタン402a、と動画ダウンロードボタン402bの総称として用いる。
静止画ダウンロードボタン402aには、ユーザーによる保存ボタン401aの押下によって撮像装置10から送信された撮像(保存)要求に応じて撮像(保存)した広視野画像をアップロードした保存先情報(例えばURL)が埋め込まれている。ユーザーbが静止画ダウンロードボタン402aを押下すると、通信端末30BがURLに接続して、広視野静止画をダウンロードできる。広視野静止画には視点情報が関連付けられているので、通信端末30Bがダウンロードした広視野静止画を表示する際は、視点情報によって特定される広視野静止画の所定領域を第一の画像欄211の中央に一致させるように仮想的な視点を設定して表示する。
動画ダウンロードボタン402bには、ユーザーによる保存ボタン401bの押下によって撮像装置10から送信された撮像(録画)要求に応じて撮像(録画)した広視野動画をアップロードした保存先情報(例えばURL)が埋め込まれている。ユーザーbが動画ダウンロードボタン402bを押下すると、通信端末30BがURLに接続して、広視野動画をダウンロードできる。広視野動画には視点情報が関連付けられているので、通信端末30Bがダウンロードした広視野動画を表示する際は、視点情報によって特定される広視野動画の所定領域を第一の画像欄211の中央に一致させるように仮想的な視点を設定して表示する。
なお、視点を完全に中央に一致させる必要はなく、視点を第一の画像欄211の中央近傍の範囲に含まれるように設定して表示させてもよい。なお、ここではリアルタイムに配信されている広視野画像を含む映像が表示されていた第一の画像欄211にダウンロードした広視野画像を表示する例を説明したが、第一の画像欄211には、そのままリアルタイムに配信されている広視野画像を含む映像を表示し続け、新しい画像欄を画像閲覧画面400に追加し、新しい画像欄にダウンロードした広視野画像を表示させてもよい。このようにすることで、リアルタイムに配信されている広視野画像の映像によって現場の状況の変化を確認しつつ、現場の特定の状況を切り取った広視野画像も同時に確認することができる。
なお、ダウンロードボタン402の態様は一例であって、ダウンロードボタン402は例えば「全天球画像URL」のようなメッセージを表示してもよい。また、ボタンではなく保存先情報(例えばURL)に対応するリンクが表示されてもよい。ユーザーはリンクをクリックすることで同様にダウンロードすることができてもよい。
また、通信端末30Bはダウンロードボタン402を表示することなく、保存された広視野画像及び関連付けられた視点情報を自動的に受信して表示してもよい。
また、図29は、撮像要求した通信端末30Bが表示する画像閲覧画面400であるが、リアルタイムに配信されている広視野画像を含む映像を表示している通信端末30Aが表示する画像閲覧画面400でもダウンロードボタン402が表示され得る。一つの実施例としては、ユーザーbが撮像要求によって撮像した広視野画像の共有を指示する操作を行うことに応じて、同じ仮想ルームに入室している参加者の通信端末30Aにダウンロードボタン402を表示するようにしてもよい。このようにすることによって、撮像を指示した撮像者(ユーザーb)が手元で撮像した画像を確認した上で他の参加者に共有させることができるため、誤って撮像した広視野画像や共有する必要の広視野画像が共有されることを防ぐことができる。ただし、仮想ルームに入室している全ての通信端末30が、広視野画像の保存に応じて自動的にダウンロードボタン402を表示してもよい。
図30を参照し、通信端末30Aがダウンロードボタン402を表示したものとして説明する。図30(a)は、ユーザーaがダウンロードボタン402を押下する前に表示される画像閲覧画面410の一例である。ユーザーaがダウンロードボタン402を押下する前に、通信端末30Aが第一の画像欄211に、ユーザーaが指定した任意の仮想的な視点として例えばドリルを備えた作業機械が含まれる画角での広視野画像を表示している。この状態で、ユーザーaがダウンロードボタン402を押下した。
図30(b)は、ユーザーbがダウンロードボタン402を押下した後に表示されるユーザーa側の画像閲覧画面420の一例である。ユーザーbが撮像ボタン401を押下した際の視点情報が、図28の第一の画像欄211なので、図30(b)に示すように、通信端末30Aの第一の画像欄211に、図28の第一の画像欄211と同じ視点でダウンロードした広視野画像が表示される。そのため、ドリルを備えた作業機械ではなく、建屋の屋上からクレーンで建材をつり上げるシーンが確認できる画角での広視野画像を表示している。また、ユーザーaは、図30(b)において第一の画像欄211に表示されたダウンロードした広視野画像に対して、リアルタイムに配信される広視野画像の映像と同様に、任意に仮想的な視点を変更することができる。そのため、ある特定のシーンを切り取った広視野画像に対しても、撮像を要求したユーザーの視点を初期値として反映できるとともに、通常の画角では確認できないような範囲まで現場の特定のシーンを確認することができる。
このように、異なる拠点のユーザー同士がある特定のシーンに関する広視野画像の仮想的な視点を後から共有できる。なお、保存要求で保存された広視野画像は図30(b)における第一の画像欄211でなくポップアップ表示されてもよいし、別のウィンドウで表示されてもよい。このようにすることで、経時的に変化する現場の状況をリアルタイムに配信される広視野画像の映像で確認しつつ、ある特定のシーンを切り取った広視野画像を利用して相互のコミュニケーションを効率化することができる。
なお、図30(b)に示すように、通信端末30Aがダウンロードした広視野画像を表示中は、撮像ボタン401が表示されない。第一の画像欄211にリアルタイムの広視野画像が表示されていないからである。また、第一の画像欄211のデバイスの名称214には撮像装置10の名称と共に共有された画像である旨が表示される。なお、デバイスの名称214はテナント情報記憶部5003に記憶されているテナント登録デバイスの情報から特定することができる。また、デバイス名称214はデバイスIDであってもよい。
また、ダウンロードボタン402が表示された通信端末30A,30Bでは、ユーザーa,bが任意にダウンロードボタン402を削除できる。
また、図31に示すように、ダウンロードボタン402と共に(ダウンロードボタン402を兼ねて)、通信端末30A,30Bが広視野画像のサムネイル画像404を表示してもよい。サムネイル画像404は情報処理システム50が作成しても通信端末30が作成してもよい。サムネイル画像404は視点情報により視点が定まっている。
また、ユーザーa,bはそれぞれ、撮像要求で撮像された広視野画像にデータ名称(各通信端末30の画像管理情報記憶部3001に登録される)を設定できることが好ましい。
図32は、3つの画像欄がある場合の画像閲覧画面430の一例を示す。図32の画像閲覧画面430では、例えば、撮像装置10が撮像した広視野画像が表示される第一の画像欄211、通信端末30Aのカメラ9が撮像した通常の画角の画像が表示される第二の画像欄212、及び、通信端末30Cのカメラ8が撮像した通常の画角の画像が表示される第三の画像欄431が表示されている。ユーザーa,b,cのうち任意のユーザーが撮像ボタンを押下でき、各拠点のユーザーa,b,cが広視野画像を同じ視点で共有できる。
<<広視野画像の共有時における、撮像要求に応じた動作又は処理>>
続いて、図33を参照し、広視野画像の共有時における、通信システム1bの撮像要求に応じた動作又は処理を説明する。図33は、広視野画像の共有時において、通信端末30Bからユーザーbが撮像装置10に撮像を要求する処理を説明するシーケンス図の一例である。図33の説明では、図18で説明した入室処理によって、通信端末30A、Bが仮想ルームに入室しているものとする。また、図33の説明では、ユーザーbが撮像ボタン401を押下し、ユーザーaと視点情報を共有する場合を説明するが、ユーザーaが撮像ボタン401を押下し、ユーザーbと視点情報を共有することもできる。また、図33では、図26で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。
S61:例えば、ユーザーbは図28の画像閲覧画面400において撮像装置10から情報処理システム50を介してリアルタイムに配信されている映像に含まれている広視野画像の仮想的な視点を移動(変更)する操作を行う。通信端末30Bの受付部32が視点移動(変更)操作を示す操作入力を受け付け、表示制御部33が移動(変更)後の視点に応じた表示範囲として、移動(変更)後の視点情報に基づいて特定した広視野画像の所定領域を第一の画像欄211に表示する。
S62:次に、ユーザーbは、特定のシーンを切り取った広視野画像(静止画)を保存したい場合には、保存ボタン401aを押下する。または、ユーザーbは、特定のシーンから広視野画像(動画)の録画を開始したい場合には、録画ボタン401bを押下する。通信端末30Bの受付部32が押下を受け付けたことに応じて、撮像(保存又は録画)を指示した際の視点情報として現在設定されている視点に対応する視点情報を特定する。撮像ボタン401の押下は撮像要求を送信する方法の一例であって、その他のユーザーインターフェースに対する入力に応じて撮像要求を送信してもよい。ユーザーインターフェースはGUIだけでなく、音声やジェスチャによるインターフェースも含む。
S63:通信端末30Bの通信部31は特定した視点情報、入室している仮想ルームID、及び撮像要求を指示した撮像装置に対応する撮像装置IDを指定して撮像要求を情報処理システム50に送信する。
S64:情報処理システム50の通信部51は、撮像要求を受信し、関連付け処理部53が撮像装置IDで特定される撮像装置10に対して、受信した視点情報を指定して撮像要求を送信する。この撮像要求は、広視野画像を送信した撮像装置10への応答でもよいし、プッシュ通知でもよい。
S65:撮像装置10の接続部16は撮像要求を受信し、受信した撮像要求に応じて撮像処理部13が撮像する。撮影要求が広視野画像(静止画)の保存要求を示す場合には、撮像処理部13が保存を開始する。一方、撮影要求が広視野画像(動画)の録画要求を示す場合には、撮像処理部13が録画を開始する。
撮像装置10はリアルタイムに撮像して広視野画像の映像を配信しているため、並行して撮像要求に応じた撮像ができない場合には、一旦広視野画像の映像配信を停止し、撮像要求に応じた撮像を実行してから、再び広視野画像の映像配信を開始する制御を撮像処理部13が行ってもよい。撮像装置10は、視点情報を使用せずに広視野画像を得るための撮像ができる。撮像処理部13は静止画を撮像してもよいし、動画を撮像してもよい。動画の場合、予め決まった時間(例えば10秒)だけ撮像してもよいし、ユーザーbが録画時間を指定してもよい。また、動画を撮像する場合には、撮像装置10はリアルタイムに広視野画像の映像を配信する一方で、配信している映像を録画することで動画を撮像してもよい。
S66:撮像装置10の保存処理部17が接続部16を介して、広視野画像のアップロード先の保存先情報(例えばURL)を情報処理システム50に問い合わせる要求を送信する。
S67:情報処理システム50の通信部51が問い合わせの要求を受信し、関連付け処理部53が仮想ルームに設定されているストレージ90を対象とする保存先情報(例えばURL)を作成する。具体的には、関連付け処理部53が、仮想ルーム情報記憶部5002を参照し、問い合わせ元のデバイスである撮像装置10のデバイスID(撮像装置ID)に関連付けられた仮想ルームIDを特定する。さらに、関連付け処理部53が、特定した仮想ルームIDに対応付けられているストレージ90の情報を取得する。ストレージ90の情報としては、例えば所定のストレージ90のアドレス情報やストレージ上のフォルダの情報を保存先情報(例えばURL)として取得できる。工事現場向けのサービスであれば、工事に紐づくフォルダの情報といったように、サービスを適用する現場に適した分類のフォルダの情報が予め用意されていてもよい。情報処理システム50の通信部51は取得した保存先情報(例えばURL)を撮像装置10に送信する。通信部51はS64の撮像要求と共に保存先情報(例えばURL)を撮像装置10に送信してもよい。
S68:撮像装置10の接続部16は保存先情報(例えばURL)を受信し、保存処理部17は接続部16を介して保存先情報(例えばURL)が示す保存先に、S65で撮像した広視野画像のデータ(静止画又は動画)と通信端末30Bにおいて設定されていた仮想的な視点に対応する視点情報を関連付けて保存する。なお、ここでの関連付けの処理とは、保存された広視野画像を閲覧する際に、視点情報を反映可能なように紐づける処理であればよい。視点情報を広視野画像にメタデータとして付与してもよいし、視点情報は広視野画像とは別データで管理し、対応関係が特定できるように共通の識別情報を割り当ててもよいし、視点情報の保存場所をメタデータとして広視野画像に割り当ててもよい。また、標準化された広視野画像のフォーマットにおいて規定されている所定のデータ項目に視点情報を埋め込むことで関連付け処理を行ってもよい。また、視点情報は、後述するように画像管理情報記憶部5001においても保存されるため、ストレージ90には広視野画像のみを保存してもよい。
S69:撮像装置10の保存処理部17は接続部16を介して、保存先情報(例えばURL)への保存完了を示す通知を情報処理システム50に送信する。なお、この際に通知とともに、撮像装置10が撮像した広視野画像の撮像日時を示す情報を受信してもよい。
S70:情報処理システム50の通信部51が保存完了を示す通知を受信すると、関連付け処理部53がステップS63で受信した一連の情報や撮像装置10から受信した情報等を画像管理情報記憶部5001に関連付けて管理する処理を実行して保存する。すなわち、関連付け処理部53は、データIDを採番し、撮像日時情報(撮像装置10が実際に撮像した日時情報であってもよいし、通信端末が撮像要求を送信した日時情報であってもよい)、撮像者情報(例えば通信端末30BのIPアドレスに紐付いている)、撮像装置情報(ステップS63で取得)、撮像者の視点情報、撮像時の仮想ルームID(ステップS63で取得)、データの保存場所情報(URL)を画像管理情報記憶部5001に関連付けて管理する。なお、撮像時の仮想ルームID、撮像装置情報、撮像者情報については、関連付け処理部53が、仮想ルーム情報記憶部5002を参照することで、特定してもよい。撮像時の仮想ルームIDは、撮像要求の要求元である通信端末が入室している仮想ルームの仮想ルームIDである。また、撮像装置情報は、特定した仮想ルームIDに関連付けられた撮像装置情報である。また、撮像者情報は、特定した仮想ルームIDに関連付けられた入室中のユーザー情報のうち、撮像要求を送信した通信端末に関連付けられたユーザー情報である。なお、データ名称は、ユーザーbが任意に設定できてもよいし情報処理システム50が自動で設定してもよい。
S71:情報処理システム50の通信部51は保存先情報(例えばURL)を指定して保存完了を示す通知を通信端末30Bに送信する。なお、通信部51は、画像管理情報記憶部5001に関連付けて保存した情報を通信端末30Bに送信する。通信端末30Bは受信した情報に基づいて記憶部3000に画像管理情報記憶部3001を構築できる。
S72:通信端末30Bの通信部31が保存完了を示す通知を受信すると、表示制御部33が図29においてダウンロードボタン402を表示する。ここで、保存先情報が自動で入室中のユーザー全員に共有されない場合では、ユーザーbが保存先情報を共有するための共有操作を通信端末30Bに指示する。こうすることで、ユーザーbは、共有する価値があると判断された広視野画像のみを仮想ルームに入室しているユーザーaに共有することができる。具体的には、通信端末30Bの受付部32が共有操作を示す操作入力を受け付ける。
S73:通信端末30Bの通信部31は共有操作を示す操作入力の受付に応じて、保存先情報(例えばURL)と仮想ルームIDを指定して共有要求を情報処理システム50に送信する。
S74:情報処理システム50の通信部51が共有要求を受信すると、関連付け処理部53が仮想ルーム情報記憶部5002を参照し、仮想ルームIDに基づいて仮想ルームに入室中の通信端末30Aを特定し、通信部51が保存先情報(例えばURL)を通信端末30Aに送信する。通信端末30Aの通信部31が保存先情報(例えばURL)を受信すると、表示制御部33がダウンロードボタン402を表示する。なお、共有操作を不要とする場合には、ステップS72、S73を省略し、共有要求を受信することなくステップS74を実行してもよい。
なお、通信部51は、画像管理情報記憶部5001に関連付けて保存した情報を通信端末30Aに送信する。通信端末30Aは受信した情報に基づいて記憶部3000に画像管理情報記憶部3001を構築できる。
S75,S76:ユーザーa、bはダウンロードボタン402を押下する。通信端末30A、Bの受付部32が押下を示す操作入力を受け付ける。なお、ユーザーbはすでに共有したい視点で広視野画像を表示中であれば、ダウンロードボタン402を改めて押下しなくてもよく、他のユーザーに保存先情報が共有された旨の通知を画面に表示するだけでもよい。
S77,S78:通信端末30A、Bの通信部31はダウンロードボタン402に埋め込まれた保存先情報(例えばURL)に接続し、保存先情報(例えばURL)に対応付けられている広視野画像と視点情報をストレージ90に要求する。
S79,80:通信端末30A、Bの通信部31はストレージ90から広視野画像を受信する。通信端末30A、Bの表示制御部33は、リアルタイムに撮像装置10から配信されている広視野画像を含む映像を受信している状態で、ストレージ90から受信した広視野画像を第一の画像欄211に表示したり、ポップアップ表示したりする。表示制御部33は、広視野画像を表示する初期状態で、視点情報で特定される広視野画像の所定領域が表示される視点を第一の画像欄211の中央に一致させるよう設定して表示する。なお、視点を完全に中央に一致させる必要はなく、視点を画像欄の中央近傍の範囲に含まれるように設定して表示させてもよい。画角は所定の範囲でよい。ユーザーが画角の初期値を設定しておいてもよい。また、広視野画像が動画の場合、ファイル全体がダウンロードされてもよいし、ストレージ90からストリーミング配信されてもよい。
スマートグラス88が通信端末30である場合も同様に、受信した広視野画像を表示する初期状態で、視点情報で特定される広視野画像の所定領域が表示される視点を目の前の表示機能の中央に一致させるよう設定して表示する。VRゴーグル89が通信端末30である場合も同様に、受信した広視野画像を表示する初期状態で、視点情報で特定される広視野画像の視点を頭部の向きに関係なく目の前の表示機能の中央に一致させるよう設定して表示する。なお、いずれの場合にも、視点を完全に中央に一致させる必要はなく、視点を表示機能の中央近傍の範囲に含まれるように設定して表示させてもよい。
図33では、通信端末30A、Bが情報処理システム50から受信したダウンロードボタン402(広視野画像のアップロード先のURL)を押下してストレージ90から広視野画像を取得している。しかし、図34に示すように、情報処理システム50が直接、広視野画像と視点情報を通信端末30A、Bに送信してもよい。
図34は、広視野画像の共有時において、通信端末30からユーザーbが撮像装置10に撮像を要求する処理を説明するシーケンス図の変形例である。なお、図34の説明では主に図33との相違を説明する。
図34では、ステップS91で撮像装置10が広視野画像と視点情報を情報処理システム50に返す。情報処理システム50の通信部51は、関連付け処理部53によって受信した広視野画像と視点情報とを関連付ける処理を実行した上で、受信した広視野画像と関連付けられた視点情報を、撮像装置10と同じ仮想ルームの通信端末30A、30Bに送信する(S92,S93)。なお、関連付ける視点情報は、ステップS91で受信した視点情報ではなく、ステップS63で受信した視点情報であってもよい。こうすることで、ユーザーa、Bは広視野画像を表示するためにダウンロードボタン402を押下しなくても、広視野画像を同じ視点で表示できる。なお、図34の場合も、各通信端末30A、30Bは、いったんサムネイルで広視野画像を表示し、ユーザー操作に応じて広視野画像を大きく表示してよい。
なお、図34では、保存先情報(例えばURL)が通信端末30A,30Bに送信されていないが、情報処理システム50が保存先情報(例えばURL)を通信端末30A,30Bに送信してもよい。保存先情報(例えばURL)が通信端末30A,30Bに送信されない場合でも、ストレージ90は仮想ルームごとに対応付けられているので(図23参照)、ユーザーが通信端末30をストレージ90に接続して任意のタイミングで保存された広視野画像を関連付けられた視点情報を反映して閲覧できる。
<外部ストレージに登録されている広視野画像の閲覧>
続いて、図35~図37を参照して、外部ストレージ90に登録されている広視野画像を含むストレージ90に保存された情報の閲覧について説明する。図35は、任意のユーザーが通信端末30を情報処理システム50に接続させて表示した分類選択画面600の一例である。分類選択画面600は、図14の画像管理情報記憶部5001に記憶されている画像管理情報、図15の仮想ルーム情報記憶部5002、テナント情報記憶部5003等に登録されている情報により作成される。ユーザーがテナントにログインした場合、このテナントに関連付けられた情報で分類された分類の選択画面が表示される。なお、必ずしもテナントにログインする必要はなく、テナントに紐づかないユーザーのアカウントとしてログインすることもできる。このような場合には、画像管理情報記憶部5001に記憶されている画像管理情報のうち、ログインしたユーザーのアクセス権限のあるデータに基づいて分類された選択画面が表示されてもよい。画像管理情報に対するユーザーのアクセス権限は、情報処理システム50に対して所定の通信端末30を接続させ、通信端末30からアクセス権限の更新指示を情報処理システム50に対して送信することで更新できてもよい。選択可能な分類は様々な分類が適用できる。図35では分類の一例として、画像管理情報記憶部5001に記憶されている撮像時の仮想ルームIDに基づいて分類された選択画面を例に説明する。
分類選択画面600は、ヘッダー欄601と画像選択欄602を有している。ヘッダー欄601には、ログインユーザー名603、分類リスト(一覧)604が表示される。ログインユーザー名603はテナントにログインしているユーザーを識別する情報であって、ユーザーの名前やユーザーIDが含まれる。分類リスト604は、画像管理情報記憶部5001に記憶されている情報に基づいた分類の一覧である。ここでは、分類の一例として、ストレージ90に保存された広視野画像を含むデータがどの仮想ルームに対応付けられているかで分類することができる。例えば広視野画像は、それぞれがどの仮想ルームで遠隔コミュニケーション中に撮像されたかを画像管理情報記憶部5001に記憶されている撮像時の仮想ルームIDによって特定することができる。図35の分類リスト604では遠隔コミュニケーションが行われた仮想ルームの名称に加えて、遠隔コミュニケーションが行われた日付(画像を撮像した日時情報と対応する)が対応付けられて表示されている。図35の例では例えば、日付"2021年10月12日"に仮想ルーム名称が"A工事現場"の仮想ルームにおいて遠隔コミュニケーションが行われ、この遠隔コミュニケーション中に撮像された画像が日付"2021年10月12日"の仮想ルーム名称"A工事現場"の分類に保存されていることがわかる。もし仮想ルーム名称が"A工事現場"の仮想ルームにおいて日付"2021年10月12日"以外の日付において撮像された画像の情報が画像管理情報記憶部5001に記憶されている場合には、分類リスト604に日付"2021年10月12日"以外の日付(例えば2021年10月13日)と仮想ルーム名称が"A工事現場"を組み合わせた分類の選択肢を表示させることができる。ユーザーは通信端末30を用いて情報処理システム50の仮想ルーム情報記憶部5002にアクセスすることで仮想ルーム名称を編集でき、仮想ルーム名称は仮想ルームの作成時に設定されて仮想ルーム情報記憶部5002に記憶されている。画像管理情報記憶部50001に記憶されている撮像時の仮想ルームIDに基づいて、仮想ルーム情報記憶部5002を参照することで、対応する仮想ルーム名称を特定することができる。日付は、画像管理情報記憶部5001に記憶されている画像管理情報の撮像日時から特定することができる(複数ある場合は最初の日時)。なお、図35では仮想ルームで分類されているが、その他にも日付、日時、撮像者情報、撮像装置情報又はデータ名称等の分類で分類されていてもよい。また、これらの分類を2つ以上組み合わせた分類で分類されていてもよい。
画像選択欄602は、画像管理情報605、及び、サムネイル画像606を有している。ユーザーが分類リスト604から任意の分類(この例では仮想ルーム)を選択すると、画像選択欄602に、選択された仮想ルームにおいて遠隔コミュニケーション中に撮像された広視野画像の情報として、サムネイル画像606が表示される。図35の例では、日付"2021年10月12日"及び仮想ルーム名称"A工事現場"の分類が選択状態となっていることを示している。なお、図35の例では、仮想ルームの分類と仮想ルームで遠隔コミュニケーションが行われた日付とを組みわせた分類で分類しているが日付に関係なく仮想ルームのみの分類で分類リスト604を作成してもよいし、日付のみの分類で分類リスト604を作成してもよい。また、広視野画像は静止画でも動画でもよい。動画の場合、サムネイル画像606は録画開始時~終了時までのいずれのタイミングの広視野画像でもよい。
また、サムネイル画像606は、視点情報で特定される広視野画像の視点をサムネイル画像の中央に一致させ表示される。したがって、分類選択画面600を閲覧中のユーザーは、撮像者が共有したかった視点情報でサムネイル画像を閲覧できる。なお、視点は必ずしも中央に一致させる必要はなく、中央近傍の範囲に含まれる視点で表示させてもよい。
ユーザーは複数のサムネイル画像606のうち所定のサムネイル画像607をカーソルc1で選択可能である。ユーザーがカーソルc1で選択した状態でクリックまたはタップすると、分類選択画面600が広視野画像閲覧画面610に遷移する。なお、カーソルc1による選択はあくまで一例であって、タッチパネルに対するタッチ入力やキーボード操作によるキー入力等の他のユーザー操作入力であっても同様に選択可能である。また、サムネイル画像606は閲覧する画像を特定するための画像情報の一例であって、画像のデータ名称や撮像日時といった画像情報を画像選択欄602に表示させ、これらの画像情報をユーザーが選択することで広視野画像閲覧画面に遷移させてもよい。
図36は、広視野画像閲覧画面610の一例である。図36の説明では主に図35との相違を説明する。広視野画像閲覧画面610は広視野画像表示部614を有する。広視野画像表示部614は、撮像日時611とデータ名称612を表示する。通信端末30はユーザーからデータ名称612の編集操作入力を受け付けることで編集できる。データ名称612の初期値は空欄でもよい。
図36の広視野画像表示部614では、現場作業者がメジャーを持って工事現場を計測しているシーンがうつりこんだ広視野画像を選択した例を使って説明する。このように、広視野画像表示部614に表示されている内容を閲覧することで遠隔コミュニケーションに参加していなくても現場等の状況を把握することができるため、広視野画像表示部614に表示されている内容自体を現場作業の報告書、教育コンテンツ又はエンターテイメントのコンテンツ等として活用することもできる。
広視野画像表示部614には、図35でユーザーが選択した画像情報(この例ではサムネイル画像606)に対応する広視野画像613が表示される。広視野画像表示部614にこの広視野画像613が表示される直後から、視点情報で特定される広視野画像の視点を広視野画像表示部614の中央に一致させ表示される。そして、通信端末30はユーザーからの操作入力を受け付けることによって広視野画像表示部614に表示された広視野画像613の視点を上下左右方向に対して任意に変更する表示制御を行い、サムネイル画像606では表示されていない領域を閲覧用に表示させることができる。なお、視点は必ずしも中央に一致させる必要はなく、中央近傍の範囲に含まれる視点で表示させてもよい。また、視点の変更は上下方向だけ受け付けてもよいし、左右公報だけ受け付けてもよい。
また、図35でユーザーが選択した広視野画像613が動画の場合、再生、停止、早送り、巻き戻し等のメニューが表示される。
更に、広視野画像表示部614の左下の領域には、「フレーム切出モード」ボタンb1、「静止画再生モード」ボタンb2、及び「動画再生モード」ボタンb3が表示されている。
「フレーム切出モード」ボタンb1は、録画された広視野動画からフレームとしての広視野静止画を切り出すためのフレーム切出モード画面(図39,図40参照)に移行する際に押下されるボタンである。また、このボタンb1の押下の際に、表示されていた広視野動画における所定領域を特定するための視点情報も生成され、この視点情報が静止画再生モード及び動画再生モードに引き継がれる。
「静止画再生モード」ボタンb2は、フレーム切出モードによって切り出された広視野静止画のうち、視点情報によって所定領域静止画を表示するための静止画再生モード画面(図41~図44参照)に移行する際に押下されるボタンである。
「動画再生モード」ボタンb3は、録画された広視野動画を再生表示し、この広視野動画のうち、視点情報によって所定領域静止画(フレーム切出モードで切り出された広視野静止画における所定領域)を表示するための動画再生モード画面(図45~図48参照)に移行する際に押下されるボタンである。
なお、図35のサムネイル画像606の状態で、ユーザーが広視野画像の視点を任意に変更できてもよい。
図37は、ユーザーが外部ストレージに保存されている広視野画像を閲覧する処理を説明するシーケンス図の一例である。
S101:ユーザーが通信端末30を情報処理システム50にアクセスさせた状態で、通信端末30がユーザーから認証情報(ユーザーID,パスワード等)の入力を受け付け、通信端末30が、ユーザーが所属するテナントへのログインの要求の操作入力を受け付ける。通信端末30の受付部32がこれらの操作入力を受け付ける。
S102:通信端末30の通信部31は認証情報を指定してログイン要求を情報処理システム50に送信する。情報処理システム50の通信部51は、ログイン要求を受信し、認証部55が認証情報に基づいて認証を行う。ここでは認証が成功したものとする。
S103:情報処理システム50の画面生成部52は所定の分類で広視野画像を分類した分類選択画面600を生成し、通信部51が生成した分類選択画面600の画面情報を通信端末30に送信する。具体的には、図14の画像管理情報記憶部5001に記憶されている画像管理情報、図15の仮想ルーム情報記憶部5002、テナント情報記憶部5003等に登録されている情報に基づいた分類の一覧を選択候補として表示する分類選択画面600を生成する。図35の例では、分類の一例として、ストレージ90に保存された広視野画像を含むデータがどの仮想ルームに対応付けられているかで分類した一覧(分類リスト604)を含む分類選択画面600を生成する。まず、S102において認証されたユーザーIDが所属するテナントのテナントIDを図15に示したテナント情報記憶部5003を参照することで特定する。テナント情報記憶部5003において、各テナントには、仮想ルームが登録されている。仮想ルームで行われた遠隔コミュニケーション中に参加者からの要求に応じて仮想ルームに対応付けられている撮像装置によって撮像され、保存された広視野画像は、遠隔コミュニケーションが行われていた仮想ルームの仮想ルームID、撮像を要求した撮像者(参加者)、撮像日時、撮像装置、視点情報、保存場所等と対応付けて画像管理情報記憶部5001に保存されている。このため、画面生成部52は、テナント情報記憶部5003を参照することで、ログインしたユーザーが所属するテナントのテナントIDに関連付けられた仮想ルームID及び対応する仮想ルーム名を特定することができる。このようにして、図35に示した分類リスト604に表示する仮想ルーム名を特定することができる。さらに、図35で示しているように保存されたデータに関連付けられた仮想ルームの分類に対して、撮像された日付と組み合わせて表示する場合には、画面生成部52は、画像管理情報記憶部5001を参照することで、特定した仮想ルームIDそれぞれに関連付けられたデータIDを特定することができる。さらに、画面生成部52は、特定したデータIDに関連付けられた撮像日時の情報を、画像管理情報記憶部5001を参照することで特定できる。画面生成部52は、このようにして特定した撮像日時の情報から日付を特定できるため、分類リスト604に表示する仮想ルームに対して、図35で示したように特定した日付を対応付けて表示する分類選択画面600を生成できる。このように日付と組み合わせることで、例えば"A工事現場"という名前の仮想ルームにおいて撮像された広視野画像が複数保存されていた場合に、撮像された日付が異なる場合には、異なる分類として分類一覧に表示させることができる。これは、例えば、同じ現場で撮像された広視野画像であっても日程によって異なる作業が行われる場合もあるため、作業が行われた日程で選択可能な広視野画像の候補を絞りたい場合に有用である。また、同様に日付ではなく仮想ルームの分類に対して、画像管理情報記憶部5001を参照して、撮像者、撮像装置又は保存場所の情報を組み合わせて表示することもできる。このように表示することで、例えば同じ現場で撮像された広視野画像であっても、撮像者、撮像装置又は保存場所といった条件で選択可能な広視野画像の候補を絞りたい場合に有用である。また、これらの分類の条件はそれぞれ単独の条件として分類した分類リスト604を生成することもできるし、図35に示したように2つ以上の条件を組み合わせて分類した分類リスト604を生成することもできる。なお、この例では分類選択画面600(分類リスト604)を画面生成部52が生成しているが、分類リスト604に表示させる分類の情報(この例では、分類の条件に合致する仮想ルーム名及び日付)を画面生成部52が通信部51を介して通信端末30に送信することで、通信端末30に分類の情報に基づいた分類リスト604を配置した分類選択画面600を生成させてもよい。したがって、S103において送信する画面情報には、画面生成部52が生成した分類選択画面600が含まれていてもよいし、生成した画面の代わりに分類リスト604に表示させる分類の情報が含まれていてもよい。また、生成した分類選択画面600及び分類リスト604に表示させる分類の情報の両方が画面情報に含まれていてもよい。
S104:通信端末30の通信部31が分類選択画面600の画面情報を受信し、表示制御部33が分類選択画面600を表示する。具体的には、図35のヘッダー欄601に選択可能な分類(この例では日付に対応付けられた仮想ルーム)が表示される。通信端末30は、ユーザーから閲覧したい広視野画像に対応付けられた分類(この例では特定の日付に対応付けられた仮想ルーム)の選択に対応した操作入力を受け付ける。受付部32がこれらの操作入力を受け付ける。
S105:通信端末30の通信部31は、ユーザーが選択した分類を特定する識別情報(この例では選択された仮想ルームの仮想ルームID及び日付の情報)を条件として指定して、広視野画像の一覧要求を情報処理システム50に送信する。なお、仮想ルームID及び日付等の条件の指定は必ずしも同時に指定する必要はなく、別々に指定して要求を送信してもよい。
S106,S107:情報処理システム50の通信部51は、広視野画像の一覧要求を受信する。画面生成部52は、要求において指定された条件に含まれる仮想ルームIDに対応付けられているデータIDを画像管理情報記憶部5001から特定する。さらに、この例では受信した要求において日付も条件として指定されているため、特定したデータIDのうち、画像管理情報記憶部5001において指定された日付と一致する撮像日時の日付に対応付けられたデータIDを特定する。このようにして指定された条件に一致するデータIDについて、画像管理情報記憶部5001において対応付けられているデータの保存場所の情報をそれぞれ取得する。画面生成部52は、通信部51を介して、取得した保存場所の情報を用いて外部ストレージ90のそれぞれの保存場所へアクセスし、ストレージ90から広視野画像と視点情報を取得する。なお、画面生成部52は画像管理情報記憶部5001に記憶されている視点情報を取得して使用してもよい。
S108:情報処理システム50の画面生成部52は、S106,S107に置いて取得した広視野画像と視点情報を用いてサムネイル画像をそれぞれ作成する。さらに、S105で指定された条件に合致するデータIDに関連する画像情報(撮像装置、撮像者、仮想ルームの参加者等の情報)を画像管理情報記憶部5001から取得し、取得した画像情報と、作成したサムネイル画像とに基づいて、サムネイル画像及び画像情報が配置された分類選択画面600を生成する。なお、この例では分類選択画面600を画面生成部52が生成しているが、サムネイル画像及び画像情報を画面生成部52が通信部51を介して通信端末30に送信することで、通信端末30にサムネイル画像及び画像情報に基づいた分類選択画面600を生成させてもよい。
S109:通信部51が分類選択画面600の画面情報を通信端末30に送信する。ここでの画面情報とは、S108で生成した分類選択画面600であってもよいし、分類選択画面600を通信端末30が生成するために必要な情報(S106~S108で生成したサムネイル画像や取得した画像情報等)であってもよい。また、画面情報には、S106,S107において特定した、作成したサムネイル画像それぞれに対応するデータを特定するための識別情報(この例ではデータID)も含まれる。
S110:通信端末30の通信部31が分類選択画面600の画面情報を受信し、受信した画面情報に基づいて表示制御部33が更新された分類選択画面600を表示する。受信した画面情報が、通信端末30が分類選択画面600を生成するために必要な情報である場合には、通信端末30が表示している分類選択画面600を受信した画面情報に基づいて更新する画面更新処理を実行する。具体的には、図35で示される画像選択欄602が選択した分類に対応付けられた画像情報及びサムネイル画像に更新される。通信端末30は、ユーザーから更新された画像選択欄602の中のうち、閲覧したい広視野画像のサムネイル画像を選択する操作入力を受け付ける。受付部32がこれらの操作入力を受け付ける。
S111:通信端末30の通信部31は、S110において受け付けた操作入力に基づいてユーザーが選択したサムネイル画像に対応する広視野画像のデータIDを特定し、特定したデータIDを指定して、広視野画像の要求を情報処理システム50に送信する。
S112、S113:情報処理システム50の通信部51は、広視野画像の要求を受信する。画面生成部52は、要求において指定されたデータIDに対応付けられているデータの保存場所の情報(例えばURL)を画像管理情報記憶部5001から取得する。画面生成部52は、通信部51を介して、保存場所の情報を用いて外部ストレージ90から広視野画像と視点情報を取得する。なお、視点情報については画像管理情報記憶部5001のものを使用してもよい。また、要求において指定されたデータIDに対応する広視野画像及び視点情報が、S107で既に取得済みの場合には、S107で取得した広視野画像及び視点情報を使用してもよい。
S114:情報処理システム50の画面生成部52は、取得した広視野画像と視点情報を用いて、視点情報で特定される広視野画像の視点が反映されるように、視点情報に基づいて特定した広視野画像の所定領域を広視野画像表示部614の中央に一致させて表示する画像を生成し、生成した画像を広視野画像表示部614に配置した広視野画像閲覧画面610を生成する。なお、視点は必ずしも中央に一致させる必要はなく、中央近傍の範囲に含まれる視点で表示させてもよい。また、この例では情報処理システム50の画面生成部52が広視野画像閲覧画面610を生成しているが、広視野画像閲覧画面610を生成するために必要な情報として、広視野画像と視点情報を通信部51によって通信端末30に送信することで、通信端末30に広視野画像閲覧画面610を生成させてもよい。
S115:通信部51が広視野画像閲覧画面610の画面情報を通信端末30に送信する。ここでの画面情報とは、S114で生成した広視野画像閲覧画面610であってもよいし、通信端末30が広視野画像閲覧画面610を生成するために必要な情報(S113で取得した広視野画像及び視点情報等)であってもよい。また、画面情報には選択されたサムネイル画像に対応するデータIDに関連する画像情報(撮像日時、撮像装置、撮像者、仮想ルームの参加者等の情報)も含まれる。このような画像情報は、指定されたデータIDに基づいて画像管理情報記憶部5001を参照することで特定できる。
S116:通信端末30の通信部31が広視野画像閲覧画面610の画面情報を受信し、受信した画面情報に基づいて表示制御部33が広視野画像閲覧画面610を表示する。受信した画面情報が、通信端末30が分類選択画面600を生成するために必要な情報である場合には、通信端末30が表示している分類選択画面600を、受信した画面情報に基づいて分類選択画面600に更新する画面更新処理を表示制御部33によって実行する。具体的には、図36で示される広視野画像表示部614に、受信した視点情報に基づいて特定される視点が表示に反映されるように、受信した視点情報に基づいて特定した広視野画像の所定領域を表示する画像を生成し、生成した画像を表示制御部33によって表示させる。通信端末30の表示制御部33は、ユーザーから、広視野画像閲覧画面610に表示された広視野画像の視点を任意に変更する操作入力を受付部32によって受け付けることによって、変更された視点に対応する広視野画像の所定領域が表示されるように、受信した広視野画像と変更された視点に対応する視点情報に基づいて、広視野画像表示部614に表示される広視野画像の所定領域を更新する画面更新処理を実行する。なお、広視野画像閲覧画面610の更新処理も情報処理システム50が実行する場合には、通信端末30が、変更された視点情報を指定して画面更新処理の要求を情報処理システム50へ送信し、情報処理システム50の画面生成部52が変更された視点情報に基づいて表示する広視野画像の所定領域を更新した広視野画像閲覧画面610を通信端末30が受信することによって実現できる。
<各モードの処理>
続いて、図36、図38乃至図48を用いて、各モードについて説明する。
<<フレーム切出モード>>
図36、図38乃至図40を用いて、フレーム切出モードについて説明する。図38は、フレーム切出モードの処理を示すシーケンス図である。図39は、フレーム切出モード画面の概念図である。図40は、フレーム切出モード画面の概念図である。なお、この場合の通信端末30には、画像の編集アプリケーション(編集アプリ)がインストールされており、編集アプリにより表示制御部33が実現される。また、この場合の通信端末30は、表示端末と示すこともできる。
S201:任意のユーザー(ここでは、ユーザーbとする)が、図36に示される「フレーム切出モード」ボタンb1をマウス等で押下すると、受付部32がフレーム切出モードへの移行を受け付ける。
S202:表示制御部33が、図39に示すように、ディスプレイ306にフレーム切出モード画面を表示させる。この画面の左側領域には、所定領域動画が表示されている。また、現在再生表示中の所定領域動画の元の広視野動画から広視野静止画を切り出す場合に押下される切出ボタン(カメラボタン)b11が表示されている。また、下部には、所定領域動画を再生表示する場合に押下される再生ボタンb12、再生表示中の所定領域動画を停止する場合に押下される停止ボタンb13が表示されている。また、フレーム切出モード画面の右側領域には、切出ボタンb11が押下された場合に、切り出された広視野静止画が表示される。但し、広視野静止画の全体ではなく、広視野動画において再生表示中の所定領域動画に合わせて、同じ所定領域の所定領域静止画が表示される。
S203:ユーザーbは、マウス等で再生ボタンb12にカーソルc1を合わせて押下すると、受付部32が再生表示を受け付ける。
S204:表示制御部33が、フレーム切出モード画面の左側領域に所定領域動画を再生表示させる。
S205:ユーザーbが、マウス等で所定領域動画に対して仮想上の視点の移動の操作を行うと、受付部32が、仮想上の視点の移動の操作を受け付ける。
S206:表示制御部33は、視点移動後の所定領域動画の変更表示を行う。これは、図10において、図10(a)の仮想カメラICの視点を図10(c)のように移動(変更)させることで、表示制御部33が、図10(b)の所定領域画像を図10(d)の所定領域画像に変更表示する処理である。
S207:ユーザーbが、マウス等で切出ボタンb11にカーソルc1を合わせて押下すると、受付部32が、広視野静止画の切り出しを受け付ける。
S208:表示制御部33は、現在表示中の所定領域動画の元である広視野動画から、現在表示中の所定領域静止画を含む広視野静止画を切り出す。この際、表示制御部33は、切り出した広視野静止画を特定するための静止画IDを生成する。また、表示制御部33は、動画の総再生時間のうち現在表示中の再生経過時間と、現在表示中の所定領域動画の広視野動画における所定領域を特定するための視点情報(所定領域情報)を取得する。この処理は、上述のように、図51を用いて説明した通りである。
S209:通信部31が、情報処理システム50に対して、再生関連情報、及び、ステップS208で切り出された広視野静止画のデータを送信する。この送信される再生関連情報には、ステップS208によって得られた情報、即ち、生成された静止画ID、切り出される元である広視野動画の動画ID、切り出された時点を示す再生経過時間の情報、切り出された所定領域動画における所定領域を特定するための視点情報(所定領域情報)が含まれる。これにより、情報処理システム50の通信部51は、再生関連情報及び広視野静止画を受信する。
S210:情報処理システム50では、関連付け処理部53が、広視野静止画のストレージ90における保存場所情報(URL等)を決める。記憶・読出部59が、再生関連情報記憶部5004に対し、1レコードとして、関連付け処理部53決めた広視野静止画の保存場所情報を含めて再生関連情報を保存する。
S211:通信部51は、関連付け処理部53決めた広視野静止画の保存場所情報にアクセスして、ステップS209で受信した広視野静止画のデータを保存する。
以上により、図38に示すフレーム切出モードの処理が終了する。
<<静止画再生モード>>
続いて、図36、図41乃至図44を用いて、静止画再生モードについて説明する。図41は、静止画再生モード時の通信端末の主要な処理を説明するフローチャートである。図42は、静止画再生モードの詳細な処理を示すシーケンス図である。図43は、静止画再生モードで所定領域静止画から所定領域動画を再生する画面の概念図である。図44は、静止画再生モードで所定領域動画から所定領域静止画に戻る画面の概念図である。なお、この場合の通信端末30には、静止画ビューア30a及び動画ビューア30bがインストールされており、静止画ビューア30a及び動画ビューア30bの指示により、通信部31、受付部32、及び表示制御部33が処理を実行する。また、この場合の通信端末30は、表示端末と示すこともできる。なお、静止画ビューア30a及び動画ビューア30bを必ずしも事前にインストールしている必要はなく、同等の機能を通信端末30が予め備えていてもよいし、情報処理システム50や他のサーバから静止画ビューア30a及び動画ビューア30bと同等の機能を有するプログラムを表示端末30が受信することによって、通信端末30が図42、図46に記載の通信端末30の処理を実行してもよい。また、通信端末30の静止画ビューア30a及び動画ビューア30bはWebブラウザによって実現されていてもよい。
(主な処理)
S251:静止画再生モードにおいて、任意のユーザー(ここでは、ユーザーbとする)の操作により、表示制御部33は、通信端末30Bのディスプレイ306上に、広視野静止画における所定領域である所定領域静止画を表示させる。
S252:受付部32が、動画再生指示の操作入力を受け付ける。
S253:通信部31(受信部)が、広視野静止画に関連付けられた広視野動画を情報処理システム50(又はストレージ90)から取得する。
S254:表示制御部33が、ディスプレイ306上に、ステップS253で取得された広視野動画における所定領域である所定領域動画を再生表示させる。
(詳細な処理)
S301:任意のユーザー(ここでは、ユーザーbとする)が、図36に示される「静止画再生モード」ボタンb2をマウス等で押下すると、受付部32が静止画再生モードへの移行を受け付ける。
S302:静止画ビューア30aの指示によって、通信部31が、情報処理システム50に対して、広視野静止画の要求を送信する。この要求には、フレーム切り出しモードで切り出された広視野静止画を識別するための各静止画IDが含まれている。これにより、情報処理システム50の通信部51は、広視野静止画の要求を受信する。
S303:情報処理システム50の記憶・読出部59は、ステップS302で受信された各静止画IDを検索キーとして再生関連情報記憶部5004を検索することにより、対応する広視野静止画の保存場所情報を読み出す。そして、通信部51は、読み出されたストレージ90における各保存場所情報にアクセスする。
S304:通信部51は、各保存場所情報から各広視野静止画のデータを取得する。
S305:通信部51は、要求元の通信端末30の静止画ビューア30aに対して、ステップS304により取得した各広視野静止画のデータを送信する。この際に、各広視野静止画のデータには当該広視野静止画の静止画IDが含まれている。これにより、静止画ビューア30aの指示によって、通信部31が、各広視野静止画のデータを受信する。
S306:静止画ビューア30aの指示によって、表示制御部33が、図43に示すように、ディスプレイ306に各広視野静止画を含む静止画再生モード画面を表示させる。この画面には、ステップS305で取得された各広視野静止画における所定領域静止画が表示されている。また、現在再生中の静止画の再生経過時間から引き続き動画を再生するための動画再生ボタンb21が表示されている。また、下部には、表示される所定領域静止画を右側に順送りするための右側順送りボタンb22及び左側に順送りするための左側順送りボタンb23が表示されている。なお、図43では、3つの所定領域静止画が表示されているが、真ん中の画像が左右の画像よりも大きく表示されている。なお、図43の各所定領域静止画は、仮想的な視点を移動させることで表示変更可能である。
S307:ユーザーbは、マウス等で動画再生ボタンb21にカーソルc1を合わせて押下する操作を入力すると、静止画ビューア30aの指示によって、受付部32が、静止画再生モード画面の中央で比較的大きく表示されている広視野静止画における所定領域静止画に関連付けられた動画の再生指示を受け付ける。
S308:静止画ビューア30aの指示によって、通信部31が、情報処理システム50に対して、ステップS307で動画再生ボタンb21が押下されたときに中央に表示されていた所定領域静止画を識別するための特定の静止画IDを送信する。これにより、情報処理システム50の通信部51は、特定の静止画IDを受信する。
S309:情報処理システム50の記憶・読出部59は、ステップS308で受信された特定の静止画IDを検索キーとして再生関連情報記憶部5004を検索することにより、対応する、広視野動画の動画ID、再生経過時間の情報、及び視点情報を読み出す。
S310:通信部51は、ステップS309によって読み出された、広視野動画の動画ID、再生経過時間の情報、及び視点情報を、通信端末30の静止画ビューア30aに送信する。これにより、通信部31は、広視野動画の動画ID、再生経過時間の情報、及び視点情報を受信する。
S311:静止画ビューア30aは、動画ビューア30bに対して、ステップS309で受信した、、広視野動画の動画ID、再生経過時間の情報、及び視点情報を渡す。
S312:動画ビューア30bの指示によって、通信部31が、情報処理システム50に対して、ステップS307で押下されたときに静止画再生モード画面の中央に表示されていた所定領域静止画がフレームして切り出された広視野動画の要求を送信する。この要求には、ステップS309で読み出された動画IDが含まれている。これにより、情報処理システム50の通信部51は、広視野動画の要求を受信する。
S313:情報処理システム50の記憶・読出部59は、ステップS312で受信された動画IDを検索キーとして画像管理情報記憶部5001を検索することにより、対応する広視野動画の特定の保存場所情報を読み出す。そして、通信部51は、読み出されたストレージ90における特定の保存場所情報にアクセスする。
S314:通信部51は、特定の保存場所情報から広視野動画のデータを取得する。
S315:通信部51は、要求元の通信端末30の動画ビューア30bに対して、ステップS314により取得した広視野動画のデータを送信する。これにより、動画ビューア30bの指示によって、通信部31が、広視野動画のデータを受信する。
S316:動画ビューア30bの指示によって、表示制御部33が、図44に示すように、ディスプレイ306に静止画再生モード画面において特定の所定領域動画を表示させる。この際に、表示制御部33は、ステップS310,S311経由で、情報処理システム50から取得された視点情報に基づき、この視点情報を用いて広視野動画における所定領域を定めることで所定領域動画を表示させる。更に、表示制御部33は、ステップS310,S311経由で、情報処理システム50から取得された再生経過時間の情報に基づき、この特定の再生経過時間を用いて、広視野動画の総再生時間における特定の再生経過時間から所定領域動画を再生表示させる。なお、表示制御部33は、特定の再生経過時間の所定時間前(例えば、3秒前)から所定領域動画を表示させてもよいし、特定の再生経過時間の所定時間後(例えば、0.5秒後)から所定領域動画を表示させてもよい。このように、表示されている広視野静止画における所定領域静止画に関連付けられた動画の再生指示に応じて、広視野静止画が含まれる広視野動画における所定領域動画を再生表示することができる。そのため、例えば注目したシーンを広視野静止画で確認しつつ、その後動画でも注目したシーンに関連する詳細な情報を確認したい場合に、広視野静止画の視点情報を引き継いで広視野動画を再生できるため、仮想的な視点を移動できてしまう広視野画像であっても、静止画と動画の関係性を把握しやすくなる。
また、ステップS309では、情報処理システム50が静止画ビューア30aに動画ID等を送信したが、動画ビューア30bに動画IDを送信してもよい。この場合、ステップS310の処理は省略される。
また、ストレージ90が、情報処理システム50の画像管理情報記憶部5001及び再生関連情報記憶部5004と同じ機能及びデータを備えている場合には、ステップS302、S305、S308、S310、S312,S315の処理は情報処理システム50を介さずに通信端末30がストレージ90と直接通信して実行してもよい。また、このような場合には、情報処理システム50が実行するステップS303~S305、S309、S310、S313~S315のステップはストレージ90が実行してもよい。
以上により、図42に示す静止画再生モードの処理が終了する。
<<動画再生モード>>
続いて、図36、図45乃至図48を用いて、動画再生モードについて説明する。図41は、動画再生モード時の通信端末の主要な処理を説明するフローチャートである。図46は、動画再生モードの詳細な処理を示すシーケンス図である。図47は、動画再生モードで所定領域動画から所定領域静止画を再生する画面の概念図である。図48は、動画再生モードで所定領域静止画から所定領域動画の表示に戻る画面の概念図である。なお、この場合の通信端末30にも、静止画ビューア30a及び動画ビューア30bがインストールされており、静止画ビューア30a及び動画ビューア30bの指示により、通信部31、受付部32、及び表示制御部33が処理を実行する。また、この場合の通信端末30も、表示端末と示すこともできる。
(主な処理)
S351:動画再生モードにおいて、任意のユーザー(ここでは、ユーザーbとする)の操作により、表示制御部33は、通信端末30Bのディスプレイ306上に、広視野動画における所定領域である所定領域動画を表示させる。
S352:受付部32が、静止画再生指示の操作入力を受け付ける。
S353:通信部31(受信部)が、広視野動画に関連付けられた広視野静止画を情報処理システム50(又はストレージ90)から取得する。
S354:表示制御部33が、ディスプレイ306上に、ステップS253で取得された広視野静止画における所定領域である所定領域静止画を再生表示させる。
(詳細な処理)
S401:任意のユーザー(ここでは、ユーザーbとする)が、図36に示される「動画再生モード」ボタンb3をマウス等で押下すると、受付部32が動画再生モードへの移行を受け付ける。
S402:動画ビューア30bの指示によって、通信部31が、情報処理システム50に対して、広視野動画の要求を送信する。この要求には、図33のステップS65で録画された広視野動画を識別するための動画IDが含まれている。これにより、情報処理システム50の通信部51は、広視野動画の要求を受信する。
S403:情報処理システム50の記憶・読出部59は、ステップS402で受信された動画IDを検索キーとして画像管理情報記憶部5001を検索することにより、対応する広視野動画の保存場所情報を読み出す。そして、通信部51は、読み出されたストレージ90における各保存場所情報にアクセスする。
S404:通信部51は、保存場所情報から各広視野動画のデータを取得する。
S405:通信部51は、要求元の通信端末30の動画ビューア30bに対して、ステップS404により取得した広視野動画のデータを送信する。この際に、各広視野動画のデータには当該広視野動画の動画IDが含まれている。これにより、動画ビューア30bの指示によって、通信部31が、広視野動画のデータを受信する。
S406:動画ビューア30bの指示によって、表示制御部33が、図44に示すように、ディスプレイ306に広視野動画を含む動画再生モード画面を表示させる。この画面には、ステップS405で取得された広視野動画における所定領域動画が表示されている。また、現在再生中の動画の再生経過時間の最寄りの再生経過時間に切り出されていた静止画を再生するための静止画再生ボタンb31が表示されている。また、下部には、表示される所定領域動画を再生表示するための再生表示ボタンb32及び逆再生表示するための逆再生表示ボタンb33が表示されている。なお、図47の所定領域動画は、仮想的な視点を移動させることで表示変更可能である。
S407:ユーザーbは、マウス等で静止画再生ボタンb31にカーソルc1を合わせて押下する操作を入力すると、動画ビューア30bの指示によって、受付部32が、動画再生モード画面に再生表示中の広視野動画における所定領域動画に関連付けられた静止画の再生指示を受け付ける。
S408:動画ビューア30bの指示によって、通信部31が、情報処理システム50に対して、再生表示されている所定領域動画の元の広視野動画の動画ID、及び静止画再生ボタンb31が押下された際の再生経過時間の情報を送信する。これにより、情報処理システム50の通信部51は、動画ID及び再生経過時間の情報を受信する。
S409:情報処理システム50の記憶・読出部59は、ステップS308で受信された特定の動画IDを検索キーとして再生関連情報記憶部5004を検索することにより、対応する静止画IDを含むレコードを抽出する。更に、記憶・読出部59は、ステップS308で受信された再生経過時間の最寄りの再生経過時間を含むレコードから、広視野静止画の静止画ID及び視点情報を取得する。
S410:通信部51は、ステップS409によって読み出された、広視野静止画の静止画ID、及び視点情報を、通信端末30の静止画ビューア30aに送信する。これにより、通信部31は、広視野静止画の静止画ID、視点情報を受信する。
S411:静止画ビューア30aの指示によって、通信部31が、情報処理システム50に対して、ステップS407で押下されたときに動画再生モード画面で表示されていた所定領域動画の再生経過時間の最寄りの再生経過時間にフレームして切り出されていた広視野静止画の要求を送信する。この要求には、ステップS411で取得された静止画IDが含まれている。これにより、情報処理システム50の通信部51は、広視野静止画の要求を受信する。
S412:情報処理システム50の記憶・読出部59は、ステップS411で受信された静止画IDを検索キーとして再生関連情報記憶部5004を検索することにより、対応する広視野静止画の特定の保存場所情報を読み出す。そして、通信部51は、読み出されたストレージ90における特定の保存場所情報にアクセスする。
S413:通信部51は、特定の保存場所情報から広視野静止画のデータを取得する。
S414:通信部51は、要求元の通信端末30の静止画ビューア30aに対して、ステップS413により取得した広視野静止画のデータを送信する。これにより、静止画ビューア30aの指示によって、通信部31が、広視野静止画のデータを受信する。
S415:静止画ビューア30aの指示によって、表示制御部33が、図48に示すように、ディスプレイ306に動画再生モード画面において特定の所定領域静止画を表示させる。この際に、表示制御部33は、ステップS410で、情報処理システム50から取得された視点情報に基づき、この視点情報を用いて広視野静止画における所定領域を定めることで所定領域静止画を表示させる。このように、表示されている広視野動画における所定領域動画に関連付けられた静止画の再生指示に応じて、広視野動画に含まれる広視野静止画における所定領域静止画を再生表示することができる。そのため、例えば詳細な情報を広視野動画で確認しつつ、その後動画に関連する注目したシーンを確認したい場合に、広視野静止画のうち、注目したシーンが表示されるように関連付けられた視点情報を引き継いで広視野静止画を再生できるため、仮想的な視点を移動できてしまう広視野画像であっても、静止画と動画の関係性を把握しやすくなる。
なお、ステップS410では、情報処理システム50が静止画ビューア30aに静止画ID等を送信したが、動画ビューア30bに静止画IDを送信してもよい。この場合、動画ビューア30bは、静止画ビューア30aに対して静止画ID及び視点情報を渡す。
また、ストレージ90が、情報処理システム50の画像管理情報記憶部5001及び再生関連情報記憶部5004と同じ機能及びデータを備えている場合には、ステップS402、S405、S408、S410、S411、S414の処理は情報処理システム50を介さずに通信端末30がストレージ90と直接通信して実行してもよい。また、このような場合には、情報処理システム50が実行するステップS403~S405、S409、S410、S412~S414のステップはストレージ90が実行してもよい。
以上により、図46に示す動画再生モードの処理が終了する。
<遠隔医療における通信システムの適用例>
図49は、通信システム1aが遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。なお、図49の説明においては、主に図1との相違を説明する。図49の拠点Aは手術室であるが、(1)~(6)の処理の流れについては図1と同様でよい。図49において、患者は手術台355に乗せられ、医師等の医療従事者による手術を受ける。医療従事者(ユーザーに相当する)は鉗子やメスなど各種の術具354を使用して、患者を手術する。また、医療従事者はスマートグラス88を装着でき、医療従事者の術野の画像を通信ネットワークNに送信できる。また、手術室には、術場カメラ351、術野カメラ352、内視鏡353など、各種のカメラが撮像装置10と同様の撮像装置として配置される。また、これらの撮像装置は何れも広視野画像を生成するための画像を撮像する撮像機能を有していてもよい。手術室の全ての撮像装置及びスマートグラス88は仮想ルームと対応付けられる例として説明する。
手術室には、患者のバイタルや医療機器の動作状態等をモニターするメインユニット356が配置される。メインユニット356が本実施形態の通信端末30に相当する。手術室にある通信端末30(メインユニット356)は図1の機能に加えて、内視鏡353や術野カメラ352の映像を受信する機能も備えていてもよい。通信端末30は受信した広視野画像を含む映像をディスプレイ306に表示できるし、情報処理システム50に通信端末30の拠点の映像として送信することができる。操作パネル357は各種操作を受け付ける入力インターフェースであって、医療従事者が手術室にある機器を、操作パネル357を介して操作できるようにしてもよい。また、内視鏡353、術場カメラ351及び術野カメラ352は通信端末30を介さずに直接、情報処理システム50と通信してもよい。このように、複数の撮像装置10を同じ仮想ルームに対応付けることができるため、遠隔拠点のユーザーは拠点Aの現場の様々なシーンを切り取った広視野画像の録画を要求することができる。例えば、患者の体内を撮像した映像を録画したい場合には内視鏡353に対応する撮像装置の映像に対して録画要求を送信し、手術室全体の状況を録画したい場合には術場カメラ351に対応する撮像装置の映像に対して録画要求を送信することができる。
また、通信端末30は電子カルテシステムの機能を備えていてもよいし、電子カルテシステムと通信する機能を備えていてもよい。通信端末30はディスプレイ306に電子カルテの情報を表示してもよい。また、ストレージ90が電子カルテシステムであってもよい。このような場合に、録画要求に応じて録画した広視野画像(及び関連付けられた視点情報)の録画データは、関連付け処理部53によって患者の電子カルテと関連付けて保存されてもよい。また、ストレージ90の保存場所が示すフォルダは、患者や手術ごとに分類されていてもよい。また、仮想ルーム情報記憶部5002には、患者や手術内容を示す情報が関連付けて記憶されていてもよい。このようにすることで、通信端末30の閲覧画面に常に患者や手術に関する情報を表示し続けることができる。
図50は、遠隔医療の場合において仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面(その1)360の一例を示す図である。図50の説明では主に図22との相違を説明する。
遠隔医療の場合、仮想ルーム対応付け画面(その1)360には、例えば遠隔で行われる手術や診察に関連付けられた仮想ルーム361の一覧が表示される。仮想ルームには全天球カメラを含む医療用カメラ362が対応付けられる。医療用カメラ362は内視鏡、手術室内で術野撮像に用いる術野カメラ、顕微鏡画像を撮像するカメラ等を含む。
<主な効果>
以上説明したように、本実施形態によれば、関連付けておいた視点情報に基づいて、広視野画像の動画及び動画に含まれる静止画の関係性を把握しやすくすることができるという効果を奏する。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、図13などの構成例は、情報処理システム50、撮像装置10、及び、通信端末30による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理システム50、撮像装置10、通信端末30の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理システム50は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
さらに、情報処理システム50は、開示された処理ステップ、例えば図26、図27,図33,図34等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム50が有する複数の情報処理装置によって実行され得る。また、情報処理システム50は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。