JP7294667B2

JP7294667B2 - 映像送信システム、映像送信システムの動作方法及び映像送信システムの動作プログラム

Info

Publication number: JP7294667B2
Application number: JP2020179828A
Authority: JP
Inventors: 雅人上田
Original assignee: NEC Fielding Ltd
Current assignee: NEC Fielding Ltd
Priority date: 2020-10-27
Filing date: 2020-10-27
Publication date: 2023-06-20
Anticipated expiration: 2040-10-27
Also published as: JP2022070653A

Description

本システムは、セキュリティを確保した映像送信のための技術および方法等に関する。

保守作業時に、スマートグラス等のウェアラブルデバイスを含むスマートデバイスを用いた遠隔作業支援が実用化されている。この遠隔作業支援により、作業者と支援者（監督者）が作業状況をリアルタイムで共有することができるため、迅速かつ正確な作業を行うことができ、また移動コストがかからず技術伝承やスキルアップが期待されるなど多くの効果が期待できる。

しかしながら、保守作業で対象となる装置が例えばデータセンターやオフィス内である場合、社外秘情報等が映りこんでしまう恐れがあり、顧客が策定したセキュリティポリシー（情報セキュリティに関する方針）を遵守するため、顧客によってはスマートデバイスを用いた遠隔作業支援を適用できないケースがあった。

特許文献１には、携帯端末で撮影した画像と予め記憶した画像（配信が可能な画像）を照合比較し、一致しなかった部分についてはマスク処理した上で遠隔支援者に配信することで、セキュリティを確保しつつ作業実施を可能にする旨が記載されている。

特開２０１８－０３６８１２号公報特開２００５－２７７６８０号公報特開２０１０－１９３２２７号公報特開２０１７－１０８２６３号公報特開２０１０－２３８０９８号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の
分析は、本発明者らによってなされたものである。

上記の通り、配信が可能な部分の画像に基づいて映像をマスク処理することでセキュリティを確保しつつ遠隔支援者等に映像の配信をすることが可能である。

しかしながら、特許文献１の技術では、予め配信可能な保守作業装置の画像を登録しておくことが必要となる。また作業を行う際は、様々な角度から映像配信を行い、情報共有しなければ十分に効率良く作業を実施することはできない。つまり、特許文献１において、多くの機器を保守対象とする場合には、一機種ごとに複数の角度から撮影した画像を予め登録しておく必要があり、事前設定に大きな手間が生じてしまう。もし登録漏れが生じてしまい、特定の角度における画像を登録していなかった場合には、その画像を遠隔支援者と共有することができず、作業を円滑に進めることができなくなってしまうという危険性がある。

本発明の一視点において、保守対象の存在する環境に応じて配信可能な空間領域が選択可能であり、選択領域以外の部分をマスク処理することでセキュリティが確保された配信に寄与する映像送信システム、映像送信システムの動作方法、および映像送信システムの動作プログラムを提供することを目的とする。

本発明の第一の視点によれば、携帯端末とウェアラブル端末とを有する映像送信システムであって、携帯端末は、位置情報を取得する位置情報取得部と、取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する選択領域情報を生成する選択領域情報生成部と、取得された前記位置情報と前記選択領域情報とを前記ウェアラブル端末へ送信する送信部と、を有し、前記ウェアラブル端末は、対象物を含む映像である対象物映像を取得する対象物映像取得部と、携帯端末から前記位置情報と前記選択領域情報とを受信する受信部と、前記位置情報と、前記選択領域情報とを用いて、前記選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する対象物映像内領域映像生成部と、前記対象物映像内領域映像以外の領域を不可視化するマスクを生成するマスク生成部と、生成された前記マスクと、前記対象物映像とを合成する合成部と、合成された映像を出力する出力部と、を有する映像送信システムが提供される。

本発明の第二の視点によれば、携帯端末とウェアラブル端末とを有する映像送信システムの動作方法であって、前記携帯端末は、位置情報を取得する位置情報取得ステップと、取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する選択領域情報を生成する選択領域情報生成ステップと、取得された前記位置情報と前記選択領域情報とをウェアラブル端末へ送信する送信ステップと、を有し、前記ウェアラブル端末は、前記対象物を含む映像である対象物映像を取得する対象物映像取得ステップと、前記携帯端末から前記位置情報と前記選択領域情報とを受信する受信ステップと、前記位置情報と、前記選択領域情報を用いて、前記選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する対象物映像内領域映像生成ステップと、前記対象物映像内領域映像以外の領域を不可視化するマスクを生成するマスク生成ステップと、前記マスクと、前記対象物映像とを合成する合成ステップと、合成された映像を出力する出力ステップと、を有する映像送信システムの動作方法が提供される。

本発明の第三の視点によれば、携帯端末とウェアラブル端末とを有する映像送信システムの動作プログラムであって、前記携帯端末は、位置情報を取得する処理と、取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する選択領域情報を生成する処理と、取得された前記位置情報と前記選択領域情報とを前記ウェアラブル端末へ送信する処理と、を実行し、前記ウェアラブル端末は、前記対象物を含む映像である対象物映像を取得する処理と、前記携帯端末から前記位置情報と前記選択領域情報とを受信する処理と、前記位置情報と、前記選択領域情報とを用いて、前記選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する処理と、前記対象物映像内領域映像以外の領域を不可視化するマスクを生成する処理と、生成された前記マスクと、前記対象物映像とを合成する処理と、合成された映像を出力する処理と、を実行させるための映像送信システムの動作プログラムが提供される。

なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ－ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、保守対象の存在する環境に応じて配信可能な空間領域が選択可能であり、選択領域以外の部分をマスク処理することでセキュリティが確保された配信に寄与する映像送信システム、映像送信システムの動作方法、および映像送信システムの動作プログラムが提供される。

一実施形態の映像送信システムにおける構成の一例を示すブロック図である。実施形態１の映像送信システムの概略を示す図である。実施形態１の映像送信システムの構成の一例を示すブロック図である。空間領域の選択方法の一例を説明するための概略図である。空間領域の選択方法の一例を説明するための概略図である。実施形態１の映像送信システムにおけるマスク処理を説明するための概略図である。実施形態１の映像送信システムの処理の一例を説明するためのフローチャートである。実施形態１の映像送信システムの処理の一例を説明するためのフローチャートである。実施形態１の映像送信システムのハードウエア構成の一例を示すブロック図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

図１に一実施形態の映像送信システムの構成の一例を示したブロック図を示す。一実施形態の映像送信システム４は、携帯端末１と、ウェアラブル端末２とからなる。携帯端末１は、位置情報を取得する位置情報取得部１１と、取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する情報を生成する選択領域情報生成部１２と、取得された位置情報と選択領域情報とをウェアラブル端末へ送信する送信部１３と、を有する。ウェアラブル端末２は、対象物を含む映像である対象物映像を取得する対象物映像取得部２１と、携帯端末１からの、位置情報と選択領域情報とを受信する受信部２２と、受信した位置情報と、選択領域情報とを用いて、選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する対象物映像内領域映像生成部２３と、生成された対象物映像内領域映像以外の領域を不可視化するマスクを生成するマスク生成部２４と、生成されたマスクと、対象物映像とを合成する合成部２５と、合成された映像を出力する出力部２６と、を有する。

上記一実施形態の映像送信システムでは、携帯端末にて位置情報を取得し、取得された位置情報を基点として、配信可能な空間領域の選択を受け付けることにより、選択領域情報を生成する。位置情報と選択領域情報はウェアラブル端末に送られる。ウェアラブル端末では、同端末にて取得した映像に対して選択領域をマッピングすることにより、同映像内に選択領域を設けることができる（対象物映像内領域映像）。選択領域以外の領域を不可視としてマスクを生成し、同映像と合成することにより選択領域のみを視ることができ、それ以外の領域はマスク処理されて視ることができない映像を生成することが可能である。

上記一実施形態の映像送信システムは、対象物が写った対象物映像内において配信可能な領域の選択を、携帯端末により取得した位置情報を基点とし、空間領域の選択を行うことで可能である。これにより対象物映像内にて対象物を撮影する方向が変化して対象物の映像が変化しても、対象物が含まれる空間領域を選択しているため対象物の同一性が維持できる。このため、あらかじめ方向を変えて何枚も対象物の映像を撮影することなく、遠隔地の支援者等と映像を共有することが可能であり、作業を円滑に進めることができる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。

［第１の実施形態］
［装置の概略］
図２は本実施形態の映像送信システムの概略を示す図である。この図に示すように、ウェアラブル端末と携帯端末とを有している。携帯端末は位置情報を取得している。携帯端末により、配信可能な空間領域であり、対象物が含まれる選択領域が指定される。ここでは一例として、携帯端末を原点として、X軸、Y軸、Z軸方向の線分の長さを指定して選択する直方体形状の空間領域を特定している。当該特定する情報は、選択領域情報として、位置情報と共にウェアラブル端末へ送られる。ウェアラブル端末では位置情報と選択領域情報とに基づいて、ウェアラブル端末が撮影している対象物映像内に選択領域をマッピングする。マッピングされた映像にマスク処理を施して、元の対象物映像と合成する。このようにして送信する映像が生成される。送信された映像は遠隔地端末等により受信されて、遠隔地よりセキュリティ上問題となる映像部分をマスクしたまま作業支援を行うことができる。なお、本概略は一例であり、本実施形態の映像送信システムはこの概略に限定されない。

［システムの構成］
図３は本実施形態の映像送信システムの構成の一例を示すブロック図である。この図にあるように、本実施形態の映像送信システム４は携帯端末１と、ウェアラブル端末２とを有する。なお、ウェアラブル端末２は遠隔地端末３と接続されていてもよい。携帯端末１は位置情報取得部１１と、選択領域情報生成部１２と、送信部１３と、を有する。ウェアラブル端末２は対象物映像取得部２１と、受信部２２と、対象物映像内領域映像生成部２３と、マスク生成部２４と、合成部２５と、出力部２６と、を有する。遠隔地端末３は受信部３１と、映像出力部３２と、音声入出力部３３と、送信部３４と、を有する。

携帯端末１の一例としてはスマートフォンが挙げられる。ウェアラブル端末２の一例としてはスマートグラスが挙げられる。

位置情報取得部１１は携帯端末１において、位置情報を取得する。位置情報とは、携帯端末の位置を特定する情報であり、ＧＰＳ等の測位装置などにより取得できる。測位に関してはＧＰＳを使用するものをはじめ、無線ＬＡＮの電波を使用するものやＢｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（ＢｌｕｔｏｏｔｈＬｏｗＥｎｅｒｇｙ）などの近距離無線、レーザーや赤外線による測位等を用いてもよい。取得された位置情報は送信部１３に渡される。

位置情報取得部１１は必ずしも携帯端末１に内蔵されている必要はない。携帯端末１と通信可能な専用装置であってもよい。

ＧＰＳ等による測位では標高方向の位置情報が取得できない場合があるが、利用者が目視で見積もった高さを携帯端末１により入力したり、対象物や携帯端末１が写っている映像の縮尺より高さを推定したり、する構成でもよい。

選択領域情報生成部１２は携帯端末１において、取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する情報を生成する。「位置情報を基点とした」とは、位置情報取得部１１を構成する、位置情報を取得した携帯端末１やこれに接続されたデバイス等を基準点とすることを意味する。図２で例示したように、携帯端末の位置を原点とすることで携帯端末の位置が「基点」となっている。「対象物」とは、撮影して送信可能な機器等を指し、マスク処理によりマスクがかからない機器等を指す。「空間領域」とは、図２で例示したような直方体形状等の空間領域を指す。「選択領域を特定する情報」とは、例えばｘ軸／ｙ軸／ｚ軸上の線分の長さの数値で特定する情報（３０ｃｍ、４０ｃｍ、５０ｃｍ）であってもよい。この場合携帯端末１を原点とした座標系において、３０ｃｍ×４０ｃｍの長方形を底面とする高さ５０ｃｍの直方体の内側が選択領域となる。

空間領域の選択は上記のような直方体形状に限られず種々の方法で特定可能である。例えば、図４に示すような円柱形状の内側の空間に設定することも可能である。この場合は、携帯端末１の位置を中心とする半径ｒの円に対してｚ軸方向の長さを設定することで形成することが可能である。

また、対象物だけでなく、作業スペースや対象物のレイアウトも含めて映像を共有したい場合には、図５に示すように対象物近傍に載置された携帯端末１の位置を基準点として、ｘ軸方向、ｙ軸方向、ｚ軸方向ともに対象物から十分離れた座標を頂点とする空間領域を選択領域としてもよい。

空間領域の選択はタッチパネル操作や物理ボタン操作で携帯端末１に入力可能であり、選択領域の範囲を任意で設定できる入力手段である。例えば上記の通り数値情報を入力することにより行うものであってもよいし、対象物を撮影してタッチパネルやポインティングデバイス等を用いて映像内の範囲を直接特定するものであってもよい。

選択領域を特定するために入力された情報は選択領域情報として後述する送信部１３を介して携帯端末１に送信される。

送信部１３は携帯端末１において取得された位置情報と選択領域情報とをウェアラブル端末へ送信する。具体的には近距離無線等を用いて位置情報と選択領域情報を送信する。例えば携帯端末１はＢＬＥ信号を送信するビーコン機能を有しており、送信部１３は、この信号によりウェアラブル端末２に対して、位置情報と選択領域情報を送信してもよい。送信された情報はウェアラブル端末２の受信部２２にて受信される。

上記構成の他、携帯端末１は、領域選択を行った範囲や数値を確認するためのディスプレイ等の表示部（図示せず）等を有していてもよい。

対象物映像取得部２１はウェアラブル端末２において、対象物を含む映像である対象物映像を取得する。「取得」には映像を撮影する処理が含まれる。同部にはカメラやビデオカード等のデバイスが含まれる。取得された映像は、後述する対象物映像内領域映像生成部２３と、合成部２５に送られる。

受信部２２は、ウェアラブル端末２において、携帯端末からの、位置情報と選択領域情報とを受信する。受信した位置情報と選択領域情報とは、後述する対象物映像内領域映像生成部２３に送られる。

対象物映像内領域映像生成部２３は、ウェアラブル端末２において、受信した位置情報と、選択領域情報とを用いて、選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する。「マッピング」とは、選択領域を対象物映像内に配置することを意味する。具体的には、位置情報と選択領域情報とを用いて対象物映像内における選択領域の配置を特定する情報を演算により求める処理を実行する。選択領域の配置を特定する情報を用いて、後述するマスク生成部２４がマスク生成のために用いる映像を生成する処理を行う。生成された映像はマスク生成部２４に送られる。

上記演算には既存技術であるいわゆるロケーションベースのＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）で用いられる方法など（例えば特許文献５に記載の方法）による対象物の対象物映像内での位置特定等が採用できる。上記方法を用いるため、ウェアラブル端末２はウェアラブル端末２の位置や方向を特定するためのＧＰＳや磁気センサ、加速度センサ、方位センサ等を有していてもよい。なおこの方法を用いるためには選択領域はウェアラブル端末２のカメラと正対していると仮定する。

図６は本実施形態のマスク処理を説明するための概略図である。対象物映像内領域映像生成部２３では対象物映像６１を読み込み、受信された位置情報と選択領域情報等を用いて、選択領域６５を対象物映像内に配置し、対象物映像内領域映像６２を生成する。

マスク生成部２４は、ウェアラブル端末２において、生成された対象物映像内領域映像以外の領域を不可視化するマスクを生成する。具体的には、図６のマスク映像６３のような対象物映像内領域を切り抜いたマスクを生成する。生成されたマスク映像は後述する合成部２５に送られ、合成処理を実行し、対象物以外の空間領域を不可視化した映像６４が生成される。

合成部２５はウェアラブル端末２において、生成されたマスクと、対象物映像とを合成する。合成は、種々の方法が考えられるが、一例として、対象物映像の各フレームに対して、マスク処理された映像をオーバレイする処理が挙げられる。

出力部２６は合成された映像を出力する。「出力」には、映像として各種のデバイスに出力する処理に限られず、通信により送信する処理等、が含まれる。

なお、ウェアラブル端末２は、取得した対象物映像や、受信した位置情報と選択領域情報、その他演算処理に必要な記憶域を提供する記憶部（図示せず）を有していてもよい。

映像送信システム４は、ウェアラブル端末２と遠隔地端末３とをネットワークを介して接続することで、遠隔支援システムとして、セキュリティを確保しながら遠隔作業を支援することを可能とする。遠隔地端末３は、受信部３１と、映像出力部３２と、音声入出力部３３と、送信部３４と、を有する。映像に合わせて音声も受信している場合には、音声入出力部３３より音声が出力される。

受信部３１は、遠隔地端末３において、ウェアラブル端末２の出力部２６の映像データを受信する。受信したデータは映像出力部３２に送られ、ディスプレイ等のデバイスに映像として表示される。遠隔地端末３は、作業指示等の音声を、ウェアラブル端末２を装着している作業者に対して送信するための音声入出力部３３および送信部３４を有していてもよい。

［処理の流れ］
図７および図８は、本実施形態の映像送信システム４の処理の一例を説明するためのフローチャートである。図７は位置情報と選択領域を携帯端末１にて取得し、ウェアラブル端末２へ送信し、記憶域に格納するまでの処理を示している。この処理の流れは一つの対象物に対して一度だけ実行する必要があるものである。

まず携帯端末１にて位置情報を取得する（ステップＳ０１）。次に選択領域の指定を受け付ける（ステップＳ０２）。次に選択領域情報を生成する（ステップＳ０３）。次に位置情報と選択領域情報とを送信する（ステップＳ０４）。ウェアラブル端末２は、携帯端末１から送られた位置情報と選択領域情報とを受信する（ステップＳ０５）。受信した位置情報と選択領域情報とを記憶域に格納する（ステップＳ０６）。

図８は対象物をウェアラブル端末２にて撮影しながら作業等を行っているときのウェアラブル端末２における処理の流れである。この図にあるように、まず記憶域に格納されている位置情報と選択領域情報とを呼出す（ステップＳ１１）。次に対象物映像を取得する（ステップＳ１２）。次に位置情報と選択領域情報とに基づいて、対象物映像内領域映像を生成する（ステップＳ１３）。生成された対象物映像内領域映像を用いてマスクを生成する（ステップＳ１４）。生成されたマスク映像と対象物映像とを合成する（ステップＳ１５）。次に合成された映像を出力する（ステップＳ１７）。撮影を終了するか否かを判断し、終了であれば処理が完了し、撮影を続ける場合には対象物映像の取得処理（ステップＳ１２）に戻って処理を続行する。

上記「映像」は動画であれば「フレーム」に相当する。対象物映像のフレームごとに一連の処理を実行してもよい。あるいは、所定のフレーム数を単位として、その単位ごとに対象物映像内領域映像を生成し、マスクを生成して、合成するものであってもよい。また所定の時間ごとに対象物映像内領域映像を生成し、マスクを生成して、合成するものであってもよい。

また本実施形態の映像送信システム４は携帯端末１とウェアラブル端末２との構成をまとめて単一の映像送信装置として構成してもよい。

[ハードウエア構成]
次に、本実施形態に係る映像送信システムを構成する各種装置のハードウエア構成を説明する。図９は、本実施形態に係る映像送信システム４のハードウエア構成の一例を示すブロック図である。

映像送信システムを構成する携帯端末１およびウェアラブル端末２は、共に図９に例示する構成を少なくとも備える。例えば、携帯端末１およびウェアラブル端末２は、内部バス１０７により相互に接続される、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉt）１０１、メモリ１０２、入出力インタフェース１０３及び通信手段である無線通信モジュール１０４、位置情報を取得するＧＰＳモジュール１０５、映像を取得するカメラモジュール１０６等を備える。

但し、図９に示す構成は、携帯端末１およびウェアラブル端末２のハードウエア構成を限定する趣旨ではない。携帯端末１およびウェアラブル端末２は、図示しないハードウエアを含んでもよい。また、両端末に含まれるＣＰＵ等の数も図９の例示に限定する趣旨ではなく、例えば、複数のＣＰＵが両端末に含まれていてもよい。例えば携帯端末１や、ウェアラブル端末２は、必要に応じて加速度センサや磁気センサ、方位センサ等の各種センサを有していてもよい。

メモリ１０２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、補助記憶装置（ハードディスク等）である。

入出力インタフェース１０３は、図示しない表示装置や入力装置のインタフェースとなる手段である。表示装置は、例えば、タッチパネルディスプレイ等である。入力装置は、同じくタッチパネルディスプレイ等である。

携帯端末１の機能は、処理モジュールである位置情報取得プログラムと、選択領域情報生成プログラムと、送信プログラム等、により実現される。ウェアラブル端末２は、対象物映像取得プログラムと、受信プログラムと、対象物映像内領域映像生成プログラムと、マスク生成プログラムと、合成プログラムと、出力プログラム等で実現される。当該処理モジュールは、例えば、メモリ１０２に格納された各種プログラムをＣＰＵ１０１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウエア、及び／又は、ソフトウエアで実行する手段があればよい。

［ハードウエアの動作］
まず、撮影を始める前に位置情報の取得処理と領域選択情報とを生成する処理を実行する。位置情報取得プログラムがメモリ１０２からＣＰＵ１０１に呼び出され、実行状態となる。同プログラムはＧＰＳモジュールを制御して位置情報Ｐが取得される。次に選択領域情報生成プログラムがＣＰＵ１０１で実行状態となり、入出力インタフェースを介して送信が可能な空間領域の指定を受け付ける。タッチパネルディスプレイより空間領域の大きさを数値（ｘ，ｙ，ｚ）で入力することで選択領域をしていればその数値（ｘ，ｙ，ｚ）が選択領域情報となる。また、タッチパネルディスプレイに表示されている配信可能な空間領域をドラッグ動作などで選択した場合には、映像内の選択領域の各辺の長さから選択領域の実際の長さ（ｘ，ｙ，ｚ）をＣＰＵ１０１による演算により求めて、これを選択領域情報とする。次に送信プログラムがＣＰＵ１０１にて実行状態となり、位置情報Ｐと選択領域情報（ｘ，ｙ，ｚ）を、無線通信モジュール１０４を介してウェアラブル端末２へ向け送信する。

ウェアラブル端末２では受信プログラムがＣＰＵ１０１にて実行状態となっており、携帯端末１より送信された位置情報Ｐと選択領域情報（ｘ，ｙ，ｚ）とを無線通信モジュール１０４を介して受信する。受信された位置情報Ｐと選択領域情報（ｘ，ｙ，ｚ）とはメモリ１０２に格納される。

撮影を開始すると対象物映像取得プログラムがＣＰＵ１０１にて実行状態となり、カメラモジュール１０６を制御することで映像を取得する。取得された映像（フレーム）は一時的にメモリ１０２に格納されてもよい。

次に対象物映像内領域映像生成プログラムがＣＰＵ１０１にて実行状態となり、メモリ１０２に格納されている位置情報Ｐと選択領域情報（ｘ，ｙ，ｚ）と、映像のフレームと、を読み込む。次に同プログラムはＣＰＵ１０１による演算処理により、位置情報Ｐと選択領域情報（ｘ，ｙ，ｚ）、必要であればウェアラブル端末２が有するＧＰＳモジュール１０５からウェアラブル端末２の位置情報を取得して、選択領域を対象物映像のフレーム内に配置し、その映像内での範囲（座標）を取得する。取得の方法に関しては種々の方法が考えられるが、既存技術による方法では、選択領域がカメラに正対していると仮定して、位置情報Ｐとウェアラブル端末２の位置情報とで、Ｐとウェアラブル端末の相対距離を算出し、所定高さを中心点としてウェアラブル端末２のカメラモジュール１０６のカメラの水平方向視野角および垂直方向視野角および映像サイズに基づいて原点から算出された相対距離に定まる矩形平面上に選択領域を投影する処理を行うことにより選択領域のフレーム上での範囲（座標）を算出することが可能である。算出された範囲（座標）を元に、フレーム上に範囲指定を行い対象物映像内領域映像として、メモリ１０２へ一時的に格納する。

次に、マスク生成プログラムがＣＰＵ１０１上で実行状態となり、メモリ１０２上の対象物映像内領域映像を読み込む。同プログラムは対象物映像内領域以外の領域をマスク領域として不可視化し、対象物映像内領域内の領域を透明化し、マスク映像を作成する。マスク映像はメモリ１０２上に一時的に格納される。

次に合成プログラムがＣＰＵ１０１上で実行状態となり、メモリ１０２上に格納されている対象物映像のフレームとマスク映像とを読み込む。同プログラムは対象物映像のフレームにマスク映像をオーバレイ処理し、処理された映像をメモリ１０２上に一時的に格納する。

次に出力プログラムがＣＰＵ１０１上で実行状態となり、メモリ１０２上に格納されているオーバレイ処理された映像データを無線通信モジュール等により送信する。
［効果の説明］

本実施形態の映像送信システムによると、セキュリティ上配信が可能な領域を限定するために、位置情報と選択領域情報を用いることで、選択された空間領域を配信可能領域として指定することが可能である。指定された空間領域に基づいて、マスクを生成する処理を実行する。これにより、撮影する距離や方向が変化しても、一度の指定で配信可能な領域を指定可能であり、円滑な遠隔支援等が可能である。

上記の実施形態の一部又は全部は、以下のようにも記載され得るが、以下には限られな
い。
［形態１］
上述の第一の視点に係る映像送信システムのとおりである。
［形態２］
前記選択領域情報生成部は、前記空間領域の選択を、数値情報を入力することにより行う、好ましくは形態１に記載の映像送信システム。
［形態３］
前記選択領域情報生成部は、前記空間領域の選択を、ポインティングデバイスを用いて範囲を特定することにより行う、好ましくは形態１に記載の映像送信システム。
［形態４］
前記選択領域情報生成部は、基点を頂点とする直方体もしくは立方体の内の空間領域を前記選択領域とする、好ましくは形態１から３のいずれか一に記載の映像送信システム。
［形態５］
前記選択領域情報生成部は、基点を中心とした円を底面もしくは上面とする円柱の内の空間領域を前記選択領域とする、好ましくは形態１から４のいずれか一に記載の映像送信システム。
［形態６］
前記対象物映像内領域映像生成部は、動画である映像の所定数のフレームごとに対象物映像内領域映像を生成し、
前記合成部は、所定数のフレームごとに同一のマスクを合成する、好ましくは請求項１から５のいずれか一に記載の映像送信システム。
［形態７］
前記対象物映像内領域映像生成部は、所定時間ごとに前記対象物映像内領域映像を生成し、
合成部は、所定時間ごとに同一のマスクを合成する、好ましくは形態１から５のいずれか一に記載の映像送信システム。
［形態８］
位置情報を取得する位置情報取得部と、
取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する選択領域情報を生成する選択領域情報生成部と、
対象物を含む映像である対象物映像を取得する対象物映像取得部と、
受信した前記位置情報と、前記選択領域情報とを用いて、前記選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する対象物映像内領域映像生成部と、
対象物映像内領域映像以外の領域を不可視化するマスクを生成するマスク生成部と、
前記マスクと、前記対象物映像とを合成する合成部と、
合成された映像を出力する出力部と、
を有する映像送信装置。
［形態９］
上記第二の視点に係る方法のとおりである。
［形態１０］
上記第三の視点に係るプログラムのとおりである。

１携帯端末
２ウェアラブル端末
３遠隔地端末
４映像送信システム
１１位置情報取得部
１２選択領域情報生成部
１３送信部
２１対象物映像取得部
２２受信部
２３対象物映像内領域映像生成部
２４マスク生成部
２５合成部
２６出力部
３１受信部
３２映像出力部
３３音声入出力部
３４送信部
１０１ＣＰＵ
１０２メモリ
１０３入出力インタフェース
１０４無線通信モジュール
１０５ＧＰＳモジュール
１０６カメラモジュール
１０７内部バス

Claims

携帯端末とウェアラブル端末とを有する映像送信システムであって、
前記携帯端末は、
位置情報を取得する位置情報取得部と、
取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する選択領域情報を生成する選択領域情報生成部と、
取得された前記位置情報と前記選択領域情報とを前記ウェアラブル端末へ送信する送信部と、
を有し、
前記ウェアラブル端末は、
前記対象物を含む映像である対象物映像を取得する対象物映像取得部と、
前記携帯端末から前記位置情報と前記選択領域情報とを受信する受信部と、
前記位置情報と、前記選択領域情報とを用いて、前記選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する対象物映像内領域映像生成部と、
前記対象物映像内領域映像以外の領域を不可視化するマスクを生成するマスク生成部と、
生成された前記マスクと、前記対象物映像とを合成する合成部と、
合成された映像を出力する出力部と、
を有する映像送信システム。
前記選択領域情報生成部は、前記空間領域の選択を、数値情報を入力することにより行う請求項１に記載の映像送信システム。
前記選択領域情報生成部は、前記空間領域の選択を、ポインティングデバイスを用いて範囲を特定することにより行う請求項１記載の映像送信システム。
前記選択領域情報生成部は、基点を頂点とする直方体もしくは立方体の内の空間領域を前記選択領域とする請求項１から３のいずれか一に記載の映像送信システム。
前記選択領域情報生成部は、基点を中心とした円を底面もしくは上面とする円柱の内の空間領域を前記選択領域とする請求項１から４のいずれか一に記載の映像送信システム。
前記対象物映像内領域映像生成部は、動画である映像の所定数のフレームごとに前記対象物映像内領域映像を生成し、
前記合成部は、所定数のフレームごとに同一のマスクを合成する請求項１から５のいずれか一に記載の映像送信システム。
前記対象物映像内領域映像生成部は、所定時間ごとに前記対象物映像内領域映像を生成し、
合成部は、所定時間ごとに同一のマスクを合成する請求項１から５のいずれか一に記載の映像送信システム。
位置情報を取得する位置情報取得部と、
取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する選択領域情報を生成する選択領域情報生成部と、
対象物を含む映像である対象物映像を取得する対象物映像取得部と、
受信した前記位置情報と、前記選択領域情報とを用いて、前記選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する対象物映像内領域映像生成部と、
対象物映像内領域映像以外の領域を不可視化するマスクを生成するマスク生成部と、
前記マスクと、前記対象物映像とを合成する合成部と、
合成された映像を出力する出力部と、
を有する映像送信装置。
携帯端末とウェアラブル端末とを有する映像送信システムの動作方法であって、
前記携帯端末は、
位置情報を取得する位置情報取得ステップと、
取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する選択領域情報を生成する選択領域情報生成ステップと、
取得された前記位置情報と前記選択領域情報とをウェアラブル端末へ送信する送信ステップと、
を有し、
前記ウェアラブル端末は、
前記対象物を含む映像である対象物映像を取得する対象物映像取得ステップと、
前記携帯端末から前記位置情報と前記選択領域情報とを受信する受信ステップと、
前記位置情報と、前記選択領域情報を用いて、前記選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する対象物映像内領域映像生成ステップと、
前記対象物映像内領域映像以外の領域を不可視化するマスクを生成するマスク生成ステップと、
前記マスクと、前記対象物映像とを合成する合成ステップと、
合成された映像を出力する出力ステップと、
を有する映像送信システムの動作方法。
携帯端末とウェアラブル端末とを有する映像送信システムの動作プログラムであって、
前記携帯端末は、
位置情報を取得する処理と、
取得した前記位置情報を基点とした対象物を含む空間領域を選択した選択領域を特定する選択領域情報を生成する処理と、
取得された前記位置情報と前記選択領域情報とを前記ウェアラブル端末へ送信する処理と、
を実行し、
前記ウェアラブル端末は、
前記対象物を含む映像である対象物映像を取得する処理と、
前記携帯端末から前記位置情報と前記選択領域情報とを受信する処理と、
前記位置情報と、前記選択領域情報とを用いて、前記選択領域を前記対象物映像内にマッピングして対象物映像内領域映像を生成する処理と、
前記対象物映像内領域映像以外の領域を不可視化するマスクを生成する処理と、
生成された前記マスクと、前記対象物映像とを合成する処理と、
合成された映像を出力する処理と、
を実行させるための映像送信システムの動作プログラム。