JP7600595B2 - 通信管理装置、画像通信システム、通信管理方法及びプログラム - Google Patents
通信管理装置、画像通信システム、通信管理方法及びプログラム Download PDFInfo
- Publication number
- JP7600595B2 JP7600595B2 JP2020166189A JP2020166189A JP7600595B2 JP 7600595 B2 JP7600595 B2 JP 7600595B2 JP 2020166189 A JP2020166189 A JP 2020166189A JP 2020166189 A JP2020166189 A JP 2020166189A JP 7600595 B2 JP7600595 B2 JP 7600595B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- communication
- predetermined position
- unit
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
〔全天球画像の生成方法〕
図1乃至図8を用いて、全天球画像の生成方法について説明する。
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、画像通信システムの全体構成の一例を示す図である。図9に示されている画像通信システム1は、複数の配信拠点から配信される映像等の撮影画像を、複数の閲覧拠点において表示させることで、配信拠点で撮影された広範囲な画像(例えば、全天球画像)を、リアルタイムに閲覧できるシステムである。なお、本実施形態では、配信拠点を領域とも呼ぶ。
次に、図11及び図12を用いて、実施形態に係る画像通信システムを構成する各装置又は端末のハードウエア構成を説明する。なお、図11及び図12に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
まず、図11を用いて、撮影装置10のハードウエア構成を説明する。図11は、撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置10は、二つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置10と同じ機能を有するようにしてもよい。
図12は、配信端末のハードウエア構成の一例を示す図である。配信端末30の各ハードウエア構成は、300番台の符号で示されている。配信端末30は、コンピュータによって構築されており、図12に示されているように、CPU301、ROM302、RAM303、HD(Hard Disk)304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、音入出力I/F317、マイク318、スピーカ319及び近距離通信回路320を備えている。
図12は、通信管理装置のハードウエア構成の一例を示す図である。通信管理装置50の各ハードウエア構成は、括弧内の500番台の符号で示されている。通信管理装置50は、コンピュータによって構築されており、図12に示されているように、配信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
図12は、通信端末のハードウエア構成の一例を示す図である。通信端末70の各ハードウエア構成は、括弧内の700番台の符号で示されている。通信端末70は、コンピュータによって構築されており、図12に示されているように、配信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
続いて、図13乃至図20を用いて、実施形態に係る画像通信システムの機能構成について説明する。図13及び図14は、画像通信システムの機能構成の一例を示す図である。なお、図13及び図14は、図9に示されている装置又は端末のうち、後述の処理又は動作に関連しているものを示す。
まず、図13を用いて、撮影装置10の機能構成について説明する。撮影装置10は、通信部11、受付部12、撮像部13、集音部14及び記憶・読出部19を有している。これら各部は、図11に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。また、撮影装置10は、図11に示されているROM112、SRAM113及びDRAM114によって構築される記憶部1000を有している。記憶部1000は、自装置のGUID(Globally Unique Identifier)を記憶している。
次に、図13を用いて、配信端末30の機能構成について説明する。配信端末30は、送受信部31、受付部32、画像・音処理部33、表示制御部34、判断部35、作成部36、通信部37及び記憶・読出部39を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD304からRAM303上に展開された配信端末用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。また、配信端末30は、図12に示されているROM302、RAM303及びHD304によって構築される記憶部3000を有している。
図15(A)は、撮影装置管理テーブルの一例を示す概念図である。記憶部3000には、図15(A)に示されている撮影装置管理テーブルによって構成された撮影装置管理DB3001が構築されている。この撮影装置管理テーブルでは、全天球画像の元になる二つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶、管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、例えば、配信端末30の工場出荷時から記憶されていてもよいし、工場出荷後に追加で記憶してもよい。
図15(B)は、画像種類管理テーブルの一例を示す概念図である。記憶部3000には、図15(B)に示されている画像種類管理テーブルによって構成された画像種類管理DB3002が構築されている。この画像種類管理テーブルでは、画像データIDごとに、撮影装置の宛先の一例である撮影装置のIP(Internet Protocol)アドレス及びソース名(画像種類情報)が関連づけて管理されている。このうち、画像データIDは、画像配信を行う際の画像データを識別するための画像データ識別情報の一例である。撮影装置のIPアドレスは、関連づけられている画像データIDで示される画像データを撮影した撮影装置10のIPアドレスを示す。ソース名は、関連づけられている画像データIDで示される画像データを撮影した撮影装置10を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、配信端末30によって作成された名称である。
次に、図14を用いて、通信管理装置50の機能構成について説明する。通信管理装置50は、送受信部51、選択部53、判断部55、生成部56、配信拠点管理部57及び記憶・読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理装置用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。また、通信管理装置50は、図12に示されているROM502、RAM503及びHD504によって構築される記憶部5000を有している。
図16(A)は、セッション管理テーブルの一例を示す概念図である。記憶部5000には、図16(A)に示されているセッション管理テーブルによって構成されたセッション管理DB5001が構築されている。このセッション管理テーブルでは、セッションIDごとに、拠点ID及び参加した通信端末のIPアドレスが関連づけて管理されている。このうち、セッションIDは、画像通信を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想のフロアごとに生成される。セッションIDは、各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。拠点IDは、配信拠点を識別するための拠点識別情報の一例である。参加した通信端末のIPアドレスは、関連づけられているセッションIDで示される仮想のフロアに参加した通信端末のIPアドレスを示している。
図16(B)は、画像種類管理テーブルの一例を示す概念図である。記憶部5000には、図16(B)に示されている画像種類管理テーブルによって構成された画像種類管理DB5002が構築されている。この画像種類管理テーブルでは、図15(B)に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連づけて管理されている。なお、通信管理装置50において、配信端末30及び通信端末70で管理される、画像データID、撮影装置のIPアドレス及び画像種類情報と同じものを管理するのは、新たな通信端末が仮想のフロアに入る場合等に、既に画像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
図17(A)は、所定領域管理テーブルの一例を示す概念図である。記憶部5000には、図17(A)に示されている所定領域管理テーブルによって構成された所定領域管理DB5003が構築されている。この所定領域管理テーブルでは、撮影装置(画像送信元)のIPアドレスごとに、撮影画像データの送信先の通信端末のIPアドレス、及び撮影画像データの送信先の通信端末で表示中の所定領域画像のパラメータを示す所定領域情報が関連づけて管理されている。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。
図17(B)は、配置情報管理テーブルの一例を示す概念図である。記憶部5000には、図17(B)に示されている配置情報管理テーブルによって構成された配置情報管理DB5004が構築されている。この配置情報管理テーブルでは、配信拠点を識別するための拠点IDごとに、配信拠点に配置された撮影装置10のIPアドレス、撮影装置10が配置された位置を示す座標値、及び撮影装置10の配置方向が関連付けて管理されている。これらのうち、座標値は、撮影装置10が配置された配信拠点のマップ上の座標値を示す。また、撮影装置10の配置方向は、撮影装置10の正面が向いているマップ上の方向(角度)を示す。なお、この配置情報は、配信拠点又は配信端末30の管理者によって任意の方向(角度)に設定される。
図18は、配信拠点管理テーブルの一例を示す概念図である。記憶部5000には、図18に示されている配信拠点管理テーブルによって構成された配信拠点管理DB5005が構築されている。この配信拠点管理テーブルでは、配信拠点を識別するための拠点IDごとに、拠点名及び配信拠点の状態を示す配信拠点情報が関連づけて管理されている。このうち、配信拠点情報は、配信拠点のマップを示すマップ画像データ及び配信拠点の座標値を示す拠点座標情報にアクセスするためのURL(Uniform Resource Locator)を含む。通信端末70は、通信管理装置50から送信されたURLへアクセスすることで、配信拠点のマップ画像データ及び拠点座標情報を取得することができる。なお、URLは、記憶先情報の一例である。記憶先情報は、URLに限られず、URI(Uniform Resource Identifier)等であってもよい。
図19(A)は、重み係数管理テーブルの一例を示す概念図である。記憶部5000には、図19(A)に示されている重み係数管理テーブルによって構成された重み係数管理DB5006が構築されている。重み係数管理テーブルでは、基準撮影装置の名称を示す基準撮影装置名ごとに、補完撮影装置の名称を示す補完撮影装置名及び係数が関連づけて管理されている。ここで、基準撮影装置は、利用者が指定した注目点P(所定の位置)に最も近い位置に配置されている撮影装置を示す。また、補完撮影装置は、注目点Pに対して基準撮影装置で撮影できない部分を最も多角的に撮影可能な撮影装置を示す。さらに、係数は、基準撮影装置と補完撮影装置の配置関係を示す値で、撮影装置10を配信拠点A等に配置する管理者又は通信管理装置50を管理する管理者によって予め任意の値が設定される。
図19(B)は、特定重み係数管理テーブルの一例を示す概念図である。記憶部5000には、図19(B)に示されている特定重み係数管理テーブルによって構成された特定重み係数管理DB5007が構築されている。特定重み係数管理テーブルでは、基準撮影装置の名称を示す基準撮影装置名ごとに、補完撮影装置の名称を示す補完撮影装置名及び特定係数が関連づけて管理されている。これらのうち特定係数は、図19(A)で示された重み係数管理テーブルの係数に対し、基準撮影装置と補完撮影装置の間に障害物(壁等)が存在する場合、及び補完撮影装置に何らかの異常等がある場合の少なくとも一方が満たされる場合等に他の係数よりも大きな値として与えられる。特定係数も、撮影装置10を配信拠点A等に配置する管理者又は通信管理装置50を管理する管理者によって予め任意の値が設定される。
次に、図14を用いて、通信端末70の機能構成について説明する。通信端末70は、送受信部(取得部)71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、注目点特定部77、選択部81、生成部82及び記憶・読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD704からRAM703上に展開された通信端末用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は手段である。また、通信端末70は、図12に示されているROM702、RAM703及びHD704によって構築される記憶部7000を有している。
図20(A)は、画像種類管理テーブルの一例を示す概念図である。記憶部7000には、図20(A)に示されている画像種類管理テーブルによって構成された画像種類管理DB7001が構築されている。この画像種類管理テーブルは、図15(B)に示されている画像種類管理テーブルと同じデータ構成であるため、説明を省略する。
図20(B)は、所定領域管理テーブルの一例を示す概念図である。記憶部7000には、図20(B)に示されている所定領域管理テーブルによって構成された所定領域管理DB7002が構築されている。この所定領域管理テーブルでは、撮影画像データを撮影した撮影装置のIPアドレスごとに、表示中の所定領域画像を示す所定領域情報が関連づけて管理されている。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。
図21は、分割数が2の場合における注目点Pと撮影装置の関係の一例を概略的に説明するための図である。例えば、図10に示したような画像通信システム1における配信拠点A(領域A)において、複数の撮影装置10Aは、図21のように格子状に規則的に並べて配置されている。この配置状態は、例えば、生成部56によって、それぞれの撮影装置10が有する座標値をもとに二次元の配置画像(マップ画像)として生成される。このとき、通信端末70を利用する利用者は、所定の位置を示す「注目点」ボタン605、及び注目点Pを中心とする所定の範囲(例えば、半径rの円)を注目点Pを境に分割するための「分割数」ボタン670を操作する。このとき、利用者は、後述する通信端末70の拠点表示画面600に表示された二次元の配置画像に対応する模式画像650を参照して「注目点」ボタン605を操作することができる。
さらに、選択部53は、半径rの円内に配置された撮影装置10A-1,10A-2,10A-3及び10A-4のうち、注目点Pに最も近い位置に配置された撮影装置10A-1を選択する。
図22は、分割数が2の場合における撮影装置間の角度に基づく選択処理の一例を概略的に説明するための図である。図22の例に示されているように、撮影装置10A-1と撮影装置10A-2との間の角度(方位角)は、101°である。また、撮影装置10A-1と撮影装置10A-3との間の角度は121°である。さらに、撮影装置10A-1と撮影装置10A-4の間の角度は163°である。また、注目点Pと撮影装置10A-1とを仮想的に結ぶ線分を延長した太点線によって、配信拠点A(領域A)は二つに分割されている。
図23は、分割数が3の場合における注目点Pと撮影装置の関係の一例を概略的に説明するための図である。説明を簡単にするために、図23で示された配信拠点Aにおける撮影装置10の配置は図21の場合と同様であるとする。この状態で、通信端末70を利用する利用者によって「注目点」ボタン605、及び「分割数」ボタン670が操作されると、選択部53は、注目点P(所定の位置)と撮影装置10A-1を仮想的に結ぶ線分を延長して、生成部56によって生成された二次元の配置画像を120°ごとに分けられた三つの領域に分割する。このようにして得られた二次元の配置画像が、分割数として3が与えられた場合の一例である。
図24は、分割数が3の場合における撮影装置間の角度に基づく選択処理の一例を概略的に説明するための図である。なお、図24に示されている各撮影装置の配置は、図22で示された各撮影装置の配置と同様である。図24では、注目点Pと撮影装置10A-1とを仮想的に結ぶ線分(太点線)に対して、それぞれ120°の角度をなす太点線によって、配信拠点A(領域A)は三つに分割されている。
図25は、分割数が3の場合における撮影装置間の角度に基づく選択処理の一例を概略的に説明するための図である。図25の例では、撮影装置10A-3と注目点Pとの間に壁が存在する場合が示されている。
図26は、分割数が4の場合における注目点Pと撮影装置の関係の一例を概略的に説明するための図である。図26の場合も図21及び図23で示された配信拠点Aにおける撮影装置10の配置と同様であるとする。この状態で、通信端末70を利用する利用者によって「注目点」ボタン605、及び「分割数」ボタン670が操作されると、選択部53は、注目点P(所定の位置)と撮影装置10A-1を仮想的に結ぶ線分を延長して、生成部56によって生成された二次元の配置画像を90°ごとに分けられた四つの領域に分割する。このようにして得られた二次元の配置画像が、分割数として4が与えられた場合の一例である。
<セッション参加処理>
続いて、図28乃至図36を用いて、実施形態に係る画像通信システムの処理又は動作について説明する。なお、以下の説明において、配信拠点Aの撮影画像が通信端末70に配信される例を説明するが、配信拠点B等の他の配信拠点からの画像配信においても同様の処理が行われる。まず、図28及び図29を用いて、特定の通信セッションへの参加処理について説明する。図28は、画像通信システムにおける特定の通信セッションへの参加処理の一例を示すシーケンス図である。図29は、通信セッションの選択画面の一例を示す図である。
次に、図30を用いて、画像種類情報の管理処理を説明する。図30は、画像通信システムにおける画像種類情報の管理処理を示すシーケンス図である。
次に、図31を用いて、配信拠点Aで得られた撮影画像データ及び音データが、通信管理装置50を介して、各通信端末(通信端末70C,70D)へ送信される処理について説明する。図31は、画像通信システムにおける撮影画像データ及び音データの通信処理の一例を示すシーケンス図である。なお、図31は、一台の撮影装置10によって取得された撮影画像データが各通信端末70に配信される例を示すが、配信拠点に配置された他の撮影装置10によって取得された複数の撮影画像データが配信される場合においても同様の処理が行われる。
次に、図32乃至図36を用いて、閲覧拠点の利用者によって指定された配信拠点の注目点Pの画像を表示させる処理について説明する。図32は、画像通信システムにおける注目点Pの表示処理の一例を示すシーケンス図である。図32は、閲覧拠点Aの通信端末70Cが配信端末30Aから配信された撮影画像を表示する場合の例を説明する。なお、他の閲覧拠点である閲覧拠点Bの通信端末70Dに撮影画像を表示させる場合も同様の処理が行われる。
次に、通信管理装置50は、ステップS74で受信された撮影装置選択要求に応じて、撮影装置10の選択処理を実行する(ステップS76)。ここで、図33、図21乃至図26を用いて、ステップS76の処理を詳細に説明する。図33は、撮影装置の選択処理の一例を示すフローチャートである。
図35は、補完撮影装置の選択処理の一例を示すフローチャートである。まず、選択部53は、注目点Pを中心とする所定の範囲(例えば、半径rの円)を描く。続いて選択部53は、半径rの円内に配置されている撮影装置10A-1,10A-2,10A-3及び10A-4のうち、注目点Pに最も近い位置に配置された撮影装置10A-1を選択する(ステップS105-1)。このとき、選択部53は、図21の例において、撮影装置10A-1,10A-2,10A-3及び10A-4の各座標値と注目点座標との距離を算出する。そして、選択部53は、注目点Pの座標に最も近い位置に配置された(最も距離が近い)撮影装置10A-1を、所定の範囲内において最も近い基準撮影装置10A-1として、撮影装置10A-1の識別情報(例えば、撮影装置10A-1のIPアドレス)及び算出された距離を記憶部5000に保持する。なお、複数の撮影装置10Aの各座標値と注目点座標との距離を算出する際、例えば、ぞれぞれの座標を結ぶ直線距離を求める既知の方法が採用される。
具体的には、図22に示されているように、選択部53は、基準撮影装置10A-1に対して最も360°/n、すなわち360°/2=180°に近い撮影装置を基準撮影装置10A-1に対する補完撮影装置の候補として選択する。つまり、選択部53は、基準撮影装置10A-1に対して最も180°に近い位置に配置されている撮影装置を補完撮影装置の候補として選択する。この場合、基準撮影装置10A-1及び補完撮影装置10A-4が撮影するそれぞれの撮影画像は、例えば、注目点Pにおける画像の前後、左右を最大限に(多角的に)撮影することが可能となるため、選択部53は、撮影装置10A-4を基準撮影装置10A-1の補完撮影装置の候補として選択する。但し、選択部53は、補完撮影装置として選択する判断基準として、180°に若干の余裕の角度(θ)を持たせてもよい。つまり、選択部53は、基準撮影装置10A-1に対して180°±θに最も近い位置に配置されている撮影装置を、補完撮影装置の候補として選択するようにしてもよい。
1.選択部53がCAM1, CAM2 を選んだ場合:
CAM1とCAM2の間の角度=101°
2.選択部53がCAM1, CAM3 を選んだ場合:
CAM1とCAM3の間の角度=121°
3.選択部53がCAM1, CAM4 を選んだ場合:
CAM1とCAM4 の間の角度=163°
二つの撮影装置で多角的に注目点Pを見る(撮影する)ことが可能な最適な位置は、注目点Pを挟んだ二つの撮影装置との間の角度が180°のときである。そこで、選択部53は、注目点Pを挟んだ二つの撮影装置との間の角度と180°との差分の絶対値を算出して、その絶対値が最小になる組合せを選択する。図22に例示したそれぞれの撮影装置の角度の場合、
1.|101 - 180|= 79
2.|121 - 180|= 59
3.|163 - 180|= 17
となる。この差分の絶対値が最小になる二つの撮影装置の組合せが、それぞれの撮影装置と注目点Pを挟んだ角度として180°±θに最も近い位置に配置されていることになる。そこで、選択部53は、3の場合のCAM4を、基準撮影装置であるCAM1に対する補完撮影装置の候補として選択する。
1.|101 - 180|* 1.0= 79
2.|121 - 180|* 1.0= 59(但し、この場合はCAM3の前に壁等の障害物がないため、データテーブルの係数を1.0として演算する)
3.|163 - 180|* 1.0= 17
したがって、選択部53は、ステップS105-4の処理においても、3の場合のCAM1とCAM4 の間の角度=163°の場合における演算結果が最小値となる組合せとして、基準撮影装置である撮影装置10A-1(CAM1)に対する補完撮影装置を撮影装置10A-4(CAM4)に決定し、このフローを抜ける。
次に、図23に示されているように、分割数=3が与えられた場合について説明する。選択部53は、基準撮影装置10A-1に対して最も360°/n、すなわち360°/3=120°に近い位置に配置されている撮影装置を基準撮影装置10A-1に対する補完撮影装置の候補として選択する(ステップS105-3)。但し、選択部53は、補完撮影装置として選択する判断基準として、120°に若干の余裕の確度(θ)を持たせてもよい。つまり、選択部53は、基準撮影装置10A-1に対して120°±θに最も近い位置に配置されている撮影装置を、補完撮影装置の候補として選択するようにしてもよい。上述したことから、分割数=3の場合には、選択部53は、基準撮影装置10A-1に対する補完撮影装置の候補として二つの撮影装置を補完撮影装置の候補として選択する。
1.選択部53がCAM1, CAM2, CAM3 を選んだ場合:
CAM1とCAM2の間の角度=101°,
CAM2とCAM3の間の角度=138°,
CAM3とCAM1の間の角度=121°
2.選択部53がCAM1, CAM2, CAM4 を選んだ場合:
CAM1とCAM2の間の角度=101°,
CAM2とCAM4の間の角度=71°,
CAM4とCAM1の間の角度=188°
3.選択部53がCAM1, CAM3, CAM4 を選んだ場合:
CAM1とCAM3の間の角度=121°,
CAM3とCAM4の間の角度=67°,
CAM4とCAM1の間の角度=172°
となる。
1.|101 - 120| + |138 - 120| + |121 - 120| = 38
2.|101 - 120| + |71 - 120| + |188 - 120| = 136
3.|121 - 120| + |67 - 120| + |172 - 120| = 106
となる。この差分の絶対値が最小になる三つの撮影装置の組合せが、それぞれの撮影装置と注目点Pを挟んだ角度として120°±θに最も近い位置に配置されていることになる。そこで、選択部53は、1の場合のCAM2及びCAM3を、基準撮影装置であるCAM1に対する補完撮影装置の各候補として選択する。
ここで、補完撮影装置を選択する際に、注目点Pと撮影装置との間に障害物等がある場合は、選択部53は、これらの撮影装置同士の組合せが選ばれ辛いように所定の係数を用いた算出が行われる。図25に示されているように、撮影装置10A-3と注目点Pとの間に壁が存在し、撮影装置10A-3からは注目点Pに対する撮影が困難な場合を想定する。
1.|101 - 120|* 1.0 + |138 - 120|* 10.0 + |121 - 120|* 10.0 = 209
2.|101 - 120|* 1.0 + |71 - 120|* 1.0 + |188 - 120|* 1.0 = 136
3.|121 - 120|* 10.0 + |67 - 120|* 1.0 + |172 - 120|* 1.0 = 115
このように算出された結果、選択部53は、算出結果の値が最も小さい3.のCAM1, CAM3, CAM4 の組合せを選択する。しかし、CAM3の前には壁があり実用に適さないため、選択部53は判断部55と協働して次の判断と選択を行う。つまり、この場合は、選択部53は、基準撮影装置をCAM1(撮影装置10A-1)、補完撮影装置の候補として算出結果の値が次に小さいCAM2(撮影装置10A-2)及びCAM4(撮影装置10A-4)を選択する。これによって、障害物等に隠れたCAM3(撮影装置10A-3)が選ばれなくなり、注目点Pに存在する被写体を観察しやすくなる。但し、図25の例のように補完撮影装置の候補の一つとしてCAM4(撮影装置10A-4)が選択されても、依然として注目点Pに対して撮影するそれぞれの画像の前後、左右を最大限に(多角的に)撮影することが困難である可能性が高い。そのような場合には、選択部53は、補完撮影装置の選択を中止したり、通信端末70を利用する利用者に対して、選択処理の中止や他の注目点を指定することを促すメッセージ等を伝えるようにしてもよい。
図26に示された例は、分割数nが4の場合の一例である。この場合は、選択部53は、注目点Pを中心とした半径rの円において、注目点Pを中心とした中心角90°±θに最も近い位置に配置された撮影装置10を、基準撮影装置10A-1を補完する補完撮影装置として選択する。図26に示された例においては、補完撮影装置は、撮影装置10A-2、撮影装置10A-3及び撮影装置10A-4の三つが選択されることになる。
分割数nが5以上の場合も同様に、選択部53は、基準撮影装置(第1の撮影装置)と注目点Pとを結ぶ仮想の線分との間の角度が360°を分割数nで割った角度に最も近い角度に配置された撮影装置を、補完撮影装置(第2の撮影装置)の候補として選択する(ステップS105-3)。その後、選択部53は、重み係数管理テーブル(重み係数管理DB5006、図19(A)参照)及び特定重み係数管理テーブル(特定重み係数管理DB5006、図19(B)参照)のうち少なくとも一方のデータテーブルを用いた係数演算を行い(ステップS105-4)、基準撮影装置及び基準撮影装置を補完する補完撮影装置を選択することができる。
次に、図37を用いて、画像通信システム1における注目点Pの表示処理の変形例について説明する。図37は、画像通信システムにおける注目点Pの表示処理の変形例を示すシーケンス図である。図37では、上述の撮影装置10の選択処理を、閲覧拠点の通信端末70で実行する例を示す。なお、ステップS201‐ステップS204の処理は、図32のステップS71‐ステップS74の処理と同様であるため説明を省略する。
以上説明したように、本発明の一実施形態に係る通信管理装置50は、利用者によって指定された複数の撮影装置が配置された領域における注目点Pの位置を示す座標値、及び注目点Pを境に領域を分割する場合の分割数情報を受信する(ステップS73)。その後、通信管理装置50は、複数の撮影装置のうち所定位置情報に対応する所定の位置に最も近い距離に配置された基準撮影装置の撮影画像における所定の位置を含む所定領域を示す第1の所定領域情報と、基準撮影装置との角度が、利用者によって指定された分割数に応じて分割することで得られた角度に最も近い角度に配置された補完撮影装置の撮影画像における所定の位置を含む所定領域を示す第2の所定領域情報と、を通信端末70に送信する(ステップS77)。これにより、通信管理装置50は、撮影装置10に対する処理を行わずに、利用者によって指定された分割数によって選択された撮影装置が撮影した配信拠点における注目点Pの画像を表示させることができる。したがって、通信管理装置50は、複数の撮影装置に対して個別に操作を行うことなく、通信端末70に対して所定の位置を含む領域の撮影画像を表示させることができる。
上述した実施形態では、全天球画像(全天球パノラマ画像)の一例として、撮影画像(全体画像)が三次元のパノラマ画像である場合について説明したが、二次元のパノラマ画像であってもよい。
10 撮影装置(基準撮影装置の一例、補完撮影装置の一例)
30 配信端末
50 通信管理装置
51 送受信部(送信手段の一例)
53 選択部(選択手段の一例)
55 判断部(判断手段の一例)
56 生成部(生成手段の一例)
70 通信端末
71 送受信部(取得手段の一例、受信手段の一例)
72 受付部(受付手段の一例)
74 表示制御部(表示制御手段の一例)
77 所定位置特定部
81 選択部(選択手段の一例)
82 生成部(生成手段の一例)
Claims (10)
- 複数の撮影装置で撮影された撮影画像を表示する通信端末と通信する通信管理装置であって、
前記複数の撮影装置が配置された領域における所定の位置を示す所定位置情報、及び前記所定の位置を境に前記領域を分割する場合の分割数を示す分割数情報を前記通信端末から受信する受信手段と、
前記複数の撮影装置の配置位置を示す配置位置情報と、前記受信手段によって受信した前記所定位置情報と前記分割数情報と、に基づいて、前記複数の撮影装置から第1の撮影装置と第2の撮影装置とを選択する選択手段と、
前記選択手段によって選択された前記第1の撮影装置が撮影した撮影画像における前記所定の位置を含む所定領域を示す第1の所定領域情報と前記選択手段によって選択された前記第2の撮影装置が撮影した撮影画像における前記所定の位置を含む所定領域を示す第2の所定領域情報とを生成する生成手段と、
前記生成手段によって生成された前記第1の所定領域情報と前記第2の所定領域情報とを前記通信端末に送信する送信手段と、を有する、
ことを特徴とする通信管理装置。 - 前記選択手段は、前記複数の撮影装置のうち前記所定の位置から所定の範囲内に配置された範囲内撮影装置から、前記所定の位置に最も近い距離に配置された装置を第1の撮影装置として選択する、
ことを特徴とする請求項1に記載の通信管理装置。 - 前記選択手段は、前記範囲内撮影装置のうち、前記所定の位置を挟む撮影装置間の角度および前記分割数に基づいて、前記第2の撮影装置の候補を選択する、
ことを特徴とする請求項2に記載の通信管理装置。 - 前記選択手段は、前記分割数がn(分割数nは2以上の自然数)の場合、前記第1の撮影装置と前記所定の位置とを結ぶ仮想の線分との間の角度が360°を前記分割数nで割った角度に最も近い角度に配置された撮影装置を前記第2の撮影装置の候補として選択する、
ことを特徴とする請求項3に記載の通信管理装置。 - 前記所定の位置と前記範囲内撮影装置との間に障害物があると判断されたとき、又は、前記範囲内撮影装置のいずれかに不具合があると判断されたとき、前記選択手段は、前記判断された範囲内撮影装置を前記第2の撮影装置の候補から除く、
ことを特徴とする請求項3に記載の通信管理装置。 - 前記撮影画像は、全天球画像であることを特徴とする請求項1乃至5のいずれか一項に記載の通信管理装置。
- 複数の撮影装置で撮影された撮影画像を表示する通信端末と、前記通信端末と通信する通信管理装置と、を有する画像通信システムであって、
前記通信管理装置は、
前記複数の撮影装置が配置された領域における所定の位置を示す所定位置情報、及び前記所定の位置を境に前記領域を分割する場合の分割数を示す分割数情報を前記通信端末から受信する受信手段と、
前記複数の撮影装置の配置位置を示す配置位置情報と、前記受信手段によって受信した前記所定位置情報と前記分割数情報と、に基づいて、前記複数の撮影装置から第1の撮影装置と第2の撮影装置とを選択する選択手段と、
前記選択手段によって選択された前記第1の撮影装置が撮影した撮影画像における前記所定の位置を含む所定領域を示す第1の所定領域情報と前記選択手段によって選択された前記第2の撮影装置が撮影した撮影画像における前記所定の位置を含む所定領域を示す第2の所定領域情報とを生成する生成手段と、
前記生成手段によって生成された前記第1の所定領域情報と前記第2の所定領域情報とを前記通信端末に送信する送信手段と、を有する、
ことを特徴とする画像通信システム。 - 請求項7に記載の画像通信システムであって、
前記通信端末は、
前記領域を示す平面画像を表示手段に表示させる表示制御手段と、
前記表示制御手段により表示された前記平面画像における前記所定の位置及び前記分割数の入力を受け付ける受付手段と、
前記受付手段により受け付けられた前記所定の位置を示す所定位置情報、及び前記分割数を示す分割数情報を前記通信管理装置に送信する送信手段と、を有する、
ことを特徴とする画像通信システム。 - 複数の撮影装置で撮影された撮影画像を表示する通信端末と通信する通信管理装置が実行する通信管理方法であって、
前記複数の撮影装置が配置された領域における所定の位置を示す所定位置情報、及び前記所定の位置を境に前記領域を分割する場合の分割数を示す分割数情報を前記通信端末から受信する受信ステップと、
前記複数の撮影装置の配置位置を示す配置位置情報と、前記受信ステップによって受信した前記所定位置情報と前記分割数情報と、に基づいて、前記複数の撮影装置から第1の撮影装置と第2の撮影装置とを選択する選択ステップと、
前記選択ステップによって選択された前記第1の撮影装置が撮影した撮影画像における前記所定の位置を含む所定領域を示す第1の所定領域情報と前記選択ステップによって選択された前記第2の撮影装置が撮影した撮影画像における前記所定の位置を含む所定領域を示す第2の所定領域情報とを生成する生成ステップと、
前記生成ステップによって生成された前記第1の所定領域情報と前記第2の所定領域情報とを前記通信端末に送信する送信ステップと、を実行する、
ことを特徴とする通信管理方法。 - コンピュータを、請求項1乃至6のいずれか一項に記載の各手段として機能させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020166189A JP7600595B2 (ja) | 2020-09-30 | 2020-09-30 | 通信管理装置、画像通信システム、通信管理方法及びプログラム |
| US17/482,442 US11736802B2 (en) | 2020-09-30 | 2021-09-23 | Communication management apparatus, image communication system, communication management method, and recording medium |
| EP21199936.2A EP3979631B1 (en) | 2020-09-30 | 2021-09-29 | Communication management apparatus, image communication system, communication management method, and carrier means |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020166189A JP7600595B2 (ja) | 2020-09-30 | 2020-09-30 | 通信管理装置、画像通信システム、通信管理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022057771A JP2022057771A (ja) | 2022-04-11 |
| JP7600595B2 true JP7600595B2 (ja) | 2024-12-17 |
Family
ID=78463345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020166189A Active JP7600595B2 (ja) | 2020-09-30 | 2020-09-30 | 通信管理装置、画像通信システム、通信管理方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11736802B2 (ja) |
| EP (1) | EP3979631B1 (ja) |
| JP (1) | JP7600595B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7694166B2 (ja) | 2021-06-04 | 2025-06-18 | 株式会社リコー | 通信端末、画像通信システム、画像表示方法およびプログラム |
| JP7782184B2 (ja) | 2021-09-28 | 2025-12-09 | 株式会社リコー | メディア配信システム、通信システム、配信制御装置、配信制御方法及びプログラム |
| JP7823375B2 (ja) | 2021-11-30 | 2026-03-04 | 株式会社リコー | 通信管理装置、通信システム、通信管理方法、及びプログラム |
| US20250268231A1 (en) * | 2024-02-27 | 2025-08-28 | Ashop Commerce Pty Ltd. | System and method for monitoring and controlling pet activity |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005348307A (ja) | 2004-06-07 | 2005-12-15 | Olympus Corp | 画像生成方法および画像生成装置 |
| JP2013236215A (ja) | 2012-05-08 | 2013-11-21 | Panasonic Corp | 表示映像形成装置及び表示映像形成方法 |
| JP2015517768A (ja) | 2012-06-11 | 2015-06-22 | ▲ホア▼▲ウェイ▼技術有限公司 | 映像取得方法、装置、およびシステム |
| JP2019197939A (ja) | 2018-05-07 | 2019-11-14 | 株式会社Nttドコモ | 情報処理装置及び情報処理システム |
| JP2020155847A (ja) | 2019-03-19 | 2020-09-24 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4308682B2 (ja) | 2004-02-25 | 2009-08-05 | 日本電信電話株式会社 | 遠隔映像表示装置、遠隔映像表示方法および遠隔映像表示プログラム |
| WO2012067603A1 (en) | 2010-11-15 | 2012-05-24 | Intergraph Technologies Company | System and method for camera control in a surveillance system |
| JP2016178419A (ja) | 2015-03-19 | 2016-10-06 | 株式会社リコー | 通信制御装置、通信システム、通信制御方法およびプログラム |
| JP6070783B2 (ja) | 2015-07-13 | 2017-02-01 | 沖電気工業株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| JP6992338B2 (ja) | 2016-09-30 | 2022-01-13 | 株式会社リコー | 通信システム、通信管理方法、プログラム、システム及び通信方法 |
| US10721116B2 (en) | 2016-09-30 | 2020-07-21 | Ricoh Company, Ltd. | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium |
| JP6756269B2 (ja) | 2017-01-05 | 2020-09-16 | 株式会社リコー | 通信端末、画像通信システム、通信方法、及びプログラム |
| JP6805861B2 (ja) | 2017-02-09 | 2020-12-23 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| CN108632589A (zh) * | 2017-03-15 | 2018-10-09 | 株式会社理光 | 信息处理装置、摄像系统以及记录介质 |
| JP2019054322A (ja) | 2017-09-12 | 2019-04-04 | 株式会社リコー | 通信端末、画像通信システム、通信方法、及びプログラム |
| JP7151316B2 (ja) | 2017-09-25 | 2022-10-12 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
| JP6907861B2 (ja) | 2017-09-25 | 2021-07-21 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
| JP7095361B2 (ja) | 2018-03-29 | 2022-07-05 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
| JP2019180027A (ja) | 2018-03-30 | 2019-10-17 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
| JP7164831B2 (ja) | 2018-03-30 | 2022-11-02 | 株式会社リコー | 通信管理システム、通信システム、通信方法、及びプログラム |
| US10554883B2 (en) | 2018-03-30 | 2020-02-04 | Ricoh Company, Ltd. | VR system, communication method, and non-transitory computer-readable medium |
| US10764513B2 (en) | 2018-07-31 | 2020-09-01 | Ricoh Company, Ltd. | Communication terminal, image data communication system, and communication method |
| JP7176296B2 (ja) | 2018-08-23 | 2022-11-22 | 株式会社リコー | 通信端末、通信システム、ログデータ送信方法、プログラム |
| US10868923B2 (en) | 2018-11-30 | 2020-12-15 | Ricoh Company, Ltd. | Communication management system, communication system, communication control method, and recording medium |
| US20200186407A1 (en) | 2018-11-30 | 2020-06-11 | Kenichiro Morita | Communication terminal, image network system, display method, and program |
| JP7400195B2 (ja) | 2019-03-11 | 2023-12-19 | 株式会社リコー | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム |
| EP3709634A1 (en) | 2019-03-13 | 2020-09-16 | Ricoh Company, Ltd. | Communication management system, communication system, communication management device, image processing method, and carrier medium |
| JP7192592B2 (ja) | 2019-03-15 | 2022-12-20 | 株式会社リコー | 撮像装置、画像通信システム、画像処理方法、プログラム |
| JP7326963B2 (ja) | 2019-07-25 | 2023-08-16 | 株式会社リコー | 通信端末、通信システム、画像共有方法およびプログラム |
| JP7346975B2 (ja) | 2019-07-25 | 2023-09-20 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
| JP7327008B2 (ja) | 2019-09-02 | 2023-08-16 | 株式会社リコー | 撮影装置、通信システム、通信方法およびプログラム |
| JP6817391B1 (ja) | 2019-09-02 | 2021-01-20 | 株式会社エポスカード | クレジットカード利用管理システム |
| JP7368707B2 (ja) | 2019-09-24 | 2023-10-25 | 株式会社リコー | 画像処理方法、プログラム、画像処理装置および画像処理システム |
-
2020
- 2020-09-30 JP JP2020166189A patent/JP7600595B2/ja active Active
-
2021
- 2021-09-23 US US17/482,442 patent/US11736802B2/en active Active
- 2021-09-29 EP EP21199936.2A patent/EP3979631B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005348307A (ja) | 2004-06-07 | 2005-12-15 | Olympus Corp | 画像生成方法および画像生成装置 |
| JP2013236215A (ja) | 2012-05-08 | 2013-11-21 | Panasonic Corp | 表示映像形成装置及び表示映像形成方法 |
| JP2015517768A (ja) | 2012-06-11 | 2015-06-22 | ▲ホア▼▲ウェイ▼技術有限公司 | 映像取得方法、装置、およびシステム |
| JP2019197939A (ja) | 2018-05-07 | 2019-11-14 | 株式会社Nttドコモ | 情報処理装置及び情報処理システム |
| JP2020155847A (ja) | 2019-03-19 | 2020-09-24 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022057771A (ja) | 2022-04-11 |
| EP3979631A1 (en) | 2022-04-06 |
| US11736802B2 (en) | 2023-08-22 |
| EP3979631B1 (en) | 2025-07-30 |
| US20220103751A1 (en) | 2022-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7632530B2 (ja) | 画像通信システム、通信端末、通信方法、提供方法、及びプログラム | |
| JP7400195B2 (ja) | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム | |
| JP7533061B2 (ja) | 通信端末、画像通信システム、画像表示方法およびプログラム | |
| JP7625808B2 (ja) | 画像通信システムおよび画像表示方法 | |
| JP7582287B2 (ja) | 通信端末、画像通信システム、表示方法、プログラム | |
| JP7600595B2 (ja) | 通信管理装置、画像通信システム、通信管理方法及びプログラム | |
| JP7604829B2 (ja) | 画像通信システム、通信管理装置、通信管理方法及びプログラム | |
| JP7694166B2 (ja) | 通信端末、画像通信システム、画像表示方法およびプログラム | |
| JP2022130180A (ja) | 画像処理方法、プログラム、画像処理装置および画像処理システム | |
| JP7472556B2 (ja) | 撮像装置、通信システム、コンテンツ送信方法 | |
| JP2018061243A (ja) | 通信端末、表示方法、及びプログラム | |
| EP4436190A1 (en) | Display terminal, communication system, and method for displaying | |
| US20250173918A1 (en) | Communication terminal, display method, and non-transitory recording medium | |
| JP2024137689A (ja) | 表示端末、通信システム、表示方法、及びプログラム | |
| JP2024112447A (ja) | 表示端末、通信処理システム、通信システム、表示方法、通信処理方法、通信方法、及びプログラム | |
| JP2024137688A (ja) | 表示端末、通信システム、表示方法、及びプログラム | |
| JP2025132248A (ja) | 表示端末、表示方法、及びプログラム | |
| JP2025144438A (ja) | 通信端末、撮影システム、撮影方法、及びプログラム | |
| JP2017037423A (ja) | 画像管理システム、画像管理方法、画像通信システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230714 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240702 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7600595 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |