JP5726779B2 - Video viewing system and video viewing system control method - Google Patents
Video viewing system and video viewing system control method Download PDFInfo
- Publication number
- JP5726779B2 JP5726779B2 JP2012028172A JP2012028172A JP5726779B2 JP 5726779 B2 JP5726779 B2 JP 5726779B2 JP 2012028172 A JP2012028172 A JP 2012028172A JP 2012028172 A JP2012028172 A JP 2012028172A JP 5726779 B2 JP5726779 B2 JP 5726779B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- service providing
- video
- remote
- visual field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像視聴システム及び映像視聴システムの制御方法に関する。 The present invention relates to a video viewing system and a control method for the video viewing system.
従来、屋内等にいる利用者が、遠隔地の任意の座標位置から、利用者が指定する画角、視点方向その映像を即時（リアルタイム）で視聴しつつ、画角度・視点方向を即時に変更し、当該遠隔地を歩き回る（ウォークスルー）している様な感覚を得られるようにするために、様々な方法が提案されてきた（例えば特許文献１〜特許文献３）。
Conventionally, a user who is indoors, etc., immediately changes the angle of view / viewpoint direction while viewing the image and the view direction specified by the user immediately (in real time) from an arbitrary coordinate position in a remote place. Various methods have been proposed in order to obtain a sense of walking through the remote area (for example,
例えば従来は、図１０に示すように、遠隔地に、必要となる画角、視点方向、撮影する座標位置に必要な遠隔地端末（１０１−１〜１０１−ｎ）を多数配置する方法があった。また、図１１に示すように、遠隔地端末（１１１−１〜１１１−４）を移動可能にして、遠隔地端末（１１１−１〜１１１−４）に搭載されたカメラの方向及び遠隔地端末（１１１−１〜１１１−４）自体の位置を変える方法があった。 For example, conventionally, as shown in FIG. 10, there has been a method in which a large number of remote terminals (101-1 to 101-n) necessary for the required angle of view, viewpoint direction, and coordinate position to be photographed are arranged at a remote location. It was. Further, as shown in FIG. 11, the remote terminals (111-1 to 111-4) can be moved, and the direction of the camera mounted on the remote terminals (111-1 to 111-4) and the remote terminals There was a method of changing the position of (111-1 to 111-4) itself.
また、図１２（ａ）に示すように、全周囲カメラを搭載した遠隔地端末（１２１−１ａ、１２１−２ａ）を用い、カメラで撮像した映像をネットワークを介して利用者端末（１２２−１ａ、１２２−２ａ）に送信する方法あった。この場合、利用者端末（１２２−１ａ、１２２−２ａ）は、視野映像選択部（１２５−１ａ、１２５−２ａ）により、受信した映像から、所望の画角、視点方向を切り出して歪補正を施した映像（以下、視野映像という。）を選択する。そして表示部（１２３−１ａ、１２３−２ａ）は当該視野映像を表示していた。あるいは、図１２（ｂ）に示すように、遠隔地端末（１２１−１ｂ、１２１−２ｂ）が、視野映像を選択していた。この場合、遠隔地端末（１２１−１ｂ、１２１−２ｂ）が、利用者端末（１２２−１ｂ、１２２−２ｂ）からの信号に基づき視野映像を選択し、ネットワークを介して利用者端末（１２２−１ｂ、１２２−２ｂ）に視野映像を送信していた。 Also, as shown in FIG. 12 (a), using a remote terminal (121-1a, 121-2a) equipped with an omnidirectional camera, an image captured by the camera is transmitted via a network to a user terminal (122-1a). , 122-2a). In this case, the user terminals (122-1a, 122-2a) use the visual field image selection units (125-1a, 125-2a) to cut out a desired angle of view and viewpoint direction from the received video and correct distortion. Select the applied video (hereinafter referred to as field-of-view video). And the display part (123-1a, 123-2a) was displaying the said visual field image | video. Or as shown in FIG.12 (b), the remote terminal (121-1b, 121-2b) has selected the visual field image | video. In this case, the remote terminal (121-1b, 121-2b) selects a visual field image based on the signal from the user terminal (122-1b, 122-2b), and the user terminal (122-) via the network. 1b, 122-2b).
図１２（ａ）の従来例における、視野映像の選択方法について図１３を用いて説明する。図１３は、利用者端末１２２−１ａの表示部１２３−１ａが視野映像を表示している概念図を示す。図１３では、視野映像として、遠隔地端末１２１−１ａが撮像した全周囲映像のうち、北の方角の映像が表示されている。そして利用者端末（１２２−１ａ、１２２−２ａ）の操作部１２４−１ａが、利用者による画面上のカーソルキーの押圧を検知すると、当該カーソルキーに応じて、視野映像選択部１２５−１ａが視野映像を選択し、表示部１２３−１ａに表示される映像を切り替えていた。この際、利用者がどの方向を向いているのか把握しやすくするため、表示部１２３−１ａには、視野方向が表示されていた。 A field-of-view image selection method in the conventional example of FIG. 12A will be described with reference to FIG. FIG. 13 shows a conceptual diagram in which the display unit 123-1a of the user terminal 122-1a displays a visual field image. In FIG. 13, an image in the north direction is displayed as the visual field image, out of the entire surrounding image captured by the remote terminal 121-1 a. When the operation unit 124-1a of the user terminal (122-1a, 122-2a) detects that the user presses the cursor key on the screen, the visual field image selection unit 125-1a responds to the cursor key. The visual field image was selected, and the image displayed on the display unit 123-1a was switched. At this time, in order to make it easier to grasp which direction the user is facing, the viewing direction is displayed on the display unit 123-1a.
しかしながら、図１０に示す従来技術では、利用者が水平方向に視野を変更しながら全周映像を視聴する場合、遠隔地端末を切り替える必要があるため、スムーズに映像が連続しないという問題があった。 However, the conventional technique shown in FIG. 10 has a problem that when the user views the entire periphery video while changing the field of view in the horizontal direction, it is necessary to switch the remote terminal, so that the video does not continue smoothly. .
また、図１１に示す従来技術では、多数の利用者が同時に同一遠隔地の視聴をする場合、利用者毎に遠隔地端末を設ける必要があった。また、利用者の操作によっては、遠隔地端末同士が衝突するため、利用者の任意の指定による視点選択、すなわち利用者がどの全周囲カメラからの映像を視聴するかを自由にすることができないという問題があった。 In the prior art shown in FIG. 11, when a large number of users view the same remote area at the same time, it is necessary to provide a remote terminal for each user. Also, depending on the user's operation, the remote terminals collide with each other, and therefore it is not possible to freely select a viewpoint selected by the user, that is, from which all-around camera the user views the video. There was a problem.
また、図１２（ａ）に示す従来技術では、全周囲カメラの全映像を利用者端末に送信し、利用者端末で視野映像の選択を行う。そのため、利用者端末台数分全映像データを伝送しなければならず、利用者端末との通信に係るネットワークの負荷が高くなるという課題があった。また、利用者端末で視野映像の選択を行うため、利用者端末の処理負荷が高くなるという課題があった。一方、図１２（ｂ）に示す従来技術では、遠隔地端末において視野映像を選択するため、遠隔地端末の処理負荷が高くなるという問題があった。 In the prior art shown in FIG. 12A, all images from the all-around camera are transmitted to the user terminal, and the visual field image is selected by the user terminal. Therefore, all the video data must be transmitted for the number of user terminals, and there is a problem that the load on the network related to communication with the user terminals increases. Moreover, since the visual field image is selected on the user terminal, there is a problem that the processing load on the user terminal increases. On the other hand, the prior art shown in FIG. 12B has a problem in that the processing load on the remote terminal increases because the remote terminal selects a visual field image.
また、従来の視野映像の選択では、操作部により画角、視点方向を選択していたため、視野映像の選択が煩雑であるという問題があった。 In addition, in the selection of the conventional visual field image, since the angle of view and the viewpoint direction are selected by the operation unit, there is a problem that the selection of the visual field image is complicated.
従って、上記のような問題点に鑑みてなされた本発明の目的は、複数の利用者端末で同時に利用でき、かつ複数の利用者端末及び複数の遠隔地端末の処理負荷、並びにネットワークの負荷を低減できる映像視聴システム及び映像視聴システムの制御方法を提供することにある。 Accordingly, an object of the present invention made in view of the above problems is to be able to be used simultaneously by a plurality of user terminals, and to reduce the processing load of a plurality of user terminals and a plurality of remote terminals, and the load of the network. An object of the present invention is to provide a video viewing system and a video viewing system control method that can be reduced.
上記課題を解決するために本発明に係る映像視聴システムは、
全周囲カメラを有する複数の遠隔地端末と、複数の利用者端末と、サービス提供装置とを備える映像視聴システムであって、
前記複数の遠隔地端末は、各々所定の位置に常設されており、前記全周囲カメラにより撮像した映像を前記サービス提供装置に送信し、
前記複数の利用者端末は、前記サービス提供装置に視野選択情報を送信し、
前記サービス提供装置は、前記視野選択情報に基づき、前記映像の中から視野映像を選択して前記複数の利用者端末に前記視野映像を送信し、
前記視野選択情報は、前記複数の利用者端末に備えられた少なくとも１つのセンサにより検知したセンサ情報であり、
前記センサ情報は、方位角情報及び前記利用者端末の運動により生じる加速度の向きと大きさを示す加速度ベクトルの情報である加速度情報を含み、
前記サービス提供装置は、前記加速度の大きさが所定の閾値以上である場合、選択されていた遠隔地端末の位置を始点にして前記加速度情報の向きの最近接の遠隔地端末を選択し、前記最近接の遠隔地端末からの映像から前記視野映像を選択することを特徴とする。
In order to solve the above problems, a video viewing system according to the present invention provides:
A video viewing system comprising a plurality of remote terminals having an omnidirectional camera, a plurality of user terminals, and a service providing device,
Each of the plurality of remote terminals is permanently installed at a predetermined position, and transmits an image captured by the omnidirectional camera to the service providing device,
The plurality of user terminals transmit view selection information to the service providing device,
The service providing device selects a view image from the images based on the view selection information and transmits the view image to the plurality of user terminals.
The visual field selection information is sensor information detected by at least one sensor provided in the plurality of user terminals,
The sensor information includes azimuth angle information and acceleration information that is acceleration vector information indicating the direction and magnitude of acceleration generated by the movement of the user terminal ,
The service providing device selects the nearest remote terminal in the direction of the acceleration information starting from the position of the selected remote terminal when the magnitude of the acceleration is equal to or greater than a predetermined threshold, The visual field image is selected from images from the nearest remote terminal.
また、本発明に係る映像視聴システムの制御方法は、
全周囲カメラを有する複数の遠隔地端末と、複数の利用者端末と、サービス提供装置とを備える映像視聴システムの制御方法であって、
前記複数の遠隔地端末は各々所定の位置に常設されており、該複数の遠隔地端末が、前記全周囲カメラにより撮像した映像を前記サービス提供装置に送信するステップと、
前記複数の利用者端末が、前記サービス提供装置に視野選択情報を送信するステップと、
前記サービス提供装置が、前記視野選択情報に基づき、前記映像の中から視野映像を選択して前記複数の利用者端末に前記視野映像を送信するステップと、
を含み、
前記視野選択情報は、前記複数の利用者端末に備えられた少なくとも１つのセンサにより検知したセンサ情報であり、
前記センサ情報は、方位角情報及び前記利用者端末の運動により生じる加速度の向きと大きさを示す加速度ベクトルの情報である加速度情報を含み、
前記サービス提供装置は、前記加速度の大きさが所定の閾値以上である場合、選択されていた遠隔地端末の位置を始点にして前記加速度情報の向きの最近接の遠隔地端末を選択し、前記最近接の遠隔地端末からの映像から前記視野映像を選択することを特徴とする。
In addition, a control method of the video viewing system according to the present invention includes:
A video viewing system control method comprising a plurality of remote terminals having an omnidirectional camera, a plurality of user terminals, and a service providing device,
Each of the plurality of remote terminals is permanently installed at a predetermined position, and the plurality of remote terminals transmit images captured by the omnidirectional camera to the service providing device;
The plurality of user terminals transmitting view selection information to the service providing device;
The service providing device, based on the view selection information, selecting a view image from the images and transmitting the view image to the plurality of user terminals; and
Including
The visual field selection information is sensor information detected by at least one sensor provided in the plurality of user terminals,
The sensor information includes azimuth angle information and acceleration information that is acceleration vector information indicating the direction and magnitude of acceleration generated by the movement of the user terminal ,
The service providing device selects the nearest remote terminal in the direction of the acceleration information starting from the position of the selected remote terminal when the magnitude of the acceleration is equal to or greater than a predetermined threshold, The visual field image is selected from images from the nearest remote terminal.
本発明における映像視聴システム及び映像視聴システムの制御方法によれば、複数の利用者端末で同時に利用でき、かつ複数の利用者端末及び複数の遠隔地端末の処理負荷並びにネットワークの負荷を低減できる。 According to the video viewing system and the video viewing system control method of the present invention, it can be used simultaneously by a plurality of user terminals, and the processing load and network load of the plurality of user terminals and the plurality of remote terminals can be reduced.
以下、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.
（実施の形態）
図１は本発明の一実施形態に係る映像視聴システムのブロック図である。本発明の一実施形態に係る映像視聴システムは、複数の遠隔地端末（１−１〜１−ｎ）と、複数の利用者端末（２−１〜２−ｍ）と、サービス提供装置３とを備える。
(Embodiment)
FIG. 1 is a block diagram of a video viewing system according to an embodiment of the present invention. A video viewing system according to an embodiment of the present invention includes a plurality of remote terminals (1-1 to 1-n), a plurality of user terminals (2-1 to 2-m), and a
遠隔地端末１−１は、全周囲カメラ１１−１を備える。全周囲カメラ１１−１は、遠隔地端末１−１の全周囲の映像を撮像する。そして遠隔地端末１−１は、当該映像及び自端末の遠隔地端末番号をサービス提供装置３に送信する。遠隔地端末１−１には、遠隔地端末番号として＃１が割当てられている。遠隔地端末１−２〜１−ｎも同一の構成であり、夫々遠隔地端末番号として＃２〜＃ｎが割当てられている。
The remote terminal 1-1 includes an omnidirectional camera 11-1. The all-around camera 11-1 captures an image of the entire periphery of the remote terminal 1-1. Then, the remote terminal 1-1 transmits the video and the remote terminal number of its own terminal to the
利用者端末２−１は、表示部２１−１と、方位センサ２２−１と、傾きセンサ２３−１と、加速度センサ２４−１とを備える。 The user terminal 2-1 includes a display unit 21-1, an orientation sensor 22-1, an inclination sensor 23-1, and an acceleration sensor 24-1.
表示部２１−１は、サービス提供装置３から受信した視野映像を表示する。方位センサ２２−１は、利用者端末２−１の水平方向の角度情報、すなわち方位角情報を検知する。
The display unit 21-1 displays the visual field image received from the
傾きセンサ２３−１は、利用者端末２−１の垂直方向の角度情報、すなわち仰角情報を検知する。加速度センサ２４−１は、利用者端末２−１の加速度情報を検知する。利用者端末２−１はこれらの各種センサによる方位角情報、仰角情報、及び加速度情報（以下、総称する場合はセンサ情報という。）を、視野選択情報としてサービス提供装置３に送信する。このときに利用者端末２−１は、利用者端末番号も同時に送信する。利用者端末２−１には、利用者端末番号として“＃１”が割当てられている。利用者端末２−２〜２−ｍも同一の構成であり、夫々利用者端末番号として＃２〜＃ｍが割当てられている。
The inclination sensor 23-1 detects angle information in the vertical direction of the user terminal 2-1, that is, elevation angle information. The acceleration sensor 24-1 detects acceleration information of the user terminal 2-1. The user terminal 2-1 transmits azimuth angle information, elevation angle information, and acceleration information (hereinafter collectively referred to as sensor information) to the
サービス提供装置３は、利用者端末管理部３１と、記憶部３２と、視野映像選択部３３とを備える。
The
利用者端末管理部３１は、利用者端末（２−１〜２−ｍ）から受信した利用者端末番号とセンサ情報とに基づき、利用者端末管理情報を記憶部３２に格納する。なお利用者端末管理部３１は、既に利用者端末管理情報が記憶部３２に格納されている場合、受信したセンサ情報により記憶部３２に格納されている利用者端末管理情報を更新する。
The user
記憶部３２は、利用者端末管理情報と、遠隔地端末（１−１〜１−ｎ）から受信した映像及び遠隔地端末番号とを格納する。また記憶部３２は、本システムの動作開始前に予め複数の遠隔地端末（１−１〜１−ｎ）の配置に係る情報（以下、遠隔地端末管理情報）を格納する。
The
視野映像選択部３３は、複数の遠隔地端末（１−１〜１−ｎ）から受信して記憶部３２に蓄積した映像の中から、視野映像を選択する。具体的には視野映像選択部３３は、記憶部３２に格納された利用者端末管理情報に基づき、視野映像を選択する。そしてサービス提供装置３は、選択された各視野映像を、各々の利用者端末（２−１〜２−ｍ）に送信する。
The visual field
図２に、サービス提供装置３の記憶部３２に格納された利用者端末管理情報を示す。例えば利用者端末２−１から受信した情報として、利用者端末番号“＃１”、方位角情報“１２３度”、仰角情報“９０度”が格納される。また、各利用者端末（２−１〜２−ｍ）には、予め所定の遠隔地端末番号が対応付けられている。例えば利用者端末番号“＃１”には遠隔地端末番号“＃５”が割当てられており、利用者端末管理情報は当該遠隔地端末番号も含む。そして本システムの動作開始時においては、サービス提供装置３は、該遠隔地端末番号“＃５”に対応する遠隔地端末１−５からの映像の中から、利用者端末番号“＃１”に係る視野映像を選択する。
FIG. 2 shows user terminal management information stored in the
次に、記憶部３２に格納された遠隔地端末管理情報について説明する。遠隔地端末（１−１〜１−ｎ）は各々所定の位置に常設されている。図３は、遠隔地端末（１−１〜１−９）が、あるｘ−ｙ平面に常設されている例を示す。なおここでは、ｘ軸の正の方向を東とし、ｙ軸の正の方向を北として説明する。また図３において、各遠隔地端末（１−１〜１−９）が常設されている場所に、遠隔地端末番号（＃１〜＃９）を記載している。このようにｘ−ｙ平面に遠隔地端末（１−１〜１−９）が配置された場合、各遠隔地端末の配置を表す情報として、図４に示す遠隔地端末管理情報が格納される。例えば遠隔地端末１−１については、遠隔地端末番号“＃１”、位置（ｘ）“１１”、位置（ｙ）“１”が格納される。なお位置（ｘ）及び位置（ｙ）は、図３におけるｘ座標及びｙ座標に対応する。
Next, the remote terminal management information stored in the
図５に、利用者端末管理情報における遠隔地端末番号を変更する場合の例を示す。利用者端末管理部３１は、利用者端末（２−１〜２−ｍ）からのセンサ情報に基づき、利用者端末管理情報における遠隔地端末番号を変更する。図５では、利用者端末（２−１〜２−ｍ）から送信された加速度情報及び方位角情報に基づき変更する例を説明する。具体的には利用者端末管理部３１は、利用者端末（２−１〜２−ｍ）から受信した加速度情報が、所定の加速度以上であり、所定の方角の加速度を示している場合、当該方向の最近接の遠隔地端末番号に変更する。
FIG. 5 shows an example of changing the remote terminal number in the user terminal management information. The user
例えば図５の例では、利用者端末２−１は、初期状態においては、視野映像として遠隔地端末番号＃５に対応する遠隔地端末１−５からの映像を用いている。その後、利用者端末２−１が所定の加速度以上で加速し、当該加速度が北東の方角の加速度を示すとする。この場合、サービス提供装置３の利用者端末管理部３１は、利用者端末２−１の遠隔地端末番号を、元の遠隔地端末番号＃５の位置を始点にし、当該加速度の方向の最近接の遠隔地端末の遠隔地端末番号に変更する。つまりサービス提供装置３の利用者端末管理部３１は、利用者端末２−１の遠隔地端末番号を＃５から＃３に変更する。そしてサービス提供装置３は、記憶部３２の利用者端末管理情報を変更する。その結果、サービス提供装置３は、当該新たな遠隔地端末番号に対応する映像から、視野映像を選択することになる。このようにすることで、利用者端末２−１を所定の方向に素早く振る等の直感的な操作で、映像の配信元の遠隔地端末を変更することができ、スムーズなカメラ切り替えを実現できる。
For example, in the example of FIG. 5, in the initial state, the user terminal 2-1 uses the video from the remote terminal 1-5 corresponding to the remote
次に、本発明の一実施形態に係る映像視聴システムについて、図６に示すフローチャートによりその動作を説明する。 Next, the operation of the video viewing system according to the embodiment of the present invention will be described with reference to the flowchart shown in FIG.
はじめに、複数の遠隔地端末（１−１〜１−ｎ）の全周囲カメラ（１１−１〜１１−ｎ）は、自端末の全周囲の映像を撮像する（ステップＳ１−１〜Ｓ１−ｎ）。続いて複数の遠隔地端末（１−１〜１−ｎ）は、撮像した映像及び自端末の遠隔地端末番号を、サービス提供装置３に送信する（ステップＳ２−１〜Ｓ２−ｎ）。サービス提供装置３は、当該映像及び遠隔地端末番号を受信する。当該ステップＳ１−１〜Ｓ１−ｎ及びＳ２−１〜Ｓ２−ｎは繰り返され、複数の遠隔地端末（１−１〜１−ｎ）は継続してサービス提供装置３に映像を送信する。
First, the omnidirectional cameras (11-1 to 11-n) of the plurality of remote terminals (1-1 to 1-n) capture images of the entire periphery of the terminal (steps S1-1 to S1-n). ). Subsequently, the plurality of remote terminals (1-1 to 1-n) transmit the captured video and the remote terminal number of the own terminal to the service providing apparatus 3 (steps S2-1 to S2-n). The
続いて、複数の利用者端末（２−１〜２−ｍ）は、各種センサにより、自端末のセンサ情報を検知する（ステップＳ３−１〜Ｓ３−ｍ）。具体的には例えば、利用者端末２−１の方位センサ２２−１は、利用者端末２−１の方位角情報を検知する。また、利用者端末２−１の傾きセンサ２３−１は、利用者端末２−１の仰角情報を検知する。また、利用者端末２−１の加速度センサ２４−１は、利用者端末２−１の加速度情報を検知する。 Subsequently, the plurality of user terminals (2-1 to 2-m) detect the sensor information of the own terminal using various sensors (steps S3-1 to S3-m). Specifically, for example, the direction sensor 22-1 of the user terminal 2-1 detects azimuth angle information of the user terminal 2-1. Moreover, the inclination sensor 23-1 of the user terminal 2-1 detects the elevation angle information of the user terminal 2-1. Further, the acceleration sensor 24-1 of the user terminal 2-1 detects acceleration information of the user terminal 2-1.
続いて、複数の利用者端末（２−１〜２−ｍ）は、各種センサにより検知したセンサ情報と自端末の利用者端末番号を、サービス提供装置３に送信する（ステップＳ４−１〜Ｓ４−ｍ）。当該ステップＳ３−１〜Ｓ３−ｍ及びＳ４−１〜Ｓ４−ｍは繰り返され、複数の利用者端末（３−１〜１３−ｍ）は継続してサービス提供装置３にセンサ情報を送信する。サービス提供装置３は、当該センサ情報及び利用者端末番号を受信する。
Subsequently, the plurality of user terminals (2-1 to 2-m) transmit the sensor information detected by the various sensors and the user terminal number of the own terminal to the service providing apparatus 3 (steps S4-1 to S4). -M). The steps S3-1 to S3-m and S4-1 to S4-m are repeated, and the plurality of user terminals (3-1 to 13-m) continuously transmit the sensor information to the
続いてサービス提供装置３の利用者端末管理部３１は、利用者端末（２−１〜２−ｍ）から受信した利用者端末番号及びセンサ情報により、記憶部３２に利用者端末管理情報を格納又は更新する（ステップＳ５）。このとき、利用者端末管理部３１は、利用者端末（２−１〜２−ｍ）からのセンサ情報に基づき、加速度情報が所定値以上である場合には、利用者端末管理情報における遠隔地端末番号を変更する。
Subsequently, the user
続いて視野映像選択部３３は、複数の遠隔地端末（１−１〜１−ｎ）から受信した映像の中から、視野映像を選択する。具体的には視野映像選択部３３は、記憶部３２に格納された利用者端末管理情報に基づき、視野映像を選択する（ステップＳ６）。例えば視野映像選択部３３は、利用者端末管理情報に基づき、利用者端末番号が“＃１”の利用者端末２−１用の視野映像として、遠隔地端末番号“＃５”の映像のうち、方位角が“１２３度”、仰角が“９０度”の部分を切り出す。そして視野映像選択部３３は、当該切り出した映像に対して歪み補正をし、視野映像を選択する。
Subsequently, the visual field
続いてサービス提供装置３は、選択された各視野映像を、各々の利用者端末（２−１〜２−ｍ）に送信する（ステップＳ７）。各々の利用者端末（２−１〜２−ｍ）は各視野映像を受信し、各表示部（２１−１〜２１−ｍ）に表示し、処理が終了する。
Subsequently, the
このように、本発明によれば、遠隔地端末（１−１〜１−ｎ）が各々所定の位置に常設され全周囲カメラ（１１−１〜１１−ｎ）を備えているため、複数の利用者端末（２−１〜２−ｍ）で同時に利用することができる。さらに、サービス提供装置３の視野映像選択部３３が各利用者端末（２−１〜２−ｍ）用の視野映像を選択するため、複数の遠隔地端末（１−１〜１−ｎ）及び複数の利用者端末（２−１〜２−ｍ）の処理負荷並びにネットワークの負荷を低減できる。具体的には図７に示すように、例えば遠隔地端末１−５は、ネットワークを介してサービス提供装置３に映像を送信する。そしてサービス提供装置３は、当該映像からセンサ情報に基づき視野映像を選択し、ネットワークを介して利用者端末２−１に送信する。このようにして、サービス提供装置３及び利用者端末２−１間におけるネットワークの負荷を低減することができる。
As described above, according to the present invention, since the remote terminals (1-1 to 1-n) are permanently installed at predetermined positions and provided with the omnidirectional cameras (11-1 to 11-n), a plurality of terminals are provided. It can be used simultaneously on the user terminals (2-1 to 2-m). Furthermore, since the visual
また本発明によれば、サービス提供装置３の視野映像選択部３３がセンサ情報に基づいて視野映像を選択するため、利用者端末（２−１〜２−ｍ）を傾けたり、振ったりする等の直感的な操作により、容易に視野映像の選択をすることができる。具体的には、図８に示すように、例えば遠隔地端末１−５は、全方位の映像を、ネットワークを介してサービス提供装置３に送信する。また、利用者端末２−１は、センサ情報をサービス提供装置３に送信する。そしてサービス提供装置３は、遠隔地端末１−５から受信した映像から、該センサ情報に基づき選択した視野映像を、利用者端末２−１に送信する。利用者端末２−１は視野映像を表示する。このようにして利用者端末２−１の方角及び仰角に応じた映像を選択することができ、すなわち、利用者端末（２−１〜２−ｍ）を傾けたり、振ったりする等の直感的な操作により、容易に視野映像の選択をすることができる。
Further, according to the present invention, the visual field
なお、本実施例においては、利用者端末（２−１〜２−ｍ）に方位センサ２２−１、傾きセンサ２３−１及び加速度センサ２４−１を備える構成を示したがこれに限られない。例えば方位センサ２２−１のみであってもよい。この場合、サービス提供装置３の視野映像選択部３３は、方位角情報のみに基づいて視野映像の選択し、仰角情報等は利用者端末（２−１〜２−ｍ）の操作部等の操作に基づき利用者端末（２−１〜２−ｍ）からサービス提供装置３に送信する。あるいは仰角は０度に固定してもよい。このようにすることで、利用者端末２−１に搭載する各種センサを減らすことができる。同様に、方位センサ２２−１及び傾きセンサ２３−１の２つのセンサのみであってもよく、又は方位センサ２２−１及び加速度センサ２４−１の２つのセンサのみであってもよい。
In addition, in the present Example, although the structure provided with the direction sensor 22-1, the inclination sensor 23-1, and the acceleration sensor 24-1 was shown in the user terminal (2-1 to 2-m), it is not restricted to this. . For example, only the orientation sensor 22-1 may be used. In this case, the visual field
さらに、利用者端末（２−１〜２−ｍ）が方位センサ２２−１、傾きセンサ２３−１、加速度センサ２４−１のいずれも備えなくてもよい。この場合、利用者端末（２−１〜２−ｍ）の操作部への利用者の操作に基づき、視野映像を選択するための情報（視野選択情報という。）をサービス提供装置３に送信してもよい。このようにすることで、利用者端末２−１に各種センサを搭載する必要がなくなり、利用者端末（２−１〜２−ｍ）の構成を簡便にすることができる。
Further, the user terminals (2-1 to 2-m) may not include any of the direction sensor 22-1, the inclination sensor 23-1, and the acceleration sensor 24-1. In this case, information for selecting a visual field image (referred to as visual field selection information) is transmitted to the
（変形例）
図９は、本発明の変形例に係る映像視聴システムのブロック図である。図３と同一の構成については同一の符号を付し、説明は省略する。
(Modification)
FIG. 9 is a block diagram of a video viewing system according to a modification of the present invention. The same components as those in FIG. 3 are denoted by the same reference numerals, and description thereof is omitted.
変形例に係る映像視聴システムは、図３にかかる構成と比較して、利用者端末（２−１〜２−ｍ）における表示部（２１−１〜２１−ｍ）と、各種センサとを、２種類の利用者端末、すなわち第一の利用者端末（４−１〜４−ｍ）と、第二の利用者端末（５−１〜５−ｍ）に分けて備えている点が異なる。好適には第一の利用者端末（４−１〜４−ｍ）は大画面を備えたテレビ等である。そして第一の利用者端末（４−１〜４−ｍ）と、第二の利用者端末（５−１〜５−ｍ）とは各々関連付けられ、例えば第一の利用者端末４−１には第二の利用者端末５−１が関連付けられる。当該関連付けに関する情報はサービス提供装置３の記憶部３２に予め格納される。或いはサービス提供装置３が、各利用者端末（４−１〜４−ｍ、５−１〜５−ｍ）に対してＩＤ／パスワード等を用い認証することで行ってもよい。
Compared with the configuration according to FIG. 3, the video viewing system according to the modification includes display units (21-1 to 21-m) and various sensors in the user terminals (2-1 to 2-m). The difference is that two types of user terminals, that is, a first user terminal (4-1 to 4-m) and a second user terminal (5-1 to 5-m) are provided separately. Preferably, the first user terminal (4-1 to 4-m) is a television or the like having a large screen. The first user terminal (4-1 to 4-m) and the second user terminal (5-1 to 5-m) are associated with each other, for example, the first user terminal 4-1 Is associated with the second user terminal 5-1. Information regarding the association is stored in advance in the
例えばサービス提供装置３は、例えば第二の利用者端末５−１から視野選択情報としてセンサ情報を受信する。そしてサービス提供装置３は、当該センサ情報に基づき、第二の利用者端末５−１に関連付けられた第一の利用者端末４−１に、視野映像を送信する。第一の利用者端末４−１の表示部２１−１は、当該視野映像を、好適には大画面で表示することができる。
For example, the
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each means, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of means, steps, etc. can be combined or divided into one. .
１−１〜１−ｎ 遠隔地端末
１１−１〜１１−ｎ 全周囲カメラ
２−１〜２−ｍ 利用者端末
２１−１〜２１−ｍ 表示部
２２−１〜２２−ｍ 方位センサ
２３−１〜２３−ｍ 傾きセンサ
２４−１〜２４−ｍ 加速度センサ
３ サービス提供装置
３１ 利用者端末管理部
３２ 記憶部
３３ 視野映像選択部
４−１〜４−ｍ 第一の利用者端末
５−１〜５−ｍ 第二の利用者端末
１０１−１〜１０１−ｎ 遠隔地端末
１１１−１〜１１１−４ 遠隔地端末
１２１−１ａ、１２１−２ａ 遠隔地端末
１２２−１ａ、１２２−２ａ 利用者端末
１２３−１ａ、１２３−２ａ 表示部
１２４−１ａ、１２４−２ａ 操作部
１２５−１ａ、１２５−２ａ 視野映像選択部
１２１−１ｂ、１２１−２ｂ 遠隔地端末
１２２−１ｂ、１２２−２ｂ 利用者端末
１２３−１ｂ、１２３−２ｂ 表示部
１２４−１ｂ、１２４−２ｂ 操作部
1-1 to 1-n Remote terminals 11-1 to 11-n All-around cameras 2-1 to 2-m User terminals 21-1 to 21-m Display units 22-1 to 22-m Direction sensor 23- 1-23-m Tilt sensors 24-1-24-
Claims (4)
前記複数の遠隔地端末は、各々所定の位置に常設されており、前記全周囲カメラにより撮像した映像を前記サービス提供装置に送信し、
前記複数の利用者端末は、前記サービス提供装置に視野選択情報を送信し、
前記サービス提供装置は、前記視野選択情報に基づき、前記映像の中から視野映像を選択して前記複数の利用者端末に前記視野映像を送信し、
前記視野選択情報は、前記複数の利用者端末に備えられた少なくとも１つのセンサにより検知したセンサ情報であり、
前記センサ情報は、方位角情報及び前記利用者端末の運動により生じる加速度の向きと大きさを示す加速度ベクトルの情報である加速度情報を含み、
前記サービス提供装置は、前記加速度の大きさが所定の閾値以上である場合、選択されていた遠隔地端末の位置を始点にして前記加速度情報の向きの最近接の遠隔地端末を選択し、前記最近接の遠隔地端末からの映像から前記視野映像を選択することを特徴とする、映像視聴システム。 A video viewing system comprising a plurality of remote terminals having an omnidirectional camera, a plurality of user terminals, and a service providing device,
Each of the plurality of remote terminals is permanently installed at a predetermined position, and transmits an image captured by the omnidirectional camera to the service providing device,
The plurality of user terminals transmit view selection information to the service providing device,
The service providing device selects a view image from the images based on the view selection information and transmits the view image to the plurality of user terminals.
The visual field selection information is sensor information detected by at least one sensor provided in the plurality of user terminals,
The sensor information includes azimuth angle information and acceleration information that is acceleration vector information indicating the direction and magnitude of acceleration generated by the movement of the user terminal ,
The service providing device selects the nearest remote terminal in the direction of the acceleration information starting from the position of the selected remote terminal when the magnitude of the acceleration is equal to or greater than a predetermined threshold, A video viewing system, wherein the visual field video is selected from videos from the nearest remote terminal.
前記サービス提供装置は、前記映像の中から前記方位角情報及び前記仰角情報に対応する方角の前記視野映像を選択することを特徴とする、請求項１に記載の映像視聴システム。 The sensor information further includes elevation angle information,
2. The video viewing system according to claim 1, wherein the service providing apparatus selects the visual field video in a direction corresponding to the azimuth angle information and the elevation angle information from the video.
前記複数の遠隔地端末は各々所定の位置に常設されており、該複数の遠隔地端末が、前記全周囲カメラにより撮像した映像を前記サービス提供装置に送信するステップと、
前記複数の利用者端末が、前記サービス提供装置に視野選択情報を送信するステップと、
前記サービス提供装置が、前記視野選択情報に基づき、前記映像の中から視野映像を選択して前記複数の利用者端末に前記視野映像を送信するステップと、
を含み、
前記視野選択情報は、前記複数の利用者端末に備えられた少なくとも１つのセンサにより検知したセンサ情報であり、
前記センサ情報は、方位角情報及び前記利用者端末の運動により生じる加速度の向きと大きさを示す加速度ベクトルの情報である加速度情報を含み、
前記サービス提供装置は、前記加速度の大きさが所定の閾値以上である場合、選択されていた遠隔地端末の位置を始点にして前記加速度情報の向きの最近接の遠隔地端末を選択し、前記最近接の遠隔地端末からの映像から前記視野映像を選択することを特徴とする、映像視聴システムの制御方法。 A video viewing system control method comprising a plurality of remote terminals having an omnidirectional camera, a plurality of user terminals, and a service providing device,
Each of the plurality of remote terminals is permanently installed at a predetermined position, and the plurality of remote terminals transmit images captured by the omnidirectional camera to the service providing device;
The plurality of user terminals transmitting view selection information to the service providing device;
The service providing device, based on the view selection information, selecting a view image from the images and transmitting the view image to the plurality of user terminals; and
Including
The visual field selection information is sensor information detected by at least one sensor provided in the plurality of user terminals,
The sensor information includes azimuth angle information and acceleration information that is acceleration vector information indicating the direction and magnitude of acceleration generated by the movement of the user terminal ,
The service providing device selects the nearest remote terminal in the direction of the acceleration information starting from the position of the selected remote terminal when the magnitude of the acceleration is equal to or greater than a predetermined threshold, A method for controlling a video viewing system, wherein the visual field video is selected from videos from a remote terminal closest to the user.
前記サービス提供装置が、前記映像の中から前記方位角情報及び前記仰角情報に対応する方角の前記視野映像を選択することを特徴とする、請求項３に記載の映像視聴システムの制御方法。 The sensor information further includes elevation angle information,
4. The video viewing system control method according to claim 3, wherein the service providing apparatus selects the visual field video in a direction corresponding to the azimuth angle information and the elevation angle information from the video.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012028172A JP5726779B2 (en) | 2012-02-13 | 2012-02-13 | Video viewing system and video viewing system control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012028172A JP5726779B2 (en) | 2012-02-13 | 2012-02-13 | Video viewing system and video viewing system control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013165429A JP2013165429A (en) | 2013-08-22 |
| JP5726779B2 true JP5726779B2 (en) | 2015-06-03 |
Family
ID=49176534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012028172A Active JP5726779B2 (en) | 2012-02-13 | 2012-02-13 | Video viewing system and video viewing system control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5726779B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015122052A1 (en) * | 2014-02-17 | 2015-08-20 | 株式会社ソニー・コンピュータエンタテインメント | Image transmission apparatus, information processing terminal, image transmission method, information processing method, program, and information storage medium |
| JP7151316B2 (en) * | 2017-09-25 | 2022-10-12 | 株式会社リコー | Communication terminal, image communication system, display method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4148671B2 (en) * | 2001-11-06 | 2008-09-10 | ソニー株式会社 | Display image control processing apparatus, moving image information transmission / reception system, display image control processing method, moving image information transmission / reception method, and computer program |
| JP2003219389A (en) * | 2002-01-18 | 2003-07-31 | Nippon Telegr & Teleph Corp <Ntt> | Video distribution method, system and apparatus, user terminal, video distribution program, and storage medium storing video distribution program |
| JP2005184624A (en) * | 2003-12-22 | 2005-07-07 | Seiko Epson Corp | Product sales / management method, product sales / management system and server |
-
2012
- 2012-02-13 JP JP2012028172A patent/JP5726779B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013165429A (en) | 2013-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11343556B2 (en) | Method of controlling a horizontal screen or vertical screen of television, device, and storage medium | |
| US10798280B2 (en) | Control device, camera system, and program | |
| CN101291398A (en) | Method and apparatus of multi-image setting | |
| CN101790104A (en) | Electronic equipment and recording media | |
| JP4801623B2 (en) | Electronic device and method for selecting effective functions | |
| JP2020005146A (en) | Output control device, display terminal, information processing apparatus, movable body, remote control system, output control method, program, and photographing control device | |
| JP2012124763A (en) | Video display device, video display system, video display method and program | |
| WO2012049941A1 (en) | Video distribution system, and video distribution method | |
| EP3962090A1 (en) | Communication terminal, image communication system, method for displaying image, and carrier means | |
| EP2597561B1 (en) | Apparatus and method for arranging a keypad in wireless terminal | |
| JP5726779B2 (en) | Video viewing system and video viewing system control method | |
| KR101990366B1 (en) | Method for control network camera | |
| JP2011238253A (en) | Electronic apparatus, method for selecting operative function, and program | |
| JP5956761B2 (en) | Distribution system, distribution method, and computer program | |
| US11516404B2 (en) | Control apparatus and control method | |
| JP6630096B2 (en) | Display control device, control method thereof, and computer program | |
| JP5872497B2 (en) | Video distribution system and video distribution method | |
| JP5464290B2 (en) | Control device, control method, and camera system | |
| KR101193129B1 (en) | A real time omni-directional and remote surveillance system which is allowable simultaneous multi-user controls | |
| JP7597114B2 (en) | Information processing device, display range determination method, and program | |
| JP6122082B1 (en) | Program, system and method | |
| CN107800958B (en) | Electronic device, image data processing method, recording medium, and imaging system | |
| JP6592676B2 (en) | Program, information processing method, and communication system | |
| CN115623337B (en) | Jump instruction information display method and device, electronic equipment and storage medium | |
| JP6450411B2 (en) | Program, system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150401 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5726779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |