JP7609740B2 - Video monitoring device, display control method, and video monitoring system - Google Patents
Video monitoring device, display control method, and video monitoring system Download PDFInfo
- Publication number
- JP7609740B2 JP7609740B2 JP2021146646A JP2021146646A JP7609740B2 JP 7609740 B2 JP7609740 B2 JP 7609740B2 JP 2021146646 A JP2021146646 A JP 2021146646A JP 2021146646 A JP2021146646 A JP 2021146646A JP 7609740 B2 JP7609740 B2 JP 7609740B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- tracking target
- unit
- image
- displays
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、映像監視装置、表示制御方法及び映像監視システムに関する。 The present invention relates to a video monitoring device, a display control method, and a video monitoring system.
従来、建物の管理サーバから作業員が所持する携帯端末に建物の状況を報知する情報を送信し、監視活動を行う映像監視システムが一般的に設置されている。従来のシステムでは、監視対象となっている建物の異常発生を検知した場合、異常が発生した箇所の状況を作業員が所持する端末にメールで送信し、文字情報と画像情報の両方で表示させて建物の異常を把握することが出来る。しかし、作業員が建物に設置されたカメラを任意に指定し、指定されたカメラが撮影した日時を指定して画像情報を表示させることが出来ず、異常が発生した箇所の周囲の状況や異常発生の前後における状況が把握できないという課題がある。 Conventionally, video surveillance systems have been commonly installed that transmit information reporting the status of a building from a building management server to a mobile device carried by a worker to carry out monitoring activities. In conventional systems, when an abnormality is detected in a building being monitored, the situation at the location where the abnormality occurred is sent by email to the device carried by the worker, and the abnormality in the building can be identified by displaying both textual information and image information. However, workers cannot arbitrarily specify a camera installed in the building, specify the date and time the specified camera took the image, and display the image information, which creates an issue in that they cannot grasp the situation around the location where the abnormality occurred or the situation before and after the abnormality occurred.
そこで、管理者が素早く異常が発生した箇所を確認することを目的とした技術が特許文献１には開示されている。この特許文献１では、複数のカメラから特定のカメラを指定する操作を受け付ける携帯端末操作部と、ネットワークを介して映像配信サーバから受信した映像データを映像表示部に表示する携帯端末表示制御部と、を備える携帯端末を作業員が操作することにより、携帯端末の映像表示部に特定のカメラが指定された撮影日時に撮影した映像データを表示させる映像監視システムが開示されている。
特許文献１に開示された携帯端末は小型であり、一般的に携帯端末の画面は小さい。このため、特許文献１に開示された技術を用いて、複数のカメラから特定のカメラを指定する操作は利用者にとって難しい。また、携帯端末の画面に複数の映像が縮小して表示されると、利用者は、小さな映像に映った人物を確認することが難しかった。
The mobile terminal disclosed in
本発明はこのような状況に鑑みて成されたものであり、利用者が利用者端末を通じて追跡対象を容易に確認できるようにすることを目的とする。 The present invention was made in consideration of these circumstances, and aims to enable users to easily check the tracking target through their user terminal.
本発明に係る映像監視装置は、複数のカメラから複数の映像を取得する映像取得部と、映像取得部が取得した複数の映像から、追跡対象を特定する追跡対象特定部と、複数のカメラの設置位置が関係づけられる位置関係情報を記録するカメラ管理部と、追跡対象の移動方向を検出し、カメラ管理部に記録された位置関係情報に基づいて追跡対象の移動ルートを推測する移動方向検出部と、移動方向に設置されたカメラが撮影し、追跡対象が映る映像を選択するカメラ選択部と、カメラ選択部が選択した映像を利用者端末に表示する制御を行う表示制御部と、を備え、表示制御部は、カメラ選択部が選択した映像であって、追跡対象特定部が追跡する追跡対象を含む映像を表示するメイン表示部と、移動方向検出部により検出された移動方向に合わせて並べ替えた複数の映像を順にリスト形式で表示するサブ表示部と、移動ルートを表示する移動ルート表示部と、を利用者端末に表示し、移動ルートに沿って設置されたカメラの順に、映像取得部が取得した複数の映像をサブ表示部に表示し、サブ表示部に表示される複数の映像から、追跡対象が映る映像が選択されることで追跡対象が指示され、移動ルートに設定されていないカメラによって追跡対象が映る映像が撮影された場合に、移動方向検出部により移動ルートが推測し直される。 The video surveillance device according to the present invention includes a video acquisition unit that acquires a plurality of videos from a plurality of cameras, a tracking target identification unit that identifies a tracking target from the plurality of videos acquired by the video acquisition unit, a camera management unit that records positional relationship information that correlates installation positions of the plurality of cameras, a movement direction detection unit that detects a movement direction of the tracking target and estimates a movement route of the tracking target based on the positional relationship information recorded in the camera management unit, a camera selection unit that selects videos captured by cameras installed in the movement direction and in which the tracking target appears, and a display control unit that controls displaying the videos selected by the camera selection unit on a user terminal, and the display control unit displays the videos selected by the camera selection unit as a video image. A main display unit that displays an image including the tracking target being tracked by the tracking target identification unit, a sub-display unit that displays multiple images in a list format in order according to the moving direction detected by the moving direction detection unit, and a moving route display unit that displays the moving route are displayed on the user terminal, and multiple images acquired by the image acquisition unit are displayed on the sub-display unit in the order of the cameras installed along the moving route, and the tracking target is specified by selecting an image showing the tracking target from the multiple images displayed on the sub-display unit, and if an image showing the tracking target is captured by a camera that is not set on the moving route, the moving route is re-estimated by the moving direction detection unit .
本発明によれば、追跡対象が映る映像が利用者端末に表示されるため、利用者は、利用者端末を通じて追跡対象を容易に確認することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
According to the present invention, since an image showing the tracking target is displayed on the user terminal, the user can easily check the tracking target through the user terminal.
Problems, configurations and effects other than those described above will become apparent from the following description of the embodiments.
以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。 Below, the embodiments of the present invention will be described with reference to the accompanying drawings. In this specification and the drawings, components having substantially the same functions or configurations are designated by the same reference numerals, and duplicate descriptions will be omitted.
［一実施の形態］
図１は、一実施の形態に係る映像監視システム１０の全体構成例を示すシステム構成図である。
映像監視システム１０は、利用者端末１、映像監視装置３、カメラ群５を備える。
利用者端末１は、利用者が所持し、操作することが可能な利用者端末の一例として用いられる。利用者としては、例えば、映像を監視するエリアが設けられた建物の管理者が想定される。管理者は、複数の建物を管理する場合があり、移動を最小限にして各建物の様子を確認するために、利用者端末１に表示される映像を見て不審者の様子を確認する。以下の説明では、不審者を「追跡対象」とも呼ぶ。
[One embodiment]
FIG. 1 is a system configuration diagram showing an example of the overall configuration of a
The
The
利用者端末１として、例えば、スマートフォン、タブレット端末等のスマートデバイスが挙げられる。利用者は、利用者端末１のタッチパネルディスプレイに表示された情報を確認し、各種の指示を入力することが可能である。利用者は、例えば、夜間におけるビルの状況、サーバ室等の入室が限定されるエリアに続く通路等の状況を、利用者端末１に表示された映像を見て監視する。
Examples of the
利用者端末１と、映像監視装置３とは、インターネット回線２により接続され、相互にデータを送受信可能である。
また、映像監視装置３と、カメラ群５とは、インターネット回線４により接続され、相互にデータを送受信可能である。
A
Furthermore, the
カメラ群５には、６台のカメラ５１～５６が含まれる。以下の説明では、カメラ５１のカメラ名を「カメラＡ」とし、カメラ５２のカメラ名を「カメラＢ」とし、カメラ５３のカメラ名を「カメラＣ」とする。同様に、カメラ５４のカメラ名を「カメラＤ」とし、カメラ５５のカメラ名を「カメラＥ」とし、カメラ５６のカメラ名を「カメラＦ」とする。なお、カメラ５１～５６を区別しない場合、カメラ５０と呼ぶ。カメラ群５に含まれる各カメラ５０は、監視対象とされる建物内、通路の他、建物外の敷地等に設置される。
映像監視装置３は、映像監視システム１０の管理者によってクラウドサーバに構築される装置である。この映像監視装置３は、表示制御部３１、カメラ管理部３２、映像取得部３３、追跡対象特定部３４、カメラ選択部３５、及び移動方向検出部３６を備える。
The
表示制御部３１は、カメラ選択部３５が選択した映像を利用者端末１に表示する制御を行う。そこで、表示制御部３１は、映像取得部３３から出力される映像に基づいて、利用者端末１に表示させる画面を生成し、インターネット回線２を通じて、利用者端末１に画面データを送信する。このため、利用者端末１は、受信した画面データに基づいて、例えば、後述する図７に示す画面を表示する。表示制御部３１により生成された画面が利用者端末１に表示されるので、画面を見る利用者は、利用者端末１から指示された追跡対象の様子を確認することができる。
The
なお、表示制御部３１自体は画面を生成せず、後述する図１０に示す監視対象の移動ルートに設置されるカメラ５０の映像を利用者端末１に送信すると共に、追跡対象特定部３４が追跡する人物を含む映像を示す付加情報を利用者端末１に送信してもよい。この場合、利用者端末１は、受信した付加情報に基づいて、追跡対象特定部３４が特定する人物を含む映像をメイン表示部４０１に表示し、移動ルートに設置されるカメラ５０の映像をサブ表示部４０３に表示する画面（後述する図７を参照）を生成する。
The
また、表示制御部３１は、利用者端末１に人物の追跡指令が入力されると、この追跡指令のデータを利用者端末１から受信する。そして、表示制御部３１は、追跡対象特定部３４に対して、追跡指令された人物が含まれる映像から追跡対象の人物を特定し、追跡するよう指示する。
When a command to track a person is input to the
カメラ管理部３２は、複数のカメラ５０の設置位置が関係づけられる位置関係情報３２１と、カメラ５０ごとの設置位置が重み付けされた重み付け情報３２２とを記録する。なお、後述する図６に示すように、位置関係情報３２１及び重み付け情報３２２は組み合わせて使用される。
The
位置関係情報３２１は、各カメラ５０の位置関係を規定した情報である。各カメラ５０の設置位置は、予め位置関係情報３２１に登録されている。各カメラ５０の設置位置に基づいて、隣接するカメラ５０間の相対的な位置関係が規定される。なお、カメラ５０の設置位置が変更された場合、利用者が利用者端末１を通じて、変更された設置位置を入力することで、位置関係情報３２１が更新される。
The positional relationship information 321 is information that defines the positional relationship of each
重み付け情報３２２は、カメラ５０の位置に応じた重み付けが設定される。カメラ選択部３５は、移動方向検出部３６により推測された移動ルートに複数のカメラ５０が設置されている場合に、カメラ管理部３２に記録された重み付け情報３２２に基づいて、重み付けが大きいカメラ５０が撮影する映像を選択する。ここで、セキュリティエリアやサーバ室等の特定の人物だけが利用可能なエリアであれば、このエリアに設置されるカメラ５０には高い重み付けが設定される。カメラ５０の重み付けは利用者が任意に設定可能である。
The
追跡対象特定部３４は、映像取得部３３が取得した複数の映像から、追跡対象を特定する。本実施の形態に係る追跡対象特定部３４は、利用者端末１により指示された追跡対象を複数の映像から特定する。そして、追跡対象とされる人物は、利用者端末１から追跡指令が入力された映像に映っている人物である。そして、追跡対象特定部３４は、複数のカメラ５０から取得された複数の映像から特定した人物を追跡し、追跡した人物が映っている映像を識別する情報を表示制御部３１に出力する。
The tracking
カメラ選択部３５は、追跡対象が映る映像を選択する。ここで、移動方向検出部３６により追跡対象の移動方向が検出されると、カメラ選択部３５は、移動方向に設置されたカメラ５０が撮影する映像を選択する。例えば、１本の通路を追跡対象の人物が移動する場合、移動方向検出部３６は、人物の移動方向が左右のいずれであるかを検出するだけで、人物の移動先に設置されているカメラ５０を判断できる。そして、カメラ選択部３５は、人物の移動先に設置されているカメラ５０の映像を追跡対象が映る映像として選択することが可能である。
The
映像取得部３３は、インターネット回線４を介してカメラ群５（複数のカメラ５０）から各カメラ５０で撮影された複数の映像を取得する。取得した複数の映像は、表示制御部３１、映像取得部３３、追跡対象特定部３４、カメラ選択部３５、及び移動方向検出部３６に出力される。映像取得部３３は、各カメラ５０が撮影した映像（動画像）をリアルタイムで取得する。ただし、各カメラ５０が数秒おきに撮影した映像（静止画像）を撮影したタイミングごとに取得してもよい。
The
＜利用者端末１のハードウェア構成例＞
次に、利用者端末１のハードウェア構成例を説明する。
図２は、利用者端末１のハードウェア構成例を示すブロック図である。
<Example of Hardware Configuration of
Next, an example of the hardware configuration of the
FIG. 2 is a block diagram showing an example of the hardware configuration of the
利用者端末１は、バス１４にそれぞれ接続されたＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、及びＲＡＭ（Random Access Memory）１３を備える。さらに、利用者端末１は、表示装置１５、入力装置１６、不揮発性ストレージ１７及びネットワークインターフェイス１８を備える。
The
ＣＰＵ１１は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ１２から読み出してＲＡＭ１３にロードし、実行する。ＲＡＭ１３には、ＣＰＵ１１の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がＣＰＵ１１によって適宜読み出される。ただし、ＣＰＵ１１に代えてＭＰＵ（Micro Processing Unit）を用いてもよい。
The
表示装置１５は、例えば、液晶ディスプレイモニターであり、利用者端末１で行われる処理の結果等を利用者に表示する。入力装置１６には、例えば、キーボード、マウス等が用いられ、利用者が所定の操作入力、指示を行うことが可能である。利用者端末１では、表示装置１５と入力装置１６を重ねて構成したタッチパネルディスプレイ装置が用いられる。
The
不揮発性ストレージ１７としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ１７には、ＯＳ（Operating System）、各種のパラメーターの他に、利用者端末１を機能させるためのプログラムが記録されている。ＲＯＭ１２及び不揮発性ストレージ１７は、ＣＰＵ１１が動作するために必要なプログラムやデータ等を記録しており、利用者端末１によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。
For example, a hard disk drive (HDD), a solid state drive (SSD), or a nonvolatile memory is used as the
ネットワークインターフェイス１８には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＮＩＣの端子に接続されたＬＡＮ（Local Area Network）、専用線等を介して各種のデータを装置間で送受信することが可能である。
The
＜映像監視装置のハードウェア構成例＞
次に、映像監視装置３のハードウェア構成を説明する。
図３は、映像監視装置３のハードウェア構成例を示すブロック図である。本実施の形態に係る映像監視装置３は、映像監視装置３を構成するコンピューターがプログラムを実行することにより、図１に示した各機能ブロックが連携して行う表示制御方法を実現する。
<Example of hardware configuration of video surveillance device>
Next, the hardware configuration of the
Fig. 3 is a block diagram showing an example of a hardware configuration of the
映像監視装置３は、バス６４にそれぞれ接続されたＣＰＵ６１、ＲＯＭ６２、及びＲＡＭ６３を備える。さらに、映像監視装置３は、不揮発性ストレージ６５及びネットワークインターフェイス６６を備える。
The
ＣＰＵ６１は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ６２から読み出してＲＡＭ６３にロードし、実行する。ＲＡＭ６３には、ＣＰＵ６１の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がＣＰＵ６１によって適宜読み出される。ただし、ＣＰＵ６１に代えてＭＰＵを用いてもよい。
The
不揮発性ストレージ６５としては、例えば、ＨＤＤ、ＳＳＤ、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ６５には、ＯＳ、各種のパラメーターの他に、映像監視装置３を機能させるためのプログラムが記録されている。ＲＯＭ６２及び不揮発性ストレージ６５は、ＣＰＵ６１が動作するために必要なプログラムやデータ等を記録しており、映像監視装置３によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。
The
ネットワークインターフェイス６６には、例えば、ＮＩＣ等が用いられ、ＮＩＣの端子に接続されたＬＡＮ、専用線等を介して各種のデータを装置間で送受信することが可能である。
The
＜カメラが設置される位置に関する情報＞
次に、位置関係情報３２１及び重み付け情報３２２の内容について、図４～図６を参照して説明する。
図４は、各カメラ５０の設置位置を示す図である。
図４では、各カメラ５０として、カメラＡ～Ｆの位置関係が示されている。図中では、カメラＡに対して、カメラ５１（Ａ）のように２種類の符号を併記して表す。
<Information about where the camera will be installed>
Next, the contents of the positional relationship information 321 and the
FIG. 4 is a diagram showing the installation positions of the
4 shows the positional relationship of cameras A to F as the
上述したように隣り合う複数のカメラ５０ごとに位置関係情報３２１が規定される。カメラＡ～カメラＦは、建物内外に設置され、予め決められた撮影方向に向けて、所定の撮影範囲（円弧で示す範囲）を撮影している。カメラＡ～カメラＦは、建物や通路の壁に取り付けられている。また、カメラＡ～カメラＦの撮影方向及び撮影画角は、任意に変更可能である。
As described above, positional relationship information 321 is defined for each of the multiple
図４に示すようにカメラＡは、エレベーターの乗りかごの天井付近の壁に設置され、乗りかご内を撮影する。
カメラＢは、通路の壁に設置され、通路内を撮影する。
カメラＣは、カメラＢの向かい付近の壁に設置され、通路内を撮影する。
カメラＤは、カメラＢの隣に設置され、通路内を撮影する。
カメラＥは、他のエリアより警戒が必要なエリアに設置され、このエリアを撮影する。
カメラＦは、建物外に設置され、駐車場を撮影する。
As shown in FIG. 4, camera A is installed on the wall near the ceiling of the elevator car and captures images of the inside of the car.
Camera B is installed on the wall of the passage and captures images of the inside of the passage.
Camera C is installed on the wall opposite camera B and captures the inside of the corridor.
Camera D is installed next to camera B and captures the inside of the corridor.
Camera E is installed in an area that requires more vigilance than other areas and photographs this area.
Camera F is installed outside the building and takes pictures of the parking lot.
図５は、各カメラ５０の位置関係を示す図である。図５では、建物の構造等の記載を省略し、各カメラ５０の位置関係だけを表している。
Figure 5 is a diagram showing the relative positions of the
各カメラ５０には、隣接するカメラ５０がある方向に、Ｒ（右側）、Ｌ（左側）、Ｕ（正面側）とした位置関係情報を付している。また、各カメラ５０を結ぶ線は、人物が移動可能なルートの一部を表している。例えば、カメラＡからカメラＢの間、カメラＢからカメラＣの間は、人物が移動可能である。一方、カメラＥとカメラＦの間は線で結ばれていない。このことは、人物が移動する際に、カメラＥからカメラＦに直接行くことはできず、カメラＥからカメラＤ、カメラＦの順（又は逆順）でしか人物が移動できないことを表している。
Each
なお、カメラ５０が通路や部屋等の天井に付けて用いられる場合、図５におけるカメラ５０の位置関係として、正面方向とは逆方向の背面方向にも位置関係情報が付されることがある。
When the
図６は、位置関係情報３２１及び重み付け情報３２２の例を示すテーブル構成図である。
図６に示すテーブルは、カメラ、左側（Ｌ）、正面（Ｕ）、右側（Ｒ）、重み付けの項目で構成される。なお、テーブルの左側にあるＮｏ．の項目はテーブルのレコードを識別するために付したものであり、実際のテーブルには構成されなくてもよい。
FIG. 6 is a table diagram showing an example of the positional relationship information 321 and the
The table shown in Fig. 6 is composed of the items of camera, left side (L), front side (U), right side (R), and weighting. Note that the No. item on the left side of the table is added to identify the records of the table, and does not have to be composed in the actual table.
カメラの項目には、カメラ５０の識別情報として、「カメラＡ」、「カメラＢ」といったカメラ名が格納される。
左側（Ｌ）、正面（Ｕ）、右側（Ｒ）の項目には、各カメラ５０を起点として、左側（Ｌ）、正面（Ｕ）、右側（Ｒ）の位置に配置しているカメラ５０の識別情報（Ａ～Ｆのいずれかの符号）が格納される。
重み付けの項目には、各カメラ５０に割り当てられた重み付けが格納される。
In the camera item, a camera name such as “camera A” or “camera B” is stored as identification information of the
The left side (L), front side (U), and right side (R) items store identification information (any of the symbols A to F) of the
The weighting item stores the weighting assigned to each
図６に示すテーブルに格納されるカメラ５０毎の情報は、映像監視装置３を構築する際に、建物に設置されたカメラ５０の配置状況に従って管理者が登録するものである。また、カメラ５０が追加されたり、取り外されたりしてカメラ５０の配置状況が変われば、管理者は、変更後の配置状況に合わせてカメラ５０毎の情報を再登録する。
The information for each
図４に示したように、カメラＡの右側にはカメラＢが設置されるので、Ｎｏ．１の行にあるカメラＡのレコードのうち、右側（Ｒ）の列に、カメラＢを表す符号「Ｂ」が格納される。また、カメラＡの左側と正面には、他のカメラ５０が設置されていないため、左側（Ｌ）と正面（Ｕ）の列には「－」が格納される。
As shown in FIG. 4, camera B is installed to the right of camera A, so in the record for camera A in row No. 1, the code "B" representing camera B is stored in the right (R) column. Also, since no
また、カメラＢの左側にはカメラＡが設置されるので、Ｎｏ．２の行にあるカメラＢのレコードのうち、左側（Ｌ）の列に、カメラＡを表す符号「Ａ」が格納される。また、カメラＢの正面にはカメラＣが設置されるので、正面（Ｕ）の列に、カメラＣを表す符号「Ｃ」が格納される。また、カメラＢの右側にはカメラＤ，Ｅが設置されるので、右側（Ｒ）の列に、カメラＤ，Ｅを表す符号「Ｄ，Ｅ」が格納される。
他のカメラ５０についても、図４に示した位置関係情報３２１に合わせて、テーブルに各カメラ５０の位置関係が格納される。
In addition, camera A is installed to the left of camera B, so in the record for camera B in row No. 2, the code "A" representing camera A is stored in the left (L) column. In addition, camera C is installed in front of camera B, so the code "C" representing camera C is stored in the front (U) column. In addition, cameras D and E are installed to the right of camera B, so the codes "D, E" representing cameras D and E are stored in the right (R) column.
As for the
各カメラ５０に割り当てられた重み付けは、重み付け情報３２２によって管理される。図６に示すテーブルでは、カメラＡ～Ｄ，Ｆの重み付けが「１」とされ、カメラＥの重み付けが「２」とされる。この例では、カメラＥが、他のカメラ５０を設置するエリアより重要なエリア（例えば貴重品を保管する倉庫）に設置される。このため、カメラＥは他のカメラより重み付けが高くなる。
The weighting assigned to each
なお、重み付けは、カメラ５０が設置される現場の運用により変わる情報である。例えば、同じエリアを撮影する複数のカメラ５０が存在する場合、特定の方向から撮影するカメラ５０の映像が重要であれば、このカメラ５０の重み付けが高く設定される。また、時間帯によって重要なエリアが変わるのであれば、重要なエリアが変わる時間帯に合わせて重み付けを変化させてもよい。このような重み付けは、利用者端末１を通じて設定可能である。
The weighting is information that changes depending on the operation of the site where the
また、建物に多数のカメラ５０が設置されている場合、全てのカメラ５０が撮影する映像をサブ表示部４０３に表示しきれない。このため、例えば、特定のエリアに設置されるカメラ５０の重み付けを、他のエリアに設置されるカメラ５０より高く設定することで、特定のエリアに設置されるカメラ５０をデフォルト表示画面に優先的に表示することも可能である。
In addition, if a large number of
＜利用者端末の表示画面＞
次に、利用者端末１の表示画面の例について説明する。
図７は、利用者端末１のデフォルト表示画面の一例を示す図である。
<Display screen of user terminal>
Next, an example of the display screen of the
FIG. 7 is a diagram showing an example of a default display screen of the
利用者端末１の表示画面は、利用者が利用者端末１を操作した結果、利用者端末１がインターネット回線２を経由して映像監視装置３にアクセスして、映像監視装置３から取得する画面である。このデフォルト表示画面には、メイン表示部４０１、人物追跡機能切り替えボタン４０２、及びサブ表示部４０３を備える。そして、表示制御部３１は、カメラ選択部３５が選択した映像を表示するメイン表示部４０１と、移動方向検出部３６により検出された追跡対象の移動方向に合わせて並べ替えた複数の映像を順に表示するサブ表示部４０３と、人物追跡機能切り替えボタン４０２とを利用者端末１に表示する。
The display screen of the
メイン表示部４０１には、現在、利用者が注目する人物（追跡対象）が撮影された映像が表示される。利用者は、追跡対象が映るメイン表示部４０１に表示される拡大された映像を確認できる。メイン表示部４０１に表示される映像を撮影するカメラ５０は、利用者が任意に変更可能である。ただし、表示制御部３１の制御により、自動的に映像が切り替えられてもよい。
The
人物追跡機能切り替えボタン４０２は、利用者が人物追跡機能のＯＮ又はＯＦＦを切り替えるために用いられる。図７に示すデフォルト状態では、人物追跡機能がＯＦＦされている。このため、メイン表示部４０１には、人物が映り込まない映像が表示されることがある。利用者が人物追跡機能切り替えボタン４０２をタッチすると、人物追跡機能がＯＮされる。この場合、メイン表示部４０１には、人物が映り込んだ映像が表示される。そこで、利用者が人物追跡機能切り替えボタン４０２をタッチする操作を、追跡対象の追跡開始の指示とする。そして、追跡対象特定部３４は、利用者端末１から受信する追跡開始の指示に基づいて、追跡対象の追跡を開始する。追跡開始の指示を受けて追跡対象特定部３４が追跡対象の追跡を開始するので、利用者が注目したい追跡対象の映像だけがメイン表示部４０１に表示されるようになる。人物が移動して、メイン表示部４０１に表示される映像から人物が外れると、人物が映り込んだ別の映像がメイン表示部４０１に表示される。
The person tracking
サブ表示部４０３には、建物に設置されたカメラ５０のカメラ名（例えば、カメラＡ、カメラＢ）と、各カメラ５０が撮影する複数の映像とが縦に並んだリスト形式で表示される。このため、利用者は、リスト形式で表示され、各カメラ５０が撮影する複数の映像を確認しやすくなる。ここで、メイン表示部４０１は、サブ表示部４０３よりも大きく映像を表示する。このため、利用者は、サブ表示部４０３から選択され、メイン表示部４０１に表示された映像に映る追跡対象を確認しやすくなる。
The
サブ表示部４０３に表示される映像は、カメラＡ～カメラＦの６台のカメラ５０が撮影する映像を全て含むものとする。サブ表示部４０３に表示される全ての映像は、映像取得部３３がインターネット回線４を経由し、カメラ群５の各カメラ５０から取得したものである。また、デフォルト表示画面では、サブ表示部４０３にリスト表示される映像は、カメラ５０を識別するための識別子の順としてよい。
The images displayed on the
そして、移動方向検出部３６は、カメラ管理部３２に記録された位置関係情報３２１に基づいて追跡対象の移動ルートを推測する。表示制御部３１は、移動ルートに沿って設置されたカメラ５０の順に、映像取得部３３が取得した複数の映像をサブ表示部４０３に表示する。このため、利用者は、サブ表示部４０３に表示された映像から、推測された移動ルートを把握することができる。そして、サブ表示部４０３に表示される複数の映像から、追跡対象が映る映像が選択されることで追跡対象が指示される。このため、追跡対象特定部３４が追跡対象とする人物の特定が容易となる。
Then, the movement
また、サブ表示部４０３に表示されるカメラ名の横にはラジオボタンが表示される。利用者がサブ表示部４０３から映像を選択すると、メイン表示部４０１に表示される映像を撮影するカメラ５０に対応して設けられたラジオボタンがＯＮされる。
In addition, a radio button is displayed next to the camera name displayed on the
メイン表示部４０１に表示される映像と、サブ表示部４０３に表示される各カメラ５０の映像とは連動している。利用者がサブ表示部４０３から任意の映像を選択すると、利用者が選択した映像がメイン表示部４０１に表示される。このとき、メイン表示部４０１に表示される映像を撮影しているカメラ５０のカメラ名に対応するラジオボタンがＯＮされる。そして、利用者は、追跡対象の移動ルートに設置されるカメラ５０が撮影する映像をサブ表示部４０３から確認できる。
The video displayed on the
＜追跡機能ＯＮ時の移動ルートの推測処理の例＞
次に、追跡機能ＯＮ時の移動ルートの推測処理の例について、図８と図９に示すフローチャートと、図１０～図１５に示す利用者端末１の表示画面の例を参照して説明する。
<Example of route estimation process when tracking function is ON>
Next, an example of the process of estimating a travel route when the tracking function is ON will be described with reference to the flowcharts shown in FIGS. 8 and 9 and examples of display screens of the
図８は、人物の移動ルートの推測処理の例を示す図である。 Figure 8 shows an example of the process of predicting a person's movement route.
本処理の開始前に、利用者端末１にて利用者が人物追跡機能の切り替えボタン４０２を押下したとする。人物追跡機能がＯＦＦされている状態の切り替えボタン４０２が押下されると、人物追跡機能がＯＮされる。そして、人物追跡機能がＯＮされたことを示す人物追跡指令のデータが、インターネット回線２を経由し、図１に示した映像監視装置３の表示制御部３１に入力される。
Before starting this process, it is assumed that the user presses the person tracking
そこで、映像監視装置３は、移動ルートの推測処理を開始する（Ｓ１）。始めに、表示制御部３１は、利用者端末１から人物追跡指令のデータが入力されると、追跡対象特定部３４及び移動方向検出部３６に人物追跡指令を出力する。追跡対象特定部３４及び移動方向検出部３６は、メイン表示部４０１に表示されている映像に映る人物、又はサブ表示部４０３に表示される映像のうち、利用者端末１で選択入力された人物を追跡対象として追跡を開始する。
Then, the
次に、移動方向検出部３６は、メイン表示部４０１に表示される映像に映る人物の移動方向を検出する。そして、移動方向検出部３６は、検出した移動方向（移動先とも呼ぶ）に、メイン表示部４０１に表示される映像を撮影するカメラ５０とは異なるカメラ５０が設置されているか否かを判定する（Ｓ２）。
Next, the movement
ステップＳ２にて、移動方向検出部３６が、人物の移動先にカメラ５０が設置されていないと判定した場合（Ｓ２のＮＯ）、後述するステップＳ８に処理を移す。一方、移動方向検出部３６が、ステップＳ２にて、人物の移動先にカメラ５０が設置してあると判定した場合（Ｓ２のＹＥＳ）、移動先のカメラ５０の設置数が２以上であるか否かを判断する（Ｓ３）。
If the movement
移動先のカメラ５０の設置数が２以上でなければ（Ｓ３のＮＯ）、移動方向検出部３６は、移動先のカメラ５０を移動ルートに追加する（Ｓ４）。一方、移動先のカメラ５０の設置数が２以上であれば（Ｓ３のＹＥＳ）、移動方向検出部３６は、２以上の移動先のカメラ５０のうち、重み付けが最も高いカメラ５０を移動ルートに追加する（Ｓ５）。
If the number of
ステップＳ４又はＳ５の後、移動方向検出部３６は、移動先のカメラ５０を起点として、さらに次のカメラ５０が移動先に設置されているか否かを判定する（Ｓ６）。次のカメラ５０が移動先に設置されていなければ（Ｓ６のＮＯ）、後述するステップＳ８に処理を移す。
After step S4 or S5, the movement
一方、移動方向検出部３６が、ステップＳ６にて、次のカメラ５０が移動先に設置されていると判定した場合（Ｓ６のＹＥＳ）、このカメラ５０は、既に移動ルートに登録済みのカメラ５０を表し、人物の戻り路となる。そこで、移動方向検出部３６は、ステップＳ６で判定した移動先に設置されている次のカメラ５０を、移動ルートから除外する（Ｓ７）。その後、移動方向検出部３６は、ステップＳ３に戻り、ステップＳ３～Ｓ７の処理を繰り返す。
On the other hand, if the movement
ステップＳ２のＮＯ、又はステップＳ６のＮＯの後、移動方向検出部３６は、移動ルートにある全てのカメラ５０の追加を完了する。そこで、カメラ選択部３５は、移動ルートに従って選択したカメラ５０が撮影する映像を表示制御部３１に送信する。表示制御部３１は、カメラ選択部３５から受信したカメラ５０の情報に基づいて、各カメラ５０が撮影した映像を利用者端末１のサブ表示部４０３に表示するための処理を行う（Ｓ８）。その後、追跡対象特定部３４は、人物追跡処理を開始する（Ｓ９）。
After NO in step S2 or NO in step S6, the movement
図９は、人物追跡処理の例を示すフローチャートである。
始めに、追跡対象特定部３４は、メイン表示部４０１に表示されているカメラ５０で撮影される人物が、カメラ５０の撮影範囲、すなわちカメラ５０が撮影する映像から消失したか否かを判定する（Ｓ１１）。
FIG. 9 is a flowchart showing an example of a person tracking process.
First, the tracking
カメラ５０の撮影範囲から人物が消失していないと判定した場合（Ｓ１１のＮＯ）、追跡対象特定部３４は、再びステップＳ１１の処理を続ける。一方、カメラ５０の撮影範囲から人物が消失したと判定した場合（Ｓ１１のＹＥＳ）、追跡対象特定部３４は、映像から人物が消失したカメラ５０、すなわちメイン表示部４０１に表示されているカメラ５０が撮影する映像と、このカメラ５０の移動方向先に設置されているカメラ５０が撮影する映像とに、追跡対象の人物が出現するかを監視し続ける（Ｓ１２）。
When it is determined that the person has not disappeared from the shooting range of the camera 50 (NO in S11), the tracking
そして、追跡対象特定部３４は、ステップＳ１２にて監視しているカメラ５０の映像のうち、移動方向先に設置されているカメラ５０が撮影する撮影範囲の映像に、追跡対象の人物が出現したか否かを判定する（Ｓ１３）。映像に追跡対象の人物が出現していなければ（Ｓ１３のＮＯ）、追跡対象特定部３４は、ステップＳ１２の処理を続ける。
Then, the tracking
一方、映像に追跡対象の人物が出現していれば（Ｓ１３のＹＥＳ）、カメラ選択部３５は、追跡対象の人物が出現した映像を撮影するカメラ５０の情報を表示制御部３１に出力する。そして、表示制御部３１は、カメラ選択部３５から入力したカメラ５０の情報に基づいて映像取得部３３から取得した、人物が出現した映像を撮影するカメラ５０の映像を、利用者端末１のメイン表示部４０１に表示する（Ｓ１４）。
On the other hand, if the person to be tracked appears in the video (YES in S13), the
次に、カメラ選択部３５は、追跡対象の人物が出現した映像を撮影するカメラ５０が、図８のステップＳ４又はＳ５にて移動ルートに追加されたカメラ５０であるか否かを判定する（Ｓ１５）。移動ルートに追加されたカメラ５０である場合（Ｓ１５のＹＥＳ）、追跡対象特定部３４は、ステップＳ１１に処理を戻す。
Next, the
一方、移動ルートに追加されたカメラ５０ではない場合（Ｓ１５のＮＯ）、移動ルートの推測誤りとなる。このため、移動方向検出部３６は、移動ルートを推測し直し（Ｓ１６）、ステップＳ１１に処理を戻す。
On the other hand, if the
このように移動方向検出部３６は、移動ルートに設置されていないカメラ５０によって撮影された映像に、メイン表示部４０１の映像から消失した追跡対象が映った場合に、追跡対象が映った映像を撮影するカメラ５０を起点として再び移動ルートを推測する。そして、表示制御部３１は、再び推測された移動ルートに沿って設置されるカメラ５０の順に、複数の映像をサブ表示部４０３に表示する。このため、利用者は、特別な操作を行わなくても、再び推測された移動ルートに設置されるカメラ５０の映像を確認することができる。
In this way, when a tracking target that has disappeared from the image on the
次に、図８と図９のフローチャートを踏まえ、追跡対象の人物が移動する時に利用者端末１に表示される画面の表示例について、図１０～図１５を参照して説明する。
Next, based on the flowcharts of Figures 8 and 9, examples of screen displays that are displayed on the
図１０は、移動ルートの例を示す図である。図１０の各図で移動ルートは、太線の矢印で表される。
図１０Ａは、エレベーターの乗りかごを出て建物内を移動する人物の移動ルートの例である。図１０Ａに対応する画面の表示例は、後述する図１１、図１２に示される。
図１０Ｂは、建物外から建物内に移動する人物の移動ルートの例である。図１０Ｂに対応する画面の表示例は、後述する図１３、図１４に示される。
図１０Ｃは、推測し直された移動ルートの例である。図１０Ｃに対応する画面の表示例は、後述する図１５に示される。
10A and 10B are diagrams showing examples of movement routes. In each diagram in Fig. 10, the movement route is indicated by a thick arrow.
Fig. 10A shows an example of a route taken by a person who has left an elevator car and is moving within a building. Examples of screen displays corresponding to Fig. 10A are shown in Figs. 11 and 12, which will be described later.
Fig. 10B shows an example of a route of a person moving from outside a building to inside the building. Examples of screen displays corresponding to Fig. 10B are shown in Figs. 13 and 14, which will be described later.
Fig. 10C is an example of a re-estimated travel route. An example of a screen display corresponding to Fig. 10C is shown in Fig. 15, which will be described later.
以下の説明では、利用者端末１に表示される各カメラ５０の表示名に合わせて、カメラ５０を「カメラＡ」～「カメラＦ」と呼ぶ。また、各カメラ５０が撮影する映像として、例えば、カメラＡが撮影する映像を「カメラＡの映像」と呼ぶ。
In the following description, the
＜乗りかごを出て建物内を移動する人物の移動ルート＞
図１１Ａは、メイン表示部４０１にカメラＡの映像が表示される例を示す図である。
<Route of a person leaving the car and moving around the building>
FIG. 11A is a diagram showing an example in which an image from camera A is displayed on
（カメラＡの映像）
利用者端末１の表示画面が上述した図７に示した表示状態である時、カメラＡで撮影された、乗りかごに乗車している人物が表示される映像が、メイン表示部４０１に表示されている。そこで、利用者端末１の利用者が人物追跡機能切り替えボタン４０２を押下すると、図１１Ａに示すように、人物追跡機能切り替えボタン４０２が「人物追跡ＯＮ」と表示される。
(Image from camera A)
When the display screen of the
そして、移動方向検出部３６は、図８に示したフローチャートに従って、カメラＡの右側に設置されているカメラＢと、その先に最も重み付けが高いカメラＥと、移動先のカメラＤと、移動先のカメラＦを移動ルートに追加する。図１１Ａに示すように、メイン表示部４０１はカメラＡの映像を表示している。そして、サブ表示部４０３には、移動ルートに追加されたカメラＡ、カメラＢ、カメラＥ、カメラＤ、カメラＦの映像が移動ルートの順に表示される。また、メイン表示部４０１に表示する映像として、カメラＡの映像が選択されたことが、ラジオボタンの色の反転で表される。
Then, the movement
（カメラＢの映像）
次に、カメラＡの映像から追跡対象の人物が消失した後、カメラＢの映像に、この人物が出現したとする。この場合、追跡対象特定部３４は、図９に示したフローチャートに従い、カメラＢの映像に人物が出現したことを判定し、表示制御部３１は、カメラＢの映像をメイン表示部４０１に表示する。
(Image from Camera B)
Next, suppose that the tracking target person disappears from the image of camera A, and then the same person appears in the image of camera B. In this case, tracking
図１１Ｂに示すように、メイン表示部４０１はカメラＢの映像を表示している。そして、サブ表示部４０３には、カメラＡ、カメラＢ、カメラＥ、カメラＤ、カメラＦの映像が移動ルートの順に表示される。また、メイン表示部４０１に表示する映像として、カメラＢの映像が選択されたことが、ラジオボタンの色の反転で表される。
As shown in FIG. 11B, the
（カメラＥの映像）
次に、カメラＢの映像から追跡対象の人物が消失した後、カメラＥの映像に、この人物が出現したとする。この場合、追跡対象特定部３４は、図９に示したフローチャートに従い、カメラＥの映像に人物が出現したことを判定し、表示制御部３１は、カメラＥの映像をメイン表示部４０１に表示する。
(Footage from Camera E)
Next, suppose that the tracking target person disappears from the image of camera B, and then the person appears in the image of camera E. In this case, tracking
図１２Ｃに示すように、メイン表示部４０１はカメラＥの映像を表示している。そして、サブ表示部４０３には、カメラＡ、カメラＢ、カメラＥ、カメラＤ、カメラＦの映像が移動ルートの順に表示される。また、メイン表示部４０１に表示する映像として、カメラＥの映像が選択されたことが、ラジオボタンの色の反転で表される。
As shown in FIG. 12C, the
（カメラＤの映像）
仮に、カメラＢの映像から追跡対象の人物が消失した後、カメラＤの映像に、この人物が出現したとする。カメラＤは、カメラＢの次に移動ルートに設定されていない。このため、追跡対象特定部３４は、図９に示したフローチャートに従い、カメラＤの映像に人物が出現したことを判定し、表示制御部３１は、カメラＤの映像をメイン表示部４０１に表示する。また、移動方向検出部３６は、図９に示したフローチャートに従い、移動ルートを推測し直す。この際、移動方向検出部３６は、カメラＤの次のカメラＥ，Ｆのうち、図６に示したように最も重み付けが高いカメラＥを移動ルートに追加する。
(Image from camera D)
Suppose that after a tracking target person disappears from the image of camera B, this person appears in the image of camera D. Camera D is not set on the movement route after camera B. Therefore, tracking
図１２Ｄに示すように、メイン表示部４０１はカメラＤの映像を表示している。そして、サブ表示部４０３には、新たに推測された移動ルートにあるカメラＡ、カメラＢ、カメラＤ、カメラＥの映像が移動ルートの順に表示される。
また、メイン表示部４０１に表示する映像として、カメラＤの映像が選択されたことが、ラジオボタンの色の反転で表される。その後、図示しないが、追加対象の人物が建物外に移動したとする。なお、図５に示したようにカメラＥとカメラＦは、隣接する位置ではないのでカメラＦは移動ルートから外れる。このため、図１２Ｄのサブ表示部４０３には、カメラＦの映像が含まれない。
12D, the
Furthermore, the selection of the image from camera D as the image to be displayed in the
＜建物外から建物内に移動する人物の移動ルート＞
次に、図１０Ｂに示した移動ルートで建物外から建物内に人物が移動する時に、利用者端末１に表示される映像の例について、図１３と図１４を参照して説明する。
<Route of movement of people moving from outside the building to inside the building>
Next, examples of images displayed on the
（カメラＦの映像）
図１３Ａに示すように、追跡対象の人物が建物外にいる時、カメラＦの映像に人物が映り込む。ここで、人物追跡機能切り替えボタン４０２が「ＯＦＦ」で表示されているので、人物追跡機能がＯＦＦされている。また、図１３Ａでは、移動ルートの推測前であるため、サブ表示部４０３には、カメラＡ、カメラＢ、カメラＣ、カメラＤ、カメラＥ、カメラＦの映像が順に表示されている。また、メイン表示部４０１に表示する映像として、カメラＦの映像が選択されたことが、ラジオボタンの色の反転で表される。
(Footage from Camera F)
As shown in Fig. 13A, when a person to be tracked is outside the building, the person is captured in the image from camera F. Here, the person tracking
次に、利用者端末１の利用者が人物追跡機能切り替えボタン４０２を押下すると、図１３Ｂに示すように、人物追跡機能切り替えボタン４０２が「人物追跡ＯＮ」と表示される。そして、移動方向検出部３６は、図８に示したフローチャートに従って、カメラＦの左側に設置されているカメラＢと、その先の最も重み付けが高いカメラＥと、移動先のカメラＤと、移動先のカメラＢと、カメラＣと、カメラＡとを移動ルートに追加する。
Next, when the user of
なお、図１０Ｂに示したようにカメラＢからの移動先には、カメラＢとカメラＣが設置されている。ただし、図６に示したようにカメラＢとカメラＣの重み付けは同じ「１」である。このため、移動方向検出部３６は、カメラＢとカメラＣを共に移動ルートに追加する。このため、２系統の移動ルートが推測される。
As shown in FIG. 10B, cameras B and C are installed at the movement destination from camera B. However, as shown in FIG. 6, the weighting of cameras B and C is the same, "1." Therefore, the movement
図１３Ｂに示すように、メイン表示部４０１はカメラＦの映像を表示している。そして、サブ表示部４０３には、新たに推測された移動ルートにあるカメラＦ、カメラＤ、カメラＥ、カメラＢ、カメラＣ、カメラＡの映像が移動ルートの順に表示される。また、メイン表示部４０１に表示する映像として、カメラＦの映像が選択されたことが、ラジオボタンの色の反転で表される。
As shown in FIG. 13B, the
（カメラＤの映像）
次に、カメラＦの映像から追跡対象の人物が消失した後、カメラＤの映像に、この人物が出現したとする。この場合、追跡対象特定部３４は、図９に示したフローチャートに従い、カメラＤの映像に人物が出現したことを判定し、表示制御部３１は、カメラＤの映像をメイン表示部４０１に表示する。
(Image from camera D)
Next, suppose that the tracking target person disappears from the image of camera F, and then the same person appears in the image of camera D. In this case, tracking
図１４Ｃに示すように、メイン表示部４０１はカメラＤの映像を表示している。そして、サブ表示部４０３には、カメラＦ、カメラＤ、カメラＥ、カメラＢ、カメラＣ、カメラＡの映像が移動ルートの順に表示される。また、メイン表示部４０１に表示する映像として、カメラＤの映像が選択されたことが、ラジオボタンの色の反転で表される。
As shown in FIG. 14C, the
（カメラＥの映像）
次に、カメラＤの映像から追跡対象の人物が消失した後、カメラＥの映像に、この人物が出現したとする。この場合、追跡対象特定部３４は、図９に示したフローチャートに従い、最も重み付けが高いカメラＥの映像に人物が出現したことを判定し、表示制御部３１は、カメラＥの映像をメイン表示部４０１に表示する。
(Footage from Camera E)
Next, suppose that the tracking target person disappears from the image from camera D, and then the person appears in the image from camera E. In this case, tracking
図１４Ｄに示すように、メイン表示部４０１はカメラＥの映像を表示している。そして、サブ表示部４０３には、カメラＦ、カメラＤ、カメラＥ、カメラＢ、カメラＣ、カメラＡの映像が移動ルートの順に表示される。また、メイン表示部４０１に表示する映像として、カメラＥの映像が選択されたことが、ラジオボタンの色の反転で表される。
As shown in FIG. 14D, the
＜推測し直された移動ルート＞
次に、図１０Ｂに示した移動ルートが推測し直され、図１０Ｃに示した移動ルートが推測された時に、利用者端末１に表示される映像の例について、図１５を参照して説明する。
<Migration route re-estimated>
Next, an example of an image displayed on the
（カメラＢの映像）
仮に、カメラＤの映像から追跡対象の人物が消失した後、カメラＢの映像に、この人物が出現したとする。カメラＢは、カメラＤの次に移動ルートに設定されたカメラではない。このため、追跡対象特定部３４は、図９に示したフローチャートに従い、カメラＢの映像に人物が出現したことを判定し、移動ルートを推測し直す。そして、表示制御部３１は、カメラＢの映像をメイン表示部４０１に表示する。この際、移動方向検出部３６は、カメラＢの次のカメラＥ，Ｆのうち、図６に示した最も重み付けが高いカメラＥを移動ルートに追加する。
(Image from Camera B)
Suppose that a person to be tracked disappears from the image of camera D, and then the person appears in the image of camera B. Camera B is not the camera set on the movement route next to camera D. Therefore, the tracking
図１５に示すように、メイン表示部４０１はカメラＢの映像を表示している。そして、サブ表示部４０３には、新たに推測された移動ルートにあるカメラＦ、カメラＤ、カメラＢ、カメラＥの映像が移動ルートの順に表示される。また、メイン表示部４０１に表示する映像として、カメラＢの映像が選択されたことが、ラジオボタンの色の反転で表される。
As shown in FIG. 15, the
以上説明した一実施の形態に係る映像監視システム１０では、映像監視装置３が複数のカメラ５０で撮影された映像から追跡対象が映り込んだ映像を選択し、この映像を利用者端末１に表示する。ここで、映像監視装置３は、自動的に不審者（追跡対象）を追跡し、追跡対象特定部３４により特定された追跡対象が映るカメラ５０の映像が利用者端末１に大きく表示する。このため、利用者は利用者端末１においてもカメラ５０の映像から追跡対象を容易に確認することができる。
In the
また、不審者の移動に伴い、不審者の移動ルートが推測される。そして、移動ルートに設置された複数のカメラ５０が撮影する映像がサブ表示部４０３にリスト表示される。このため、利用者は、利用者端末１に表示される複数の映像を同時に確認できる。そして、利用者は、ある映像に映る不審者の動きに注目したい場合には、この映像を選択することで、この映像に映る不審者の追跡開始を指示できる。このため、利用者は、容易な操作でメイン表示部４０１に拡大表示された不審者が映る映像を確認できる。
In addition, as the suspicious person moves, the route that the suspicious person took is inferred. Then, the images captured by the
また、追跡開始の指示がされた後、メイン表示部４０１には、不審者が映り込んだ映像が表示されるように、映像が自動的に切り替わる。このため、利用者は、メイン表示部４０１に表示された映像から不審者の様子を確認しやすくなる。また、メイン表示部４０１に表示される映像は、サブ表示部４０３に表示される映像より大きい。このため、利用者は、利用者端末１の表示画面が小さくても、メイン表示部４０１に表示される不審者が映り込んだ映像を確認しやすくなる。
In addition, after an instruction to start tracking is given, the image on the
また、カメラ管理部３２には、位置関係情報３２１が記録される。移動方向検出部３６が、利用者によって追跡開始の指示を受けた不審者が映る映像から不審者の移動ルートを推測する際には、位置関係情報３２１を利用して、不審者の移動方向を自動的に推測する。このため、移動方向検出部３６は、カメラ５０の位置関係に合わせた移動ルートが推測可能となる。
In addition, the
また、カメラ管理部３２には、重み付け情報３２２が記録される。利用者が特に注意して状況を確認したい重要なエリアを撮影するカメラ５０には、他のエリアを撮影するカメラ５０より高い重み付けが設定される。移動方向検出部３６が推測する移動ルートには、重み付けが高いエリアを撮影するカメラ５０の設置位置が優先的に含まれる。このため、利用者は、重要なエリアに不審者が侵入していないか、侵入していた場合、どのような行動をしているかを監視できる。
In addition,
また、移動方向検出部３６は、利用者端末１から不審者の追跡開始の指示が入力された後、推測した移動ルートを外れて不審者が移動した場合、新たに不審者が映り込んだ映像を撮影するカメラ５０を起点として、再度移動ルートを推測し直す。そして、表示制御部３１は、再度推測された移動ルートに基づいて、この移動ルートに設置されているカメラ５０が撮影する映像をリスト表示するように、サブ表示部４０３で表示する映像を更新する。このため、利用者は、一旦、不審者が映像から消失しても、再び不審者が映り込んだ映像を引き続き監視することが容易となる。
Furthermore, if the suspicious person deviates from the estimated movement route after an instruction to start tracking the suspicious person is input from the
また、移動ルートから外れた位置に設置されるカメラ５０の映像は、サブ表示部４０３に表示されない。このため、利用者は、移動ルートに沿った位置に設置されるカメラ５０の映像が表示されたサブ表示部４０３を確認すればよく、映像確認時の負担が軽減される。
In addition, images from
［変形例］
図１６は、利用者端末１に表示される画面の変形例を示す図である。
利用者端末１は、メイン表示部４０１、人物追跡機能切り替えボタン４０２、及びサブ表示部４０３に加えて、移動ルート表示部４０４を備える。
移動ルート表示部４０４には、構内図と共に、移動方向検出部３６により推測された移動ルートと、各カメラのカメラ名を表す符号（Ａ～Ｆ）が表示される。利用者は、移動ルート表示部４０４に表示される移動ルートを確認することで、追跡開始を指示した不審者が構内にいる場所を具体的に把握することができる。また、利用者は、どのような移動ルートが推測されているかを把握しやすくなる。
[Modification]
FIG. 16 shows a modified example of the screen displayed on the
The
The movement
なお、カメラ５０が監視するエリアとしては、建物内の廊下、室内に限らず、建物外の駐車場、敷地の内外も含めるものとする。
The area monitored by the
また、映像監視装置３が行動を監視する追跡対象としては、不審者等の人物に限らない。例えば、ドローン、ロボット、車のような移動物体を追跡対象としてもよい。このように人物及びドローンのうち、少なくとも一つを含む移動物体が追跡対象とされるため、利用者は、監視したいエリアに応じて様々な種類の追跡対象の様子を確認できる。
Furthermore, the tracking targets whose behavior is monitored by the
また、メイン表示部４０１の大きさは、サブ表示部４０３と同じ程度の大きさとしてもよい。利用者端末１が、画面の大きなタブレット端末である場合、メイン表示部４０１の位置を画面内の特定の位置（例えば、左上）に固定し、サブ表示部４０３の位置をメイン表示部４０１の下として、サブ表示部４０３が各カメラ５０の映像をタイル状に配置した形態としてもよい。この形態であっても、利用者はメイン表示部４０１の映像から不審者の行動を正しく確認できる。
The size of the
また、上述した実施の形態では、追跡対象が映るカメラ５０の映像を利用者が選択したが、追跡対象特定部３４が自動的に追跡対象を特定してもよい。追跡対象特定部３４は、例えば、異常行動を特定し、異常行動をする人物を追跡対象としてもよい。また、追跡対象特定部３４は、人がいないはずの時間帯に侵入している人等を追跡対象としてもよい。このように追跡対象特定部３４が自動的に追跡対象を特定することで、利用者が利用者端末１に表示される映像を常に見続ける必要がなく、利用者の監視負担が軽減される。
In addition, in the above-described embodiment, the user selects the image from the
なお、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態は本発明を分かりやすく説明するためにシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、本実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Incidentally, the present invention is not limited to the above-described embodiment, and it goes without saying that various other applications and modifications are possible without departing from the gist of the present invention as set forth in the claims.
For example, the above-mentioned embodiment describes the system configuration in detail and specifically in order to explain the present invention in an easily understandable manner, and is not necessarily limited to a system having all of the described configurations. In addition, it is also possible to add, delete, or replace part of the configuration of the present embodiment with other configurations.
In addition, the control lines and information lines shown are those that are considered necessary for the explanation, and not all control lines and information lines in the product are necessarily shown. In reality, it can be considered that almost all components are connected to each other.
１…利用者端末、３…映像監視装置、５…カメラ群、１０…映像監視システム、３１…表示制御部、３２…カメラ管理部、３３…映像取得部、３４…追跡対象特定部、３５…カメラ選択部、３６…移動方向検出部、５０～５６…カメラ、３２１…位置関係情報、３２２…重み付け情報、４０１…メイン表示部、４０２…人物追跡機能切り替えボタン、４０３…サブ表示部 1...user terminal, 3...video surveillance device, 5...camera group, 10...video surveillance system, 31...display control unit, 32...camera management unit, 33...video acquisition unit, 34...tracking target identification unit, 35...camera selection unit, 36...movement direction detection unit, 50-56...camera, 321...positional relationship information, 322...weighting information, 401...main display unit, 402...person tracking function switching button, 403...sub-display unit
Claims (8)
前記映像取得部が取得した複数の前記映像から、追跡対象を特定する追跡対象特定部と、
複数の前記カメラの設置位置が関係づけられる位置関係情報を記録するカメラ管理部と、
前記追跡対象の移動方向を検出し、前記カメラ管理部に記録された前記位置関係情報に基づいて前記追跡対象の移動ルートを推測する移動方向検出部と、
前記移動方向に設置された前記カメラが撮影し、前記追跡対象が映る前記映像を選択するカメラ選択部と、
前記カメラ選択部が選択した前記映像を利用者端末に表示する制御を行う表示制御部と、を備え、
前記表示制御部は、前記カメラ選択部が選択した前記映像であって、前記追跡対象特定部が追跡する前記追跡対象を含む前記映像を表示するメイン表示部と、前記移動方向検出部により検出された前記移動方向に合わせて並べ替えた複数の前記映像を順にリスト形式で表示するサブ表示部と、前記移動ルートを表示する移動ルート表示部と、を前記利用者端末に表示し、前記移動ルートに沿って設置された前記カメラの順に、前記映像取得部が取得した複数の前記映像を前記サブ表示部に表示し、
前記サブ表示部に表示される複数の前記映像から、前記追跡対象が映る前記映像が選択されることで前記追跡対象が指示され、前記移動ルートに設定されていない前記カメラによって前記追跡対象が映る前記映像が撮影された場合に、前記移動方向検出部により前記移動ルートが推測し直される
映像監視装置。 an image acquisition unit that acquires a plurality of images from a plurality of cameras;
a tracking target identification unit that identifies a tracking target from the plurality of images acquired by the image acquisition unit;
a camera management unit that records positional relationship information that correlates the installation positions of the plurality of cameras;
a movement direction detection unit that detects a movement direction of the tracking target and estimates a movement route of the tracking target based on the positional relationship information recorded in the camera management unit;
a camera selection unit that selects the image captured by the camera installed in the moving direction and in which the tracking target is captured;
a display control unit that controls displaying the video selected by the camera selection unit on a user terminal ,
The display control unit displays, on the user terminal, a main display unit that displays the image selected by the camera selection unit and including the tracking target tracked by the tracking target identification unit, a sub-display unit that displays the multiple images sorted according to the moving direction detected by the moving direction detection unit in a list format in order, and a moving route display unit that displays the moving route, and displays, on the sub-display unit, the multiple images acquired by the image acquisition unit in the order of the cameras installed along the moving route;
The tracking target is designated by selecting the image in which the tracking target appears from the plurality of images displayed on the sub-display unit, and when the image in which the tracking target appears is captured by a camera that is not set on the movement route, the movement direction detection unit re-estimates the movement route.
Video surveillance equipment.
前記カメラ選択部は、前記移動ルートに複数の前記カメラが設置されている場合に、前記カメラ管理部に記録された前記重み付け情報に基づいて、重み付けが大きい前記カメラが撮影する前記映像を選択する
請求項１に記載の映像監視装置。 the camera management unit manages weighting information in which the installation positions of the cameras are weighted;
The video surveillance device of claim 1 , wherein the camera selection unit selects the video captured by the camera with a higher weighting based on the weighting information recorded in the camera management unit when multiple cameras are installed on the movement route .
前記表示制御部は、再び推測された前記移動ルートに沿って設置される前記カメラの順に、複数の前記映像を前記サブ表示部に表示する
請求項１又は２に記載の映像監視装置。 when the tracking target that has disappeared from the image on the main display unit is captured in the image captured by the camera that is not installed on the moving route, the moving direction detection unit again estimates the moving route starting from the camera that captures the image in which the tracking target is captured,
The video monitoring device according to claim 1 or 2 , wherein the display control unit displays the plurality of videos on the sub-display unit in the order of the cameras installed along the re-estimated movement route.
請求項３に記載の映像監視装置。 The video surveillance device according to claim 3 , wherein the tracking target specification unit starts tracking the tracking target based on an instruction to start tracking received from the user terminal .
請求項１～４のいずれか一項に記載の映像監視装置。 5. The video monitoring device according to claim 1, wherein the main display section displays the video larger than the sub-display section, and the sub-display section displays a plurality of the videos in a list format.
請求項１～５のいずれか一項に記載の映像監視装置。 The video surveillance device according to claim 1 , wherein the tracking target is a moving object including at least one of a person and a drone.
複数の前記映像から、追跡対象を特定する処理と、
前記追跡対象の移動方向を検出し、複数の前記カメラの設置位置が関係づけられる位置関係情報に基づいて前記追跡対象の移動ルートを推測する処理と、
前記移動方向に設置された前記カメラが撮影し、前記追跡対象が映る前記映像を選択する処理と、
選択された前記映像を利用者端末に表示する制御を行う処理と、
選択した前記映像であって、前記追跡対象を含む前記映像を表示するメイン表示部と、検出された前記移動方向に合わせて並べ替えた複数の前記映像を順にリスト形式で表示するサブ表示部と、前記移動ルートを表示する移動ルート表示部と、を前記利用者端末に表示し、前記移動ルートに沿って設置された前記カメラの順に複数の前記映像を前記サブ表示部に表示する処理と、
前記サブ表示部に表示される複数の前記映像から、前記追跡対象が映る前記映像が選択されることで前記追跡対象が指示される処理と、
前記移動ルートに設定されていない前記カメラによって前記追跡対象が映る前記映像が撮影された場合に、前記移動ルートが推測し直される処理と、を含む
表示制御方法。 A process of acquiring multiple images from multiple cameras;
A process of identifying a tracking target from the plurality of videos;
A process of detecting a moving direction of the tracked object and estimating a moving route of the tracked object based on positional relationship information relating the installation positions of the plurality of cameras;
A process of selecting the image captured by the camera installed in the moving direction and showing the tracking target;
A process of controlling display of the selected video on a user terminal;
A process of displaying on the user terminal a main display unit that displays the selected image including the tracking target, a sub-display unit that displays the multiple images sorted according to the detected movement direction in order in a list format, and a movement route display unit that displays the movement route, and displaying the multiple images on the sub-display unit in the order of the cameras installed along the movement route;
A process of selecting an image in which the tracking target is shown from the plurality of images displayed on the sub-display unit, thereby indicating the tracking target;
and a process of re-estimating the movement route when the image showing the tracking target is captured by the camera that is not set on the movement route .
前記利用者端末は、
前記映像監視装置から受信する複数の映像を表示する表示部を有し、
前記映像監視装置は、
複数のカメラから複数の前記映像を取得する映像取得部と、
前記映像取得部が取得した複数の前記映像から、追跡対象を特定する追跡対象特定部と、
複数の前記カメラの設置位置が関係づけられる位置関係情報を記録するカメラ管理部と、
前記追跡対象の移動方向を検出し、前記カメラ管理部に記録された前記位置関係情報に基づいて前記追跡対象の移動ルートを推測する移動方向検出部と、
前記移動方向に設置された前記カメラが撮影し、前記追跡対象が映る前記映像を選択するカメラ選択部と、
前記カメラ選択部が選択した前記映像を前記利用者端末に表示する制御を行う表示制御部と、を備え、
前記表示制御部は、前記カメラ選択部が選択した前記映像であって、前記追跡対象特定部が追跡する前記追跡対象を含む前記映像を表示するメイン表示部と、前記移動方向検出部により検出された前記移動方向に合わせて並べ替えた複数の前記映像を順にリスト形式で表示するサブ表示部と、前記移動ルートを表示する移動ルート表示部と、を前記利用者端末に表示し、前記移動ルートに沿って設置された前記カメラの順に、前記映像取得部が取得した複数の前記映像を前記サブ表示部に表示し、
前記サブ表示部に表示される複数の前記映像から、前記追跡対象が映る前記映像が選択されることで前記追跡対象が指示され、前記移動ルートに設定されていない前記カメラによって前記追跡対象が映る前記映像が撮影された場合に、前記移動方向検出部により前記移動ルートが推測し直される
映像監視システム。 A video monitoring system including a user terminal and a video monitoring device,
The user terminal includes:
a display unit that displays a plurality of images received from the image monitoring device;
The video monitoring device includes:
an image acquisition unit that acquires a plurality of the images from a plurality of cameras;
a tracking target identification unit that identifies a tracking target from the plurality of images acquired by the image acquisition unit;
a camera management unit that records positional relationship information that correlates the installation positions of the plurality of cameras;
a movement direction detection unit that detects a movement direction of the tracking target and estimates a movement route of the tracking target based on the positional relationship information recorded in the camera management unit;
a camera selection unit that selects the image captured by the camera installed in the moving direction and in which the tracking target is captured;
a display control unit that controls displaying the video selected by the camera selection unit on the user terminal ,
The display control unit displays, on the user terminal, a main display unit that displays the image selected by the camera selection unit and including the tracking target tracked by the tracking target identification unit, a sub-display unit that displays the multiple images sorted according to the moving direction detected by the moving direction detection unit in a list format in order, and a moving route display unit that displays the moving route, and displays, on the sub-display unit, the multiple images acquired by the image acquisition unit in the order of the cameras installed along the moving route;
The tracking target is designated by selecting the image in which the tracking target appears from the plurality of images displayed on the sub-display unit, and when the image in which the tracking target appears is captured by a camera that is not set on the movement route, the movement direction detection unit re-estimates the movement route.
Video surveillance system.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021146646A JP7609740B2 (en) | 2021-09-09 | 2021-09-09 | Video monitoring device, display control method, and video monitoring system |
| CN202210821452.0A CN115801999A (en) | 2021-09-09 | 2022-07-12 | Video monitoring device, display control method, and video monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021146646A JP7609740B2 (en) | 2021-09-09 | 2021-09-09 | Video monitoring device, display control method, and video monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023039508A JP2023039508A (en) | 2023-03-22 |
| JP7609740B2 true JP7609740B2 (en) | 2025-01-07 |
Family
ID=85431358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021146646A Active JP7609740B2 (en) | 2021-09-09 | 2021-09-09 | Video monitoring device, display control method, and video monitoring system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7609740B2 (en) |
| CN (1) | CN115801999A (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012415A (en) | 2003-06-18 | 2005-01-13 | Matsushita Electric Ind Co Ltd | Surveillance video monitoring system, surveillance video generation method, and surveillance video monitoring server |
| JP2009284167A (en) | 2008-05-21 | 2009-12-03 | Toshiba Tec Corp | Person's behavior monitoring device, and person's behavior monitoring program |
| WO2013179335A1 (en) | 2012-05-30 | 2013-12-05 | 株式会社 日立製作所 | Monitoring camera control device and visual monitoring system |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7466356B2 (en) * | 2003-07-25 | 2008-12-16 | Hewlett-Packard Development Company, L.P. | Method and apparatus for setting a marker on an object and tracking the position of the object |
| JP4706535B2 (en) * | 2006-03-30 | 2011-06-22 | 株式会社日立製作所 | Moving object monitoring device using multiple cameras |
| KR100980586B1 (en) * | 2010-05-07 | 2010-09-06 | 주식회사 에스엘티 | Method for intelligent image security using single or multi camera and system thereof |
| KR101933153B1 (en) * | 2012-11-06 | 2018-12-27 | 에스케이 텔레콤주식회사 | Control Image Relocation Method and Apparatus according to the direction of movement of the Object of Interest |
| KR20150133619A (en) * | 2014-05-20 | 2015-11-30 | 삼성에스디에스 주식회사 | Apparatus and method for target tracking using handover between cameras |
| JP6284086B2 (en) * | 2016-02-05 | 2018-02-28 | パナソニックＩｐマネジメント株式会社 | Tracking support device, tracking support system, and tracking support method |
| CA3056269C (en) * | 2017-03-17 | 2021-07-13 | Unity IPR ApS | Method and system for automated camera collision and composition preservation |
| CN112122221B (en) * | 2020-09-28 | 2021-07-16 | 广州南华工程管理有限公司 | Project supervision information management method based on Internet of things |
-
2021
- 2021-09-09 JP JP2021146646A patent/JP7609740B2/en active Active
-
2022
- 2022-07-12 CN CN202210821452.0A patent/CN115801999A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012415A (en) | 2003-06-18 | 2005-01-13 | Matsushita Electric Ind Co Ltd | Surveillance video monitoring system, surveillance video generation method, and surveillance video monitoring server |
| JP2009284167A (en) | 2008-05-21 | 2009-12-03 | Toshiba Tec Corp | Person's behavior monitoring device, and person's behavior monitoring program |
| WO2013179335A1 (en) | 2012-05-30 | 2013-12-05 | 株式会社 日立製作所 | Monitoring camera control device and visual monitoring system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115801999A (en) | 2023-03-14 |
| JP2023039508A (en) | 2023-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11875665B2 (en) | Augmented reality of a building | |
| US8174572B2 (en) | Intelligent camera selection and object tracking | |
| US10951862B2 (en) | Systems and methods for managing and displaying video sources | |
| CN104284146B (en) | Track servicing unit, tracking accessory system and tracking householder method | |
| US10019877B2 (en) | Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site | |
| US9298987B2 (en) | Information processing apparatus, information processing method, program, and information processing system | |
| US11610403B2 (en) | Graphical management system for interactive environment monitoring | |
| US20210271896A1 (en) | Video monitoring apparatus, method of controlling the same, computer-readable storage medium, and video monitoring system | |
| WO2016189782A1 (en) | Tracking support apparatus, tracking support system, and tracking support method | |
| US12432319B2 (en) | System for associating a digital map with a video feed, and method of use thereof | |
| US20250336276A1 (en) | System and method for displaying video feed information on a user interface | |
| KR20130104582A (en) | A control system for in and out based on scenario and method thereof | |
| JP4808139B2 (en) | Monitoring system | |
| KR101842564B1 (en) | Focus image surveillant method for multi images, Focus image managing server for the same, Focus image surveillant system for the same, Computer program for the same and Recording medium storing computer program for the same | |
| JP7609740B2 (en) | Video monitoring device, display control method, and video monitoring system | |
| KR102637691B1 (en) | Apparatus and method for monitoring facility based on image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241219 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7609740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |