JP7567979B2 - Object tracking method and object tracking device - Google Patents
Object tracking method and object tracking device Download PDFInfo
- Publication number
- JP7567979B2 JP7567979B2 JP2023071553A JP2023071553A JP7567979B2 JP 7567979 B2 JP7567979 B2 JP 7567979B2 JP 2023071553 A JP2023071553 A JP 2023071553A JP 2023071553 A JP2023071553 A JP 2023071553A JP 7567979 B2 JP7567979 B2 JP 7567979B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- tracking
- detection
- camera
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体に関する。 The present invention relates to an object tracking device, an object tracking system, an object tracking method, a display control device, an object detection device, a program, and a recording medium.
近年、複数のカメラ等を用いて、人物を追跡するシステムが開発されている。例えば、特許文献１に記載されている移動体追跡システムは、カメラ毎に分散的に人物を追跡する複数のカメラ内追跡手段を使用する。そして、そのシステムは、複数のカメラ内追跡手段間で連携して移動体を追跡する。また、特許文献２には、複数の撮像部間で撮像された同一のオブジェクトを個々のオブジェクトの追跡結果に基づき追跡する方法が記載されている。
In recent years, systems have been developed that use multiple cameras and the like to track people. For example, the moving object tracking system described in
また、関連する技術として、追跡する必要のない物体を、早めに追跡対象から外す方法が特許文献３に記載されている。 As a related technique, Patent Document 3 describes a method for early removal of objects that do not need to be tracked from the tracking targets.
また、１つの撮影手段で撮影した画像における移動体を検出する装置が、特許文献４に記載されている。
In addition,
しかしながら、上述した特許文献１または２に記載の技術では、例えば、物体から遠く離れた位置にカメラが存在する場合、このカメラの撮影画像における物体（移動体）の追跡精度が低くなる可能性がある。この場合、特許文献１または２の技術では、そのカメラの追跡精度の影響を受け、オブジェクトの追跡結果を統合できなかったり、統合できた場合であっても統合時に求められる該オブジェクトの位置の検出精度が低くなったりする場合があった。
However, with the technology described in
本発明は上記課題に鑑みてなされたものであり、その目的は、より高精度に物体を追跡可能な技術を提供することにある。 The present invention was made in consideration of the above problems, and its purpose is to provide a technology that can track objects with higher accuracy.
本発明の一態様に係る物体追跡装置は、センサの出力情報から物体を検出し、検出結果を出力する複数の検出手段と、前記複数の検出手段の夫々によって出力された、複数の前記検出結果に基づいて前記物体を追跡し、共通座標系で表現された前記物体の追跡情報を生成する統合追跡手段と、を備え、前記統合追跡手段は、前記生成した追跡情報を、前記複数の検出手段の夫々に出力し、前記検出手段は、前記追跡情報に基づいて、前記物体を検出する。 An object tracking device according to one aspect of the present invention includes a plurality of detection means for detecting an object from output information of a sensor and outputting the detection results, and an integrated tracking means for tracking the object based on the detection results output by each of the plurality of detection means and generating tracking information of the object expressed in a common coordinate system, the integrated tracking means outputs the generated tracking information to each of the plurality of detection means, and the detection means detects the object based on the tracking information.
本発明の一態様に係る物体追跡システムは、センサと、前記センサによって取得された情報からなる出力情報を受信する物体追跡装置とを備え、前記物体追跡装置は、前記出力情報から前記物体を検出し、検出結果を出力する複数の検出手段と、前記複数の検出手段の夫々によって出力された、複数の前記検出結果に基づいて前記物体を追跡し、共通座標系で表現された前記物体の追跡情報を生成する統合追跡手段と、を備え、前記統合追跡手段は、前記生成した追跡情報を、前記複数の検出手段の夫々に出力し、前記検出手段は、前記追跡情報に基づいて、前記物体を検出する。 An object tracking system according to one aspect of the present invention includes a sensor and an object tracking device that receives output information consisting of information acquired by the sensor, the object tracking device including a plurality of detection means that detect the object from the output information and output the detection results, and an integrated tracking means that tracks the object based on the plurality of detection results output by each of the plurality of detection means and generates tracking information of the object expressed in a common coordinate system, the integrated tracking means outputs the generated tracking information to each of the plurality of detection means, and the detection means detects the object based on the tracking information.
本発明の一態様に係る物体追跡方法は、センサの出力情報から物体を検出し、検出結果を出力し、前記出力された複数の前記検出結果に基づいて前記物体を追跡し、共通座標系で表現された前記物体の追跡情報を生成し、生成した前記追跡情報を出力し、前記物体の検出は、前記追跡情報に基づいて、前記物体を検出する。 An object tracking method according to one aspect of the present invention detects an object from output information of a sensor, outputs a detection result, tracks the object based on the output detection results, generates tracking information of the object expressed in a common coordinate system, outputs the generated tracking information, and detects the object based on the tracking information.
本発明の一態様に係る表示制御装置は、表示装置に表示データを表示させる表示制御装置であって、前記表示データは、センサの出力情報のうち、物体の追跡情報に基づいて該物体を探索する探索範囲であって、該出力情報を出力するセンサ固有の個別座標系で表現された探索範囲を示すものであり、前記物体の追跡情報は、複数のセンサの夫々における出力情報における前記探索範囲内から検出された該物体の検出結果に基づいて、該物体を追跡した結果を示す情報である。 A display control device according to one aspect of the present invention is a display control device that displays display data on a display device, the display data being a search range for searching for an object based on object tracking information among the output information of a sensor, the search range being expressed in an individual coordinate system specific to the sensor that outputs the output information, and the object tracking information being information indicating the result of tracking the object based on the detection result of the object detected within the search range in the output information of each of a plurality of sensors.
本発明の一態様に係る物体検出装置は、複数の物体検出装置の夫々から出力された、複数の検出結果に基づいて追跡された、物体の追跡結果を示す追跡情報であって、共通座標系で表現された追跡情報に基づいて、センサの出力情報から前記物体を検出する。 An object detection device according to one aspect of the present invention detects an object from sensor output information based on tracking information that indicates the tracking results of an object tracked based on multiple detection results output from multiple object detection devices and expressed in a common coordinate system.
なお、上記各装置、物体追跡システムまたは物体追跡方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体も、本発明の範疇に含まれる。 The scope of the present invention also includes a computer program for implementing the above-mentioned devices, object tracking system, or object tracking method by a computer, and a computer-readable storage medium on which the computer program is stored.
本発明によれば、より高精度に物体を追跡することができる。 The present invention makes it possible to track objects with greater accuracy.
＜第１の実施の形態＞
本発明の第１の実施の形態について図面を参照して詳細に説明する。まず、図２を参照して、本発明の物体追跡システム（単にシステムとも呼ぶ）の全体構成について説明する。図２は、本実施の形態に係る物体追跡システム１の全体構成の概略の一例を示す図である。図２に示す通り、本実施の形態に係る物体追跡システム１は、物体追跡装置１０と、複数のカメラ（２０－１～２０－Ｎ（Ｎは自然数））と、１以上の表示装置３０とを備えている。なお、本実施の形態では、複数のカメラ（２０－１～２０－Ｎ）の夫々を区別しない場合、または、総称する場合には、これらをカメラ２０と呼ぶ。
First Embodiment
A first embodiment of the present invention will be described in detail with reference to the drawings. First, the overall configuration of the object tracking system (also simply referred to as the system) of the present invention will be described with reference to FIG. 2. FIG. 2 is a diagram showing an example of a schematic overall configuration of the
物体追跡装置１０、カメラ２０および表示装置３０は、ネットワーク４０を介して互いに通信可能に接続されている。なお、表示装置３０は、物体追跡システム１に含まれていなくてもよい。また、表示装置３０は、ネットワーク４０を介さず、物体追跡装置１０に直接接続される構成であってもよい。
The
カメラ２０は、物体を検知するセンサとして機能する。なお、本実施の形態では、物体を検知するセンサとして、カメラ２０を用いた場合を例に説明を行うが、本発明はこれに限定されるものではない。センサは、カメラに限らず、電波センサなど、位置測位が可能なものであればよい。また、電波センサとカメラとが一体となったセンサのように複数のセンサが混在するものを用いてもよい。センサとして、カメラ２０を用いることにより、物体追跡装置１０は、色などの視覚的な情報をより好適に取得することができる。
The
また、本実施の形態では、センサが取得する情報とは、カメラが撮影した映像であるとして、説明を行うが、センサが電波センサの場合、センサが取得する情報は、該電波センサによって取得される電波である。 In addition, in this embodiment, the information acquired by the sensor is described as being video captured by a camera, but if the sensor is a radio wave sensor, the information acquired by the sensor is radio waves acquired by the radio wave sensor.
物体追跡装置１０は、複数のカメラ２０の夫々で撮影された映像に含まれる物体を追跡する装置である。なお、物体追跡装置１０の機能構成については、図面を変えて説明する。
The
表示装置３０は、物体追跡装置１０によるオブジェクトの追跡結果を表示する。なお、表示装置３０は、カメラ２０が撮影した映像を表示するものであってもよい。また、表示装置３０は、動線情報などのその他の情報を表示するものであってもよい。
The
（物体追跡装置１０）
次に、物体追跡装置１０の機能について説明する。図１は、本実施の形態に係る物体追跡装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、物体追跡装置１０は、複数の検出部（１００－１～１００－Ｎ）と、統合追跡部２００とを備えている。なお、本実施の形態では、複数の検出部（１００－１～１００－Ｎ）の夫々を区別しない場合、または、総称する場合には、これらを検出部１００と呼ぶ。
(Object tracking device 10)
Next, the functions of the
（検出部１００）
検出部１００は、後述する統合追跡部２００から出力される追跡情報であって、物体（オブジェクト）を検出する対象のフレームの前フレームにおけるオブジェクトの追跡情報に基づいて、カメラ２０の出力情報からオブジェクトを検出する。ここで、本実施の形態において、カメラ２０の出力情報とは、カメラ２０が撮影した映像を示す映像データを示す。
(Detection Unit 100)
The
本実施の形態では、複数の検出部１００と複数のカメラ２０とは一対一で対応付けられているものとする。例えば、検出部１００－１は、カメラ２０－１が撮影した映像からオブジェクトを検出し、検出部１００－２は、カメラ２０－２が撮影した映像からオブジェクトを検出する。なお、本実施の形態はこれに限定されるものではなく、例えば、検出部１００－１は、カメラ２０－Ｎが撮影した映像からオブジェクトを検出してもよい。
In this embodiment, the
また、カメラ２０と検出部１００とが一対一で対応付けられていなくてもよい。例えば、検出部１００－１は、複数のカメラ２０の夫々が撮影した映像からオブジェクトを検出してもよい。
Furthermore, the
以下、検出部１００の動作について説明する。検出部１００は、カメラ２０から、カメラ２０が撮影した映像を示す映像データ（以降、カメラ映像と呼ぶ）を受信する。図１では、カメラ２０－ｎ（ｎは、１～Ｎ）が撮影した映像を示す映像データを、カメラ映像（ｎ）と記載している。ここで、カメラ映像は、監視カメラ等のカメラ２０で撮影した映像をリアルタイムで取得したものでもよいし、カメラ２０で撮影した映像を一旦、図示しない記憶部等に蓄積しておき、それを後で復号（または再生）したものであってもよい。この映像データには、撮影された時間を示す時間情報が含まれている。
The operation of the
また、検出部１００は、統合追跡部２００から前フレームにおけるオブジェクトの追跡情報を受信する。なお、前フレームとは、オブジェクトを検出する対象となるフレーム（現時点のフレーム）の、直前のフレームであってもよいし、現時点のフレームから所定数前のフレームであってもよい。また、前フレームとは１つであってもよいし、複数であってもよい。なお、検出部１００が最初のフレームに対するオブジェクトの検出を行う場合、前フレームにおけるオブジェクトの追跡情報は存在しないため、検出部１００は、前フレームにおけるオブジェクトの追跡情報を受信しない（使用しない）。
The
検出部１００は、受信したカメラ映像と前フレームにおけるオブジェクトの追跡情報とを用いて、該カメラ映像からオブジェクトの検出（オブジェクト検出と呼ぶ）を行う。なお、上述したとおり、最初のフレームに対してオブジェクト検出を行う場合、検出部１００は、前フレームにおけるオブジェクトの追跡情報を使わずに検出を行う。なお、以下では、検出されたオブジェクトのことを、ターゲットと呼ぶ。即ち、オブジェクトの検出結果（オブジェクト検出結果、または、単に検出結果とも呼ぶ）は、ターゲットの集合となる。
The
オブジェクト検出結果は、ターゲット毎の、例えば、ターゲットの位置を表す情報、該ターゲットの大きさを表す情報等を含んでいる。具体的には、オブジェクト検出結果は、例えば、オブジェクトを検出した映像中のフレームにおける、ターゲットが占める領域（ターゲット領域）の外接矩形の情報、ターゲット領域の重心の座標値、ターゲットの幅を示す情報、ターゲットの高さを示す情報等を含んでいる。なお、オブジェクト検出結果は、これに限定されるものではない。例えば、オブジェクト検出結果は、ターゲット領域の重心の座標値に代えて、または、加えて、ターゲット領域の最上端の座標値や最下端の座標値等を含んでもよい。オブジェクト検出結果は、ターゲット毎に、ターゲットの位置および大きさ等を表す情報を含んでいればよい。 The object detection result includes, for each target, information that indicates, for example, the position of the target, information that indicates the size of the target, etc. Specifically, the object detection result includes, for example, information on the circumscribing rectangle of the area occupied by the target (target area) in the frame of the video in which the object is detected, the coordinate values of the center of gravity of the target area, information indicating the width of the target, information indicating the height of the target, etc. Note that the object detection result is not limited to this. For example, the object detection result may include, instead of or in addition to the coordinate values of the center of gravity of the target area, the coordinate values of the topmost end and bottommost end of the target area, etc. It is sufficient that the object detection result includes, for each target, information that indicates the position, size, etc. of the target.
なお、本実施の形態では、オブジェクト検出結果は、ターゲット毎に、ターゲットの最下端の座標値と、ターゲットの外接矩形を示す情報とを含むことを例に説明を行う。なお、ターゲットの最下端の座標値とは、オブジェクトが床面（地面）と接する点の座標値および／またはオブジェクトの外接矩形の下辺の中点の座標値を示す。また、ターゲットの最下端の座標値とは、オブジェクトが人の場合には足元の座標値であってもよい。 In this embodiment, the object detection result includes, for each target, the coordinate value of the bottom edge of the target and information indicating the circumscribing rectangle of the target. The coordinate value of the bottom edge of the target indicates the coordinate value of the point where the object contacts the floor (ground) and/or the coordinate value of the midpoint of the bottom side of the circumscribing rectangle of the object. Furthermore, the coordinate value of the bottom edge of the target may be the coordinate value of the feet when the object is a person.
そして、検出部１００は、オブジェクト検出結果に含まれる座標値を、複数のカメラ２０で撮影される空間（撮影空間）内で定義される共通の共通座標系における座標値に変換し、変換した座標値をオブジェクト検出結果とする。
Then, the
また、オブジェクト検出結果は、上述した情報の他に、ターゲットの形状を表す情報を含んでもよい。つまり、オブジェクト検出結果は、ターゲット領域を表すシルエット情報などを含んでもよい。ここで、シルエット情報とは、ターゲット領域の内部の画素と外部の画素を区別する情報であり、例えば、内部の画素値を２５５、外部の画素値を０に設定した画像情報であったり、ＭＰＥＧ－７で標準化されているようなシェイプディスクリプタ（形状特徴量）をシルエット形状から抽出した値である。また、オブジェクト検出結果は、オブジェクトの外見の特徴量を含んでもよい。例えば、オブジェクト検出結果は、該オブジェクトの色、模様、形状などの特徴量も含んでいてもよい。 In addition to the above information, the object detection result may also include information representing the shape of the target. In other words, the object detection result may also include silhouette information representing the target area. Here, silhouette information is information that distinguishes between pixels inside the target area and pixels outside it, and is, for example, image information in which the internal pixel values are set to 255 and the external pixel values are set to 0, or a value extracted from the silhouette shape of a shape descriptor (shape feature) as standardized in MPEG-7. The object detection result may also include features of the object's appearance. For example, the object detection result may also include features such as the color, pattern, and shape of the object.
さらに、オブジェクト検出結果は、オブジェクト検出の確からしさ（確度）を表す尤度を記述する情報（ターゲットの尤度情報）をターゲット毎に含んでもよい。ターゲットの尤度情報とは、ターゲットの尤度の算出に必要な情報であり、オブジェクト検出時のスコアの値、検出されたオブジェクトのカメラからの距離、大きさなど、オブジェクト検出の確度に関連する情報である。また、検出部１００は、ターゲットの尤度自体を算出し、算出した尤度をターゲットの尤度情報としてもよい。
Furthermore, the object detection result may include information (target likelihood information) describing the likelihood representing the certainty (accuracy) of object detection for each target. The target likelihood information is information required to calculate the likelihood of a target, and is information related to the accuracy of object detection, such as the score value at the time of object detection, the distance from the camera of the detected object, and the size of the detected object. In addition, the
そして、検出部１００は、オブジェクト検出結果を統合追跡部２００へ出力する。
Then, the
（統合追跡部２００）
統合追跡部２００は、検出部１００の夫々から出力された検出結果を受け取る。そして、統合追跡部２００は、この各検出結果に基づいてオブジェクトを追跡する。具体的には、統合追跡部２００は、検出部１００の夫々が検出部１００に紐付けられたカメラ２０によって撮影された映像から検出した、１または複数のオブジェクトに対するオブジェクト検出結果を用いて、該オブジェクトを追跡する（オブジェクト追跡を行う）。そして、統合追跡部２００は、共通座標系で表現されたオブジェクトの追跡結果（オブジェクト追跡結果）を生成する。このように、統合追跡部２００は、各検出部１００が、該検出部１００に紐付けられたカメラ２０によって撮影された映像から検出したオブジェクト検出結果を統合し、オブジェクト追跡を行う。そのため、統合追跡部２００が行うオブジェクト追跡を、オブジェクト統合追跡とも呼ぶ。
(Integrated Tracking Unit 200)
The
以後、オブジェクト追跡結果として生成される、オブジェクト毎の情報をトラッカーと呼ぶ。つまり、トラッカーには、追跡されたオブジェクトの情報（オブジェクト追跡結果）として、追跡されたオブジェクトの位置を示す情報、該オブジェクトの運動モデル等が含まれるとするが本発明はこれに限定されるものではない。なお、追跡されたオブジェクトの位置は、オブジェクトの、現時点より前（過去）の位置であるため、オブジェクトの過去の位置とも呼ぶ。 Hereinafter, the information for each object generated as the result of object tracking will be referred to as a tracker. In other words, the tracker includes, as information on the tracked object (object tracking result), information indicating the position of the tracked object, a motion model of the object, etc., but the present invention is not limited to this. Note that the position of the tracked object is the position of the object prior to the current time (past), and therefore is also referred to as the past position of the object.
つまり、オブジェクト追跡とは、オブジェクト検出で検出されたターゲットと、このターゲットの検出前に生成されたトラッカーとを対応付けることによって、フレーム間におけるオブジェクト同士を対応付けていく処理とみなせる。このオブジェクト追跡について、図３を参照して説明する。図３は、統合追跡部２００によるターゲットとトラッカーとを対応付ける処理を説明するための図である。図３に示す通り、ターゲットの数をＭ個、トラッカーの数をＫ個とする（ＭおよびＫは、０以上の整数）。統合追跡部２００は、このＭ個のターゲットとＫ個のトラッカーとの間で対応付けを行う。統合追跡部２００は、ターゲットとトラッカーとを対応付ける際、まず、トラッカーに含まれる情報によって示される、オブジェクトの過去の位置から該オブジェクトの現在の位置を予測し、ターゲットとトラッカーとの関連性を表す指標を用いて対応付けを行う。
In other words, object tracking can be considered as a process of associating objects between frames by associating targets detected by object detection with trackers generated before the detection of the targets. This object tracking will be described with reference to FIG. 3. FIG. 3 is a diagram for explaining the process of associating targets and trackers by the
つまり、統合追跡部２００は、前フレームにおいて検出されたオブジェクトの位置と、トラッカー毎に算出され保持されるオブジェクトの運動モデルと、に基づいて、オブジェクトの現フレーム上の位置を予測する。この手法としては、カルマンフィルタを用いる方法、または、パーティクルフィルタを用いる方法など、既存の様々な方法を用いることができる。
In other words, the
そして、統合追跡部２００は、例えば、以下の（１）～（３）に挙げる情報に基づいて、前フレームにおけるオブジェクト追跡結果（トラッカー）と、検出結果に含まれるオブジェクト（ターゲット）とを対応付ける。
（１）トラッカーを用いて予測したオブジェクトの現フレーム上の位置とターゲットの位置との距離の近さ
（２）ターゲットと、トラッカーによって追跡結果が示されるオブジェクトと、の間の外見特徴量の類似性
（３）ターゲットおよびトラッカーそれぞれの尤度
この対応付けの処理は、図３に示すような２部グラフのコスト最小化問題に帰着させることができる。よって、統合追跡部２００は、ハンガリアン法などのアルゴリズムによってこの問題を解くことができる。
Then, the
(1) The proximity of the position of the object in the current frame predicted by the tracker to the position of the target (2) The similarity of the appearance features between the target and the object whose tracking result is indicated by the tracker (3) The likelihood of the target and the tracker This matching process can be reduced to a cost minimization problem of a bipartite graph as shown in Fig. 3. Therefore, the
図３では、ターゲットとトラッカーとが対応付けられた場合を、矢印を用いて示している。つまり、一番上のターゲットは、一番上のトラッカーと対応付いていることを示している。 In Figure 3, arrows are used to indicate when targets and trackers are associated. In other words, the top target is associated with the top tracker.
そして、トラッカーと対応付かないターゲットが存在する場合には、統合追跡部２００は、該ターゲットが新規に現れたオブジェクトとみなせるかどうかを判定する。そして、統合追跡部２００は、該ターゲットが新規に現れた可能性が高いと判定した場合、該ターゲットに関連するトラッカーを新規に追加する。図３においては、符号ｍで示したターゲット（ターゲットｍと呼ぶ）が、トラッカーと対応付かないターゲットであるとする。このとき、統合追跡部２００は、ターゲットｍが新たに表れたオブジェクトとみなせるか否かの判定を行い、みなせる場合、ターゲットｍに関連するトラッカーを新規に作成する。
If there is a target that does not correspond to a tracker, the
一方、ターゲットと対応付かないトラッカーが存在する場合には、統合追跡部２００は、該トラッカーが撮影空間から消えたオブジェクトに関する情報か否かを判定する。そして、統合追跡部２００は、該トラッカーが撮影空間から消えたオブジェクトに関する情報である可能性が高い場合、該トラッカーを削除する。図３においては、符号ｋで示したトラッカー（トラッカーｋと呼ぶ）が、ターゲットと対応付かないトラッカーであるとする。このとき、統合追跡部２００は、トラッカーｋが、消えたオブジェクトに関する情報か否かの判定を行い、該トラッカーｋが消えたオブジェクトに関する情報の場合、トラッカーｋを削除する。
On the other hand, if there is a tracker that does not correspond to the target, the
統合追跡部２００は、これらの処理をフレーム単位で繰り返すことにより、オブジェクト追跡を行っていく。なお、統合追跡部２００は、トラッカーに全カメラ２０で共通の一意のＩＤ（ｉｄｅｎｔｉｆｉｅｒ）を与え、このＩＤによって追跡結果（トラッカー）を管理する。また、統合追跡部２００は、追跡結果の確からしさを評価した値（以後、トラッカーの尤度（重み）と呼ぶ）をトラッカーのパラメータとして、該トラッカーに含める。なお、トラッカーに含まれる、追跡されたオブジェクトの位置を示す情報によって示される位置であって、最も新しいオブジェクトの位置を、トラッカーの位置と呼ぶ。また、このときのオブジェクトの大きさをトラッカーの大きさとも呼ぶ。
The
また、統合追跡部２００は、対応付けの結果に基づいて、各トラッカーの位置を示す情報およびトラッカーの尤度の情報等を更新する。トラッカーの位置の情報は、複数のカメラ２０で撮影される撮影空間内で定義される共通座標系で表現された情報である。この共通座標系で表現された情報とは、共通座標系における座標値である。この共通座標系における座標値とは、例えば、複数のカメラ２０が、ある店舗内に設置されたカメラである場合、実世界におけるフロアの位置を示す座標系である。これに対し、各カメラ２０に固有の座標系を、該カメラ２０の個別座標系と呼ぶ。この個別座標系は、カメラ２０の撮影画像上の座標系である。以降、共通座標系で表現された位置の情報を、共通座標系の座標値として説明を行う。また、カメラ２０の個別座標系で表現された位置の情報を、カメラ２０の個別座標系の座標値として説明を行う。
The
そして、統合追跡部２００は、対応付けの結果に基づいて情報が更新されたトラッカーを、新たなオブジェクト追跡結果として生成する。そして、統合追跡部２００は、生成したオブジェクト追跡結果（トラッカー）のうち、トラッカーの位置および／または大きさを示す情報、および、トラッカーの尤度の情報等を、オブジェクト追跡の追跡結果を示す情報（追跡情報）として出力する。
The
この追跡情報は、各トラッカーの位置を示す情報として、各トラッカーの共通座標系の座標値を含んでいる。この追跡情報は、検出部１００にフィードバックされる。つまり、検出部１００は、この追跡情報を受信し、該追跡情報を、以降のフレームに対するオブジェクト検出に用いる。
This tracking information includes coordinate values of each tracker in a common coordinate system as information indicating the position of each tracker. This tracking information is fed back to the
なお、統合追跡部２００は、上記追跡情報と、トラッカーのその他の情報を含むオブジェクト追跡結果を検出部１００に出力する構成であってもよい。
The
このように、本実施の形態に係る物体追跡装置１０は、複数のカメラの夫々で撮影された映像を用いて、この複数のカメラ２０の夫々で撮影された映像に対するオブジェクト検出結果を統合して、オブジェクト追跡を行う。そして、物体追跡装置１０は、得られた追跡情報を次のフレームでのオブジェクト検出にフィードバックする。
In this way, the
このように、物体追跡装置１０は、前のフレームに対する追跡結果を用いて、映像からオブジェクトを検出する。例えば、あるカメラ２０から見えないが、他のカメラ２０から見えているオブジェクトがある場合、物体追跡装置１０は、あるカメラ２０からは見えないオブジェクトに対する追跡結果も、このあるカメラ２０の映像におけるオブジェクト検出に用いる。これにより、検出部１００は、このあるカメラ２０から見える範囲に同じオブジェクトが現れた場合に、このオブジェクトを好適に検出することができる。そのため、物体追跡装置１０は、このオブジェクトに対するオブジェクト追跡を精度よく行うことができる。
In this way, the
したがって、物体追跡装置１０は、前のフレームに対する追跡結果を用いない場合に比べ、オブジェクトの検出精度を高めることができる。また、物体追跡装置１０は、検出精度が高い検出結果の全てを用いてオブジェクト追跡を行うため、全体として得られる追跡結果の精度も向上する。
Therefore, the
（検出部１００の詳細）
次に、図４から図８を参照して、物体追跡装置１０の各部の機能についてより詳細に説明する。図４は、本実施の形態に係る物体追跡装置１０の検出部１００のより詳細な機能構成の一例を示す機能ブロック図である。図４に示す通り、検出部１００は、オブジェクト検出部１１０と、共通座標変換部（第２の変換部）１２０と、個別座標変換部（第１の変換部）１３０とを備えている。なお、図４では、検出部１００が受信するカメラ映像（ｎ）（ｎは、１～Ｎ）を、単にカメラ映像と記載している。
(Details of the detection unit 100)
Next, the function of each unit of the
個別座標変換部１３０は、統合追跡部２００から出力される追跡情報を、統合追跡部２００から受信する。そして、個別座標変換部１３０は、この追跡情報に含まれる、各トラッカーの共通座標系の座標値を、各カメラ２０が撮影するフレーム上の座標値（つまり、各カメラ２０固有の個別座標系で表現された座標値）に変換する。共通座標系の座標値を（Ｘ，Ｙ，Ｚ）とし、カメラ２０の個別座標系の座標値を（ｘ，ｙ）と表したとき、個別座標変換部１３０は、トラッカーの共通座標系の座標値（Ｘ，Ｙ，Ｚ）から、該個別座標変換部１３０を備える検出部１００に紐付けられたカメラ２０の個別座標系の座標値（ｘ，ｙ）を求める。このとき、個別座標変換部１３０は、少なくとも、検出部１００に紐付けられたカメラ２０の、カメラ位置、姿勢等を表すカメラパラメータをキャリブレーションにより求めておくことが好ましい。これにより、個別座標変換部１３０は、得られたカメラパラメータを用いて、共通座標系の座標値を、カメラ２０の個別座標系の座標値に変換する。
The individual coordinate
なお、このカメラパラメータは、検出部１００内の図示しない記憶部等に格納されるものであってもよいし、個別座標変換部１３０内の記憶領域に格納されるものであってもよい。後者の場合、個別座標変換部１３０は、共通座標変換部１２０にカメラパラメータを供給する構成であってもよい。
The camera parameters may be stored in a storage unit (not shown) in the
例えば、オブジェクトが人物であり、トラッカーの位置を示す情報が、該人物の足元位置を示す座標値と頭頂位置を示す座標値であるとする。そして、この足元位置の座標値と、頭頂位置の座標値とを、それぞれ（Ｘ０，Ｙ０，０）、（Ｘ０，Ｙ０，Ｈ）（Ｈは人物の高さを表す）とする。また、個別座標変換部１３０を備える検出部１００に紐付けられたカメラ２０が、カメラ２０－１であるとする。
For example, suppose the object is a person, and the information indicating the position of the tracker is coordinate values indicating the position of the person's feet and the position of the top of the head. The coordinate values of the feet and the top of the head are (X0, Y0, 0) and (X0, Y0, H) (H represents the height of the person), respectively. Also, suppose the
このとき、個別座標変換部１３０は、カメラ２０－１に関するカメラパラメータを用いて、該カメラ２０－１が撮影するフレーム上における足元位置（ｘ０，ｙ０）と頭頂位置（ｘ１，ｙ１）とをそれぞれ求める。もし、トラッカーの位置を示す情報が外接矩形を示す情報を含む場合、該外接矩形の幅を示す値は、以前に、カメラパラメータを用いて共通座標系の座標値に変換することにより、求められている。そのため、個別座標変換部１３０は、この外接矩形の幅として再び上記カメラパラメータを用いて変換した値を用いてもよい。
At this time, the individual coordinate
また、トラッカーによって追跡結果が示されるオブジェクトの全てが１つのカメラ２０から見えるわけではなく、このカメラ２０の視界の外側に存在する場合もある。したがって、追跡情報に含まれるトラッカーの位置を示す情報が、検出部１００に紐付けられたカメラ２０から見えないオブジェクトに関する情報の場合、個別座標変換部１３０は、オブジェクトの上記カメラ２０の個別座標系の座標値を求めることができない。よって、個別座標変換部１３０は、このようなカメラ２０の画角外で見えないオブジェクトに関するトラッカーの共通座標系の座標値を、個別座標系の座標値に変換しないようにしてもよい。この際、個別座標変換部１３０は、各カメラ２０で見える共通座標系の座標値の範囲を、カメラ２０毎に、図示しない記憶部等に予め登録しておき、各オブジェクトがこの中に入っているかどうかを判定するようにしてもよい。また、個別座標変換部１３０は、実際に個別座標系の座標値に変換して、紐付けられたカメラ２０で監視している領域の外側を示す異常な値になったり、値が求まらなかったりしたときに、座標値を変換したオブジェクトがカメラ２０から見えないオブジェクトであると判定してもよい。
In addition, not all objects for which tracking results are shown by a tracker are visible from one
そして、個別座標変換部１３０は、統合追跡部２００から出力された追跡情報に含まれるトラッカーの共通座標系の座標値が、検出部１００に紐付けられたカメラ２０の個別座標系の座標値に変換された結果（追跡情報）を、オブジェクト検出部１１０に出力する。つまり、個別座標変換部１３０は、共通座標系で表現された追跡情報を、個別座標系で表現された追跡情報に変換し、該変換後の追跡情報をオブジェクト検出部１１０に出力する。以降、単に「個別座標系の座標値」と記載した場合、検出部１００に紐付けられたカメラ２０の個別座標系の座標値を示す。
Then, the individual coordinate
オブジェクト検出部１１０は、オブジェクト検出部１１０を備える検出部１００に紐付けられたカメラ２０からのカメラ映像を受信する。また、オブジェクト検出部１１０は、個別座標変換部１３０から個別座標系の座標値に変換された追跡情報を受信する。そして、オブジェクト検出部１１０は、上記追跡情報に基づいて、受信したカメラ映像からオブジェクトを検出する。
The
そして、オブジェクト検出部１１０は、検出結果を生成する。オブジェクト検出部１１０は、生成した検出結果を共通座標変換部１２０に出力する。なお、この検出結果は、個別座標系で表現された検出結果である。
Then, the
図５を参照して、オブジェクト検出部１１０の構成についてより詳細に説明する。図５は、本実施の形態に係るオブジェクト検出部１１０の機能構成の一例を示す機能ブロック図である。図５に示す通り、オブジェクト検出部１１０は、認識型オブジェクト検出部（第１の物体検出部）１１１と、探索範囲設定部１１２とを備えている。
The configuration of the
探索範囲設定部１１２は、個別座標変換部１３０から、個別座標系の座標値に変換された追跡情報を受信する。そして、探索範囲設定部１１２は、この個別座標系の座標値に変換された追跡情報を用いて、現フレームに対するオブジェクトの検出を行う対象となるエリア（探索範囲）を求める。つまり、探索範囲設定部１１２は、個別座標系の座標値に変換された、前フレームの追跡結果からなる追跡情報に基づいて、現フレームのオブジェクトの位置を予測する。そして、探索範囲設定部１１２は、予測した位置から、オブジェクトを検索する検出範囲を求める。なお、この探索範囲をオブジェクトの検出範囲とも呼ぶ。
The search
ここで、探索範囲設定部１１２が受信する追跡情報は、現在処理を行おうとするフレームの時間から見ると、過去のフレームにおけるオブジェクト追跡の結果（過去の追跡結果とも呼ぶ）になる。そこで、探索範囲設定部１１２は、各オブジェクトの動きを予測し、現フレームにおける各オブジェクトの位置を予測する。以降、この予測したオブジェクトの位置を予測位置と呼ぶ。そして、探索範囲設定部１１２は、この予測位置の近傍を該オブジェクトの探索範囲として設定する。
The tracking information received by the search
探索範囲設定部１１２は、過去の追跡結果から算出されるオブジェクト毎の運動モデルを用いて、オブジェクト毎の動きを予測することが好ましい。例えば、探索範囲設定部１１２は、過去数フレーム（２フレームでもよい）の追跡結果でオブジェクトの位置が変化していないときには、該オブジェクトが静止していると判定し、追跡結果で得られたオブジェクトの位置をそのまま予測位置とする。また、探索範囲設定部１１２は、過去数フレームの追跡結果でオブジェクトが移動している場合には、該オブジェクトが等速で動いていると仮定し、過去フレームからの時間差を考慮して予測位置を求めてもよい。
It is preferable that the search
探索範囲設定部１１２がオブジェクト毎の動きを予測する際に使用する過去数フレームの追跡結果は、追跡情報に含まれるものであってもよい。また、上記過去数フレームの追跡結果から得られるオブジェクトの運動モデルも、上記追跡情報に含まれるものであってもよい。
The tracking results of the past few frames used by the search
また、この予測位置は、追跡情報に含まれていてもよい。つまり、統合追跡部２００が、オブジェクト追跡時にカルマンフィルタまたはパーティクルフィルタで求まった値を予測位置として、追跡情報に含めてもよい。
This predicted position may also be included in the tracking information. In other words, the
また、例えば、カメラ２０が撮影可能な範囲の外縁部分には、該カメラ２０の画角に新たなオブジェクトが出現する可能性がある。また、カメラ２０が撮影している場所が出入口のような場所を含む場合も、該カメラ２０の画角に新たなオブジェクトが出現する可能性がある。したがって、探索範囲設定部１１２は、このようなカメラ２０が撮影した映像に含まれるフレーム上における、これらの領域（フレームの外縁部および／または出入口部分）も併せてオブジェクト探索範囲に含めることが好ましい。
In addition, for example, a new object may appear in the angle of view of the
探索範囲設定部１１２は、設定したオブジェクトの探索範囲を示す情報（探索範囲情報）を認識型オブジェクト検出部１１１に出力する。
The search
認識型オブジェクト検出部１１１は、探索範囲設定部１１２から、探索範囲情報を受信する。認識型オブジェクト検出部１１１は、受信した探索範囲情報に基づいて、認識型オブジェクト検出部１１１に入力されるカメラ映像からオブジェクトを検出する。認識型オブジェクト検出部１１１は、入力されたカメラ映像のフレームを、一旦、認識型オブジェクト検出部１１１内のバッファ等の記憶手段に蓄えておき、探索範囲情報を受信すると、この情報を適用してオブジェクト検出処理を実行する。具体的には、認識型オブジェクト検出部１１１は、探索範囲情報によって示される領域（探索範囲）に対して、オブジェクトの画像特徴を学習させた識別器を用いて、オブジェクト検出を行う。
The recognition-type
例えば、オブジェクトが人物の場合には、認識型オブジェクト検出部１１１は、人物の特徴的な部位（例えば、頭部または上半身）を学習させた識別器を適用し、人物の検出を行う。また、認識型オブジェクト検出部１１１は、上記識別器として、人物全体を学習させた識別器を用いてもよい。認識型オブジェクト検出部１１１は、この識別器として、様々なものを用いることができる。例えば、認識型オブジェクト検出部１１１は、頭部、上半身、および、人物全身等の画像をＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で学習させて得られる識別器を用いることができる。また、認識型オブジェクト検出部１１１は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ Ｏｆ Ｇａｕｓｓｉａｎ）等の特徴抽出を行い、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ；サポートベクタマシン）、または、ＧＬＶＱ（Ｇｅｎｅｒａｌｉｓｅｄ Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ；一般化学習ベクトル量子化）等の識別器を用いるようにしてもよい。なお、上記以外でも、認識型オブジェクト検出部１１１は、既存の様々な認識ベースの検出手法を用いることができる。
For example, when the object is a person, the recognition-type
このように、本実施の形態に係る認識型オブジェクト検出部１１１は、探索範囲設定部１１２によって設定された探索範囲内において、物体を検出する。つまり、認識型オブジェクト検出部１１１は、探索範囲設定部１１２が前フレームにおける追跡結果を用いて絞り込んだ探索範囲内で、オブジェクト検出を行う。そのため、認識型オブジェクト検出部１１１は、フレームにおける、オブジェクトが存在する可能性が低い範囲でのオブジェクト検出を行わないため、余分な誤検知を低減できる。また、認識型オブジェクト検出部１１１は、オブジェクト検出の処理の高速化を図ることができる。
In this manner, the recognition-type
また、認識型オブジェクト検出部１１１がオブジェクト検出を行う探索範囲は、探索範囲情報で示される領域だけでなく、背景差分等によって求まるシルエット情報で定まる領域も含まれてもよい。また、認識型オブジェクト検出部１１１は、シルエット情報で定まる領域とオブジェクト探索範囲情報で指定される領域の共通部分を、オブジェクト検出を実行する領域（探索範囲）としてもよい。
The search range in which the recognition-type
そして、認識型オブジェクト検出部１１１は、オブジェクト検出を行った結果（検出結果）を生成し、該検出結果を共通座標変換部１２０に出力する。このとき、検出結果に含まれるオブジェクトの座標値は、個別座標系の座標値である。
Then, the recognition-type
図４に戻り、検出部１００の共通座標変換部１２０の機能について説明する。共通座標変換部１２０は、オブジェクト検出部１１０から、個別座標系で表現された、オブジェクト検出結果を受信する。そして、個別座標変換部１３０は、受信した検出結果に含まれる個別座標系の座標値を、共通座標系の座標値に変換する。これにより、共通座標変換部１２０は、個々のカメラ２０に対するオブジェクトの検出位置を統合するための情報を生成することができる。
Returning to FIG. 4, the function of the common coordinate
具体的には、共通座標変換部１２０は、共通座標変換部１２０を備える検出部１００に紐付けられたカメラ２０のカメラパラメータを用いて、オブジェクト検出結果に含まれる個別座標系の座標値を共通座標系の座標値に変換する。例えば、共通座標変換部１２０は、カメラ２０が撮影したフレーム上でのオブジェクトの下端の座標が（ｘ０，ｙ０）のとき、これを共通座標系の座標である（Ｘ０，Ｙ０，０）に変換する。ここで、地面をＺ＝０の平面としているため、Ｚ軸方向の成分が０となっている。また、オブジェクトの上端の座標が（ｘ１，ｙ１）のとき（ここでは、オブジェクトの上端は、オブジェクトの下端の真上（鉛直方向上方）にあると仮定）、オブジェクトの高さをＨとする。このとき、共通座標変換部１２０は、このオブジェクトの上端の座標（ｘ１，ｙ１）を、共通座標系の座標である（Ｘ０，Ｙ０，Ｈ）に変換する。なお、共通座標変換部１２０は、これを満たすＨを探索することにより、オブジェクトの高さを求める。このようにして、共通座標変換部１２０は、検出されたオブジェクト毎に、共通座標系での座標値（Ｘ，Ｙ，Ｚ）を求める。
Specifically, the common coordinate
なお、Ｈが既知の場合、共通座標変換部１２０は、その既知の値をそのまま用いてもよい。
If H is known, the common coordinate
共通座標変換部１２０は、座標変換後の座標値（共通座標系の座標値）を含む検出結果を、統合追跡部２００に出力する。つまり、共通座標変換部１２０は、共通座標系で表現された検出結果を統合追跡部２００に出力する。なお、共通座標変換部１２０は、検出結果に含まれる１または複数のターゲット（オブジェクト）の夫々に対し、シルエット情報および該オブジェクトの外見特徴（色、模様、形状など）の特徴量等の情報を該オブジェクトに関する情報として含めてもよい。そして、共通座標変換部１２０は、これらの情報を含んだ検出結果を統合追跡部２００に出力してもよい。
The common coordinate
（統合追跡部２００の詳細）
次に、図６を参照して、統合追跡部２００の機能構成についてより詳細に説明する。図６は、本実施の形態に係る物体追跡装置１０の統合追跡部２００のより詳細な機能構成の一例を示す機能ブロック図である。図６に示す通り、統合追跡部２００は、予測部２１０と、記憶部２２０と、対応付け部２３０と、更新部２４０と、を備えている。なお、本実施の形態における統合追跡部２００は、各カメラ２０からの映像をカメラ単位で逐次追跡するため、逐次追跡部とも呼ぶ。
(Details of the Integrated Tracking Unit 200)
Next, the functional configuration of the
この統合追跡部２００が行う、逐次のオブジェクト追跡（オブジェクトの逐次追跡、逐次統合追跡とも呼ぶ。）について、図７を用いて説明する。図７は、本実施の形態に係る統合追跡部２００が行うオブジェクトの逐次追跡処理を説明するための図である。図７には、カメラ数が３つの場合に、カメラＡ、カメラＢ、カメラＣの夫々で画像を取得するタイミングの一例を示している。図７において、横軸は、時間軸を示しており、右側にいくほど、時間的に後であることを示している。図７に示す通り、カメラＡは時間ｔ１、ｔ５およびｔ８で画像を取得している。同様に、カメラＢは、時間ｔ２、ｔ４、ｔ６およびｔ９で画像を取得し、カメラＣは時間ｔ３およびｔ７で画像を取得している。
The sequential object tracking (also called sequential object tracking or sequential integrated tracking) performed by the
図７に示す通り、各カメラ２０で取得されるフレーム（画像）の時間（タイムスタンプ）は、すべてのカメラ２０で一致しているとは限らず、通常ばらばらであることが多い。また、フレーム間隔も、カメラ２０ごとに異なる場合もあり、また、同じカメラ２０でも不均一であることもある。
As shown in FIG. 7, the time (timestamp) of the frame (image) captured by each
そして、検出部１００がこのカメラ２０間で非同期に出力されたカメラ映像から、時間順に検出を行い、検出結果を統合追跡部２００に出力する。
Then, the
本実施の形態に係る統合追跡部２００は、時間的に早い時間の画像から順に、逐次追跡処理を実行する。即ち、図７の場合、統合追跡部２００は、まず、カメラＡの時間ｔ１の画像に対するオブジェクト検出結果を用いて、複数カメラ間の統合を行い、オブジェクト追跡を行う。それが終わると、統合追跡部２００は、続いて、カメラＢの時間ｔ２、カメラＣの時間ｔ３、カメラＢの時間ｔ４、・・・の順に、オブジェクト検出結果を用いて、複数カメラ間の統合を行い、オブジェクト追跡を行う。この際、オブジェクトの全てがどのカメラ２０からも見えているわけではないため、統合追跡部２００は、カメラ２０毎に見えている可能性が高いオブジェクトに対してオブジェクト追跡を行う。
The
図６に戻り、統合追跡部２００の各部について説明する。
Returning to Figure 6, we will now explain each part of the
記憶部２２０には、統合追跡部２００が受信した検出結果に含まれるオブジェクト（ターゲット）と対応付ける、トラッカーの情報が格納されている。この記憶部２２０に格納されている、トラッカーの情報は、トラッカーのＩＤを用いて、更新部２４０によって管理されている。このトラッカーの情報とは、例えば、トラッカーに追跡結果が含まれるオブジェクトに関する情報、トラッカーの尤度等を含むパラメータ等であるが、本発明はこれに限定されるものではない。オブジェクトに関する情報には、オブジェクトの過去の位置を示す情報、該オブジェクトの運動モデル等が含まれるが本発明はこれに限定されるものではない、オブジェクトに関する情報には、上述したオブジェクト検出結果に含まれる情報が含まれてもよい。
The
なお、図６では、記憶部２２０が統合追跡部２００内に内蔵されることを例に説明を行うが、本発明はこれに限定されるものではない。記憶部２２０は、統合追跡部２００とは、別に、物体追跡装置１０内に設けられるものであってもよい。また、記憶部２２０は、物体追跡装置１０とは別個の記憶装置等で実現されるものであってもよい。
In FIG. 6, the
記憶部２２０が統合追跡部２００内に内蔵されない場合、記憶部２２０は、物体追跡装置１０内で使用するデータ等を格納する構成であってもよい。例えば、記憶部２２０には、例えば、カメラ２０で撮影したカメラ映像、各カメラ２０のカメラパラメータ、各カメラ２０で見える共通座標系の座標値の範囲等が格納されていてもよい。
When the
予測部２１０は、記憶部２２０を参照し、現フレーム上のオブジェクトの位置を予測する。具体的には、予測部２１０は、前フレームにおけるオブジェクトの追跡結果（トラッカー）を用いて、該オブジェクトの運動モデルに基づいて、該オブジェクトの現在の位置を予測する。ここで、オブジェクトの位置を示す情報は共通座標系で表現されている。
The
また、予測部２１０が位置の予測に使用するオブジェクトの運動モデルは、記憶部２２０に格納されているものであってもよいし、予測部２１０が追跡結果を用いて、オブジェクトの位置の予測を行う前に算出したものであってもよい。
The motion model of the object used by the
予測部２１０によるオブジェクトの位置の予測には、例えば、カルマンフィルタまたはパーティクルフィルタ等の予測処理を適用することができる。また、予測部２１０は、単純に、過去数回分の追跡結果からオブジェクトの速度を算出し、等速直線運動を仮定して、前フレームにおける位置からの移動量を速度から予測して該前フレームにおける位置に加算することにより、現在の位置を予測してもよい。
The
そして、予測部２１０は、予測結果を対応付け部２３０に出力する。
Then, the
対応付け部２３０は、検出部１００の夫々から出力される検出結果を受信する。なお、図６において、検出結果（ｎ）（ｎは、１～Ｎ）は、検出部１００－ｎから出力された検出結果を示している。また、対応付け部２３０は、予測部２１０から、予測結果を受信する。そして、対応付け部２３０は、記憶部２２０を参照し、上記予測結果を用いて、検出結果に含まれるターゲットと、トラッカーとの対応付けを行う。
The
対応付け部２３０は、対応付け全体として最も確度が高くなる組み合わせを求める。あるターゲットｍと、あるトラッカーｋが対応付く尤度は、ターゲットｍおよびトラッカーｋのそれぞれの尤度Ｐｍおよびηｋと、両者が同一のオブジェクトである可能性を表す尤度ｑｋｍとを掛け合わせたものになる。よって、対応付け部２３０は、ターゲットおよびトラッカーの各ペアに対してこの値を算出し、全体として最大となる組み合わせを求める。
The
ここで、ターゲットの尤度（第１の尤度）は、オブジェクト検出の確からしさ（確度）を表す値である。オブジェクト検出の確度は、検出対象のオブジェクト（検出オブジェクトと呼ぶ）の画面上（フレーム上）における大きさ、カメラ２０から、オブジェクトの検出位置までの距離、カメラ２０からのオブジェクトの見え方等に依存する。
Here, the target likelihood (first likelihood) is a value that represents the certainty (accuracy) of object detection. The accuracy of object detection depends on the size of the object to be detected (called the detected object) on the screen (on the frame), the distance from the
例えば、検出オブジェクトが小さく、該検出オブジェクトのサイズが検出できるサイズの限界に近い場合には、オブジェクト検出の確度は低くなる。また、検出オブジェクトの大きさが、カメラパラメータによって想定されるオブジェクトの見かけの大きさからずれている場合、オブジェクト検出の確度は低くなる。また、オブジェクトの検出位置がカメラ２０から離れていたり、オブジェクトの存在する領域に対する照明条件が悪く、オブジェクトが検出されにくい場所であったりする場合には、オブジェクト検出の確度は低くなる。また、識別器の学習に用いたデータと、実際の見え方が大きく異なる場合（例えば、角度が異なるなど）にも、オブジェクト検出の確度は低くなる。
For example, if the detected object is small and the size of the detected object is close to the limit of the size that can be detected, the accuracy of object detection will be low. Also, if the size of the detected object deviates from the apparent size of the object assumed by the camera parameters, the accuracy of object detection will be low. Also, if the detected position of the object is far from the
対応付け部２３０は、このような特性を反映させて、ターゲットの尤度を算出する。具体的には、対応付け部２３０は、検出部１００から受信した検出結果に含まれる、ターゲットの尤度情報を用いて、ターゲットの尤度を算出する。なお、検出部１００がターゲットの尤度を算出し、算出した尤度をターゲットの尤度情報として検出結果に含めている場合、対応付け部２３０は、このターゲットの尤度情報に含まれる尤度をそのまま用いてもよい。なお、ターゲットの尤度はここに記載したすべての項目を反映させる必要はなく、主要な要因のみを反映させるようにしてもよい。
The
トラッカーの尤度（第２の尤度）は、オブジェクト追跡の確からしさ（確度）を表す値である。オブジェクト追跡の確度は、前フレームにおけるオブジェクト追跡の追跡結果に依存して変化する。例えば、現フレームの前の（過去の）フレームまでにおける追跡結果で、ターゲットと確実に対応付いているトラッカーは、オブジェクト追跡の確度が高いと言え、あまり対応づいていないトラッカーは、オブジェクト追跡の確度が低いと言える。よって、対応付け部２３０は、各フレームにおいて、ターゲットとトラッカーとが対応付いたかどうかの結果に基づいて、尤度を変化させていけばよく、対応付いた場合にトラッカーの尤度を上げ、対応付かなかった場合にトラッカーの尤度を下げるようにすればよい。
The tracker likelihood (second likelihood) is a value that indicates the reliability (accuracy) of object tracking. The accuracy of object tracking changes depending on the tracking result of object tracking in the previous frame. For example, a tracker that is reliably associated with a target in the tracking results up to the previous (past) frame of the current frame can be said to have a high accuracy of object tracking, and a tracker that is not so associated can be said to have a low accuracy of object tracking. Therefore, the
また、この際、トラッカーの位置が、カメラ２０から遠い位置にある場合には、このトラッカーの位置の誤差が大きくなると考えられる。その結果、このようなトラッカーは、検出結果に含まれるオブジェクト（ターゲット）と対応付きにくくなる。このため、対応付け部２３０は、トラッカーの位置とカメラ２０との距離に応じて、該トラッカーの尤度を変化させる比率を変更させてもよい。更に対応付け部２３０は、カメラ２０が、トラッカーによって追跡結果が示されるオブジェクトを見たときの、該カメラ２０を含む水平面と視線方向とがなす角（俯角または仰角）に応じて、該トラッカーの尤度を変化させる比率を変えてもよい。
In addition, in this case, if the tracker is located far from the
例えば、トラッカーによって追跡結果が示されるオブジェクト（以降、トラッカーのオブジェクトと呼ぶ）がカメラ２０から近く、該オブジェクトに対するカメラ２０の俯角が所定の角度より大きい場合には、オブジェクトの位置の精度は高い。よって、該トラッカーと、ターゲットとが対応付きやすい。そのため、このような場合、対応付け部２３０は、トラッカーの尤度を変化させる比率をより大きくする。
For example, if an object whose tracking results are indicated by the tracker (hereinafter referred to as the tracker's object) is close to the
また、例えば、トラッカーのオブジェクトがカメラ２０から遠く該オブジェクトに対するカメラ２０の俯角が所定の角度より浅い場合、カメラ２０が撮影したフレーム上における該オブジェクトのサイズは小さくなる。また、画像上での少しの位置のずれが、実空間上では大きなずれになる。よって、該オブジェクトの検出位置の精度は低くなる可能性が高い。そのため、このような場合、対応付け部２３０は、トラッカーの尤度を変化させる比率をより小さくする。このようにして、対応付け部２３０は、トラッカーの尤度を算出する。
For example, if the tracker object is far from the
以上のように、対応付け部２３０は、トラッカーのオブジェクトに近いカメラ２０で検出された検出結果を優先的にトラッカーの尤度に反映できるため、全体として追跡の精度を上げることができる。なお、トラッカーの尤度にはここに記載したすべての項目を反映させる必要はなく、主要な要因のみを反映させるようにしてもよい。
As described above, the
また、ターゲットｍとトラッカーｋと間の同一性を表す尤度ｑｋｍは、両者が同一である確度を表している。ターゲットが示すオブジェクトと、トラッカーのオブジェクトとが同一のオブジェクトの場合には、ターゲットとトラッカーのオブジェクトとの位置は近くなる可能性が高い。そのため、対応付け部２３０は、ターゲットとトラッカーのオブジェクトとの間の距離に応じて尤度を変化させる。つまり、対応付け部２３０は、ターゲットｍとトラッカーｋのオブジェクトとの距離が近い場合に、尤度ｑｋｍの値をより大きく、距離が離れている場合に尤度ｑｋｍの値をより小さくすればよい。
The likelihood qkm, which indicates the identity between target m and tracker k, represents the degree of certainty that the two are identical. If the object indicated by the target and the object of the tracker are the same object, the positions of the target and the object of the tracker are likely to be close to each other. Therefore, the
この際、ターゲットｍがカメラ２０から離れていたり、カメラ２０の該ターゲットｍに対する俯角が所定の角度より浅かったりする場合には、ターゲットｍの位置の精度が低くなる可能性が高い。よって、対応付け部２３０は、単純なユークリッド距離を用いた距離の計算ではなく、ターゲットの検出位置に含まれる誤差（曖昧さ）を考慮した、マハラノビス距離を用いて、ターゲットとトラッカーのオブジェクトとの間の距離を求めてもよい。また、対応付け部２３０は、上記方法の他に、曖昧さを考慮して、距離に応じた尤度ｑｋｍの変化の度合いを制御するようにしてもよい。即ち、対応付け部２３０は、上記曖昧さがより大きい場合には、ターゲットｍとトラッカーｋのオブジェクトとの間の距離に応じて、尤度ｑｋｍの変化をより小さくする。これにより、対応付け部２３０は、ターゲットの位置ずれが対応付けに与える影響を軽減させる。
In this case, if the target m is far from the
さらに、対応付け部２３０は、ターゲットおよびトラッカーの外見の類似性も考慮してもよい。即ち、対応付け部２３０は、ターゲットおよびトラッカーのオブジェクトの色、模様、形状といった特徴を抽出しておき、これらの類似性を評価して、尤度ｑｋｍを求めるようにしてもよい。
Furthermore, the
例えば、対応付け部２３０は、オブジェクトの色ヒストグラムを、ターゲットおよびトラッカーのオブジェクトの両方に対して算出し、これらの類似度を色ヒストグラムの重なり等によって評価し、尤度ｑｋｍに反映させてもよい。なお、ターゲットおよびトラッカーの同一性を表す尤度ｑｋｍも、トラッカーの尤度ηｋおよびターゲットの尤度Ｐｍと同様に、上述した全ての項目を反映させる必要はなく、主要な要因のみを反映させるようにしてもよい。
For example, the
また、対応付け部２３０は、オブジェクトがカメラ２０の画角外に出たり、他のオブジェクトに遮蔽されたりして、検出されない場合も考慮して、上記の各尤度を算出してもよい。これにより、統合追跡部２００は、オブジェクトが未検出であったり、画角外に出てしまったりする場合であっても、高精度にオブジェクトを追跡することができる。
The
以上のように、各尤度を算出し、全体として各尤度が最大となるターゲットとトラッカーとの対応付けを求める問題は、各尤度を単調非増加関数によってコストに変換して用いることにより、コストが最小となる割当問題（どのターゲットをどのトラッカーに対応付けるか）に帰着できる。この割当問題は、例えば、ハンガリアン法等の手法により、効率的に算出することが可能である。 As described above, the problem of calculating each likelihood and finding the correspondence between targets and trackers that maximizes each likelihood overall can be reduced to an assignment problem (which target is associated with which tracker) that minimizes cost by converting each likelihood into a cost using a monotonically non-increasing function. This assignment problem can be calculated efficiently using a method such as the Hungarian method.
そして、対応付け部２３０は対応付けの結果を更新部２４０に出力する。この対応付けの結果には、どのターゲットとトラッカーとが対応付くかを示す情報と、少なくともトラッカーの尤度を含む上記各尤度とが含まれる。
Then, the
なお、本実施の形態において、対応付け部２３０は、ターゲットの尤度と、トラッカーの尤度との両方の尤度を用いて、対応付けを行ったが、どちらか一方の尤度を用いて対応付けを行ってもよい。
In this embodiment, the
更新部２４０は、トラッカーの情報の更新を行う。そして、更新部２４０は、このトラッカーを新たなオブジェクト追跡結果として生成する。具体的には、更新部２４０は、対応付け部２３０から、対応付けの結果を受信する。そして、更新部２４０は、この結果に基づいて、トラッカーのオブジェクトの現在位置を算出する。そして、更新部２４０は、記憶部２２０に格納された該トラッカー情報を更新する。更新を行う情報は、例えば、トラッカーに追跡結果が含まれるオブジェクトの位置および／またはサイズ、該オブジェクトの運動モデル、および、トラッカーの尤度等のパラメータであるが、本発明はこれに限定されるものではない。更新部２４０は、記憶部２２０に格納された情報のうち、更新があった情報を更新すればよい。
The
まず、更新部２４０による、トラッカーのオブジェクトの現在位置の算出について説明する。更新部２４０は、トラッカーのオブジェクトの現在位置を、ターゲットの位置の精度を考慮して算出する。例えば、更新部２４０がトラッカーを用いてオブジェクトの位置を予測した予測位置と、該トラッカーに対応付いたターゲットの検出位置とに対し、重みづけを行い、該トラッカーのオブジェクトの現在位置を算出するとする。この場合、更新部２４０は、ターゲットの位置の確度によって、該重みを制御してもよい。
First, the calculation of the current position of the tracker object by the
例えば、ターゲットがカメラ２０から離れた位置にあり、該カメラ２０のターゲットに対する俯角が浅い場合には、このターゲットの位置の精度は低い可能性が高い。このような場合、更新部２４０は、このターゲットの位置に対する重みをより小さくする。
For example, if a target is located far away from the
一方、ターゲットがカメラ２０に近い位置にあり、該カメラ２０ターゲットに対する俯角が所定の値より大きい場合には、このターゲットの位置の精度は高いと想定される。このような場合、更新部２４０は、このターゲットの位置に対する重みをより大きくする。
On the other hand, if the target is located close to the
更新部２４０は、予測位置と、重みを設定した位置とを用いて、トラッカーのオブジェクトの現在位置を算出する。
The
このように、更新部２４０がターゲットの位置に対する重みを決定することで、ターゲットに近いカメラ２０による、オブジェクトの検出位置の予測結果がより強く反映されるようになる。したがって、物体追跡装置１０は、オブジェクトの位置の予測精度を向上させることができる。
In this way, the
そして、更新部２４０は、記憶部２２０に格納されたオブジェクトに関する情報に含まれる、オブジェクトの最も新しい位置を、算出したオブジェクトの現在位置に更新する。
Then, the
次に、更新部２４０が行うトラッカーの尤度の更新について説明する。
Next, we will explain how the
トラッカーのオブジェクトがカメラ２０から離れた位置にある場合、該オブジェクトの大きさは小さくなる。そのため、検出部１００は、このようなオブジェクトを検出し辛くなる。
When a tracker object is located far away from the
また、フレームに含まれるオブジェクトが、学習に用いたオブジェクトの見え方と異なる見え方である場合に、検出部１００の認識型オブジェクト検出部１１１が認識型のオブジェクト検出を行う場合について説明する。フレームに含まれるオブジェクトが、学習に用いたオブジェクトの見え方と異なる見え方である場合とは、例えば、トラッカーのオブジェクトの位置から想定される、該オブジェクトに対するカメラ２０の俯角と、学習に用いたオブジェクトに対するカメラ２０の俯角と、が大きく異なる場合である。このような場合、検出部１００の認識型オブジェクト検出部１１１は、フレームに含まれるオブジェクトを検出し辛くなる。
The following describes a case where the recognition-type
このようなオブジェクトを検出し辛い状況の場合、フレームに含まれるオブジェクトは、未検出となってしまう可能性がある。この場合、このオブジェクトに関連するトラッカーに対応付くターゲットが存在しない可能性がある。 In such a difficult-to-detect situation, an object in the frame may go undetected. In this case, there may be no target associated with the tracker associated with this object.
したがって、更新部２４０は、ターゲットに関連付いていないトラッカーのうち、オブジェクトが検出されづらい状況にあるオブジェクトのトラッカーの尤度の変化を小さく抑える。
Therefore, the
このようにして、更新部２４０は、オブジェクトが検出されにくい場合の追跡への影響を抑え、検出されやすいカメラでの検出の結果をトラッカーの尤度に大きく反映させることができる。そして、次のフレームに対するオブジェクト追跡の際に、対応付け部２３０は、このトラッカーの尤度に基づいて、対応付けを行うため、統合追跡部２００は、よりオブジェクト追跡の精度を向上させることができる。
In this way, the
そして、記憶部２２０に格納されたトラッカーの尤度のうち、対応付け部２３０が算出したトラッカーの尤度と、上記変化を小さく抑えたトラッカーの尤度とを、更新する。
Then, among the tracker likelihoods stored in the
次に、更新部２４０による、トラッカーのオブジェクトの運動モデルの更新について説明する。例えば、統合追跡部２００が、カルマンフィルタを用いてオブジェクトの位置を予測することによって、オブジェクト追跡を行う場合について説明する。この場合、更新部２４０は、ターゲットと対応付いたトラッカーのオブジェクトの位置座標を、検出された位置座標として、記憶部２２０に格納された、カルマンフィルタの状態変数の更新式に代入し、カルマンフィルタの状態を更新する。
Next, the updating of the motion model of the tracker object by the
また、上記以外にも更新部２４０は、記憶部２２０に格納された、トラッカーのその他のパラメータ等を更新する。
In addition to the above, the
例えば、オブジェクト自体が姿勢を変更する場合がある。例えば、オブジェクトが人物の場合には、該人物がしゃがんだり、屈んだりすることにより、該オブジェクトの見かけの高さが変わる。このように、運動モデル以外に、オブジェクトのサイズ等も変更がある場合、更新部２４０は、記憶部２２０に格納された情報のうち、この変更があった情報の更新を行う。
For example, the object itself may change its posture. For example, if the object is a person, the apparent height of the object may change when the person crouches or bends. In this way, when there are changes to the size of the object in addition to the motion model, the
さらに、トラッカーのパラメータとして、トラッカーのオブジェクトの存在する確率、追跡結果の信頼度を表す重み等が含まれている場合、この重みは対応付け部２３０による対応付けの結果に応じて変化する。したがって、更新部２４０は、この重み等のパラメータを更新する。
Furthermore, if the tracker parameters include the probability that the tracker's object exists, a weight indicating the reliability of the tracking result, etc., this weight changes according to the result of the matching by the
また、更新部２４０は、トラッカーの更新として、トラッカーの生成、削除を行う。まず、更新部２４０は、対応付け部２３０による対応付けの処理後、トラッカーと対応付かないターゲットが存在するか否かを判定する。このトラッカーと対応付かないターゲットは、カメラ２０で撮影される範囲内に新たに現れたオブジェクトである可能性がある。そのため、更新部２４０は、トラッカーと対応付かないターゲットが存在する場合、このターゲットが上記範囲内に新たに表れたオブジェクトとみなせるか否かの判定を行う。
The
つまり、更新部２４０は、トラッカーと対応付かないターゲットが存在する場合、このターゲットの存在する確率を評価する。そして、更新部２４０は、この確率が所定の値以上か否かを判定する。そして、この確率が所定の値以上の場合、更新部２４０は、このターゲットが示すオブジェクトが、上記範囲内に新たに表れたオブジェクトであると判定する。そして、更新部２４０は、上記範囲内に新たに表れたオブジェクトと判定したオブジェクト（ターゲット）に関連するトラッカーを新規に作成する。
In other words, when a target that does not correspond to a tracker exists, the
また、更新部２４０は、ターゲットと対応付かないトラッカーが存在するか否かを判定する。このターゲットと対応付かないトラッカーは、カメラ２０で撮影される範囲内から消えた（範囲内から範囲外に移動した）オブジェクトに関するトラッカーである可能性がある。そのため、更新部２４０は、ターゲットと対応付かないトラッカーが存在する場合、このターゲットが上記範囲内から消えたオブジェクトに関するトラッカーとみなせるか否かを判定する。
The
つまり、更新部２４０は、ターゲットと対応付かないトラッカーが存在する場合、このトラッカーに関するオブジェクトの存在する確率を評価する。そして、更新部２４０は、この確率が所定の値を下回るかを判定する。そして、この確率が所定の値を下回った場合、更新部２４０は、このトラッカーに関するオブジェクトが、上記範囲内から消えたオブジェクトであると判定する。そして、更新部２４０は、上記範囲内から消えたオブジェクトと判定したオブジェクトに関するトラッカーを削除する。
In other words, when a tracker that does not correspond to a target exists, the
オブジェクトの存在する確率とは、トラッカーの尤度によって求められる。つまり、更新部２４０は、ターゲットと対応付かないトラッカーが存在する場合、このトラッカーの尤度を減じていく。そして、トラッカーの尤度の値が所定の閾値を下回った場合、更新部２４０は、該トラッカーを削除するようにする。
The probability that an object exists is determined by the likelihood of the tracker. In other words, if there is a tracker that does not correspond to the target, the
そして、更新部２４０は、最終的に残ったトラッカーを、このフレームにおけるオブジェクトの追跡結果として生成する。そして、更新部２４０は、このうち、トラッカーの位置を示す情報およびトラッカーのオブジェクトの大きさに関する情報等を、オブジェクト追跡の追跡結果を示す情報（追跡情報）として出力する。
The
このように、本実施の形態に係る物体追跡装置１０によれば、オブジェクト追跡は、各カメラ２０から出力されたカメラ映像に含まれる時間情報が古いものから順に行われる。複数のカメラ２０の夫々の映像データから検出されるオブジェクトは、カメラ２０毎の確度の高い検出結果を統合し、この検出結果および過去の追跡結果が反映された追跡結果を用いて検出される。そのため、物体追跡装置１０の統合追跡部２００が行うオブジェクト追跡の追跡精度が向上する。
In this way, according to the
次に、図８を用いて、本実施の形態に係る物体追跡装置１０の物体追跡処理の流れについて説明する。図８は、本実施の形態に係る物体追跡装置１０の物体追跡処理の流れの一例を示すフローチャートである。
Next, the flow of the object tracking process of the
図８に示す通り、まず、検出部１００の認識型オブジェクト検出部１１１が該オブジェクト検出部１１０を備える検出部１００に紐付けられたカメラ２０からのカメラ映像を受信する（ステップＳ８１）。
As shown in FIG. 8, first, the recognition-type
検出部１００は、受信したカメラ映像のフレームが、該カメラ２０から出力される最初のフレームか否かを確認し（ステップＳ８２）、最初のフレームの場合（ステップＳ８２にてＹＥＳ）、処理をステップＳ８５に進める。
The
受信したカメラ映像のフレームが最初のフレームではない場合（ステップＳ８２にてＮＯ）、個別座標変換部１３０が、統合追跡部２００から出力される、前フレームに対する追跡情報を、個別座標系で表現された追跡情報に変換する（ステップＳ８３）。
If the received camera image frame is not the first frame (NO in step S82), the individual coordinate
そして、オブジェクト検出部１１０の探索範囲設定部１１２がステップＳ８３にて変換された追跡情報を用いて、現フレームに対するオブジェクトの探索範囲を設定する（ステップＳ８４）。
Then, the search
そして、認識型オブジェクト検出部１１１が、受信したカメラ映像からオブジェクトを検出する（ステップＳ８５）。
Then, the recognition-type
次に、個別座標変換部１３０が、認識型オブジェクト検出部１１１による検出結果を、共通座標系で表現された検出結果に変換する（ステップＳ８６）。
Next, the individual coordinate
次に、統合追跡部２００の予測部２１０が、トラッカーの情報を用いて、現フレーム上のオブジェクトの位置を予測する（ステップＳ８７）。
Next, the
そして、対応付け部２３０が、検出結果に含まれるオブジェクト（ターゲット）と、トラッカーとを対応付ける（ステップＳ８８）。
Then, the
次に、更新部２４０がトラッカーのオブジェクトの位置およびオブジェクトの運動モデル等の、トラッカーの情報の更新を行う（ステップＳ８９）。
Next, the
更に、更新部２４０がトラッカーの生成および／または削除を行う（ステップＳ９０）。そして、物体追跡装置１０は、検出部１００にフレームが入力されなくなるまで、この処理を繰り返す。
Furthermore, the
（効果）
以上のように、本実施の形態に係る物体追跡装置１０によれば、より高精度に物体を追跡することができる。なぜならば、検出部１００が、カメラ２０の出力情報から、該出力情報（映像のフレーム）の前の出力情報に対する追跡情報に基づいて、物体を検出するからである。そして、統合追跡部２００が、各検出部１００が出力した、複数の検出結果に基づいて、物体を追跡し、共通座標系で表現された物体の追跡情報を生成するからである。
(effect)
As described above, the
例えば、あるカメラ２０から見えないが、他のカメラ２０から見えているオブジェクトがある場合、物体追跡装置１０は、あるカメラ２０からは見えないオブジェクトに対する追跡結果も、このあるカメラ２０の映像におけるオブジェクト検出に用いる。これにより、検出部１００は、このあるカメラ２０から見える範囲に同じオブジェクトが現れた場合に、このオブジェクトを好適に検出することができる。そのため、物体追跡装置１０は、このオブジェクトに対するオブジェクト追跡を精度よく行うことができる。
For example, if there is an object that is not visible from one
したがって、物体追跡装置１０は、前のフレームに対する追跡結果を用いない場合に比べ、オブジェクトの検出精度を高めることができる。また、物体追跡装置１０は、検出精度が高い検出結果の全てを用いてオブジェクト追跡を行うため、全体として得られる追跡結果の精度も向上する。
Therefore, the
このように、本実施の形態に係る物体追跡装置１０は、複数のカメラ２０の夫々が撮影している領域をまたがって移動する人物等の動線を抽出することが可能になる。これにより、物体追跡装置１０による追跡結果は、例えば、店舗内を回遊する顧客の行動を分析し、マーケティングや店舗のレイアウト変更の基礎情報とすることができる。また、この追跡結果は、セキュリティ目的で、エリア間をうろつく人物を検出に利用することができる。
In this way, the
また、探索範囲設定部１１２が追跡結果を用いて、カメラ映像における、オブジェクト検出を行う検索範囲を設定するため、認識型オブジェクト検出部１１１は、余分な誤検知を低減できる。また、認識型オブジェクト検出部１１１は、オブジェクト検出の処理の高速化を図ることができる。
In addition, since the search
また、統合追跡部２００が、ターゲットの尤度および／またはトラッカーの尤度を用いて、オブジェクト追跡を行うことにより、物体追跡装置１０は、より信頼性の高いオブジェクト追跡結果を得ることができる。また、物体追跡装置１０は、このようにして得られたオブジェクト追跡結果を用いて、オブジェクト検索を行うため、よりオブジェクト追跡の精度を高めることができる。これにより、全体として、物体追跡装置１０は、オブジェクト追跡の精度を向上させることができる。
In addition, the
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について、図面を参照して説明する。なお、説明の便宜上、前述した第１の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
Second Embodiment
Next, a second embodiment of the present invention will be described with reference to the drawings. For the sake of convenience, the same reference numerals are used for components having the same functions as those included in the drawings described in the first embodiment, and the description thereof will be omitted.
本実施の形態に係る物体追跡システム２は、図２を用いて説明した第１の実施の形態に係る物体追跡システム１の物体追跡装置１０の代わりに、物体追跡装置５０を備える構成である。物体追跡システム２のその他のシステム構成については、図２に示した物体追跡システム１と同様であるため、説明を省略する。
The object tracking system 2 according to this embodiment is configured to include an
（物体追跡装置５０）
物体追跡装置５０の機能について、図９を参照して説明を行う。図９は、本実施の形態に係る物体追跡装置５０の機能構成の一例を示す機能ブロック図である。図９に示す通り、物体追跡装置５０は、複数の検出部（１００－１～１００－Ｎ）と、統合追跡部２００と、表示制御部３００とを備えている。なお、上述した第１の実施の形態と同様に本実施の形態では、複数の物体検出部（１００－１～１００－Ｎ）の夫々を区別しない場合、または、総称する場合には、これらを検出部１００と呼ぶ。
(Object Tracking Device 50)
The function of the
表示制御部３００は、表示装置３０に表示させる画像（映像）を制御するものである。具体的には、表示制御部３００は、統合追跡部２００が出力する追跡情報を、表示装置３０に表示可能なデータに変換した表示データを生成し、表示装置３０に送信する。統合追跡部２００が出力する追跡情報は、共通座標系で表現されている。そのため、表示制御部３００は、共通座標系で表示装置３０に表示可能な表示データを生成する。
The
なお、このとき、統合追跡部２００は、表示装置３０にオブジェクトの動線を表示するために必要な情報（例えば、トラッカーのオブジェクトの過去の位置を示す情報）を追跡情報として、表示制御部３００に出力することが好ましい。この追跡情報は、検出部１００にフィードバックする情報と同じであってもよいし、異なるものであってもよい。
At this time, it is preferable that the
そして、表示装置３０は、受信した表示データを画面に表示する。これにより、物体追跡装置５０は、追跡結果をユーザに提示することができる。
The
また、本実施の形態に係る物体追跡装置５０の検出部１００は、オブジェクト検出部１１０の探索範囲設定部１１２が設定する探索範囲を、表示装置３０に表示可能なデータに変換した表示データを生成し、表示装置３０に送信する。探索範囲設定部１１２が出力する探索範囲情報は、個別座標系で表現されている。したがって、表示制御部３００は、探索範囲情報を出力した検出部１００に紐付いたカメラ２０のカメラパラメータを用いて、個別座標系で表示装置３０に表示可能な表示データを生成する。
The
そして、表示装置３０は、受信した表示データを画面に表示する。これにより、物体追跡装置５０は、各検出部１００から出力された、オブジェクトの探索範囲情報を用いて、該探索範囲をユーザに提示することができる。
The
なお、表示装置３０は、複数であってもよい。例えば、表示装置３０は、共通座標系で表示される表示データと、個別座標系で表示される表示データとを異なる表示装置３０で受信して、夫々において、受信した表示データを画面に表示する構成であってもよい。また、表示装置３０は、１つの画面の表示領域を分割して、複数の表示データを画面に表示する構成であってもよい。このように、本実施の形態に係る表示装置３０における表示データ表示方法は特に限定されない。
Note that there may be
また、表示制御部３００は、検出部１００内に夫々備えられる構成であってもよい。図１０は、本実施の形態に係る物体追跡装置５０の検出部１００の機能構成の一例を示す機能ブロック図である。図１０に示す通り、検出部１００は、オブジェクト検出部１１０と、共通座標変換部１２０と、個別座標変換部１３０と、表示制御部１５０とを備えている。また、オブジェクト検出部１１０は、図５に示すオブジェクト検出部１１０と同様に、認識型オブジェクト検出部１１１と、探索範囲設定部１１２とを備えている。
The
図１０に示す探索範囲設定部１１２は、設定した探索範囲を示す探索範囲情報を表示制御部１５０に出力する。表示制御部１５０は、探索範囲設定部１１２から出力された探索範囲情報を受信し、表示制御部３００と同様に、表示装置３０に表示可能なデータに変換した表示データを生成する。探索範囲設定部１１２が出力する探索範囲情報は、個別座標系で表現されている。したがって、表示制御部１５０は、該表示制御部１５０を備える検出部１００に紐付いたカメラ２０のカメラパラメータを用いて、個別座標系で表示装置３０に表示可能な表示データを生成する。
The search
そして、表示制御部１５０は、生成した表示データを表示装置３０に送信する。そして、表示装置３０は、受信した表示データを画面に表示する。
The
（適用例）
本実施の形態に係る物体追跡装置５０の適用例を図１１から１４を参照して説明する。図１１から図１４は、本実施の形態に係る物体追跡装置５０の適用例を説明するための図である。
(Application example)
Application examples of the
まず、図１１は、棚Ｒ１と棚Ｒ２と、複数のカメラ（Ａ～Ｆ）が設置された室内を、重力方向とは逆の方向から見た場合の室内の例を示す図である。図１１に示す通り、図１１の横方向を共通座標系におけるＸ軸とし、縦方向をＹ軸としている。棚Ｒ１と棚Ｒ２とは、長手方向が、Ｙ軸方向と平行になるように、Ｘ軸上に並べて設置されている。 First, FIG. 11 is a diagram showing an example of a room in which shelves R1, R2, and multiple cameras (A to F) are installed, viewed from the direction opposite to the direction of gravity. As shown in FIG. 11, the horizontal direction of FIG. 11 is the X-axis in a common coordinate system, and the vertical direction is the Y-axis. Shelves R1 and R2 are installed side by side on the X-axis so that their longitudinal directions are parallel to the Y-axis direction.
カメラＡは、この部屋の出入口に近接した位置に設置されている。本実施の形態では、カメラＡ～Ｆによって、この室内が、全て撮影されているとみなす。つまり、図１１に示す通り、複数のカメラ（Ａ～Ｆ）が設置された室内空間は、撮影空間となる。また、カメラＡ～Ｆは、互いに共通する場所を撮影している。 Camera A is installed in a position close to the entrance of this room. In this embodiment, it is assumed that the entire room is photographed by cameras A to F. In other words, as shown in FIG. 11, the indoor space in which multiple cameras (A to F) are installed becomes the photographed space. Furthermore, cameras A to F photograph the same locations.
図１２は、カメラＡとカメラＢとの夫々が撮影した映像の一例を示す図である。図１２の上側の図は、カメラＡで撮影した映像のあるフレームを示す図であり、下側の図は、カメラＢで撮影した映像のあるフレームを示す図である。これらのフレームにおける座標値は、カメラ毎の個別座標系の座標値で表現される。 Figure 12 shows an example of images captured by each of camera A and camera B. The upper diagram in Figure 12 shows a frame of an image captured by camera A, and the lower diagram shows a frame of an image captured by camera B. The coordinate values in these frames are expressed as coordinate values in the individual coordinate system for each camera.
なお、本実施の形態における物体追跡装置５０は、カメラ２０が撮影した映像を、表示装置３０に表示する構成であってもよい。
Note that the
図１２に示す通り、カメラＡで撮影した映像には、人物Ｃ１が含まれる。また、カメラＡは出入口の近辺に設置されているため、この映像に出入口が含まれている。また、カメラＢで撮影した映像には、人物Ｃ１と人物Ｃ２とが含まれる。 As shown in FIG. 12, the image captured by camera A includes person C1. Also, because camera A is installed near the entrance, the image includes the entrance. Also, the image captured by camera B includes person C1 and person C2.
人物Ｃ２は、カメラＡから見ると、棚Ｒ１の陰に隠れている。したがって、図１２の映像の時点では、人物Ｃ２は、カメラＡからは見えないオブジェクトとなっている。仮にこれらの映像のフレームがカメラＡおよびカメラＢで撮影された映像の最初のフレームの場合、前フレームにおける追跡情報が無いため、物体追跡装置５０は、これらのフレームから、オブジェクトを検出し、追跡情報を生成する。
When viewed from camera A, person C2 is hidden behind shelf R1. Therefore, at the time of the image in FIG. 12, person C2 is an object that is not visible to camera A. If these image frames are the first frames of the images captured by cameras A and B, there is no tracking information in the previous frames, so the
そして、探索範囲設定部１１２は、個別座標系で表現された追跡情報を用いて、カメラＡが撮影した映像の、次のフレームに対するオブジェクトの探索範囲を設定する。同様に、探索範囲設定部１１２は、個別座標系で表現された追跡情報を用いて、カメラＢが撮影した映像の、次のフレームに対するオブジェクトの探索範囲を設定する。
Then, the search
図１３は、表示装置３０に表示された探索範囲の一例を示す図である。図１３の上側の図は、カメラＡから出力されるフレームに対する、オブジェクトの探索範囲の例を示す図であり、下側の図は、カメラＢから出力されるフレームに対する、オブジェクトの探索範囲の例を示す図である。
Figure 13 is a diagram showing an example of a search range displayed on the
図１３の上側の図に示す通り、探索範囲設定部１１２は、図１２の上側の図における人物Ｃ１の位置から、探索範囲Ａ１を求めている。また、探索範囲設定部１１２は、室内への出入口部分の領域を探索範囲Ｎ１として求めている。また、探索範囲設定部１１２は、フレームの外縁部を、探索範囲Ｎ２およびＮ３として求めている。そして、探索範囲設定部１１２は、求めた探索範囲Ａ１、Ｎ１～Ｎ３をまとめた情報を探索範囲情報として、認識型オブジェクト検出部１１１および表示制御部１５０または表示制御部３００に出力する。そして、表示制御部１５０または表示制御部３００は、表示装置３０にこの探索範囲情報によって示される探索範囲を、画面上に表示可能な表示データに変換し、表示装置３０に送信する。
As shown in the upper diagram of FIG. 13, the search
表示制御部１５０または表示制御部３００から表示データを受け取った表示装置３０は、図１３の上側の図に示すように、画面上に探索範囲を表示する。
The
次に、図１３の下側の図について説明する。図１３の下側の図に示す通り、探索範囲設定部１１２は、図１２の下側の図における人物Ｃ１および人物Ｃ２の位置から、夫々、探索範囲Ｂ１および探索範囲Ｂ２を求めている。また、探索範囲設定部１１２は、フレームの外縁部を、探索範囲Ｎ４～Ｎ７して求めている。そして、探索範囲設定部１１２は、求めた探索範囲Ｂ１、Ｂ２、Ｎ４～Ｎ７をまとめた情報を探索範囲情報として、認識型オブジェクト検出部１１１および表示制御部１５０または表示制御部３００に出力する。そして、表示制御部１５０または表示制御部３００は、表示装置３０にこの探索範囲情報によって示される探索範囲を、画面上に表示可能な表示データに変換し、表示装置３０に送信する。
Next, the lower diagram of FIG. 13 will be described. As shown in the lower diagram of FIG. 13, the search
表示制御部１５０または表示制御部３００から表示データを受け取った表示装置３０は、図１３の下側の図に示すように、画面上に探索範囲を表示する。
The
なお、表示装置３０は、探索範囲を、領域毎に異なる様態となるように表示してもよい。例えば、表示装置３０は、既に検出されたオブジェクトに対する探索範囲と、フレームの外縁部に対する探索範囲とを、互いに異なる色で表示してもよい。
The
そして、統合追跡部２００が、その後のフレームにおいて検出された、人物Ｃ１と人物Ｃ２とに関するトラッカーを生成する。そして、統合追跡部２００は、人物Ｃ１および人物Ｃ２の夫々動線を表示するために必要な情報を追跡情報として、表示制御部３００に出力する。
Then, the
統合追跡部２００から追跡情報を受け取った表示制御部３００は、該追跡情報を表示装置３０に表示可能な表示データに変換し、該表示データを表示装置３０に送信する。
The
そして、表示装置３０は、表示制御部３００から受信した表示データを画面に表示する。図１４は、表示装置３０が、人物Ｃ１および人物Ｃ２の夫々の追跡結果を示した動線を画面（表示画面）に表示した際の例を示す図である。図１４に示す通り、本適用例では、表示画面には、共通座標系におけるＸＹ平面でオブジェクトの追跡結果が表示されるものとする。図１４では、人物Ｃ１の動線が実線で、人物Ｃ２の動線が一点鎖線で表示される。このように、表示装置３０は、オブジェクトの追跡結果を画面に表示することができる。
Then, the
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について、図面を参照して説明する。なお、説明の便宜上、前述した第１および第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
Third Embodiment
Next, a third embodiment of the present invention will be described with reference to the drawings. For the sake of convenience, the same reference numerals are used to designate components having the same functions as those in the drawings described in the first and second embodiments, and the description thereof will be omitted.
本実施の形態に係る物体追跡装置１０は、図１に示した物体追跡装置１０の検出部１００の代わりに、検出部４００を備える構成である。この検出部４００の構成について、図１５を参照して説明を行う。図１５は、本実施の形態に係る物体追跡装置１０の検出部４００の機能構成の一例を示す機能ブロック図である。
The
検出部４００は、図４および図５に示す検出部１００のオブジェクト検出部１１０に代えて、オブジェクト検出部１４０を備える。また、検出部４００は、記憶部１６０を更に備える構成である。つまり、本実施の形態に係る検出部４００は、図１５に示す通り、オブジェクト検出部１４０と、共通座標変換部１２０と、個別座標変換部１３０と、記憶部１６０とを備える。
The
本実施の形態では、第１の実施の形態に係る物体追跡装置１０の検出部１００のオブジェクト検出部１１０の代わりに、オブジェクト検出部１４０を備える構成を例に説明を行う。なお、本発明はこれに限定さえるものではなく、第２の実施の形態に係る物体追跡装置５０の検出部１００のオブジェクト検出部１１０の代わりにオブジェクト検出部１４０を備える構成であってもよい。つまり、本実施の形態に係る検出部１００は、表示制御部１５０または表示制御部３００に表示対象となるデータを出力する構成であってもよい。
In this embodiment, an example is described in which an
記憶部１６０には、座標系の変換の際に使用される、カメラ２０毎のカメラパラメータが格納されている。更に、記憶部１６０には、個別座標変換部１３０が、追跡情報に含まれる共通座標系の座標値が紐付けられたカメラ２０で撮影される範囲に含まれるか否かを確認する際に使用する共通座標系の座標値の範囲を示す情報が格納されている。また、記憶部１６０には、カメラ２０で撮影した映像が格納されてもよい。なお、この映像は一時的に格納されるものであってもよい。
The
なお、図１５では、記憶部１６０が検出部４００内に内蔵されることを例に説明を行うが、本発明はこれに限定されるものではない。記憶部１６０は、検出部４００とは、別に、物体追跡装置１０内に設けられるものであってもよい。また、記憶部１６０は、物体追跡装置１０とは別個の記憶装置等で実現されるものであってもよい。
In FIG. 15, the
次に、検出部４００のオブジェクト検出部１４０の詳細な機能構成について、図１６を参照して説明する。図１６は、本実施の形態に係る検出部４００のオブジェクト検出部１４０の機能構成の一例を示す機能ブロック図である。図１６に示す通り、オブジェクト検出部１４０は、認識型オブジェクト検出部（第１の物体検出手段）１４１と、非認識型オブジェクト検出部（第２の物体検出手段）１４２と、検出パラメータ更新部１４３と、検出結果統合部１４４とを備えている。
Next, the detailed functional configuration of the
本実施の形態では、辞書（識別器）等を用いたオブジェクト検出を「認識型オブジェクト検出」と呼ぶ。一方、識別器等を用いないオブジェクト検出を、「非認識型オブジェクト検出」と呼ぶ。 In this embodiment, object detection using a dictionary (classifier) or the like is called "recognition-based object detection." On the other hand, object detection without using a classifier or the like is called "non-recognition-based object detection."
認識型オブジェクト検出部１４１は、認識型オブジェクト検出部１４１に入力されるカメラ映像からオブジェクトを検出する。認識型オブジェクト検出部１４１は、フレーム全体に対してオブジェクトの検出を行う。なお、認識型オブジェクト検出部１４１は、図１６に破線で示す通り、後述する検出パラメータ更新部１４３から出力される探索範囲情報に基づいて、オブジェクト検出を行ってもよい。このとき、認識型オブジェクト検出部１４１は、第１の実施の形態において説明した認識型オブジェクト検出部１１１と同様の方法で、オブジェクト検出を行う。
The recognition-type
また、認識型オブジェクト検出部１４１は、探索範囲情報が検出パラメータ更新部１４３から出力されないとき、フレーム全体に対してオブジェクト検出を行うのではなく、別の基準を用いて、オブジェクト検出を行ってもよい。例えば、認識型オブジェクト検出部１４１は、シルエット情報を利用して、シルエットがある領域とその周囲の領域に対してのみオブジェクトの検出を行ってもよい。
In addition, when search range information is not output from the detection
認識型オブジェクト検出部１４１は、オブジェクト検出の検出結果を第１の検出結果として、検出結果統合部１４４に出力する。
The recognition-type
また、認識型オブジェクト検出部１４１は、後述する非認識型オブジェクト検出部１４２によるオブジェクト検出に備えて、この時点で、オブジェクトの外見特徴を抽出してもよい。オブジェクトの外見特徴としては、オブジェクトの色、模様、形状などの情報が挙げられるが本発明はこれに限定されるものではない。認識型オブジェクト検出部１４１は、オブジェクトの外見特徴としてこれらの特徴量を抽出する。この際、認識型オブジェクト検出部１４１によるオブジェクト検出で用いる領域と、非認識型オブジェクト検出部１４２によるオブジェクト検出で用いる領域とは同一でなくてもよい。例えば、オブジェクトが人物の場合、認識型オブジェクト検出部１４１によるオブジェクト検出では、頭部を検出し、非認識型オブジェクト検出部１４２によるオブジェクト検出では、服の領域までを検出するとする。このとき認識型オブジェクト検出部１４１は、該服の領域を含むように、オブジェクトの外見特徴の特徴量を抽出する。そして、認識型オブジェクト検出部１４１は、抽出された特徴量をテンプレート情報として、抽出に用いた領域を示す情報（抽出領域情報）とともに出力してもよい。また、認識型オブジェクト検出部１４１は、特徴量自体を認識型オブジェクト検出部１４１内部で保持しておき、その特徴量を識別するための情報のみを出力してもよい。
In addition, the recognition
検出パラメータ更新部１４３は、個別座標変換部１３０から、個別座標系で表現された追跡情報を受信する。そして、検出パラメータ更新部１４３は、この追跡情報を用いて、オブジェクト検出に必要なパラメータ（検出パラメータと呼ぶ）を求める。この検出パラメータは、オブジェクト検出処理で必要となるパラメータ類である。検出パラメータには、例えば、オブジェクトの現フレームにおける予測位置（予測領域）、オブジェクト検出を適用する探索範囲、テンプレートマッチングに用いるテンプレートのサイズ、以前にトラッカーに対応付いたターゲットのテンプレートの特徴量（テンプレート情報）等が含まれる。なお、検出パラメータには、これら全ての情報が含まれていなくてもよく、非認識型オブジェクト検出部１４２によるオブジェクト検出に必要なパラメータが含まれていればよい。また、検出パラメータには、前フレームにおけるオブジェクトの追跡結果でトラッカーと対応づいたターゲットの情報が含まれてもよい。
The detection
例えば、検出パラメータ更新部１４３は、前フレームで検出され、トラッカーに対応付けられたターゲット（オブジェクト）に対して、該オブジェクトの追跡情報に基づいて、現フレームにおけるオブジェクトが存在する位置を予測位置として求める。この予測処理は、第１の実施の形態に係る探索範囲設定部１１２における予測位置の予測処理と同様である。なお、検出パラメータ更新部１４３は、この予測位置を含む領域を予測領域として求めてもよい。
For example, for a target (object) detected in the previous frame and associated with a tracker, the detection
また、例えば、検出パラメータ更新部１４３は、上記予測領域を中心として、テンプレートマッチングによるオブジェクト検出を適用する範囲を求め、この範囲を検出パラメータに含まれるオブジェクトの探索範囲として含めてもよい。
Also, for example, the detection
検出パラメータ更新部１４３は、上記検出パラメータを、追跡情報に含まれる各オブジェクトに対して求める。そして、検出パラメータ更新部１４３は、求めた検出パラメータを、オブジェクト検出処理に用いる検出パラメータとして更新する。そして、検出パラメータ更新部１４３は、この検出パラメータを非認識型オブジェクト検出部１４２に出力する。
The detection
なお、検出パラメータ更新部１４３は、上述した第１の実施の形態に係る検出部１００の探索範囲設定部１１２と同様に、個別座標系の座標値に変換された追跡情報を用いて、オブジェクトの探索範囲を求めてもよい。そして、検出パラメータ更新部１４３は、求めたオブジェクトの探索範囲を示す探索範囲情報を、認識型オブジェクト検出部１４１に出力してもよい。
The detection
非認識型オブジェクト検出部１４２は、検出パラメータ更新部１４３から、検出パラメータを受信する。そして、非認識型オブジェクト検出部１４２は、受信した検出パラメータに基づいて、非認識型オブジェクト検出部１４２に入力されるカメラ映像からオブジェクトを検出する。この非認識型オブジェクト検出部１４２は、認識型オブジェクト検出部１４１とは異なり、前のフレームにおいて検出されたオブジェクトの外見の類似性に基づいてオブジェクトの検出を行う。
The non-recognizable
即ち、非認識型オブジェクト検出部１４２は、前のフレームにおいて、オブジェクトが検出された際、その領域の画像特徴（または検出領域の部分画像そのものでもよい）をテンプレートとして記憶しておく。そして、非認識型オブジェクト検出部１４２は、この記憶したテンプレートと類似する領域が現フレームに存在するかどうかをテンプレートマッチングにより調べることによって、オブジェクト検出を行う。この際に用いる画像の特徴としては、例えば、色のパターンおよび分布に関する情報、エッジおよび輝度勾配の分布情報、あるいは、これらを組み合わせてできる特徴等を用いることができる。
That is, when an object is detected in the previous frame, the non-recognition type
非認識型オブジェクト検出部１４２におけるオブジェクト検出を行う際に使用する検出パラメータは、検出パラメータ更新部１４３から出力される検出パラメータによって制御される。具体的には、非認識型オブジェクト検出部１４２は、検出パラメータ更新部１４３によって予測された、オブジェクトの予測位置（予測領域）およびその近辺に対してテンプレートマッチングによるオブジェクト検出を行う。即ち、非認識型オブジェクト検出部１４２は、予測されるオブジェクト存在範囲（予測領域）を中心として、テンプレートマッチングの探索範囲を設定し、その周辺に対してテンプレートマッチングを行う。また、この際、非認識型オブジェクト検出部１４２は、オブジェクトの位置の移動によってオブジェクトの見かけの大きさが変化することも考慮してもよい。この変化は、カメラパラメータを用いることによって算出可能である。そのため、非認識型オブジェクト検出部１４２は、オブジェクトの大きさの変化を計算し、テンプレートに反映させてからテンプレートマッチングを行うようにしてもよい。
The detection parameters used when detecting an object in the non-recognized
また、非認識型オブジェクト検出部１４２がテンプレートマッチングを行うテンプレートの情報は、前のフレームにおけるオブジェクト検出処理において、認識型オブジェクト検出部１４１が抽出した特徴量であってもよい。
In addition, the template information used by the non-recognition-type
このように、非認識型オブジェクト検出部１４２は、統合追跡部２００によって追跡された物体に対する追跡結果に基づいて、オブジェクト検出を行うため、上記追跡結果を用いない場合に比べ、検出の精度を向上させることができる。
In this way, the non-recognition type
そして、非認識型オブジェクト検出部１４２は、オブジェクト検出の検出結果を第２の検出結果として、検出結果統合部１４４に出力する。
Then, the non-recognition type
検出結果統合部１４４は、認識型オブジェクト検出部１４１から第１の検出結果を受信する。また、検出結果統合部１４４は、非認識型オブジェクト検出部１４２から第２の検出結果を受信する。そして、検出結果統合部１４４は、第１の検出結果と、第２の検出結果とを統合する。そして、検出結果統合部１４４は、統合した結果をオブジェクト検出部１４０におけるオブジェクト検出の検出結果として、共通座標変換部１２０に出力する。
The detection
第１の検出結果および第２の検出結果の両方に含まれているオブジェクトと、どちらか一方のみに含まれているオブジェクトとが存在する場合がある。そのため、検出結果統合部１４４は、第１の検出結果と第２の検出結果とのそれぞれに含まれるオブジェクト同士の対応付けを行い、統合する。この対応付けには、例えば、オブジェクト領域の重なりの度合いを用いることができる。
There may be objects that are included in both the first and second detection results, and objects that are included in only one of them. Therefore, the detection
即ち、検出結果統合部１４４は、オブジェクト領域同士の重なり比率（例えば、オブジェクト外接矩形の重なり比率）を算出し、これが所定の値より大きくなる場合に第１の検出結果に含まれるオブジェクトと、第２の検出結果に含まれるオブジェクトとを対応付ける。
That is, the detection
また、検出結果統合部１４４は、オブジェクト間の領域の重なり比率を重みとするグラフ問題として定式化し、オブジェクト間の対応付けを行ってもよい。例えば、検出結果統合部１４４は、重なり比率を単調非増加関数によってコストに変換したのち、ハンガリアン法等を用いて、最適な対応付けを計算することにより、オブジェクト間の対応付けを行う。
The detection
検出結果統合部１４４は、対応付けを行った結果、対応付けの際に用いた値（例えば、重なり比率またはコスト）が、所定の値より大きいものはこの時点でマージしてもよい。また、検出結果統合部１４４は、この時点ではマージせず、対応づくという情報を生成してもよい。そして、検出結果統合部１４４は、第１の検出結果と第２の検出結果とを合わせた検出結果に、該対応付くという情報を付随させた結果をオブジェクト検出部１４０の検出結果として出力し、統合追跡時に対応付けの情報を用いて追跡を行うようにしてもよい。
The detection
また、非認識型オブジェクト検出部１４２は、前フレームに対するオブジェクトの追跡結果に基づいて、第２の検出結果を出力する。このため、この第２の検出結果の方が、第１の検出結果よりも遅れて生成される場合がある。このような場合には、検出結果統合部１４４は、第１の検出結果を、一旦、検出結果統合部１４４内のバッファ等の記憶手段または記憶部１６０に蓄えておく。そして、検出結果統合部１４４は、該第１の検出結果を生成する対象となるフレームに対応するフレームに対する第２の検出結果を受信した時点で、両結果を統合してもよい。
The non-recognition type
以上のように、本実施の形態に係る物体追跡装置１０の検出部４００は、認識型オブジェクト検出部１４１によるオブジェクト検出の結果（第１の検出結果）と、非認識型オブジェクト検出部１４２によるオブジェクト検出の結果（第２の検出結果）とを統合した結果を、検出結果として出力する。このとき、非認識型オブジェクト検出部１４２は、統合追跡部２００によって追跡された物体に対する追跡結果に基づいて、テンプレートマッチングを行うことにより、オブジェクトを検出する。これにより、検出部４００は、オブジェクトを識別することによるオブジェクト検出（認識型オブジェクト検出）のみを行う場合に比べ、よりオブジェクト検出の精度をより向上させることができる。
As described above, the
したがって、物体追跡装置１０は、より高精度にオブジェクトの追跡を行うことができる。
Therefore, the
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について、図面を参照して説明する。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
<Fourth embodiment>
Next, a fourth embodiment of the present invention will be described with reference to the drawings. For the sake of convenience, the same reference numerals are used to designate components having the same functions as those in the drawings described in the above-mentioned embodiments, and the description thereof will be omitted.
本実施の形態に係る物体追跡装置１０は、図１に示した物体追跡装置１０の統合追跡部２００代わりに、統合追跡部５００を備える構成である。この統合追跡部５００の構成について、図１７を参照して説明を行う。図１７は、本実施の形態に係る物体追跡装置１０の統合追跡部５００の機能構成の一例を示す機能ブロック図である。図１７に示す通り、統合追跡部５００は、バッファ部５１０と、予測部２１０と、記憶部２２０と、対応付け部５３０と、更新部２４０と、を備えている。
The
本実施の形態では、第１の実施の形態に係る物体追跡装置１０の統合追跡部２００の代わりに、統合追跡部５００を備える構成を例に説明を行う。なお、本発明はこれに限定さえるものではなく、第２の実施の形態に係る物体追跡装置５０の統合追跡部２００の代わりに統合追跡部５００を備える構成であってもよい。つまり、本実施の形態に係る統合追跡部５００は、表示制御部３００に表示対象となるデータを出力する構成であってもよい。
In this embodiment, an example of a configuration in which an
また、本実施の形態に係る統合追跡部５００に検出結果を出力する検出部は、第３の実施の形態において説明した検出部４００であってもよい。
The detection unit that outputs the detection results to the
バッファ部５１０は、検出部１００から出力される共通座標系で表現された検出結果を一時的に格納する手段である。そして、バッファ部５１０にバッファリングされたデータ（検出結果）のうち、検出が行われたカメラ映像に含まれる時間情報が所定期間内であるデータは、対応付け部５３０によって取得される。この所定期間は周期的な期間である。そして、対応付け部５３０は、ある周期で取得した１または複数の検出結果を用いて、オブジェクト追跡を行う。このように、本実施の形態における統合追跡部５００は、各カメラ２０からの映像のうち、複数のカメラの映像を用いてオブジェクト追跡を行うため、一括追跡部とも呼ぶ。
The
この統合追跡部５００が行う、オブジェクト追跡（一括統合追跡とも呼ぶ。）について、図１８を用いて説明する。図１８は、本実施の形態に係る統合追跡部５００が行うオブジェクトの一括追跡処理を説明するための図である。図１８には、図７と同様に、カメラ数が３つの場合に、カメラＡ、カメラＢ、カメラＣの夫々で画像を取得するタイミングの一例を示している。図１８において、横軸は、時間軸を示しており、右側にいくほど、時間的に後であることを示している。図１８に示す通り、カメラＡは時間ｔ１、ｔ５およびｔ８で画像を取得している。同様に、カメラＢは、時間ｔ２、ｔ４、ｔ６およびｔ９で画像を取得し、カメラＣは時間ｔ３およびｔ７で画像を取得している。
The object tracking (also called collective integrated tracking) performed by the
そして、これらの各タイミングで取得された画像は、順にオブジェクト検出が行われる。以下では、説明の便宜上、図１８に示す時間は、オブジェクトの検出結果が出力された時間とほぼ同じであるとみなして説明を行う。つまり、時間ｔ１は、カメラＡによって撮影された映像のフレームに対する検出結果が検出部１００から出力され、バッファ部５１０にバッファリングされた時間であるとする。
The images acquired at each of these timings are then subjected to object detection in sequence. For ease of explanation, the following description will be given assuming that the times shown in FIG. 18 are approximately the same as the times at which the object detection results are output. In other words, time t1 is the time at which the detection results for the frame of the video captured by camera A are output from
また、図１８の最下部の時間軸は、周期的な期間の一例を示している。 The time axis at the bottom of Figure 18 also shows an example of a periodic period.
対応付け部５３０は、バッファ部５１０にバッファリングされた１または複数の検出結果のうち、物体の検出の対象となったカメラ映像に含まれる時間情報が所定期間内である検出結果を取得する。なお、上述したとおり、この所定期間は周期的な期間である。また、本実施の形態では、バッファリングされた時間と、カメラ映像の時間とは同じであるとみなしている。そのため、対応付け部５３０は、バッファ部５１０にバッファリングされた１または複数の検出結果を、所定の周期で取得するともいえる。
The
具体的には、対応付け部５３０は、まず、最初の期間Ｔ１でバッファリングされた検出結果を取得する。つまり、対応付け部５３０は、時間ｔ１、ｔ２、ｔ３でバッファリングされた検出結果を取得する。時間ｔ１でバッファリングされた検出結果は、カメラＡによって撮影された映像のフレームに対する検出結果である。また、時間ｔ２でバッファリングされた検出結果は、カメラＢによって撮影された映像のフレームに対する検出結果であり、時間ｔ３でバッファリングされた検出結果は、カメラＣによって撮影された映像のフレームに対する検出結果である。したがって、対応付け部５３０は、バッファ部５１０に所定期間（この場合Ｔ１）内でバッファリングされた検出結果であって、複数のカメラ２０の夫々で撮影された映像のフレームに対する、複数の検出結果を、バッファ部５１０から取得する。そして、対応付け部５３０は、取得した検出結果を用いて、オブジェクト追跡を行う。
Specifically, the
また、対応付け部５３０は、同様に、期間Ｔ２、Ｔ３、Ｔ４においても、この周期的な期間内でバッファリングされた検出結果を取得し、オブジェクト追跡を行う。
Similarly, during periods T2, T3, and T4, the
なお、本実施の形態では、対応付け部５３０がバッファ部５１０にバッファリングされたデータ（複数の検出結果）を、所定の周期でバッファ部５１０から取得する構成について説明するが、対応付け部５３０は、所定の周期でバッファ部５１０からこのデータを受信する構成であってもよい。つまり、バッファ部５１０は、このデータを、所定の周期で対応付け部５３０に出力する機能を有してもよい。
In the present embodiment, a configuration is described in which the
図１７に戻り、統合追跡部５００の対応付け部５３０について更に説明する。
Returning to FIG. 17, we further explain the
対応付け部５３０は、取得した各検出結果に含まれるターゲットの位置から、ターゲット間の距離を求め、該距離が近いターゲット同士を互いに対応付ける。このとき、対応付け部５３０は、ターゲット間の距離を用いて、ハンガリアン法等の手法によって、対応付けを行う。また、対応付け部５３０は、ターゲット間の距離に加え、ターゲットの外見特徴の類似性も同時に用いてもよい。例えば、位置が近く、近似した色を有するターゲット同士は同一のオブジェクトである可能性が高い。よって、対応付け部５３０は、このような特徴を用いて対応付けを行ってもよい。なお、外見特徴の類似性を判定するための特徴は、色に限定されず、例えば、ターゲットの模様等であってもよい。
The
そして、対応付け部５３０は、互いに対応付けされたターゲットに対する検出結果同士を統合する。つまり、対応付け部５３０は、ターゲット間の対応付けを行った後、対応付いたターゲットの夫々の検出結果を用いて、オブジェクトの位置を求める。この際、対応付け部５３０は、各ターゲットの尤度および／または予測位置の確度を評価し、この確度が最大となる位置を、オブジェクトの位置としてもよい。
Then, the
また、対応付け部５３０は、各ターゲットに対するカメラ２０の角度（俯角または仰角）および該カメラ２０からターゲットまでの距離等によって定まる予測位置の確度に基づいて、各ターゲットの位置に対し重みづけをしてもよい。そして、対応付け部５３０は、重みづけした位置から、例えば、平均値などの統計量を算出し、該算出した統計量によって示される位置を、オブジェクトの位置としてもよい。
The
そして、対応付け部５３０は、求めたオブジェクトの位置を、検出結果を取得した周期に対するターゲットの位置とする。対応付け部５３０は、このターゲットの位置を用いて、第１の実施の形態に係る対応付け部２３０と同様に、対応付けを行う。また、統合追跡部５００による、対応付けの処理およびその後の処理については、第１の実施の形態において説明した統合追跡部２００における処理と同様であるため、説明を省略する。
The
また、対応付け部５３０は、ターゲット間の対応付けを行う前に、各ターゲットとトラッカーとの対応付けを行い、統合してもよい。つまり、対応付け部５３０は、同じトラッカーに対応付けされたターゲットが複数ある場合、これらのターゲットの間でマージ処理を行う。この場合、対応付け部５３０は、各ターゲットの尤度および／または予測位置の確度がより高いものを優先して、マージを行ってもよい。このように、対応付け部５３０は、これらの情報に基づいて、検出結果を評価し、同じトラッカーに対応付いたターゲットを統合してもよい。
The
以上のように、本実施の形態に係る物体追跡装置１０は、所定の期間内に、各カメラ２０で撮影されたカメラ映像に対する検出結果の全てを用いてオブジェクト追跡を行う。これにより、物体追跡装置１０は、複数のカメラ２０間で、オブジェクトの検索結果の優先付けを行い、オブジェクト追跡を行う処理を適用しやすくなる。
As described above, the
また、例えば、全てのカメラ２０のフレームレートが安定して同じである場合、フレーム間隔に従って、所定期間を設定することにより、全カメラ２０のフレームは、この所定期間に含まれる。したがって、本実施の形態に係る物体追跡装置１０は、全カメラ２０に対するフレームに対し、オブジェクト追跡を行うことができる。これにより、物体追跡装置１０は、複数のカメラ２０から同時に見えているオブジェクトに対し、同時に検出結果を評価できるようになるため、検出結果の信頼性を、追跡によりダイレクトに反映できるようになる。
Also, for example, if the frame rates of all the
＜第５の実施の形態＞
本発明の第５の実施の形態について説明する。本実施の形態では、本発明の課題を解決する最小の構成について説明を行う。
Fifth embodiment
A fifth embodiment of the present invention will be described below. In this embodiment, a minimum configuration for solving the problems of the present invention will be described.
本実施の形態に係る物体追跡装置１０は、第１の実施の形態において説明した図１に示す物体追跡装置１０と同様の構成であるため、図１を参照して説明を行う。
The
図１に示す通り、本実施の形態に係る物体追跡装置１０は、複数の検出部（１００－１～１００－Ｎ）（Ｎは自然数）と、統合追跡部２００とを備えている。なお、本実施の形態では、複数の検出部（１００－１～１００－Ｎ）の夫々を区別しない場合、または、総称する場合には、これらを検出部１００と呼ぶ。
As shown in FIG. 1, the
複数の検出部１００の夫々は、センサから出力される出力情報から物体を検出する。なお、図１においては、センサをカメラとし、センサの出力情報をカメラ映像（映像データ）として記載しているが、センサはカメラに限定されるものではない。具体的には、検出部１００は、統合追跡部２００から出力される追跡情報に基づいて、物体を検出する。検出部１００は、検出結果を統合追跡部２００に出力する。
Each of the
統合追跡部２００は、複数の検出部（１００－１～１００－Ｎ）の夫々によって出力された、複数の検出結果に基づいて、該検出結果によって示される１または複数の物体の夫々を追跡する。そして、統合追跡部２００は、追跡結果として、共通座標系で表現された物体の追跡情報を生成する。そして、統合追跡部２００は、複数の検出部（１００－１～１００－Ｎ）の夫々に出力する。
The
このように、本実施の形態に係る物体追跡装置１０の検出部１００は、統合追跡部２００によって追跡された物体に対する追跡結果に基づいて、センサから出力された出力情報から物体を検出する。
In this manner, the
このように、物体追跡装置１０は、前のフレームに対する追跡結果を用いて、映像からオブジェクトを検出するため、該追跡結果を用いない場合に比べ、オブジェクトの検出精度を高めることができる。また、カメラ２０の夫々で撮影された映像に対するオブジェクトの検出結果全てを用いてオブジェクト追跡を行うため、物体追跡装置１０は、カメラ毎に独立にオブジェクト追跡を行う場合に比べ、追跡精度を向上できる。また、物体追跡装置１０は、検出精度が高い検出結果の全てを用いてオブジェクト追跡を行うため、より高精度に物体を追跡することができる。
In this way, the
なお、上述した各実施の形態では、物体追跡装置１０は、検出部（１００、４００）と統合追跡部（２００、５００）とを含むことを例に説明したが、この検出部と統合追跡部とは夫々別個の装置で実現されるものであってもよい。つまり、検出部（１００、４００）は、物体検出装置として、統合追跡部（２００、５００）は、統合追跡装置として、夫々、別個の装置で実現されるものであってもよい。また、表示制御部３００も、物体追跡装置５０とは別個の表示制御装置で実現されるものであってもよい。この表示制御装置は、表示装置３０内に内蔵されるものであってもよい。
＜第６の実施の形態＞
本発明の第６の実施の形態について説明する。本実施の形態に係る物体追跡装置１０は、第１の実施の形態において説明した図１に示す物体追跡装置１０と同様の構成であるため、図１を参照して説明を行う。なお、本実施の形態に係る物体追跡装置１０は、第１の実施の形態に係る物体追跡装置１０に、更に以下に説明する機能を追加した構成であるとするが、本発明はこれに限定されるものではない。本実施の形態に係る物体追跡装置１０は、上述した第２から第５の実施の形態に係る物体追跡装置にも適用可能である。
In the above-described embodiments, the
Sixth embodiment
A sixth embodiment of the present invention will be described. The
本実施の形態では、統合追跡部２００が、更に、オブジェクトの見え方に関する情報を取得し、取得した情報を追跡情報に含める。そして、検出部１００が、統合追跡部２００から出力された追跡情報に含まれる各オブジェクトの見え方に関する情報を用いて、オブジェクトの検出を制御する。
In this embodiment, the
このオブジェクトの見え方に関する情報（以降、見え方情報）とは、各カメラ２０の位置からオブジェクトを見たときに、各オブジェクトがどのように見えるかに関する情報であり、各トラッカーのオブジェクトの位置によって定まるものである。
This information about how the object appears (hereinafter, "appearance information") is information about how each object appears when viewed from the position of each
例えば、あるカメラ２０からあるオブジェクトと他のオブジェクトとを見たときに、あるオブジェクトが他のオブジェクトの前（カメラ２０側）にある場合を考える。この場合、後ろ側のオブジェクト（他のオブジェクト）は、前側のオブジェクト（あるオブジェクト）に隠れてしまい、カメラ２０から見えなくなる可能性が高くなる。このとき、統合追跡部２００は、このようなオブジェクト同士の重なりを表す情報を、見え方情報として、他のオブジェクトに関するトラッカー（追跡結果）に含め、該追跡結果を出力する。
For example, consider a case where an object is in front of (on the side of camera 20) another object when the object is viewed from a
次に、本実施の形態に係る物体追跡装置１０の各部の具体的な動作について説明する。
Next, we will explain the specific operation of each part of the
統合追跡部２００は、例えば、図６に示した記憶部２２０などに、各カメラ２０の配置に関する情報を格納している。カメラ２０の配置に関する情報とは、例えば、各カメラ２０がどの位置に配置されているのか、どの方向を撮影しているのか等を示す情報である。また、統合追跡部２００は、カメラ２０の配置に関する情報として、撮影空間の照明の位置や向き、照明の特性に関する情報、撮影空間のどの位置が明るいまたは暗いのかといった照明条件に関する情報を含んでもよい。また、統合追跡部２００は、カメラ２０の配置に関する情報として、撮影空間の方角情報も保持していてもよい。
The
統合追跡部２００は、前述した各実施の形態に係る統合追跡部２００と同様に、各トラッカーによって示されるオブジェクトの現フレーム上の動きを予測し、ターゲットとトラッカーとを対応付けることにより、トラッカーの位置を求める。
Similar to the
そして、統合追跡部２００は、求めたトラッカーの位置と、各トラッカーの動きの情報とから、各カメラ２０によって撮影された撮影画像上での各トラッカーによって示されるオブジェクトの位置を予測する。
Then, the
そして、統合追跡部２００は、各カメラ２０の配置に関する情報を参照し、予測した位置の各オブジェクトが、各カメラ２０から見たときに、どのように見えるか（見え方）を予測する。つまり、統合追跡部２００は、複数のカメラ２０の夫々に対し、次に撮影したタイミングにおいて、上記各トラッカーによって示されるオブジェクト同士が、重なり合うかどうかを予測する。
Then, the
そして、統合追跡部２００は、予測した見え方に基づいて、あるカメラ２０の撮影画像上において、オブジェクト同士が重なっていると判定した場合には、オブジェクトが重なって見えない可能性があることを示す情報（見え方情報）を生成する。
Then, when the
例えば、統合追跡部２００は、あるカメラ２０と予測したあるオブジェクトとを結ぶ線分の間に、予測した他のオブジェクトがあるかどうかを判定する。予測した他のオブジェクトが上記線分の間にある場合には、このあるオブジェクトが、他のオブジェクトと重なる可能性が高い。そのため、統合追跡部２００は、隠される（重なる）オブジェクトの情報、および重なり合う度合（尤度）を、上記あるオブジェクトに対する見え方情報として求める。
For example, the
そして、統合追跡部２００は、このあるオブジェクトの追跡結果に、この判定結果を見え方情報として含めてもよい。
The
そして、統合追跡部２００は、あるカメラ２０によって撮影された撮影画像上から見えなくなる可能性が高いオブジェクトの追跡情報に、生成した見え方情報を含める。このとき、見え方情報には、オブジェクトが見えなくなる可能性が高いカメラ２０を示す情報を含むことが好ましい。
Then, the
そして、統合追跡部２００は、見え方情報を含んだ追跡情報を、各検出部１００に出力する。なお、統合追跡部２００は、見え方情報を含んだ追跡情報を、オブジェクトが重なって見えない可能性が高いカメラ２０（あるカメラ２０）に関連付けられた検出部１００に出力してもよい。そして、統合追跡部２００は、見え方情報を含まない追跡情報を他のカメラ２０に関連付けられた物体追跡装置１０に出力してもよい。
The
また、オブジェクトの位置に応じて照明の当たり方が変わり、該オブジェクトの色合いや明るさが変化することがわかっている場合には、統合追跡部２００は、オブジェクトの位置に応じた見え方の変化を記述した情報を追跡情報に含めてもよい。
In addition, if it is known that the way the light hits an object changes depending on its position, causing the color and brightness of the object to change, the
例えば、照明の当たり方がオブジェクトの位置によって定まる場合には、統合追跡部２００は、その位置から照明の当たり方を予測し、明るくなる、暗くなる、色味が変化するといった情報を、トラッカーごとに追跡情報に含めてもよい。
For example, if the way the light hits an object is determined by the object's position, the
また、オブジェクトが配置された空間における照明の位置がわかっている場合には、統合追跡部２００は、照明およびオブジェクトの関係から、オブジェクトまたはこの環境に配置されている他の物体の影が、他のオブジェクトに重なるか否か判定する。そして、影が重なる可能性がある場合には、統合追跡部２００は、影が重なるオブジェクトに対して、影が重なる可能性（尤度）を算出し、追跡情報に含めるようにする。
In addition, if the position of the lighting in the space in which the object is placed is known, the
また、太陽のように、移動する場合であっても、統合追跡部２００は、時刻と現場の方角の情報とから太陽の位置を求め、影のできる方向を予測し、オブジェクトの見え方に与える影響を考慮するようにしてもよい。例えば、統合追跡部２００は、時刻情報から太陽の現在位置を求め、方角情報と合わせて、どちらの方向に影ができるかを予測する。そして、統合追跡部２００は、他のオブジェクトの影がかかる可能性がある場合に影が重なる可能性（尤度）を算出し、追跡情報に含めるようにすればよい。
Even in the case of a moving object like the sun, the
次に、検出部１００の動作について説明する。検出部１００は、上述した各実施の形態と同様に、追跡情報に基づいて、オブジェクトを検出する。このとき、本実施の形態に係る物体追跡装置１０の検出部１００は、追跡情報に含まれる各オブジェクトの見え方に関する情報を用いて、オブジェクトの検出を制御する。具体的には、検出部１００は、他のオブジェクトと重なって見えない可能性が高いオブジェクトに関しては、検出を行わないようにする。例えば、検出部１００は、この見えない可能性が高いオブジェクトに対して、探索範囲を設定しないようにする。
Next, the operation of the
なお、明るさや色合いが変化する情報が追跡情報に含まれている場合には、検出部１００は、探索する際にその照明の効果を補正して検出をかけるようにしてもよい。たとえば、暗い領域では、検出部１００は、その領域の画素値を明るめに補正してから、検出をかけるようにしてもよい。
If the tracking information includes information that changes in brightness or color, the
また、色合いが変化する場合には、検出部１００は、テンプレートマッチングで用いるマッチングのパラメータ（つまり、上述した検出パラメータ）を更新する際に、その色合いの変化を考慮して、該パラメータの色の情報を補正してもよい。また、色合いの変化が大きい場合には、検出部１００は、色の情報を用いないようにしてもよい。また、検出部１００は、テンプレートの特徴の中で、色の情報の重みを下げ、エッジ等の他の特徴の重みを高めてマッチングを行うようにしてもよい。
In addition, if the color tone changes, the
また、検出部１００で、オブジェクト検出処理に用いる検出パラメータを更新する際に、該オブジェクトが重なっている可能性が高いと判断される場合には、検出パラメータの更新を行わないようにしてもよい。
In addition, when the
以上のように、検出部１００は、追跡情報に含まれる見え方情報に基づいて、物体の検出を制御する。これにより、検出部１００は、見えないオブジェクトを検出する処理や、テンプレートマッチング等のパラメータを更新する処理を削減することができる。これにより、検出部１００は、誤検出や誤ったパラメータの更新の可能性を低減することができる。
As described above, the
同様に、検出部１００は、照明条件が変わった可能性が高い場合には、その効果を補正してパラメータを更新するように制御してもよいし、パラメータの更新を行わないように制御してもよい。
Similarly, when it is highly likely that the lighting conditions have changed, the
また、複数の検出アルゴリズムが切り替えられるようになっている場合には、物体追跡装置１０は、検出部１００として、より重なりに強い検出器を用いるようにしてもよい。具体的には、物体追跡装置１０は、通常は頭部全体を検知する検出器を用いるが、重なっている場合には、頭部全体ではなく、頭部の一部分のみを検知する検出器を用いるようにしてもよい。これにより、物体追跡装置１０は、通常時は、シンプルな検出器を用い、重なっている可能性がある場合には、より詳細な検出器を用いることができる。これにより、物体追跡装置１０は、効率性を維持したうえで、高精度な検出が可能になる。同様に、物体追跡装置１０は、照明条件が変化した場合には、その照明条件に対して頑健性が高い検出器（特徴量）を用いて、検出を制御してもよい。
In addition, when multiple detection algorithms can be switched, the
以上のように本実施の形態に係る物体追跡装置１０は、統合追跡部２００が、他のカメラの情報も使ってオブジェクトの見え方の判定をする。そのため、統合追跡部２００は、あるカメラ２０からは、オブジェクト同士が重なって映る場合など、そのカメラ２０だけでは判定が難しい場合でも高精度に見え方を判定することができる。そして、統合追跡部２００はこの結果を、検出部１００にフィードバックすることができる。これにより、検出部１００は、オブジェクトの誤検出を低減できる。そして、統合追跡部２００は、この検出結果を用いてオブジェクト追跡を行うため、オブジェクトの追跡精度を向上させることができる。
As described above, in the
＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る物体追跡装置（１０、５０）を実現可能なハードウェアの構成例について説明する。上述した物体追跡装置（１０、５０）は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。
<Hardware configuration example>
Here, an example of a hardware configuration capable of realizing the object tracking device (10, 50) according to each of the above-mentioned embodiments will be described. The above-mentioned object tracking device (10, 50) may be realized as a dedicated device, or may be realized using a computer (information processing device).
図１９は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。 Figure 19 is a diagram illustrating an example of the hardware configuration of a computer (information processing device) capable of implementing each embodiment of the present invention.
図１９に示した情報処理装置（コンピュータ）７００のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、通信インタフェース（Ｉ／Ｆ）１２、入出力ユーザインタフェース１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５、記憶装置１７、及びコンピュータ読み取り可能な記憶媒体１９のドライブ装置１８を備え、これらがバス１６を介して接続された構成を有する。入出力ユーザインタフェース１３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース１２は、上述した各実施の形態に係る装置（図１、図９）が、外部装置と、通信ネットワーク６００を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ１１は、各実施の形態に係る物体追跡装置（１０、５０）を実現する情報処理装置７００について、全体の動作を司る。
The hardware of the information processing device (computer) 700 shown in FIG. 19 includes a CPU (Central Processing Unit) 11, a communication interface (I/F) 12, an input/
上述した各実施の形態を例に説明した本発明は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータ・プログラム）を、図１９に示す情報処理装置７００に対して供給した後、そのプログラムを、ＣＰＵ１１に読み出して実行することによって達成される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図８）に記載した各種処理や、或いは、図１、図４～図６、図９、図１５～図１７に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。
The present invention described above using each of the embodiments as examples is achieved, for example, by supplying a program (computer program) capable of implementing the processes described in each of the above embodiments to the
また、情報処理装置７００内に供給されたプログラムは、読み書き可能な一時記憶メモリ（１５）またはハードディスクドライブ等の不揮発性の記憶装置（１７）に格納されてもよい。即ち、記憶装置１７において、プログラム群１７Ａは、例えば、上述した各実施の形態における物体追跡装置（１０、５０）内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報１７Ｂは、例えば、上述した各実施の形態におけるオブジェクト追跡結果、カメラ映像、カメラパラメータ、各カメラ２０で見える共通座標系の座標値の範囲等である。ただし、情報処理装置７００へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図（図１、図４～図６、図９、図１５～図１７）に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。
The programs supplied to the
また、前記の場合において、当該装置内へのプログラムの供給方法は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）－ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（１９）を介して当該装置内にインストールする方法や、インターネット等の通信回線（６００）を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード（プログラム群１７Ａ）或いは係るコードが格納された記憶媒体（１９）によって構成されると捉えることができる。
In the above case, the method of supplying the program to the device can be a currently common procedure, such as installing the program in the device via a computer-readable recording medium (19) such as a CD (Compact Disk)-ROM or flash memory, or downloading the program from an external source via a communication line (600) such as the Internet. In such a case, the present invention can be considered to be configured by the code (
以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。 The present invention has been described above as an example of application to the exemplary embodiments described above. However, the technical scope of the present invention is not limited to the scope described in each of the above-mentioned embodiments. It is clear to those skilled in the art that various modifications and improvements can be made to such embodiments. In such cases, new embodiments incorporating such modifications or improvements may also be included in the technical scope of the present invention. This is clear from the matters described in the claims.
１ 物体追跡システム
２ 物体追跡システム
１０ 物体追跡装置
１００ 検出部
１１０ オブジェクト検出部
１１１ 認識型オブジェクト検出部
１１２ 探索範囲設定部
１２０ 共通座標変換部
１３０ 個別座標変換部
１４０ オブジェクト検出部
１４１ 認識型オブジェクト検出部
１４２ 非認識型オブジェクト検出部
１４３ 検出パラメータ更新部
１４４ 検出結果統合部
１５０ 表示制御部
１６０ 記憶部
２００ 統合追跡部
２１０ 予測部
２２０ 記憶部
２３０ 対応付け部
２４０ 更新部
３００ 表示制御部
４００ 検出部
５００ 統合追跡部
５１０ バッファ部
５３０ 対応付け部
２０ カメラ
３０ 表示装置
４０ ネットワーク
５０ 物体追跡装置
1 Object tracking system 2
Claims (8)
予測された前記物体の位置に基づいて、前記物体に関する第１の位置情報を取得し、
前記第１の位置情報とカメラから取得した第１の画像とに基づいて、前記物体に関する第２の位置情報を求める、
方法であって、
前記空間内における物体の位置は、前記第１の画像よりも前の時点において取得した第２の画像に基づいて予測され、
予測された前記物体の位置は、３次元の位置情報で表される、
物体追跡方法。 Predict the location of objects in space;
obtaining first position information for the object based on the predicted position of the object;
determining second position information regarding the object based on the first position information and a first image acquired from a camera;
1. A method comprising:
a position of the object in the space is predicted based on a second image acquired at an earlier time than the first image ;
The predicted object position is represented by three-dimensional position information .
Methods for tracking objects.
請求項１に記載の物体追跡方法。 The first position information is represented by two-dimensional position information.
The method of claim 1 .
請求項１に記載の物体追跡方法。 The second position information is represented by two-dimensional coordinates on the first image.
The method of claim 1 .
請求項３に記載の物体追跡方法。 converting the second position information expressed in an individual coordinate system specific to one camera into third position information expressed in a three-dimensional common coordinate system common to a plurality of cameras including the one camera;
The object tracking method according to claim 3 .
予測された前記物体の位置に基づいて、前記物体に関する第１の位置情報を取得する手段と、
前記第１の位置情報とカメラから取得した第１の画像とに基づいて、前記物体に関する第２の位置情報を求める手段と
を備え、
前記空間内における物体の位置は、前記第１の画像よりも前の時点において取得した第２の画像に基づいて予測され、
予測された前記物体の位置は、３次元の位置情報で表される、
物体追跡装置。 A means for predicting the location of an object in space;
means for obtaining first position information for the object based on a predicted position of the object;
and determining second position information regarding the object based on the first position information and a first image acquired from a camera,
a position of the object in the space is predicted based on a second image acquired at an earlier time than the first image ;
The predicted object position is represented by three-dimensional position information .
Object tracking device.
請求項５に記載の物体追跡装置。 The first position information is represented by two-dimensional position information.
The object tracking device according to claim 5 .
請求項５に記載の物体追跡装置。 The second position information is represented by two-dimensional coordinates on the first image.
The object tracking device according to claim 5 .
請求項７に記載の物体追跡装置。 a means for converting the second position information expressed in an individual coordinate system specific to one camera into third position information expressed in a three-dimensional common coordinate system common to a plurality of cameras including the one camera,
The object tracking device according to claim 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024170268A JP7726357B2 (en) | 2014-09-26 | 2024-09-30 | Information processing device, information processing method, information processing program, and information processing system |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014196176 | 2014-09-26 | ||
| JP2014196176 | 2014-09-26 | ||
| JP2020036328A JP7004017B2 (en) | 2014-09-26 | 2020-03-04 | Object tracking system, object tracking method, program |
| JP2021210227A JP7272417B2 (en) | 2014-09-26 | 2021-12-24 | Object tracking system, object tracking device, and object tracking method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021210227A Division JP7272417B2 (en) | 2014-09-26 | 2021-12-24 | Object tracking system, object tracking device, and object tracking method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024170268A Division JP7726357B2 (en) | 2014-09-26 | 2024-09-30 | Information processing device, information processing method, information processing program, and information processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023083565A JP2023083565A (en) | 2023-06-15 |
| JP7567979B2 true JP7567979B2 (en) | 2024-10-16 |
Family
ID=55867113
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014224050A Active JP6488647B2 (en) | 2014-09-26 | 2014-11-04 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
| JP2019031566A Active JP6673508B2 (en) | 2014-09-26 | 2019-02-25 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
| JP2020036328A Active JP7004017B2 (en) | 2014-09-26 | 2020-03-04 | Object tracking system, object tracking method, program |
| JP2021210227A Active JP7272417B2 (en) | 2014-09-26 | 2021-12-24 | Object tracking system, object tracking device, and object tracking method |
| JP2023071553A Active JP7567979B2 (en) | 2014-09-26 | 2023-04-25 | Object tracking method and object tracking device |
| JP2024170268A Active JP7726357B2 (en) | 2014-09-26 | 2024-09-30 | Information processing device, information processing method, information processing program, and information processing system |
Family Applications Before (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014224050A Active JP6488647B2 (en) | 2014-09-26 | 2014-11-04 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
| JP2019031566A Active JP6673508B2 (en) | 2014-09-26 | 2019-02-25 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
| JP2020036328A Active JP7004017B2 (en) | 2014-09-26 | 2020-03-04 | Object tracking system, object tracking method, program |
| JP2021210227A Active JP7272417B2 (en) | 2014-09-26 | 2021-12-24 | Object tracking system, object tracking device, and object tracking method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024170268A Active JP7726357B2 (en) | 2014-09-26 | 2024-09-30 | Information processing device, information processing method, information processing program, and information processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (6) | JP6488647B2 (en) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6519805B2 (en) * | 2016-05-13 | 2019-05-29 | パナソニックＩｐマネジメント株式会社 | Camera system and camera device |
| US10867394B2 (en) | 2016-05-18 | 2020-12-15 | Nec Corporation | Object tracking device, object tracking method, and recording medium |
| JP6866621B2 (en) * | 2016-12-02 | 2021-04-28 | 株式会社豊田中央研究所 | Moving object state quantity estimation device and program |
| JP6903955B2 (en) * | 2017-03-03 | 2021-07-14 | 株式会社豊田中央研究所 | Moving object state quantity estimation device and program |
| JP6865110B2 (en) * | 2017-05-31 | 2021-04-28 | Kddi株式会社 | Object tracking method and device |
| JP2018206285A (en) * | 2017-06-09 | 2018-12-27 | 日本放送協会 | Object tracking device and object trajectory generation system |
| KR102371616B1 (en) * | 2017-11-07 | 2022-03-07 | 현대자동차주식회사 | Apparatus and method for associating sensor data of vehicle |
| EP3743864A4 (en) * | 2018-01-25 | 2021-10-20 | BEET, Inc. | PROCESS DIGITIZATION SYSTEM AND METHOD |
| JP6747461B2 (en) * | 2018-01-30 | 2020-08-26 | 株式会社豊田中央研究所 | Correlation device, object tracking device, and program |
| US10909377B2 (en) * | 2018-04-18 | 2021-02-02 | Baidu Usa Llc | Tracking objects with multiple cues |
| TWI779029B (en) * | 2018-05-04 | 2022-10-01 | 大猩猩科技股份有限公司 | A distributed object tracking system |
| JP6779410B2 (en) | 2018-05-17 | 2020-11-04 | 三菱電機株式会社 | Video analyzer, video analysis method, and program |
| JP6871199B2 (en) * | 2018-05-29 | 2021-05-12 | 大井電気株式会社 | Target recognition device |
| RU2696548C1 (en) * | 2018-08-29 | 2019-08-02 | Александр Владимирович Абрамов | Method of constructing a video surveillance system for searching and tracking objects |
| JP7455841B2 (en) * | 2018-12-13 | 2024-03-26 | プロフジー | How to track objects in a scene |
| WO2020184539A1 (en) * | 2019-03-13 | 2020-09-17 | 日本電気株式会社 | Object tracking device, object tracking method, and recording medium |
| JP7262312B2 (en) * | 2019-06-04 | 2023-04-21 | 三菱電機株式会社 | Mobile identification device, mobile identification method and program |
| CN110781824B (en) * | 2019-10-25 | 2023-03-14 | 阿波罗智联(北京)科技有限公司 | Target detection and tracking method and device, electronic equipment and storage medium |
| JP7236377B2 (en) * | 2019-12-26 | 2023-03-09 | エヌ・ティ・ティ・コムウェア株式会社 | Object detection device and object detection method |
| US12243299B2 (en) | 2019-12-26 | 2025-03-04 | Nec Corporation | Object tracking apparatus, object tracking method and recording medium |
| JP7271413B2 (en) * | 2019-12-26 | 2023-05-11 | エヌ・ティ・ティ・コムウェア株式会社 | Object detection device and object detection method |
| CN111242986B (en) * | 2020-01-07 | 2023-11-24 | 阿波罗智能技术(北京)有限公司 | Cross-camera obstacle tracking method, device, equipment, system and medium |
| KR102295183B1 (en) * | 2020-08-15 | 2021-08-31 | 이노뎁 주식회사 | object tracking method for CCTV video by use of CCTV projection model |
| KR102253989B1 (en) * | 2020-08-19 | 2021-05-20 | 이노뎁 주식회사 | object tracking method for CCTV video by use of Deep Learning object detector |
| US20230368542A1 (en) * | 2020-10-30 | 2023-11-16 | NEC Corporation 7-1, Shita-5-chome | Object tracking device, object tracking method, and recording medium |
| JP7211601B2 (en) * | 2020-10-30 | 2023-01-24 | 学校法人東京理科大学 | Action trajectory estimation device, action trajectory estimation program, and action trajectory estimation method |
| US12499561B2 (en) | 2020-10-30 | 2025-12-16 | Nec Corporation | Object tracking device, object tracking method, and recording medium |
| KR102538919B1 (en) * | 2020-12-17 | 2023-06-01 | 주식회사 파인더스에이아이 | A Hybrid Object Tracking System and Method therefor |
| JP7509044B2 (en) * | 2021-01-18 | 2024-07-02 | オムロン株式会社 | Information processing device and information processing method |
| KR102614895B1 (en) * | 2021-02-09 | 2023-12-19 | 주식회사 라온버드 | Real-time object tracking system and method in moving camera video |
| WO2022195954A1 (en) | 2021-03-17 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | Sensing system |
| JP7635036B2 (en) * | 2021-03-23 | 2025-02-25 | 株式会社Ｎｔｔデータグループ | MATCHING DEVICE, MATCHING METHOD, AND PROGRAM |
| JP7584359B2 (en) * | 2021-06-09 | 2024-11-15 | Kddi株式会社 | Object tracking device and program |
| JP2023001996A (en) * | 2021-06-22 | 2023-01-10 | 三菱電機株式会社 | Supervisory control device |
| KR102446320B1 (en) * | 2021-12-14 | 2022-09-23 | 주식회사 인텔리빅스 | Map-based object tracking and event detection device based on a plurality of cameras and driving method of the device |
| JP7511540B2 (en) | 2021-12-22 | 2024-07-05 | 三菱重工業株式会社 | Object detection device, object detection method, and object detection program |
| JP7187655B1 (en) | 2021-12-27 | 2022-12-12 | 株式会社a-LINK | OBJECT TRACKING METHOD, PROGRAM, SYSTEM AND RECORDING MEDIUM |
| KR20230149457A (en) | 2022-04-20 | 2023-10-27 | 한화비전 주식회사 | System and method for tracking object |
| KR102950530B1 (en) | 2022-11-29 | 2026-04-09 | 위드로봇 주식회사 | Method and system for tracking moving object in multiple cameras with overlapping areas |
| JP7826952B2 (en) * | 2023-01-11 | 2026-03-10 | トヨタ自動車株式会社 | Moving object search device |
| KR20240167260A (en) | 2023-05-19 | 2024-11-26 | 한화비전 주식회사 | Apparatus and method for managing image |
| JP7783580B1 (en) * | 2024-09-18 | 2025-12-10 | 株式会社カラーチップス | Mobile information processing device, system, program, and method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282535A (en) | 2003-03-18 | 2004-10-07 | Mitsubishi Electric Corp | Angle of view adjustment device |
| JP2005259173A (en) | 2005-05-23 | 2005-09-22 | Omron Corp | Human detection device, human detection method, and program |
| JP2008176504A (en) | 2007-01-17 | 2008-07-31 | Toshiba Corp | Object detection apparatus and method |
| JP2009539155A (en) | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | Method and system for generating a 3D representation of a dynamically changing 3D scene |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3257165B2 (en) * | 1993-08-06 | 2002-02-18 | 株式会社日立製作所 | Moving object monitoring device |
| JP3502468B2 (en) * | 1995-03-07 | 2004-03-02 | 松下電器産業株式会社 | Distributed monitoring equipment |
| JP3615868B2 (en) * | 1996-05-24 | 2005-02-02 | 日本放送協会 | Automatic camera system |
| US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
| JP2004046647A (en) | 2002-07-12 | 2004-02-12 | Univ Waseda | Moving object tracking method and apparatus based on moving image data |
| JP2004072628A (en) | 2002-08-08 | 2004-03-04 | Univ Waseda | Moving object tracking system and method using multiple cameras |
| US6882959B2 (en) * | 2003-05-02 | 2005-04-19 | Microsoft Corporation | System and process for tracking an object state using a particle filter sensor fusion technique |
| JP4559874B2 (en) * | 2005-03-01 | 2010-10-13 | ティーオーエー株式会社 | Motion tracking device |
| JP2007064808A (en) * | 2005-08-31 | 2007-03-15 | Canon Inc | Index position measuring method and apparatus |
| JP2007080060A (en) | 2005-09-15 | 2007-03-29 | Matsushita Electric Ind Co Ltd | Object identification device |
| JP2008021034A (en) | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | Image recognition device, image recognition method, pedestrian recognition device and vehicle controller |
| JP4725490B2 (en) * | 2006-10-27 | 2011-07-13 | パナソニック電工株式会社 | Automatic tracking method |
| JP4874150B2 (en) * | 2007-03-30 | 2012-02-15 | セコム株式会社 | Moving object tracking device |
| JP5147760B2 (en) * | 2009-03-02 | 2013-02-20 | セコム株式会社 | Image monitoring device |
| JP4553071B1 (en) | 2009-03-31 | 2010-09-29 | コニカミノルタホールディングス株式会社 | 3D information display device and 3D information display method |
| JP2010268369A (en) | 2009-05-18 | 2010-11-25 | Konica Minolta Opto Inc | Peripheral display device |
| JP5203319B2 (en) * | 2009-08-25 | 2013-06-05 | セコム株式会社 | Abandonment monitoring device |
| JP5538781B2 (en) * | 2009-09-02 | 2014-07-02 | キヤノン株式会社 | Image search apparatus and image search method |
| JP2012080251A (en) * | 2010-09-30 | 2012-04-19 | Casio Comput Co Ltd | Image processor, image processing method, and program |
| JP5613016B2 (en) * | 2010-10-29 | 2014-10-22 | 株式会社キーエンス | Video tracking device, video tracking method, and video tracking program |
| JP2012133408A (en) | 2010-12-17 | 2012-07-12 | Sharp Corp | Image processing device and program |
| JP5925557B2 (en) * | 2012-03-30 | 2016-05-25 | セコム株式会社 | Image matching device |
| JP5956248B2 (en) | 2012-05-21 | 2016-07-27 | セコム株式会社 | Image monitoring device |
| JP6016295B2 (en) * | 2012-08-10 | 2016-10-26 | 株式会社日立国際電気 | Monitoring system |
| JP5931662B2 (en) * | 2012-09-14 | 2016-06-08 | 株式会社東芝 | Road condition monitoring apparatus and road condition monitoring method |
| WO2014080613A1 (en) * | 2012-11-22 | 2014-05-30 | 日本電気株式会社 | Color correction device, method, and program |
| JP6181925B2 (en) * | 2012-12-12 | 2017-08-16 | キヤノン株式会社 | Image processing apparatus, image processing apparatus control method, and program |
| JP6080572B2 (en) * | 2013-01-31 | 2017-02-15 | セコム株式会社 | Traffic object detection device |
-
2014
- 2014-11-04 JP JP2014224050A patent/JP6488647B2/en active Active
-
2019
- 2019-02-25 JP JP2019031566A patent/JP6673508B2/en active Active
-
2020
- 2020-03-04 JP JP2020036328A patent/JP7004017B2/en active Active
-
2021
- 2021-12-24 JP JP2021210227A patent/JP7272417B2/en active Active
-
2023
- 2023-04-25 JP JP2023071553A patent/JP7567979B2/en active Active
-
2024
- 2024-09-30 JP JP2024170268A patent/JP7726357B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282535A (en) | 2003-03-18 | 2004-10-07 | Mitsubishi Electric Corp | Angle of view adjustment device |
| JP2005259173A (en) | 2005-05-23 | 2005-09-22 | Omron Corp | Human detection device, human detection method, and program |
| JP2009539155A (en) | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | Method and system for generating a 3D representation of a dynamically changing 3D scene |
| JP2008176504A (en) | 2007-01-17 | 2008-07-31 | Toshiba Corp | Object detection apparatus and method |
Non-Patent Citations (4)
| Title |
|---|
| 坂木和則 外４名，多視点テレビ放送を用いた映像内のオブジェクト位置の認識と追跡，電子情報通信学会論文誌，日本，社団法人電子情報通信学会 ，2004年02月01日，第J87-D-I巻 第2号，pp.175～187 |
| 小林貴訓，人物頭部の追跡技術，画像ラボ，日本，日本工業出版株式会社，2010年12月10日，第21巻 第12号，pp.9～14 |
| 池田聖 外１名，全方位型マルチカメラシステムを用いた高臨場感テレプレゼンスシステムの構築手法に関する研究，情報処理学会研究報告，日本，社団法人情報処理学会，2006年05月19日，第2006巻 第51号，pp.307～322 |
| 長瀬琢也 外１名，多視点映像を用いたサッカーにおける選手のプレー判定，映像情報メディア学会誌，日本，（社）映像情報メディア学会 ，2006年10月01日，第60巻 第10号，pp.1664～1671 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6673508B2 (en) | 2020-03-25 |
| JP2019114280A (en) | 2019-07-11 |
| JP2016071830A (en) | 2016-05-09 |
| JP7272417B2 (en) | 2023-05-12 |
| JP2023083565A (en) | 2023-06-15 |
| JP7004017B2 (en) | 2022-01-21 |
| JP2024177244A (en) | 2024-12-19 |
| JP2020107349A (en) | 2020-07-09 |
| JP7726357B2 (en) | 2025-08-20 |
| JP6488647B2 (en) | 2019-03-27 |
| JP2022036143A (en) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7567979B2 (en) | Object tracking method and object tracking device | |
| US12380699B2 (en) | Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium | |
| US10198823B1 (en) | Segmentation of object image data from background image data | |
| US9965865B1 (en) | Image data segmentation using depth data | |
| US7986828B2 (en) | People detection in video and image data | |
| EP3951715B1 (en) | Generation apparatus, generation method, and program | |
| CN109325456B (en) | Target identification method, target identification device, target identification equipment and storage medium | |
| JP2016099941A (en) | Object position estimation system and program thereof | |
| US20230394792A1 (en) | Information processing device, information processing method, and program recording medium | |
| CN104049754A (en) | Real time hand tracking, pose classification, and interface control | |
| US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
| KR20190018274A (en) | Method and apparatus for recognizing a subject existed in an image based on temporal movement or spatial movement of a feature point of the image | |
| US20170147075A1 (en) | Determination of hand dimensions for hand and gesture recognition with a computing interface | |
| US20170344104A1 (en) | Object tracking for device input | |
| JP2020106970A (en) | Person detection device and person detection method | |
| US20250356682A1 (en) | Machine-vision person tracking in service environment | |
| US20240395056A1 (en) | Driver surveillance apparatus, driver surveillance method, and non-transitory storage medium | |
| KR102136245B1 (en) | Apparatus, method, computer-readable storage medium and computer program for detecting and selecting target | |
| Farazi et al. | Real-time visual tracking and identification for a team of homogeneous humanoid robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240916 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7567979 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |