JP7548079B2 - 物体追跡装置および物体追跡方法 - Google Patents

Description

本発明は、物体追跡装置および物体追跡方法に関する。

物体追跡には、入力された画像から検出する対象物（検出対象物）を探し出す検出処理と、検出された対象物と同一物体を各フレームから探し出す追跡処理が行われる。物体追跡においては、追跡する対象物（追跡対象物）の特徴を抽出したテンプレートを用い、入力された画像からテンプレートと同様の特徴を有する領域が探し出される。ここで、追跡対象物の特徴は、物体の移動や背景の変化に伴い変化する場合がある。したがって、テンプレートを順次更新しつつ追跡を行うことで、精度よく追跡を行うことができる。

テンプレート更新に用いられる従来手法の一つに、追跡により得られた結果をテンプレートに部分的に反映させる逐次学習型の手法がある。この手法では、追跡対象物の過去の状態が考慮されてテンプレートが更新されるので被写体の変化に対してロバストな追跡が可能であるが、一度学習に失敗すると背景部分への貼りつきが起きることがある。また、追跡の誤差が積み重なり追跡に失敗する恐れがある。

他の従来手法として、テンプレートを更新時毎に置き換えるリセット型の手法がある。この手法では、背景部分への貼りつきは起きにくいが、追跡対象物の過去の情報が学習されないため前フレームから被写体の状態が急激に変化した場合には追跡に失敗しやすい。

このように、いずれの手法も得意な状況と不得意な状況がある。しかしながら、対象物にはあらゆる状況が想定されるため、テンプレート更新において逐次学習型とリセット型のどちらの手法を用いるべきか見極めるのは困難である。これに対し、特許文献１では、追跡結果の信頼度を算出し、信頼度に基づいてテンプレートの更新や、追跡終了の判定を行う手法を提案している。特許文献１の手法は、最初のフレームのみ検出を行い、次フレーム以降は追跡結果の信頼度に基づきテンプレートを更新し、更新されたテンプレートを用いて追跡を行う。しかしながら、常に形状が変化する対象物体の場合には、正しく追跡を行っていても信頼度が毎フレーム低く算出されるため、誤って追跡を終了する恐れがあり、追跡に失敗しやすいという問題がある。したがって、特許文献１のような手法では、精度よくテンプレートを更新できず、追跡に失敗する恐れがある。

特開２０１０－１４７９５０号公報

本発明は、上記事情に鑑みなされたものであって、従来よりも精度よく物体追跡を行うことを目的とする。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の第１態様は、複数のフレームからなる画像に含まれる対象物を追跡する物体追跡装置であって、前記画像を取得する画像取得部と、検出対象物の特徴と、追跡対象物の特徴を記憶した記憶部と、前記記憶部の前記追跡対象物の特徴を更新する更新部と、前記
記憶部に記憶された前記検出対象物の特徴に基づき、取得した画像から前記検出対象物を検出する検出部と、前記記憶部に記憶された前記追跡対象物の特徴に基づき、取得した画像から前記追跡対象物を追跡する追跡部と、を備え、前記物体追跡装置は、現フレームに対して、前記検出部による前記検出対象物の検出と、前記追跡部による前記追跡対象物の追跡との両方を行い、前記更新部は、追跡結果と検出結果に基づいて前記追跡対象物の特徴を更新し、前記追跡部は、次フレームに対しては、更新された前記追跡対象物の特徴を用いて前記追跡を行う、ことを特徴とする物体追跡装置である。

検出対象物および追跡対象物の特徴は、例えば、色や形状に関する特徴量等を用いてもよい。検出結果および追跡結果には、検出または追跡した領域に関する情報が含まれているとよい。

本態様に係る物体追跡装置は、フレーム毎に検出と追跡の両方を行い、追跡結果または検出結果を用いて追跡に用いるテンプレート（追跡対象物の特徴）を更新する。次フレームに対しては、更新されたテンプレートを用いて追跡を行う。このように、追跡結果または検出結果に基づき更新されたテンプレートを用いて追跡を行うことで、追跡対象物や背景の変化に応じたテンプレートを追跡に用いることができ、精度よく追跡を行うことができる。

本態様における更新部は、追跡結果と検出結果の一致度に応じてテンプレートの更新方法を切り替えてもよい。一致度に応じてテンプレートの更新方法を切り替えることで、次フレームにおいて追跡の誤りが生じないようにすることができる。

テンプレート更新方法の切り替えは、例えば、一致度が第１閾値に対し高いか否かにより次のように行うとよい。ここで、第１閾値には、一致度がその値以上であれば追跡結果が正しいと見なせる値を設定する。一致度が第１閾値よりも高い場合は、検出結果と追跡結果のいずれかまたは両方の特徴を用いてテンプレートを更新する（第１更新処理）とよい。一方、一致度が第１閾値以下である場合は、一致度が第１閾値より高い場合よりも検出結果が大きく影響されるようにテンプレート更新する（第２更新処理）とよい。検出結果と追跡結果が一致しない場合は、いずれかに誤りがあることが想定される。追跡処理は稀ではあるが対象物と大きく異なる物体を捉えてしまうことがあり、検出処理の方が対象物と大きく異なる物体を捉えることは少ない。したがって、上記のように検出結果と追跡結果と一致しない場合に検出結果を優先することで、次フレームでの誤追跡の可能性を抑制できる。

本態様における一致度は、検出により得られた対象物と、追跡により得られた対象物の一致の程度を表す指標である。一致度は、例えば、追跡結果に含まれる追跡対象物と検出結果に含まれる検出対象物の、中心位置の差または大きさの差に基づいて算出できる。

本態様における更新部は、第１更新処理では、現フレームに対する追跡部による追跡結果を用いてテンプレートを更新し、第２更新処理では、現フレームに対する検出部による検出結果を用いてテンプレートを更新してもよい。あるいは、更新部は、第２更新処理において、現フレームに対する検出部による検出結果をテンプレートとして置き換えてもよい。また、更新部は、第１更新処理よりも第２更新処理の方が、テンプレート更新における学習率を大きくしてもよい。このようにすれば、一致度が第１閾値以下である場合に、一致度が第１閾値より高い場合よりも検出結果が大きく影響されるようにテンプレートを更新できる。

本態様における更新部は、追跡結果や検出結果の信頼度に応じてテンプレート更新方法を切り替えてもよい。追跡結果または検出結果の信頼度は、例えば、現フレームの追跡結
果または検出結果と背景画像との差分を用いて算出してもよい。なお、背景画像とは、検出領域に検出対象物が存在しないときの画像である。また、追跡結果または検出結果の信頼度は、フレーム間での追跡位置または検出位置の差を用いて算出してもよい。また、追跡結果の信頼度は、追跡結果の確からしさを示す追跡スコアを用いて算出してもよいし、検出結果の信頼度は、検出結果の確からしさを示す検出スコアを用いて算出してもよい。このように、信頼度や検出スコアも用いて切り替えることで、より適切にテンプレートを更新できる。

追跡結果または検出結果の信頼に応じてテンプレートの更新方法を次のように切り替えてもよい。例えば、更新部は、追跡結果および検出結果のいずれの信頼度も第２閾値以下である場合には、現フレームにおいてテンプレートを更新しなくてもよい。あるいは、更新部は、追跡結果の信頼度は第２閾値より高く、検出結果の信頼度が第２閾値以下である場合には、追跡結果と検出結果の一致度にかかわらずに第１更新処理を行ってもよい。また、更新部は、追跡結果の信頼度は第２閾値以下であり、検出結果の信頼度が第２閾値より高い場合には、追跡結果と検出結果の一致度にかかわらずに第２更新処理を行ってもよい。さらに、更新部は、追跡結果および検出結果のいずれの信頼度も第２閾値より高い場合には、一致度に応じて第１更新処理または第２更新処理を行うとよい。さらにまた、更新部は、追跡結果と検出結果のいずれか一方のみを考慮してテンプレートの更新方法を切り替えてもよい。例えば、検出結果の信頼度が第３閾値より高い場合には、追跡結果と検出結果の一致度に応じて第１更新処理または第２更新処理を行い、信頼度が第３閾値以下である場合には、現フレームにおいてテンプレートを更新しないようにしてもよい。追跡結果の信頼度のみを考慮して切り替える場合も同様とすることができる。

本態様に係る物体追跡装置は、同一のフレームから複数の追跡結果および検出結果が得られた場合は、追跡結果と検出結果の対応付け（ペアリング）を行うとよい。このように、追跡結果と検出結果のペアリングを行うことで、複数の追跡結果および検出結果が得られた場合においてもそれぞれのペアごとにテンプレートを更新し、精度よく追跡を行うことができる。

本発明の第２態様は、コンピュータが行う、複数のフレームからなる画像に含まれる対象物を追跡する物体追跡方法であって、前記画像を取得する画像取得ステップと、記憶部に格納されている検出対象物の特徴に基づき、取得した画像から前記検出対象物を検出する検出ステップと、前記記憶部に格納されている追跡対象物の特徴に基づき、取得した画像から前記追跡対象物を追跡する追跡ステップと、を含み、前記物体追跡方法は、現フレームに対して、前記検出ステップと、前記追跡ステップと、前記追跡対象物の特徴を更新する更新ステップと、を行い、次フレームに対しては、更新された前記追跡対象物の特徴を用いて前記追跡ステップを行う、ことを特徴とする物体追跡方法である。

本発明は、上記手段の少なくとも一部を有する物体追跡装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む物体追跡方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、従来よりも精度よく物体追跡を行うことができる。

図１は、物体追跡装置の機能構成を示す図である。 図２は、物体追跡装置におけるテンプレートの更新（学習）処理を説明する図である。 図３は、物体追跡装置のハードウェア構成を示す図である。 図４は、物体追跡装置が実施する全体処理のフローチャートである。 図５は、検出結果および追跡結果の信頼度を用いる場合のフローチャートである。 図６は、検出スコアを用いる場合のフローチャートである。

＜適用例＞
図１を参照して、本発明に係る物体追跡装置の適用例を説明する。物体追跡装置１は、取得した画像を解析して、対象物を検出・追跡する装置である。画像は、カメラから取得してもよいし、通信装置から受信してもよく、記録媒体から読み取ってもよい。対象物は任意の物体でよく、例えば、人体、顔、動物、車両、部品が例として挙げられる。ここでは一例として、人体を追跡する場合を想定する。この物体追跡装置１は、例えば、オフィスや工場などにおいて、対象とする人体の検出、認識、追跡などを行う。物体追跡装置１の追跡結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御などに利用される。

本適用例では、検出と追跡の両方を毎フレーム行う。追跡に用いるテンプレート（追跡対象物の特徴）の学習は、基本的に逐次学習型のアルゴリズムにより行う。より具体的には、検出または追跡により得られた結果を用いてテンプレートを逐次更新し、次フレームでは更新されたテンプレートを用いて追跡を行う。ここで、不正確な追跡結果が得られた場合や、逐次学習に伴い背景など追跡対象以外の特徴が徐々に入り込んでしまった場合には、追跡誤差が積み重なり、最終的に追跡に失敗する恐れがある。そこで本適用例では、現フレームに対し検出と追跡の両方を行い、テンプレートを更新する方法を切り替えることで、追跡性能を向上する手法を提案する。

画像取得部２は、物体追跡の対象とする画像データを取得する機能を有する。検出部３は、取得された画像から、検出対象物である人体の特徴に基づき人体の探索を行う。追跡部４は、取得された画像から、前フレームまでに検出部３により検出された人体と同じ人体の探索を行う。追跡に用いるテンプレートは、更新部５により更新される。

更新部５は、追跡結果または検出結果を用いてテンプレートの更新を行う。追跡部４は、次フレームからは更新されたテンプレートを用いて追跡を行う。このように、現フレームの追跡結果または検出結果に基づき更新されるテンプレートを用いて追跡を行うことで、精度よく追跡を行うことができる。

テンプレート更新方法は、例えば、検出結果と追跡結果の一致度に応じて切り替えてもよい。一致度とは、検出部３が示す人体と、追跡部４が示す人体の一致の程度を表す。例えば、検出矩形と追跡矩形の位置座標の一致度や、検出矩形と追跡矩形の画像の一致度を用いて算出してもよい。

テンプレートは、一致度が第１閾値よりも高い場合にそうでない場合と比較して検出結果が大きく影響するように更新するとよい。例えば、一致度が第１閾値よりも高い場合は追跡結果を用いてテンプレートを更新し、第１閾値以下である場合は検出結果を用いて更新してもよい。なお、更新方法の切り替えはこの方法に限られない。

このように一致度に応じてテンプレート更新方法を切り替えることで、より精度よくテンプレート更新を行うことができ、追跡精度が向上する。

また、テンプレート更新に用いる特徴の切り替えは、検出結果または追跡結果の信頼度に応じて更新に用いる結果を切り替えてもよい。信頼度は、追跡結果と検出結果の双方について算出してもよく、どちらか一方でもよい。追跡結果と検出結果の信頼度は、例えば、背景画像に基づいて算出してもよく、追跡または検出された対象物のフレーム間における位置の差に基づいて算出してもよい。また、検出結果の信頼度は、検出結果の確からしさを表す検出スコアに基づき算出してもよい。このように、信頼度や検出スコアも合わせて考慮しテンプレート更新に用いる特徴を切り替えることで、より精度よくテンプレートを更新し、追跡精度が向上することができる。

＜実施形態１＞
以下で説明する実施形態は、物体追跡装置１に関する。図２に示すように、ここでは一例としてカメラが撮影した画像から人体１０を追跡する装置を想定するが、あくまで例示に過ぎず、画像から検出および追跡する物体は人体である必要はなく、任意の物体であってよい。例えば、動物、車両、部品が例として挙げられる。また、画像の取得元もカメラに限られず、例えばハードディスクに記録された画像に対して物体追跡装置を適用してもよい。

本実施形態による物体追跡装置１は、例えば、監視カメラや車載カメラによる人体検出、オートフォーカス（ＡＦ）、人数カウントなどに用いることができる。

＜ハードウェア構成＞
図３は、本実施形態に係る物体追跡装置１のハードウェア構成を示す図である。物体追跡装置１は、通信ＩＦ(インターフェース)２０、通信装置２１、記憶装置２２、演算装置２３、入力装置２４、出力装置２５を含む。通信ＩＦ２０は、本実施形態ではカメラから直接画像データを受け取るが、通信装置２１や記録媒体を介して画像データを受け取ってもよい。通信装置２１は、物体追跡装置１が外部のコンピュータと通信を行うための装置である。通信の形態は有線であっても無線であってもよく、通信規格は任意であってよい。記憶装置２２は、主記憶装置および補助記憶装置を含み、演算装置２３によって実行されるプログラムや画像データやプログラム実行中の一時データを格納する。入力装置２４は、ユーザが物体追跡装置１に指示を入力するための装置であり、例えば、ボタン、キーボード等から構成される。出力装置２５は、物体追跡装置がユーザに対する出力を行うための装置であり、例えば、表示装置、制御装置、スピーカなどから構成される。

図１は本実施形態に係る物体追跡装置１の機能ブロック図である。本実施形態の物体追跡装置１は、画像取得部２、検出部３、追跡部４、更新部５、記憶部６、出力部７の各機能部を有している。これらの機能部は、演算装置２３が記憶装置２２に記憶されているプログラムを実行することにより実現される。ただし、これらの機能部の一部またはすべては、ＡＳＩＣなどの専用の装置によって実現されてもよい。

（画像取得部２）
画像取得部２は、物体追跡の対象とする画像データを取得する機能を有する。取得する画像データは複数のフレームからなる画像であり、静止画像でも動画像でもよい。また、取得する画像は、カメラ２６から取得されてもよいし、通信装置２１や記憶装置２２から取得されてもよい。取り込まれた画像データは、検出部３および追跡部４に引き渡される。

（検出部３）
検出部３は、記憶部６に記憶された検出対象物の特徴に基づき、画像取得部２が取得した画像から検出対象物を検出する。すなわち、検出部３は、検出対象物である人一般に共通する特徴に基づき、人体が含まれる領域を探索する。検出に用いるアルゴリズムは、人
体を検出する任意のアルゴリズムが採用可能である。検出結果は更新部５に引き渡される。

（追跡部４）
追跡部４は、記憶部６に記憶された追跡対象物の特徴に基づき、画像取得部２が取得した画像から追跡対象物を追跡する。すなわち、追跡部４は、追跡対象物である検出部３が検出した特定の人体を識別可能な特徴に基づき、前フレームまでに検出部３が検出した人体と同一の人体が含まれる領域を探索する。追跡部４が追跡に用いるテンプレートは更新部５により更新され、次フレームに対しては、更新されたテンプレートを用いて追跡を行う。追跡結果は更新部５に引き渡される。

ここで、本実施形態では、検出部３や追跡部４が対象物の探索に用いる特徴の一例として、色の特徴量であるカラーヒストグラムを用いる。カラーヒストグラムは、歩行中の人のように形状が変化する場合であっても、色の分布は一定であるため、追跡対象が人の場合に好適である。なお、用いる特徴量は色に限られず、例えば輝度や形状に関する特徴量などを用いてもよく、複数の特徴量等を組み合わせて使用してもよい。

（更新部５）
更新部５は、検出部３による検出結果と、追跡部４による追跡結果との一致度に応じて更新（学習）方法を切り替える機能を有する。本実施形態では、更新部５は、一致度に応じてテンプレート更新に用いる特徴を追跡結果と検出結果において切り替えるとともに、学習率を変更する。一致度は、追跡部４が示す追跡矩形１２と検出部３が示す検出矩形１１の中心位置の差を用いて算出する。なお、一致度は追跡結果と検出結果の類似度を比較できるものであればよい。例えば、結果の類似度は、中心間距離のほか、領域の大きさの差や、ＩｏＵ（Intersection over Union）を用いて算出してもよく、画像類似度から算
出してもよい。画像類似度は、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、相互相関等を用いて算出してもよく、顔向きや姿勢など画像内
の被写体の類似度を用いて算出してもよい。

ここで、追跡も検出も正しく行われている場合は、追跡結果と検出結果は同様の領域が出力される。一方、追跡結果と検出結果が異なる領域を出力した場合は、追跡が正しく行われていない可能性がある。そこで、第１閾値には、一致度がその値以上であれば追跡が正しく行えていると判断できる値を設定する。このような値を設定し、第１閾値を境にテンプレート更新に用いる方法を切り替えることで、より精度よくテンプレート更新を行うことができる。なお、第１閾値は任意の値でよく、例えば、厳密な精度が求められる物体追跡の場合は、そうでない場合よりも所定の割合大きくする、と定めてもよい。更新部５による更新方法の切り替えについては、以下でフローチャートを参照しながら詳細に説明する。

（記憶部６）
記憶部６は、検出部３が用いる検出対象物の特徴（検出用のテンプレート）と、追跡部４が用いる追跡対象物の特徴（追跡用のテンプレート）を記憶する機能を有する。記憶部６はまた、更新に用いる係数など追跡処理および更新処理に用いる各種のパラメータ等も記憶している。

（出力部７）
出力部７は、画像や検出結果・追跡結果などの情報を外部装置に出力する機能を有する。例えば、出力部７は、外部装置としてディスプレイに情報を表示してもよいし、外部装置として照明装置や空調装置に情報や制御信号を送信してもよいし、記録装置に格納してもよい。

＜全体処理＞
図４は、物体追跡処理の全体フローチャートである。図１および図４に沿って物体追跡処理の全体的な流れを説明する。

ステップＳ１０１では、検出部３が、現フレーム画像から、検出対象物である人体の特徴に基づき、人体の検出を行う。

ステップＳ１０２では、追跡部４が、現フレーム画像から、テンプレートに基づき追跡対象物の追跡を行う。追跡対象物とは、前フレーム画像までに追跡を行っていた場合は、前フレーム画像で追跡していた人体のことである。前フレームまでに追跡は行っておらず、検出部３による検出結果のみある場合は、検出部３により検出された人体のことである。

ステップＳ１０３では、更新部５が追跡結果および検出結果の矩形の中心間距離に基づき、対応付け（ペアリング）を行う。なお、ペアリングは矩形の中心間距離に基づき行ってもよいし、矩形の最短距離や、矩形の大きさの類似度などに基づき行ってもよい。ステップＳ１０４～Ｓ１０６のループ処理Ｌ１以降の処理は、ペアリングされた追跡結果と検出結果についてそれぞれ処理を行う。

ステップＳ１０４では、更新部５が、追跡部４が示す追跡矩形１２の中心座標と、検出部３が示す検出矩形１１の中心座標から一致度を判定する。一致度が第１閾値よりも高い場合はステップＳ１０５に進み、第１閾値以下である場合はステップＳ１０６に進む。本実施形態では、ステップＳ１０５の処理が第１更新処理に相当し、ステップＳ１０６の処理が第２更新処理に相当する。

本実施形態では、現フレームの追跡結果または検出結果を用いてテンプレートの更新を行う。以下にテンプレート更新に用いる式の一例を記載する。

Ｆ_ｎ＋１＝α×Ｆ_ｎ＋（１－α）×Ｆ_ｎ―１
ここで
Ｆ_ｎ＋１：次フレームで追跡に用いる特徴量
Ｆ_ｎ：現フレームから得られた対象物の特徴量
Ｆ_ｎ-１：前フレームまでに記憶していた特徴量
α：学習率
である。

ステップＳ１０５では、更新部５が、「現フレームから得られた対象物の特徴量（Ｆｎ）」として「現フレームの追跡結果が示す特徴量」を用い、学習率（α）を「０．１」としてテンプレート更新（逐次学習）を行う。なお、学習率とは、記憶部６に記憶されたテンプレートをどの程度変更するかを表すパラメータである。すなわち、Ｓ１０５では上述した式に示すように、現フレームの追跡結果が示す特徴量と、前フレームまでに記憶していた特徴量が１：９の比率で合成されるようにテンプレートを更新する。これにより、次フレームでは適切に更新されたテンプレートを用いて追跡を行うことができる。なお、本実施形態のステップＳ１０５では更新に用いる特徴として追跡結果を採用するが、検出結果を採用してもよいし、追跡結果と検出結果の両方を組み合わせて採用してもよい。また、学習率の値は「０．１」に限られず、任意の値でよい。

ステップＳ１０６では、更新部５が、「現フレームから得られた対象物の特徴量（Ｆｎ）」として「現フレームの検出結果が示す特徴量」を用い、学習率（α）を「１」として
、すなわちテンプレートを現フレームの検出結果が示す特徴量へ置き換え（リセット）を行う。ここで、一致度が低い場合は、追跡結果が不正確な結果を示している可能性がある。したがって、テンプレートを現フレームの検出結果に即時に置き換えることで、次フレームからの追跡精度を迅速に回復することができる。学習率はＳ１０５よりも高ければよく、例えば学習率を「０．５」とする「学習率アップ」の処理を採用してもよい。この場合は、過去のテンプレートの情報も維持しつつ、現フレームの検出結果に近づくようにテンプレートを更新することができる。例えば、第１閾値よりも小さい所定の閾値を境に「リセット」と「学習率アップ」を切り替えてもよい。

なお、本実施形態では、一致度が第１閾値より高い場合（ステップＳ１０５）では、現フレームに対する追跡部４による追跡結果を用いてテンプレートを更新し、一致度が第１閾値以下である場合（ステップＳ１０６）では、現フレームに対する検出部３による検出結果を用いてテンプレートを更新し、ステップＳ１０５とステップＳ１０６で異なる学習率を用いる処理について記載している。しかしながら、一致度が第１閾値よりも高い場合にそうでない場合と比較して検出結果が大きく影響するようにテンプレートを更新できれば、更新方法の切り替えはこの方法に限られない。例えば、更新部５は、テンプレート更新に用いる特徴は一致度に応じて追跡結果と検出結果において切り替えるが、一致度に関わらず学習率は同じ値を用いてもよい。この場合は、更新部５は、一致度が第１閾値よりも高い場合には追跡結果を用い、一致度が第１閾値以下である場合には検出結果を用い、学習率は任意の値（例えば「０．１」）でテンプレートを更新してもよい。また、更新部５は、テンプレート更新には一致度に関わらず検出結果を用い、一致度に応じて学習率を変更してもよい。この場合には、一致度が第１閾値よりも高い場合の学習率は、一致度が第１閾値以下である場合の学習率よりも大きくすればよい。また、更新部５は、テンプレート更新には一致度に関わらず追跡結果と検出結果を合成した結果を用い、一致度に応じて合成の割合を変更してもよい。この場合は、更新部５は、一致度が第１閾値よりも高い場合は、一致度が第１閾値以下の場合と比較して、追跡結果に対する重みが大きくなるようにして合成すればよい。さらに、この場合は、一致度に応じて学習率を変更してもよいし、同じ学習率を用いてもよい。また、上記複数の更新方法を組み合わせてテンプレートを更新してもよい。このように、一致度が第１閾値以下である場合は、そうでない場合よりも検出結果が大きく影響するようテンプレートを更新するとよい。これにより、一致度が低く、追跡結果と検出結果のどちらかが不正確な可能性がある場合でも、不正確なテンプレート更新による追跡精度の低下を回避することができる。

追跡部４は、次フレームにおいては更新されたテンプレートを用いて、追跡を行い、それぞれのフレームについてステップＳ１０１からステップＳ１０５またはステップＳ１０６までの処理が繰り返される。

本実施形態では、現フレーム画像に対して検出部による検出と、追跡部による追跡の両方を行い、検出結果と追跡結果の一致度に応じてテンプレートの更新方法を切り替える。検出結果と追跡結果の一致度が高い場合は、どちらの結果を用いてもテンプレートを正しく更新することができる。一方、検出結果と追跡結果が相違する場合には、いずれかの結果が不正確な可能性がある。追跡処理は稀ではあるが対象物と大きく異なる物体を捉えてしまうことがあり、検出処理の方が対象物と大きく異なる物体を捉えることは少ない。したがって、上記のように検出結果と追跡結果と一致しない場合に検出結果を優先する。これにより、不正確な結果を用いたテンプレート更新による背景への貼りつき等が低減され、追跡精度を向上することができる。

＜第２実施形態＞
第１実施形態は一致度に基づいて更新方法を切り替えているが、第２実施形態はさらに追跡結果・検出結果の信頼度を考慮して更新方法を切り替える。本実施形態に係る物体追
跡装置の構成は、基本的に第１実施形態と同様であるため詳しい説明は省略し、主に異なる点について説明する。

ここで、信頼度とは、追跡結果や検出結果の確からしさを示す指標である。本実施形態では、追跡結果と検出結果の両方について信頼度を算出するが、追跡結果と検出結果のいずれか一方について算出してもよい。このように、信頼度も考慮してテンプレートの更新方法を切り替えることで、より適切にテンプレートを更新し、追跡精度を向上することができる。

信頼度は、例えば、背景画像との差分を用いて算出してもよい。すなわち、追跡部４による追跡結果の信頼度は、現フレームに対する追跡結果と、背景画像との差分に応じて決定し、検出部３による検出結果の信頼度は、現フレームに対する検出結果と、背景画像との差分に応じて決定してもよい。なお、背景画像とは、検出領域に検出対象物が存在しないときの画像である。本実施形態では、検出対象物が存在しない、ある特定の時点の画像を背景画像として背景差分に用いる。なお、背景画像は、ある特定の時点の画像を背景画像として用いてもよく、逐次異なる画像を背景画像として用いてもよい。例えば、背景画像は、検出対象物が存在しない直前のフレーム画像を背景画像として定めてもよいし、直近の所定フレームの平均を用いて合成した画像を背景画像として定めてもよい。また、追跡結果の背景差分と、検出結果の背景差分で用いる背景画像は、同じ背景画像を用いてもよいし、異なる背景画像を用いてもよい。

背景画像との差分による信頼度は、現フレームについて追跡結果または検出結果が出力する領域と、背景画像の対応する領域の、画像の非類似度により評価する。ここで、追跡結果または検出結果が背景画像と類似している場合は、背景を誤って対象物と認識している可能性がある。したがって、信頼度として、追跡結果または検出結果と背景画像との非類似度を採用でき、非類似度が高い（類似していない）ほど信頼度が高いと評価する。なお、非類似度として画像差分の量を採用できるが、その他の指標を用いてもよい。

図５を参照して、信頼度の一例として背景画像との差分を用い、テンプレートの更新方法を切り替える手法を説明する。なお、図４と同様の処理については同じ符号を付しており、詳細な説明は省略する。図１および図５に沿ってステップＳ２０１以降の処理の流れを説明する。

ステップＳ２０１では、検出部３による検出結果の信頼度および追跡部４による追跡結果の信頼度を、第２閾値と比較する。ここで、第２閾値とは、その値以上であれば検出結果や追跡結果を信頼できると判断できる値を設定する。また、本実施形態では、第２閾値は検出結果と追跡結果で同じ値を用いるが、異なる値を用いてもよい。

ステップＳ２０１の判定において、検出結果と追跡結果のいずれの信頼度も第２閾値よりも高い場合には、ステップＳ１０４に進む。すなわち、検出結果も追跡結果のどちらも信頼できる場合には、第１実施形態と同様に一致度を考慮してテンプレート更新方法を切り替える。

ステップＳ２０１の判定において、検出結果の信頼度は第２閾値以下であり、追跡結果の信頼度は第２閾値よりも高い場合には、検出結果は不正確な可能性があるが、追跡結果は正しい結果を出力していると考えられる。したがって、一致度を判定することなくステップＳ１０５に進み、更新部５は追跡結果を用い、テンプレート更新（逐次学習）を行う。これにより、より信頼できる結果を用いてテンプレートを更新することができる。

ステップＳ２０１の判定において、検出結果の信頼度は第２閾値よりも高く、追跡結果
の信頼度は第２閾値以下である場合には、検出結果は正しい結果を出力していると考えられるが、追跡結果は不正確な可能性がある。したがって、一致度を判定することなくステップＳ１０６に進み、更新部５はテンプレートを現フレームの検出結果に置き換え（リセット）を行う。これにより、追跡結果が不正確な場合には、テンプレートが検出結果に近づくように修正され、追跡精度を向上することができる。

ステップＳ２０１の判定において、検出結果と追跡結果のいずれの信頼度も第２閾値以下である場合には、ステップＳ１０７に進み、更新部５はテンプレートを更新しない（「学習なし」）。なお、「テンプレートを更新しない」とは、学習率０％での学習処理であると捉えることができる。これにより、不正確な可能性がある特徴を用いてテンプレートが更新されることを回避することができる。

追跡部４は、次フレームにおいては更新されたテンプレートを用いて、追跡を行い、それぞれのフレームについてステップＳ１０１以降の処理が繰り返される。このように、信頼度に応じてテンプレートの更新方法を切り替えることで、現フレームの結果をより適切に反映してテンプレートを更新することができ、追跡精度を向上することができる。

なお、信頼度の判定結果を用いる場合は、ステップＳ２０１の判定後、Ｓ１０４～Ｓ１０７のすべての処理を採用してもよいし、いずれかの処理のみ採用してもよい。例えば、ステップＳ１０７（「学習なし」）を採用せず、検出結果の信頼度も追跡結果の信頼度も第２閾値以下である場合には、ステップＳ１０４の一致度の処理に進み、一致度に応じてテンプレートを更新してもよい。また、例えば、ステップＳ１０４の一致度の判定を採用せず、追跡結果の信頼度が高い場合はすなわち「逐次学習」の処理によりテンプレートを更新してもよい。また、テンプレートの更新方法は、上記とは異なる切り替え方法を採用してもよい。例えば、検出結果の信頼度と、追跡結果の信頼度との、いずれか一方でも信頼度が第２閾値よりも低い場合は、テンプレートを更新しない（ステップＳ１０７）処理を採用してもよい。なお、実施形態１と同様に、実施形態２で用いた学習率はあくまで例示であり、任意の値を用いてよい。

また、信頼度は、背景画像との非類似度に限られず、他の指標に基づいて算出されてもよい。例えば、フレーム間での位置の差を信頼度の指標として採用してもよい。この場合、フレーム間における位置の差が対象物の移動しうる範囲内であれば、信頼できる結果であると推定してもよい。追跡部４による追跡結果の信頼度は、フレーム間での追跡位置の差に応じて決定し、検出部３による検出結果の信頼度は、フレーム間での検出位置の差に応じて決定してもよい。追跡位置および検出位置とは、例えば追跡および検出された領域の中心位置の座標である。このように、フレーム間での位置の差に応じて信頼度を算出することで、誤って追跡または検出した恐れのある結果を用いてテンプレートを更新する可能性を低減することができる。

なお、信頼度に用いる基準は、一条件に限られない。例えば、背景画像との差分と、フレーム間での位置の差や、その他の基準を組み合わせて信頼度を算出してもよい。

第２実施形態では、検出結果および追跡結果の信頼度を考慮してテンプレートの更新方法を切り替える。本実施形態によれば、信頼できる結果を用いてテンプレートの更新が行えるので、より適切な更新が可能となり、追跡精度をさらに向上させることができる。

＜変形例＞
第２実施形態は検出結果と追跡結果の信頼度に基づいてテンプレートの更新方法を切り替えているが、検出結果の信頼度のみに基づいてテンプレートの更新方法を切り替えてもよい。本変形例に係る物体追跡装置の構成は、基本的に第２実施形態と同様であるため詳
しい説明は省略し、主に異なる点について説明する。

図６は、信頼度は検出結果のみ算出する場合のフローチャートである。ここで、検出結果の信頼度として、検出結果の確からしさを表す検出スコアを用いてもよい。なお、検出結果の信頼度のみに基づいてテンプレートの更新方法を切り替える場合は、必ずしも検出スコアを用いる必要があるわけではない。例えば、第２実施形態で述べたように、背景画像との差分や、フレーム間での位置の差を検出結果の信頼度として用いてもよいし、その他の手法により算出した信頼度を検出結果の信頼度として用いてもよい。

検出結果スコアとは、検出領域に検出対象物が含まれる確からしさを示す指標であり、検出部が検出領域とともに出力する。検出スコアは、検出領域に人体が含まれている可能性が高いほど、高い値が算出される。このように、信頼度には検出結果の信頼度のみ算出し、検出結果の信頼度に応じてテンプレートの更新方法を切り替えることで、より簡単な処理で、追跡精度を向上することができる。

図６を参照して、検出スコアを用い、テンプレートの更新方法を切り替える手法を説明する。なお、ステップＳ１０３までの処理は、図４と同様の処理である。図１および図６に沿ってステップＳ３０１以降の処理の流れを説明する。

ステップＳ３０１では、検出結果の検出スコアを、第３閾値と比較する。ここで、第３閾値とは、検出スコアがその値以上であれば検出結果に検出対象物が含まれており、検出結果が信頼できると判断できる値を設定する。

ステップ３０１の判定において、検出スコアが第３閾値よりも高い場合は、ステップＳ１０４に進む。すなわち、検出結果が信頼できる場合には、第１実施形態と同様に一致度を考慮してテンプレート更新方法を切り替える。

ステップＳ３０１の判定において、検出スコアが第３閾値以下である場合には、ステップＳ１０７に進み、更新部５はテンプレートを更新しない（「学習なし」）。なお、「テンプレートを更新しない」とは、学習率０％での学習処理であると捉えることができる。。検出スコアが第３閾値以下であり、検出結果が不正確な可能性がある場合には、追跡結果は正しい結果を示しているか否か不明である。したがって、テンプレートを更新せず、現在のテンプレートを維持する。これにより、不正確な可能性がある特徴を用いてテンプレートが更新されることを回避することができる。

追跡部４は、次フレームにおいては更新されたテンプレートを用いて、追跡を行い、それぞれのフレームについてステップＳ１０１以降の処理が繰り返される。このように、検出スコアに応じてテンプレートの更新方法を切り替えることで、現フレームの結果を適切に反映してテンプレートを更新することができ、追跡精度を向上することができる。

なお、変形例では、追跡結果と検出結果のいずれか一方の信頼度を用いてテンプレートの更新方法を切り替える例として、検出結果の信頼度を用いる場合を説明したが、追跡結果の信頼度のみ用いてテンプレートの更新方法を切り替えてもよい。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

上記の説明では、検出部３や追跡部４が対象物の探索に用いる特徴の一例として、色の
特徴を表す特徴量としてカラーヒストグラムを用いたが、これに限られない。例えば、輝度の特徴を表す特徴量として輝度ヒストグラムを用いてもよいし、物体の形状・輪郭を表す特徴量としてＨＯＧ（Histogram of Gradient）特徴量、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、ＳＵＲＦ（Speeded Up Robust Features）特徴量などを採用してもよい。

検出に用いる手法は、どのようなアルゴリズムを用いてもよい。例えば、ＨＯＧやHaar-likeなどの画像特徴とブースティングを組み合わせた識別器を用いてもよいし、ＳＶＭ
（Support Vector Machine）のようなパターン認識モデルを用いてもよいし、ディープラーニング（例えばＲ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯなど）による画像認識を用いてもよい。

上記実施形態の「逐次学習」の処理では（Ｓ１０５、Ｓ１０３，Ｓ３０３）、追跡結果を用いてテンプレートを更新する例を示しているが、検出結果を用いてもよいし、追跡結果と検出結果を組み合わせた結果を用いてテンプレート更新を行ってもよい。また、信頼度を用いてテンプレート更新方法を切り替える図５や図６において、一致度が低い場合の処理では（Ｓ２０４、Ｓ３０４）、「リセット」の処理を採用する例を示しているが、「逐次学習」よりも学習率が高い「学習率アップ」の処理を採用してもよい。例えば、一致度の値や、一致度が第１閾値よりも小さいフレームが連続する数に応じて「リセット」と「学習率アップ」の処理を切り替えてもよい。なお、学習率の値は１０％、５０％、１００％に限定されず、任意の値を用いてよい。

変形例において、検出スコアが低い場合は、検出結果も追跡結果も更新に用いず、更新部はテンプレートを更新しない例を示しているが（Ｓ３０５）、追跡結果を用いてテンプレートを更新してもよい。例えば、検出スコアは低いが、追跡結果が安定している場合は、追跡結果を用いてテンプレートを更新することで、追跡精度を向上することができる。

上記実施形態では矩形の検出枠を例示したが（図２など）、矩形以外の形態（多角形、楕円、自由図形など）の検出枠を用いてもよい。

＜付記＞
（１）複数のフレームからなる画像に含まれる対象物を追跡する物体追跡装置（１）であって、
前記画像を取得する画像取得部（２）と、
検出対象物の特徴と、追跡対象物の特徴を記憶した記憶部（６）と、
前記記憶部（６）の前記追跡対象物の特徴を更新する更新部（５）と、
前記記憶部（６）に記憶された前記検出対象物の特徴に基づき、取得した画像から前記検出対象物を検出する検出部（３）と、
前記記憶部（６）に記憶された前記追跡対象物の特徴に基づき、取得した画像から前記追跡対象物を追跡する追跡部（４）と、
を備え、
前記物体追跡装置（１）は、現フレームに対して、前記検出部（３）による前記検出対象物の検出と、前記追跡部（４）による前記追跡対象物の追跡との両方を行い、
前記更新部（５）は、追跡結果と検出結果に基づいて前記追跡対象物の特徴を更新し、
前記追跡部（４）は、次フレームに対しては、更新された前記追跡対象物の特徴を用いて前記追跡を行う、
ことを特徴とする物体追跡装置
（２）コンピュータが行う、複数のフレームからなる画像に含まれる対象物を追跡する物体追跡方法であって、前記画像を取得する画像取得ステップと、記憶部に格納されている検出対象物の特徴に基づき、取得した画像から前記検出対象物を検出する検出ステップ（
Ｓ１０１）と、記憶部に格納されている追跡対象物の特徴に基づき、前記追跡対象物を追跡する追跡ステップ（Ｓ１０２）と、を含み、前記物体追跡方法は、現フレームに対して、前記検出ステップ（Ｓ１０１）と、前記追跡ステップ（Ｓ１０２）と、前記追跡対象物の特徴を更新する更新ステップ（Ｓ１０５，Ｓ１０６）と、を行い、次フレームに対しては、更新された前記追跡対象物の特徴を用いて前記追跡ステップ（Ｓ１０２）を行う、ことを特徴とする物体追跡方法。

１：物体追跡装置 ２：画像取得部 ３：検出部 ４：追跡部 ５：更新部 ６：追跡部 ７：出力部

Claims (17)

1. 複数のフレームからなる画像に含まれる対象物を追跡する物体追跡装置であって、
   前記画像を取得する画像取得部と、
   検出対象物の特徴と、追跡対象物の特徴を記憶した記憶部と、
   前記記憶部の前記追跡対象物の特徴を更新する更新部と、
   前記記憶部に記憶された前記検出対象物の特徴に基づき、取得した画像から前記検出対象物を検出する検出部と、
   前記記憶部に記憶された前記追跡対象物の特徴に基づき、取得した画像から前記追跡対象物を追跡する追跡部と、
   を備え、
   前記物体追跡装置は、現フレームに対して、前記検出部による前記検出対象物の検出と、前記追跡部による前記追跡対象物の追跡との両方を行い、
   前記更新部は、前記検出部による検出結果と前記追跡部による追跡結果との一致度に応じて更新方法を切り替え、切り替えられた更新方法により前記追跡結果と前記検出結果に基づいて前記追跡対象物の特徴を更新し、
   前記追跡部は、次フレームに対しては、更新された前記追跡対象物の特徴を用いて前記追跡を行う、
   ことを特徴とする物体追跡装置。
2. 前記更新部は、前記一致度が第１閾値より高い場合には、現フレームに対する前記追跡部による追跡結果および前記検出部による検出結果の少なくとも一方を用いて、前記追跡対象物の特徴を更新する第１更新処理を行い、前記一致度が前記第１閾値以下である場合には、そうでない場合よりも前記検出部による検出結果が大きく影響するように、現フレームに対する前記検出部による検出結果を用いて、前記追跡対象物の特徴を更新する第２更新処理を行う、
   請求項１に記載の物体追跡装置。
3. 前記追跡部による追跡結果および前記検出部による検出結果は、前記追跡対象物および前記検出対象物の中心位置または大きさに関する情報を含み、前記一致度は、前記追跡結
   果と前記検出結果における、中心位置の差または大きさの差に基づいて算出される、
   請求項２に記載の物体追跡装置。
4. 前記更新部は、前記一致度が前記第１閾値より高い場合には、現フレームに対する前記追跡部による追跡結果を用いて前記追跡対象物の特徴を更新し、前記一致度が前記第１閾値以下である場合には、現フレームに対する前記検出部による検出結果を用いて前記追跡対象物の特徴を更新する、
   請求項２から３のいずれか一項に記載の物体追跡装置。
5. 前記更新部は、前記一致度が前記第１閾値以下である場合には、現フレームに対する前記検出部による検出結果を前記追跡対象物の特徴として置き換える、
   請求項２から４のいずれか一項に記載の物体追跡装置。
6. 前記更新部は、前記追跡部による追跡結果および前記検出部による検出結果の少なくとも一方について信頼度を判定し、前記信頼度に応じて前記追跡対象物の特徴を更新する方法を切り替える、
   請求項２から５のいずれか一項に記載の物体追跡装置。
7. 前記更新部は、前記追跡部による追跡結果および前記検出部による検出結果のいずれの信頼度も第２閾値以下である場合には、現フレームにおいて前記追跡対象物の特徴を更新しない、
   請求項６に記載の物体追跡装置。
8. 前記更新部は、前記追跡部による追跡結果の信頼度は第２閾値より高く、前記検出部による検出結果の信頼度が前記第２閾値以下である場合には、前記第１更新処理を行う、
   請求項６または７に記載の物体追跡装置。
9. 前記更新部は、前記追跡部による追跡結果の信頼度は第２閾値以下であり、前記検出部による検出結果の信頼度が前記第２閾値より高い場合には、前記第２更新処理を行う、
   請求項６から８のいずれか一項に記載の物体追跡装置。
10. 前記更新部は、前記追跡部による追跡結果および前記検出部による検出結果のいずれの信頼度も第２閾値より高い場合には、前記一致度に応じて前記第１更新処理または前記第２更新処理を行う
    請求項６から９のいずれか一項に記載の物体追跡装置。
11. 前記更新部は、前記検出部による検出結果の信頼度が第３閾値より高い場合には、前記一致度に応じて前記第１更新処理または前記第２更新処理を行い、前記信頼度が前記第３閾値以下である場合には、現フレームにおいて前記追跡対象物の特徴を更新しない
    請求項６から１０のいずれか一項に記載の物体追跡装置。
12. 前記追跡部による追跡結果の信頼度は、現フレームに対する前記追跡結果と、背景画像との差分に応じて決定され、
    前記検出部による検出結果の信頼度は、現フレームに対する前記検出結果と、背景画像との差分に応じて決定される、
    請求項６から１１のいずれか一項に記載の物体追跡装置。
13. 前記追跡部による追跡結果の信頼度は、フレーム間での追跡位置の差に応じて決定され、
    前記検出部による検出結果の信頼度は、フレーム間での検出位置の差に応じて決定され
    る、
    請求項６から１１のいずれか一項に記載の物体追跡装置。
14. 前記検出部による検出結果の信頼度は、前記検出部が出力する前記検出結果の確からしさを示すスコアに応じて決定される、
    請求項６から１１のいずれか一項に記載の物体追跡装置。
15. 同一のフレームから複数の前記追跡結果および前記検出結果が得られた場合には、前記追跡結果と前記検出結果の対応付けを行い、対応する前記追跡結果と前記検出結果を用いて、前記追跡対象物の特徴を更新する
    請求項１から１４のいずれか一項に記載の物体追跡装置。
16. コンピュータが行う、複数のフレームからなる画像に含まれる対象物を追跡する物体追跡方法であって、
    前記画像を取得する画像取得ステップと、
    記憶部に格納されている検出対象物の特徴に基づき、取得した画像から前記検出対象物を検出する検出ステップと、
    前記記憶部に格納されている追跡対象物の特徴に基づき、取得した画像から前記追跡対象物を追跡する追跡ステップと、
    現フレームに対する前記検出ステップによる前記検出対象物の検出結果と前記追跡ステップによる前記追跡対象物の追跡結果との一致度に応じて更新方法を切り替え、切り替えられた更新方法により前記追跡結果と前記検出結果に基づいて前記記憶部に格納されている前記追跡対象物の特徴を更新する更新ステップと、を含み、
    次フレームに対する前記追跡ステップでは、更新された前記追跡対象物の特徴を用いて前記追跡対象物の追跡を行う、
    ことを特徴とする物体追跡方法。
17. 請求項１６に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images