JP4819866B2

JP4819866B2 - 画像追跡装置、画像追跡方法および画像追跡プログラム

Info

Publication number: JP4819866B2
Application number: JP2008334685A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2011-11-24
Anticipated expiration: 2028-12-26
Also published as: JP2010157075A

Description

本発明は、時系列画像から特定の対象を追跡する技術に関する。

従来から、ビデオカメラなどが撮像した時系列画像から、人、車、生物、航空機などの特定の対象を追跡する画像追跡技術が存在する。例えば、カルマンフィルタに基づいた状態推定法とともに用いられる対象の重心追跡、楕円近似モデルの当てはめなどがある。また、非特許文献１には、オプティカルフローを用いた追跡方法が記載されている。

また、非特許文献２には、コンピュータによる画像処理技術が記載されている。
"Determining Optical Flow"、［online］、［平成２０年１１月１１日検索］、インターネット＜URL: http://people.csail.mit.edu/bkph/papers/Optical_Flow_OPT.pdf＞田村秀之、 "コンピュータ画像処理入門"、総研出版、２００２年

歩行者や魚群など複数の対象がそれぞれ移動することにより、対象同士が重なり合う場合がある。この場合、従来の追跡法では、追跡の安定性や追跡の精度が低下してしまい、追跡の安定性および精度を維持することが困難である。すなわち、カメラ視線からみて、奥行き方向に折り重なるように大量の対象が存在すると、従来の剛体モデルによる追跡法では、対象を見失ってしまう場合がある。

具体的には、対象の重心追跡の場合は、対象の重なりが生じると画像フレーム間での対応づけが複雑になってしまう。そのため、誤検出が発生し、対応点づけが破綻してしまう。また、時系列点列を線形に外挿補間していく方法では、重なり合っている時間が非常に短い場合、または２つの対象が重なり合っている場合には対象の追跡が可能であるが、３以上の対象が重なり合っている場合には対象自体を見失ってしまう問題がある。

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、複数の対象同士が重なり合う場合であっても、より安定的に複数の対象を追跡することができる画像追跡装置、画像追跡方法および画像追跡プログラムを提供することにある。

本発明は、画像追跡装置であって、時系列に連続した複数の時系列画像を入力する入力手段と、前記時系列画像の画像特徴量を解析し、追跡対象を検出する画像特徴量解析手段と、前記検出した追跡対象に所定の形状のパターンをあてはめるとともに、前記連続する時系列画像から前記追跡対象の動きベクトルを算出するモデル化手段と、前記動きベクトルをソリトンモデルの速度成分に適用して前記パターンを移動させ、前記追跡対象の動きを予測する予測手段と、を有し、前記ソリトンモデルは、画像輝度Ｉを変数とした第１の式

で表現され、前記予測手段は、前記第１の式を離散化した第２の式

を用いて前記追跡対象の動きを予測する。

また、本発明は、画像追跡装置が行う画像追跡方法であって、時系列に連続した複数の時系列画像を入力する入力ステップと、前記時系列画像の画像特徴量を解析し、追跡対象を検出する画像特徴量解析ステップと、前記検出した追跡対象に所定の形状のパターンをあてはめるとともに、前記連続する時系列画像から前記追跡対象の動きベクトルを算出するモデル化ステップと、前記動きベクトルをソリトンモデルの速度成分に適用して前記パターンを移動させ、前記追跡対象の動きを予測する予測ステップと、を行い、前記ソリトンモデルは、画像輝度Ｉを変数とした第１の式

で表現され、前記予測ステップは、前記第１の式を離散化した第２の式

を用いて前記追跡対象の動きを予測する。

また、本発明は、前記画像追跡方法をコンピュータに実行させる画像追跡プログラムである。

本発明によれば、複数の対象同士が重なり合う場合であっても、より安定的に複数の対象を追跡することができる。

以下、本発明の実施形態について説明する。

図１は、本発明の実施形態に係る画像追跡装置の概略構成図である。図示する画像追跡装置は、時系列画像から複数の追跡すべき対象の初期の位置を検出し、ソリトンモデルによる追跡を行ものである。図示する画像追跡装置は、データ入力部１００と、データ蓄積部１１０と、画像特徴量解析部１２０と、ソリトンモデル化部１３０と、予測部１４０と、表示部１５０とを有する。

データ入力部１００は、ビデオカメラなどが撮像した時系列画像を入力し、記憶手段であるデータ蓄積部１１０に記憶する。時系列画像は、時系列に連続する複数の画像（画像フレーム）から構成される。画像特徴量解析部１２０は、データ蓄積部１１０に記憶された時系列画像の画像特徴量を解析し、追跡すべき対象（追跡対象）を検出する。ソリトンモデル化部１３０は、検出した追跡対象に所定の形状のパターン（ソリトンモデルの孤立波）を当てはめて追跡すべき対象の初期の位置を検出するとともに、蓄積部１１０に記憶された時系列画像から追跡対象の動きベクトルを算出する。

予測部１４０は、算出された動きベクトルをソリトンモデルの速度成分に適用してソリトンモデル化部１３０が当てはめたパターンを移動させ、追跡対象の動き（移動先など）を予測する。表示部１５０は、予測部１４０が予測した追跡対象の動きや移動先を出力装置に表示する。

上記説明した、画像追跡装置は、例えば、ＣＰＵと、メモリと、外部記憶装置と、入力装置と、出力装置と、これらの各装置を接続するバスと、を備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた画像追跡装置用のプログラムを実行することにより、画像追跡装置の各機能が実現される。なお、画像追跡装置のデータ蓄積部１１０には、メモリまたは外部記憶装置が用いられる。なお、画像追跡装置は、必要に応じて他の装置と接続するための通信制御装置を備えることとしてもよい。

また、画像追跡装置用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯなどのコンピュータ読み取り可能な記録媒体に記憶すること、または、ネットワークを介して配信することも可能である。

次に、本実施形態の画像追跡処理について説明する。

まず、データ入力部１００は、ビデオカメラなどが撮像した時系列画像を入力し、データ蓄積部１１０に格納する（ステップ１０）。そして、画像特徴量解析部１２０は、時系列画像の画像特徴量を解析し、複数の追跡対象を検出する（ステップ２０）。具体的には、画像特徴量解析部１２０は、時間差分法を用いて、時間的に連続する２枚の時系列画像（画像フレーム）の差分をとることにより、移動および変化する追跡対象を検出する。すなわち、差分が所定の輝度値以上となった画素を特定することにより、人の輪郭線を検出する。

そして、ソリトンモデル化部１３０は、検出した輪郭線に所定の形状のパターンをあてはめて、追跡対象の初期の位置を検出する（ステップ３０）。追跡対象の初期位置は、さまざまな方法で検出することができるが、本実施形態では、人の頭部と肩に関する形状に着目して、パターンマッチング法を用いて検出することとする。また、入力される画像データが時系列に連続する時系列空間画像であることから、動き情報も併用して追跡対象の位置を検出する。

図２は、追跡対象の初期位置の検索と、動き推定を説明するための説明図である。

図２（ａ）に示すように、本実施形態では、人（追跡対象）５１０の頭部と肩の形状に着目し、所定のＵ字型パターン５２０（Ｕ字の上下を逆にした形状のパターン）を追跡対象の基本パターンとする。時系列画像（画像フレーム）の上部に、複数のＵ字型パターン５２０を初期位置として配置する。なお、複数のＵ字型パターン５２０を配置するのは、追跡対象の人数が不特定であるためである。ソリトンモデル化部１３０は、パターンマッチング法を用いてＵ字型パターン５２０の位置ずれ、回転などを補正し、Ｕ字型パターン５２０と、ステップ２０で検出した人の輪郭線の一部である頭部と肩がつくる輪郭線に対して、双方の重なり具合が最小となるものを検索する。

そして、ソリトンモデル化部１３０は、頭部と肩がつくる輪郭線と、Ｕ字型パターン５２０との類似性を、相互相関関数（非特許文献２参照）を用いて算出していき、類似性が高い場合の輪郭線を人と判定し、時系列画像の当該輪郭線が検出された位置にＵ字型パターン５２０を設定する。この検出方法は、背景がほとんど変化しない場合に、有効である。

なお、Ｕ字型パターン５２０は、必要に応じて５画素から３０画素程度で離散化された曲線であって、連結された点と点の間は準弾性体である。これにより、人などの視線に対する向きや、オクルージョンに対して安定化を図ることができる。Ｕ字型パターン５２０の生成についてはさまざまな方法があるが、２次関数に基づいて生成することが考えられる。

また、ソリトンモデル化部１３０は、図２（ｂ）に示すように、人の動きについては、オプティカルフロー（非特許文献１参照）などで、時間的に連続した２枚の画像から動きベクトル５３０を検出する。例えば、ソリトンモデル化部１３０は、空間的局所最適化問題の枠組みで、２枚の画像から画素単位にオプティカルフロー（動きベクトル）を算出する。

これにより、時系列画像において、パターンマッチング法によりＵ字型パターンを検索する範囲を人の動きが検出された領域に限定することができるため、Ｕ字型パターンの検索をより高速化することができる。

なお、検出された動きベクトル５３０は、後述するソリトンモデルの方程式（式１、式３）の速度成分として用いられる。

図３は、追跡対象の多数の人の位置を、Ｕ字型パターンで検出した図である。

図３（ａ）に示す画像では、大勢の歩行者（追跡対象）が群をなしており、どの視点のカメラ映像からみても、常に、複数の人が重なり合っている。図３（ｂ）は、図３（ａ）に示す多数の人のそれぞれに対して、Ｕ字型パターンで表現したものである。図３（ｂ）においても、Ｕ字型パターンの見かけ上の重なり合いが、随所で生じている。ソリトンモデル化部１３０は、入力された時系列画像（図３（ａ））上に、ソリトンモデルの初期値となるＵ字型パターンを設定する。具体的には、図３（ａ）に、図３（ｂ）のＵ字型パターンを重ね合わせた画像が生成される。本実施形態では、Ｕ字型パターンを形状検索のために用いるだけでなく、後述する式３の画像Ｉの初期値として、Ｕ字型パターンを適用し、ソリトンの性質に従った運動を与える。

次に、予測部１４０の処理（ステップ４０）について説明する。

予測部１４０は、データ蓄積部１１０に記憶された時系列画像にもとづいて、複数の追跡対象の動き・移動先を予測する。すなわち、予測部１４０は、図３（ｂ）に示すソリトンモデルの初期値となる画像を、ソリトンの性質に従って移動し、予測される追跡対象の画像を生成する。

ソリトンは、非線型方程式に従う孤立波（Solitary Wave）であって、波現象の一種である。ソリトンは、津波、木星の巨大赤班、高分子の一つポリアセチレン、プラズマ中の非線形波動など、自然界で数多く、その存在が発見されている。ソリトン現象の狭い管路での振る舞いは、最も身近なものであり、よく目にする。これは孤立波がくずれることなく、慣性的に移動していく現象であり、あるきっかけで複数の孤立波に分裂したりする特性がある。また、２つの孤立波が衝突した場合、衝突した瞬間は双方の孤立波の形状が変化するものの、その後すぐに衝突前の形状に復元する。ソリトンについては、例えば、以下に記載されている。

ソリトン（http://ja.wikipedia.org/wiki/%E3%82%BD%E3%83%AA%E3%83%88%E3%83%B3）
画像Ｉ（画像輝度）を変数としたソリトンの２次元の場合の基本式を、以下の式１に示す。

Ｉは、２次元の座標(x,y)を有する。ｕおよびｖは、速度成分（ｕ，ｖ）である。式１では、時間ｔについては１次微分、空間ｘ、ｙについては１次微分と３次微分を有している。δは、特性を決定するものである。δがゼロの場合は、移流式に帰着する。

初期値として、以下の式２の孤立波（Ｕ字型パターンなど）を与えると、初期形状を保ったまま進行していくか、あるいは分裂していく。

式１をコンピュータで解くために、有限差分法により離散化する。画像の場合、格子点と画素とが１対１で対応する。Ｉ^ｎ _ｉ，ｊは、画素（ｉ，ｊ）、時間ｎ（整数）における画像輝度である。ｕは、動きベクトルであって、速度成分（ｕ，ｖ）を有する。動きベクトルｕには、前述のソリトンモデル化部１３０がオプティカルフローで推定した動きベクトルが平均値として設定される。

Δt(=0.001)は離散時間であり、離散幅はΔx(=1.0)、Δy(=1.0)である。離散化した結果を以下の式３に示す。

なお、式３の右辺の移流項（第二項）は、３次オーダの精度に上げる場合は、以下の式４と差し替えればよい。

αは安定性と精度を左右する調整パラメータであり、ここでは１．０とした。

式３には、必ず初期画像として１枚の画像（情報）が必要とされる。式３の時間発展（ｎｓｔｅｐ）を計算していく場合、Ｉ^ｎ _ｉｊはオプティカルフローに沿って画像輝度を変化させることができる。１枚以上の画像を合成・生成していくためには、式３の時刻ｎと時刻ｎ＋１のときの画像輝度を差し替えていくだけでよい。これにより、移動に関する予測を実現することができる。

なお、図４は、ソリトンの２次元画像上での基本シミュレーションの例である。

図４（ａ）には、初期の孤立波３０１として前述の式２を与え、当該式２を式３を用いて解いていき、時間発展解を求めた結果３０２が示されている。各孤立波は、数値誤差を除き、終始、初期の形状３０１が保たれて、移動している。

図４（ｂ）には、２つの孤立波が衝突した場合について示したものである。左右から２つの孤立波３０５、３０６を互い違いに向かい合わせて移動させる。時間的に推移して、２つの孤立波が衝突し、すれ違った後でも、各孤立波３０５’、３０６’の形状は、初期の孤立波３０５、３０６の形状と、変わらない。

以上のように、予測部１４０は、データ蓄積部１１０に記憶された時系列画像にもとづいて、追跡対象の動きを予測する。そして、表示部１５０は、予測部１４０が予測した追跡対象の予測結果を出力装置に表示する（ステップ５０）。

図５は、本実施形態と従来法について、評価実験を行った結果を示すものであり、本実施形態の画像追跡方法を用いた対象の検出結果５１０と、従来法の画像追跡を用いた対象の検出結果５２０とが示されている。図示する評価実験結果では、従来法５２０の場合、追跡する対象が２または３個体以上になると、急速に検出制度が低下してしまう、これに対して、本実施形態５１０では、数１０以上の個体に対しても、多少の検出精度の低下があるものの、ほぼ安定的に対象を追跡・検出することができる。

以上説明した本実施形態では、ソリトンモデルを追跡対象に適用し、ソリトンがもつ慣性力に着目する。これにより、歩行者や魚群など複数の対象がそれぞれ移動することにより、対象同士が重なり合う場合であっても、追跡の安定性および精度を維持することができる。すなわち、カメラ視線からみて、奥行き方向に折り重なるように大量の対象が存在する場合であっても、ソリトンモデルによる流体現象の特性（重なりが生じても、重なり前後の形状が保存される特性）に基づいて対象を追跡するため、対象を見失うことを防止することができる。

なお、長時間にわたって計算がなされると、数値誤差により形状（Ｕ字型パターン等）がくずれてしまう場合があるが、限られたカメラ視野においては、ほとんどその影響はないため追従を安定に行うことができる。これにより、本実施形態では、多数の対象が重なり合っている場合であっても、ほとんどすべてを終始追跡することができる。

また、本実施形態では、Ｕ字型パターンをソリトンモデルに従って移動させるため、隣接するフレーム間で追跡対象の対応付けを容易にすることができる。これにより、追跡対象が、群集で、重なりが多く生じているような場合であっても、追跡の安定性を確保することができる。

本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば本実施形態では、追跡対象を人としたが、人に限らず、魚群、生物、航空機なども適用することができる。

本発明の実施形態に係る画像追跡装置のブロック図である。追跡対象の初期位置の検索と、動き推定を説明するための説明図である。追跡対象の多数の人をＵ字型パターンで表した図である。ソリトンの２次元画像上での基本シミュレーション例である。本実施形態と従来法について行った評価実験結果である。

符号の説明

１００データ入力部
１１０データ蓄積部
１２０画像特徴量解析部
１３０ソリトンモデル化部
１４０予測部
１５０表示部

Claims

画像追跡装置であって、
時系列に連続した複数の時系列画像を入力する入力手段と、
前記時系列画像の画像特徴量を解析し、追跡対象を検出する画像特徴量解析手段と、
前記検出した追跡対象に所定の形状のパターンをあてはめるとともに、前記連続する時系列画像から前記追跡対象の動きベクトルを算出するモデル化手段と、
前記動きベクトルをソリトンモデルの速度成分に適用して前記パターンを移動させ、前記追跡対象の動きを予測する予測手段と、を有し、
前記ソリトンモデルは、画像輝度Ｉを変数とした第１の式

で表現され、
前記予測手段は、前記第１の式を離散化した第２の式

を用いて前記追跡対象の動きを予測すること
を特徴とする画像追跡装置。
請求項１記載の画像追跡装置であって、
前記パターンは、人である追跡対象の頭部および肩の輪郭線に相当するＵ字型パターンであること
を特徴とする画像追跡装置。
画像追跡装置が行う画像追跡方法であって、
時系列に連続した複数の時系列画像を入力する入力ステップと、
前記時系列画像の画像特徴量を解析し、追跡対象を検出する画像特徴量解析ステップと、
前記検出した追跡対象に所定の形状のパターンをあてはめるとともに、前記連続する時系列画像から前記追跡対象の動きベクトルを算出するモデル化ステップと、
前記動きベクトルをソリトンモデルの速度成分に適用して前記パターンを移動させ、前記追跡対象の動きを予測する予測ステップと、を行い、
前記ソリトンモデルは、画像輝度Ｉを変数とした第１の式

で表現され、
前記予測ステップは、前記第１の式を離散化した第２の式

を用いて前記追跡対象の動きを予測すること
を特徴とする画像追跡方法。
請求項３記載の画像追跡方法であって、
前記パターンは、人である追跡対象の頭部および肩の輪郭線に相当するＵ字型パターンであること
を特徴とする画像追跡方法。
請求項３または請求項４のいずれか１項に記載の画像追跡方法をコンピュータに実行させる画像追跡プログラム。