JP4012952B2

JP4012952B2 - 通行人軌跡抽出装置およびシステム

Info

Publication number: JP4012952B2
Application number: JP2002356885A
Authority: JP
Inventors: 亮介柴崎; 卉菁 ▲趙▼
Original assignee: Foundation for the Promotion of Industrial Science
Current assignee: Foundation for the Promotion of Industrial Science
Priority date: 2002-12-09
Filing date: 2002-12-09
Publication date: 2007-11-28
Anticipated expiration: 2022-12-09
Also published as: JP2004191095A

Description

【０００１】
【発明の属する技術分野】
本発明は、広範囲にわたって通行人の数や行動を計測する際に用いられる通行人軌跡抽出装置およびシステムに関する。
【０００２】
【従来の技術】
通行人の数や行動を非接触で計測することは、建物のセキュリティやマーケティングなど多くの分野で要求が高まっている。従来、人物の位置情報を非接触で計測する方法の多くは、ビデオ画像を利用していた。しかしビデオ画像では、人間が交錯するときなどにうまくトラッキングできないなど、データの抽出に際して問題があった。そこで近年、距離や速度を直接測ることができる、レーザセンサを用いた計測方法が用いられている。
レーザセンサはレーザ波の拡散が小さいために、解像度が非常に高い。また、測定できる範囲が非常に大きく、測定誤差も非常に小さい。
レーザセンサを用いた従来の技術では、被測定物に異なるパターンの反射板を巻きつけて、１台のレーザセンサにより位置を計測するものもある（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−２１１８３１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、多数の通行人の居る場所において、人が互いに重なり合うため、1台のレーザセンサではうまく抽出できない。また、計測できる範囲も1台のレーザセンサでは限界がある。
この発明はこのような点を鑑みてなされたもので、複数のレーザセンサにより通行人の位置座標を検知し、サーバがその検知データを座標変換してデータを統合し、リアルタイムかつ広範囲での通行人の軌跡の抽出を行う、通行人軌跡抽出装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記した目的を達成するために、請求項１記載の通行人軌跡抽出装置は、通行人の位置や物体を検知する複数の検知手段に対応して設けられた複数のクライアントを制御する、通行人軌跡抽出装置において、前記複数の検知手段の検知時間を同期する同期手段と、前記複数の検知手段によって検知したデータから、前記複数のクライアントが抽出した通行人の位置座標を１つの座標系に統合する統合手段と、前記統合手段によって得られた通行人の位置座標から該通行人の移動軌跡を抽出する軌跡抽出手段とを有する。
【０００６】
請求項２記載の発明は、請求項１記載の通行人軌跡抽出装置において、前記検知手段がレーザセンサであって、地面近くに水平にスキャンし、通行人の足を検知することを特徴とする。
【０００７】
請求項３記載の発明は、請求項１あるいは２記載の通行人軌跡抽出装置において、前記軌跡抽出手段が、前記検知手段によって検知した通行人の２本の足データをグループ化し、前記２本の足データの重心点を抽出し、前記足データが重なっているグループを抽出し、抽出した前記グループの２本の足データの重心点を結んで該通行人の移動軌跡を抽出し、前記通行人の移動速度や方向を設定することを特徴とする。
【０００８】
請求項４記載の発明は、請求項１あるいは２記載の通行人軌跡抽出装置において、前記軌跡抽出手段が、前記検知手段によって検知した通行人の足の歩行モデルを定義し、前記通行人の移動速度や方向、足振り位相の状態をカルマンフィルタによって計算し前記通行人の移動軌跡を抽出することを特徴とする
【０００９】
請求項５記載の通行人軌跡抽出システムは、通行人の位置や物体を検知する複数の検知手段と、前記複数の検知手段に対応して設けられ、各検知手段から出力される検知データから通行人の位置座標を抽出する複数のクライアントと、前記複数のクライアントを制御するサーバとを具備し、前記サーバは、前記検知手段の検知時間を同期する同期手段と、前記複数のクライアントから送信される通行人の位置座標を１つの座標系に統合する統合手段と、前記統合手段によって得られた通行人の位置座標から該通行人の移動軌跡を抽出する軌跡抽出手段とを有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る通行人軌跡抽出装置の概略構成を示すブロック図である。１はサーバであり、ネットワークＮを介してクライアント１１〜１３を制御する。クライアント１１〜１３は、それぞれレーザセンサ２１〜２３（検知手段）を制御する。
レーザセンサ２１〜２３は、それぞれ異なる場所の床に設置され、地面から約２０ｃｍの高さの水平面でスキャンし、最大半径７０ｍの範囲内の通行人を検知する。このとき、レーザ光は通行人の足に当たることになる。またレーザセンサ２１〜２３は、角度２７０度の範囲でスキャンし、０．２５度の刻みで、周辺物（固定物と移動物）までの距離を直接計測し、それぞれクライアント１１〜１３にデータを送る。
【００１１】
次に、上記構成におけるサーバ１とクライアント１１〜１３の動作について、図２と図３を参照して説明する。図２はサーバ１の動作、図３はクライアント１１〜１３の動作を示す。
まず、サーバ１はクライアント１１〜１３に同期信号を送る（ステップＳａ１）。クライアント１１〜１３はその信号を受信すると（ステップＳａ１１）時刻同期を行う（ステップＳａ１２）。
サーバ１はクライアント１１〜１３にデータをリクエストするリクエスト信号を送信する（ステップＳａ２）。クライアント１１〜１３がそのリクエスト信号を受信すると（ステップＳａ１３）、それぞれ対応したレーザセンサ２１〜２３は１回スキャンし周辺物を検知する。クライアント１１〜１３はその１スキャンのデータを取得し、サンプルデータとしてサーバ1に送る（ステップＳａ１４）。
【００１２】
このとき、レーザセンサ２１〜２３は、隣接する少なくとも２つのレーザセンサで共通な固定物を検知するよう、検知範囲がお互いに若干重複するように設置されている。また、レーザセンサ２１〜２３が計測したレーザデータはレーザセンサ２１〜２３それぞれ独自に設定したローカル座標系に相対している。
サーバ１はクライアント１１〜１３からサンプルデータを受信し（ステップＳａ３）、各サンプルデータから、共通な固定物に対する計測データを視覚的に判断してそれらをマッチングし、１つのデータに統合する。そして、クライアント毎の座標系変換パラメータを決定する（ステップＳａ４）。
このようにして同一時刻かつ同一座標系に統合したデータを１フレームとする。
【００１３】
次に、サーバ１はクライアント１１〜１３に計測開始信号を送る（ステップＳａ５）。クライアント１１がその計測開始信号を受信すると（ステップＳａ１５）、レーザセンサ２１は周辺物をスキャンする。クライアント１１はスキャンしたデータを取得する（ステップＳａ１６）。
レーザセンサ２１は、固定物に対して常に同じ角度で同じ距離値を計測している。クライアント１１は、レーザセンサ２１がスキャンした２００のデータを時系列ごとに重ねる。そして、時間とともに変化しない固定物を抽出し、背景データを生成する。この背景データは1時間おきに更新される（ステップＳａ１７）。クライアント１１はレーザセンサ２１の計測したデータから、背景差分により移動物に当たる動体データを抽出し（ステップＳａ１８）、動体データをサーバ１に送る（ステップＳａ１９）。ステップＳａ１６からステップＳａ１９の動作は、計測終了まで繰り返される。
クライアント１２、１３と対応するレーザセンサ２２、２３もそれぞれ同様の動作を行う。
【００１４】
サーバ１はクライアント１１〜１３から動体データを受信し（ステップＳａ６）、ステップＳａ４で計算した座標系変換パラメータによって同一座標系に統合し、１フレームのデータを作成する（ステップＳａ７）。そして、サーバ１は座標変換した動体データから通行人の軌跡を求める（ステップＳａ８）。軌跡の求め方はサブルーチンとして後に述べる。
サーバ１が軌跡の測定を終了したら（ステップＳａ９）、クライアント１１〜１３に計測終了信号を送信する（ステップＳａ１０）。クライアント１１〜１３はその計測終了信号を受信すると（ステップＳａ２０）、処理を終了する。
以上により、サーバ１は統合したデータ上で通行人の軌跡を検出することができる。
【００１５】
次に、ステップＳａ８において通行人の軌跡を求めるサーバ１の動作を、図４を参照して説明する。
【００１６】
通行人の足１本にはレーザ光が数点当たる。サーバ１は、ステップＳａ７で座標変換された動体データが、半径１０ｃｍ以内に集まっているものを、１本の足にあたるデータとしてクラスタ化し、半径１０ｃｍの円にして足断面データとする（ステップＳｂ１）。次にサーバ１は、３０ｃｍ以内の距離にある足断面データ全てを２個づつグループ化し、通行人の候補とみなす。次にサーバ１は、グループ化した２つの足断面データの中点を取り、通行人候補の重心点とする（ステップＳｂ２）。図１１にクラスタ化とグループ化の例を示す。
【００１７】
サーバ１は、ステップＳｂ２で抽出した重心点を利用して、前の時刻におけるフレームで登録された既存の軌跡を現在フレームまで延長する（ステップＳｂ３）。このステップＳｂ３における軌跡の延長手法について図５を参照して説明する。
サーバ１は、前の時刻におけるフレームで登録された既存の軌跡に対して、通行人の重心点の移動速度や方向などによって、現在フレームにおける重心点の探索範囲を定める（ステップＳｃ１）。次にサーバ１は、その探索範囲において、通行人候補の重心点を探索する（ステップＳｃ２）。重心点が見つかった場合（ステップＳｃ３で「Ｙｅｓ」）、通行人の重心点の移動速度や方向などで予測される、最も近い重心点まで軌跡を延長する（ステップＳｃ４）。また、その重心点を結んで通行人の歩いた軌跡とする。そしてサーバ１は、通行人の重心点の位置、移動速度、方向などを更新する。
サーバ１は、重心点が見つからなかった回数を数えるカウンタを有する。重心点が見つからなかった場合（ステップＳｃ３で「Ｎｏ」）、カウンタが４以下であれば（ステップＳｃ５で「Ｎｏ」）、カウンタに１を加算する（ステップＳｃ６）。カウンタが５以上であれば（ステップＳｃ５で「Ｙｅｓ」）、該当軌跡の追跡を終了する（ステップＳｃ７）。
続けて、前の時刻におけるフレームで登録された他の既存の軌跡を現在フレームまで延長する場合は（ステップＳｃ８で「Ｙｅｓ」）、ステップＳｃ１の処理に戻る。
【００１８】
図４に戻って、人間は、歩行する際に両足を交互に移動するので、足断面データが重なっている足のグループを、時系列上連続したフレームから抽出すれば、通行人１人が歩行しているとみなすことができる（図１２を参照）。サーバ１は、前の時刻におけるフレームで登録された既存の軌跡に属していない足のグループに対して、連続３つ以上のフレームに足断面データが重なっているグループを抽出する（ステップＳｂ４）。次にサーバ１は、それぞれの足のグループにおける重心点を抽出し、それら重心点を結び、新たな軌跡として登録する（ステップＳｂ５）。
【００１９】
次に、カルマンフィルタを用いて通行人の軌跡を求めるサーバ１の動作を説明する。まず、図６に全体の動作を示す。各計測時刻に、まず各クライアントから動体データを収集し、座標系統合を行う（ステップＳｄ１）。半径１０ｃｍ以内に集まっている動体データを足断面データとしてクラスタ化し（図１１を参照）、その中心点を足の位置データとして求める（ステップＳｄ２）。既に抽出された軌跡データをカルマンフィルタ手法によって現在フレームに延長する（ステップＳｄ３）。既に抽出された軌跡に属しない足データに対して、３０ｃｍ以内の距離にあるものをグループ化し（ステップＳｄ４）、足データが重なっているグループが３つ以上連続なフレームから検出されるならば、新規軌跡として抽出し（ステップＳｄ５）、カルマンフィルタ（新規軌跡）の初期状態を設定する。この過程を軌跡測定終了まで繰り返す。
【００２０】
ステップＳｄ３において、既に抽出された軌跡データをカルマンフィルタによって現在フレームまで延長する手法を図７に示す。各軌跡データに対して、まず前フレーム目までの軌跡データによって現在計測フレームにおける状態ベクトルと計測データ（両足の位置）を予測して、探索範囲を決める（ステップＳｅ１）。この詳細については後に述べる。次に、探索範囲に該当足の計測データを探索する（ステップＳｅ２）。足データが見つかった場合（ステップＳｅ３で「Ｙｅｓ」）、予測した計測データに最も近い足データを現在フレームにおける計測データとする（ステップＳｅ４）。足データが見つからなかった場合、見つからなかった回数を数えるカウンタが５以上ならば（ステップＳｅ５で「Ｙｅｓ」）、この軌跡が終了したと考え（ステップＳｅ８）、その他の軌跡を検討する。カウンタが４以下ならば（ステップＳｅ５で「Ｎｏ」）、カウンタに１を加算し（ステップＳｅ６）、予測した計測データを現在フレームにおける計測データとする（ステップＳｅ７）。最後に現在フレームにおける計測データを利用して、予測された状態ベクトルを更新する（ステップＳｅ９）。この詳細については後に述べる。
続けて、前フレーム目までの他の既存の軌跡を現在フレームまで延長する場合は（ステップＳｅ１０で「Ｙｅｓ」）、ステップＳｅ１の処理に戻る。
【００２１】
ここで、歩行者モデルを検討する。人間は、歩行する際に両足を交互に移動する。片方の足が着陸してからもう片方の足が振りはじめる。それが単純化した例を図８に示してある。
両足の運びに４つの位相を定義する。両足とも静止の状態から、右足だけが加速して、両足の位置が揃った地点までを位相１と定義する。それから右足が減速し、着地するまでを位相２と定義する。着地する時点に両足の移動速度がほぼ静止の状態に戻る。同じく左足だけの加速を位相３、減速を位相４と定義する。両足に施す加速度は足の筋肉などからの力によって決められる。
【００２２】
歩行者モデルを左足と右足が水平面（統合座標系）に置ける速度（v_Lとv_R）、加速度（a_Lとa_R）、位置（p_Lとp_R）によって評価する。そこで、歩行者モデルを計測時刻によって変化するパラメータ（位置、速度）と足振り位相によって変化するパラメータ（加速度）に分けて、離散型カルマンフィルタを定義する。
【００２３】
【数１】

【００２４】
s_k,nは計測時刻ｋ（ｋフレーム）に歩行者ｎの両足の位置、速度による状態ベクトルである。u_k,nは計測時刻ｋ（ｋフレーム）に歩行者ｎの両足の加速度ベクトルである。ωは状態モデル誤差である。本例ではωが定数であると仮定して、ある経験値によって設定する。
【００２５】
【数２】

【００２６】
Φは両足の位置、速度に関する既存知識によって現在時刻にある両足の位置、速度を推定する行列関係式である。Ψは加速度によって位置、速度の変化を表す行列関係式である。それぞれを［数３］［数４］式に定義する。ここで、Δtは計測間隔であり、本例では、Δtはほぼ０.１secである。
【００２７】
【数３】

【００２８】
【数４】

【００２９】
状態ベクトルs_k,nを［数５］式のように計測値と関連づける。また状態ベクトルu_k,nは足振り位相を検出することによって更新される。
【００３０】
【数５】

【００３１】
ここで、m_k,nは計測時刻ｋに歩行者ｎを計測された両足の位置データである。Ｈは状態ベクトルs_k,nと計測データm_k,nとの関係式である。εは計測誤差である。本例ではεが定数であると仮定して、ある経験値によって設定する。
【００３２】
【数６】

【００３３】
【数７】

【００３４】
図９には状態モデルの予測を示してある。歩行者ｎの歩行軌跡を、
Ｔｎ＝s_1,n, s_2,n,…, s_k-1,n
によって定義する。計測時刻ｋにおける状態モデルの予測は図１３のアルゴリズムで行われる。
Ｑ＝Ｅ［ωω^Ｔ］とＰ^-＝Ｅ[(s−s^-)(s−s^-)^T]はそれぞれ状態モデル誤差と事前推定誤差の共分散行列である。また、加速度に関する状態ベクトルu^- _k,n に対する予測は、図１４のアルゴリズムで行われる。図１４において、ｆ_Ｒとｆ_Ｌは両足の加速度関数である。本例では両足に施す加（減）速度が等しく、また各位相は一定な常数であると単純化する。
【００３５】
予測された現在フレームにおける計測データによって探索範囲を決めて、該当する計測された両足のデータを探索し、更新する（図７のステップＳｅ２〜Ｓｅ８参照）。それによって現在フレームにおける状態ベクトルを図１５のように求める（図１０参照）。ここで、Ｋはカルマンゲイン、Ｒ＝Ｅ［εε^T］とＰ＝Ｅ［（ｓ−ｓ）（ｓ−ｓ）^T］はそれぞれ計測誤差と事後推定誤差の共分散行列である。
【００３６】
以上説明したように、本実施形態によれば、複数のレーザセンサで通行人を検出することによって、広範囲にわたる検出を行うことができる。また、複数のレーザセンサの検出データから、それぞれ１台ずつ接続されたクライアントが動体データを抽出し、それをサーバが座標変換することで１つの座標系に統合し、軌跡を抽出することで、膨大な計算量を並列処理することができ、リアルタイムで通行人の軌跡を追うことができる。
【００３７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３８】
上記実施形態では、地表近くの水平面にレーザをスキャンして通行人を検知する構成としたが、例えば、入口のドアなど、地表と垂直にレーザをスキャンして、その入口に入った人数を検知したり、身長の差で男女、大人と子供を検知したりする構成としてもよい。
また、通行人の検知だけでなく、スーパーなどのショッピングカートや自動車を検知する構成としてもよい。
また、ビデオカメラの画像とレーザの軌跡データを組み合わせて、通行人の軌跡を映像として表示しても良い。
【００３９】
【発明の効果】
以上の説明で明らかなように、本発明によれば、複数の検知手段で通行人を検知し、同期手段によって検知時間の同期を行い、統合手段によって複数のクライアントが抽出した通行人の位置座標を１つの座標系に統合することで、広範囲にわたる通行人の移動軌跡を検出できる。また、複数の検知手段を複数のクライアントが個々に制御することで、計算量が少なくて済み、リアルタイムで通行人の移動軌跡を追うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る通行人軌跡計測システムの概略構成を示すブロック図である。
【図２】同実施形態におけるサーバ１の動作を示すフローチャートである。
【図３】同実施形態におけるクライアントの動作を示すフローチャートである。
【図４】同実施形態における重心点を用いた軌跡抽出の動作を示すフローチャートである。
【図５】同実施形態における重心点を用いた軌跡の延長方法の動作を示すフローチャートである。
【図６】同実施形態におけるカルマンフィルタを用いた軌跡抽出の動作を示すフローチャートである。
【図７】同実施形態におけるカルマンフィルタを用いた軌跡の延長方法の動作を示すフローチャートである。
【図８】同実施形態における通行人の歩行モデルの例である。
【図９】同実施形態におけるカルマンフィルタを用いた状態モデルの予測を示すフローチャートである。
【図１０】同実施形態におけるカルマンフィルタを用いた状態モデルの更新を示すフローチャートである。
【図１１】同実施形態における通行人の足を判別するクラスタ化とグループ化の例を示す。
【図１２】同実施形態における通行人の両足が交互に移動するパターンの判別による新規軌跡の抽出の例を示す。
【図１３】同実施形態におけるカルマンフィルタを用いた状態モデルの予測を示すアルゴリズムである。
【図１４】同実施形態における足振り位相の判別による加速度に関する状態ベクトルの予測を示すアルゴリズムである。
【図１５】同実施形態におけるカルマンフィルタを用いた状態ベクトルの更新を示すアルゴリズムである。
【符号の説明】
１…サーバ、１１〜１３…クライアント、２１〜２３…レーザセンサ

Claims

通行人の位置や物体を検知する複数の検知手段に対応して設けられた複数のクライアントを制御する、通行人軌跡抽出装置において、
前記複数の検知手段の検知時間を同期する同期手段と、
前記複数の検知手段各々が検知したローカルな座標の画像データから、前記複数のクライアントが抽出した通行人の位置座標を、共通な固定物に対する計測データによりマッチングして１つの座標系に統合して、現在フレームとして出力する統合手段と、
前記統合手段によって得られる前記現在フレームの通行人の位置座標まで、前回のフレームにて登録された既存フレームにおける該通行人の軌跡を延長し、通行人の移動軌跡を抽出する軌跡抽出手段と
を有する通行人軌跡抽出装置。
前記検知手段がレーザセンサであって、水平にスキャンし、周辺の固定物及び動体を検知する
ことを特徴とする請求項１記載の通行人軌跡抽出装置。
前記軌跡抽出手段が、前記現在フレームにいて設定された範囲にある動体データを足データとしてクラスタ化し、通行人の２本の足データをグループ化し、前記２本の足データの重心点を通行人候補として抽出し、
登録された前記移動軌跡から、通行人の重心点の移動速度や方向などにより、現在フレームにおける通行人の重心点の探索範囲を設定し、
前記探索範囲にて前記通行人候補の重心点を探索し、
通行人の重心点の移動速度や方向などで予測される、最も近い重心点まで軌跡を延長し、
前記通行人の移動速度や方向を設定する
ことを特徴とする請求項１あるいは２記載の通行人軌跡抽出装置。
前記軌跡抽出手段が、前記現在フレームにおいて、第１の範囲にある動体データをクラスタ化し、その中心点を足の位置データとして求め、
すでに抽出された軌跡データをカルマンフィルタにより、現在フレームに延長し、
一方、すでに抽出された軌跡データに属しない動体データに対して、第２の範囲にある動体データとしてグループ化し、該グループが連続したフレームから検出されると、新たな軌跡として抽出する
ことを特徴とする請求項１あるいは請求項２に記載の通行人軌跡抽出装置。
前記軌跡抽出手段が、
各動体に対応する各軌跡データに対し、前回のフレームまでの軌跡データによって現在フレームにおける状態ベクトルと予測動体データを予測して、探索範囲を決め、
該探索範囲における動体データを探索し、
動体データが見つかった場合、前記予測動体データに最も近い動体データを現在フレームにおける動体データとし、軌跡データをカルマンフィルタにより、現在フレームに延長し、
一方、動体データが見つからなかった場合、見つからなかった回数を数えるカウンタが設定回数以上ならば、この軌跡が終了したとし、その他の軌跡を検討し、カウンタが設定回数未満ならば、カウンタに１を加算し、予測動体データを現在フレームにおける動体データとして、軌跡データをカルマンフィルタにより、現在フレームに延長する
ことを特徴とする請求項４に記載の通行人軌跡抽出装置。
前記軌跡抽出手段が、前記検知手段によって検知した通行人の足の歩行モデルを、両足の運びに４つの位相として、両足とも静止の状態から、右足だけが加速して、両足の位置が揃った地点までを位相１、それから右足が減速し、着地するまでを位相２、同じく左足だけの加速を位相３、減速を位相４と定義し、左足と右足が前記フレームに置ける速度と、加速度、位置との計測時刻によって変化するパラメータと、足振り位相によって変化する加速度のパラメータに分けて状態ベクトルとして設定されたカルマンフィルタにより、前フレームまでの軌跡データから、現在フレームにおける予測動体データ及び状態ベクトルを予測することを特徴とする請求項５記載の通行人軌跡抽出装置。
通行人の位置や物体を検知する複数の検知手段と、
前記複数の検知手段に対応して設けられ、各検知手段から出力される検知データから通行人の位置座標を抽出する複数のクライアントと、
前記複数のクライアントを制御するサーバと
を具備し、
前記サーバは、
前記検知手段の検知時間を同期する同期手段と、
前記複数の検知手段各々が検知したローカルな座標の画像データから、前記複数のクライアントが抽出した通行人の位置座標を、共通な固定物に対する計測データによりマッチングして１つの座標系に統合して、現在フレームとして出力する統合手段と、
前記統合手段によって得られる前記現在フレームの通行人の位置座標まで、前回のフレームにて登録された既存フレームにおける該通行人の軌跡を延長し、通行人の移動軌跡を抽出する軌跡抽出手段と
を有することを特徴とする通行人軌跡抽出システム。