図1は、センサによるレーザスキャン動作を説明する図で、(A)は平面図、(B)は正面図、(C)は探知領域とセンサの配置例を示す平面図である。本発明に係る計測システム1は、図3に示すように、センサ11を備えた計測装置10と、各計測装置10からの送信データを用いて各種のデータ処理を実行するサーバ20とを少なくとも備えている。
本発明で採用されるセンサ11として、本実施形態では、レーザ測距スキャナ(LIDAR:Light Detection and Ranging)を採用している。センサ11は、円柱形状で、所定の、例えば120cm程度の高さを有する。センサ11は、上部側の側面適所からパルス状のレーザビームb1,…bj,b(j+1) …を水平方向に送信する。センサ11は、周方向にスキャンしながら周期的にレーザビームbの送信を行う送信部111(図4参照)と、障害物からのレーザ反射パルスを受信する受信部112(図4参照)とを備えて構成されている。センサ11としては一般的な性能を有するものを採用しており、例えば、探知距離が30m、走査範囲が270度、分解能が0.25度、スキャン速度が25msで、測距誤差は±5cmと小さい。なお、センサ11には、図略の二次電池等の電源が装着、好ましくは内蔵され、適宜の位置への配置を容易にしている。センサ11の高さを120cm程度とすることで、レーザビームbを水平方向に放射した場合、一般的な人の腰辺りを検知することができ、胴体の形状を介して人の識別を可能にしている。なお、センサ11のレーザビームbの照射方向は水平面に限らず、用途、探知対象に応じて傾斜を有して放射する3次元態様を採用することができる。
図1(C)に示すように、センサ11は、探知領域である、例えば会場50に複数台設置される。会場50は、円形、四角形の場合の他、種々の形状、例えば凸凹のある領域の場合も想定され、周囲は壁51で囲われているとする。会場50の一部には出入り口52を有する。センサ11は、会場のサイズや形状、また対象となる人数、密度等を考慮して所要数が適宜の位置に配置される。複数のセンサ11は、好ましくは複数台が同一領域を一部重ねて計測できるような位置、向きで配置される。
図2は、センサ11による人検知の方法を説明する図で、(A)はレーザスキャンによる人体表面の検知を説明する平面図、(B)は人の判定方法を説明する平面視の図である。図2(A)において、センサ11からのレーザビームbがある検出方向に送信され、その方向に存在する最も近い物体(歩行者6)の表面の反射点(これを検出点pと言う)への距離を、送信時から受信時までの電波伝搬時間に基づいて正確に検知する。演出された検出点pの集合を以下、点群データという。
従って、各センサ11は、自身の座標を原点、基準(正面)方向をx軸とする座標系において、ある時刻における自身からの直線上に存在する最も近い物体の表面までの距離dと角度θとを3次元ベクトルの集合として出力する。すなわち、i番目のセンサ11での時刻tにおける単位方向ベクトルvにおける検出距離をdとしたとき、検出点情報(i, t, v, d)を計測装置10に出力する。図2(A)は、2次元空間でのかかる関係を図示したものである。なお、図2(B)は、歩行者を検出する場合の条件を説明するためのもので、詳細な説明は後述する。
図3は、本発明に係る計測システムの一実施形態を示す全体概要図である。計測システム1は、複数の計測装置10、サーバ20、及び必要に応じて採用されるモバイル端末30を備えている。計測装置10は、レーザビームbをスキャンして点群データを取得するセンサ11とセンサ11で検知した点群データに対して一定のデータ処理を施す制御部120とを備えている。サーバ20は、データ処理を行う処理部21、処理に必要なデータ類、各計測装置10からの送信データ及び処理途中のデータを一時的に記憶するデータベース22を備えている。サーバ20には、モバイル端末30と無線LAN通信(例えばWi-Fi等)を行うためのアクセスポイント201、サイネージ用の表示器202、インターネット40が接続されている。地上局41は、インターネット40とモバイル端末30との間で、SNS(Social Net System)を含む電子メールデータを送受信するものである。
なお、モバイル端末30は、典型的にはスマートフォンで、本体31の内部にはデータを処理するプロセッサが設けられ、表面には表示部311が備えられている。また、本体31は、一般的には、GPS(Global PositioningSystem)受信機、ジャイロセンサ、加速度センサ等の動きセンサ32を内蔵し、さらに、温度センサ、湿度センサ、気圧センサ、その他の環境センサを備えている。動きセンサ32のうちジャイロセンサ及び加速度センサは、モバイル端末30を所持している歩行者の移動、例えば歩行に応じた動きや方向変化、ジャンプなどを相対的に検知可能とするものである。通信部33は、図15(A)において説明する「ひとなび」アプリケーションがインストールされたことを条件に、アクセスポイント201、また地上局41との間のデータ通信をそれぞれ行う。入力部34は、機械的あるいはボタン画像からなる文字キー群を含み、種々の指示の他、入力操作を通して、電子メール用等の文章メッセージの作成を行う。
図4は、センサ11を含む計測装置10の一実施形態を示す機能構成図である。計測装置10は、センサ11及び計測部12を備えている。計測部12は、センサ11の支柱本体に内装される形態であってもよい。計測部12は、プロセッサを備える制御部120を備え、制御部120には、センサ11、プログラム記憶部1201及びデータ記憶部1202が接続されている。プログラム記憶部1201は、制御部120が実行する処理プログラムを記憶するものである。データ記憶部1202は、センサ11で受信した計測データを一時的に記憶し、また処理途中のデータを一時的に記憶するものである。
制御部120は、処理プログラムを実行することで、センサ駆動部121、計測データ取得部122、キャリブレーション部123、背景処理部124、人検出部125、移動軌跡生成部126及び通信処理部127として機能する。
センサ駆動部121は、センサ11への起動指示を受けて、センサ11の送信部111、受信部112を駆動させ、図1(A)及び図2(A)に示すような、レーザビームbをスキャンさせつつ周期的に送信し、反射してきたレーザビームの受信を行う。
計測データ取得部122は、図1(A)に示すようにレーザビームbを周方向に走査しながら繰り返し送信することによって障害物までの距離を探知するもので、背景点群の取得等の事前処理、人検出~移動軌跡生成処理、及びキャリブレーション処理において、検知方向、距離に関する計測データの取得を行う。
キャリブレーション部123は、初期処理として実行するもので、探知領域内に設置される複数のセンサ11の正確な絶対位置情報を取得する処理の内の前段処理、すなわち各センサ11でのキャリブレータ8(図6参照)の相対座標、向きの情報取得処理を実行する。
背景処理部124は、事前処理として実行するもので、図1(C)に示す会場50の壁51の検出を行うものである。同一検知方向に対して、所定の長時間、検知距離が同一である場合には、当該検出点pは、移動しない静止体、例えば壁51と見なして、それらの点群データを背景点群として事前に登録する。なお、静止体には、会場50内に設置された設置物や柱を含めることができる。
人検出部125は、点群データから歩行者の胴体の特定、及びその位置を検出する。人検出部125は、以下のように、(I)背景点群の差分による動体点群の導出、(II)動体点群から人の胴体の検出、(III)前後フレームからの同一人物の推定を行う。なお、点群データは、センサ11で検出した受信信号をその都度用いてもよいが、ノイズ抑制、処理速度等を考慮して、複数回(複数のスキャン回数分)の受信信号を平均化したものとしてもよい。例えば、同一方向からの連続して8回のスキャン分の受信信号を平均したもの、すなわち200ms(=Δt:25ms×8)周期の点群データで処理してもよい。
(I)背景点群の差分による動体点群の導出
各時刻tと十分短い時間Δt(例えば200ms)に対し、[t-Δt, t]に検出された動体点群について、それらの鉛直方向座標(Z座標)を削除したXY座標を得る。これに対し、背景処理部124で取得し、登録されている背景点とみなした点群からZ座標を削除したものと比較し、XY座標が一致すると見なされる点群を削除する。この削除処理を経て残ったものを動体点群と呼ぶ。
(II)動体点群から人の胴体の検出
人検出部125は、まず、動体点群からの楕円形抽出を行う。すなわち、歩行者を円柱と想定した場合に、図2(A)に示すように、検知方向が実質連続し、かつ検知距離が所定範囲に収まる動体点群を、同一歩行者の体表計測点(胴体)の候補としてグループ化する。
次いで、人検出部125は、楕円形のサイズによるフィルタリングを行う。すなわち、動体点群の中から、図2(B)に示すような、(a)グループ内の最大距離がある定数α以下、(b)グループ外検出点との最小距離がある定数β以上、(c)グループ内の検出点数がある定数γ以上、を満たす点のグループを抽出する。なお、図2(B)は、説明のための簡略化した図であり、グループ61とグループ62とが互いに隣接した別のグループとして例示されている。上記条件を満たさない場合、検出対象から外すなどして、いわゆるフィルタリング処理を行う。また、グループ内の動体点群データから楕円形状を算出し、そのサイズ、例えば楕円直径(長短軸のいずれ側でもよい)を算出する。人検出部125は、算出した楕円直径が予め設定された人体の最大直径をR(一般にはR=60cm程度)を超えている場合には、人とは判定せず、検出対象から外すなどして、いわゆるフィルタリング処理を行う。
なお、フィルタリングにおいては以下の内容が条件に反映される。すなわち、人体の最大直径をR(一般にはR=60cm程度)、人の一般的な歩行速度をVとするとき、α=R+V*Δtとなる。また、人はそれぞれパーソナルスペース(おおよそ30cm程度)を有しており、また歩き易さのため周辺の人とは一定距離を保ちながら歩行する。その距離をS(Sは経験的に50cm程度)とすれば、β=Sである(図2(B)参照)。また、人の検出点数は、センサ11と人との距離に依存する(センサ11は放射状に検出を行うため、人との距離が近い程、検出点が多くなる)。一般に、検出ステップ角度θのセンサ11から距離dに存在する人を、直径Rの円柱とみなせば、その人の検出点数は、|2* arc cos (d+R) / θ|で得られる。なお、センサ11の位置座標誤差や測距誤差から生じる検出距離の最大誤差をεとすれば、α=R+V*Δt+2ε,β=S―2εとすればよい。
次いで、人検出部125は、フィルタリングで検出対象とされた楕円形を人の胴体とする処理を行う。すなわち、グループ毎における人の胴体の重心座標を時刻[t-Δt, t]毎に算出して人座標点を得る。人座標点は、楕円の重心(体中心点)を算出する方法でよく、例えば、センサ11からの検知距離dが最小となる検知方向と、左右両端となる検知方向とから幾何学的に算出する方法が採用可能である。
(III)前後フレームから同一人物を推定
人検出部125は、時刻毎に検出した人座標点に対し、検出時刻t,t+Δt、およびt‐Δtにおいて、一般的な人間の移動速度V(m/s)を用いて、V*Δt以下の距離に2つの人座標点が存在するかどうかを判定する。そして、人検出部125は、前記判定が肯定された場合、それらは単一の人物が歩行により移動したものとみなし、それらの人座標点に同一の人物IDを割り当てる。また、人検出部125は、前記時系列における複数の周期(フレーム)分の人座標点の情報を保管しておくようにすれば、仮に、その間に、他の人がセンサ11を遮るように通過したなどの理由によって計測が一時的に途切れたとしても、保管している前記情報を用いることで途切れた人座標点を一般的な補間方式を用いて生成ことが可能となる。
移動軌跡生成部126は、人検出部125で取得された人座標点を人物ID毎に時系列につなぎ合わせることで人物ID毎の移動軌跡を導出する。なお、制御部120で算出された座標位置に関する各種のデータは、センサ11を基準とした相対座標で表されたものである。
通信処理部127は、サーバ20との間でデータ授受を行うもので、本実施形態では、キャリブレーション部123、移動軌跡生成部126で得られた情報がサーバに送信される。
図5は、サーバ20の一実施形態を示す機能構成図である。サーバ20は、プロセッサを備える処理部21を備え、処理部21には、データベース22、プログラム記憶部23及び表示器202が接続されている。データベース22は、計測装置10で取得された各種のデータを記憶し、また処理途中のデータを一時的に記憶するものである。プログラム記憶部23は、処理部21が実行する処理プログラムを記憶するものである。
処理部21は、処理プログラムを実行することで、移動軌跡統合部211、キャリブレーション部212、組み合わせ処理部213、サイネージ画像作成部214、モバイル端末画像作成部215、通信処理部216及び移動監視部217として機能する。
移動軌跡統合部211は、各計測装置10から送信された移動軌跡データを単一人物毎に統合(マージ)する処理を行う。各計測装置10からの移動軌跡データは、同一人物間においても多少ずれている可能性があり、そのような場合には一人の移動軌跡が別の人物の移動軌跡として認識され、あるいは逆に別の人物の移動軌跡が同一人の移動軌跡として認識される可能性がある。そこで、移動軌跡統合部211は、各計測装置10間の移動軌跡が同一人物のものかどうかを判定し、その結果に基づいて統合処理を行うようにしている。
ここに、統合(マージ)処理は、(i)各計測装置10で検出した人物の移動軌跡データを取得し、(ii)人物の移動軌跡データを絶対座標に変換し、(iii)各軌跡ペアについて、マッチング度を算出し、(iv)閾値以上であれば、同一人物の移動軌跡と判断する手順で行われる。
すなわち、より詳細には、移動軌跡統合部211は、(i)の処理後、(ii)のように、各計測装置10で得られた移動軌跡データを取得し、センサ11のXY座標を考慮して絶対座標系(XY平面)に変換する。次いで、各計測装置10の位置情報、時刻情報を絶対座標、共通の時間基準に変換して座標系を共通化する。さらに、移動軌跡統合部211は、(iii)のように、各軌跡ペアについて、マッチング度の算出を行う。すなわち、移動軌跡統合部211は、絶対座標系において、比較対象の移動軌跡のペアを順次選定し、ペア毎に、ある時刻範囲内で、同一時刻毎のペア間の位置情報の差分(距離)を集計し、その集計結果に関するマッチング度を求め、(iv)において、マッチング度と閾値とを比較し、マッチング度が閾値以上であれば、2つの移動軌跡は同一人物から得られたものと判断して、統合する。統合は、例えば一方の移動軌跡情報を削除することで行われる。一方、マッチング度が閾値未満であれば、2つの移動軌跡は別の人物のものと判断する。
キャリブレーション部212は、2つのセンサ11間の正確な相対位置を合わせるための処理である。探知領域には、探知範囲が互いに一部重なるようにセンサ11が複数配置されることが好ましい。その場合に、各センサ11で検出された移動軌跡が同一人物のものか異なる人物のものかを判断するに際して、各センサ11の探知領域内での位置、及び必要な場合に向きが共通する同一座標系で設定されていることが必要である。
キャリブレーション部212は、各計測装置10でのキャリブレーション部123により取得されるキャリブレータ8の位置情報に基づいて行う。
従来、各センサ11が検出した背景点を直接人手あるいは機械的にマッチングすることで相対位置関係を把握していたが、人手による方法では誤差が拡大し、また機械マッチングによる方法では、センサ11の位置関係によっては共通の物体(例えば壁や柱)を必ずしも捉えられないという問題がある。そこで、本実施形態では、図6に示すように、特定のサイズ及び位置関係を有する2本のポール81,82を備えたキャリブレータ8を用いて位置を正確に特定する方法を採用している。
図6は、キャリブレータ8の一例を示す図で、(A)は構造図、(B)はキャリブレータの位置と向きを算出する説明のための平面視の図である。キャリブレータ8は、平板状の基台80の上面に長尺で円柱状の2本のポール81,82が所定の位置関係で立設されており、一体として任意の位置に移動し、設置が可能である。ポール81,82は、レーザを反射するものである。ポール81とポール82とは、2種類の反射体として機能するもので、識別可能なように互いの形状、ここでは半径が大小相違している。なお、キャリブレータ8は、円柱状に限定されず、種々の形状が採用可能であり、また2個に分かれている必要もなく、互いに識別可能な形状部位を有すれば足りる。
先ず、計測装置10のキャリブレーション部123(図4参照)による前段処理が実行される。すなわち、事前準備としての背景点群の取得後に、会場50の適所にセンサ11を設置した状態で、動体検出と同様の方法で計測を行い、背景点群を除いて、例えば図2(B)のような動体点群を得る。
次いで、動体点群から、前記した胴体の検出手法と同様の処理を利用してキャリブレータ8の位置情報の検出を行う。先ず、ポール81,82の直径情報を利用して、動体点群からD1円形(181)の点群と、D2円形(182)の点群とを検出する。さらに、D1円形に相当すると想定される点群集合と、D2円形に相当すると想定される点群集合の各組について、それらの中心間距離Lがキャリブレータ8のポール81-82の中心間距離に近い場合、それらをD1円形、D2円形とみなす。さらに、D1,D2円形の位置情報を用いて、D1,D2円形の中間の位置Pcとセンサ11との間の距離と、センサ11からD2円形の中心を結んだ方向の角度(ベクトル)Diとを算出する。そして、キャリブレーション部123は、算出した距離と角度(ベクトル)Diとをサーバ20に送信する。
ここで、図7を用いて、会場50での2台のセンサ11によるキャリブレーション処理を説明する。図7は、2個のセンサ11,11’が配置される場合の共通のキャリブレータ8を用いたキャリブレーション処理の手順を説明する図で、(A)は1個目のセンサ11とキャリブレータ8との位置関係を示す図、(B)は2個目のセンサ11’とキャリブレータ8との位置関係を示す図である。
図7(C)は、サーバ20のキャリブレーション部212によって実行される処理で、(A)と(B)の結果を合成して、2個のセンサ11,11’の位置をキャリブレートする。
キャリブレーション部212は、センサ11の相対位置の算出及び絶対位置の算出を行う。まず、キャリブレーション部212は、ある時刻に各センサ11で検出されたキャリブレータ8の位置情報を取得し、次いで、キャリブレータ8の位置を起点にして、キャリブレータ8との距離、角度情報を用い、複数のセンサ11の相対位置を特定する(図7(C)参照)。
次に、校正作業者によって、図略の入力操作部を介して、いずれか1つのセンサ11の絶対座標の位置情報が入力設定される。なお、絶対座標系は、世界座標であってもよいし、探知領域全体を共通してカバーするローカル座標であってもよい。キャリブレーション部212は、絶対座標が設定されたセンサ11の絶対位置情報と、その他のセンサ11’の相対位置関係とから、残りの、すなわちセンサ11’の絶対位置情報の算出を行う。
図8は、計測装置10のプロセッサによって実行されるセンサ処理の手順の一例を示すフローチャートである。図8では、先ず事前処理として、静止体からの背景点群の取得処理が実行される(ステップS1)。次いで、計測装置10が起動されて、レーザビームbを周方向に走査させながら周期的な計測処理の動作が開始される(ステップS3)。計測処理においても、歩行者と共に静止体も検出されている。そこで、計測処理において得られた点群データから背景点群を除く処理が行われて、動体点群が検出される(ステップS5)。
次いで、動体点群からグループ化処理を実行して、グループ毎の楕円形の抽出が行われ(ステップS7)、さらに、人の楕円サイズかどうかのフィルタリング処理が実行される(ステップS9)。なお、人の楕円サイズでないと判断された場合、当該グループは検出対象外とされる。続いて、人の胴体の検出処理、すなわち人の胴体の重心座標を時刻 [t-Δt, t] 毎に算出して人座標点を検出する処理が実行される(ステップS11)。さらに、前回(t-Δt)のフレーム、今回tのフレームで検出された人座標点の位置関係から前後フレーム間での同一人物の推定を行って、人物IDの割り当てが行われる(ステップS13)。同一人物である場合、移動軌跡の導出、すなわち各フレーム間の人座標点を時系列につなぎ合わせる処理が行われ(ステップS15)、導出結果は人物IDと共にサーバ20に送信される(ステップS17)。次いで、計測が継続かどうか判断され(ステップS19)、継続であれば、ステップS3に戻って同様な処理が繰り返され、そうでなければ、本フローを終了する。
図9は、サーバのプロセッサによって実行されるマージ処理の手順の一例を示すフローチャートで、(A)はマージ処理Iの手順を示し、(B)はマージ処理IIの手順を示す。マージ処理Iは、計測装置10や、後述するようにモバイル端末30からの送信データの受信を行う処理である。まず、各計測装置10からの送信データの受信が行われ(ステップ#1)、次いで、モバイル端末30からの送信データの受信が行われる(ステップ#3)。
次に、マージ処理IIでは、まず、ある時刻範囲内において各センサ11で検出された各人物の移動軌跡データが抽出され(ステップ#11)、抽出された各人物の移動軌跡データが絶対座標に変換される(ステップ#13)。
次いで、各移動軌跡のペアの組み合わせから各ペアが順次抽出されて、抽出されたペア間での検知時刻毎の位置の差分に基づいたマッチング度の算出が行われる(ステップ#15)。そして、抽出されたペアについて、算出されたマッチング度が閾値以上か否かが判断され(ステップ#17)、閾値以上であれば、当該ペアの移動軌跡は同一人物の移動軌跡であったと見なして統合される(ステップ#19)。一方、マッチングしなかった場合には、ステップ#19をスルーして、別の人物の移動軌跡として扱われる。次いで、次のペアの有無が判断され(ステップ#21)、次のペアが残っていれば、ステップ#15に戻って、残っている内からペアが抽出されて、同様なマッチング処理が実行される。ステップ#21で最後のペアが終了したら、本フローを終了する。
図10は、計測装置10のプロセッサによって実行されるキャリブレーション処理の手順の一例を示すフローチャートである。まず、事前処理として背景点群の取得処理が実行される(ステップS31)。次いで、キャリブレータ8を探知領域、例えば会場50の適所に配置し(図7(A)参照)、その状態で、計測装置10が起動されて、レーザビームbを周方向に走査させながら周期的な計測処理が開始される(ステップS33)。計測処理においても、キャリブレータ8と共に静止体も検出されている。そこで、計測処理において得られた点群データから背景点群を除く処理が行われてキャリブレータ8のポール81,82に対する動体点群が抽出される(ステップS35)。
次いで、動体点群からキャリブレータ8のポール81,82に対応するD1,D2円形の中心の位置情報の算出が行われる(ステップS37)。例えば、ポール81,82に対する位置情報の算出は、図6(B)に示すようにして行われる。このようにして、D1,D2円形の位置情報を用いて、D1,D2円形の中心間距離Lと、ポール81,82の中心間距離との差が算出され、その差が閾値以下であれば、算出した位置情報はキャリブレータ8のポール181,182に対応するものとみなすようにしている(ステップS39)。
次いで、D1,D2円形の中間の位置Pcとセンサ11との間の距離と、センサ11からD2円形の中心を結んだ方向の角度(ベクトル)Diとが算出され(ステップS41)、算出結果はサーバ20に送信される(ステップS43)。
図11は、サーバ20のプロセッサによって実行される各センサ11の絶対位置情報を算出する処理の手順の一例を示すフローチャートである。まず、各計測装置10から算出結果(ステップS41)が受信される(ステップ#31)。
次いで、ある時刻において各計測装置10で検出された前記算出結果を読み出し、これらの算出結果から2つの(または複数の)キャリブレータ8,…が位置、角度において正確に重ね合わされた状態での各センサ11の相対位置関係の算出が行われる(ステップ#33)。次いで、ある1つのセンサ11の、絶対座標系での絶対位置情報がマニュアルでサーバ20(または、当該センサ11を備えた計測装置10を経由しての入力設定でもよい。)に設定される(ステップ#35)。
次いで、キャリブレーション部212は、絶対位置情報が設定されたセンサ11の絶対位置情報とその他のセンサ11の相対位置関係から、残りのセンサ11の絶対位置情報の算出(換算処理)を行う(ステップ#37)。算出された各センサ11の絶対位置情報はデータベース22に格納され、必要に応じて各計測装置10に送信される(ステップ#39)。この結果、各センサ11の位置が共通の座標情報で定義されるため、処理が容易となる。なお、各センサ11の絶対位置情報には、向き情報を含めてもよい。
図12は、検知領域である会場50内での人の移動に伴って、ある領域の通過、例えば出入りを検知する方法を説明する平面視の図である。図12において、会場50には、図の左上と右下とにセンサ11が設置され、図の上の壁51の中央付近に出入り口52が設けられている。図12では、人の移動軌跡として、Tr1,Tr2が検出されている状態を例示している。移動監視部217は、統合後の人の移動軌跡について、ある領域の通過、例えば出入り口を横切ったかどうかを検知し、さらに人数の管理を行う。
軌跡Tr1は、会場50の中央付近で左から右(t4,t3,t2,t1)への移動様態を示している。軌跡Tr2は、会場50内から出入り口52の領域を通過する様子(t4,t3,t2)を検知している。時刻t1の時点では探知領域外に移動しているため、時刻t2後は検知できていない。この例では、軌跡Tr2の歩行者は、(t4,t3,t2)で検知でき、かつ時刻t2と時刻t1との間で出入り口52を通過した(横切った)状態にあるので、退場であることが判り、人数的にマイナス1とすればよい。一方、軌跡Tr2を逆向きに時間が経過したものと仮定すると、外から出入り口52を通過して(横切って)入場したことが検知でき、人数的にプラス1とすればよい。なお、初期の会場人数が既知であれば、かかる人数カウントによって会場内人数をモニタすることが可能となる。センサ11は、出入り口52を簡易的に直線状に形成した出入り領域(通過領域)として検知することで、会場50内の特定の領域を交差する(横切った)ように移動する歩行者をモニタリングできる。
図13は、サーバ20のプロセッサによって実行される人数カウント処理の手順の一例を示すフローチャートである。まず、初期人数iが入力される(ステップ#51)。初期人数が0人の場合には特に入力は不要である。次いで、計測が行われ、移動軌跡が生成されて監視処理が行われる(ステップ#53)。監視処理において、移動軌跡が出入り口52を横切ったかどうかが判断さる(ステップ#55)。出入り口52を「中から外へ」横切った場合(ステップ#57でYes)、人数がi=i-1として減算され(ステップ#59)、逆に、出入り口52を「中から外へ」横切ったのでない場合(すなわち「外から中に」横切った場合)、人数がi=i+1として加算され(ステップ#61)、次いで、ステップ#53に戻って同様な処理が繰り返される。
図14は、人の属性を含めて検知可能にするセンサ11の配置の一実施形態を示す図である。この例では、会場50の床面に設置され、探知面を水平方向とする1台乃至は複数台のセンサ11の他、例えば壁51の、より高い位置に別のセンサ11’が取り付けられている。センサ11’は、探知面が下方に傾斜し、3次元での検知を可能にしている。なお、センサ11’は、より長尺の支柱を有する形状とし、探知面を下方に傾斜させる態様としてもよい。この構成によれば、センサ11によって胴体の検知を介して人の識別及び移動軌跡の検知を可能にする一方、センサ11’によって、移動する人の頭部(最高高さ位置)を検知することで、身長という属性を検知することが可能となり、例えば大人と子供の識別に供することができる。また、センサ11’を用いることで、歩行に従って身体の上下方向の様々な箇所が検知できるため、人体に関する種々の属性(特徴情報)が取得可能となり、適宜の用途に適用できる。
以上のように、計測システム1を適用することで、探知領域において、人々の正確な2次元位置を取得することができる。一方、それらの人々がモバイル端末30を携行していると仮定して、組み合わせ処理部213は、モバイル端末30に内蔵の動きセンサ32を利用して、それらの人の動きを取得し、人の移動軌跡とモバイル端末30とを組み合わせる(紐付けのためのIDを設定する)ようにした。さらに、組み合わせ結果を可視化することで、利用範囲が広がると共に新たな付加価値を得ることも可能となる。
図15は、携行されるモバイル端末30が行うデータ送信処理を示すフローチャートで、(A)はモバイル端末30での組み合わせアプリケーションのインストール処理を示す、サーバへのデータ送信処理Iのフローチャート、(B)は組み合わせ後のモバイル端末30からの受信データの活用処理の一例を示す、サーバへのデータ送信処理IIのフローチャートである。
図15(A)において、まず、会場50への入場に先立って、例えば出入り口52近くに設置された2次元バーコードであるQRコード(登録商標)をモバイル端末30のデジタルカメラで撮像し、モバイル端末内の処理部によってQRコード(登録商標)が解析され、地上局41、インターネット40を経て、該当のURL(Uniform ResourceLocator)のサイトにアクセスして、「ひとなび」アプリケーションをインストールするようになっている(ステップST1)。または、インターネット上の特定のサイトから事前に、あるいは出入り口52に配置されたアクセスポイント201と交信して、「ひとなび」アプリケーションをインストールするようにしてもよい。「ひとなび」アプリケーションがインストールされる際に、自己のモバイル端末30のアドレスがサーバ20に登録され、以後、サーバ20側からのアクセスが可能とされる。
「ひとなび」アプリケーションとは、モバイル端末30に内蔵された動きセンサ32の検出情報を継続的に読み取って、Wi-Fiなどの近距離通信を介してサーバ20に送信する(ステップST3)。
図15(B)において、まず、入力部34からのメッセージの入力の有無が判断される(ステップST11)。メッセージの入力がある場合、「ひとなび」アプリケーションによって、メッセージがサーバ20に送信され(ステップST13)、メッセージの入力がない場合、ステップST13がスキップされる。
さらに、「ひとなび」アプリケーションによって、メッセージの受信の有無が判断される(ステップST15)。メッセージの受信がある場合、俯瞰領域顔図内で、紐付けされたモバイル端末30に吹出し図形で受信メッセージの表示が行われ(ステップST17)、メッセージの受信がない場合、ステップST17がスキップされる。
図16は、サーバ20の組み合わせ処理部213が実行する、携行のモバイル端末30の動きと移動軌跡との組み合わせ処理の一例を示すフローチャートである。モバイル端末30から動き情報が周期的に受信され(ステップ#71)、次いで移動軌跡と動き情報との共通性の評価が行われる(ステップ#73)。共通性評価のための組み合わせ処理とは、動きセンサ32から得られた動きと探知領域内で検知した人の移動軌跡との同一時刻における一致さを評価して、同一人物といえるかどうかを評価するものである。共通性の有無の判断が行われ(ステップ#75)、共通性がなければ、本フローを終了する。一方、共通性があれば、紐付け処理が実行される(ステップ#77)。
次いで、紐付けされているモバイル端末30からSNS情報を受信したかどうかが判断される(ステップ#79)。SNS情報を受信しなければ、本フローを終了する。一方、SNS情報を受信すると、サイネージ画像作成部214によって、モバイル端末30からの受信情報が加工され、人物の画像と対応付けてサイネージの表示器202に表示される(ステップ#81)。次いで、サイネージの表示器202に表示された情報を、紐付けされたモバイル端末30にそれぞれ送信する(ステップ#83)。
図17は、モバイル端末画像作成部215によってモバイル端末30の表示部311に表示される画面例の図である。画面には、会場画像G50が俯瞰して表示されている。さらに、IDで紐付けして、モバイル端末30が内蔵する他のセンサ等から得られる情報(温度、湿度、騒がしさ、気圧、周囲の混雑など)をアクセスポイント201を介して、また、ツイート(Tweet)等、そのモバイル端末30の所持者が興味を持ったりレポートしたりする情報にタイムスタンプを付与した「モバイル端末データ」を地上局41を介して、サーバ20にそれぞれ送信されて画面に反映される。
サイネージ用の表示器202の画面、あるいはモバイル端末30の表示部311の画面には、各人の位置に対応して人マーク、例えばアバター画像(図17の画像G6参照)が表示されると共に、「モバイル端末データ」が吹出し(図17の画像G71参照)を用いて表示される。これにより、各モバイル端末30の正しい位置情報とともに、そのモバイル端末30が捉えた「モバイル端末データ」が、それらの画面に表示される会場画像G50に、一括して表示できる。また、図17に示すように、当人のモバイル端末30の表示部311に対しては、本人を表すマーク(画像G72参照)が付された画像としてもよい。また、表示器202、表示部311には、各人の移動軌跡をある時間幅だけ表示してもよい。
図18は、移動監視部217によって実行される、交通機関に対する乗客の昇降数をカウントする適用例を示す図である。この構成は、図12に示す、会場50に対して出入りする人数をカウントする態様と似ている。すなわち、図18は、バスの乗客数をカウントする態様である。バスは、後部側の昇降口付近を示す車内部BUの側部B51に沿って座席SEATが適宜設置され、昇降口にドアB52が開閉可能に設けられている。ドア開閉センサ9は、図略の駆動源で図示の矢印に示すようにスライドするドアB52の開閉を検出する、例えば機械的なスイッチである。計測部12を内装する形態のセンサ11は、好ましくは複数設置され、1つはドアB52の近傍に配置されていてもよい。
サーバ20’は、図3の構成を備えると共に、図13のフローチャートと同様な処理を実行する。これによって、車内部BUに対して昇降する人数が検知でき、それによって各時点で乗客数が把握可能となる。また、サーバ20’のドア開閉検出部29で検出される各停留所でのドアB52の開閉時刻及び開成時間を昇降人数と関連付けることで、運行状況の把握乃至はその管理に反映させることができる。
なお、本発明において、モバイル端末との組み合わせ方法として以下の方法も採用可能である。すなわち、センサ11によって探知領域、例えば会場50に進入した歩行者は位置が検知され、トラッキングされる。サーバ20は、「ひとなび」アプリがインストールされたことを条件に、かかるモバイル端末30に対して、アクセスポイント201を経て位置情報の問い合わせ要求を発する。進入した歩行者がモバイル端末30を携行していれば、要求に応じて自己の位置情報をサーバ20にアクセスポイント201を経て返信する。進入した歩行者の移動軌跡及び時刻と返信された位置情報及び時刻とを比較し、同じ位置と見なせる場合、当該歩行者のモバイル端末30が進入したと判断する。従って、歩行者は、探知領域内にいる間、センサ11で得られた正確な移動軌跡をサーバ20を介してモバイル端末30で取得できる。なお、モバイル端末30の位置を取得する方法としては、Wi-Fi基地局からの電波強度の違いを利用する方式、ビーコン測位(BLE:BluetoohLow Energy)方式、その他が採用可能である。
また、本実施形態では、キャリブレータ8の構造として、図6に示すように、基台80の上面に立設した2本のポール81,82を採用したが、これに代えて、基台80と1個のポール81を別体として採用する態様としてもよい。この態様では、ポール81を予め立直させる基台80上の位置を複数箇所、例えば2箇所に目印を付して設定しておけばよい。そして、キャリブレーション処理に際して、1箇所目と2箇所目とに順番にポール81を置き換えてそれぞれ計測を行うことで、図10と同様に2箇所の計測処理が実行される。なお、ポール81に代えてポール82でもよく、あるいは他の態様のポールでもよい。
また、本実施形態では、人の移動軌跡を検知したが、検知対象は人以外であってもよい。例えば、工場内を自立的に走行する運搬ロボットの移動軌跡をモニタリングすることで、衝突、異常走行また暴走を検知し、阻止することが可能となる。
以上説明したように、本発明に係る計測装置は、走査範囲内を繰り返し走査しながら周期的にレーザビームを送信すると共に、探知領域内の動体の各部で反射したレーザビームを受信するセンサと、受信した前記レーザビームから前記動体の各部に対応した動体点群の位置を算出し、算出した前記動体点群から楕円の胴体を抽出し、抽出した前記楕円の胴体の重心位置を順次算出する第1の算出手段と、算出した前記胴体の重心位置のうち、2つの胴体の重心位置の間の距離が閾値以下かどうかを判定し、閾値以下とされた胴体に対して共通IDを付す第2の算出手段と、前記共通IDが付された前記胴体の重心位置を時系列につなぎ合わせて移動軌跡を生成する移動軌跡生成手段とを備えたものである。
本発明によれば、走査範囲内を繰り返し走査しながら周期的にセンサからレーザビームが送信され、レーザビームは探知領域内に存在する動体の各部で反射して受信される。そして、第1の算出手段によって、受信した前記レーザビームから前記動体の各部に対応した動体点群の位置が算出され、算出された前記動体点群から楕円の胴体が抽出され、さらに抽出された前記楕円の胴体の重心位置が順次算出される。さらに、第2の算出手段によって、前記胴体の重心位置のうち、2つの胴体の重心位置の間の距離が閾値以下かどうかが判定され、閾値以下と判定される胴体に対して共通IDが付与される。そして、移動軌跡生成手段によって、前記共通IDが付与された前記胴体の重心位置が時系列につなぎ合わされる。従って、計測装置は、自己のセンサから取得された位置情報から移動軌跡情報を算出するようにし、これによってサーバ側のデータ処理負担の低減に供することが可能となる。また、2つの胴体の重心位置の間の距離が閾値以下と判定された場合に、同一の動体とすることで、一時的に静止する(立ち止まる)ような状態でも同一動体として適正に検知される。
また、予め前記探知領域に存在する静止体の位置を背景点群として算出する背景処理手段を備え、前記第1の算出手段は、前記背景点群との差分を取って前記動体点群を導出するものである。この構成によれば、背景にある静止体の影響が排除される。
また、前記第1の算出手段は、前記動体点群の中から、下記条件α、β、γを用いてグループ化を行い、各グループを前記楕円の胴体とするものである。但し、グループ内の最大距離がある定数α以下、かつグループ外の動体点群との最小距離がある定数β以上、かつグループ内の動体点群の数がある定数γ以上である。この構成によれば、一人ずつを的確に検出することが可能となる。
また、前記定数αは、α=R+V*Δtとすることが好ましい。但し、Rは胴体の最大直径として想定した値、Vは平均的な歩行速度、Δtは前記時系列における時間間隔である。この構成によれば、人の一般的な歩行速度を考慮して一人ずつの検出範囲が設定される。
また、前記第2の算出手段は、前記時系列における複数の周期分の前記胴体の重心位置を用いて、途切れた胴体の重心位置を補間するものである。この構成によれば、センサとの間を他の動体が横切るような場合であっても、その間の重心位置を補間することで得られる。
また、本発明に係る計測システムは、検知範囲が一部重なるように配置された前記計測装置と、前記各計測装置で生成された前記各移動軌跡の情報を取得するサーバとを備え、前記サーバは、前記計測装置間における移動軌跡のペアを抽出し、各ペアに対して移動軌跡のマッチング処理を行う移動軌跡統合手段を備えたものである。
本発明によれば、サーバの移動軌跡統合手段によって、前記計測装置間における移動軌跡のペアを抽出し、各ペアに対して移動軌跡のマッチング処理を行うだけとしたので、サーバでのデータ処理負担が低減する。
また、本発明に係る計測システムは、反射体を備えたキャリブレータを備え、前記計測装置は、前記キャリブレータの少なくとも第1の位置と第2の位置とに立直された前記反射体を前記センサによって検出することによって、前記キャリブレータの位置及び向きの情報を取得する装置側キャリブレーション手段を備え、前記サーバは、複数の計測装置で取得した前記キャリブレータの位置及び向きを共通座標系で重ね合わせて、各センサの設置位置を算出するサーバ側キャリブレーション手段を備えたものである。この構成によれば、複数のセンサ間の配置位置が校正されるため、各センサの配置位置情報の精度が維持される。
また、前記サーバは、モバイル端末の動きセンサからの動き情報と、前記動体の移動軌跡との共通性を評価し、共通性がある場合、前記動体の移動軌跡と前記モバイル端末とを組み合わせる組み合わせ処理手段を備えるものである。この構成によれば、センサで検出された人の移動軌跡と、当該人が携行するモバイル端末とが組み合わされるため、移動軌跡にモバイル端末からの情報を関連付けることが可能となり、また情報の有効活用が図れる。
また、前記サーバは、前記動体の移動軌跡が前記探知領域内の特定の領域を通過したかどうかを検知する移動監視手段を備えたことを特徴とするものである。この構成によれば、探知領域内に特定の領域を検知可能に定義づけておけば、当該特定領域の動体の通過状況の監視が可能となる。
また、前記移動監視手段は、バスの昇降領域を横切って乗車及び降車する乗客の人数を監視するものである。この構成によれば、前記特定の領域としてバスの昇降領域が設定された場合、バスの乗降人数ひいては乗車人数の監視が可能となる。