JP7146450B2 - 物体検出装置 - Google Patents

Description

本発明は、撮像した画像に基づいて検出対象の物体について検出を行う物体検出装置に関する。

例えば撮像した画像から、人体やその一部である顔の画像を検出して画像処理を行うものとして、検出した顔（顔画像）について顔検出枠あるいは顔検出枠データを出力するもの（特許文献１、２参照）が知られている。

例えば、上記特許文献１では、顔検出枠データについて、映像のフレーム間での対応付けをしており、上記特許文献２では、切り出した顔画像のサイズを変更してコンテンツ画像との合成をしている。

上記特許文献１、２での顔検出や人物検出に関しては、例えば、画面上をスキャンし、人検出器のスコアを基に人を特定するといった態様になっていると考えられるが、このような方法を採用した場合、例えば、日照条件や撮像位置から検出対象までの距離等の各種撮像状況によっては、撮像した連続画像中において検出対象に応じて出力される枠の位置や大きさに変動が生じ、視認性が悪くなる可能性がある。

特開２０１２－９４１０３号公報 特開２０１４－６７１１７号公報

本発明は上記した点に鑑みてなされたものであり、撮像した連続画像中における検出対象について視認性を高くすることができる物体検出装置を提供することを目的とする。

上記目的を達成するための物体検出装置は、連続画像中における検出対象の部分画像について基準位置を決定する基準位置決定部と、画像中の位置ごとに定めたスケール換算により、検出対象の部分画像を囲う枠のサイズを定めるスケール換算枠設定部と、基準位置決定部で決定された基準位置を基点として、スケール換算枠設定部での設定により定まる枠を、連続画像を構成するフレームごとの画像に描画する枠描画部とを備える。

上記物体検出装置では、連続画像中における検出対象の部分画像の基準位置を基点として、画像範囲の位置ごとにサイズを定めた枠を、フレームごとの画像に描画することで、撮像した連続画像中において描画される枠の位置や大きさの変動を抑え、枠付きの画像としての検出対象を、視認性の高いものにできる。

本発明の具体的な側面では、スケール換算枠設定部は、定位置から撮像された画像において、画像中の各位置での枠のサイズを、対応する実際の各位置から撮像位置までの距離に基づいて定める。この場合、距離に応じた適正サイズの枠を画像内に表示できる。

本発明の別の側面では、人物画像の抽出により、検出対象を人とする人検出を行う人検出部を備え、基準位置決定部は、人検出部において特定された人物画像の足元の位置を、決定すべき基準位置とする。この場合、人を検出対象の物体とすることができ、例えば駅の構内にいる人の動きについて視認性を高められる。

本発明のさらに別の側面では、スケール換算枠設定部において設定される枠は、検出対象としての人の比率に対応した矩形状である。この場合、検出対象である人を捉える枠としてのサイズや形状を適正なものにできる。

本発明のさらに別の側面では、連続画像データ中のフレーム間で画像を関連付けて同一物体をトラッキングするトラッキング処理部を有し、枠描画部は、トラッキング処理部での同一物体の関連付けに応じて、枠の描画を行うか否かを決定する。この場合、トラッキング処理部により撮像された物体の識別を確実に行いつつ、これに応じて適切な枠の描画が可能になる。

本発明のさらに別の側面では、枠描画部は、新規の検出対象について枠の描画を行わない。この場合、誤検出により対象とする物体以外のものを捉えてしまった場合であっても、誤検出したものに対して枠の描画をしてしまうことを抑制できる。

本発明のさらに別の側面では、トラッキング処理部は、検出対象についての部分画像に関して、連続画像中のフレーム間において一時的に未検出となっても、所定フレーム数内に対応する部分画像を再度検出した場合には、関連付けて同一物体として取り扱う。この場合、一時的に未検出となってしまった場合でも、検出された物体に対する枠の描画を継続できる。

本発明のさらに別の側面では、枠描画部は、トラッキング処理部で同一物体として関連付けられた検出対象のフレーム間における連続検出数、累積検出数及び連続未検出数の少なくともいずれかに基づいて、枠の描画を行うか否かを決定する。物体に対する枠の描画について適正な状態に維持できる。

実施形態に係る物体検出装置を概念的に示すブロック図である。 物体検出装置を配備した駅の様子を示す概念図である。 物体検出装置を配備した駅の様子を示す概念的な平面図である。 （Ａ）～（Ｃ）は、トラッキングされる人物の様子について一例を示す概念的な画像図である。 人検知部での検知に関して説明するための概念的な画像図である。 （Ａ）及び（Ｂ）は、枠の設定について一例を説明するための概念的な画像図であり、（Ｃ）は、枠のサイズと画像上の位置との関係を示す概念図であり、（Ｄ）は、枠のサイズと画像上の位置との設定方法について概念的に説明するためのグラフである。 物体検出装置の全体動作の一例を説明するためのフローチャートである。 （Ａ）～（Ｃ）は、フレーム間での関連付けの各態様について説明するための概念的な画像図である。 トラッキング処理の一例について説明するための概念的な画像図である。 図９に示すトラッキング処理におけるフレーム間での関連付けの結果について他の一例を示すタイムチャートである。 データ管理の処理について一例を説明するためのフローチャートである。

以下、図１等を参照して、本実施形態に係る物体検出装置について一例を説明する。図１は、本実施形態に係る物体検出装置１００を概念的に示すブロック図であり、図２及び図３は、物体検出装置１００を配備した駅ＳＴの様子を示す概念的な図である。なお、図２では、列車ＴＲが線路ＴＫに停車した状態を示しており、図３では、線路ＴＫにおいて列車の描画を省略している。ここでは、一例として、列車ＴＲが発着可能な駅ＳＴのホーム（プラットホーム）ＰＦを物体検出装置１００による監視対象エリアとしている。すなわち、駅ＳＴのホームＰＦにいる利用者ＨＵを物体検出の対象とし、ホームＰＦにおける利用者ＨＵの位置が分かるように、検出対象である利用者ＨＵを撮像した部分画像を抽出するとともに、当該部分画像すなわち画像中の人物を囲う枠ＦＲの表示（図４参照）を行っている。これにより、例えば利用者ＨＵの列車ＴＲへの乗り降り等に際して、乗務員や駅員が表示画像を介して安全確認を行う上で、人すなわち利用者ＨＵの存在位置を枠に基づいてより認識しやすいようにしている。なお、図２及び図３では、列車ＴＲの進行方向を＋Ｚ方向とし、Ｚ方向に垂直な面内において、垂直方向すなわち上下方向をＹ方向とし、Ｚ方向及びＹ方向の双方に直交する方向である水平方向をＸ方向とする。

上記目的を達成するため、物体検出装置１００は、利用者ＨＵの駅構内（特にホームＰＦ上）における検出対象たる人の検出を撮像した画像に基づいて行うとともに、検出された人の位置を的確に捉え、さらに、検出された人の画像上の大きさや位置に合わせた枠ＦＲ（図４参照）の設定や表示といった各種処理あるいは画像の加工を行っている。ここでは、代表例として、図２や図３に示すように、ホームＰＦ上にいる利用者ＨＵの存在を確認し、各種処理を行った画像を表示することで、駅員ＳＡによって監視可能な状態にしている。なお、ここでの一例では、図２に示すように、列車ＴＲの乗務員（運転士や車掌）によって確認可能なように、列車ＴＲの停止位置の近傍にモニター等のディスプレイ表示部ＤＡを設けている。

以下、図１等を参照して、本実施形態における物体検出装置１００の構成等について具体的に説明する。本実施形態に係る物体検出装置１００は、利用者ＨＵすなわちホームＰＦ上を移動する人を検知するために監視対象エリアを撮像する撮像部（撮像カメラ）１０と、撮像部１０で取得した画像データに基づいて視覚障碍者を検出すべく各種処理及び制御を行う制御装置５０と、制御装置５０での処理結果に基づき画像表示を行うディスプレイ表示部ＤＡとを備える。

撮像部１０は、例えばＣＣＤやＣＭＯＳ等の個体撮像素子で構成される撮像カメラであり、図２及び図３に例示するように、ホームＰＦの上方側（＋Ｙ側）に固定的に設置され、下方側（－Ｙ側に成分を有する方向）を撮像する。すなわち、撮像部１０により上方側からホームＰＦの床面ＦＬに向けて監視対象エリアについての定点観測のための撮像が行われる。また、ここでは、連続画像データ中のフレーム間で画像を関連付けて同一人物をトラッキングするトラッキング処理を可能とすべく、連続画像データとして、例えば３０ｆｐｓのフレームレートで２次元画像データを取得している。なお、撮像部１０については、ホームＰＦ全体についての撮像を可能とすべく、設置位置やホームＰＦの形状等に応じて、単数又は複数設けられている。

制御装置５０は、例えばＣＰＵや記憶装置等により構成され、撮像部１０により取得された連続画像データについての各種処理を行い、処理結果としての画像をディスプレイ表示部ＤＡに表示している。上記処理を可能とするため、図１に例示するように、制御装置５０は、主制御部６０と、記憶部７０と、画像処理部８０とを備える。

主制御部６０は、例えばＣＰＵ等で構成され、人の存在を検出する人検出部６１や、同一人物をトラッキングするトラッキング処理部６２、あるいは検出された人の部分画像について基準位置を決定する基準位置決定部６３、さらには、検出された人の部分画像を囲う枠のサイズを定めるスケール換算枠設定部６４や、スケール換算枠設定部６４での設定により定まる枠を画像処理部８０により描画させる枠描画部６５として機能する。

人検出部６１は、各種情報処理を行うことにより、撮像部１０で取得された２次元画像である連続画像データから機械学習による形状抽出によって人物画像（画像中の部分画像）を抽出する。

トラッキング処理部６２は、撮像部１０から取得した連続画像データ中のフレーム間で画像を関連付けることで、人検出部６１によって抽出された人物画像について同一人物のトラッキングを可能にしている。このため、トラッキング処理部６２は、記憶部７０から適宜プログラムを読み出して、人検出部６１において検出あるいは抽出された各人物画像について、連続画像データ中のフレーム間で画像を関連付けする処理を行う。

基準位置決定部６３は、人検出部６１で検出された連続画像中における検出対象である人の部分画像について、基準位置を決定する。ここでは、基準位置の一例として、人検出部６１において特定された人物画像の足元の位置を採用する。すなわち、本実施形態では、２次元平面の画像中における足元の位置を示す１点（一画素）の座標を、検出された人が存在する位置を示す基準位置とすることで、人の存在位置を特定する。

スケール換算枠設定部６４は、人検出部６１で検出された人の部分画像について、図４等に例示するように、人の部分画像を囲う枠ＦＲの形状やサイズを定めている。ここでの一例では、基準位置決定部６３で決定された人物画像の足元の位置を基点として、人の比率に対応した矩形状の枠ＦＲの画像を表示可能にしている。すなわち、本実施形態では、足元の位置に基づいて、矩形状の枠のサイズを決定する。

ここで、スケール換算枠設定部６４において枠ＦＲの形状やサイズを定めるための前提として、本実施形態では、撮像部１０により定位置から撮像された画像中の位置ごとに予め定めたスケール換算がなされている。例えば、駅ＳＴのホームＰＦにおいて、撮像部１０が撮像した定位置からの一定範囲の画像について人検出に関する解析を行う場合、撮像位置すなわち撮像部１０の設置位置から撮像されたホームＰＦの床面ＦＬまでの距離は、画像中の位置ごとに定まっている。見方を換えると、この場合、撮像された各画像を構成するピクセル単位で（画像中の平面座標ごとに）、床面ＦＬまでの撮像距離を予め決定しておくことができる。このような距離に関する情報を利用することで、スケール換算枠設定部６４では、撮像部１０により定位置から撮像された画像において、画像中の各位置において表示させる枠ＦＲのサイズを、対応する実際の撮像距離に応じて予め定めておくことができる。これにより、実際の距離に応じて適正サイズの枠ＦＲを画像内に表示できる。なお、以上のようなスケール換算の具体的手法の一例については、図６を参照して後述する。

枠描画部６５は、基準位置決定部６３で決定された基準位置すなわち人の足元の位置を基点として、スケール換算枠設定部６４での設定により定まる枠を、連続画像を構成するフレームごとの画像に描画する。すなわち、各画像上における人物画像に対して、画像処理部８０により当該枠を描画させるための各種処理を行う。なお、枠描画部６５においてなされる枠の描画を行うか否かの決定等、枠描画に関する詳細については、一例を後述する。

次に、制御装置５０のうち、記憶部７０は、記憶装置等により構成され、各種データやプログラムを格納しており、主制御部６０によりこれらのデータ等が、適宜読み出される。このため、記憶部７０は、トラッキング処理部６２で同一人物とされる者に関するデータを格納するトラッキングデータ記憶部７１のほか、人特徴量情報記憶部７２や、スケール換算情報記憶部７３等を備えて構成されている。

記憶部７０のうち、トラッキングデータ記憶部７１は、検出された複数の人を識別すべく検出された人ごとにＩＤを割り振るとともに画像データ等をＩＤごとに管理する人記憶部７１ａを備える。さらに、人記憶部７１ａには、人の部分画像データごとに基準位置に関するデータを格納する基準位置データ記憶部７１ｂが設けられている。すなわち、基準位置データ記憶部７１ｂには、人の部分画像についての足元の座標が、人の存在位置の基準位置として記憶されている。これにより、制御装置５０は、当該基準位置に対応するサイズおよび大きさの矩形形状の枠を画像中に表示させることを可能にしている。

また、記憶部７０のうち、人特徴量情報記憶部７２は、人検出部６１による人検出に関して、ＨＯＧ特徴量等の既知の手法により機械学習による形状抽出によって人物画像を抽出するに際して必要となる各種情報を格納している。さらには、人物画像の抽出ための各種プログラムについて格納しているものとしてもよい。

また、記憶部７０のうち、スケール換算情報記憶部７３は、枠設定についてのスケール換算についての情報を格納する。なお、格納される情報についての具体例については後述する。

次に、制御装置５０のうち、画像処理部８０は、例えばＧＰＵ等で構成され、上記のような各種画像処理を可能とすべく、制御装置５０からの指示に従って、撮像部１０により取得された各２次元画像データについて、各種画像処理を行う。特に、本実施形態では、画像処理部８０は、撮像部１０により撮像された画像を、ディスプレイ表示部ＤＡに表示すべく各種画像処理動作を行うことに加え、既述のように、枠描画部６５からの指示に従って、基準位置決定部６３で決定された基準位置を基点とし、スケール換算枠設定部６４で定まる枠を、連続画像を構成するフレームごとの画像に描画する。

最後に、制御装置５０のうち、ディスプレイ表示部ＤＡは、撮像部１０により撮像された画像を映し出すモニターであり、典型例としては、既述のように、列車ＴＲの乗務員（車掌や運転士）によって確認可能なように、ホームＰＦのうち列車ＴＲが停止した際における列車ＴＲの後端側あるいは先頭側の近傍に設けられている。つまり、列車ＴＲが駅ＳＴに到着した後、乗客（利用者）が乗り降りし、出発するまでの間において、乗務員による乗客（利用者）の監視が可能になっている。なお、図示の場合のほか、例えば駅務室等に設置して、駅務室等にいる駅員に対して報知を行う、といった態様としてもよい。

以下、制御装置５０を構成する上記各部のうち、主制御部６０の人検出部６１としての処理動作についての一例を、より詳細に説明する。

主制御部６０は、人検出部６１として、撮像部１０により取得された各２次元画像データ中において、人（人物）の特徴を持った画像が存在するか否かの確認が可能となっている。例えば、既知のＨＯＧ特徴量やサポートベクターマシーン（ＳＶＭ）を利用することで、２次元画像データから機械学習による形状抽出によって人物画像を抽出することを可能にしている。すなわち、人検出部６１は、撮像部１０により取得された各画像データから直線部分等を抽出し、抽出された直線部分の特徴量等に基づいて、画像データ中に人に固有の特徴を有したものがあるか否かを判定する。さらに言い換えると、人検出部６１は、画像データ中における人と人以外とを仕分ける。これにより、人検出部６１は、判定結果に基づいて人物画像の抽出をする。このため、人検出部６１は、必要なプログラムを記憶部７０から適宜読み出すとともに、人特徴量情報記憶部７２に格納された人に関する特徴量のデータを利用して、人の存在を検出している。ＨＯＧ特徴量等を利用することで、２次元的画像からであっても人検出を行うことができる。

ここで、上記一例のような既存の手法により人検出を行う場合では、人検出器である人検出部６１において、例えばＨＯＧ特徴量等に基づいて予め定めた方式に沿って、画面上をスキャンした各点や領域で人らしさを示す指標に基づいてスコアをつけ、スコアが高くなる領域を探すことで、人として検知されるべき画像領域を定め、人物画像の部分画像として抽出している。しかしながら、このような方法を採用した場合、例えば、日照条件や撮像位置から検出対象までの距離等の各種撮像状況によっては、スコアがベストとなる領域（以下、ベストスコア領域とする。）の位置や大きさ、範囲が必ずしも検出対象となる画像上の人のサイズや位置等にぴったり対応したものになるとは限らない。すなわち、画像データによっては、例えば、ベストスコア領域が、捉えるべき人の画像部分よりも大きい領域になったり、逆に小さい領域になったり、あるいは位置がずれたりする。したがって、上記のような手法で捉えたベストスコア領域をそのまま人物画像を示す枠表示として利用してしまうと、撮像した連続画像中において検出対象に応じて出力される枠の位置や大きさに変動が生じ、視認性が悪くなる可能性がある。これに対して、本実施形態では、人検出部６１での人検出において特定された場合において、さらに検出された人の位置を規定する基準位置を設け、当該基準位置を基点として、画像範囲の位置ごとにサイズを定めた枠を、フレームごとの画像に描画することで、撮像した連続画像中において描画される枠の位置や大きさの変動を抑え、枠付きの画像としての検出対象である人の画像を、視認性の高いものにしている。

図４（Ａ）～４（Ｃ）は、トラッキングされる人物の様子について一例を示す概念的に示す画像図であり、人検出によるベストスコア領域をそのまま表示した枠ＦＲｘと、本実施形態での処理を施した結果としての枠ＦＲとの双方を示しており、これらを比較可能にしている。例えば図４（Ａ）と図４（Ｂ）とは、数フレームの差（すなわち数百ミリ秒の差）をおいて同じ場所を撮像したものであるが、同一人物である画像上の人ＰＥ１を囲う枠ＦＲと枠ＦＲｘを比較した場合に、人検出でのベストスコア領域をそのまま表示した枠ＦＲｘは、大きくサイズが変動しているのに対して、本実施形態での処理を施した結果としての枠ＦＲは、サイズの変動が小さく抑えられて対象となる人ＰＥ１を的確に囲っていることが分かる。同様に、別の時刻での撮像結果を示す図４（Ｃ）においても、枠ＦＲｘは、検出すべき画像上の人ＰＥ２に対して非常に大きくなってしまっているのに対して、枠ＦＲは、画像上の人ＰＥ２のサイズに適した大きさになっていることが分かる。

以下、図５を参照して、従来の人検出器において、上記のように矩形の枠あるいは領域のサイズの変動が生じる理由について簡単に説明する。一般に、上記のような従来の人検出器では、人の画像であるか否かの指標を示すスコアの算定に際して、算定の基準となる矩形の画像サイズを予め１つに定めておき、図示のように、矩形状に切り出した算定対象の部分画像ＰＩを、拡大あるいは縮小して基準となる画像サイズに合わせた上で、スコアを算出している。このため、切り出した画像のサイズや拡大率・縮小率、あるいは矩形に切り出した際に含まれる人以外の部分の画像の輝度等の影響で、スコアの算出結果がベストとなっている領域が、必ずしも人のみを含むように適切に抽出された領域となるとは限らず、例えば、人を含んでいるが人以外の領域も多く含んだものになってしまったり、逆に、人の一部が欠けたものになってしまったりする可能性がある。なお、場合によっては、さらに、人以外の物を人の画像として捉えてしまう可能性もある。以上に対して、本実施形態では、これらに対処すべく種々の手法を設けている。

以下、図６を参照して、本実施形態における枠ＦＲの設定に関して具体的一例を説明する。ここでは、撮像部１０において固定位置から撮像されたホームＰＦ（図２、図３参照）についての画像として、図６（Ａ）に示される画像ＧＩのうち、床面ＦＬについての画像ＦＬｉの範囲について各点（画素）での撮像部１０までの距離を設定する。これに基づき、画像ＦＬｉの各点（画素）にある基準位置すなわち足元の位置とする枠ＦＲのサイズの設定ができる。なお、ここでは、ホームＰＦの床面ＦＬは、一方の端が線路ＴＫとの境界であり、他方の端が線路ＴＫと反対側にある壁との境界であるものとする。つまり、図６（Ａ）の画像ＧＩ及び６（Ｂ）の画像ＧＩａに例示する場合において、線路ＴＫの画像ＴＫｉとの境界ＢＤ１から壁の画像ＷＬｉとの境界ＢＤ２までの間の範囲について設定を行うことになる。

まず、図６（Ａ）に示すように、画像ＧＩを撮像した撮像部１０までの距離が互いに異なり、かつ、既知の位置にある既知基準位置ＳＰ１，ＳＰ２における矩形の枠ＦＲの形状及びサイズを設定する。なお、既知基準位置ＳＰ１，ＳＰ２および既知基準位置ＳＰ１，ＳＰ２における枠ＦＲの形状及びサイズについては、事前に取り決めておくこととしてもよいが、例えば、撮像部１０から実際に測定してもよい。具体的一例としては、所定距離の位置に標準的な人間のサイズ（例えば１７０ｃｍ）を有する実物の人形ＤＬ１，ＤＬ２を設置し、撮像部１０においてこれらを撮像し、撮像した画像を直接視認しながら、人形ＤＬ１，ＤＬ２の足元の位置を、画像上の既知基準位置ＳＰ１，ＳＰ２として定め、さらに、既知基準位置ＳＰ１，ＳＰ２を基準とする矩形の枠ＦＲの位置、形状及びサイズを定めることができる。この場合において、例えば、足元の位置である既知基準位置ＳＰ１，ＳＰ２を、定めるべき画像上の枠ＦＲの矩形形状における上下方向について７：１の位置、左右方向について１：１の位置となるようにしつつ、映し出された人形ＤＬ１，ＤＬ２の足元から頭頂部までを含む長さを上下方向の一辺の長さとし、さらに、人形ＤＬ１，ＤＬ２の横幅を含む長さを左右方向の一辺の長さとする矩形を描画すべき枠の形状として設定することができる。なお、矩形の縦横比については、通常の人間の標準的な直立時の状態での縦横の比率に基づいて、例えば縦：横＝２：１といったように予め定めておいてもよい。

次に、図６（Ｂ）に示すように、上記のようにして定めた互いに距離が異なる２箇所の既知基準位置ＳＰ１，ＳＰ２に基づいて、画像の解析を行い、解析結果としての画像ＧＩａにおける奥行き方向（ｙ方向）を定める。ここでは、説明を簡単にするため、既知基準位置ＳＰ１，ＳＰ２を結ぶ直線をｙ軸とし、ｙ軸の延びる方向を、奥行き方向とする。さらに、ｙ軸上の各点について、その点を通りかつその点から撮像部１０の位置までの距離が等しい点の集まりに沿った点の集まりに沿ってｘ軸を定める。

図６（Ｃ）および６（Ｄ）は、上記のようにして定められたｘｙ座標に応じた枠のサイズについて示す概念図及びグラフであり、例えば図６（Ｄ）の横軸は、ｙ座標すなわち撮像位置からの距離に相当するものであり、縦軸は表示すべき枠ＦＲの高さすなわち枠ＦＲのサイズを定める。すなわち、上記の場合、ｙ座標が定まると、これに応じて枠ＦＲの高さＨ（ｙ）すなわち枠ＦＲの大きさあるいは形状が定められることになる。図６（Ｄ）の例では、既知基準位置ＳＰ１，ＳＰ２のｙ座標の値ｙ_１，ｙ_２（撮像位置からの距離に相当）及びこれに対応する高さＨ（ｙ_１），Ｈ（ｙ_２）に基づいて定まる直線Ｌ１から各位置における枠ＦＲのサイズを決定する。図６（Ｄ）では、説明を簡単にするため、値ｙ_１，ｙ_２に関する２点を結ぶ直線Ｌ１をもってｙ座標から枠ＦＲを設定するものとしている。なお、ｙ座標が同じであれば、ｘ座標の値が違っても同じ大きさ・形状の枠が選択されることになる。画像ＧＩａ（特に床面ＦＬについての画像ＦＬｉの範囲）を構成する各画素の位置を、以上のようにして定められるｘｙ座標によって規定することで、各座標のｙ座標に対応する形状の枠ＦＲを表示させる。言い換えると、以上の場合、ｙ座標の設定によって枠設定についてのスケール換算がなされていることになる。以上が、本実施形態において枠描画を可能とするための前提となる。上記のような態様とすることにより、人検出部６１での結果をそのまま用いた枠描画に比べて、枠ＦＲの位置や大きさの変動を抑え、枠付きの画像としての検出対象である人の画像を、視認性の高いものにできる。特に、この場合、空間的変化についての視認性の向上が図られることになる。

なお、図６を参照して例示した枠設定についてのスケール換算についての情報、具体的には、既知基準位置ＳＰ１，ＳＰ２に関する情報やこれに基づき定められた直線Ｌ１等の情報は、スケール換算情報記憶部７３に格納される。スケール換算枠設定部６４は、必要に応じてスケール換算情報記憶部７３に格納されている情報を適宜読み出すことで、枠ＦＲの形状やサイズを定めている。

以下、図７のフローチャートを参照して、物体検出装置１００の全体動作の概要についての一例を説明する。ここでは、人検出部６１で抽出される人物画像について、まず、第１に、抽出された人物をＩＤで振り分け、さらに、各ＩＤについてフレーム間での関連付け等を含むトラッキング処理に関する一連の処理を行う。その上で、第２に、各人物画像について枠の表示（枠描画）を行うか否かを決定している。

図７において、まず、物体検出装置１００の制御装置５０は、物体検出の動作の開始として、撮像部１０での撮像により取得した連続画像データについて人物画像の有無等について人検出部６１で解析してトラッキング対象である人物画像を特定した上で、トラッキング処理部６２は、トラッキング処理を行う（ステップＳ１０１）。さらに、トラッキング処理部６２は、ステップＳ１０１におけるトラッキング処理から抽出した各人の画像について事象分類を行う（ステップＳ１０２）。具体的には、図８（Ａ）及び８（Ｂ）に例示するように、各画像が、前のフレーム画像と後のフレーム画像との関係で、新規のものであるか、更新されたものであるかを判定する。さらに、図８（Ｃ）に例示するように、上記に加えて、前のフレーム画像において存在していたものが存在しなくなっている場合には、補間すべきであるか否かを判定する。

図８（Ａ）に例示するように、現在のフレーム画像（時刻ｔのフレーム画像）と過去のフレーム画像（時刻ｔ－１のフレーム画像）すなわち１つ前のフレーム画像とを比較した場合において、現在のフレーム画像中の人物画像ＰＧ１が、トラッキングデータ記憶部７１に格納されているデータに基づいてＩＤによる関連付けを検討しても、１つ前のフレーム画像では存在していなかった、と判断される場合、トラッキング処理部６２は、新規の人物画像として登録を行う。

一方、図８（Ｂ）に例示するように、現在のフレーム画像（時刻ｔのフレーム画像）と過去のフレーム画像（時刻ｔ－１のフレーム画像）とを比較した場合において、ＩＤによる関連付けの結果、フレーム画像の前後で同一であると判断される人物画像ＰＧ２が存在する場合、人物画像ＰＧ２を当該ＩＤについての画像データである旨の紐付け処理を行う。例えば、２つのフレーム画像間での位置関係が統合範囲内にあるか等に基づき同一人物についての画像であると判断される場合にこれらの紐付けを行う。

また、図８（Ｃ）に例示するように、現在のフレーム画像（時刻ｔのフレーム画像）と過去のフレーム画像（時刻ｔ－１のフレーム画像）とを比較した場合において、過去のフレーム画像においてＩＤ登録されているものに該当する人物画像ＰＧ３が、現在のフレーム画像において見つからなくても、直ちに不存在とはせず、所定条件を満たせば、過去のフレーム画像におけるＩＤの情報を存続させるようにしている。すなわち、情報を削除せず、保存する。すなわち、トラッキング処理部６２は、検出対象である人についての部分画像に関して、連続画像中のフレーム間において一時的に未検出となっても、所定フレーム数内に対応する部分画像を再度検出した場合には、関連付けて同一物体として取り扱うようにしている。

図７に戻って、ステップＳ１０２における事象分類の結果に応じて、制御装置５０は、必要なＩＤ管理処理を行う（ステップＳ１０３）。すなわち、トラッキングデータ記憶部７１に格納すべきＩＤ管理データについて、新規、更新あるいは補間といった保管する情報の変更等を行う。ステップＳ１０３での処理結果に基づいて、制御装置５０は、枠描画を含めた描画動作を画像処理部８０において行う（ステップＳ１０４）。

以下、上記において、図８等で具体例を挙げつつ説明した図７での各ステップＳ１０１～Ｓ１０４での一連の処理について、適宜補足を付加しつつ簡潔にまとめ直して、一般的な処理内容の一例として説明する。

まず、ステップＳ１０１では、検出対象である人の現在の足元座標と過去の検出対象の足元座標の距離を比較するための準備がなされる。なお、この比較において、予め定めた統合範囲内にあるものに関して、最短の検出対象を同一として更新する一方、当該統合範囲外のものについては、新規の対象と判断することになる。このような処理を検出対象として抽出された人物画像の数だけ行う。

次に、ステップＳ１０２では、検出対象である人物画像を、新規、更新、補間の３パターンに分類する。すなわち、ステップＳ１０１での抽出結果をもとに、検出対象を新規と更新に分類する。また、ステップＳ１０１での抽出結果において、未使用であった過去の人物画像がある場合、これについて補間と分類すべきか否かを判断する。例えば、補間では、ある一定数更新されないものである場合、検出対象から除外されることになる。

次に、ステップＳ１０３では、ＩＤ管理がなされる。すなわち、検出対象である人物に関するステップＳ１０２での状態（新規、更新、補間）に応じて、ＩＤの追加・削除・更新を行う。各ＩＤは、例えば、設定されている座標情報、検出情報（連続検出数、累積検出数、連続未検出数）の情報を保持する。なお、これらに関しては、具体的一例を後述する。

最後に、ステップＳ１０４では、ステップＳ１０３でのＩＤ管理の検出情報に基づくことで、枠の描画に際して、誤検出の抑制と検出の信頼性を高め、さらに、未検出を補間している。また、描画に際しては、上述したスケール換算から、検出対象である人物画像に応じた矩形を描画できる。

ここで、上記のうち、例えばステップＳ１０２の事象分類に際して、現在のフレーム画像において、過去のフレーム画像でＩＤ登録されているものに該当する人物画像が無くても、直ちに不存在とはせず、所定条件を満たせば、過去のフレーム画像におけるＩＤの情報を存続させている。この処理に関して、例えばステップＳ１０４の枠描画の処理においては、過去のフレーム画像において描画した枠をそのまま次のフレーム画像上においても同じ位置に描画させる等の処理を施す態様とすることが考えられる。さらに、本実施形態では、新規の場合においては、人としての部分画像が検出されても、これに対応する枠描画を行わないようにしている。つまり、人が検出されても、最初の１枚目については枠描画を行わないようにしている。以上のような態様とすることで、人検出において未検出や誤検出があっても、これに伴って不適切な枠描画がなされてしまうことを抑制している。

既述のように、人物画像の抽出に際して、画像データの状況や適用する人検出の手法（スコアを決定するエンジンの種類）等によっては、人でない物体を検出対象として捉えてしまったりする場合（誤検出）や、捉えるべき人を検出できず不存在としてしまったりする場合（未検出）が生じ得る。誤検出の典型例としては、例えば図４（Ｃ）に例示した人検出によるベストスコア領域をそのまま表示した枠ＦＲｘのように、列車の窓部分の画像や電柱の画像等を誤って人として検出してしまう、といったことが生じる場合がある。このような誤検出は、連続する画像（フレーム画像）のうちの１フレームだけに生じるといった瞬間的なものであり、誤検出の状態が継続するといった事態は発生しにくい。また、未検出の典型例としては、例えば連続する画像（フレーム画像）のうちの１フレームだけ検出がなされないといったことが瞬間的に生じる場合がある。ただし、これについても、未検出の状態が継続するといった事態は発生しにくい。上記のような事態が生じるのは、例えば瞬間的な明るさが変化したとか、一時的な形状の状態がたまたま人検出のスコアが高いものになってしまった、といったことに起因していると考えられる。

以上のような事実を踏まえ、本実施形態では、誤検出の場合に対応して、枠描画部６５が、枠描画に際して新規の検出対象について枠の描画を行わないようにしたり、未検出の場合に対応して、トラッキング処理部６２が、フレーム間での補間をしたりすることで、枠の描画について適正な状態を維持している。

ここでは、トラッキング処理部６２において、同一物体として関連付けられた検出対象すなわちトラッキング対象についてのフレーム間における連続検出数、累積検出数及び連続未検出数を計数し、これらの値に基づいて、枠描画部６５において枠の描画を行うか否かを決定している。ここでの一例では、フレーム間における連続検出数について、２以上であることを描画の条件とし、フレーム間における連続未検出数について、３以上であることを描画の条件としている。なお、連続検出数を２以上とすることについては、描画の開始を遅らせる立ち上がりディレイを１とすることに相当する。また、連続未検出数を３以上とすることについては、描画の停止を遅らせる立ち下がりディレイを２とすることに相当する。なお、フレーム間における累積検出数についても適宜定められるが、ここでの一例では、累積検出数について、２以上であることを描画の条件とする。なお、以上の各数値は一例であり、撮像状況等種々の要因に応じて適宜変更可能である。

以下、図９等を参照して、上記のような動作についての一例を説明する。図９は、トラッキング処理部６２におけるトラッキング処理の一例について説明するための概念的な画像図である。また、図１０は、図９に例示するようなトラッキング処理におけるフレーム間での関連付けでの描画に関する判定結果の他の一例を示すタイムチャートである。

まず、図９において、上段αは、上述したような誤検出や未検出への対応を想定せず、検出結果をそのまま反映させて枠表示を行う場合の一例を示している。この場合、図に例示する７つの連続するフレーム画像では、フレーム画像中、第３、第４及び第６フレームにおいて未検出となっており、これらにおいてフレームも表示されなくなっている。このような表示態様とした場合、一連の動画としては、枠が表示されたり消えたりすることになる。これに対して、下段βは、上段αのような状況下において、上述したような誤検出や未検出への対応の一例を施した場合について示している。ここでは、一例として、最初の１枚目については枠描画を行わないものとする（立ち上がりディレイを１とする）ことで、誤検出に伴う対象外の物体についての枠描画を抑制している。また、未検出となっても２回目の未検出までは枠描画を継続するものとする（立ち下がりディレイを２とする）ことで、未検出に伴う対象物体についての枠描画不履行を抑制している。すなわち、下段βの場合、第１フレームにおいては、新規のものとして検出されているが、敢えて枠描画を行わないようにしている一方、第３、第４及び第６フレームにおいては、未検出となっていても、枠描画を行っている。以上の結果、下段βでは、第１フレームを除く第２フレームから第７フレームの全てにおいて枠描画が継続されることになる。つまり、枠が表示されたり消えたりするといったことが無く、枠の表示が続いている状態となる。なお、上記のように、立ち上がりディレイを１とし、立ち下がりディレイを２とした場合、人物画像の検出・未検出と枠の描画を行うか否かとの関係については、例えば同様の場合の他の一例として図１０に示すタイムチャートのようになる。図１０のタイムチャートでは、横軸すなわち時間軸方向について連続画像のフレーム数で示しており、各フレーム画像での人物画像の検出・未検出の結果を示している。なお、各フレームにおいて枠の描画を行うか否かの基準は、上記図９において例示した場合と同様とする。つまり、図１０は、図９に示すトラッキング処理におけるフレーム間での関連付けの結果について他の一例を示している。なお、図中には、第１、第３及び第１２フレームでの各数値を例示として記載している。図１０の場合も、図９の下段βの場合と同様に、第１フレームを除き、枠の描画が継続されている。

ここで、図９の下段β、さらには、図１０に示す場合、最初の第１フレームについては、枠の表示がなされず、図９の上段αと比べて１フレーム分枠の表示の開始が遅れることになる。しかし、例えば、撮像部１０において、３０ｆｐｓのフレームレートで２次元画像データを取得しているといった場合には、上記のような遅れは、１／３０秒程度ということになる。この程度の遅れであれば、駅での人の乗降りの確認等において支障が出るとは考えにくい。以上のように、人物画像の誤検出や未検出に対応した枠表示を行うことで、より視認性を高めることができる。特に、この場合、時間的変化（時系列の変化）についての視認性の向上が図られることになる。

以下、図１１のフローチャートを参照して、トラッキング処理部６２におけるデータ管理の処理（ステップＳ１０３での処理の一部に相当）についての一例を説明する。

まず、トラッキング処理部６２は、ＩＤ管理されている検出された一の人の画像に関して、連続未検出数が閾値（上記例の場合、立ち下がりディレイの数である２）に到達したか否かを確認する（ステップＳ２０１）。ステップＳ２０１において、連続未検出数が閾値到達していないと判断された場合（ステップＳ２０１：Ｎｏ）、トラッキング処理部６２は、当該一の人の画像に関するＩＤを存続するものとして更新する（ステップＳ２０２）。一方、ステップＳ２０１において、連続未検出数が閾値到達したと判断された場合（ステップＳ２０１：Ｙｅｓ）、トラッキング処理部６２は、当該一の人の画像に関するＩＤを削除する（ステップＳ２０３）。すなわち、この時点で初めて当該ＩＤに該当する人が存在しなくなったと判断する。

以上のように、人物画像についての誤検出や未検出の場合を考慮して、枠描画部６５において、トラッキング処理部６２での同一物体の関連付けに応じて、枠の描画を行うか否かを決定する態様とすることで、時間的変化における枠表示を適正なものとして視認性の向上を図ることができる。

〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

まず、上記実施形態では、図６を参照した枠の設定に関して、説明を簡単にするため、例えば２点の既知基準位置ＳＰ１，ＳＰ２を結ぶ直線をｙ軸として枠設定を行うものとしているが、これに限らず、枠の設定については、種々の態様が考えられ、例えば、２点以上の基準位置既知を抽出してこれらの二乗平均等を利用して、各基準位置での枠設定すなわち枠の形状や大きさの設定を行うものとしてもよい。

また、上記では、一例として、監視対象エリアを駅ＳＴのホームＰＦとしているが、これに限らず的確な人検出をすることが望まれる種々の場所を監視対象とすることができる。例えばエスカレーターやエレベーター等における利用者の監視に適用することが考えられる。

また、撮像部１０の配置についても、上記のように、ホームＰＦの上方側に設置されて下方側を撮像する場合に限らず、目的とする範囲を撮像できる種々の態様とすることができる。例えば、撮像対象とすべきホームの反対側に位置するホームに撮像部を設置すること等が考えられる。

また、上記では、制御装置５０での検出結果についての報知先の一例として、列車の乗務員や駅務室の駅員を挙げているが、これに限らず、種々の箇所や人へ報知することが可能である。

また、撮像部１０が、複数設定されるような場合においては、例えば撮像範囲が隣接する撮像部間での情報を、データ中においてリンクさせるようにしてもよい。これにより、より広い範囲に亘って連続的に人物のトラッキングを行うことができる。

１０…撮像部、５０…制御装置、６０…主制御部、６１…人検出部、６２…トラッキング処理部、６３…基準位置決定部、６４…スケール換算枠設定部、６５…枠描画部、７０…記憶部、７１…トラッキングデータ記憶部、７１ａ…人記憶部、７１ｂ…基準位置データ記憶部、７２…人特徴量情報記憶部、７３…スケール換算情報記憶部、８０…画像処理部、１００…物体検出装置、ＢＤ１，ＢＤ２…境界、ＤＡ…ディスプレイ表示部、ＤＬ１，ＤＬ２…人形、ＦＬ…床面、ＦＬｉ…画像、ＦＲ…枠、ＦＲｘ…枠、ＧＩ、ＧＩａ…画像、ＨＵ…利用者、Ｌ１…直線、ＰＥ１，ＰＥ２…人（画像）、ＰＦ…ホーム、ＰＧ１－ＰＧ３…人物画像、ＰＩ…部分画像、ＳＡ…駅員、ＳＰ１，ＳＰ２…既知基準位置、ＳＴ…駅、ＴＫ…線路、ＴＫｉ…画像、ＴＲ…列車、ＷＬｉ…画像、ｙ１，ｙ２…値、α…上段、β…下段

Claims (8)

1. 定位置から撮像された画像中の既知の位置ごとに、対応する実際の各位置から撮像部までの距離に基づいて定めたスケール換算により、検出対象の部分画像を囲う枠のサイズを定めるスケール換算枠設定部と、
   連続画像中における検出対象の部分画像について基準位置を決定する基準位置決定部と、
   前記基準位置決定部で決定された基準位置を基点として、前記スケール換算枠設定部での設定により定まる枠を、連続画像を構成するフレームごとの画像に描画する枠描画部と
   を備える物体検出装置。
2. 前記スケール換算枠設定部は、定位置から撮像された画像において、画像中の床面について各位置での枠のサイズを、対応する実際の床面の各位置から撮像位置までの距離に基づいて定める、請求項１に記載の物体検出装置。
3. 人物画像の抽出により、検出対象を人とする人検出を行う人検出部を備え、
   前記基準位置決定部は、前記人検出部において特定された人物画像の足元の位置を、決定すべき基準位置とし、
   前記スケール換算枠設定部は、前記画像中の床面のうち前記人物画像の足元の位置に対応する実際の床面の各位置から前記撮像部までの距離に基づいて枠のサイズを定める、請求項２に記載の物体検出装置。
4. 前記スケール換算枠設定部において設定される枠は、検出対象としての人の比率に対応した矩形状である、請求項３に記載の物体検出装置。
5. 連続画像データ中のフレーム間で画像を関連付けて同一物体をトラッキングするトラッキング処理部を有し、
   前記枠描画部は、前記トラッキング処理部での同一物体の関連付けに応じて、枠の描画を行うか否かを決定する、請求項１～４のいずれか一項に記載の物体検出装置。
6. 前記枠描画部は、新規の検出対象について枠の描画を行わない、請求項５に記載の物体検出装置。
7. 前記トラッキング処理部は、検出対象についての部分画像に関して、連続画像中のフレーム間において一時的に未検出となっても、所定フレーム数内に対応する部分画像を再度検出した場合には、関連付けて同一物体として取り扱う、請求項５及び６のいずれか一項に記載の物体検出装置。
8. 前記枠描画部は、前記トラッキング処理部で同一物体として関連付けられた検出対象のフレーム間における連続検出数、累積検出数及び連続未検出数の少なくともいずれかに基づいて、枠の描画を行うか否かを決定する、請求項７に記載の物体検出装置。

Images