JP7260499B2

JP7260499B2 - 物体検出装置

Info

Publication number: JP7260499B2
Application number: JP2020043502A
Authority: JP
Inventors: 健遠藤; 正幸小林; 健永崎
Original assignee: Hitachi Astemo Ltd
Current assignee: Astemo Ltd
Priority date: 2020-03-12
Filing date: 2020-03-12
Publication date: 2023-04-18
Anticipated expiration: 2040-03-12
Also published as: JP2021144545A; DE112021000186T5; WO2021181864A1

Description

本発明は、物体検出装置に関する。

自動運転の実現や交通事故防止のために、歩行者を検出してブレーキ制御をおこなう自動ブレーキ機能に大きな関心が寄せられている。歩行者の検出方法として、特許文献１では、検出対象の胴体部を検出し、その後、検出した胴体部の周囲にある四肢部の検出を行う。検出した胴体部、及び四肢部のスコアに基づき歩行者を検出する。

特開２０１９－３３８３号公報

特許文献１では、四肢部の検出を行う必要がある。しかしながら、胴体部に比べて四肢部は小さく撮像されるため、四肢部の安定的な検出は困難であり、特に遠方に歩行者が存在している場合や解像度の低い画像において、歩行者の検出が課題となる。

本発明は、このような課題に鑑み、歩行者の検出を高精度化することができる物体検出装置を提供することを目的とする。

上記課題を解決するため、本発明に係る物体検出装置は、歩行者の画像中における位置を検出する位置検出部と、前回フレームの歩行者の画像中における検出位置に基づき今回フレームの歩行者の画像中における候補領域を決定する候補領域決定部と、前記候補領域に対して画素値を解析することで特徴量を算出する特徴抽出部と、前記候補領域において事前に設定された歩行者の体幹部の画像領域である体幹部領域を参照し、前記今回フレームと前記前回フレームの前記体幹部領域の前記特徴量の類似性を示す第１の追跡スコアを算出する体幹部尤度算出部と、前記候補領域において事前に設定された歩行者の四肢部の画像領域である四肢部領域を参照し、前記今回フレームと前記前回フレームの前記四肢部領域の前記特徴量の相違性を示す第２の追跡スコアを算出する四肢部尤度算出部と、前記第１の追跡スコア及び前記第２の追跡スコアに基づき前記今回フレームにおける追跡領域を決定する追跡領域決定部と、を備えることを特徴とする。

本発明によれば、歩行者の検出精度を向上することができる。

上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

本発明に係る第１実施形態の物体検出装置の構成を示す機能ブロック図である。図１に開示した実施形態における物体検出装置の動作例を説明するための、交差点における車両と歩行者の位置関係を示す図である。図１に開示した実施形態における物体検出装置の動作例を示すフローチャートである。図１に開示した実施形態における物体検出装置の候補領域の決定方法を示す図である。図１に開示した実施形態における物体検出装置の体幹部領域、四肢部領域の位置関係を示す図である。本発明に係る第２実施形態の物体検出装置の構成を示す機能ブロック図である。図６に開示した実施形態における物体検出装置の動作例を示すフローチャートである。図６に開示した実施形態における物体検出装置の進行方向と体幹部領域及び四肢部領域の関係性を示す図である。本発明に係る第２実施形態の他例の物体検出装置の構成を示す機能ブロック図である。

以下に、本発明の実施形態について詳細に説明する。なお、以下の実施形態の説明において、同一の機能を有する部分には同一の又は関連する符号を付し、その繰り返し説明は省略する場合がある。

［第１実施形態］
本実施形態の物体検出装置１は、例えば車両に搭載され、車両周辺に存在する歩行者などの物体を追跡して検出する。なお、以下の実施形態の説明において、体幹部とは、人（歩行者）の全身のうち四肢（左腕、右腕、左脚、右脚）を除いた部分、つまり、頭部及び胴体部を示し、四肢部とは、体幹部を除いた部分である四肢（左腕、右腕、左脚、右脚）を示すものとする。なお、体幹部を胴体部のみとしてもよいし、四肢部を腕部又は脚部の一方としてもよい。

（機能ブロック構成例）
図１は、第１実施形態の物体検出装置１の構成を示す機能ブロック図である。

本実施形態の物体検出装置１は、カメラ、コンピュータ、メモリ及び記憶装置などで構成されており、コンピュータが、メモリなどに格納された制御プログラムを実行することにより各種機能部として動作する。

図１に示すように、物体検出装置１は、カメラやコンピュータの動作により実現される機能部として、初期検出部１００、検出位置記憶部１０１、車両情報取得部１０２、候補領域決定部１０３、特徴抽出部１０４、モデル情報記録部１０５、体幹部尤度算出部１０６、四肢部尤度算出部１０７、追跡領域決定部１０８を有している。物体検出装置１は、カメラにより逐次取得（撮像）される画像（カメラ画像）において歩行者を検出する。

初期検出部（位置検出部）１００は、物体検出装置１における歩行者の初期検出の役割を担い、カメラ画像における歩行者の初期位置を検出する。検出手段としては、統計的な機械学習により歩行者を検出してもよいし、画素の勾配情報に基づくヒューリスティックな手法により歩行者を検出してもよい。他にもいかなる公知技術を適用し、歩行者を検出することができる。

検出位置記憶部１０１は、初期検出部１００、若しくは後述する追跡領域決定部１０８で検出した歩行者の検出位置が格納される。歩行者の検出位置情報の格納は、当該フレームで歩行者が検出された際に行われる。また、格納された情報は、次回フレームで利用され、次回のフレームでは過去データとして扱われる。

車両情報取得部１０２では、自車両の車速、ヨーレートなどの車両制御に関する制御量（車両情報ともいう）を取得する。制御量は、車両のコントロールエリアネットワークなどの車両の制御量が伝達される如何なる媒体を経由して取得できる。

候補領域決定部１０３では、検出位置記憶部１０１に格納された前回フレームにおける歩行者の検出位置、及び車両情報取得部１０２で取得される車両情報に基づき、今回フレームにおいて歩行者が出現し得る（追跡領域の候補となる）候補領域を決定する。候補領域は、前回フレームで検出された歩行者の検出位置に対して前回フレームと今回フレーム間での車両の移動量を適用することで決定される。また、車両の制御量が取得できない場合においては、過去の歩行者の検出位置情報を参考に、今回フレームにおける候補領域を決定してもよい。

特徴抽出部１０４は、候補領域決定部１０３で決定した各候補領域に対して、画素値を解析することで画像特徴量（以下、単に特徴量という）を算出する。具体的には、画素値そのものを利用してもよいし、複数のピクセルから局所領域を定義し、局所領域内の平均輝度を特徴量としてもよい。その他にも、画像の勾配情報から特徴量を算出してもよく、画像認識分野で扱われる任意の特徴量を利用することができる。

モデル情報記録部１０５は、前回フレームで検出された歩行者領域に対して特徴抽出部１０４が算出した特徴量が保存される。モデル情報記録部１０５の保存は、後述する追跡領域決定部１０８が決定した追跡領域内の特徴量が保存され、次回のフレームにおける追跡処理で利用される。

体幹部尤度算出部１０６は、事前に設定された体幹部領域の類似性（特徴量の類似性）を前回フレームと今回フレームに対して計算し、追跡スコアを算出する。体幹部尤度算出部１０６は、候補領域における体幹部の領域情報（設定情報ともいう）を体幹部モデル１０６Ａに保持しており、体幹部尤度算出部１０６に内蔵された類似性判断部１０６Ｂは、今回フレームの候補領及び前回フレームの追跡領域において体幹部領域を参照し、特徴抽出部１０４が算出した特徴量から体幹部領域に対応した特徴量を取得する。体幹部領域とは、今回フレームの候補領域又は前回フレームの追跡領域において、体幹部モデル１０６Ａに保持された体幹部の領域情報に対応して、事前に設定された歩行者の体幹部の画像領域である。特徴量の算出は、前回フレームの追跡領域、及び今回フレームの候補領域それぞれで実施しており、類似性判断部１０６Ｂは、前回フレーム（の追跡領域）と今回フレーム（の候補領域）の体幹部領域の特徴量を比較することで類似性を判断する。類似性の判断では、前回フレーム（の追跡領域）と今回フレーム（の候補領域）の体幹部領域の特徴量（例えば、画素値）の差が閾値以下である場合に類似しているものとして、特徴量毎に事前に設定された追跡スコアを加算することで、体幹部領域の類似性を示す第１の追跡スコアを算出する。

四肢部尤度算出部１０７は、事前に設定された四肢部領域から相違性（特徴量の相違性）を前回フレームと今回フレームに対して計算し、追跡スコアを算出する。四肢部尤度算出部１０７は、候補領域における四肢部の領域情報（設定情報ともいう）を四肢部モデル１０７Ａに保持しており、四肢部尤度算出部１０７に内蔵された相違性判断部１０７Ｂは、今回フレームの候補領及び前回フレームの追跡領域において四肢部領域を参照し、特徴抽出部１０４が算出した特徴量から四肢部領域に対応した特徴量を取得する。四肢部領域とは、今回フレームの候補領域又は前回フレームの追跡領域において、四肢部モデル１０７Ａに保持された四肢部の領域情報に対応して、事前に設定された歩行者の四肢部の画像領域である。特徴量の算出は、前回フレームの追跡領域、及び今回フレームの候補領域それぞれで実施しており、相違性判断部１０７Ｂは、前回フレーム（の追跡領域）と今回フレーム（の候補領域）の四肢部領域の特徴量を比較することで相違性を判断する。相違性の判断では、前回フレーム（の追跡領域）と今回フレーム（の候補領域）の四肢部領域の特徴量（例えば、画素値）の差が閾値以上である場合に相違しているものとして、特徴量毎に事前に設定された追跡スコアを加算することで、四肢部領域の相違性を示す第２の追跡スコアを算出する。

追跡領域決定部１０８は、候補領域決定部１０３で決定した各候補領域の中から、体幹部尤度算出部１０６が算出した第１の追跡スコアと四肢部尤度算出部１０７が算出した第２の追跡スコアに基づき、今回フレームにおける歩行者の追跡領域を決定する。これにより、カメラ画像から歩行者を検出する。決定された追跡領域は、次回の追跡に利用するため、検出位置記憶部１０１に格納される。

（動作例）
次に、図２に示すシーンにおける本実施形態の物体検出装置１の動作例を、図３のフローチャートを参照して説明する。以降の動作例では、物体検出装置１は車両の前方を監視する形式で設置されているものとする。また、以降で物体検出装置１の動作例を説明するが、すでに初期検出部１００による歩行者の初期検出は実施されており、その検出結果は検出位置記憶部１０１に格納されているものとする。

図２は、自車両は交差点に進入し、歩行者は横断歩道を車両に接近する方向に進行しているシーン（S１００）を示している。ここで、P１００は時刻Tにおける歩行者を示しており、P１０１は時刻T＋１における進行した歩行者を示している。ここで、時刻は、カメラの取得するフレームに対応しており、時刻Tは前回フレーム、時刻T＋１は今回フレームに対応している。図２中のF１００は、時刻Tの歩行者P１００に対応した初期検出結果を示している。

物体検出装置１は、候補領域決定処理（R１０１）、特徴抽出処理（R１０２）、体幹部尤度算出処理（R１０３）、四肢部尤度算出処理（R１０４）、追跡領域決定処理（R１０５）、推定結果格納処理（R１０６）を順に実施し、画像中における歩行者の検出を行う。以降では、各処理内容に関して説明する。

候補領域決定処理（R１０１）では、前回フレームの検出結果F１００に基づき今回フレームにおける候補領域を決定する。図４に決定された候補領域を示す。F１０１、F１０２、及びF１０３は今回フレームにおける歩行者P１０１に対応した候補領域である。候補領域は、前回フレームから今回フレームまでに移動した車両挙動情報（車両情報取得部１０２で取得）に基づき決定される。

特徴抽出処理（R１０２）では、候補領域決定処理（R１０１）で決定した各候補領域から画像特徴量を算出する。前回フレームの検出結果F１００、及び今回フレームにおける候補領域（F１０１、F１０２、及びF１０３）は所定のサイズにリサイズされ、リサイズされた画像中から特徴量を算出する。以降では、特徴量として各ピクセルの画素値を用いたものとして説明する。

体幹部尤度算出処理（R１０３）では、前回フレームの検出結果F１００と今回フレームにおける候補領域（F１０１、F１０２、及びF１０３）との体幹部領域の類似性（特徴量の類似性）を示す歩行者の追跡スコアを算出する。以降では、前回フレームの検出結果F１００と今回フレームの候補領域F１０２における類似度計算、及び追跡スコアの算出方法に関して図５を用いて説明する。図５において、検出結果F１００におけるF１１１、及び候補領域F１０２におけるF１１３は事前に設定された体幹部領域を示している。体幹部モデル１０６Ａに保持された体幹部の領域情報（設定情報）を用いることにより、F１１１、及びF１１３はリサイズされた画像において同一位置に配置されている。つまり、領域F１１１、及びF１１３内に含まれる特徴量数、すなわち画素数は一致する。類似度計算では、F１１１、及びF１１３に含まれる全画素の値（画素値）を比較する。類似度に基づく追跡スコアは、次の式(1)、(2)に従い計算される。
［数１］
Scorei = wi, if fi1 - fi2 <= thresholdi ・・・(1)
［数２］
Scorei = 0, if fi1 - fi2 > thresholdi ・・・(2)

式(1)、(2)においてScorei（=wi）は、i番目の画素から算出される追跡スコアである。fi1は前回フレームにおける体幹部領域から取得されたi番目の画素値を示しており、fi2は今回フレームにおける体幹部領域から取得されたi番目の画素値を表している。また、thresholdiは、i番目の画素値に対応した閾値を示している。式(1)、(2)から、前回フレームと今回フレームの体幹部領域の画素値が類似している場合には、すなわち、画素値fi1と画素値fi2の差が画素ごとに事前に設定された閾値thresholdi以下である場合には、画素ごとに事前に設定された追跡スコアScoreiを加算する。以上の計算を体幹部領域の全画素に対して実施し、各画素の追跡スコアを（画素ごとに）加算したものを最終的な追跡スコア（体幹部領域の類似性を示す第１の追跡スコア）とする。以上では、特徴量として画像の画素値を利用することを前提に説明したが、画素値ではなく局所領域において定義される特徴量を利用する場合にも同様に(1)、及び(2)の数式に従い追跡スコアを算出する。

四肢部尤度算出処理（R１０４）では、前回フレームの検出結果F１００と今回フレームにおける候補領域（F１０１、F１０２、及びF１０３）との四肢部領域の相違性（特徴量の相違性）を示す歩行者の追跡スコアを算出する。以降では、前回フレームの検出結果F１００と今回フレームの候補領域F１０２における相違度計算、及び追跡スコアの算出方法に関して図５を用いて説明する。図５において、検出結果F１００におけるF１１２、及び候補領域F１０２におけるF１１４は事前に設定された四肢部領域を示している。四肢部モデル１０７Ａに保持された四肢部の領域情報（設定情報）を用いることにより、F１１２、及びF１１４はリサイズされた画像において同一位置に配置されている。つまり、領域F１１２、及びF１１４内に含まれる特徴量数、すなわち画素数は一致する。相違度計算では、F１１２、及びF１１４に含まれる全画素の値（画素値）を比較する。相違度に基づく追跡スコアは、次の式(3)、(4)に従い計算される。
［数３］
Scorei = wi, if fi1 - fi2 >= thresholdi ・・・(3)
［数４］
Scorei = 0, if fi1 - fi2 < thresholdi ・・・(4)

式(3)、(4)においてScorei（=wi）は、i番目の画素から算出される追跡スコアである。fi1は前回フレームにおける四肢部領域から取得されたi番目の画素値を示しており、fi2は今回フレームにおける四肢部領域から取得されたi番目の画素値を表している。また、thresholdiは、i番目の画素値に対応した閾値を示している。式(3)、(4)から、前回フレームと今回フレームの四肢部領域の画素値が類似していない場合には、すなわち、画素値fi1と画素値fi2の差が画素ごとに事前に設定された閾値thresholdi以上である場合には、画素ごとに事前に設定された追跡スコアScoreiを加算する。以上の計算を四肢部領域の全画素に対して実施し、各画素の追跡スコアを（画素ごとに）加算したものを最終的な追跡スコア（四肢部領域の相違性を示す第２の追跡スコア）とする。以上では、特徴量として画像の画素値を利用することを前提に説明したが、画素値ではなく局所領域において定義される特徴量を利用する場合にも同様に(3)、及び(4)の数式に従い追跡スコアを算出する。

なお、図５に示すように、基本的に、今回フレームの候補領域又は前回フレームの追跡領域において、体幹部領域は中央側ないし中央部を含む位置に配置され、四肢部領域は周辺側ないし体幹部領域の周囲を含む位置に配置される。

追跡領域決定処理（R１０５）では、体幹部尤度算出処理（R１０３）が算出した追跡スコアS1、及び四肢部尤度算出処理（R１０４）が算出した追跡スコアS2に基づき、候補領域決定処理（R１０１）で決定した各候補領域（F１０１、F１０２、及びF１０３）の中から、今回フレームにおける追跡領域を決定する。追跡領域は、各候補領域（F１０１、F１０２、及びF１０３）に対して追跡スコアを算出することで決定される。ここでの追跡スコアは、例えばScore=w1*S1+w2*S2に従い算出される。ここで、w1、w2は追跡スコアの重みづけ係数であり、例えばw1=0.5、w2=0.5のような値を用いる。w1、w2は、例えば、歩行者との距離や画像の解像度、歩行者の状況などに応じて可変に設定することもできる。上述した計算式に従い、追跡スコアScoreが最大の候補領域を今回の追跡領域とする。

推定結果格納処理（R１０６）では、追跡領域決定処理（R１０５）で決定した今回フレームの追跡領域情報を次回フレームの歩行者検出のためにメモリ（検出位置記憶部１０１）に格納する。

（作用効果）
以上より、本実施形態の物体検出装置１は、歩行者の画像中における位置を検出する初期検出部（位置検出部）１００と、前回フレームの歩行者の画像中における検出位置に基づき今回フレームの歩行者の画像中における候補領域を決定する候補領域決定部１０３と、前記候補領域に対して画素値を解析することで特徴量を算出する特徴抽出部１０４と、前記候補領域において事前に設定された歩行者の体幹部の画像領域である体幹部領域を参照し、前記今回フレームと前記前回フレームの前記体幹部領域の前記特徴量の類似性を示す第１の追跡スコアを算出する体幹部尤度算出部１０６と、前記候補領域において事前に設定された歩行者の四肢部の画像領域である四肢部領域を参照し、前記今回フレームと前記前回フレームの前記四肢部領域の前記特徴量の相違性を示す第２の追跡スコアを算出する四肢部尤度算出部１０７と、前記第１の追跡スコア及び前記第２の追跡スコアに基づき前記今回フレームにおける追跡領域を決定する追跡領域決定部１０８と、を備える。

すなわち、本実施形態の物体検出装置１は、事前に設定された体幹部領域及び四肢部領域から特徴量を取得し、体幹部領域は特徴量の類似性、四肢部領域は特徴量の相違性に基づき歩行者を検出する。これにより、交差点などの飛び出し歩行者などは画像中の広角部に撮像されるため、レンズ歪みなどの影響により解像度が不足し、歩行者の部位などを安定的に検出できない場合においても、事前に体幹部部領域と四肢部領域を設定し、設定した領域に応じてスコア算出方法を変更（類似性と相違性で変更）することで、安定的に歩行者を追跡することができる。また、遠方の歩行者において歩行者が小さく撮像され、安定的に歩行者の部位を検出することが難しい場合においても、安定的に歩行者を追跡することができる。したがって、歩行者の検出精度を向上することができる。

また、追跡領域決定部１０８による追跡領域決定処理（R１０５）では、追跡スコアが最大となる候補領域を今回フレームにおける追跡結果とすることを説明したが、追跡スコアが最大となる候補領域の追跡スコアが所定の閾値以下である場合、今回フレームにおいて検出すべき対象がいないとしてもよい。これにより、歩行者が壁や他の物体に遮蔽された場合において、誤って追跡することを低減できる。

［第２実施形態］
本実施形態の物体検出装置２は、物体の状況（進行方向や、静止状態、移動状態を含む進行状況）を考慮して、車両の周辺に存在する歩行者などの物体を追跡して検出する。

（機能ブロック構成例）
図６は、第２実施形態の物体検出装置２の構成を示す機能ブロック図である。

図６に示すように、物体検出装置２は、カメラやコンピュータの動作により実現される機能部として、初期検出部２００、検出位置記憶部２０１、車両情報取得部２０２、候補領域決定部２０３、特徴抽出部２０４、モデル情報記録部２０５、体幹部尤度算出部２０６、四肢部尤度算出部２０７、追跡領域決定部２０８、状態推定部２０９を有している。

初期検出部２００、検出位置記憶部２０１、車両情報取得部２０２、候補領域決定部２０３、特徴抽出部２０４、モデル情報記録部２０５の機能は、上述した第１実施形態と基本的に同じである。初期検出部（位置検出部）２００は、物体検出装置２における歩行者の初期検知の役割を担い、カメラ画像における歩行者の初期位置を検出する。検出位置記憶部２０２は、初期検出部２００、若しくは後述する追跡領域決定部２０８が検出した歩行者の検出位置が格納される。車両情報取得部２０２では、物体検出装置２が搭載された車両の車速、ヨーレートなどの車両の挙動制御にかかわる制御量（車両情報）を取得する。候補領域決定部２０３では、検出位置記憶部２０１に格納された前回フレームにおける歩行者の検出位置情報、及び車両情報取得部２０２で取得される車両情報を参照し、今回フレームにおいて歩行者が出現し得る（追跡領域の候補となる）候補領域を決定する。特徴抽出部２０４は、候補領域決定部２０３で決定した各候補領域に対して、画素値を解析することで画像特徴量を算出する。モデル情報記録部２０５は、前回フレームにおいて特徴抽出部２０４で算出した特徴量が保存される。

状態推定部２０９では、歩行者の状態として進行状況や進行方向を推定する。ここで、進行状況とは、検出対象の歩行者が進行（移動）しているか、若しくは停止しているかを示す情報を含む。また、進行方向とは、検出対象の歩行者が横方向に移動しているのか、縦方向に移動しているのかを示す情報を含む。歩行者の進行状況の推定は、今回フレームに至るまでの追跡結果の履歴を利用する。追跡履歴、及び今回フレームに至るまでの車両の挙動情報に基づき、歩行者が移動しているかを推定する。また、歩行者の進行方向の推定も同様に、追跡履歴、及び今回フレームに至るまでの車両挙動情報に基づき、歩行者の進行方向を推定してもよいし、統計的な機械学習手法により歩行者の自車両に対する姿勢を推定し、それを進行方向としてもよい。歩行者の進行状況、及び進行方向の推定は、ここに示す手法以外の如何なる公知技術を適用することができる。

状態推定部２０９での推定結果は、体幹部尤度算出部２０６及び四肢部尤度算出部２０７に送られ、体幹部モデル２０６Ａ及び四肢部モデル２０７Ａに保持された候補領域における体幹部及び四肢部の領域情報（設定情報）の設定（選択）に利用されるとともに、追跡領域決定部２０８に送られ、第１の追跡スコアと第２の追跡スコアに対する重みの設定（選択）に利用される。

体幹部尤度算出部２０６は、前回フレームと今回フレームにおける事前に設定された体幹部領域から類似性（特徴量の類似性）を判断し、追跡スコアを算出する。体幹部尤度算出部２０６では、状態推定部２０９で歩行者の進行方向が特定されている場合に、事前に設定された体幹部領域を変更することができる。詳しくは、体幹部尤度算出部２０６では、候補領域における複数の（異なる）体幹部の領域情報を体幹部モデル２０６Ａに保持しており、体幹部尤度算出部２０６に内蔵された類似性判断部２０６Ｂは、状態推定部２０９で歩行者の進行方向が特定されている場合に、体幹部モデル２０６Ａ（に保持された複数の体幹部の領域情報）の中から、歩行者の進行方向に応じた体幹部の領域情報を設定（選択）することで、歩行者の進行方向に応じた領域情報を持つ体幹部領域を設定して、換言すれば、歩行者の進行方向に応じて体幹部の領域情報を変更することで、候補領域において事前に設定された体幹部領域を変更して、その体幹部領域から類似性を判断し、追跡スコアを算出することができる。

四肢部尤度算出部２０７は、前回フレームと今回フレームにおける事前に設定された四肢部領域から相違性（特徴量の相違性）を判断し、追跡スコアを算出する。四肢部尤度算出部２０７では、状態推定部２０９で歩行者の進行方向が特定されている場合に、事前に設定された四肢部領域を変更することができる。詳しくは、四肢部尤度算出部２０７では、候補領域における複数の（異なる）四肢部の領域情報を四肢部モデル２０７Ａに保持しており、四肢部尤度算出部２０７に内蔵された相違性判断部２０７Ｂは、状態推定部２０９で歩行者の進行方向が特定されている場合に、四肢部モデル２０７Ａ（に保持された複数の四肢部の領域情報）の中から、歩行者の進行方向に応じた四肢部の領域情報を設定（選択）することで、歩行者の進行方向に応じた領域情報を持つ四肢部領域を設定して、換言すれば、歩行者の進行方向に応じて四肢部の領域情報を変更することで、候補領域において事前に設定された四肢部領域を変更して、その四肢部領域から相違性を判断し、追跡スコアを算出することができる。

追跡領域決定部２０８は、候補領域決定部２０３で決定した各候補領域の中から、体幹部尤度算出部２０６が算出した第１の追跡スコアと四肢部尤度算出部２０７が算出した第２の追跡スコアに基づき、今回フレームにおける歩行者の追跡領域を決定する。これにより、カメラ画像から歩行者を検出する。また、追跡領域決定部２０８は、状態推定部２０９で推定する歩行者の進行状況に応じて、第１の追跡スコアと第２の追跡スコアの重みを変更し、換言すれば、状態推定部２０９で推定する歩行者の進行状況に応じた重みを第１の追跡スコアと第２の追跡スコアに対して設定し、最終的な歩行者の追跡領域を決定することができる。

（動作例）
本実施形態の物体検出装置２の動作例を、図７のフローチャートを参照して説明する。物体検出装置２は、候補領域決定処理（R２０１）、特徴抽出処理（R２０２）、歩行者状態推定処理（R２０３）、体幹部尤度算出処理（R２０４）、四肢部尤度算出処理（R２０５）、追跡領域決定処理（R２０６）、及び推定結果格納処理（R２０７）を順に実施し、画像中における歩行者の検出を行う。図３のフローチャートにより実施される処理との差異は、図７の歩行者状態推定処理（R２０３）、体幹部尤度算出処理（R２０４）、四肢部尤度算出処理（R２０５）、及び追跡領域決定処理（R２０６）である。そのため、以降では、差異点である歩行者状態推定処理（R２０３）、体幹部尤度算出処理（R２０４）、四肢部尤度算出処理（R２０５）、及び追跡領域決定処理（R２０６）に関して詳細に述べる。

歩行者状態推定処理（R２０３）では、現在フレームにおける歩行者の状態として、歩行者の進行状況、及び進行方向を推定する。進行状況の推定では、過去の歩行者の追跡位置、及び今回フレームに至るまでの車両挙動情報から、歩行者が進行しているか、停止しているかを判断する。また、進行方向の推定も同様に、過去の歩行者の追跡位置、及び今回フレームに至るまでの車両挙動情報から、歩行者の進行方向として、自車両に対して横方向に進行しているのか、縦方向に進行しているかを判断する。

体幹部尤度算出処理（R２０４）では、歩行者状態推定処理（R２０３）で推定した歩行者の進行方向に応じて体幹部領域を変更し、変更した体幹部領域において過去フレームと現在フレームの特徴量（例えば、画素値）を比較して類似性を判断し、追跡スコアを算出する。図８に、進行方向と体幹部領域の関係性を示す。図８のF２００は進行方向が縦方向であると判別されている場合を示し、F２０１は進行方向が横方向であると判別された場合を示す。F２００におけるF２１１、及びF２０１におけるF２２１は体幹部領域を示している。F２００において歩行者は縦方向に進行しているため、横方向に進行している場合に比べて歩行者の見え方が変化しない領域が大きいと考えられる。そのため、歩行者が縦方向に進行している場合は、歩行者が横方向に進行している場合に比べて、体幹部領域が広げられている（図８では、下方側に拡張するように広げられている）。

四肢部尤度算出処理（R２０５）では、歩行者状態推定処理（R２０３）で推定した歩行者の進行方向に応じて四肢部領域を変更し、変更した四肢部領域において過去フレームと現在フレームの特徴量（例えば、画素値）を比較して相違性を判断し、追跡スコアを算出する。図８に示す進行方向と四肢部領域の関係性について述べる。F２００におけるF２１２、及びF２０１におけるF２２２は四肢部領域を示している。F２０１において歩行者が横方向に進行しているため、縦方向に進行している場合に比べて見え方が変化する領域は大きいと考えられる。そのため、歩行者が横方向に進行している場合は、歩行者が縦方向に進行している場合に比べて、四肢部領域が広げられている（図８では、上方側に拡張するように広げられている）。

なお、この場合でも、図５に示すように、基本的に、今回フレームの候補領域又は前回フレームの追跡領域において、体幹部領域は中央側ないし中央部を含む位置に配置され、四肢部領域は周辺側ないし体幹部領域の周囲を含む位置に配置される。

追跡領域決定処理（R２０６）では、歩行者状態推定処理（R２０３）で推定した歩行者の進行状況に応じて、体幹部尤度算出処理（R２０４）及び四肢部尤度算出処理（R２０５）で算出される追跡スコアを重みづけし（重みを設定し）、候補領域決定処理（R２０１）で決定した各候補領域の中から、今回フレームにおける追跡領域を決定する。体幹部尤度算出処理（R２０４）で算出される追跡スコアをS1、四肢部尤度算出処理（R２０５）で算出される追跡スコアをS2とした場合、Score=w1*S1+w2*S2により追跡スコアを算出する。ここで、w1は追跡スコアS1に対する重みであり、w2は追跡スコアS2に対する重みである。歩行者状態推定処理（R２０３）で推定した歩行者の進行状況として、歩行者が移動していると判定されている場合、w1=0.5、w2=0.5のように重みを設定する。一方で、歩行者が静止していると判定されている場合、w1=0.7、w2=0.3のように体幹部領域（見え方の変化が少ないと考えられる領域）に対する重みを強め、四肢部領域（見え方の変化が大きいと考えられる領域）に対する重みを弱める。w1、w2は、例えば、歩行者との距離や画像の解像度、歩行者の状況などに応じて可変に設定することもできる。上述した計算式に従い、追跡スコアScoreが最大の候補領域を今回の追跡領域とする。

（作用効果）
以上より、本実施形態の物体検出装置２は、歩行者の進行方向及び進行状況を推定する状態推定部２０９をさらに有し、前記体幹部尤度算出部２０６と前記四肢部尤度算出部２０７は、前記状態推定部２０９において進行方向が推定されている場合、前記進行方向に応じて前記候補領域における前記体幹部領域と前記四肢部領域の設定情報を変更し、前記追跡領域決定部２０８は、前記状態推定部２０９において進行状況が推定されている場合、前記進行状況に応じて前記第１の追跡スコア及び前記第２の追跡スコアに対する重みを変更して前記追跡領域を決定する。言い換えれば、歩行者の進行方向及び進行状況を推定する状態推定部２０９をさらに有し、前記体幹部尤度算出部２０６と前記四肢部尤度算出部２０７は、前記状態推定部２０９で推定される進行方向に応じた設定情報を持つ前記体幹部領域と前記四肢部領域を設定し、前記追跡領域決定部２０８は、前記状態推定部２０９で推定される進行状況に応じた重みを前記第１の追跡スコア及び前記第２の追跡スコアに対して設定して前記追跡領域を決定する。

すなわち、本実施形態の物体検出装置２は、歩行者の進行方向に応じて、体幹部領域、及び四肢部領域の位置や大きさを変更することができる。これにより、歩行者の進行方向が変化することにより時系列的な類似箇所と非類似箇所が変化した場合にも、安定的に歩行者を検出することができる。また、本実施形態の物体検出装置２は、歩行者が移動しているか静止しているかを判別し、静止している場合には、体幹部尤度算出部２０６が算出した追跡スコアの影響を強め、四肢部尤度算出部２０７が算出した追跡スコアの影響を弱める。これにより、歩行者の動きが小さいと判断される際にも安定的に歩行者を検出することができる。したがって、歩行者の検出精度を向上することができる。

（第２実施形態の他例）
本実施形態の物体検出装置２では、歩行者の進行方向に応じて、体幹部領域、及び四肢部領域の位置や大きさを変更することを説明したが、他の情報に基づき体幹部領域、及び四肢部領域の少なくとも１つの位置や大きさを変更することもできる。具体的には、初期検出部２００で検出された歩行者のサイズが小さい、即ち子どもであると判断できる場合においても同様に体幹部領域、及び四肢部領域の位置や大きさを変更することができる。このように、追跡対象の種別を判別し、体幹部領域と四肢部領域の位置や大きさを調整することで、大人と子どものように体格の異なる対象に対しても安定的に追跡ができる。

また、上述の説明では、初期検出部２００において子どもと判別したが、例えば図９に示すように、走行路中の構造物などの外部環境を認識可能である外部環境認識部２１０において、外部環境認識部２１０の認識結果に応じてスクールゾーンを示す構造物が認識されている場合に、体幹部領域、及び四肢部領域の少なくとも１つの位置や大きさ（すなわち、設定情報に対応）を変更することもできる。例えばスクールゾーンを認識可能な外部環境認識部２１０としては、単眼カメラ、カメラを複数有する複眼システム、視差を利用するステレオカメラ、及びLIDARに例示されるセンシングシステム、並びにそれらの組み合わせが利用し得る。例えば、車々通信や、路車間といった無線通信手段を利用して認識してもよい。例えば、外部環境認識部２１０においてスクールゾーンを認識した場合、体幹部領域、及び四肢部領域の少なくとも１つの位置は認識する前に比べて、下方向にシフトする。また、外部環境認識部２１０においてスクールゾーンを認識した場合、体幹部領域、及び四肢部領域の少なくとも１つの大きさは認識する前に比べて、小さくする。子どもの体格は大人より小さいため、前記のように体幹部領域、及び四肢部領域の少なくとも１つの位置や大きさを変更することにより、大人と子どものように体格の異なる対象に対しても安定的に追跡ができる。なお、スクールゾーンの認識のために、スクールゾーン以外の外部環境も認識し得る。また、スクールゾーンの認識のために、外部環境の認識に加えて、車内の時計や無線通信で得られた時刻情報も利用し得る。そのようにすれば、登校時、下校時といった子どもの交通量が多い時間帯に、精度よく子どもを捕捉することができる。

以上、第１実施形態、及び第２実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１物体検出装置（第１実施形態）
２物体検出装置（第２実施形態）
１００、２００初期検出部（位置検出部）
１０１、２０１検出位置記憶部
１０２、２０２車両情報取得部
１０３、２０３候補領域決定部
１０４、２０４特徴抽出部
１０５、２０５モデル情報記録部
１０６、２０６体幹部尤度算出部
１０７、２０７四肢部尤度算出部
１０８、２０８追跡領域決定部
２０９状態推定部
２１０外部環境認識部

Claims

歩行者の画像中における位置を検出する位置検出部と、
前回フレームの歩行者の画像中における検出位置に基づき今回フレームの歩行者の画像中における候補領域を決定する候補領域決定部と、
前記候補領域に対して画素値を解析することで特徴量を算出する特徴抽出部と、
前記候補領域において事前に設定された歩行者の体幹部の画像領域である体幹部領域を参照し、前記今回フレームと前記前回フレームの前記体幹部領域の前記特徴量の類似性を示す第１の追跡スコアを算出する体幹部尤度算出部と、
前記候補領域において事前に設定された歩行者の四肢部の画像領域である四肢部領域を参照し、前記今回フレームと前記前回フレームの前記四肢部領域の前記特徴量の相違性を示す第２の追跡スコアを算出する四肢部尤度算出部と、
前記第１の追跡スコア及び前記第２の追跡スコアに基づき前記今回フレームにおける追跡領域を決定する追跡領域決定部と、を備えることを特徴とする物体検出装置。
歩行者の進行方向及び進行状況を推定する状態推定部をさらに有し、
前記体幹部尤度算出部と前記四肢部尤度算出部は、前記状態推定部において進行方向が推定されている場合、前記進行方向に応じて前記候補領域における前記体幹部領域と前記四肢部領域の設定情報を変更し、
前記追跡領域決定部は、前記状態推定部において進行状況が推定されている場合、前記進行状況に応じて前記第１の追跡スコア及び前記第２の追跡スコアに対する重みを変更して前記追跡領域を決定することを特徴とする、請求項１に記載の物体検出装置。
歩行者の進行方向及び進行状況を推定する状態推定部をさらに有し、
前記体幹部尤度算出部と前記四肢部尤度算出部は、前記状態推定部で推定される進行方向に応じた設定情報を持つ前記体幹部領域と前記四肢部領域を設定し、
前記追跡領域決定部は、前記状態推定部で推定される進行状況に応じた重みを前記第１の追跡スコア及び前記第２の追跡スコアに対して設定して前記追跡領域を決定することを特徴とする、請求項１に記載の物体検出装置。
前記進行状況は、歩行者の静止状態又は移動状態を示す情報を含むことを特徴とする、請求項２に記載の物体検出装置。
前記体幹部領域は前記候補領域の中央側に配置され、前記四肢部領域は前記候補領域において前記体幹部領域の周囲に配置されることを特徴とする、請求項１に記載の物体検出装置。
前記第１の追跡スコアは、前記前回フレームと前記今回フレームの前記体幹部領域の前記特徴量の差が事前に設定された閾値以下である場合に特徴量毎に事前に設定された値を加算することで算出され、前記第２の追跡スコアは、前記前回フレームと前記今回フレームの前記四肢部領域の前記特徴量の差が閾値以上である場合に特徴量毎に事前に設定された値を加算することで算出されることを特徴とする、請求項１に記載の物体検出装置。
前記第１の追跡スコアは、前記今回フレームと前記前回フレームの前記体幹部領域の全画素に対して、前記画素値の差が画素ごとに事前に設定された閾値以下である画素について、画素ごとに事前に設定された追跡スコアを画素ごとに加算することで算出されることを特徴とする、請求項１に記載の物体検出装置。
前記第２の追跡スコアは、前記今回フレームと前記前回フレームの前記四肢部領域の全画素に対して、前記画素値の差が画素ごとに事前に設定された閾値以上である画素について、画素ごとに事前に設定された追跡スコアを画素ごとに加算することで算出されることを特徴とする、請求項１に記載の物体検出装置。
外部環境を認識する外部環境認識部をさらに有し、
前記外部環境認識部の認識結果に応じて、前記候補領域における前記体幹部領域及び前記四肢部領域の少なくとも１つの設定情報を変更することを特徴とする、請求項１に記載の物体検出装置。