JP5790487B2 - 検出装置、検出方法、及び、車両 - Google Patents

Description

本発明は、検出装置及び検出方法に関する。

夜間における車両の運転において、車両のフロントライトでは歩行者に光源が届かない場合や、闇に紛れる歩行者を見落としてしまったりすることがある。そのため、運転手は夜間走行時には多くの注意を払わなければならない。この問題を解決するために、以下のような手法が考えられている。

特許文献１には、可視カメラを左右に設置して撮像したステレオ画像に基づいた視差情報を利用して歩行者（障害物）を検知することが示されている。

特許文献２には、予め歩行者の像を模した歩行者テンプレート画像を用意しておき、画像内におけるテンプレートとの類似性が高い部分について、歩行者が存在する可能性が高いとして歩行者の存在を検知している。

特開２００２−２４９８６号公報 特開２００３−９１４０号公報

しかしながら、特許文献１の手法であると、可視カメラを用いて車両前方を撮像するため、夜間等では街頭などの照明に頼らざるを得ない。また、可視カメラで歩行者を撮影しても、十分な画質を得ることが困難であるため、検知精度は著しく低下してしまうという問題があった。

また、特許文献２の手法であると次のような問題がある。すなわち、実環境下では、歩行者パターンは大きさ、姿勢及び表面温度等の変動が同時に発生する。それに伴いテンプレートの数を増やすと、歩行者以外の建物や信号、街路灯などの構造物の画像が、歩行者の像として検知され、誤検出を招く可能性があるという問題があった。

したがって、より適切に歩行者等の検出対象物を検出することが望まれる。

本発明は、このような事情に鑑みてなされたものであり、より適切に検出対象物を検出することを目的とする。

上記目的を達成するための主たる発明は、
センサーの出力に対応する検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出装置である。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本実施形態における歩行者検出システム１（検出装置）の概略構成を示すブロック図である。 撮像部の取り付け位置の一例の説明図である。 本実施形態における歩行者検知システム１における歩行者検知装置１２０及び歩行者学習装置２２０の詳細なブロック図である。 赤外線カメラで撮像した赤外線画像の一例を示す図である。 赤外線カメラで歩行者を撮像した赤外線画像の一例を示す図である。 歩行者の特徴成分を可視化した図である。 図７Ａは、歩行者が含まれる複数の画像について垂直方向のエッジ強度が求められた様子を示す図であり、図７Ｂは、エッジ強度加算値のヒストグラムである。 学習処理のフローチャートである。 検出処理のフローチャートである。 全体画像を走査する方法を説明する図である。 歩行者検出処理のフローチャートである。 警告画像表示の一例を示す図である。 赤外線カメラで歩行者を撮像した赤外線画像の一例を示す図である。 学習処理（追跡モデル）のフローチャートである。 全体画像における追跡走査方法の説明図である。 追跡検出のフローチャートである。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出装置である。
このように、検出対象物の検出を行おうとしている検出対象画像よりも前に生成された検出対象画像の特徴量の変化量に基づいてパラメーターの値を更新する。そして、更新されたパラメーターの値を含むサブ識別器を用いて検出対象画像における検出対象物の検出を行うので、過去の検出対象物の変化に応じて適切に更新されたサブ識別器を用いて検出を行うことができる。そして、より適切に検出対象物を検出することができる。

かかる検出装置であって、前記検出対象画像は、前記センサーが出力する全体領域の画像から一部がクロッピングされた画像であり、
前記第３検出対象画像は、前記全体領域において前記第２検出対象画像がクロッピングされた位置から所定範囲内の位置においてクロッピングされた画像であることが望ましい。
このようにすることで、全体領域を検出対象物が移動している場合であっても、検出対象物を適切に検出することができる。

また、前記パラメーターには、前記検出対象物を含むことの度合いに乗じられる係数が含まれることが望ましい。
このようにすることで、検出対象物を含むことの度合いに適切に重み付けをすることができる。

また、前記特徴量は、前記検出対象画像における特定領域のエッジ強度加算値を含むことが望ましい。
エッジ強度は、環境変動の影響を受けにくい。よって、これらの加算値であるエッジ強度加算値を用いて、環境変動を受けにくくして適切に検出対象物を検出することができる。

また、前記エッジ強度加算値は、複数のセルに分割された前記特定領域のセル毎のエッジ強度の合算値であることが望ましい。
このようにすることで、各セルのエッジ強度の合算値であるエッジ強度加算値を用いて、検出対象画像に検出対象物が含まれるか否かを判定することができる。

また、複数の学習用画像の前記特定領域毎にエッジ強度加算値を求め、前記特定領域毎にエッジ強度加算値の出現頻度を求め、前記出現頻度に応じてエッジ強度加算値の閾値を求める学習が前記サブ識別器毎に行われ、
前記サブ識別器において、前記検出対象画像の特定領域における前記エッジ強度加算値と前記閾値とに基づいて、前記検出対象物を含むことの度合いが出力され、
前記パラメーターには、前記閾値が含まれることが望ましい。
このようにすることで、各サブ識別器は、特定領域毎のエッジ強度加算値の出現頻度に基づいて、その検出対象画像が検出対象物を含むことの度合いを求めることができる。そして、この閾値を更新することでより適切に検出対象物を検出することができる。

また、前記特徴量の変化量が大きいほど、前記サブ識別器のパラメーターが大きく変更されることが望ましい。
このようにすることで、特徴量の変化量に応じて適切にパラメーターの値を更新することができる。

また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する検出対象画像を生成するステップと、
前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器を用いて前記検出対象画像から検出対象物を検出するステップと、を含み、
前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出方法である。
このように、検出対象物の検出を行おうとしている検出対象画像よりも前に生成された検出対象画像の特徴量の変化量に基づいてパラメーターの値を更新する。そして、更新されたパラメーターの値を含むサブ識別器を用いて検出対象画像における検出対象物の検出を行うので、過去の検出対象物の変化に応じて適切に更新されたサブ識別器を用いて検出を行うことができる。そして、より適切に検出対象物を検出することができる。

＝＝＝実施形態＝＝＝
図１は、本実施形態における歩行者検出システム１（検出装置）の概略構成を示すブロック図である。本実施形態における検出対象物は歩行者であり、図１には、赤外線カメラ１１０と歩行者検出装置１２０とディスプレイ１３０が示されている。図２は、撮像部の取り付け位置の一例の説明図である。なお、「歩行者」は「人物」と同義であり、「歩いている人物」には限定されない。

赤外線カメラ１１０（センサーに相当）は、中赤外線及び遠赤外線の波長をとらえデジタル値の映像信号を歩行者検出装置１２０に送信する。ここで、中赤外線は２．５μｍ〜４μｍの波長、遠赤外線は、４μｍ〜１０００μｍの波長を有する光である。本実施形態では、８〜１４μｍの波長を用いて体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればよい。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される（図２）。そして、自車両（赤外線カメラ１１０を搭載した車両、本実施形態では赤外線カメラ１１０と歩行者検出装置１２０とディスプレイ１３０の全てが搭載されている）から前方方向の環境を撮影する。なお、赤外線カメラ１１０が搭載される位置は、この位置に限られることはなく、他の位置であってもよい。

歩行者検出装置１２０は、画像処理ボード１２０１と、中央演算装置（ＣＰＵ）等の処理部１２０２と、ランダムアクセスメモリー（ＲＡＭ）などの記憶部１２０３を含む。そして、後述するような処理により、これら画像処理ボード１２０１と処理部１２０２と記憶部１２０３が協働して動作し、ディスプレイ１３０に表示するデータを生成する。ディスプレイ１３０は、生成されたデータに基づく情報を表示する。

図３は、本実施形態における歩行者検出システム１における歩行者検出装置１２０及び歩行者学習装置２２０の詳細なブロック図である。赤外線カメラ１１０は、撮像部１１１とアナログデジタル変換部（Ａ／Ｄ変換部）１１２を含む。撮像部１１１は、赤外線カメラの受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を出力する。Ａ／Ｄ変換部１１２は、撮像部１１１で得られたアナログ信号をデジタル信号に変換する機能を有する。このように赤外線センサー１１１（センサーに相当する）の出力に対応する検出対応画像を生成する赤外線カメラ１１０は、画像生成部に相当する。

歩行者検出装置１２０は、画像格納部１２１と、特徴量抽出部１２２と、歩行者判定部１２３と、表示制御部１２４と、歩行者テーブル格納部１２５を含む。歩行者テーブル格納部１２５には、歩行者学習装置によって出力された学習結果が格納される。これらの各部は、上述の画像処理ボード１２０１と、ＣＰＵ１２０２と、ＲＡＭ１２０３により実現されている。

画像格納部１２１は、撮像部１１１から得られた映像（例えば、１５ｆｐｓの映像）から、１画像ずつ順次処理するために、赤外線カメラ１１０から取得したデジタル信号を一時的に保管する。特徴量抽出部１２２は、画像格納部１２１に格納されたデジタル信号を順次読み込み、複数の階調値からなる画像（全体画像）へと変換する。そして、この変換画像に基づいて特徴量を抽出する処理を行う。特徴量については、後述する。

歩行者判定部１２３は、特徴量抽出部１２２の処理により得られた特徴量と、歩行者テーブルのデータとを比較して、検出対象画像が歩行者を含むか否かについて判定する。検出対象画像は、全体画像からクロッピングされた画像である。判定手法については、後述する。

歩行者テーブル格納部１２５は、前述の通り、歩行者判定部１２３で用いられるデータを記憶する。

表示制御部１２４は、歩行者判定部１２３における判定結果を運転者に伝えるために、表示部１３１への描画画像を作成する。例えば、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むようにして強調表示させたり、注意を喚起するために表示部１３１をフラッシュさせたりする。

また、図３には、歩行者学習装置２２０と歩行者学習装置２２０に接続された赤外線カメラ２１０が示されている。赤外線カメラ２１０の構成は、歩行者検出装置１２０に接続された赤外線カメラ１１０と同様の構成であるので説明を省略する。また、歩行者学習装置２２０における画像格納部２２１と特徴量抽出部２２２は、それぞれ歩行者検出装置１２０の画像格納部１２１と特徴量抽出部１２２と同様の構成であるので説明を省略する。

歩行者学習装置２２０の学習部２２８は、歩行者パターンを統計的に扱うことで、歩行者であるか否かの判定に必要なデータを作成する。これらデータの生成については、後述する。

図４は、赤外線カメラで撮像した赤外線画像の一例を示す図である。赤外線カメラ１１０によって車両前方を撮像すると、図４に示されるような赤外線画像が得られる。図４には、背景部分に建物が並び、手前左側（歩道）に歩行者が３名撮像されている。図４において、白色に近いほど輝度値が高く、黒色に近いほど輝度値が低い。

撮像画像において、階調値と温度には相関関係があり、高温ほど輝度値が高く表示される。図４において、背景部分に比べて、歩行者の表面温度が高いため、歩行者の像が浮かび上がって表示されている。

図５は、赤外線カメラで歩行者を撮像した赤外線画像の一例を示す図である。図５には、歩行者を含む画像であって、所定の縦横比でクロッピングされた画像が示されている。歩行者学習装置２２０では、このように歩行者を含む画像が用いられて学習が行われる。

図６は、歩行者の特徴成分を可視化した図である。図６には、エッジ強度が求められ可視化された画像が示されている。図６における（１）の図は、図５の画像の水平成分のエッジ強度を求め可視化した図である。図６における（２）の図は、図５の画像の斜め方向成分（右下がり、左上がり）のエッジ強度を求め可視化した図である。図６における（３）の図は、図５の画像の垂直成分のエッジ強度を求め可視化した図である。図６における（４）の図は、図５の画像の斜め方向成分（左下がり、右上がり）のエッジ強度を求め可視化した図である。エッジ強度の値が大きい程、輝度値が高いことで表現している。

このようなエッジ強度は、例えば、次のようにして求めることができる。すなわち、赤外線画像の各画素（ｘ、ｙ）において、注目画素を中心とした矩形領域（例えば、３×３画素）を注目する。この領域の中で特定画素の組み合わせを選択して、階調値の差分を計算する。すなわち、特定方向成分のエッジ強度を算出する。

なお、ここでは３×３画素の矩形領域を例として説明を行ったが、矩形領域のサイズはこれに限定されず、任意のサイズにまで広げることとしてもよい。

図７Ａは、歩行者が含まれる複数の画像について垂直方向のエッジ強度が求められた様子を示す図である。前述の図５のような画像に歩行者が含まれているか否かは、特定領域における任意方向のエッジ強度の加算値（エッジ強度加算値）に基づいて判定される。エッジ強度加算値を求める前段階として、歩行者が含まれる複数の画像についてのエッジ強度が前述のようにして求められる。

エッジ強度加算値は、特定領域における任意方向のエッジ強度を加算することにより求められる。図７Ａには、特定領域として、２つの画素位置（左上（ｘ０，ｙ０）、右下（ｘ１，ｙ１）で表現した矩形領域）で囲われる矩形領域が示されている。図７Ａでは、歩行者の上半身（肩から腰）の範囲を特定領域としている。この特定領域は、様々な領域とすることができる。例えば、歩行者の顔の範囲を特定領域としてもよいし、歩行者の下半身の範囲を特定領域としてもよい。

各画像について、この特定領域の特定の方向のエッジ強度が累積される。たとえば、各画素の垂直方向のエッジ強度（図６の（３））が（ｘ０，ｙ０）から（ｘ１，ｙ１）の範囲で累積される。このようにすることにより、１枚の画像について特定領域の垂直方向のエッジ強度加算値が求められる。このような演算が、歩行者を含む画像及び歩行者以外の画像について行われる。

図７Ｂは、エッジ強度加算値のヒストグラムである。図７Ｂは、上述のようにして特定領域におけるエッジ強度加算値を、複数枚数の学習用画像について算出し、ヒストグラムを作成したものである。図７Ｂにおいて横軸は、エッジ強度加算値であり、縦軸は、そのエッジ強度加算値の出現頻度である。例えば、演算の結果、複数枚数の学習用画像においてエッジ強度加算値「５０」が１００回出現した場合、エッジ強度加算値「５０」の出現頻度は「１００」となる。なお、エッジ強度加算値は、任意の特定領域内でのエッジ強度加算値を用いて正規化した値を利用してもよい。

学習時において用いられる画像は、歩行者を含む画像（歩行者の画像）と歩行者を含まない画像（歩行者以外の画像）である。これらの画像について上記の処理が行われ図７Ｂのようなヒストグラムが生成される。閾値θｔは、実験的または経験的に決まる値であり、ニューラルネットワーク、サポートベクターマシン、ブースティングなどの学習により選び出すことができる。

上記のことを踏まえると、画像に歩行者が含まれるか否かの判別式は以下のように表現できる。
f(k₁,k₂):k1,k2で特定される特定領域のエッジ強度加算値
k₁:任意方向成分のエッジ画像において特定領域を規定する画素位置(x0,y0)
k₂:任意方向成分のエッジ画像において特定領域を規定する画素位置(x1,y1)
θ_ｔ：特定領域を特定する変数がｔのときの閾値

具体的に関数ｆは、エッジ強度加算値の関数であって、ある画像における特定領域でのエッジ強度加算値の関数である。変数ｔは、特定領域を特定するための変数である。よって、特定領域がＴ種類ある場合には、少なくともＴ種類の判別式が存在することになる。

これによれば、検出対象画像についても、上記のようにしてエッジ強度加算値を求め、式（１）に代入し、閾値θ_ｔとの大小を比較することで、検出対象画像に歩行者が含まれるか否かについて判定することができる。

図７Ｂに示されるヒストグラムによれば、歩行者が含まれる場合にｈ_ｔの値が「１」となり、歩行者が含まれない場合に「−１」となる。なお、特定領域ｔによっては、エッジ強度加算値が低いほど「歩行者が含まれる」という結果となるヒストグラムも生成されうるが、本実施形態では、特定領域毎にヒストグラムの検証がされ、それぞれの関数ｈ_ｔにおいて、「歩行者が含まれる場合」にｈ_ｔの値が「１」となり、歩行者が含まれない場合に「−１」となるように調整がされる。

ところで、図７Ｂのヒストグラムと閾値を参照すると、判別式を単独で使用しても誤りを有する判別結果となることがあることも考えられる。そこで、本実施形態では、複数の判別式の集合から正確に判別を行う識別関数を作成することで高精度な判別を実現させる。識別関数は、以下のように判別式の組み合わせで構成される。

式（３）において、判別式の組み合わせ、個数Ｔ、及び、係数α_ｔは、実験的又は経験的に求めた値を用いることができる。また、判別式の組み合わせ、個数Ｔ、及び、係数α_ｔは、ニューラルネットワーク、サポートベクターマシン、ブースティングなどの学習アルゴリズムを用いることで、最適となるパラメーターを探索し選び出すこととしてもよい。例えば、ａｄａｂｏｏｓｔを用いた場合、α_ｔｈ_ｔ（Ｘ）は弱識別器（サブ識別器）であり、Ｈ（Ｘ）は強識別器（識別器）となる（Ｔ種類の特定領域についての弱識別器からなる強識別器が生成される）。α_ｔｈ_ｔ（Ｘ）は、−１又は＋１のいずれかに係数α_ｔを乗じた値を返す。つまり、これら個々の弱識別器は、検出対象物を含むことの度合いを求めるものである。

図８は、学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理の流れを説明する。なお、学習処理が行われる前に、赤外線カメラ２１０で撮像した赤外線画像から、歩行者を含む所定の縦横比で切り抜いた画像を予め多く用意して蓄積されているものとする。このとき、様々な環境で撮影されたもの（季節、天候、場所）が用意されていることが望ましい。また、歩行者を含まない画像も予め多く用意されていることが望ましい。

蓄積した赤外線画像から、学習用画像（学習処理において学習用画像であるが、後述する検出処理では検出対象画像）が１枚分読み込まれる（Ｓ１０２）。次に、特徴量の算出が行われる（Ｓ１０４）。本実施形態において特徴量は、特定領域での特定方向のエッジ強度加算値である。特定領域は、前述のように任意の２つの画素位置［左上（ｘ０，ｙ０）、右下（ｘ１，ｙ１）で表現した矩形領域］で表現される特定領域である。

ステップＳ１０４では、１枚の画像に対し複数の特定領域について特徴量の算出が行われる。なお、２つの画素位置で表現される特定領域は無数に存在していることから、経験的にサイズや範囲に制限をかけて算出することとしてもよい。例えば、前述のように、「上半身」、「下半身」、及び、「頭」のサイズ・範囲などである。

このようにすることによって、１枚の学習用画像（検出処理において検出対象画像）に対し各特定領域の特徴量が求められることになる。

そして、全ての学習用画像に対してステップＳ１０４の処理を実施した場合には、ステップＳ１０８に進む（Ｓ１０６）。一方、処理をしていない学習用画像がある場合には、次の学習用画像を読み込むためにステップＳ１０２に進む（Ｓ１０６）。

次に、学習が行われる（Ｓ１０８）。これまでの処理により、特定領域毎に式（１）の判別式が生成されることになる。そして、式（３）のＨ（Ｘ）を表現するパラメーターα、ｔ、及び、Ｔが算出されて、識別関数が求められる。これらパラメーターの算出は、前述のように経験値であってもよいし、ａｄａｂｏｏｓｔのような学習アルゴリズムが用いられて求められるものであってもよい。

次に、ステップＳ１０８で求められた各パラメーターが学習結果として保存される（Ｓ１１０）。学習結果は、歩行者テーブル格納部１２５に保存される。

次に、上述の学習結果を用いた検出処理について説明する。
図９は、検出処理のフローチャートである。検出処理では、車両に搭載された赤外線カメラ１１０から赤外線画像が取得される。取得された赤外線画像は画像格納部１２１に保存されている。

全体画像から検出対象画像の位置及びサイズが選択される（Ｓ２０２）。
図１０は、全体画像を走査する方法を説明する図である。図１０には、赤外線カメラ１１０が撮像した全体画像（左図）と、全体画像が縮小された画像（中央図）と、さらに縮小された縮小画像（右図）が示されている。

全体画像には、赤外線カメラ１１０で車両前方を撮像した赤外線画像において、車道脇に遠距離から近距離の間で合計３名の歩行者が歩いている様子が示されている。全体画像に対して、歩行者判定をする際に用いる検出対象画像の探索窓の一番小さなもの（例えば、歩行者と車両との距離が２００ｍ相当の窓サイズ（７×１４画素））を、左上から右下へと順に移動させて行き、探索窓の検出対象画像毎に歩行者がいるか否かを判定していく。

また、一定間隔で全体画像（左図）を縮小させることで、縮小画像（中央図）を作成する。上記と同様に探索窓を左上から右下へと順に移動させていき、歩行者が居るか居ないかを判定していく。

また、さらに、縮小画像（右図）を繰り返し作成していくことで、歩行者と車両との距離関係が遠距離から近距離までに対応した検出を実現する。すなわち、探索窓のサイズが固定であっても、縮小画像を繰り返し作成することで遠距離から近距離までの間の歩行者を検出することができる。

ステップＳ２０２では、このようにして、読み込まれた画像から歩行者判定を行うための探索窓の位置とサイズに対応する検出対象画像が選択される。

次に、ステップＳ２０２で選択された検出対象画像が読み込まれる（Ｓ２０４）。また、検出対象画像の特徴量の算出が行われる（Ｓ２０６）。特徴量の算出は、前述の図８のステップ１０４における処理と同様の手法により行われる。

次に、前述のステップＳ２０６で得られた特徴量に基づいて歩行者検出処理が行われる（Ｓ２０８）。歩行者検出処理では、次のように、複数の識別関数Ｈ（Ｘ）を組み合わせたカスケード構造を構成することで、早期に歩行者を含まない検出対象画像をふるい落とし、検出対象画像一枚あたりの判定時間を短縮させる。なお、１つの識別関数（識別器）を用いて歩行者の検出を行うもの、又は、複数の識別関数（識別器）を用いて歩行者の検出を行うものは検出器に相当する。

ここでは、複数段の判別関数が用意される。そして、各段Ｈ（Ｘ）での判定結果において歩行者と判定された検出対象画像だけが、次の段に進むことができ、最終段までに到達した検出対象画像のみが、最終的に歩行者を含む検出対象画像として判定される。それ以外の検出対象画像は、歩行者以外の検出対象画像であると判定される。

なお、初期段の識別関数Ｈ（Ｘ）は比較的分類が容易なものを判定するように作られ、段が進むにつれてより複雑で分類が困難なものを判定するように識別関数を組み上げていく。これにより、カスケードの初期Ｈ（Ｘ）で多くの検出対象画像が歩行者以外の検出対象画像であるとされるため、単一の複雑な識別関数Ｈ（Ｘ）で判別を行う場合よりも高速な処理を行うことができる。

具体的な複数段の識別関数は、例えば、以下のように弱識別器の個数を異ならしたものとなる。
Ｈ_０（Ｘ）は、ｈ（Ｘ） ｔ＝１・・・８
Ｈ_１（Ｘ）は、ｈ’（Ｘ） ｔ＝１・・・１６
Ｈ_２（Ｘ）は、ｈ’’（Ｘ） ｔ＝１・・・３２

図１１は、歩行者検出処理のフローチャートである。
最初に、識別関数Ｈ_０（Ｘ）が求められる（Ｓ３０２）。次に、Ｈ_０（Ｘ）の計算結果による検出対象画像の判定が行われる（Ｓ３０４）。判定方法は、例えば次のようにする。
Ｈ_０（Ｘ）≧０ならば判定結果 歩行者
Ｈ_０（Ｘ）＜０ならば判定結果 歩行者以外

次に、ステップＳ３０２と同様に識別関数Ｈ_１（Ｘ）が求められる（Ｓ３０６）。そして、識別関数Ｈ_１（Ｘ）が用いられステップＳ３０４と同様の判定が行われる（Ｓ３０８）。

このようにして、ステップＳ３０２と同様に識別関数Ｈ_ｎ（Ｘ）が求められる（Ｓ３１０）。そして、判別式Ｈ_ｎ（Ｘ）が用いられ、ステップＳ３０４と同様の処理が実施される（Ｓ３１２）。

ステップＳ３０２〜Ｓ３１２の一連の工程において、各段にて歩行者と判定結果を得た検出対象画像については、最終的な判定結果として歩行者を含む検出対象画像であると判定して処理を終了する（Ｓ３１４）。

一方、ステップＳ３０２〜Ｓ３１２の一連の工程において、途中の判定結果で歩行者以外と判定された段階で、その検出対象画像は歩行者を含まない画像（歩行者以外の画像）として判定して処理を終了する（Ｓ３１６）。

このようにして、検出対象画像が歩行者の画像か否かを判定する。歩行者と判定された場合は、その検出対象画像に対応する探索窓の位置とサイズを記憶しておくことで、全体画像における歩行者の位置を得ることができる（Ｓ２０８）

ステップＳ２０２でのすべての領域について全ての検出対象画像を処理（全ての縮小画像に対して、左上から右下まで全て処理）したか、否かを判定する（Ｓ２１０）。全ての検出対象画像について、ステップＳ２０６及びＳ２０８の一連の処理が実施されていれば、ステップＳ２１２へ進む。一方、全て実施されていない場合には、ステップＳ２０２へ戻り、次の検出対象画像の位置及びサイズを設定する（Ｓ２１０）。

ステップＳ２１０において、一の歩行者に対して複数重複検出された場合には、検出結果を統合する（Ｓ２１２）。そして、検出結果に応じた運転支援又は視覚補助を行う（Ｓ２１４）。

図１２は、警告画像表示の一例を示す図である。図１２では、検出された歩行者のサイズと位置に基づいて、歩行者を包含する矩形枠が設定され、赤外線カメラから得られた赤外線画像に描画されている。

このとき、歩行者検出結果から歩行者の位置が強調表示するような描画画像が用意される。例えば、赤外線画像として得られている車両前方映像に、歩行者として判定された箇所を矩形で強調表示したり、運転手に危険を警告するためにディスプレイ１３０をフラッシュさせたりする画像を用意する。それ以外にも、運転者に危険を警告する方法などとして、ブレーキを軽くかけるなどの運転支援や、フロントライトの角度を変えたりする視覚補助動作を実施することもできる。

ところで、例えば、仮に、テンプレート手法を用いて検出対象物の検出を行った場合、次のような問題があった。すなわち、実環境下では、歩行者パターンは大きさ、姿勢、表面温度等の変動が同時に発生する。それに伴いテンプレートの数を増やすと、歩行者以外の建物や信号、街路灯などの構造物の画像が、歩行者の像として検出され、誤検出を招く可能性が高くなっていた。これに対して、上述の本手法であると、テンプレートの数の増加による誤検出等が発生せず、適切に歩行者などの検出対象物を検出することができる。

図１３は、赤外線カメラで歩行者を撮像した赤外線画像の一例を示す図である。車両に設置された赤外線カメラで車両前方を撮像したものを、歩行者を含む所定比率（縦横比）で切り抜くことで、このような赤外線画像が得られる。車道環境での歩行者は、向き（正面、背面、側面）の違いや、姿勢（脚を開いた状態、脚を閉じた状態）の違いがあり、見た目の変化が大きい。道路環境でのさまざまな形状変動に対応する方法として、さまざまなテンプレート画像を用意しておくと歩行者以外のものまでが検出されてしまい検出精度が低下する。つまり、学習モデルを予め複数用意すると、選択する際の精度及び速度が課題になる。

そこで、以下のような手法を用いることにより、一度検出できた歩行者を追従することで歩行者検出の精度を維持させる。

図１４は、学習処理（追跡モデル）のフローチャートである。学習処理（追跡モデル）を実行する前提として、予め、任意フレーム数前の検出対象画像が記憶されているものとする。すなわち、過去に検出処理を行った検出対象画像が記憶されていることになる。

まず、検出対象画像の読み込みが行われる（Ｓ４０２）。ここでは、前述のように前提として記憶されている過去の検出対象画像が読み込まれる。具体的には、時間変数ｉとしたとき、ｉ−１、ｉ−２、・・・の検出対象画像が読み込まれる（以下、時間変数ｉの検出対象画像を「ｉフレーム」と呼ぶことがある）。

次に、ステップＳ４０２で読み込んだ検出対象画像の特徴量が求められる（Ｓ４０４）。なお、前述のように、本実施形態において特徴量は、各特定領域のエッジ強度加算値である。

次に、特徴量の変化量が求められる（Ｓ４０６）。変化量の算出では、一フレーム前と検出対象画像のエッジ強度加算値を特定領域毎に比較し差分が求められる。例えば、ｉ−１フレーム目とｉ−２フレーム目については、ｆ_ｉ−１（ｋ_ｔ１，ｋ_ｔ２）とｆ_ｉ−２（ｋ_ｔ１，ｋ_ｔ２）で比較し差分が求められ、ｉ−２フレーム目とｉ−３フレーム目については、ｆ_ｉ−２（ｋ_ｔ１，ｋ_ｔ２）とｆ_ｉ−３（ｋ_ｔ１，ｋ_ｔ２）で比較し差分が求められる。

次に、学習が行われる（Ｓ４０８）。ここで行われる学習は、過去の学習結果の更新である。ステップＳ４０８では、ステップＳ４０６において求められた変化量に着目し、その変化量が大きいものは、パラメーターであるθ_ｔ、及び、α_ｔを大きく変更させていく（Ｓ４０８）。一方、変化量が小さいものは、パラメーターθ_ｔ、及び、α_ｔを小さく変更させていく。また、過去の複数のフレームを用いているため、時間変化ｉに応じて影響度の重みも減少させていく。

一般式は、以下のようになり、識別関数Ｈ_ｔ（Ｘ）を表現するパラメーターα_ｔ、及び、θ_ｔが更新されることで、歩行者毎に対応した追跡用の判別式が決定される。
β：学習係数
Ｉ：対象フレーム数

次に、学習結果が保存される（Ｓ４１０）。具体的には、ステップＳ４０８で更新された各種パラメーターが学習結果として保存される（Ｓ４１０）。また、追従する歩行者が分かるように検出対象画像の位置（ｘ、ｙ）もあわせて記憶される。

図１５は、全体画像における追跡走査方法の説明図である。まず、図１５を用いて追跡検出の概略について説明する。図１５には、赤外線カメラで車両前方を撮像した赤外線画像において、２名の歩行者が道路を横断している様子が示されている。映像は、複数のフレーム（全体画像のｉ−２フレーム、ｉ−１フレーム、ｉフレーム）で構成されており、ｉフレーム目の全体画像において歩行者を検出するものとする。

図１５に示されるように、歩行者判定をする際に用いる検索窓Ｗを、左上から右下へと順に移動させていき、探索窓Ｗ毎に歩行者が存在するか否かを判定していく。また、一定間隔で全体画像を縮小した縮小画像を繰り返し作成していくことで、歩行者と車両との距離関係が遠距離から近距離までに対応した検出を実現する。

前述のように、ｉフレーム目を検出するために、ｉフレームよりも前の検出結果（図１５では、ｉ−２フレームとｉ−１フレームの２つのフレームの検出結果）に基づいて求められた学習結果（追跡モデル）が用意されている。また、前フレームで検出された検出対象画像の領域を含む周辺領域が追跡領域Ｒとされる。そして、探索窓Ｗが追跡領域Ｒに入った際は、学習結果（追跡モデル）を用いて歩行者判定が行われる。それ以外の領域に探索窓Ｗが入った際は、学習モデル（検出モデル）を用いて歩行者判定が行われる。その後、判定に応じた処理が行われる。

図１６は、追跡検出のフローチャートである。以下、本フローチャートを参照しつつ追跡検出について説明する。
まず、全体画像から検出対象画像の位置及びサイズが選択される（Ｓ５０２）。全体画像から検出対象画像の位置及びサイズが選択される手法については、図９のステップＳ２０２とほぼ同様の処理であるので説明を省略する。

次に、ステップＳ５０２で選択された検出対象画像が読み込まれる（Ｓ５０４）。また、検出対象画像の特徴量の算出が行われる（Ｓ５０６）。特徴量の算出は、前述の図８のステップＳ１０４における処理と同様の手法により行われる。

次に、ステップＳ５０２で選択された検出対象画像が、ｉ−１フレームの（歩行者と判定された）検出結果の追跡領域Ｒに含まれている場合は、ステップＳ５１０に進み、含まれていない場合にはステップＳ５１２へ進む（Ｓ５０８）。なお、追跡領域Ｒは、複数の縮小画像に対して適用することが望ましい。車両の移動速度が速い場合は、検出すべき縮小画像が小さくなるし、右左折際には左右に大きく画像が移動するが、このように追跡領域を定義することで追跡もれがないようにすることができる。

ステップＳ５１０では、歩行者検出処理が行われる。歩行者検出処理は、図１１に示す手法と同様である。但し、ここでは、図１４の学習処理（追跡モデル）において求められた学習結果が用いられ、歩行者検出処理が行われることになる。そして、検出対象画像において、歩行者が検出された場合には、探索窓の位置とサイズを記憶しておくことで、全体画像における歩行者の位置を得ることができる。

一方、ステップＳ５１２では、学習処理（検出モデル）において求められた学習結果が用いられ、歩行者検出処理が行われる。学習処理（検出モデル）において求められた学習結果は、図８を用いて説明したものである。そして、ここでも、検出対象画像において、歩行者が検出された場合には、探索窓の位置とサイズを記憶しておく。

ステップＳ５０２でのすべての領域について全ての検出対象画像を処理（全ての縮小画像に対して、左上から右下まで全て処理）したか、否かを判定する（Ｓ５１４）。全ての検出対象画像について、Ｓ５０６、Ｓ５１０又はＳ５１２の一連の処理が実施されていれば、ステップＳ５１６へ進む。処理が未実施の場合は、ステップＳ５０２へ戻り、次の検出対象画像の位置及びサイズを設定する（Ｓ５１４）。

ステップＳ５１０又はＳ５１２において一の歩行者に対して複数重複検出された場合には、検出結果を統合する（Ｓ５１８）。また、ステップＳ５１０又はＳ５１２において歩行者が検出された場合には、図１４の学習処理（追跡モデル）が実行され、学習結果の更新が行われる。

歩行者検知結果から歩行者の位置を強調表示するような描画画像を用意する（Ｓ５１８）。例えば、図１２を用いて説明したように、赤外線画像として得られている車両前方映像に、歩行者として判定された箇所を矩形で強調表示したり（図１２）、運転手に危険を警告するためにディスプレイをフラッシュさせたりする画像を用意することができる。

このように、歩行者の検出を行おうとしている検出対象画像（ｉフレーム）よりも前に生成された検出対象画像（ｉ−２フレームとｉ−１フレーム）の特徴量の変化量に基づいてパラメーターの値を更新する。そして、ｉ−１フレームにおいて歩行者を検出した検出対象画像の周辺（追跡領域Ｒ）でｉフレームの歩行者検出処理を行う場合には、更新されたパラメーターの値を含むサブ識別器を用いて検出対象画像における歩行者の検出を行うので、過去の検出対象物の変化に応じて適したサブ識別器を用いることができ、より適切に検出対象物を検出することができる。

上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。

１ 歩行者検出システム、
１１０ 赤外線カメラ、１１１ 撮像部、１１２ Ａ／Ｄ変換部、
１２０ 歩行者検出装置、
１２１ 画像格納部、１２２ 特徴量抽出部、１２３ 歩行者判定部、
１２４ 表示制御部、１２５ 歩行者テーブル格納部、
１３０ 表示部、
１２０１ 画像処理ボード、１２０２ ＣＰＵ、１２０３ ＲＡＭ、
２１０ 赤外線カメラ、２１１ 撮像部、１１２ Ａ／Ｄ変換部、
２２０ 歩行者学習装置、
２２１ 画像格納部、２２２ 特徴量抽出部、２２８ 学習部

Claims (9)

1. センサーの出力に対応する検出対象画像を生成する画像生成部と、
   前記検出対象画像から検出対象物を検出することに用いる学習済みの検出器であって、前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器と、を備え、
   前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
   前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出装置。
2. 前記検出対象画像は、前記センサーが出力する全体領域の画像から一部がクロッピングされた画像であり、
   前記第３検出対象画像は、前記全体領域において前記第２検出対象画像がクロッピングされた位置から所定範囲内の位置においてクロッピングされた画像である、請求項１に記載の検出装置。
3. 前記パラメーターには、前記検出対象物を含むことの度合いに乗じられる係数が含まれる、請求項１又は２に記載の検出装置。
4. 前記特徴量は、前記検出対象画像における特定領域のエッジ強度加算値を含む、請求項１〜３のいずれかに記載の検出装置。
5. 前記エッジ強度加算値は、複数のセルに分割された前記特定領域のセル毎のエッジ強度の合算値である、請求項４に記載の検出装置。
6. 複数の学習用画像の前記特定領域毎にエッジ強度加算値を求め、前記特定領域毎にエッジ強度加算値の出現頻度を求め、前記出現頻度に応じてエッジ強度加算値の閾値を求める学習が前記サブ識別器毎に行われ、
   前記サブ識別器において、前記検出対象画像の特定領域における前記エッジ強度加算値と前記閾値とに基づいて、前記検出対象物を含むことの度合いが出力され、
   前記パラメーターには、前記閾値が含まれる、請求項４又は５に記載の検出装置。
7. 前記特徴量の変化量が大きいほど、前記サブ識別器のパラメーターが大きく変更される、請求項１〜６のいずれかに記載の検出装置。
8. センサーの出力に対応する検出対象画像を生成するステップと、
   前記検出対象画像の特定領域毎に用意されたサブ識別器を有する検出器を用いて前記検出対象画像から検出対象物を検出するステップと、を含み、
   前記サブ識別器は、パラメーターと前記特定領域における特徴量とに基づいて前記検出対象画像が前記検出対象物を含むことの度合いを出力し、
   前記検出器は、前記検出対象画像のうち前記検出対象物が検出された第１検出対象画像と、該第１検出対象画像の後に生成され前記検出対象物が検出された第２検出対象画像と、の間に生ずる特徴量の変化量を前記特定領域毎に求め、前記特徴量の変化量に応じて前記サブ識別器のパラメーターを変更し、前記パラメーターが変更されたサブ識別器の出力に基づいて、前記第２検出対象画像よりも後に生成された第３検出対象画像における検出対象物の検出を行う、検出方法。
9. 請求項１〜７のいずれかに記載された検出装置を搭載したことを特徴とする車両。