JP6242563B2 - 物体検出装置 - Google Patents

Description

本発明は、検出対象物が画像に存在するか否かを判定する物体検出装置に関する。

カメラが撮影した画像などに検出対象物が存在するか否かを判定する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。物体検出装置は、カメラが撮影した画像に人物が存在するか否かを判定することにより、運転手に歩行者の存在を知らせることができる。物体検出装置を利用することにより、車両の運転手は、車両の外部の状況を容易に把握することができる。

物体検出装置は、検出対象物が画像に存在するか否かを判定するために、学習機能を有するニューラルネットワークや、サポートベクターマシンなどのアルゴリズムを使用する。物体検出装置は、入力された画像に対して、物体を検出する領域（検出窓領域）を設定する。物体検出装置は、上記のアルゴリズムが実装されたプログラムを用いて、検出対象物が検出窓領域の画像に含まれているか否かを判定する。

たとえば、特許文献１の物体検出装置は、人を含む画像と、人以外を含む画像とを用いて類似度ヒストグラムを作成し、類似度ヒストグラムを用いて、検出窓領域の画像に検出対象物が存在しているか否かを判定する。

特許文献２の画像認識装置は、車載カメラが撮影した画像から歩行者を検出する。具体的には、特許文献２の画像認識装置は、ニューラルネットワークを用いて画像から歩行者の可能性がある候補物体を検出した場合、候補物体と歩行者を構成する頭及び手足などと比較することにより、候補物体が歩行者であるか否かを判定する。

特許文献３の画像認識装置は、検出対象の領域が一部重複する複数の検出窓を設定し、認識対象（歩行者など）の基準パターンを用いて、各検出窓に対するパターンマッチングを実行する。特許文献３の画像認識装置は、パターンマッチングが複数回実行された領域については、各パターンマッチングの結果を積分する。積分結果に基づいて、歩行者の位置が特定される。

特開２０１０−１７０２０１号公報 特開２００８−２１０３４号公報 特開２００９−７０３４４号公報

上述のように、特許文献１〜３に記載された従来の装置は、カメラが撮影した画像に設定された探索窓に検出対象物が存在するか否かを判定する際に、検出対象物の特徴を示す特徴データを用いる。たとえば、ニューラルネットワークを用いて検出対象物の有無を判定する場合、従来の装置は、検出対象物を含むサンプル画像に基づいて検出対象の物体の特徴を学習して、特徴データを生成する。

しかし、従来の装置が様々なサンプル画像を用いて学習しても、検出窓領域内に存在する検出対象物を検出できないことがある。たとえば、検出対象物が大きすぎて検出窓領域の範囲に収まらない場合、従来の装置は、検出対象物が検出窓領域に存在すると判定することができない。

本発明は、入力された画像から、検出対象物を高い精度で検出することができる物体検出装置を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、入力画像から歩行者を検出する物体検出装置であって、前記入力画像に対して前記歩行者を検出する検出窓領域を設定する検出窓設定部と、前記検出窓設定部により設定された検出窓領域内の画像を前記入力画像から切り出して通常窓画像を生成し、前記検出窓領域の中心に対する前記検出窓領域の各頂点の相対位置を変更させることなく、前記検出窓領域の中心を基準とした少なくとも１種類の画像処理を前記入力画像に対して個別に実行して前記入力画像から前記少なくとも１種類の画像処理の各々に対応する少なくとも１つの変更入力画像を生成し、前記検出窓領域内の画像を前記少なくとも１つの変更入力画像の各々から切り出して前記少なくとも１つの変更入力画像に対応する少なくとも１つの変更窓画像を生成する画像処理部と、前記歩行者の特徴を示す特徴データに基づいて、前記通常窓画像と前記少なくとも１つの変更窓画像とを含む、前記画像処理部により生成された全ての窓画像の各々から、前記歩行者が存在する可能性を示す度合いを算出する度合い算出部と、（１）前記度合い算出部により算出された全ての度合いの代表値を算出し、前記代表値に基づいて前記検出窓領域に前記歩行者が存在するか否かを判定するか、または、（２）前記度合い算出部により算出された全ての度合いの各々に基づいて前記全ての窓画像の各々に前記歩行者が存在するか否かを判定し、前記全ての窓画像の各々の判定結果に基づいて前記検出窓領域に前記歩行者が存在するか否かを判定する判定部と、を備える。

請求項２記載の発明は、請求項１に記載の物体検出装置であって、前記判定部は、前記代表値として前記全ての度合いの合計値を算出する合計値算出部と、前記合計値に基づいて、前記検出窓領域に前記歩行者が存在するか否かを判定する最終判定部と、を備える。

請求項３記載の発明は、請求項２に記載の物体検出装置であって、前記合計値算出部は、前記全ての窓画像の各々に対して設定された重み付け係数を前記全ての窓画像の各々に対応する度合いに乗算し、重み付け係数が乗算された前記全ての度合いを合計する。

請求項４記載の発明は、入力画像から歩行者を検出する物体検出方法であって、前記入力画像に対して前記歩行者を検出する検出窓領域を設定するステップと、設定された検出窓領域内の画像を前記入力画像から切り出して通常窓画像を生成するステップと、前記検出窓領域の中心に対する前記検出窓領域の各頂点の相対位置を変更させることなく、前記検出窓領域の中心を基準とした少なくとも１種類の画像処理を前記入力画像に対して個別に実行して前記入力画像から少なくとも１種類の画像処理に対応する少なくとも１つの変更入力画像を生成するステップと、前記検出窓領域内の画像を前記少なくとも１つの変更入力画像の各々から切り出して前記少なくとも１つの変更入力画像に対応する少なくとも１つの変更窓画像を生成するステップと、前記歩行者の特徴を示す特徴データに基づいて、前記通常窓画像と前記少なくとも１つの変更窓画像とを含む、生成された全ての窓画像の各々から、前記歩行者が存在する可能性を示す度合いを算出するステップと、（１）算出された全ての度合いの代表値を算出し、前記代表値に基づいて前記検出窓領域に前記歩行者が存在するか否かを判定する処理、または、（２）算出された全ての度合いの各々に基づいて前記全ての窓画像の各々に前記歩行者が存在するか否かを判定し、前記全ての窓画像の各々の判定結果に基づいて前記検出窓領域に前記歩行者が存在するか否かを判定する処理のいずれかを実行するステップと、を備える。

本発明の物体検出装置は、入力画像の検出窓領域から切り出した通常窓画像と、検出窓領域の中心を基準とした画像処理を入力画像に対して実行して変更入力画像を生成し、検出窓領域内の画像を変更入力画像から切り出して変更窓画像を生成する。物体検出装置は、画像処理部により生成された全ての窓画像の各々から歩行者が存在する可能性を示す度合いを算出する。物体検出装置は、（１）算出された全ての度合いの代表値を算出し、算出した代表値に基づいて検出窓領域に歩行者が存在するか否かを判定するか、または、（２）算出された全ての度合いの各々に基づいて全ての窓画像の各々に歩行者が存在するか否かを判定し、全ての窓画像の各々の判定結果に基づいて検出窓領域に歩行者が存在するか否かを判定する。このように、物体検出装置は、一つの検出窓領域から複数の窓画像を生成するため、検出窓領域に歩行者が存在するか否かを高精度で判定することができる。

本発明の第１の実施の形態による物体検出装置の構成を示す機能ブロック図である。 図１に示す物体検出装置の動作を示すフローチャートである。 図１に示す物体検出装置に入力される撮影画像の一例を示す図である。 図３に示す撮影画像から切り出される窓画像を示す図である。 図３に示す撮影画像から生成される変更窓画像を示す図である。 図１に示す記憶部に格納される特徴データの生成に用いられるサンプル画像データの一例を示す図である。 図１に示す記憶部に格納される特徴データの生成に用いられるサンプル画像データの一例を示す図である。 図２に示す判定処理の詳細を示すフローチャートである 図１に示す記憶部に格納される係数テーブルを示す図である。 図３に示す検出窓領域の窓画像及び変更窓画像の一致率と乗算値とを示す表である。 図３に示す検出窓領域の窓画像及び変更窓画像を示す図である。 本発明の第２の実施の形態による物体検出装置が実行する判定処理の結果を示す図である。 本発明の第２の実施の形態による物体検出装置が実行する判定処理のフローチャートである。

以下、図面を参照しつつ、本発明の実施の形態について説明する。

［第１の実施の形態］
｛全体構成｝
図１は、本発明の第１の実施の形態に係る物体検出装置１の機能ブロック図である。物体検出装置１は、カメラ（図示省略）が撮影した撮影画像から、検出対象物が存在するか否かを判定する装置である。物体検出装置１は、カメラとともに車両に搭載される。本実施の形態では、検出対象物は、人物（歩行者）である。図１に示すように、物体検出装置１は、検出窓設定部１１と、画像処理部１２と、度合い算出部１３と、判定部１４とを備える。

検出窓設定部１１は、カメラから画像データ２０を入力する。画像データ２０は、カメラが撮影した画像であり、フレーム単位で入力される。検出窓設定部１１は、カメラから入力されたフレーム（以下、撮影画像２１と呼ぶ。）に対して検出窓領域を設定する。検出窓領域は、撮影画像２１に歩行者が存在するか否かを判定する単位領域である。検出窓領域内の画像が撮影画像２１から切り出されることによって、通常窓画像２２が生成される。

画像処理部１２は、撮影画像２１に対して、予め設定されている内容の画像処理を行うことにより、変更撮影画像を生成する。たとえば、画像処理部１２は、撮影画像２１を所定の倍率で拡大する。画像処理部１２は、拡大された撮影画像２１（変更撮影画像）から検出窓領域の画像を切り出すことにより、変更窓画像２３を作成する。検出窓領域のサイズは、撮影画像２１が拡大される際に、変更されないため、通常窓画像２２のサイズと、変更窓画像２３のサイズは同じである。

なお、変更窓画像２３の数は、一つであってもよいし、複数であってもよい。複数の変更窓画像２３，２３，・・・が生成される場合、画像処理部１２は、変更窓画像２３の数に応じた複数種類の画像処理を実行する。３つの変更窓画像２３が作成される場合、画像処理部１２は、たとえば、撮影画像２１に対して、拡大処理、縮小処理、及び回転処理をそれぞれ実行することにより、３つの変更撮影画像を生成する。画像処理部１２は、３つの変更画像から検出窓領域の画像を切り出すことにより、それぞれの画像処理の内容に応じた３つの変更窓画像２３，２３，・・・を作成する。

度合い算出部１３は、記憶部１５に格納されている特徴データ５１に基づいて、通常窓画像２２及び変更窓画像２３に歩行者がそれぞれ存在する可能性を示す度合い（以下、「一致率」と呼ぶ。）を算出する。変更窓画像２３が複数である場合、度合い算出部１３は、それぞれの変更窓画像の一致率を算出する。一致率の算出には、たとえば、ニューラルネットワークや、サポートベクターマシンなどのアルゴリズムが用いられる。これらのアルゴリズムを用いる場合、度合い算出部１３は、歩行者が存在する画像から歩行者の特徴を抽出して、特徴データ５１を予め作成しておく必要がある。

判定部１４は、通常窓画像２２の一致率及び変更窓画像２３の一致率に基づいて、検出窓領域に歩行者が存在するか否かを判定する。具体的は、判定部１４は、通常窓画像２２の一致率と、変更窓画像２３の一致率に対して重み付け係数５２を乗算する。重み付け係数５２は、検出窓領域の位置に関係なく、通常窓画像２２と変更窓画像２３のそれぞれに対して同じ値が設定される。変更窓画像２３が複数である場合、重み付け係数５２は、それぞれの変更窓画像２３を生成するために行われた画像処理の内容に応じて設定される。判定部１４は、各窓画像の乗算値を合計した値に基づいて、検出窓領域に歩行者が存在するか否かを判定する。判定結果は、結果データ２５として判定部１４から出力される。

記憶部１５は、たとえば、ハードディスク装置やフラッシュメモリなどである。記憶部１５は、特徴データ５１及び各窓画像の重み付け係数５２を格納する。

｛物体検出装置１の動作｝
以下、物体検出装置１の動作について、３種類の変更窓画像が生成される場合を例にして説明する。図２は、物体検出装置１の動作を示すフローチャートである。物体検出装置１は、カメラからフレーム（撮影画像２１）が入力されるたびに、図２に示す処理を実行する。

検出窓設定部１１は、撮影画像２１に対して、検出窓領域を一つ設定する（ステップＳ１）。検出窓領域は、撮影画像２１を左上から右下へ走査するように設定される。検出窓領域は、他の検出窓領域と一部の領域が重複することが望ましい。これにより、歩行者が撮影画像２１に存在する場合、歩行者を漏れなく検出することが可能となる。

図３は、撮影画像２１の一例を示す図である。歩行者が縦に長いため、検出窓領域４１〜４３は、縦長の長方形となる。以下、特に説明のない限り、ステップＳ１において、検出窓領域４１が設定された場合を例にして、物体検出装置１の動作を説明する。

図４は、図３に示す撮影画像２１から切り出された窓画像を示す図である。検出窓設定部１１は、撮影画像２１から検出窓領域４１に設定された領域内の画像を通常窓画像３２として切り出す（ステップＳ２）。

図５は、画像処理部１２によって作成される変更窓画像の一例を示す図である。画像処理部１２は、撮影画像２１に対して、拡大、縮小及び回転の画像処理を行う（ステップＳ３）。画像処理部１２は、拡大、縮小及び回転されたそれぞれの撮影画像２１から、拡大窓画像３３Ａ、縮小窓画像３３Ｂ及び回転窓画像３３Ｃを切り出す（ステップＳ４）。以下、拡大窓画像３３Ａ、縮小窓画像３３Ｂ、及び回転窓画像３３Ｃを総称して、「変更窓画像３３」と呼ぶ。

ステップＳ３，Ｓ４の処理について具体的に説明する。画像処理部１２は、撮影画像２１の中心Ｏを原点とした絶対座標を用いて、撮影画像２１の画素の位置と、検出窓領域４１の位置とを特定している。画像処理部１２は、回転窓画像３３Ｃを生成する場合、検出窓領域４１の中心である点４１Ｐを中心にして、撮影画像２１の各画素を右方向に３０度回転させる。回転処理が行われた撮影画像２１の画素の位置は変化するが、画像処理部１２は、検出窓領域４１の各頂点の座標を回転させない。この結果、図４及び図５に示すように、回転窓画像３３Ｃとして切り出される領域は、通常窓画像３２として切り出される領域と異なることになる。

拡大窓画像３３Ａを生成する場合、画像処理部１２は、点４１Ｐを中心にして、撮影画像２１の拡大処理を行う。画像処理部１２は、拡大された撮影画像２１から検出窓領域４１の画像を切り出すことにより、拡大窓画像３３Ａを生成する。縮小窓画像３３Ｂを生成する場合、画像処理部１２は、点４１Ｐを中心にして、撮影画像２１の縮小処理を行う。画像処理部１２は、縮小された撮影画像２１から検出窓領域４１の画像を切り出すことにより、縮小窓画像３３Ｂを生成する。この結果、図４及び図５に示すように、拡大窓画像３３Ａとして切り出される領域は、検出窓領域４１よりも狭くなる。逆に、縮小窓画像３３Ｂとして切り出される領域は、検出窓領域４１よりも広くなる。なお、画像処理部１２は、通常窓画像３２に対して拡大、縮小及び回転処理を行うことにより、変更窓画像３３を生成してもよい。

次に、度合い算出部１３は、それぞれの窓画像内に歩行者が存在する可能性を示す度合い（一致率）を算出する（ステップＳ５）。一致率は、各窓画像に対してニューラルネットワーク処理を行うことにより算出される。本実施の形態において、一致率は、０以上１以下の数値である。一致率は、歩行者が窓画像に存在する可能性が高いほど、１に近づく。

度合い算出部１３は、ニューラルネットワークを用いて一致率を算出するにあたり、特徴データ５１を前もって生成しておく必要がある。ここで、特徴データ５１の生成について説明する。

度合い検出部１３は、図２に示す処理を開始する前に、検出窓領域４１と同一のサイズであり、歩行者（人物）を含むサンプル画像データ５５，５５，・・・（図６及び図７参照）を入力する。サンプル画像データ５５として、正規化された画像データのグループか、正規化されていない画像データのグループのいずれかが入力される。度合い算出部１３は、入力されたサンプル画像データ５５に基づいて、検出窓領域４１と同サイズの画像における人物のパターンを学習する。度合い算出部１３は、複数のサンプル画像データ５５，５５，・・・に基づく学習結果を、一つの特徴データ５１として記憶部１５に格納する。

図６は、正規化されているサンプル画像データ５５を示す図である。図６に示すサンプル画像データ５５は、人物の大きさ、頭の位置、足の位置などがほぼ同じである。正規化されているサンプル画像データ５５に基づいて特徴データ５１が生成されていた場合、度合い算出部１３が、人物を含まない窓画像に対して、１に近い一致率を算出すること防ぐことができる。

図７は、正規化されていないサンプル画像データ５５を示す図である。図７に示すサンプル画像データ５５では、歩行者の大きさや、画像内における歩行者の位置がばらついている。このようなサンプル画像データ５５に基づいて特徴データ５１が生成されていた場合、度合い算出部１３は、通常窓画像３２内における歩行者の位置や大きさに関係なく、通常窓画像３２に対する一致率として、１に近い値を算出することができる。

しかし、正規化されているサンプル画像データ５５と、正規化されていないサンプル画像データ５５とのいずれを用いて特徴データ５１を生成しても、誤検出を完全に防ぐことは困難である。たとえば、撮影画像２１の撮影場所から遠い位置にいる歩行者は、小さく撮影される。正規化されているサンプル画像データ５５に基づく特徴データ５１を用いた場合、度合い算出部１３は、遠くに位置する歩行者を含む窓画像に対して、１に近い一致率を算出することができない。これに対して、正規化されていないサンプル画像データ５５に基づく特徴データ５１を用いた場合、度合い判定部１３は、遠くに位置する歩行者を含む窓画像に対して、１に近い一致率を算出することができる。しかし、正規化されていないサンプル画像データ５５は、様々な人物のパターンを含んでいる。このため、度合い判定部１３は、人物を含まない窓画像に対して、１に近い一致率を算出する可能性がある。

したがって、通常窓画像３２のみを用いて検出窓領域４１における歩行者の有無を判定した場合、サンプル画像データ５５が正規化されているか否かに関わらず、歩行者の誤検出が発生する場合がある。物体検出装置１は、通常窓画像３２の一致率に加えて、変更窓画像３３の一致率を用いることにより、検出窓領域４１に歩行者が存在するか否かを高い精度で判定することができる。この理由については、後述する。

判定部１４は、通常窓画像３２及び変更窓画像３３のそれぞれの一致率に基づいて、検出窓領域４１に歩行者が存在するか否かを判定する（ステップＳ６）。ステップＳ６の詳細は、後述する。

次に、検出窓設定部１１は、撮影画像２１に対する検出窓領域の設定が終了したか否かを確認する（ステップＳ７）。検出窓領域の設定が終了していない場合（ステップＳ７においてＮｏ）、検出窓設定部１１は、新たな検出窓領域を設定するために、ステップＳ１に戻る。一方、検出窓領域の設定が終了した場合（ステップＳ７においてＹｅｓ）、物体検出装置１は、図２に示す処理を終了する。物体検出装置１は、新たなフレーム（撮影画像２１）が入力された場合、図２に示す処理を再び実行する。

｛判定処理（ステップＳ６）｝
以下、判定処理（ステップＳ６）の詳細を説明する。図８は、判定処理（ステップＳ６）のフローチャートである。

判定部１４は、記憶部１５から重み付け係数５２を取得する（ステップＳ６１１）。図９は、重み付け係数５２が設定された係数テーブル５３の一例を示す図である。図９に示すように、係数テーブル５３には、画像処理の内容（拡大、縮小及び回転）に応じた重み付け係数５２，５２，・・・が設定されている。重み付け係数５２は、各窓画像から算出された一致率に乗算される係数である。画像処理なしの窓画像（通常窓画像３２）に対して設定された重み付け係数５２は、１．８である。拡大窓画像３３Ａ、縮小窓画像３３Ｂ及び回転窓画像３３Ｃに対して設定された重み付け係数は、それぞれ、１．４、１．４及び１．２である。図９に示す例では、通常窓画像３２の一致率の重み付け係数が最大となっているが、それぞれの重み付け係数を適宜変更してもよい。

判定部１４は、各窓画像の一致率に対して重み付け係数を乗算して、乗算値を算出する（ステップＳ６１２）。図１０に、検出窓領域４１〜４３に対応する窓画像から算出された一致率と乗算値の具体例を示す。各窓画像の数値（カッコなし）は、各窓画像の乗算値である。窓画像のカッコ内の数値は、各窓画像の一致率である。判定部１４は、検出窓領域４１の窓画像ごとに算出された乗算値を合計する（ステップＳ６１３）。図１０に示す合計値は、各窓画像の乗算値の合計値である。

判定部１４は、検出窓領域４１における歩行者の有無を判定するために、予め設定されたしきい値と、各窓画像の乗算値を合計した合計値（４．６３）とを比較する（ステップＳ６１４）。判定部１４に設定されたしきい値が、３．５であるとする。この場合、検出窓領域４１の合計値（４．６３）が閾値よりも大きいため（ステップＳ６１４においてＹｅｓ）、判定部１４は、検出窓領域４１に検出対象物（歩行者）が存在すると判定する（ステップＳ６１５）。

一方、歩行者を含まない検出窓領域４３に対して判定処理を行った場合、合計値は、しきい値（３．５）よりも小さくなる（ステップＳ６１４においてＮｏ）。この場合、判定部１４は、検出窓領域４３に歩行者が存在しないと判定する（ステップＳ６１６）。

次に、検出窓領域４２を例にして、物体検出装置１が、検出窓領域に歩行者が存在するか否かを高精度で判定できる理由を説明する。

図１１に、検出窓領域４２における窓画像３４と、拡大窓画像３５Ａとを示す。拡大窓画像３５Ａにおける歩行者４２Ａのサイズは、正規化されたサンプル画像データ５５（図６参照）内の人物のサイズとほぼ同じである。このため、検出窓領域４２の一致率（図１０参照）において、拡大窓画像３５Ａの一致率が最大（０．９５）となっていることが分かる。一方、窓画像３４において、歩行者４２Ａは、正規化されたサンプル画像データ５５（図６参照）内の人物よりも小さい。このため、窓画像３４の一致率は、中間的な値（０．５５）となっている。これは、検出窓領域４２に歩行者が存在するか否かを窓画像３４のみを用いて判断した場合、検出窓領域４２に歩行者が存在しないと判定されるおそれがある。しかし、物体検出装置１は、窓画像３４だけでなく、拡大窓画像３５Ａを用いて、歩行者が検出窓領域４２に存在するか否かを判定する。これにより、検出窓領域４２に歩行者が存在するか否かを高精度で判定することが可能となる。

図３に示していないが、撮影画像２１において、検出窓領域４２よりも大きいサイズの歩行者が存在する場合がある。この場合、物体検出装置１は、１に近い一致率を窓画像から算出することはできない。しかし、撮影画像２１を縮小することにより生成された縮小窓画像は、歩行者の全身を含む可能性がある。この場合、物体検出装置１は、縮小窓画像から、１に近い一致率を得ることができる。したがって、窓画像３４のみからでは歩行者を検出できない場合であっても、歩行者が検出窓領域に存在するか否かを高精度で検出できる。

また、正規化されていないサンプル画像データ５５，５５，・・・は、図７に示すように、人物のパターンが一定でない。このため、正規化されていないサンプル画像データ５５に基づく特徴データ５１により算出された場合、歩行者を含む窓画像の一致率が中間的な値（たとえば、０．４〜０．６程度）となる可能性がある。この場合、一つの窓画像だけでは、歩行者が存在するか否かを判定することが困難である。しかし、物体検出装置１は、複数の窓画像の一致率を用いることにより、検出窓領域に歩行者が存在するか否かを高精度で判定できる。

［第２の実施の形態］
以下、本発明の第２の実施の形態について説明する。第２の実施の形態については、第１の実施の形態と異なる部分を中心に説明する。

第２の実施の形態では、判定処理（ステップＳ６、図２参照）の内容が異なる。判定部１４は、判定処理（ステップＳ６）において、歩行者が存在するか否かを窓画像ごとに判定し、各窓画像の判定結果に基づいて、検出窓領域に歩行者がいるか否かを最終的に判断する。

以下、検出窓領域４１における歩行者の有無を判定する場合を例にして、本実施の形態について詳しく説明する。図１２は、本実施の形態における、各窓画像の一致率と、各検出窓領域の判定結果とを示す図である。図１２に示す各窓画像の一致率は、図１０に示す値と同じである。

物体検出装置１は、図２に示すステップＳ１〜Ｓ５の処理を実行して、検出窓領域４１の各窓画像（通常窓画像３２及び変更窓画像３３）の一致率を算出する。そして、判定部１４は、判定処理（ステップＳ６）として、図１３に示す処理を実行する。

図１３は、第２の実施の形態における判定処理の内容を示すフローチャートである。以下、検出窓領域４１における歩行者の有無を判定する場合を例に説明する。判定部１４は、通常窓画像３２及び変更窓画像３３の中から、判定対象の窓画像を指定し（ステップＳ６２１）、指定した窓画像に歩行者が存在するか否かを判定する（ステップＳ６２２）。判定部１４には、歩行者が存在するか否かを窓画像ごとに判定するためのしきい値が予め設定されている。判定部１４は、しきい値と、指定した窓画像の一致率とを比較して、各窓画像に歩行者が存在するか否かを判定する。

ここで、しきい値が０．８に設定され、通常窓画像３２が判定対象に指定されている場合を考える。判定部１４は、通常窓画像３２の一致率（０・９５）がしきい値を超えているため（ステップＳ６２２においてＹｅｓ）、歩行者が通常窓画像３２に存在すると判定する（ステップＳ６２３）。

判定部１４は、検出窓領域４１における歩行者の有無を判定するために生成された窓画像（通常窓画像３２及び変更窓画像３３）の全てを指定したか否かを確認する（ステップＳ６２５）。全ての窓画像を指定していない場合（ステップＳ６２５においてＮｏ）、判定部１４は、ステップＳ６２１の処理に戻る。これにより、ステップＳ６２２の処理が、全ての窓画像に対して行われる。図１２に示すように、拡大窓画像３３Ａ、縮小窓画像３３Ｂ及び回転窓画像３３Ｃの一致率は、それぞれ、０．７５、０．６５及び０．８０であり、しきい値以下である（ステップＳ６２２においてＮｏ）。このため、判定部１４は、歩行者が拡大窓画像３３Ａ、縮小窓画像３３Ｂ及び回転窓画像３３Ｃに存在しないと判定する（ステップＳ６２４）。

全ての窓画像が指定されていた場合（ステップＳ６２５においてＹｅｓ）、判定部１４は、通常窓画像３２及び変更窓画像３３の判定結果に基づいて、検出窓領域４１に歩行者が存在するか否かを判定する。具体的には、判定部１４は、歩行者が存在すると判定された窓画像が一つ以上ある場合（ステップＳ６２６においてＹｅｓ）、歩行者が検出窓領域４１に存在すると判定する（ステップＳ６２７）。歩行者が存在すると判定された窓画像が一つもない場合（ステップＳ６２６においてＮｏ）、判定部１４は、検出窓領域４１に歩行者が存在しないと判定する（ステップＳ６２８）。

なお、判定部１４は、ステップＳ６２６において、他の判定基準を用いて、検出窓領域４１に歩行者が存在するか否かを判定してもよい。たとえば、歩行者が存在すると判定された窓画像の数が過半数以上である場合、判定部１４は、検出窓領域４１に歩行者が存在すると判定してもよい。あるいは、歩行者が存在しないと判定された窓画像が一つでも存在する場合、判定部１４は、歩行者が検出窓領域４１に存在しないと判定してもよい。また、判定部１４は、ステップＳ６２２の処理において、画像処理の内容に応じたしきい値を設定していてもよい。また、判定部１４は、Ｓ６２２において、検出窓領域４１の通常窓画像２２及び変更窓画像２３の一致率に重み付け係数５２を乗算してもよい。この場合、乗算値が１以上の値となる場合があるため、乗算値に応じたしきい値が設定される。

以上説明したように、第２の実施の形態において、判定部１４は、歩行者が存在するか否かを判定する処理を窓画像ごとに行い、各窓画像の判定結果に基づいて、検出窓領域に歩行者が存在するか否かを最終的に判定する。第２の実施の形態の物体検出装置１は、各窓画像の一致率に重み付け係数を乗算することなく、検出窓領域に歩行者が存在するか否かを判定することが可能となる。

上記第１及び第２の実施の形態において、画像処理部１２は、ステップＳ３（図２参照）の処理で、拡大率の異なる複数の変更窓画像３３を生成してもよい。判定部１４は、第１の実施の形態の判定処理（ステップＳ６）を実行する場合、拡大率に応じて異なる重み付け係数５２を設定してもよい。縮小及び回転処理についても同様である。

上記第１及び第２の実施の形態では、ステップＳ３の画像処理の例として、拡大、縮小、及び回転処理を説明した。物体検出装置１は、上記の画像処理の他にも、様々な画像処理を実行してもよい。以下、画像処理部１２が撮影画像２１に対して実行する画像処理の具体例を説明する。

画像処理部１２は、撮影画像２１に対してホワイトノイズを付与して変更窓画像を生成してもよい。また、画像処理部１２は、ホワイトノイズだけでなく、ガウスノイズなど様々なノイズを付与し、ノイズの種類に応じた変更窓画像２３を生成してもよい。あるいは、画像処理部１２は、複数の強度のノイズを撮影画像２１に設定し、各強度に対応する複数の変更窓画像２３を生成してもよい。

画像処理部１２は、撮影画像２１に対して、台形変換処理を実行してもよい。台形変換処理は、撮影画像のサイズを変換する処理の一種であり、撮影画像２１の縮小率（または拡大率）を縦軸方向に沿って変化させる処理である。台形変換処理においても、縮小率の変化率が異なる複数の変更窓画像を生成してもよい。

画像処理部１２は、撮影画像２１の中心を通る縦軸（または横軸）を中心にして、撮影画像２１を反転させてもよい。つまり、画像処理部１２は、撮影画像２１を通る任意の直線を中心にして、撮影画像２１を反転する処理を行ってもよい。

画像処理部１２は、撮影画像２１のコントラストを変更する画像処理を行ってもよい。具体的には、画像処理部１２は、撮影画像２１の画素の輝度分布（ヒストグラム）を変形して、画素の平均値や分散値を調整する。これにより、夜間に撮影された画像であっても、歩行者が存在するか否かを高精度で検出することができる。

上記第１及び第２の実施の形態では、物体検出装置１が、カメラ（図示省略）が撮影した撮影画像２１から歩行者を検出する処理をリアルタイムで実行する例を説明した。しかし、物体検出装置１は、ハードディスク装置などの記憶装置に格納されている画像に対して、上記の物体検出処理を行ってもよい。

１ 物体検出装置
１１ 検出窓設定部
１２ 画像処理部
１３ 度合い算出部
１４ 判定部
１５ 記憶部

Claims (4)

1. 入力画像から歩行者を検出する物体検出装置であって、
   前記入力画像に対して前記歩行者を検出する検出窓領域を設定する検出窓設定部と、
   前記検出窓設定部により設定された検出窓領域内の画像を前記入力画像から切り出して通常窓画像を生成し、前記検出窓領域の中心に対する前記検出窓領域の各頂点の相対位置を変更させることなく、前記検出窓領域の中心を基準とした少なくとも１種類の画像処理を前記入力画像に対して個別に実行して前記入力画像から前記少なくとも１種類の画像処理の各々に対応する少なくとも１つの変更入力画像を生成し、前記検出窓領域内の画像を前記少なくとも１つの変更入力画像の各々から切り出して前記少なくとも１つの変更入力画像に対応する少なくとも１つの変更窓画像を生成する画像処理部と、
   前記歩行者の特徴を示す特徴データに基づいて、前記通常窓画像と前記少なくとも１つの変更窓画像とを含む、前記画像処理部により生成された全ての窓画像の各々から、前記歩行者が存在する可能性を示す度合いを算出する度合い算出部と、
   （１）前記度合い算出部により算出された全ての度合いの代表値を算出し、前記代表値に基づいて前記検出窓領域に前記歩行者が存在するか否かを判定するか、または、（２）前記度合い算出部により算出された全ての度合いの各々に基づいて前記全ての窓画像の各々に前記歩行者が存在するか否かを判定し、前記全ての窓画像の各々の判定結果に基づいて前記検出窓領域に前記歩行者が存在するか否かを判定する判定部と、
   を備える物体検出装置。
2. 請求項１に記載の物体検出装置であって、
   前記判定部は、
   前記代表値として前記全ての度合いの合計値を算出する合計値算出部と、
   前記合計値に基づいて、前記検出窓領域に前記歩行者が存在するか否かを判定する最終判定部と、
   を備える物体検出装置。
3. 請求項２に記載の物体検出装置であって、
   前記合計値算出部は、前記全ての窓画像の各々に対して設定された重み付け係数を前記全ての窓画像の各々に対応する度合いに乗算し、重み付け係数が乗算された前記全ての度合いを合計する物体検出装置。
4. 入力画像から歩行者を検出する物体検出方法であって、
   前記入力画像に対して前記歩行者を検出する検出窓領域を設定するステップと、
   設定された検出窓領域内の画像を前記入力画像から切り出して通常窓画像を生成するステップと、
   前記検出窓領域の中心に対する前記検出窓領域の各頂点の相対位置を変更させることなく、前記検出窓領域の中心を基準とした少なくとも１種類の画像処理を前記入力画像に対して個別に実行して前記入力画像から少なくとも１種類の画像処理に対応する少なくとも１つの変更入力画像を生成するステップと、
   前記検出窓領域内の画像を前記少なくとも１つの変更入力画像の各々から切り出して前記少なくとも１つの変更入力画像に対応する少なくとも１つの変更窓画像を生成するステップと、
   前記歩行者の特徴を示す特徴データに基づいて、前記通常窓画像と前記少なくとも１つの変更窓画像とを含む、生成された全ての窓画像の各々から、前記歩行者が存在する可能性を示す度合いを算出するステップと、
   （１）算出された全ての度合いの代表値を算出し、前記代表値に基づいて前記検出窓領域に前記歩行者が存在するか否かを判定する処理、または、（２）算出された全ての度合いの各々に基づいて前記全ての窓画像の各々に前記歩行者が存在するか否かを判定し、前記全ての窓画像の各々の判定結果に基づいて前記検出窓領域に前記歩行者が存在するか否かを判定する処理のいずれかを実行するステップと、
   を備える物体検出方法。

Images