JP4879229B2 - 歩行者検出装置及びプログラム - Google Patents

Description

本発明は、歩行者検出装置及びプログラムに係り、特に、撮像した画像から歩行者を検出する歩行者検出装置及びプログラムに関する。

近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者などの対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。

歩行者を検出する方法として、例えば、撮像画像と歩行者を示すパターン画像とのマッチングを行って歩行者を検出する方法があるが、この場合、歩行者を示すパターン画像と似た形状の看板や標識などを歩行者として誤検出してしまう場合がある。そこで、レーダを用いて車両前方の物体が静止物体か非静止物体かを判定し、静止物体と判定された物体のうち車両の前方を撮像した画像に基づいて、自車の進路上に存在しないと判定された物体を検知対象から除外することにより、路傍の看板やガードレールなど、自車の進路上に存在しない静止した物体が障害物として誤って検出されることを防ぐ障害物検知方法が提案されている（例えば、特許文献１）。
特開２００４−１７１２９５号公報

しかしながら、特許文献１の障害物検知方法では、路傍に静止している歩行者も検知対象外であるとして除外されてしまうため、適切に歩行者を検出することができない、という問題がある。

本発明は、上述した問題を解決するために提案されたものであり、誤検出を防止して、歩行者を適切に検出することができる歩行者検出装置及びプログラムを提供することを目的とする。

上記目的を達成するために本発明の歩行者検出装置は、入力画像から所定領域の画像を抽出する抽出手段と、前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、前記候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値以上の抽出画像を歩行者を示す画像として検出する検出手段と、を含んで構成されている。

本発明の歩行者検出装置によれば、抽出手段が、入力画像から所定領域の画像を抽出し、候補画像判定手段が、抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、抽出画像が歩行者を検出するための候補画像であるか否かを判定する。ここで、明らかに歩行者のパターン画像と一致しないものは候補画像として判定されることはないが、標識や看板など形状が歩行者に似ている物体の画像が候補画像であると判定される場合もある。

そこで、検出手段が、候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値以上の抽出画像を歩行者を示す画像として検出する。

また、本発明の歩行者検出装置は、入力画像から所定領域の画像を抽出する抽出手段と、前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、前記候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値未満の抽出画像を候補画像から削除することにより、歩行者を示す画像を検出する検出手段と、を含んで構成されている。

本発明の歩行者検出装置によれば、検出手段は、候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値未満の抽出画像を候補画像から削除することにより、歩行者を示す画像を検出する。

このように、歩行者と、人工物である標識や看板とでは、形状は似ていても濃度値（または輝度値）等の画素値を詳細に分析すると、歩行者の場合には周波数分析結果の所定周波数のパワースペクトル密度が所定値以上となる割合が高い、という特徴を示すことを利用して、候補画像の中から歩行者を示す画像を適切に抽出したり、標識や看板等の誤検出の対象となる物体を示す画像を候補画像から削除したりすることで、適切に歩行者を検出することができる。

また、本発明の歩行者検出プログラムは、コンピュータを、入力画像から所定領域の画像を抽出する抽出手段と、前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、前記候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値以上の抽出画像を歩行者を示す画像として検出する検出手段として機能させるためのものである。

また、本発明の歩行者検出プログラムは、コンピュータを、入力画像から所定領域の画像を抽出する抽出手段と、前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、前記候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値未満の抽出画像を候補画像から削除することにより、歩行者を示す画像を検出する検出手段として機能させるためのものである。

以上説明したように、本発明によれば、誤検出を防止して、歩行者を適切に検出することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１に示すように、本実施の形態に係る歩行者検出装置１０は、識別対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて歩行者を検出する歩行者検出処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。

撮像装置１２は、識別対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１６は、歩行者検出装置１０全体の制御を司るＣＰＵ、後述する歩行者検出処理ルーチンのプログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２により撮像された撮像画像から所定領域を抽出するウインドウ画像抽出部２２と、ウインドウ画像抽出部２２で抽出された画像が歩行者を検出するための候補画像となるか否かを判定する候補画像判定部２６と、候補画像判定部２６により候補画像であると判定されたウインドウ画像のうち特定対象物を示す画像を除去する特定対象物除去部２８と、撮像装置１２によって撮像された撮像画像に、特定対象物除去部２８を通過したウインドウ画像に基づく検出結果を重畳させて表示装置１８に表示するよう制御する表示制御部３０とを含んだ構成で表すことができる。

ウインドウ画像抽出部２２は、撮像画像から歩行者を検出する際に、入力画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ピッチと呼称）だけ移動させながら画像を切り取り、切り取った画像（ウインドウ画像と称呼）から歩行者を検出する。この移動量は、所定数の画素で定められている。また、ウインドウ画像抽出部２２は、抽出したウインドウ画像を予め設定された画素数の画像（例えば横１６×縦３２画素の画像）に変換する。

候補画像判定部２６は、ウインドウ画像抽出部２２により抽出されたウインドウ画像に対してパターンマッチングの画像処理を行って、パターン画像とのマッチングにより、ウインドウ画像が検出対象である歩行者の候補画像であるか否かを判定する。パターン画像は、記憶手段としてのハードディスクドライブ（ＨＤＤ）やＣＤ−ＲＯＭ等のような内蔵または外付けの記憶媒体に記憶されている。候補画像判定部２６で歩行者の候補画像として判定されたウインドウ画像の中には、歩行者に形状が似ている標識や看板などの画像が含まれる場合もある。

特定対象物除去部２８は、候補画像判定部２６で歩行者の候補画像として判定されたウインドウ画像の横ライン毎の画素値の和、及び縦ライン毎の画素値の和をプロジェクション値として求め、求めたプロジェクション値を結合し、周波数分析を行ってパワースペクトル密度（またはパワースペクトル）を算出し、所定周波数のパワースペクトル密度が所定値未満の場合には、特定対象物であると判断してウインドウ画像を削除することにより、候補画像から特定対象物を除去する。

次に、図２を参照して、本実施の形態の歩行者検出の処理ルーチンについて説明する。

ステップ１００で、撮像装置１２で撮像された画像が入力され、次に、ステップ１０２で、入力画像に対して例えば１６×３２画素の探索ウインドウを入力画像の所定領域（例えば、左角の領域）に設定し、設定した探索ウインドウを用いて、入力画像から、例えば１６×３２画素のウインドウ画像を抽出する。

次に、ステップ１０４で、抽出されたウインドウ画像と歩行者のパターン画像とのパターンマッチングを行ってマッチング度を算出し、次のステップ１０６で、ウインドウ画像が検出対象である歩行者を示す画像の候補となるか否かを判断する。ステップ１０４で算出したマッチング度が所定値以上であれば歩行者の候補画像であると判断してステップ１０８へ進み、マッチング度が所定値未満であると判断した場合には、ステップ１１０へ進む。

ステップ１０８で、後述する特定対象物除去の処理を実行し、次に、ステップ１１０で、入力画像全体について探索ウインドウをスキャンして探索が終了したか否かを判定する。終了していない場合は、ステップ１１２へ進み、探索ウインドウの位置を予め定められた探索ピッチだけ移動させて、ステップ１０２に戻り、ステップ１０２〜ステップ１１０までの処理を繰り返す。画像全体の探索を終了すると、ステップ１１４へ進む。

なお、探索ウインドウは歩行者を検出するためのウインドウ画像を抽出するためのフレームとして用いられているが、探索ウインドウのサイズが異なれば、様々なサイズの人物を検出することができる。そこで、様々なサイズの探索ウインドウを予め用意しておき、各々の探索ウインドウで画像全体を探索するようにしてもよい。

次に、ステップ１１４で、後述する特定対象物除去処理でリストに保存した情報に基づいて、入力画像に対して、検出された歩行者がウインドウで囲まれて表示されるように表示装置１８を制御する。

次に、特定対象物除去処理の原理について説明する。ここでは、除去すべき特定対象物が標識の場合を例に説明する。また、各画素の画素値として０（黒）〜２５５（白）の数値で表される濃度値を用いる。

図３に示すように、ウインドウ画像３２の横方向（矢印Ａの方向）に並んだ１行目の画素ラインに含まれる画素の濃度値の和を１行目のプロジェクション値として算出する。次に、２行目のプロジェクション値を同様に算出し、最終行まで各行のプロジェクション値を同様に算出する。算出したプロジェクション値からウインドウ画像の縦方向の位置の変化に対する濃度値の分布を示すグラフ３４を得ることができる。

また同様に、ウインドウ画像３２の縦方向（矢印Ｂの方向）に並んだ１列目の画素ラインに含まれる画素の濃度値の和を１列目のプロジェクション値として算出し、最終列まで各列のプロジェクション値を同様に算出する。算出したプロジェクション値からウインドウ画像の横方向の位置の変化に対する濃度値の分布を示すグラフ３６を得ることができ、上記のウインドウ画像の縦方向の位置の変化に対する濃度値の分布を示すグラフ３４と結合し、ウインドウ画像の位置の変化に対する濃度値の分布を示すグラフ３８を作成する。結合するに当たって、縦方向の位置の変化に対する濃度値の分布を示すグラフ３４の後に横方向の位置の変化に対する濃度値の分布を示すグラフ３６を結合してもよい。

このように作成したウインドウ画像の位置の変化に対する濃度値の分布を示すグラフ３８は、図４に示すように、ウインドウ画像が標識の場合のグラフは、歩行者の場合のグラフに比べ、５〜１０行辺りの円弧状、１２〜２０行辺りの円弧状の形状が特徴的なデータとなる。標識の他にも、看板等人工的な物体については同様の特徴を示す。この特徴は、例えば、図５に示すような周波数分析を行うことにより強調される。周波数分析する元のデータであるウインドウ画像の位置の変化に対する濃度値の分布を示すグラフ３８は、ウインドウ画像の位置（行番号及び列番号）毎のプロジェクション値という連続性のないデータであるので、ここでは、離散フーリエ変換により周波数分析を行う。

所定枚数の歩行者及び標識のサンプル画像について、離散フーリエ変換によりパワースペクトル密度を算出し、周波数毎にパワースペクトル密度のヒストグラムを求める。ある周波数でのヒストグラムを図６に示す。パワースペクトル密度の頻度は、標識の場合では、パワースペクトル密度０．７〜０．８を中心に０．６〜０．９の範囲に分散しているが、歩行者の場合では、パワースペクトル密度０．８〜０．９の範囲に分布している。このように、歩行者と標識とでは、パワースペクトル密度の分布に差があるため、適切な閾値を設定することにより歩行者と標識とを高い精度で識別することができる。

歩行者と標識とを識別するための所定周波数は、例えば、各周波数について図６に示すようなヒストグラムを求めて、歩行者と標識との識別誤り率が最小となる周波数、すなわち、歩行者のパワースペクトル密度の分布と標識のパワースペクトル密度の分布との差が最大となる周波数を所定周波数として定めることができる。

また、歩行者と標識とを識別するための閾値は、例えば、その所定周波数における歩行者のパワースペクトル密度の分布と標識のパワースペクトル密度の分布との交点となるパワースペクトル密度（例えば、図６の場合では、パワースペクトル密度０．８３）を閾値として定めることができる。また、本来検出されるべき歩行者の画像が誤って削除されることにより生じる歩行者の未検出を少なくするために、歩行者のパワースペクトル密度の分布の左裾方向に移動させた値（上記交点より小さい値）としてもよい。同様に、本来削除されるべき標識の画像が歩行者の画像であると誤検出されることを少なくするために、標識のパワースペクトル密度の分布の右裾方向に移動させた値（上記交点より大きい値）としてもよい。

次に、図７を参照して、特定対象物除去の処理ルーチンについて説明する。

ステップ２００で、歩行者の候補画像であるウインドウ画像の横方向及び縦方向の画素ライン毎の画素値の和をプロジェクション値として求め、ウインドウ画像内の位置の変化に対する濃度値の変化を示すグラフを作成する。

次に、ステップ２０２で、濃度値の変化を示すグラフに離散フーリエ変換を行ってパワースペクトル密度を算出し、次のステップ２０４で、所定周波数におけるパワースペクトル密度が所定値未満か否かを判断する。所定値未満の場合には、ウインドウ画像が歩行者ではない除去すべき物体を示していることになるので、ステップ２０６へ進んで、ウインドウ画像を歩行者の候補画像から削除する。所定値未満ではない場合には、ウインドウ画像が歩行者を示す画像であるので、ステップ２０８へ進んで、探索ウインドウの位置及び大きさ等の情報をリストとしてＲＡＭに保存する。

以上説明したように、本実施の形態における歩行者検出装置１０では、歩行者の画像及び標識の画像の画素の濃度値のプロジェクション値に表れる特徴を周波数分析によって強調することにより、候補画像の中から除去すべき特定対象物を適切に識別することができるため、歩行者に形状が似ている標識を歩行者であると誤検出することを防止し、適切に歩行者を検出することができる。

なお、本実施の形態では、除去すべき特定対象物が標識である場合について説明したが、画素値のプロジェクション値を周波数分析して得られるパワースペクトル密度の分布が、歩行者の場合と異なる特徴を示すことにより、歩行者と識別可能な物体についても本実施の形態の歩行者検出装置を適用可能である。

また、本実施の形態では、画素値のブロジェクション値として、縦ライン毎の画素値の和と横ライン毎の画素値の和とを結合する場合について説明したが、抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和を用いればよく、縦方向のみの画素値の和を用いたり、横方向のみの画素値の和を用いたり、任意の方向の画素値の和を用いることができる。

また、本実施の形態では、周波数分析として離散フーリエ変換を用いたが、離散コサイン変換や離散ウェーブレット変換等を用いてもよい。

また、本実施の形態では、パワースペクトル密度が所定値未満の場合に、ウインドウ画像を候補画像から除去する場合について説明したが、パワースペクトル密度が所定値以上の場合に歩行者を示す画像として抽出するように判断してもよい。

本実施の形態に係る歩行者検出装置の構成を示すブロック図である。 本実施の形態に係る歩行者検出の処理ルーチンを示すフローチャートである。 プロジェクション値の算出を説明するための図である。 歩行者及び標識のプロジェクション値の一例を示す図である。 周波数分析の一例を示す図である。 所定周波数におけるパワースペクトル密度のヒストグラムである。 本実施の形態に係る特定対象物除去の処理ルーチンを示すフローチャートである。

符号の説明

１０ 歩行者検出装置
２２ ウインドウ画像抽出部
２６ 候補画像判定部
２８ 特定対象物除去部
３０ 表示制御部

Claims (4)

1. 入力画像から所定領域の画像を抽出する抽出手段と、
   前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、
   前記候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値以上の抽出画像を歩行者を示す画像として検出する検出手段と、
   を含む歩行者検出装置。
2. 入力画像から所定領域の画像を抽出する抽出手段と、
   前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、
   前記候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値未満の抽出画像を候補画像から削除することにより、歩行者を示す画像を検出する検出手段と、
   を含む歩行者検出装置。
3. コンピュータを、
   入力画像から所定領域の画像を抽出する抽出手段と、
   前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、
   前記候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値以上の抽出画像を歩行者を示す画像として検出する検出手段と、
   して機能させるための歩行者検出プログラム。
4. コンピュータを、
   入力画像から所定領域の画像を抽出する抽出手段と、
   前記抽出手段により抽出された抽出画像と歩行者のパターン画像とを照合して、前記抽出画像が歩行者を検出するための候補画像であるか否かを判定する候補画像判定手段と、
   前記候補画像判定手段により候補画像であると判定された抽出画像の少なくとも１つの方向の画素ライン毎の画素値の和の分布の周波数分析を行い、所定周波数のパワースペクトル密度が所定値未満の抽出画像を候補画像から削除することにより、歩行者を示す画像を検出する検出手段と、
   して機能させるための歩行者検出プログラム。