JP4719605B2 - 対象物検出用データ生成装置、方法及びプログラム並びに対象物検出装置、方法及びプログラム - Google Patents

Description

本発明は、対象物検出用データ生成装置、方法及びプログラム並びに対象物検出装置、方法及びプログラムに係り、例えば、夜間の対象物を検出するのに用いて好適な対象物検出用データ生成装置、方法及びプログラム並びに対象物検出装置、方法及びプログラムに関する。

夜間運転での安全性向上のため、車載カメラで撮像した車両前方等の映像を画像処理し、歩行者などの対象物を検出して、ドライバに検出結果を提示する対象物検出装置が必要とされている。一般に、対象物検出装置は、予め対象物のパターンを学習させた検出用辞書を用意し、入力された画像が検出用辞書に登録されたデータに近いか否かを判断することで対象物を検出する。そのため、検出用辞書に、様々な姿勢の歩行者を用意し、学習させている。この場合、用意する夜間画像の画質が問題となる。

特に、学習データが低コントラストの場合、１）検出性能が低下する、２）学習が集束しない、３）辞書サイズが大きくなる、等の問題が発生する。低コントラストになる原因は、歩行者の持つ懐中電灯や自転車の前照灯によるハレーション、画像全体が低コントラストの場合、などがある。

具体的には、ハレーションを抑制しながら撮像制御してドライバに映像を提示する撮像装置が開示されている（特許文献１及び２参照。）。特許文献１の車載用撮像装置は、被写体から反射された赤外光を撮像する際に、ハレーションが生じない露光量になるようにシャッタ速度を固定している。特許文献２の撮像装置は、基準条件下で所定のテストパターンを撮像したときの映像信号のピーク値を５０〜７０ＩＲＥになるように調整している。

また、走行環境に対応した適切な映像を表示する撮影システムが開示されている（特許文献３参照。）。特許文献３の撮影システムは、車外を撮影すると共に、カーナビゲーションシステムから車両の現在の走行環境情報を取得し、その走行環境情報に基づいて撮影映像の出力を制御する。

一方、画像処理に適した映像を得るように露光を制御する車載カメラの露光制御装置が開示されている（特許文献４参照）。特許文献４の車載カメラの露光制御装置は、カメラによって撮像された道路画像中のレーンマークに対応する位置の濃度を算出し、算出した濃度値よりカメラの露光を制御する。
特開２００４−１５３４２５号公報 特開２００４−９６３４５号公報 特開２００４−１２３０６１号公報 特開２００４−３４３３０３号公報

特許文献１から３に記載された技術では、撮像画像の視認性が向上されるが、この撮像画像は画像処理に適した画質でないことがある。例えば、ハレーション制御のために画像出力レベルが低下すると、画像中の歩行者のコントラストを低下してしまったり、強力な前照灯を持つ自転車によって歩行者の階調が潰れてしまったりする問題がある。したがって、これらの画像を学習用に使用することに問題がある。

また、特許文献４に記載された技術は、車両に対してどのような位置にレーンマークの位置が存在するか予想できるものの、検出対象の１つである歩行者の位置を予想することはできない。よって、特許文献４に記載された技術は、歩行者の濃度値を検出して露光を制御することはできないので、歩行者については画像処理に適した画質の撮影画像を得ることができない問題がある。

したがって、特許文献１から４に記載された技術をもってしても、対象物を認識するための画像処理に好適な画像を取得することができず、対象物を確実に認識できない問題があった。

本発明は、上述した課題を解決するために提案されたものであり、対象物を高精度に検出できるような対象物検出用データを生成する対象物検出用データ生成装置、方法及びプログラム、並びに対象物検出用データを用いて対象物を認識する対象物検出装置、方法及びプログラムを提供することを目的とする。

本発明の対象物検出用データ生成装置は、対象物画像から除外する複数の対象外画像の各々について当該対象外画像の特徴量である対象外特徴量を記憶する記憶手段と、入力されたサンプル画像の特徴量であるサンプル特徴量を計算する特徴量計算手段と、前記特徴量計算手段により計算されたサンプル特徴量と前記記憶手段に記憶されたすべての対象外特徴量との距離を各々計算し、計算された距離の各々が対応する対象外画像に対して設定された閾値を超える場合に、前記サンプル画像を対象物検出用画像として用いると判定する判定手段と、前記判定手段により対象物検出用画像として用いると判定されたサンプル画像を用いて学習することにより対象物検出用データを生成する学習手段と、を備えている。

記憶手段は、対象外画像の特徴量である対象外特徴量を記憶する。ここで、対象外画像とは、学習用の対象とすべきではない画像をいう。特徴量計算手段は、入力されたサンプル画像の特徴量であるサンプル特徴量を計算する。判定手段は、計算されたサンプル特徴量と対象外特徴量とに基づいて、サンプル画像を対象物検出用画像として用いるかを判定する。ここで、サンプル画像は、無作為に収集された画像であり、対象物検出用画像として使用しない対象外画像を含んでいる。よって、判定手段は、サンプル画像から対象外画像を除いて、対象物検出用画像を選択する。学習手段は、対象物検出用画像として用いると判定されたサンプル画像を用いて学習する。

したがって、本発明の対象物検出用データ生成装置は、入力されたサンプル画像の特徴量であるサンプル特徴量を計算し、計算されたサンプル特徴量と対象外特徴量とに基づいてサンプル画像を対象物検出用画像として用いるかを判定し、対象物検出用画像として用いると判定されたサンプル画像を用いて学習することにより、学習が収束しやすくなり、容易に対象物を検出できるような対象物検出用データを生成することができる。なお、本発明は、対象物検出用データ生成方法及びプログラムにも適用可能である。

本発明の対象物検出装置は、請求項１から請求項４のいずれか１項に記載された対象物検出用データ生成装置により生成された対象物検出用データを記憶する対象物検出用データ記憶手段と、画像を入力する画像入力手段と、入力された画像の特徴量である画像特徴量を計算する画像特徴量計算手段と、前記画像特徴量計算手段により計算された画像特徴量と、前記対象物検出用データ記憶手段に記憶された対象物検出用データと、に基づいて、対象物を識別する識別手段と、を備えている。

したがって、本発明の対象物検出装置は、請求項１から請求項４のいずれか１項に記載された対象物検出用データ生成装置により生成された対象物検出用データを用いて対象物を検出するので、対象物を高精度に検出することができる。なお、本発明は、対象物検出方法及びプログラムにも適用可能である。

本発明は、対象物を高精度に検出できる対象物検出用データを生成することができる。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る対象物検出システムの構成を示すブロック図である。本実施形態に係る対象物検出システムは、対象物を検出する対象物検出装置１０と、対象物検出装置１０で使用される検出用辞書を生成する学習用データベース生成装置２０と、を備えている。

対象物検出装置１０は、例えば図２（Ａ）に示すように、車両に搭載される近赤外カメラとして用いられ、夜間の歩行者や自転車乗員を検出してドライバに提示することにより運転支援を行う。近赤外カメラは、図２（Ｂ）に示すように、近赤外光を歩行者等の対象物に投光することにより、車両のロービーム領域よりも更に広い範囲を対象範囲として、対象物を検出することができる。

対象物検出装置１０は、画像データを入力する画像入力装置１１と、画像データに基づいて特徴量を計算する特徴量計算装置１２と、検出対象となる対象物の特徴量を予め記憶する検出用辞書記憶装置１３と、計算された特徴量と検出用辞書記憶装置１３とを用いて対象物を識別する識別装置１４と、対象物の識別結果を出力する出力装置１５とを備えている。

画像入力装置１１は、例えば図示しない撮像装置で撮像された画像データを入力する。なお、撮像装置は、近赤外光の対象物からの反射光に応じて撮像するものである。画像入力装置１１は、画像データを特徴量計算装置１２に入力させることができれば、記録媒体から読み出した画像データを用いてもよいし、図示しないネットワークを介して送信された画像データを用いてもよい。

特徴量計算装置１２は、画像入力装置１１から入力された画像データに基づいて特徴量を計算する。特徴量は、特に限定されるものではないが、例えば次のようなものがある。

図３は、特徴量計算装置１２によって計算される特徴量の一例を示す図である。特徴量計算装置１２は、画像入力装置１１から入力された画像データを構成する輝度データを用いて、輝度値の頻度を計数することにより輝度ヒストグラムを生成する。また、特徴量計算装置１２は、画像データを構成する輝度データをフーリエ変換することにより、輝度データの周波数成分を計算してもよい。

検出用辞書記憶装置１３は、対象物の特徴量を検出用辞書として記憶する。本実施形態では、対象物は例えば歩行者、自転車乗員とするが、これに限定されるものではない。なお、検出用辞書記憶装置１３には、対象物の特徴量として、ハレーションの生じた画像データ又は低コントラストの画像データから算出される特徴量は含まれていない。また、詳しくは後述するが、対象物の特徴量に関する検出用辞書は学習用データベース生成装置２０によって生成される。

識別装置１４は、検出用辞書記憶装置１３を参照し、特徴量計算装置１２で計算された特徴量に基づいて、画像入力装置１１に入力された画像データに対象物があるか否かの識別処理を行う。出力装置１５は、識別装置１４の識別結果をする。なお、出力装置１５は、表示装置、音声出力装置のいずれであってもよい。

このような対象物検出装置１０は、検出用辞書記憶装置１３に記憶されている検出用辞書によって対象物の検出性能が異なる。以下、対象物の検出性能が向上するような検出用辞書の生成について説明する。

学習用データベース生成装置２０は、図１に示すように、画像データを記憶する画像データベース２１と、特徴量を計算する特徴量計算装置２２と、対象外の画像データの特徴量を記憶する対象外画像データベース２３と、計算された特徴量と対象外画像データの特徴量とを比較する比較判定装置２４と、画像データと共に比較判定装置２４の学習結果を記憶する学習用データベース２５と、対象物検出用画像を用いて学習する学習装置２６と、を備えている。

画像データベース２１には、例えば、夜間の歩行者、自転車乗員などの対象物に関する様々なサンプル画像（画像データ）が記憶されている。これらのサンプル画像には、対象物検出に適した画像（例えば高コントラストの画像）、対象物検出に適さない画像（例えば低コントラストの画像、ハレーションが生じた画像）が含まれている。ここでは、画像データベース２１には、Ｎ枚分のサンプル画像が記憶されているものとし、以下では、ｋ（ｋ＝１、２、・・・、Ｎ）番目のサンプル画像をＩ_kとする。

また、対象外画像データベース２３には、検出対象から除外する画像（対象外画像）の特徴量が予め記憶されている。対象外画像の特徴量は、特徴量計算装置２２によって予め計算されたものである。ここで、対象外画像とは例えば次のようなものである。

図４は、対象外画像の一例を示す図である。同図（Ａ）から（Ｃ）はハレーションが生じた画像であり、同図（Ｄ）から（Ｆ）は低コントラストの画像である。ハレーションが生じた画像は、例えば自転車のライトによってにじみが生じている。また、低コントラストの画像は、対象物を識別するための情報が不足している。よって、サンプル画像からこのような対象外画像は除外される。

ここで、対象外画像がＭ枚ある場合において、ｐ番目の対象外画像をＪ_p（ｐ＝１、２、・・・、Ｍ）とする。そして予め、特徴量計算装置２２は、ｐ番目の対象外画像Ｊ_pに特徴量計算関数ｆを用いて特徴量ｇ_pを計算しておく。すなわち、特徴量計算装置２２は、次の式（１）を計算する。

図５（Ａ）はハレーションが生じた対象外画像の輝度ヒストグラム、（Ｂ）は低コントラストの対象外画像の輝度ヒストグラムを示す図である。特徴量計算装置２２によって計算されたこれらの対象外画像の特徴量ｇ_pは、対象外画像データベース２３に記憶されている。

図６は、学習用データベース生成ルーチンを示すフローチャートである。すなわち、学習用データベース生成装置２０は、次のステップＳ１以降の処理を実行する。

ステップＳ１では、特徴量計算装置２２は、画像データベース２１に記憶されているサンプル画像Ｉ_kに特徴量計算関数ｆを用いて特徴量ｈ_kを計算する。すなわち、特徴量計算装置２２は、次の式（２）を計算して、ステップＳ２に進む。

ステップＳ２では、比較判定装置２４は、サンプル画像Ｉ_kと対象外画像Ｊ_pとの距離を評価する。具体的には、比較判定装置２４は、特徴量計算装置２２で計算されたサンプル画像Ｉ_kの特徴量ｈ_kと、対象外画像データベース２３に記憶された対象外画像Ｊ_pの特徴量ｇ_pとを、距離計算関数ｄに適用して、距離ｄ（ｈ_k、ｇ_p）を計算する。そして、比較判定装置２４は、すべてのｐについて距離ｄ（ｈ_k、ｇ_p）を計算して、ステップＳ３に進む。

ステップＳ３では、比較判定装置２４は、すべてのｐに対して距離（ｈ_k、ｇ_p）がすべて閾値θ_pを超えるか否か、すなわち、次の式（３）を満たすか否かを判定し、否定判定のときはステップＳ４に進み、肯定判定のときはステップＳ５に進む。

なお、距離計算関数ｄの例としては、ユークリッド距離、マンハッタン距離、角度基準などがある。すなわち、比較判定装置２４は、例えば式（４）を計算すればよい。

式（４）は、ｔ＝２の場合はユークリッド距離を表し、ｔ＝１の場合はマンハッタン距離を表す。また、比較判定装置２４は、例えば次の式（５）を計算してもよい。

式（５）は、サンプル画像Ｉ_k、対象外画像Ｊ_pをそれぞれベクトルで表したときの２つのベクトルのなす角θ_ijから求められる。

ステップＳ４では、比較判定装置２４は、サンプル画像Ｉ_kに「不正解」のラベルを付し、そのサンプル画像Ｉ_kを学習用データベース２５に格納する。また、ステップＳ５では、比較判定装置２４は、サンプル画像Ｉ_kに「正解」のラベルを付し、そのサンプル画像Ｉ_kを学習用データベース２５に格納する。そして、Ｎ枚のサンプル画像Ｉ_k（ｋ＝１〜Ｎ）について、上述したステップＳ１からステップＳ５までの処理が施されると、ステップＳ６に進む。

ステップＳ６では、学習装置２６は、学習用データベース２５を用いて、例えば公知のＡｄａｂｏｏｓｔ手法によって学習する。Ａｄａｂｏｏｓｔ手法は、複数の要素識別器を使用して、学習によって各要素識別器の結合係数を決定する。例えば、各訓練パターンは、個々の要素識別器用の訓練集合に対して、そのパターンが選択される確率が決定されるような重みを受け取る。このため、ある１つの訓練パターンが正確に識別されるのであれば、その次の要素識別器においてもう１度使われる機会は減少する。逆に、そのパターンが正確に識別されなければ、もう１度使われる機会は増大する。このようにして、Ａｄａｂｏｏｓｔ手法は、有用な情報があるパターンや、難しいパターンに焦点を合わせている。そして、学習の結果、最終的に構成される判別関数は、次の式（６）で表される。

ここで、ｈ_k（ｘ）は要素識別器であり、ａ_kは結合重み（結合係数）である。ｋは要素識別器の数である。学習装置２６は、このｋを増減させて学習することで学習精度を調整する。式(６)の判別関数は、入力データを正解と判断する場合は正の値を出力し、不正解と判断する場合は負の値を出力する。学習装置２６は、これらのｋ、ｈ_k（ｘ）、ａ_kの値を検出用辞書記憶装置１３に記憶させる。

学習装置２６の学習方法としては、他に、ニューラルネットワークを使用した学習方法なども利用できる。その場合でも、学習の結果を記憶するための検出用辞書記憶装置１３が構成されるのは勿論である。

なお、従来の学習用データベース生成装置は、学習のために数千から数万のデータを集めた学習用データベースを用意し、すべてのデータについて学習すべきか否かを判定するのが非常に煩雑であり、容易ではない。

これに対して、本実施形態に係る学習用データベース生成装置２０は、学習させないデータを対象外画像として対象外画像データベース２３に用意しておき、対象外画像に似ているか否かのフラグをサンプル画像に与える。そして、学習用データベース生成装置２０は、対象外画像に似ていないサンプル画像のみを用いて学習することによって、学習結果が集束しやすくなり、検出用辞書記憶装置１３に記憶される検出用辞書をコンパクトにすることができる。

この結果、対象物検出装置１０は、学習用データベース生成装置２０によって作成された検出用辞書を用いて対象物を検出することにより、コントラストの高い画像から対象物を高精度に検出することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。例えば、対象外画像として、コントラストの低い画像やハレーションの生じた画像を例に挙げたが、これに限定されるものではない。

本発明の実施の形態に係る対象物検出システムの構成を示すブロック図である。 （Ａ）は車両に搭載される近赤外カメラを示す図、（Ｂ）は車両のロービーム領域よりも更に広い範囲を対象範囲として対象物を検出することを説明するための図である。 特徴量計算装置によって計算される特徴量の一例を示す図である。 対象外画像の一例を示す図である。 （Ａ）はハレーションが生じた対象外画像の輝度ヒストグラム、（Ｂ）は低コントラストの対象外画像の輝度ヒストグラムを示す図である。 学習用データベース生成ルーチンを示すフローチャートである。

符号の説明

１０ 対象物検出装置
１１ 画像入力装置
１２ 特徴量計算装置
１３ 検出用辞書
１４ 識別装置
１５ 出力装置
２０ 学習用データベース生成装置
２１ 画像データベース
２２ 特徴量計算装置
２３ 対象外画像データベース
２４ 比較判定装置
２５ 学習用データベース
２６ 学習装置

Claims (9)

1. 対象物画像から除外する複数の対象外画像の各々について当該対象外画像の特徴量である対象外特徴量を記憶する記憶手段と、
   入力されたサンプル画像の特徴量であるサンプル特徴量を計算する特徴量計算手段と、
   前記特徴量計算手段により計算されたサンプル特徴量と前記記憶手段に記憶されたすべての対象外特徴量との距離を各々計算し、計算された距離の各々が対応する対象外画像に対して設定された閾値を超える場合に、前記サンプル画像を対象物検出用画像として用いると判定する判定手段と、
   前記判定手段により対象物検出用画像として用いると判定されたサンプル画像を用いて学習することにより対象物検出用データを生成する学習手段と、
   を備えた対象物検出用データ生成装置。
2. 前記サンプル画像が、夜間に撮像された画像であり、
   前記複数の対象外画像には、ハレーションが生じた画像と対象物を識別不能な低コントラストの画像とが含まれる、
   請求項１に記載の対象物検出用データ生成装置。
3. 前記距離は、ユークリッド距離、マンハッタン距離、角度基準のいずれか１つである
   請求項１又は請求項２に記載の対象物検出用データ生成装置。
4. 前記特徴量は、輝度ヒストグラム又は輝度周波数成分である
   請求項１から請求項３のいずれか１項に記載の対象物検出用データ生成装置。
5. 記憶手段が、対象物画像から除外する複数の対象外画像の各々について当該対象外画像の特徴量である対象外特徴量を記憶し、
   特徴量計算手段が、入力されたサンプル画像の特徴量であるサンプル特徴量を計算し、
   判定手段が、前記特徴量計算手段により計算されたサンプル特徴量と前記記憶手段に記憶されたすべての対象外特徴量との距離を各々計算して、計算された距離の各々が対応する対象外画像に対して設定された閾値を超える場合に、前記サンプル画像を対象物検出用画像として用いると判定し、
   学習手段が、前記対象物検出用画像として用いると判定されたサンプル画像を用いて学習することにより対象物検出用データを生成する
   対象物検出用データ生成方法。
6. コンピュータに、
   対象物画像から除外する複数の対象外画像の各々について当該対象外画像の特徴量である対象外特徴量を記憶させておき、
   入力されたサンプル画像の特徴量であるサンプル特徴量を計算させ、
   前記計算されたサンプル特徴量と前記記憶されたすべての対象外特徴量との距離を各々計算して、計算された距離の各々が対応する対象外画像に対して設定された閾値を超える場合に、前記サンプル画像を対象物検出用画像として用いると判定し、
   前記対象物検出用画像として用いると判定されたサンプル画像を用いて学習することにより対象物検出用データを生成させる
   対象物検出用データ生成プログラム。
7. 請求項１から請求項４のいずれか１項に記載された対象物検出用データ生成装置により生成された対象物検出用データを記憶する対象物検出用データ記憶手段と、
   画像を入力する画像入力手段と、
   入力された画像の特徴量である画像特徴量を計算する画像特徴量計算手段と、
   前記画像特徴量計算手段により計算された画像特徴量と、前記対象物検出用データ記憶手段に記憶された対象物検出用データと、に基づいて、対象物を識別する識別手段と、
   を備えた対象物検出装置。
8. 画像を入力し、
   入力された画像の特徴量である画像特徴量を計算し、
   前記計算された画像特徴量と、請求項５に記載された対象物検出用データ生成方法により生成された対象物検出用データと、に基づいて、対象物を識別する
   対象物検出方法。
9. コンピュータに、
   入力された画像の特徴量である画像特徴量を計算させ、
   前記計算された画像特徴量と、請求項５に記載された対象物検出用データ生成方法により生成された対象物検出用データと、に基づいて、対象物を識別させる
   対象物検出プログラム。