JP6384082B2 - 移動物体検出装置、移動物体検出方法、及びプログラム - Google Patents

Description

本発明は、移動物体検出装置、移動物体検出方法、及びプログラムに関する。

自動車産業において、「事故を起こさない自動車」を提供することは、究極の目標の１つである。この目標の達成のために、駐車場や見通しの悪い交差点での発進時に前方又は左右の死角を確認するためのモニタ装置を備えた車両が提案されている。また、駐車場で後退発進する際に車両の後方を確認するためのモニタ装置として、バックカメラを備えた車両も提案されている。

死角を確認するモニタ装置は、プリズムミラー又は魚眼カメラを用いて、ドライバが目視し難い車両の前方下部又は側方の画像を撮像し、画面に表示する。バックカメラも、魚眼レンズ等を用いて車両の後方の広角画像を撮像し、画面に表示する。

図１は、バックカメラを用いたモニタ装置の例を示している。車両１０１が後退発進する際に、バックカメラ１０２は、車両１０１の後方の撮像範囲１０３を撮像し、図２に示すように、画面に表示する。これにより、ドライバは、後方左手から撮像範囲１０３に入ってくる車両１０４を認識して、衝突を回避することができる。

さらに、車両の周囲の状況から他の物体との衝突の危険性をドライバに通知することで事故を抑制する移動物検知システムが提案されている（例えば、非特許文献１を参照）。この移動物検知システムは、ドライバによる安全確認をサポートするため、カメラが撮像した映像を画像処理し、移動物体を検知した場合、ドライバに通知して注意を促す。

移動物体の検出には、オプティカルフローが使用されることが多い。オプティカルフローに基づく移動物体検出方法では、画像内の各画素の特徴量が計算され、所定の条件に合致する特徴量を持つ画素が特徴点として認識され、その特徴点の時間変動が画像内での特徴点の移動として計算される。所定の条件としては、例えば、特徴量が一定値以上であること等が用いられる。

車両が静止しているとき、画像内の静止物体の特徴点はすべて静止しているため、特徴点の移動（フロー）が検出された場合、その特徴点を移動物体の特徴点とみなすことができる。車両から遠ざかる移動物体のフローは、画像の中心から外側へ向かう外向きフローとして検出され、車両に近づく移動物体のフローは、画像の外側から中心へ向かう内向きフローとして検出される。このようなフローを検出することで、映像に移動物体が映っているか否かを判定することができる。

一方、車両が移動しているときは、それに伴って静止物体の特徴点も移動する。例えば、車両がカメラの前方へ向かって直進しているとき、静止物体、車両から遠ざかる移動物体、及び車両に近づく移動物体のすべてのフローが外向きフローとして検出される場合がある。この場合でも、特徴点の移動が車両の移動によって生じたものと等しいか否かを判別することで、その特徴点が静止物体か移動物体かを判別することができる。

画像内の非検知領域としてマスク領域を設定し、マスク領域では画像処理を行わないようにする画像処理システムも知られている（例えば、特許文献１を参照）。

移動体の周囲の状況を撮像した画像の限定した検出領域を探索して他の移動体を検出し、両移動体間における衝突の可能性を予測して警報を発する衝突防止装置も知られている（例えば、特許文献２を参照）。

立体観測不能領域内に、移動情報の共通する画素が縦方向に連続する立体特徴領域が含まれる場合、その立体特徴領域に対応する物体は平面体であると判定する車両用画像処理装置も知られている（例えば、特許文献３を参照）。

特開２０１０−９１３４号公報 特開２０００−２８５２４５号公報 特開２００９−１８７１８１号公報

"移動物検知"、［online］、日産自動車株式会社、［平成２６年２月１４日検索］、インターネット＜ＵＲＬ：http://www.nissan-global.com/JP/TECHNOLOGY/OVERVIEW/mod.html＞

上述した従来の移動物体検出方法には、以下のような問題がある。
オプティカルフローに基づく移動物体検出方法によれば、車両が移動しているときであっても、車両の移動の向き（前進、後退、右旋回、左旋回等）と速度が分かれば、大まかな背景の動きベクトルが分かる。背景の動きベクトルが分かれば、車両の移動に伴う背景の移動と他の移動物体とを分離することができる。

しかし、特徴点の追跡に失敗すると、静止物体の特徴点であっても背景の動きベクトルとは異なる動きを示すことがあり、背景の静止物体を移動物体として誤検出する可能性がある。例えば、背景の地面上に金網状の蓋（グレーチング）があるシーンでは、車両が直進や旋回を行うと、以下の理由により、誤追跡が生じることがある。
（１）網の縦線と横線とが交差する交点では、縦方向及び横方向のいずれのエッジ特徴量も大きいため、コーナー抽出オペレータにより特徴点として抽出されやすい。
（２）網は同じ形状が繰り返される幾何学模様であり、ある交点の近傍領域には類似する複数の交点が存在するため、特徴点を追跡する際に、別の交点を誤って同じ交点とみなす誤追跡が生じやすい。

このように、特徴点の誤追跡が生じると、背景の動きベクトルとは異なるフローが生成されるため、移動物体が存在しないにもかかわらず、移動物体が存在すると判定されてしまう。

なお、かかる問題は、背景にグレーチングが含まれる場合に限らず、他の幾何学模様が含まれる場合においても生ずるものである。また、かかる問題は、路面上を走行する車両に限らず、空間内を移動する他の移動体においても生ずるものである。

１つの側面において、本発明の目的は、撮像装置により撮像される画像から移動物体を検出する際の誤検出を抑制することである。

１つの案では、移動物体検出装置は、記憶部及び判定部を含む。
記憶部は、撮像装置により撮像される画像を記憶する。判定部は、記憶部を参照して、画像内の第１の領域が第１の領域の周辺に存在する第２の領域と相関しているか否かを判定する。第１の領域が第２の領域と相関している場合、判定部は、その画像に基づく移動物体の検出において第１の領域と画像内の第１の領域以外の第３の領域とを区別するための制御情報を出力する。

実施形態の移動物体検出装置によれば、撮像装置により撮像される画像から移動物体を検出する際の誤検出を抑制することができる。

バックカメラを用いたモニタ装置を示す図である。 モニタ装置の画像を示す図である。 オプティカルフロー計算処理のフローチャートである。 特徴点の誤追跡を示す図である。 移動物体検出装置の機能的構成図である。 画像処理のフローチャートである。 移動物体検出装置の第１の具体例を示す図である。 判定部の機能的構成図である。 第１の移動物体検出処理のフローチャートである。 追跡困難領域特定処理のフローチャートである。 対象画素の近傍領域を示す図である。 近傍領域の相違度を示す図である。 移動物体検出装置の第２の具体例を示す図である。 第２の移動物体検出処理のフローチャートである。 移動物体検出装置の第３の具体例を示す図である。 第３の移動物体検出処理のフローチャートである。 移動物体検出装置の第４の具体例を示す図である。 第４の移動物体検出処理のフローチャートである。 情報処理装置のハードウェア構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
オプティカルフローに基づく移動物体検出方法によれば、車両が移動しているときであっても、車両の移動の向き（前進、後退、右旋回、左旋回等）と速度が分かれば、大まかな背景の動きベクトルが分かる。背景の動きベクトルが分かれば、車両の移動に伴う背景の移動と他の移動物体とを分離することができる。

図３は、画像処理装置によるオプティカルフロー計算処理の例を示すフローチャートである。まず、画像処理装置は、コーナー抽出オペレータを用いて、映像に含まれる対象フレームの画像から物体の角（コーナー）の画素を抽出し、抽出した画素を特徴点として記録する（ステップ３０１）。

次に、画像処理装置は、対象フレームの画像内の特徴点を含む領域と後続フレームの画像とを比較し、抽出した特徴点が後続フレームの画像内でどこに位置しているかを計算することで、特徴点を追跡する（ステップ３０２）。例えば、対象フレームがｉ番目のフレーム（ｉは１以上の整数）である場合、ｉ＋１番目のフレーム、ｉ＋２番目のフレームのように、対象フレームより所定間隔だけ後に撮像されたフレームが、後続フレームとして用いられる。

次に、画像処理装置は、追跡終了条件が満たされたか否かを判定し（ステップ３０３）、追跡終了条件が満たされていない場合（ステップ３０３，ＮＯ）、後続フレームを新たな対象フレームとして用いてステップ３０２の処理を繰り返す。そして、追跡終了条件が満たされた場合（ステップ３０３，ＹＥＳ）、画像処理装置は、処理を終了する。

画像内の特徴点の位置を所定間隔で追跡することで、特徴点の位置の時間変動に基づいて、その特徴点を有する物体の動きを求めることができる。そして、背景の動きベクトルに基づいて、静止物体の特徴点の動きと移動物体の特徴点の動きとを分離することで、移動物体を検出することができる。

しかし、特徴点の追跡に失敗すると、静止物体の特徴点であっても背景の動きベクトルとは異なる動きを示すことがあり、背景の静止物体を移動物体として誤検出する可能性がある。例えば、背景の地面上に金網状の蓋（グレーチング）があるシーンでは、車両が直進や旋回を行うと、以下の理由により、誤追跡が生じることがある。
（１）網の縦線と横線とが交差する交点では、縦方向及び横方向のいずれのエッジ特徴量も大きいため、コーナー抽出オペレータにより特徴点として抽出されやすい。
（２）網は同じ形状が繰り返される幾何学模様であり、ある交点の近傍領域には類似する複数の交点が存在するため、特徴点を追跡する際に、別の交点を誤って同じ交点とみなす誤追跡が生じやすい。

図４は、このような誤追跡の例を示している。対象フレーム４０１にグレーチング４１１の画像が含まれている場合、グレーチング４１１の複数の交点が特徴点として抽出される。それらの交点のうち、対象フレーム４０１の下端から距離Ｄだけ離れている１つの交点４１２が追跡対象となった場合、後続フレーム４０２の画像内において、下端から距離Ｄだけ離れた位置の近傍領域４１４内で対応する交点が探索される。

その結果、交点４１２の代わりに、近傍領域４１４に存在する別の交点４１３が交点４１２であると誤認識されることがある。この場合、交点４１２の正しい動きベクトル４１５の代わりに、交点４１３へ向かう動きベクトル４１６が、交点４１２のフローとして生成される。

このように、特徴点の誤追跡が生じると、背景の動きベクトルとは異なるフローが生成されるため、移動物体が存在しないにもかかわらず、移動物体が存在すると判定されてしまう。

なお、かかる問題は、背景にグレーチングが含まれる場合に限らず、他の幾何学模様が含まれる場合においても生ずるものである。また、かかる問題は、路面上を走行する車両に限らず、空間内を移動する他の移動体においても生ずるものである。

図５は、実施形態の移動物体検出装置の機能的構成例を示している。図５の移動物体検出装置５０１は、記憶部５１１及び判定部５１２を含む。記憶部５１１は、撮像装置により撮像される画像を記憶する。判定部５１２は、記憶部５１１を参照して、実施形態に係る画像処理を行う。

図６は、図５の移動物体検出装置５０１が行う画像処理の例を示すフローチャートである。まず、判定部５１２は、記憶部５１１を参照して、画像内の第１の領域が第１の領域の周辺に存在する第２の領域と相関しているか否かを判定する（ステップ６０１）。第１の領域が第２の領域と相関している場合、判定部５１２は、その画像に基づく移動物体の検出において第１の領域と画像内の第１の領域以外の第３の領域とを区別するための制御情報を生成し、その制御情報を出力する（ステップ６０２）。

このような画像処理によれば、撮像装置により撮像される画像から移動物体を検出する際の誤検出を抑制することができる。

移動物体検出装置５０１は、例えば、移動体に搭載されたカメラ等の撮像装置により撮像される映像を用いて画像処理を行う。撮像装置を搭載する移動体は、車両のように路面上を移動する物体であってもよく、ロボット、鉄道車両、航空機、船舶、又は動物であってもよい。

移動物体検出装置５０１は、車載装置のように、移動体に搭載される装置であってもよく、サーバのように、移動体に搭載されない装置であってもよい。

図７は、図５の移動物体検出装置５０１の第１の具体例を示している。図７の移動物体検出装置７０１は、記憶部５１１、判定部５１２、特徴点抽出部７１１、追跡部７１２、及び検出部７１３を含む。

記憶部５１１は、撮像装置により撮像される映像を記憶する。映像には、複数のフレームに対応する複数の画像が含まれる。

判定部５１２は、図８に示すように、領域抽出部８０１、近傍領域設定部８０２、相関計算部８０３、及び領域判定部８０４を含む。領域抽出部８０１は、映像に含まれる複数のフレームのうち対象フレームの画像内の画素を抽出するとともに、その画素を含む画像領域をテンプレート領域として抽出する。近傍領域設定部８０２は、テンプレート領域を含む画像領域を、抽出された画素の近傍領域として設定する。

相関計算部８０３は、近傍領域内の領域とテンプレート領域とが相関しているか否かを示す指標を計算する。領域判定部８０４は、計算された指標に基づいてテンプレート領域と相関している領域を追跡困難領域と判定し、追跡困難領域と追跡困難領域以外の領域とを区別するための制御情報を生成して出力する。

誤追跡は、追跡対象の特徴点を含む画像領域の近傍に、類似する画像情報を有する別の画像領域が存在する場合に発生しやすいため、テンプレート領域と相関している領域では、特徴点の追跡に失敗する可能性が高いと考えられる。そこで、このような領域を追跡困難領域と判定して特徴点抽出処理の対象から除外することで、誤追跡の発生を抑制することが可能になる。

特徴点抽出部７１１は、判定部５１２から出力される制御情報に基づいて、映像に含まれる各フレームの画像内の領域のうち、追跡困難領域以外の領域から特徴点を抽出する。追跡部７１２は、対象フレームより後の時刻の後続フレームから抽出された特徴点を追跡して、特徴点の位置の時間変動を計算する。検出部７１３は、特徴点の位置の時間変動から移動物体を含む画像領域を検出し、検出結果を出力する。

なお、追跡困難領域は、対象フレームの画像内の一部分に過ぎず、背景の静止物体の画像領域であることが多いため、追跡困難領域を検出対象から除外しても移動物体の検出精度が著しく低下することはないと考えられる。

図９は、図７の移動物体検出装置７０１が行う移動物体検出処理の例を示すフローチャートである。まず、判定部５１２は、映像に含まれる各フレームの画像内の追跡困難領域を特定し、追跡困難領域と追跡困難領域以外の領域とを区別するための制御情報を出力する（ステップ９０１）。

次に、特徴点抽出部７１１は、制御情報に基づいて、映像に含まれる各フレームの画像内の領域のうち、追跡困難領域以外の領域から特徴点を抽出する（ステップ９０２）。特徴点抽出処理には、Harrisオペレータ、Kanade-Lucas-Tomasi（ＫＬＴ）法等のコーナー抽出オペレータを用いることができる。

次に、追跡部７１２は、対象フレームから抽出された各特徴点が後続フレームの画像内でどこに位置しているかを計算することで、特徴点を追跡する（ステップ９０３）。後続フレームとしては、例えば、対象フレームより所定間隔だけ後に撮像されたフレームが用いられる。

次に、追跡部７１２は、追跡終了条件が満たされたか否かを判定し（ステップ９０４）、追跡終了条件が満たされていない場合（ステップ９０４，ＮＯ）、後続フレームを新たな対象フレームとして用いてステップ９０３の処理を繰り返す。追跡処理には、オプティカルフロー等を用いることができ、追跡終了条件としては、追跡したフレームの数が所定値に到達したことや、所定のフレームが後続フレームとして処理されたこと等を用いることができる。

追跡終了条件が満たされた場合（ステップ９０４，ＹＥＳ）、追跡部７１２は、特徴点の追跡を終了する。なお、ステップ９０３及びステップ９０４の処理は、抽出されたすべての特徴点に対して行われる。検出部７１３は、各特徴点の位置の時間変動から移動物体を含む画像領域を検出し、検出結果を出力する（ステップ９０５）。

検出部７１３は、例えば、特徴点の位置の時間変動が所定のベクトルを表している場合に、その特徴点が移動物体の画像領域に含まれると判定することができる。所定のベクトルとしては、例えば、撮像装置を搭載する移動体自身の移動ベクトルとは異なるベクトルを用いることができる。

移動物体検出装置７０１の後段には、危険防止のための制御装置を設けてもよい。この制御装置は、移動物体検出装置７０１から出力される検出結果に基づいて、音声や映像により危険をドライバに通知したり、車両の緊急ブレーキを作動させたりすることができる。

図１０は、図９のステップ９０１で判定部５１２が行う追跡困難領域特定処理の例を示すフローチャートである。まず、領域抽出部８０１は、図１１に示すように、対象フレームの画像内の１つの画素を対象画素１１０１として選択する（ステップ１００１）。そして、領域抽出部８０１は、対象画素１１０１の周辺の画素を走査して、対象画素１１０１を含むｍ×ｎ画素（ｍ及びｎは、１以上の整数）の画像領域をテンプレート領域１１０２として抽出する。画素の走査には、例えば、ラスタースキャン等を用いることができる。

次に、近傍領域設定部８０２は、テンプレート領域１１０２を含む、対象画素の近傍領域１１０３を設定する（ステップ１００２）。そして、相関計算部８０３は、近傍領域１１０３内のテンプレート領域１１０２と同じ形状の画像領域１１０４と、テンプレート領域１１０２との相違度Ｘを計算する。相違度Ｘとしては、例えば、差分絶対値和（ＳＡＤ）、差分２乗和（ＳＳＤ）のような、２つの領域の間における画像情報の差分を示す指標を用いることができる。

ＳＡＤを用いた場合、相違度Ｘは、次式により求めることができる。

式（１）のＡx,yは、画像領域１１０４内の座標（ｘ，ｙ）における画素の画素値を表す（ｘ＝１〜ｍ，ｙ＝１〜ｎ）。Ｂx,yは、テンプレート領域１１０２内の同じ位置における画素の画素値を表す。画素値としては、例えば、輝度、色（ＲＧＢ等）、色差信号等を用いることができる。

ＳＳＤを用いた場合、相違度Ｘは、次式により求めることができる。

相違度Ｘは、画像領域１１０４の画像情報とテンプレート領域１１０２の画像情報とが相違するほど大きくなり、２つの画像情報が類似するほど０に近くなる。したがって、相違度Ｘが大きいほど、画像領域１１０４とテンプレート領域１１０２との相関が低くなり、相違度Ｘが小さいほど、画像領域１１０４とテンプレート領域１１０２との相関が高くなる。

近傍領域１１０３内の各画素を画像領域１１０４の中心画素１１０５として用いて相違度Ｘの計算を繰り返すことで、複数の相違度Ｘが計算される。ただし、対象画素１１０１を中心画素１１０５として用いた場合、画像領域１１０４がテンプレート領域１１０２と一致するため、この場合は相違度Ｘの計算から除外される。

また、対象画素１１０１に近い領域は、幾何学模様の画像領域であるか否かに関わらず、テンプレート領域１１０２と類似する可能性が高いため、このような領域も相違度Ｘの計算から除外することが望ましい。そこで、例えば、対象画素１１０１から所定距離以上離れている画素を中心画素１１０５として用いて、相違度Ｘが計算される。

次に、領域判定部８０４は、計算された複数の相違度Ｘの各々を閾値と比較し（ステップ１００３）、いずれかの相違度Ｘが閾値より小さい場合（ステップ１００３，ＹＥＳ）、対象画素１１０１は追跡困難領域に属すると判定する（ステップ１００４）。一方、すべての相違度Ｘが閾値以上である場合（ステップ１００３，ＮＯ）、領域判定部８０４は、対象画素１１０１は追跡困難領域に属さないと判定する。

テンプレート領域１１０２から所定距離以上離れている画像領域１１０４とテンプレート領域１１０２との相違度Ｘに基づいて、追跡困難領域であるか否かを判定することで、追跡困難領域の検出精度を向上させることができる。

次に、領域判定部８０４は、対象フレームの画像内のすべての画素の処理が終了したか否かをチェックする（ステップ１００５）。未処理の画素がある場合（ステップ１００５，ＮＯ）、判定部５１２は、次の画素についてステップ１００１以降の処理を繰り返す。

そして、すべての画素の処理が終了した場合（ステップ１００５，ＹＥＳ）、領域判定部８０４は、追跡困難領域に属すると判定した画素の集合を示す制御情報を生成して出力する（ステップ１００６）。この制御情報が示す画素の集合は、対象フレームの画像内の追跡困難領域を表しており、追跡困難領域と追跡困難領域以外の領域とを区別するために用いられる。

例えば、近傍領域１１０３にグレーチング等の幾何学模様の画像が含まれている場合、対象画素１１０１の周辺に多数の同じ形状が存在するため、相違度Ｘが小さくなりやすい。このため、幾何学模様の画像領域内の画素は、追跡困難領域に属すると判定される可能性が高くなる。グレーチング以外にも、フェンス、レンガ敷きの路面、横断歩道等の画像を含む領域は、追跡困難領域に属すると判定される可能性が高い。

図１２は、テンプレート領域１１０２のサイズが５×５画素であり、近傍領域１１０３のサイズが１５×１１画素である場合に計算される相違度Ｘの例を示している。この例では、対象画素１１０１に近い５×５画素の領域が相違度Ｘの計算から除外され、１４０個の相違度Ｘが計算されている。閾値が４４０である場合、計算された相違度Ｘのうち、印＊により示される相違度Ｘが閾値より小さい。したがって、対象画素１１０１は追跡困難領域に属すると判定される。

ところで、近傍領域１１０３は、テンプレート領域１１０２を中心とする領域である必要はなく、左右上下等の所定方向に偏った領域であってもよい。例えば、撮像装置を搭載する車両が移動している場合、その移動先に対応する領域が後続フレームの画像に含まれ、追跡対象となる可能性が高い。そこで、撮像装置の移動方向に基づいて近傍領域１１０３を設定することが望ましい。

例えば、車両が直進している場合はテンプレート領域１１０２の上側の領域を多く含み、車両が後退している場合はテンプレート領域１１０２の下側の領域を多く含むような、近傍領域１１０３を設定してもよい。また、車両が右旋回している場合はテンプレート領域１１０２の右側の領域を多く含み、車両が左旋回している場合はテンプレート領域１１０２の左側の領域を多く含むような、近傍領域１１０３を設定してもよい。

このように、撮像装置の移動方向に基づいて近傍領域１１０３を設定することで、移動先に対応する領域での誤追跡の発生を抑制することができる。

図１３は、図５の移動物体検出装置５０１の第２の具体例を示している。図１３の移動物体検出装置１３０１は、記憶部５１１、判定部５１２、特徴点抽出部７１１、追跡部７１２、及び検出部７１３を含む。

図１４は、図１３の移動物体検出装置１３０１が行う移動物体検出処理の例を示すフローチャートである。まず、判定部５１２は、記憶部５１１が記憶する各フレームの画像内の追跡困難領域を特定し、追跡困難領域と追跡困難領域以外の領域とを区別するための制御情報を出力する（ステップ１４０１）。次に、特徴点抽出部７１１は、各フレームの画像から特徴点を抽出する（ステップ１４０２）。

次に、追跡部７１２は、制御情報に基づいて、対象フレームの画像内の領域のうち、追跡困難領域以外の領域から抽出された特徴点を第１の追跡処理により追跡し、追跡困難領域から抽出された特徴点を第２の追跡処理により追跡する（ステップ１４０３）。このとき、追跡部７１２は、各特徴点が後続フレームの画像内でどこに位置しているかを計算することで、各特徴点の時間変動を求める。

第２の追跡処理としては、例えば、第１の追跡処理よりも特徴点の誤追跡が発生しにくい追跡処理が用いられる。例えば、第１の追跡処理が第１のテンプレートを用いたテンプレートマッチングにより追跡を行う場合、第２の追跡処理は、第１のテンプレートより大きな面積を有する第２のテンプレートを用いたテンプレートマッチングにより追跡を行うことができる。追跡困難領域の特徴点を追跡する際に、より大きな面積を有する第２のテンプレートを用いることで、幾何学模様が存在しない領域が第２のテンプレート内に含まれるようになり、図４に示したような誤追跡が発生しにくくなる。

このように、特徴点が追跡困難領域に含まれるか否かに応じて追跡処理を切り替えることで、誤追跡の発生を抑制することが可能になる。

次に、追跡部７１２は、追跡終了条件が満たされたか否かを判定し（ステップ１４０４）、追跡終了条件が満たされていない場合（ステップ１４０４，ＮＯ）、後続フレームを新たな対象フレームとして用いてステップ１４０３の処理を繰り返す。

追跡終了条件が満たされた場合（ステップ１４０４，ＹＥＳ）、追跡部７１２は、特徴点の追跡を終了する。なお、ステップ１４０３及びステップ１４０４の処理は、抽出されたすべての特徴点に対して行われる。検出部７１３は、各特徴点の位置の時間変動から移動物体を含む画像領域を検出し、検出結果を出力する（ステップ１４０５）。

図１５は、図５の移動物体検出装置５０１の第３の具体例を示している。図１５の移動物体検出装置１５０１は、記憶部５１１、判定部５１２、特徴点抽出部７１１、追跡部７１２、検出部７１３、及び選択部１５１１を含む。

図１６は、図１５の移動物体検出装置１５０１が行う移動物体検出処理の例を示すフローチャートである。まず、特徴点抽出部７１１は、記憶部５１１が記憶する各フレームの画像から特徴点を抽出する（ステップ１６０１）。次に、追跡部７１２は、対象フレームから抽出された各特徴点が後続フレームの画像内でどこに位置しているかを計算することで、特徴点を追跡する（ステップ１６０２）。

次に、追跡部７１２は、追跡終了条件が満たされたか否かを判定し（ステップ１６０３）、追跡終了条件が満たされていない場合（ステップ１６０３，ＮＯ）、後続フレームを新たな対象フレームとして用いてステップ１６０２の処理を繰り返す。

追跡終了条件が満たされた場合（ステップ１６０３，ＹＥＳ）、追跡部７１２は、特徴点の追跡を終了する。なお、ステップ１６０２及びステップ１６０３の処理は、抽出されたすべての特徴点に対して行われる。検出部７１３は、各特徴点の位置の時間変動から移動物体を含む画像領域を検出し、検出領域として出力する（ステップ１６０４）。

次に、判定部５１２は、検出領域のうち追跡困難領域を特定し、追跡困難領域と追跡困難領域以外の領域とを区別するための制御情報を出力する（ステップ１６０５）。このとき、判定部５１２は、検出部７１３から出力される検出領域内の画素を対象画素として用いて図１０の追跡困難領域特定処理を行うことで、追跡困難領域を特定することができる。

そして、選択部１５１１は、制御情報に基づいて、検出領域のうち追跡困難領域以外の領域を選択し、選択した検出領域を検出結果として出力する。追跡困難領域を検出結果から除外することで、誤検出を抑制することが可能になる。

図１５の移動物体検出装置１５０１によれば、追跡困難領域特定処理の対象を移動物体の検出領域に限定できるため、図７の移動物体検出装置７０１又は図１３の移動物体検出装置１３０１と比較して、追跡困難領域特定処理の負荷が低減される。

図１７は、図５の移動物体検出装置５０１の第４の具体例を示している。図１７の移動物体検出装置１７０１は、記憶部５１１、判定部５１２、特徴点抽出部７１１、追跡部７１２、検出部７１３、及び選択部１７１１を含む。

図１８は、図１７の移動物体検出装置１７０１が行う移動物体検出処理の例を示すフローチャートである。まず、特徴点抽出部７１１は、記憶部５１１が記憶する各フレームの画像から特徴点を抽出する（ステップ１８０１）。

次に、判定部５１２は、抽出された特徴点のうち追跡困難領域に属する特徴点を特定し、追跡困難領域と追跡困難領域以外の領域とを区別するための制御情報を出力する（ステップ１８０２）。このとき、判定部５１２は、特徴点抽出部７１１から出力される各特徴点に対応する画素を対象画素として用いて図１０の追跡困難領域特定処理を行うことで、追跡困難領域に属する特徴点を特定することができる。

そして、選択部１７１１は、制御情報に基づいて、抽出された特徴点のうち追跡困難領域以外の領域に属する特徴点を選択し、選択した特徴点を追跡部７１２へ出力する。

次に、追跡部７１２は、対象フレーム内の追跡困難領域以外の各特徴点が後続フレームの画像内でどこに位置しているかを計算することで、特徴点を追跡する（ステップ１８０３）。追跡困難領域を追跡処理の対象から除外することで、誤追跡の発生を抑制することが可能になる。

次に、追跡部７１２は、追跡終了条件が満たされたか否かを判定し（ステップ１８０４）、追跡終了条件が満たされていない場合（ステップ１８０４，ＮＯ）、後続フレームを新たな対象フレームとして用いてステップ１８０３の処理を繰り返す。

追跡終了条件が満たされた場合（ステップ１８０４，ＹＥＳ）、追跡部７１２は、特徴点の追跡を終了する。なお、ステップ１８０３及びステップ１８０４の処理は、追跡困難領域以外の領域に属するすべての特徴点に対して行われる。検出部７１３は、各特徴点の位置の時間変動から移動物体を含む画像領域を検出し、検出結果を出力する（ステップ１８０５）。

図１７の移動物体検出装置１７０１によれば、追跡困難領域特定処理の対象を特徴点に限定できるため、図７の移動物体検出装置７０１又は図１３の移動物体検出装置１３０１と比較して、追跡困難領域特定処理の負荷が低減される。さらに、図１５の移動物体検出装置１５０１よりも負荷が低減されることが期待できる。

図５の移動物体検出装置５０１、図７の移動物体検出装置７０１、図１３の移動物体検出装置１３０１、図１５の移動物体検出装置１５０１、及び図１７の移動物体検出装置１７０１の構成は一例に過ぎない。移動物体検出装置の用途や条件に応じて、一部の構成要素を省略又は変更してもよい。

例えば、移動物体検出装置７０１、移動物体検出装置１３０１、又は移動物体検出装置１５０１において、特徴点抽出部７１１、追跡部７１２、及び検出部７１３が装置外部のハードウェア回路として実装される場合も考えられる。この場合は、特徴点抽出部７１１、追跡部７１２、及び検出部７１３を省略することができる。

移動物体検出装置７０１、移動物体検出装置１３０１、移動物体検出装置１５０１、又は移動物体検出装置１７０１が移動体に搭載される装置である場合は、記憶部５１１が記憶する映像を撮像する撮像装置を含んでいてもよい。

図６、図９、図１０、図１４、図１６、及び図１８に示したフローチャートは一例に過ぎず、移動物体検出装置の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図１０のステップ１００２において、相関計算部８０３は、近傍領域１１０３内の各画素を中心画素１１０５として用いて相違度Ｘを計算する代わりに、閾値より小さな相関値Ｘが得られた時点で、残りの画素に対する計算を省略することもできる。この場合、対象画素１１０１は追跡困難領域に属すると判定される。

また、ステップ１００２において、相関計算部８０３は、画像領域１１０４とテンプレート領域１１０２との相違度Ｘを計算する代わりに、２つの領域の類似度を計算することもできる。

類似度は、画像領域１１０４の画像情報とテンプレート領域１１０２の画像情報とが類似するほど大きくなり、２つの画像情報が相違するほど小さくなる。したがって、類似度が大きいほど、画像領域１１０４とテンプレート領域１１０２との相関が高くなり、類似度が小さいほど、画像領域１１０４とテンプレート領域１１０２との相関が低くなる。

この場合、ステップ１００３において、領域判定部８０４は、計算された複数の類似度の各々を閾値と比較し、いずれかの類似度が閾値より大きい場合、対象画素１１０１は追跡困難領域に属すると判定する。一方、すべての類似度が閾値以下である場合、領域判定部８０４は、対象画素１１０１は追跡困難領域に属さないと判定する。

また、ステップ１００３において、複数の相違度Ｘ又は複数の類似度を閾値と比較する代わりに、相違度Ｘ又は類似度の統計値を閾値と比較してもよい。統計値としては、例えば、平均値、最大値、最小値、最頻値等を用いることができる。

図１１に示したテンプレート領域１１０２、近傍領域１００３、及び画像領域１１０４は一例に過ぎず、移動物体検出装置の構成や条件に応じて変更してもよい。例えば、矩形領域の代わりに、多角形、円、楕円等の他の形状の領域を用いることもできる。

図５の移動物体検出装置５０１、図７の移動物体検出装置７０１、図１３の移動物体検出装置１３０１、図１５の移動物体検出装置１５０１、及び図１７の移動物体検出装置１７０１は、ハードウェア回路として実装することができる。また、各移動物体検出装置の一部又は全部の構成要素を、情報処理装置（コンピュータ）を用いて実現することもできる。

例えば、図７の移動物体検出装置７０１は、記憶部５１１及び判定部５１２を含む情報処理装置と、特徴点抽出部７１１、追跡部７１２、及び検出部７１３を含むハードウェア回路とを含んでいてもよい。この場合、情報処理装置による追跡困難領域特定処理は、ハードウェア回路による移動物体検出処理の前処理として実行される。図１３の移動物体検出装置１３０１も、同様に、情報処理装置とハードウェア回路とを含んでいてもよい。

図１５の移動物体検出装置１５０１は、記憶部５１１、判定部５１２、及び選択部１５１１を含む情報処理装置と、特徴点抽出部７１１、追跡部７１２、及び検出部７１３を含むハードウェア回路とを含んでいてもよい。この場合、情報処理装置による追跡困難領域特定処理は、ハードウェア回路による移動物体検出処理の後処理として実行される。

特徴点抽出部７１１、追跡部７１２、及び検出部７１３がGraphics Processing Unit（ＧＰＵ）として実装されると、追跡困難領域の画素と追跡困難領域以外の領域の画素とを区別して処理することが困難な場合がある。このような場合には、図１５の構成を採用して、追跡困難領域特定処理を後処理として実装することが有効である。

図１７の移動物体検出装置１７０１は、情報処理装置のみを用いて実現してもよい。特徴点抽出部７１１、追跡部７１２、及び検出部７１３が情報処理装置を用いて実現される場合は、移動物体検出処理をカスタマイズできるため、図１７の構成を採用することが有効である。

図５の移動物体検出装置５０１、図７の移動物体検出装置７０１、及び図１３の移動物体検出装置１３０１の一部又は全部の構成要素は、例えば、図１９に示すような情報処理装置を用いて実現可能である。図１５の移動物体検出装置１５０１及び図１７の移動物体検出装置１７０１の一部又は全部の構成要素も、図１９の情報処理装置を用いて実現可能である。

図１９の情報処理装置は、Central Processing Unit（ＣＰＵ）１９０１、メモリ１９０２、入力装置１９０３、出力装置１９０４、補助記憶装置１９０５、媒体駆動装置１９０６、及びネットワーク接続装置１９０７を含む。これらの構成要素はバス１９０８により互いに接続されている。

メモリ１９０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１９０２は、記憶部５１１として用いることができる。

ＣＰＵ１９０１（プロセッサ）は、例えば、メモリ１９０２を利用してプログラムを実行することにより、判定部５１２、特徴点抽出部７１１、追跡部７１２、又は検出部７１３として動作し、移動物体検出処理を行う。ＣＰＵ１９０１は、領域抽出部８０１、近傍領域設定部８０２、相関計算部８０３、領域判定部８０４、選択部１５１１、又は選択部１７１１としても動作する。

入力装置１９０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置１９０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。出力される処理結果には、例えば、移動物体の検出結果を示す情報が含まれる。

補助記憶装置１９０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１９０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１９０５にプログラム及びデータを格納しておき、それらをメモリ１９０２にロードして使用することができる。

媒体駆動装置１９０６は、可搬型記録媒体１９０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１９０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１９０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。ユーザ又はオペレータは、この可搬型記録媒体１９０９にプログラム及びデータを格納しておき、それらをメモリ１９０２にロードして使用することができる。

このように、移動物体検出処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ１９０２、補助記憶装置１９０５、及び可搬型記録媒体１９０９のような、物理的な（非一時的な）記録媒体が含まれる。

ネットワーク接続装置１９０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、ネットワーク接続装置１９０７を介して、ユーザ端末から処理要求及び映像を受信し、移動物体の検出結果を示す情報をユーザ端末へ送信することができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１９０７を介して受け取り、それらをメモリ１９０２にロードして使用することもできる。

なお、情報処理装置が図１９のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由で処理要求及び映像を受信する場合は、入力装置１９０３及び出力装置１９０４を省略してもよい。また、情報処理装置が可搬型記録媒体１９０９にアクセスしない場合は、媒体駆動装置１９０６を省略してもよく、情報処理装置が通信ネットワークに接続されない場合は、ネットワーク接続装置１９０７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

１０１ 車両
１０２ バックカメラ
１０３ 撮像範囲
４０１ 対象フレーム
４０２ 後続フレーム
４１１ グレーチング
４１２、４１３ 交点
４１４、１１０３ 近傍領域
４１５、４１６ 動きベクトル
５０１、７０１、１３０１、１５０１、１７０１ 移動物体検出装置
５１１ 記憶部
５１２ 判定部
７１１ 特徴点抽出部
７１２ 追跡部
７１３ 検出部
８０１ 領域抽出部
８０２ 近傍領域設定部
８０３ 相関計算部
８０４ 領域判定部
１１０１ 対象画素
１１０２ テンプレート領域
１１０４ 画像領域
１１０５ 中心画素
１５１１、１７１１ 選択部
１９０１ ＣＰＵ
１９０２ メモリ
１９０３ 入力装置
１９０４ 出力装置
１９０５ 補助記憶装置
１９０６ 媒体駆動装置
１９０７ ネットワーク接続装置
１９０８ バス
１９０９ 可搬型記録媒体

Claims (10)

1. 撮像装置により撮像される画像を記憶する記憶部と、
   前記画像内の画素から対象画素を選択し、前記対象画素を含む第１の領域を抽出し、前記第１の領域が前記第１の領域の周辺に存在する第２の領域と相関しているか否かを判定し、前記第１の領域が前記第２の領域と相関している場合、前記対象画素が第３の領域に属すると判定し、前記第１の領域が前記第２の領域と相関していない場合、前記対象画素が前記第３の領域以外の第４の領域に属すると判定し、前記画像に基づく移動物体の検出において前記第３の領域に属すると判定された複数の対象画素と前記第４の領域に属すると判定された複数の対象画素とを区別するための制御情報を出力する判定部と、
   を備えることを特徴とする移動物体検出装置。
2. 前記判定部は、前記第１の領域の画像情報と前記第２の領域の画像情報とが類似している場合、前記第１の領域が前記第２の領域と相関していると判定することを特徴とする請求項１記載の移動物体検出装置。
3. 前記判定部は、前記撮像装置の移動方向に基づいて前記第２の領域を決定することを特徴とする請求項１又は２記載の移動物体検出装置。
4. 前記第２の領域は、前記第１の領域から所定距離以上離れていることを特徴とする請求項１乃至３のいずれか１項に記載の移動物体検出装置。
5. 前記制御情報に基づいて、前記第４の領域から特徴点を抽出する特徴点抽出部と、
   前記特徴点の時間変動から前記移動物体を検出し、前記移動物体の検出結果を出力する検出部と、
   をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の移動物体検出装置。
6. 前記画像から特徴点を抽出する特徴点抽出部と、
   前記特徴点の時間変動から前記移動物体を検出し、検出した移動物体を含む検出領域を出力する検出部と、
   前記制御情報に基づいて、前記検出領域のうち前記第４の領域を選択し、前記第４の領域を含む前記移動物体の検出結果を出力する選択部と、
   をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の移動物体検出装置。
7. 前記画像から特徴点を抽出する特徴点抽出部と、
   前記制御情報に基づいて、前記特徴点のうち前記第４の領域から抽出された特徴点を選択する選択部と、
   選択された特徴点の時間変動から前記移動物体を検出し、前記移動物体の検出結果を出力する検出部と、
   をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の移動物体検出装置。
8. 前記画像から特徴点を抽出する特徴点抽出部と、
   前記制御情報に基づいて、前記第４の領域から抽出された特徴点を第１の追跡処理により追跡し、前記第１の領域から抽出された特徴点を前記第１の追跡処理とは異なる第２の追跡処理により追跡し、前記第１の追跡処理又は前記第２の追跡処理に基づいて特徴点の時間変動を求める追跡部と、
   前記特徴点の時間変動から前記移動物体を検出し、前記移動物体の検出結果を出力する検出部と、
   をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の移動物体検出装置。
9. 移動物体検出装置によって実行される移動物体検出方法であって、
   撮像装置により撮像される画像を記憶する記憶部を参照して、前記画像内の画素から対象画素を選択し、前記対象画素を含む第１の領域を抽出し、
   前記第１の領域が前記第１の領域の周辺に存在する第２の領域と相関しているか否かを判定し、
   前記第１の領域が前記第２の領域と相関している場合、前記対象画素が第３の領域に属すると判定し、前記第１の領域が前記第２の領域と相関していない場合、前記対象画素が前記第３の領域以外の第４の領域に属すると判定し、
   前記画像に基づく移動物体の検出において前記第３の領域に属すると判定された複数の対象画素と前記第４の領域に属すると判定された複数の対象画素とを区別するための制御情報を生成する、
   ことを特徴とする移動物体検出方法。
10. 撮像装置により撮像される画像を記憶する記憶部を参照して、前記画像内の画素から対象画素を選択し、前記対象画素を含む第１の領域を抽出し、
    前記第１の領域が前記第１の領域の周辺に存在する第２の領域と相関しているか否かを判定し、
    前記第１の領域が前記第２の領域と相関している場合、前記対象画素が第３の領域に属すると判定し、前記第１の領域が前記第２の領域と相関していない場合、前記対象画素が前記第３の領域以外の第４の領域に属すると判定し、
    前記画像に基づく移動物体の検出において前記第３の領域に属すると判定された複数の対象画素と前記第４の領域に属すると判定された複数の対象画素とを区別するための制御情報を生成する、
    処理をコンピュータに実行させるプログラム。