JP7819072B2 - 物体検知装置、物体検知方法、およびプログラム - Google Patents

Description

本発明は、物体検知装置、物体検知方法、およびプログラムに関する。

従来、撮影により得た道路上等の監視エリアにおける物体の領域をブロックに分割し、ブロック毎に局所特徴量を抽出し、抽出された局所特徴量に基づいて障害物の有無を判定する走行障害検知システムの発明が開示されている（特許文献１）。

特開２０１９－１２４９８６号公報

従来の技術では、処理負荷が過大になったり、精度が十分でなかったりする場合があった。

本発明は、このような事情を考慮してなされたものであり、処理負荷を軽減しつつ物体検知を好適に行うことができる物体検知装置、物体検知方法、およびプログラムを提供することを目的の一つとする。

この発明に係る物体検知装置、物体検知方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る物体検知装置は、移動体が通行可能な面を、前記面に対して傾きをもって撮像した撮像画像を取得する取得部と、前記撮像画像の画質を低下させた低解像度画像を生成する低解像度画像生成部と、それぞれが部分領域を含む複数の部分領域セットを定義する定義部であって、前記複数の部分領域セットのそれぞれは、部分領域セットごとの対象領域において、複数の部分領域を含むように定義されるものであり、前記対象領域は、前記低解像度画像の縦方向を限定した一部を、他の部分領域セットと少なくとも一部が前記縦方向に関して重複しないように切り出したものである、定義部と、前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出する抽出部と、を備えるものである。

（２）：上記（１）の態様において、前記定義部は、複数の前記部分領域セットのうち前記低解像度画像の手前側に定義される前記部分領域ほど、前記部分領域内の画素数が多くなるように、複数の前記部分領域セットを定義するものである。

（３）：上記（１）の態様において、前記抽出部は、前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、上下、左右、および斜めに隣接する他の前記部分領域との間の特徴量の差異を集計して前記集計値を導出するものである。

（４）：上記（３）の態様において、前記抽出部は、前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、更に、上下に隣接する前記部分領域同士の特徴量の差異、左右に隣接する前記部分領域同士の特徴量の差異、および斜めに隣接する前記部分領域同士の特徴量の差異を、前記集計値に加えるものである。

（５）：上記（１）の態様において、前記撮像画像における前記着目箇所に対して高解像度処理を行って、路上の物体が、移動体が接触を回避すべき物体か否かを判別する高解像度処理部を更に備えるものである。

（６）：上記（１）の態様において、前記物体検知装置は、移動体に搭載されるものであり、前記定義部は、前記部分領域の縦横比を、前記移動体の置かれた環境に基づいて変更するものである。

（７）：上記（６）の態様において、前記定義部は、前記移動体の速度が基準速度よりも大きい場合、前記移動体の速度が基準速度以下である場合に比して、前記部分領域の縦横比を縦長に変更するものである。

（８）：上記（６）の態様において、前記定義部は、前記移動体の旋回角が基準角度よりも大きい場合、前記移動体の旋回角が基準角度以下である場合に比して、前記部分領域の縦横比を横長に変更するものである。

（９）：上記（６）の態様において、前記定義部は、前記移動体が所定勾配以上の上り勾配の路面にいる場合、前記移動体が所定勾配以上の上り勾配の路面にいない場合に比して、前記部分領域の縦横比を縦長に変更するものである。

（１０）：上記（６）の態様において、前記定義部は、前記移動体が所定勾配以上の下り勾配の路面にいる場合、前記移動体が所定勾配以上の下り勾配の路面にいない場合に比して、前記部分領域の縦横比を横長に変更するものである。

（１１）：上記（１）の態様において、前記定義部は、前記部分領域を横長の矩形形状で定義するものである。

（１２）：上記（１）の態様において、前記抽出部は、下限値未満の前記集計値をゼロとみなして前記着目箇所を抽出するものである。

（１３）：本発明の他の態様に係る物体検知方法は、コンピュータを用いて実行される物体検知方法であって、移動体が通行可能な面を、前記面に対して傾きをもって撮像した撮像画像を取得することと、前記撮像画像の画質を低下させた低解像度画像を生成することと、それぞれが部分領域を含む複数の部分領域セットを定義することと、前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を備え、前記複数の部分領域セットのそれぞれは、部分領域セットごとの対象領域において、複数の部分領域を含むように定義されるものであり、前記対象領域は、前記低解像度画像の縦方向を限定した一部を、他の部分領域セットと少なくとも一部が前記縦方向に関して重複しないように切り出したものである、物体検知方法である。

（１４）：本発明の他の態様に係るプログラムは、コンピュータにより実行されるプログラムであって、前記コンピュータに、移動体が通行可能な面を、前記面に対して傾きをもって撮像した撮像画像を取得することと、前記撮像画像の画質を低下させた低解像度画像を生成することと、それぞれが部分領域を含む複数の部分領域セットを定義することと、前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を実行させ、前記複数の部分領域セットのそれぞれは、部分領域セットごとの対象領域において、複数の部分領域を含むように定義されるものであり、前記対象領域は、前記低解像度画像の縦方向を限定した一部を、他の部分領域セットと少なくとも一部が前記縦方向に関して重複しないように切り出したものである、プログラムである。

上記（１）～（１４）の態様によれば、処理負荷を軽減しつつ物体検知を好適に行うことができる。

物体検知装置１００の構成と周辺機器の一例を示す図である。 物体検知装置１００の各部の機能を模式的に示す図である。 マスク領域決定部１３０、グリッド定義部１４０、および抽出部１５０の処理について説明するための図である。 特徴量差異計算部１５２、集計部１５４、および加算部１５６の処理について説明するための図である。 周辺グリッドの定義例を示す図である。 比較先グリッドと比較元グリッドを選択する規則の一例を示す図である。 比較先グリッドと比較元グリッドを選択する規則の他の一例を示す図である。 加算部１５６および合成部１５８の処理について説明するための図である。 図９は、着目箇所抽出部１６０の処理について説明するための図である。

以下、図面を参照し、本発明の物体検知装置、物体検知方法、およびプログラムの実施形態について説明する。物体検知装置は、例えば、移動体に搭載される。移動体とは、例えば、四輪車両や二輪車両、マイクロモビリティ、ロボットの自ら移動するもの、ドローン等の飛行体、或いは、自ら移動する移動体に載置され、または人によって運ばれることで移動するスマートフォンなどの可搬型装置である。以下の説明において移動体は四輪車両であるものとし、移動体のことを「車両」と称して説明を行う。物体検知装置は、移動体に搭載されるものに限らず、定点観測用カメラやスマートフォンのカメラによって撮像された撮像画像に基づいて以下に説明する処理を行うものであってもよい。

［構成］
図１は、物体検知装置１００の構成と周辺機器の一例を示す図である。物体検知装置１００は、カメラ１０、走行制御装置２００、報知装置２１０などと通信する。

カメラ１０は、車両のフロントガラスの裏面等に取り付けられ、車両の進行方向の少なくとも路上を撮像し、撮像画像を物体検知装置１００に出力する。なお、カメラ１０と物体検知装置１００の間には、センサフュージョン装置などが介在してもよいが、これについて説明を省略する。カメラ１０は、「移動体が通行可能な面を、前記面に対して傾きをもって」撮像する装置の一例である。移動体については前述した通りである。「移動体が通行可能な面」には、道路（路上）、公開空地などの屋外に存在する面の他、移動体が屋内を移動する場合は廊下や部屋の床面などが含まれてよい。「前記面に対して傾きをもって」とは、飛行体によって上空から真下を見下ろすようにして撮影したものでないことを意味する。つまり、所定角度以上の傾きをもって撮像したことである。具体的には、例えば５［ｍ］未満の高さから、撮像画像内に地平面が含まれるように撮像することをいう。換言すると、「前記面に対して傾きをもって」とは、例えば５［ｍ］未満の高さから、俯角が２０度程度未満の角度で撮像することをいう。カメラ１０は、「面」に接して移動する移動体に搭載されてもよいし、低空を飛行するドローン等に搭載されてもよい。

走行制御装置２００は、例えば、車両を自律的に走行させる自動運転制御装置、車間距離制御や自動ブレーキ制御、自動車線変更制御などを行う運転支援装置などである。報知装置２１０は、車両の乗員に対して情報を出力するためのスピーカ、バイブレータ、発光装置、表示装置などである。

物体検知装置１００は、例えば、取得部１１０と、低解像度画像生成部１２０と、グリッド定義部１４０と、抽出部１５０と、高解像度処理部１７０とを備える。抽出部１５０は、特徴量差異計算部１５２と、集計部１５４と、加算部１５６と、合成部１５８と、着目箇所抽出部１６０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

図２は、物体検知装置１００の各部の機能を模式的に示す図である。以下、図２も参照しながら物体検知装置１００の各部について説明する。取得部１１０は、カメラ１０から撮像画像を取得する。取得部１１０は、取得した撮像画像（のデータ）をＲＡＭ（Random Access Memory）などのワーキングメモリに格納する。

低解像度画像生成部１２０は、撮像画像に対して間引き処理などを行って、撮像画像よりも画質を低下させた低解像度画像を生成する。低解像度画像は、例えば、撮像画像よりも画素数が少ない画像である。

マスク領域決定部１３０は、グリッド定義部１４０以下の構成が処理対象としないマスク領域を決定する。詳しくは後述する。

グリッド定義部１４０は、低解像度画像において、複数の部分領域セットを定義する。「定義する」とは、低解像度画像に対して境界線を決定することである。複数の部分領域セットのそれぞれは、低解像度画像から複数の部分領域（以下、グリッド）を切り出すことで定義されるものである。グリッドは、例えば、矩形形状で隙間なく設定される。グリッドは例えば正方形であるが、横長の長方形でもよい。また、後述するように、グリッド定義部１４０は、グリッドのサイズまたは縦横比を、前記移動体の置かれた環境に基づいて変更してもよい。グリッド定義部１４０は、部分領域セットのう低解像度画像の手前側（画像における下側）に定義されるグリッドほど、前グリッド内の画素数が多くなるように（つまり大きくなるように）、複数の部分領域セットを定義する。以下、複数の部分領域セットのことを、第１部分領域セットＰＡ１、第２部分領域セットＰＡ２、…第ｋ部分領域セットＰＡｋと称する場合がある。グリッド定義部１４０の詳細な機能については後述する。

抽出部１５０は、複数の部分領域セットのそれぞれに含まれるグリッドについて、周辺グリッドとの間の特徴量の差異を集計した集計値を導出し、集計値を複数の部分領域セット間で加算して、着目箇所（図では周囲との不連続箇所）を抽出する。抽出部１５０の各部の詳細な機能については後述する。

高解像度処理部１７０は、撮像画像における着目箇所に対応する部分を切り出し（図中、同期切り出し）、これに対して高解像度処理を行って、路上の物体が、車両が接触を回避すべき物体か否かを判別する。高解像度処理部１７０は、例えば、画像から路面標示（車両が接触を回避すべき物体でないものの一例）と落下物（車両が接触を回避すべき物体の一例）を認識する学習済モデルを用いて、着目箇所に映された画像が路面標示であるか落下物であるか、それとも不明である（未学習の物体である）かを判別する。この際に、高解像度処理部１７０は、撮像画像における着目箇所の中でさらに路面標示や落下物に相当すると認識される部分に絞り込んで処理を行ってよい。

図３は、マスク領域決定部１３０、グリッド定義部１４０、および抽出部１５０の処理について説明するための図である。マスク領域決定部１３０は、例えば、低解像度画像において左右方向のエッジ点を抽出し、直線状に並ぶエッジ点を連ねて道路区画線や路肩等（白線、走路境界）の画像における位置を検出する。そして、左右の道路区画線等で挟まれ、画像の手前側の左右方向に関する中心点を含む領域を、車両の走路として検出する。次に、マスク領域決定部１３０は、車両の走路以外の部分（道路区画線等が遠方側で交わる消失点よりも上側、および道路区画線よりも左右の端部よりの部分）をマスク領域に決定する。グリッド定義部１４０および抽出部１５０は、マスク領域を除外して処理を行う。

グリッド定義部１４０は、複数の部分領域セットのそれぞれを、部分領域セットごとの対象領域において、複数の部分領域を含むように定義する。対象領域は、マスク領域が除外された低解像度画像の縦方向を限定した一部を、他の部分領域セットと少なくとも一部が縦方向に関して重複しないように切り出したものである。以降の説明では部分領域セットは他の部分領域セットと縦方向に関して重複しないように切り出されるものとする。グリッド定義部１４０は、前述したようにグリッドの画素数が最も大きい第１部分領域セットＰＡ１、グリッドの画素数が次に大きい第２部分領域セットＰＡ２、以下順に、グリッドの画素数が最も少ない第ｋ部分領域セットＰＡｋまで部分領域セットを定義する。

以下、特徴量差異計算部１５２、集計部１５４、および加算部１５６の処理について説明する。図４～図７を用いて説明するこれらの機能部の処理は、まず部分領域セットを一つ選択し、選択した部分領域セットの中で一つずつ着目グリッドを選択した上で行われる。そして、選択した部分領域セットの全てのグリッドを着目グリッドに選択して処理が終わると、次の部分領域セットを選択して同様に処理が行われる。全ての部分領域セットについて処理が終わると、合成部１５８が各部分領域セットの処理結果を合成（結合）して、一枚の画像である抽出対象データＰＴを生成し、着目箇所抽出部１６０に渡す。なお、部分領域セットが他の部分領域セットと部分的に重複するように定義される場合、合成部１５８は、重複部分についての処理結果を加算、或いは平均を求める等してよい。

図４は、特徴量差異計算部１５２、集計部１５４、および加算部１５６の処理について説明するための図である。特徴量差異計算部１５２は、比較先グリッドと比較元グリッドとの画素ごと特徴量の差分を計算する。特徴量は、例えば、Ｒ、Ｇ、Ｂの成分ごとの輝度値であり、Ｒ、Ｇ、Ｂのセットが一つの画素であるものとする。比較先グリッド、比較元グリッドは、着目グリッドおよび周辺グリッドの中から選択される。図５は、周辺グリッドの定義例を示す図である。図示するように、着目グリッドの上下左右斜め方向に隣接するグリッド２～９が、周辺グリッドとして定義される。周辺グリッド（周辺部分領域）の選び方はこれに限らず、上下左右のグリッドを周辺グリッドとして選択してもよいし、他の規則で周辺グリッドを選択してもよい。

比較先グリッドと比較元グリッドは、例えば、図６に示す組み合わせの中で順番に選択される。図６は、比較先グリッドと比較元グリッドを選択する規則の一例を示す図である。比較先グリッドは着目グリッドであり、比較元グリッドはグリッド２～９から順番に選択される。比較先グリッドと比較元グリッドの関係は逆でもよい。そして、集計部１５４は、画素ごと特徴量の差分の合計を求め、グリッド内の画素数ｎで除算して第１集計値Ｖ１を算出する。第１集計値Ｖ１は、着目グリッドがマスク領域に該当する場合にはゼロに置換されて出力される。つまり、特徴量差異計算部１５２、集計部１５４、および加算部１５６は、グリッド１を比較先グリッド、グリッド３を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド８を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド５を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド６を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド２を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド４を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド７を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド９を比較元グリッドとして処理を行うことを、並行して、或いは順次実行する。

比較先グリッドと比較元グリッドは、図７に示す組み合わせの中で順番に選択されてもよい。図７は、比較先グリッドと比較元グリッドを選択する規則の他の一例を示す図である。比較先グリッドと比較元グリッドの組み合わせは、着目グリッドと周辺グリッドの組み合わせに限らず、周辺グリッド同士の組み合わせ（特に、上グリッドと下グリッド、左グリッドと右グリッド、左上グリッドと右下グリッド、右上グリッドと左下グリッドの組み合わせ）を含んでもよい。

より具体的に、特徴量の差分の計算手法について説明する。特徴量の差分の計算手法としては、例えば以下のパターン１～パターン４が考えられる。以下の説明において、比較先グリッドと比較元グリッドのそれぞれにおける画素の識別番号をｉで表す（ｉ＝１～ｋ；ｋは比較先グリッドと比較元グリッドのそれぞれの画素数）。

（パターン１）
特徴量差異計算部１５２は、例えば、比較先グリッドと比較元グリッドの双方における同じ位置の画素同士の、Ｒ成分の輝度の差分ΔＲｉ、Ｇ成分の輝度の差分ΔＧｉ、Ｂ成分の輝度の差分ΔＢｉを計算する（前述した通りｉ＝１～ｋ）。そして、各画素特徴量Ｐｐｉ＝ΔＲｉ^２＋ΔＧｉ^２＋ΔＢｉ^２を画素ごとに求め、各画素特徴量Ｐｐｉの最大値または平均値を、比較先グリッドと比較元グリッドの特徴量の差分として算出する。

（パターン２）
特徴量差異計算部１５２は、例えば、比較先グリッドにおける各画素のＲ成分の輝度の統計値（平均値、中央値、最頻値などをいう）Ｒａａ、Ｇ成分の輝度の統計値（同）Ｇａａ、Ｂ成分の輝度の統計値（同）Ｂａａを算出し、比較元グリッドにおける各画素のＲ成分の輝度の統計値（同）Ｒａｂ、Ｇ成分の輝度の統計値（同）Ｇａｂ、Ｂ成分の輝度の統計値（同）Ｂａｂを算出し、それらの差分ΔＲａ（＝Ｒａａ－Ｒａｂ）、ΔＧａ（＝Ｇａａ－Ｇａｂ）、ΔＢａ（＝Ｂａａ－Ｂａｂ）を求める。そして、輝度の差分の二乗和であるΔＲａ^２＋ΔＧａ^２＋ΔＢａ^２、或いは輝度の差分の二乗の最大値Ｍａｘ（ΔＲａ^２，ΔＧａ^２，ΔＢａ^２）を、比較先グリッドと比較元グリッドの特徴量の差分として算出する。

（パターン３）
特徴量差異計算部１５２は、例えば、比較先グリッドにおける各画素ｉについて、Ｒ成分とＢ成分の輝度の差分をＲ、Ｇ、Ｂ各成分の輝度の和で除算した第１指標値Ｗ１ａｉ（＝（Ｒ－Ｂ）／（Ｒ＋Ｇ＋Ｂ））と、Ｒ成分とＧ成分の輝度の差分をＲ、Ｇ、Ｂ各成分の輝度の和で除算した第２指標値Ｗ２ａｉ（＝（Ｒ－Ｇ）／（Ｒ＋Ｇ＋Ｂ））とを算出する。また、特徴量差異計算部１５２は、例えば、比較元グリッドにおける各画素ｉについて、Ｒ成分とＢ成分の輝度の差分をＲ、Ｇ、Ｂ各成分の輝度の和で除算した第１指標値Ｗ１ｂｉ（＝（Ｒ－Ｂ）／（Ｒ＋Ｇ＋Ｂ））と、Ｒ成分とＧ成分の輝度の差分をＲ、Ｇ、Ｂ各成分の輝度の和で除算した第２指標値Ｗ２ｂｉ（＝（Ｒ－Ｇ）／（Ｒ＋Ｇ＋Ｂ））とを算出する。次に、特徴量差異計算部１５２は、各画素特徴量Ｐｐｉ＝（Ｗ１ａｉ－Ｗ１ｂｉ）^２＋（Ｗ２ａｉ－Ｗ２ｂｉ）^２を算出する。そして、特徴量差異計算部１５２は、各画素特徴量Ｐｐｉの最大値または平均値を、比較先グリッドと比較元グリッドの特徴量の差分として算出する。なお、第１指標値と第２指標値の二つを組み合わせることで、各画素におけるＲＧＢ成分のバランスを表現することができる。上記と同じ考え方で、例えば、Ｒ、Ｇ、Ｂのそれぞれの成分の輝度を１２０度ずつずらしたベクトルの大きさと定義し、ベクトル和を第１指標値および第２指標値の組み合わせと同じように使用してもよい。

（パターン４）
特徴量差異計算部１５２は、例えば、比較先グリッドにおける各画素のＲ成分の輝度の統計値（同）Ｒａａ、Ｇ成分の輝度の統計値（同）Ｇａａ、Ｂ成分の輝度の統計値（同）Ｂａａを算出し、比較元グリッドにおける各画素のＲ成分の輝度の統計値（同）Ｒａｂ、Ｇ成分の輝度の統計値（同）Ｇａｂ、Ｂ成分の輝度の統計値（同）Ｂａｂを算出する。次に、特徴量差異計算部１５２は、比較先グリッドについて、Ｒ成分の輝度の統計値ＲａａとＢ成分の輝度の統計値Ｂａａの差分を、Ｒ、Ｇ、Ｂ各成分の輝度の統計値の和で除算した第３指標値Ｗ３ａ（＝（Ｒａａ－Ｂａａ）／（Ｒａａ＋Ｇａａ＋Ｂａａ））と、Ｒ成分の輝度の統計値ＲａａとＧ成分の輝度の統計値Ｇａａの差分を、Ｒ、Ｇ、Ｂ各成分の輝度の統計値の和で除算した第４指標値Ｗ４ａ（＝（Ｒａａ－Ｇａａ）／（Ｒａａ＋Ｇａａ＋Ｂａａ））を算出する。同様に、特徴量差異計算部１５２は、比較元グリッドについて、Ｒ成分の輝度の統計値ＲａｂとＢ成分の輝度の統計値Ｂａｂの差分を、Ｒ、Ｇ、Ｂ各成分の輝度の統計値の和で除算した第３指標値Ｗ３ｂ（＝（Ｒａｂ－Ｂａｂ）／（Ｒａｂ＋Ｇａｂ＋Ｂａｂ）と、Ｒ成分の輝度の統計値ＲａｂとＧ成分の輝度の統計値Ｇａｂの差分を、Ｒ、Ｇ、Ｂ各成分の輝度の統計値の和で除算した第４指標値Ｗ４ｂ（＝（Ｒａｂ－Ｇａｂ）／（Ｒａｂ＋Ｇａｂ＋Ｂａｂ））を算出する。そして、特徴量差異計算部１５２は、比較先グリッドの第３指標値Ｗ３ａと比較元グリッドの第３指標値Ｗ３ｂの差分ΔＷ３と、比較先グリッドの第４指標値Ｗ４ａと比較元グリッドの第４指標値Ｗ４ｂの差分ΔＷ４とを求め、それらの二乗和であるΔＷ３^２＋ΔＷ４^２、または二乗の最大値Ｍａｘ（ΔＷ３^２，ΔＷ４^２）を、比較先グリッドと比較元グリッドの特徴量の差分として算出する。

なお、特徴量差異計算部１５２は、処理対象の画像が白黒画像であれば、単に輝度値の差分を比較先グリッドと比較元グリッドの特徴量の差分として算出してもよい、また、処理対象の画像がＲＧＢ画像である場合も、ＲＧＢ画像を白黒画像に変換して軌道値の差分を比較先グリッドと比較元グリッドの特徴量の差分として算出してもよい。

図４に戻り、加算部１５６は、着目グリッドに対応して求められた第１集計値Ｖ１を加算して第２集計値Ｖ２を算出する。第２集計値Ｖ２は、特許請求の範囲における「集計値」の一例である。着目グリッドを変えながら第２集計値Ｖ２を求める処理が完了すると、部分領域セットごとに、全てのグリッドに第２集計値Ｖ２が設定されたデータが生成される。

合成部１５８は、全てのグリッドに第２集計値Ｖ２が設定されたデータが生成されると、これらを結合して一つの画像である抽出対象データＰＴを生成する。図８は、加算部１５６および合成部１５８の処理について説明するための図である。図中、最も小さい矩形が低解像度画像の一つの画素である。ここでは、説明を簡略化するために、部分領域セットを代表して第１部分領域セットＰＡ１、および第２部分領域セットＰＡ２を示しており、その横方向のサイズも実際よりかなり小さいものとしている。また、第２集計値Ｖ２は、ゼロから１の間の値になるように、いずれかの段階で正規化されているものとする。図示する例において、第１部分領域セットＰＡ１は、１６画素で構成される第１グリッドの集合であり、第２部分領域セットＰＡ２は、９画素で構成される第２グリッドの集合である。なお、グリッドのサイズとして１６画素、９画素、４画素がある例を示したが、特徴量の差分の計算手法として上記のパターン２またはパターン４を採用する場合、グリッドのサイズは、４画素、１６画素、６４画素というように一辺の画素数を２のべき乗とした方が、統計値の演算負荷を低減することができる。

図９は、着目箇所抽出部１６０の処理について説明するための図である。着目箇所抽出部１６０は、処理対象データＰＴに対して、例えば、グリッドのサイズが同じ領域ごとに（つまりどの部分領域セット由来のデータであるか、によって分割される領域ごとに）グリッドのサイズに応じた探索領域ＷＡを設定し、探索領域ＷＡ内の第２集計値Ｖ２の合計が参照値以上である探索領域ＷＡを、着目箇所として抽出する。この場合、探索領域ＷＡは、例えば、横２グリッド、縦１グリッドというように固定サイズに設定される。

これに代えて、着目箇所抽出部１６０は、探索領域ＷＡを可変サイズに設定してもよく、その場合、着目箇所抽出部１６０は、探索領域ＷＡ内と探索領域ＷＡの周辺グリッドとの間の第２集計値Ｖ２の差が局所的に最も大きくなる探索領域ＷＡを着目箇所として抽出してもよい。局所的に最も大きくなる探索領域ＷＡが複数個所に出現することもあり得る。

いずれの場合も着目箇所抽出部１６０は、下限値未満の第２集計値Ｖ２についてはゼロに置換した上で（ゼロとみなして）上記処理を行ってよい。

高解像度処理部１７０は、前述したように、着目箇所の位置だけを撮像画像に当てはめて得られる領域に対して高解像度処理を行って、路上の物体が、車両が接触を回避すべき物体か否かを判別する。

高解像度処理部１７０の判別結果は、走行制御装置２００および／または報知装置２１０に出力させる。走行制御装置２００は、「落下物」と判別された物体（実際は画像上の領域）と車両の接触を回避するために、自動ブレーキ制御、自動操舵制御などを行う。報知装置２１０は、「落下物」と判別された物体（同上）と車両とのＴＴＣ（Time To Collision）が閾値未満となったときに種々の方法で警報を出力する。

以上説明した実施形態によれば、車両の進行方向の少なくとも路上を撮像した撮像画像を取得する取得部１１０と、撮像画像の画質を低下させた低解像度画像を生成する低解像度画像生成部１２０と、一以上の部分領域セットを定義するグリッド定義部１４０と、一以上の部分領域セットのそれぞれに含まれる部分領域について、周辺の部分領域との間の特徴量の差異を集計した集計値を導出し、集計値に基づいて着目箇所を抽出する抽出部１５０と、を備えることにより、処理負荷を軽減しつつ検知精度を高く維持することができる。

仮に、特徴量差異計算部１５２や集計部１５４が行う処理を、撮像画像そのままに対して実行するものとした場合、画素数が多くなると処理負荷が増大し、落下物の接近に対して走行制御装置２００や報知装置２１０の動作が間に合わなくなることが懸念される。この点について実施形態の物体検知装置１００では、低解像度画像を生成してから処理を行うことで処理負荷を軽減しつつ物体の検知を行うことができる。

更に、実施形態によれば、グリッド定義部１４０が、複数の部分領域セットの間でグリッド内の画素数が互いに異なるように、複数の部分領域セットを定義し、抽出部１５０が、集計値を複数の部分領域セット間で画素ごとに加算することで着目箇所を抽出するため、落下物の大きさのバラつきに対する検出性能のロバスト性を向上させることができる。単に低解像度画像で処理を行った場合、画質を低下させたことにより落下物の存在が認識できないレベルになってしまうことが懸念されるが、実施形態によれば、上記の工夫によって、いずれかのサイズのグリッドで落下物が特徴量として現れることが期待できるからである。以上より、実施形態の物体検知装置１００によれば、処理負荷を軽減しつつ検知精度を高く維持することができる。

［グリッド定義の他の例について］
グリッド定義部１４０は、グリッドの縦横比を、車両の置かれた環境に基づいて変更してもよい。この場合、必然的に、探索領域ＷＡの縦横比も同様に変更される。この場合、物体検知装置は、車速センサ、操舵角センサ、ヨーレートセンサ、勾配センサなどの車載センサから以下の処理に必要な各種情報を取得する。

例えば、グリッド定義部１４０は、車両の速度Ｖが基準速度Ｖ１よりも大きい場合、車両の速度Ｖが基準速度Ｖ１以下である場合に比して、グリッドの縦横比を縦長に変更する。速度Ｖが大きくなると、車両に生じた振動によってカメラ１０の画像が縦にブレる確率が上昇するからである。グリッドの縦横比を縦長に変更することで、画像のブレによって特徴量の周囲との差が大きい一群の画素が縦に伸びたとしても、その伸長分をグリッド内に収めることができる確率を高めることができる。「縦横比を縦長に変更する」とは、横方向のサイズを維持しつつ縦方向のサイズを拡大すること、横方向のサイズを縮小しつつ縦方向のサイズを拡大すること、横方向のサイズを縮小しつつ縦方向のサイズを維持することのいずれでもよい。「縦横比を横長に変更する」はその逆である。

また、グリッド定義部１４０は、車両の旋回角θが基準角度θ１よりも大きい場合、車両の旋回角θが基準角度θ１以下である場合に比して、グリッドの縦横比を横長に変更してもよい。ここで、旋回角θは操舵装置の中立位置をゼロとした絶対値の情報であるものとする。旋回角θは、角速度でもよいし、操舵角でもよい。車両の旋回角θが大きくなると、旋回挙動によってカメラ１０の画像が横にブレる確率が上昇するからである。

また、グリッド定義部１４０は、車両が所定勾配φ１以上の上り勾配の路面にいる場合、車両が所定勾配φ１以上の上り勾配の路面にいない場合に比して、グリッドの縦横比を縦長に変更してもよいし、車両が所定勾配φ２以上の下り勾配の路面にいる場合、車両が所定勾配φ２以上の下り勾配の路面にいない場合に比して、グリッドの縦横比を横長に変更してもよい。勾配φ１、φ２は共に絶対値（上りも下りも正の値）であり、同じ値でもよいし異なる値でもよい。上り勾配ではカメラ１０の画像における道路面を映した部分が相対的に画像の上側まで伸びる（つまり平坦路に比して道路面を映した部分が縦に引き伸ばされた画像となる）のに対し、下り勾配ではカメラ１０の画像における道路面を映した部分が相対的に画像の下の方までしか伸びない（つまり平坦路に比して道路面を映した部分が縦に圧縮された画像となる）からである。

なお、上記の条件が同時に発生した場合、例えば車両の速度Ｖが基準速度Ｖ１よりも大きく且つ車両が所定勾配φ２以上の下り勾配の路面にいる場合、グリッド定義部１４０は、車両の速度Ｖが基準速度Ｖ１よりも大きいことによる縦横比の変更分と、車両が所定勾配φ２以上の下り勾配の路面にいることによる縦横比の変更分を相殺してグリッドの形状を決定してよい。他の条件が同時に発生した場合も同様である。

また、最適なグリッドの形状およびサイズは、落下物の種類によって異なるものであるため、グリッド定義部１４０は、対象とする落下物の想定サイズに応じてグリッド定義を異ならせた複数の部分領域セットを設定し、それらについて処理を並行して実行してもよい。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
移動体が通行可能な面を、前記面に対して傾きをもって撮像した撮像画像を取得することと、
前記撮像画像の画質を低下させた低解像度画像を生成することと、
それぞれが部分領域を含む複数の部分領域セットを定義することと、
前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を実行し、
前記複数の部分領域セットのそれぞれは、部分領域セットごとの対象領域において、複数の部分領域を含むように定義されるものであり、
前記対象領域は、前記低解像度画像の縦方向を限定した一部を、他の部分領域セットと少なくとも一部が前記縦方向に関して重複しないように切り出したものである、
物体検知装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
１００ 物体検知装置
１１０ 取得部
１２０ 低解像度画像生成部
１３０ マスク領域決定部
１４０ グリッド定義部
１５０ 抽出部
１５２ 特徴量差異計算部
１５４ 集計部
１５６ 加算部
１５８ 合成部
１６０ 着目箇所抽出部
１７０ 高解像度処理部

Claims (14)

1. 移動体が通行可能な面を、前記面に対して傾きをもって撮像した撮像画像を取得する取得部と、
   前記撮像画像の画質を低下させた低解像度画像を生成する低解像度画像生成部と、
   それぞれが部分領域を含む複数の部分領域セットを定義する定義部であって、
   前記複数の部分領域セットのそれぞれは、部分領域セットごとの対象領域において、複数の部分領域を含むように定義されるものであり、
   前記対象領域は、前記低解像度画像の縦方向を限定した一部を、他の部分領域セットと少なくとも一部が前記縦方向に関して重複しないように切り出したものである、定義部と、
   前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出する抽出部と、
   前記撮像画像における前記着目箇所に対して高解像度処理を行い、路上の物体の検知を行う高解像度処理部と、
   を備える物体検知装置。
2. 前記定義部は、複数の前記部分領域セットのうち前記低解像度画像の手前側に定義される前記部分領域ほど、前記部分領域内の画素数が多くなるように、複数の前記部分領域セットを定義する、
   請求項１記載の物体検知装置。
3. 前記抽出部は、前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、上下、左右、および斜めに隣接する他の前記部分領域との間の特徴量の差異を集計して前記集計値を導出する、
   請求項１記載の物体検知装置。
4. 前記抽出部は、前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、更に、上下に隣接する前記部分領域同士の特徴量の差異、左右に隣接する前記部分領域同士の特徴量の差異、および斜めに隣接する前記部分領域同士の特徴量の差異を、前記集計値に加える、
   請求項３記載の物体検知装置。
5. 前記撮像画像における前記着目箇所に対して高解像度処理を行って、路上の物体が、移動体が接触を回避すべき物体か否かを判別する高解像度処理部を更に備える、
   請求項１項記載の物体検知装置。
6. 前記物体検知装置は、移動体に搭載されるものであり、
   前記定義部は、前記部分領域の縦横比を、前記移動体の置かれた環境に基づいて変更する、
   請求項１記載の物体検知装置。
7. 前記定義部は、前記移動体の速度が基準速度よりも大きい場合、前記移動体の速度が基準速度以下である場合に比して、前記部分領域の縦横比を縦長に変更する、
   請求項６記載の物体検知装置。
8. 前記定義部は、前記移動体の旋回角が基準角度よりも大きい場合、前記移動体の旋回角が基準角度以下である場合に比して、前記部分領域の縦横比を横長に変更する、
   請求項６記載の物体検知装置。
9. 前記定義部は、前記移動体が所定勾配以上の上り勾配の路面にいる場合、前記移動体が所定勾配以上の上り勾配の路面にいない場合に比して、前記部分領域の縦横比を縦長に変更する、
   請求項６記載の物体検知装置。
10. 前記定義部は、前記移動体が所定勾配以上の下り勾配の路面にいる場合、前記移動体が所定勾配以上の下り勾配の路面にいない場合に比して、前記部分領域の縦横比を横長に変更する、
    請求項６記載の物体検知装置。
11. 前記定義部は、前記部分領域を横長の矩形形状で定義する、
    請求項１記載の物体検知装置。
12. 前記抽出部は、下限値未満の前記集計値をゼロとみなして前記着目箇所を抽出する、
    請求項１記載の物体検知装置。
13. コンピュータを用いて実行される物体検知方法であって、
    移動体が通行可能な面を、前記面に対して傾きをもって撮像した撮像画像を取得することと、
    前記撮像画像の画質を低下させた低解像度画像を生成することと、
    それぞれが部分領域を含む複数の部分領域セットを定義することと、
    前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、
    前記撮像画像における前記着目箇所に対して高解像度処理を行い、路上の物体の検知を行うことと、を備え、
    前記複数の部分領域セットのそれぞれは、部分領域セットごとの対象領域において、複数の部分領域を含むように定義されるものであり、
    前記対象領域は、前記低解像度画像の縦方向を限定した一部を、他の部分領域セットと少なくとも一部が前記縦方向に関して重複しないように切り出したものである、
    物体検知方法。
14. コンピュータにより実行されるプログラムであって、前記コンピュータに、
    移動体が通行可能な面を、前記面に対して傾きをもって撮像した撮像画像を取得することと、
    前記撮像画像の画質を低下させた低解像度画像を生成することと、
    それぞれが部分領域を含む複数の部分領域セットを定義することと、
    前記複数の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を実行させ、
    前記複数の部分領域セットのそれぞれは、部分領域セットごとの対象領域において、複数の部分領域を含むように定義されるものであり、
    前記対象領域は、前記低解像度画像の縦方向を限定した一部を、他の部分領域セットと少なくとも一部が前記縦方向に関して重複しないように切り出したものである、
    プログラム。