JP7784909B2 - 動体検出装置、動体検出方法、システム、およびプログラム - Google Patents

Description

本発明は、動体検出装置、動体検出方法、システム、およびプログラムに関する。

従来、車載カメラによって撮像された車両前方の画像データに基づいて、車両の周辺に存在する動体を検出する技術が知られている。例えば、特許文献１には、車両の周辺環境の画像データに対して、予め学習された結果に基づく信号処理を行うことにより、当該画像データ内に存在する動体の識別結果を出力する技術が開示されている。

特開２０２１－１４４６８９号公報

特許文献１に記載の技術は、畳み込みニューラルネットワークなどのディープニューラルネットワーク（ＤＮＮ）を用いて、車両の周辺に存在する動体を検出するものである。しかしながら、このような機械学習手法は、事前に大量の学習データを用意することが必要とされ、さらに実行時の処理負荷が高い傾向にある。その結果、車両の周辺に存在する動体を高速で検出することができない場合があった。

本発明は、このような事情を考慮してなされたものであり、車両の周辺に存在する動体を簡易的かつ高速に検出することができる動体検出装置、動体検出方法、システム、およびプログラムを提供することを目的の一つとする。

この発明に係る動体検出装置、動体検出方法、システム、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る動体検出装置は、移動体に搭載されたカメラによって時系列に撮像された、前記移動体の周辺状況を表す複数のフレームを含む画像データを取得する画像取得部と、前記複数のフレーム間の差分を算出し、前記差分を第１の値と第２の値に二値化することによって、前記複数のフレーム間の差分画像を算出する差分算出部と、前記差分画像に設定された複数のグリッドのうち、前記第１の値の画素の密度が第１閾値以上であるグリッドを抽出するグリッド抽出部と、前記抽出され、かつ所定基準を満たす一以上のグリッドに対して、外接矩形であるバウンディングボックスを設定するバウンディングボックス設定部と、設定された前記バウンディングボックスにおける前記グリッドの密度が第２閾値以上である場合に、前記バウンディングボックスを動体として検出する動体検出部と、を備えるものである。

（２）：上記（１）の態様において、前記バウンディングボックス設定部は、前記一以上のグリッドの下端および前記下端を基準とする前記一以上のグリッドの高さがそれぞれ一定の値を有する場合に、前記一以上のグリッドが前記所定基準を満たすと判定するものである。

（３）：上記（１）又は（２）の態様において、前記バウンディングボックス設定部は、前記グリッドを含むグリッド画像の中央部において、前記所定基準を満たす一以上のグリッドを探索するものである。

（４）：上記（１）から（３）のいずれかの態様において、前記差分算出部は、前記複数のフレームを撮像した撮影間隔における前記移動体の速度に基づいて、前回時点で撮像されたフレームを拡大させ、拡大された前記前回時点で撮像されたフレームと、今回時点で撮像されたフレームとの間の差分画像を算出するものである。

（５）：上記（４）の態様において、前記差分算出部は、前記前回時点で撮像されたフレームを、前記前回時点で撮像されたフレームの消失点を中心に拡大させるものである。

（６）：上記（１）から（５）のいずれかの態様において、前記差分算出部は、前記複数のフレームを撮像した撮影間隔における前記移動体のヨーレートに基づいて、前回時点で撮像されたフレームを補正し、補正した前記前回時点で撮像されたフレームと、今回時点で撮像されたフレームとの間の差分画像を算出するものである。

（７）：上記（１）から（６）のいずれかの態様において、前記グリッド抽出部は、前記複数のグリッドの各々の前記カメラからの距離に応じて、前記閾値を変化させるものである。

（８）：上記（１）から（７）のいずれかの態様において、前記グリッド抽出部は、前記カメラからの距離が第１距離以下である場合には、前記複数のグリッドのサイズを第１サイズに設定し、前記カメラからの距離が第１距離より大きくかつ第２距離以下である場合には、前記複数のグリッドのサイズを前記第１サイズより小さい第２サイズに設定し、前記カメラからの距離が第２距離より大きい場合には、前記複数のグリッドのサイズを前記第２サイズより小さい第３サイズに設定するものである。

（９）：この発明の一態様に係るシステムは、上記（１）から（８）のいずれかの態様に係る動体検出装置と、前記動体検出装置によって得られた検出結果に基づいて、前記移動体の運転支援を行う運転支援装置と、を備えるものである。

（１０）：この発明の一態様に係る動体検出方法は、コンピュータが、移動体に搭載されたカメラによって時系列に撮像された、前記移動体の周辺状況を表す複数のフレームを含む画像データを取得し、前記複数のフレーム間の差分を算出し、前記差分を第１の値と第２の値に二値化することによって、前記複数のフレーム間の差分画像を算出し、前記差分画像に設定された複数のグリッドのうち、前記第１の値の画素の密度が第１閾値以上であるグリッドを抽出することによって、前記差分画像からグリッド画像を抽出し、前記グリッド画像に含まれ、かつ所定基準を満たす一以上のグリッドに対して、バウンディングボックスを設定し、設定された前記バウンディングボックスにおける前記グリッドの密度が第２閾値以上である場合に、前記バウンディングボックスを動体として検出するものである。

（１１）：この発明の一態様に係るプログラムは、コンピュータに、移動体に搭載されたカメラによって時系列に撮像された、前記移動体の周辺状況を表す複数のフレームを含む画像データを取得させ、前記複数のフレーム間の差分を算出し、前記差分を第１の値と第２の値に二値化することによって、前記複数のフレーム間の差分画像を算出させ、前記差分画像に設定された複数のグリッドのうち、前記第１の値の画素の密度が第１閾値以上であるグリッドを抽出することによって、前記差分画像からグリッド画像を抽出させ、前記グリッド画像に含まれ、かつ所定基準を満たす一以上のグリッドに対して、バウンディングボックスを設定させ、設定された前記バウンディングボックスにおける前記グリッドの密度が第２閾値以上である場合に、前記バウンディングボックスを動体として検出させるものである。

（１）～（１１）の態様によれば、車両の周辺に存在する動体を簡易的かつ高速に検出することができる。

（２）の態様によれば、車両の周辺に存在する動体をより正確に検出することができる。

（３）の態様によれば、車両の周辺に存在する動体を探索する処理負荷を軽減することができる。

（４）又は（５）の態様によれば、前回時点で撮像されたフレームと、今回時点で撮像されたフレームとの間の差分画像を正確に算出することができる。

（６）の態様によれば、移動体によるヨーレートを考慮して、差分画像を正確に算出することができる。

（７）又は（８）の態様によれば、カメラからの距離に応じて、動体を正確に検出することができる。

（９）の態様によれば、動体検出装置による検出結果を運転支援に好適に活用することができる。

第１実施形態に係る動体検出装置１００の構成と周辺機器の一例を示す図である。 動体検出装置１００を搭載した車両Ｍの周辺状況の一例を示す図である。 図２に示した周辺状況においてカメラ１０が車両Ｍの前方を撮像することによって得られた画像の一例を示す図である。 フレームを拡大させる基準点として用いられる消失点の一例を示す図である。 差分画像ＤＩを算出するために前回フレームを補正する方法を説明するための図である。 差分算出部１２０によって算出される差分画像ＤＩの一例を示す図である。 グリッド抽出部１３０によって設定されるグリッドＧの構成の一例を示す図である。 グリッド抽出部１３０によるグリッドＧの抽出方法の一例を示す図である。 グリッド抽出部１３０によって算出されるグリッド画像ＧＩの一例を示す図である。 走行制御装置２００によって実行される動作の一例を示す図である。 動体検出装置１００の構成と周辺機器の別の例を示す図である。 報知装置２１０によって実行される動作の一例を示す図である。 動体検出装置１００によって実行される処理の流れの一例を示す図である。 第２実施形態に係る動体検出部１４０によって実行される動作を説明するための図である。 第２実施形態に係る動体検出装置１００によって実行される処理の流れの一例を示す図である。 第３実施形態に係る動体検出装置１００の構成と周辺機器の一例を示す図である。 バウンディングボックス設定部１３２によって実行されるグリッドＧの探索方法の一例を示す図である。 バウンディングボックス設定部１３２によるグリッドＧの探索範囲の一例を示す図である。 第３実施形態に係る動体検出装置１００によって実行される処理の流れの一例を示す図である。

［第１実施形態］
以下、図面を参照し、本発明の動体検出装置、動体検出方法、システム、およびプログラムの実施形態について説明する。動体検出装置は、例えば、移動体に搭載される。移動体とは、例えば、四輪車両や二輪車両、マイクロモビリティ、ロボットの自ら移動するもの、或いは、自ら移動する移動体に載置され、または人によって運ばれることで移動するスマートフォンなどの可搬型装置である。以下の説明において移動体は四輪車両であるものとし、移動体のことを「車両」と称して説明を行う。動体検出装置は、移動体に搭載されるものに限らず、定点観測用カメラやスマートフォンのカメラによって撮像された撮像画像に基づいて以下に説明する処理を行うものであってもよい。

図１は、動体検出装置１００の構成と周辺機器の一例を示す図である。動体検出装置１００は、カメラ１０、走行制御装置２００などと通信する。

カメラ１０は、車両Ｍのフロントガラスの裏面等に取り付けられ、車両Ｍの進行方向の少なくとも路上を時系列に撮像し、撮像画像を動体検出装置１００に出力する。なお、カメラ１０と動体検出装置１００の間には、センサフュージョン装置などが介在してもよいが、これについて説明を省略する。走行制御装置２００は、例えば、車両Ｍを自律的に走行させる自動運転制御装置、車間距離制御や自動ブレーキ制御、自動車線変更制御などを行う運転支援装置などである。

動体検出装置１００は、例えば、画像取得部１１０と、差分算出部１２０と、グリッド抽出部１３０と、動体検出部１４０と、を備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

図２は、動体検出装置１００を搭載した車両Ｍの周辺状況の一例を示す図である。図２は、一例として、動体検出装置１００を搭載した車両Ｍが道路を走行中、車両Ｍの前方をバイクＢが走行する場面を表している。以下の説明では、動体検出装置１００がバイクＢを動体として検出する場面を例として説明を行うが、本発明はそのような場面への適用に限定されない。

図３は、図２に示した周辺状況においてカメラ１０が車両Ｍの前方を撮像することによって得られた画像の一例を示す図である。画像取得部１１０は、車両Ｍに搭載されたカメラ１０によって時系列に撮像された、車両Ｍの周辺状況を表す複数のフレームを含む画像データを取得する。より具体的には、例えば、画像取得部１１０は、３０Ｈｚのフレームレートで、画像データをカメラ１０から取得する。

差分算出部１２０は、画像取得部１１０によって取得された複数のフレームについて、画素値の差分を算出し、算出した差分を第１の値（例えば、１）と第２の値（例えば、０）に二値化することによって、当該複数のフレーム間の差分画像ＤＩを算出する。より具体的には、まず、差分算出部１２０は、画像取得部１１０によって取得された複数のフレームにグレー変換を施し、ＲＧＢ画像をグレースケール画像に変換する。

次に、差分算出部１２０は、複数のフレームを撮像した撮影間隔における車両Ｍの速度に基づいて、前回時点で撮像されたフレーム（以下、「前回フレーム」と称する場合がある）を、当該フレームの消失点を中心に拡大させることによって、今回時点で撮像されたフレーム（以下、「今回フレーム」と称する場合がある）と位置合わせを行う。

図４は、フレームを拡大させる基準点として用いられる消失点の一例を示す図である。図４において、ＶＰはフレームの消失点を示す。消失点ＶＰは、例えば、車両Ｍが走行する車線の両側を延長させることによって結ばれる交点として定義される。差分算出部１２０は、例えば、前回時点と今回時点との間に計測された車両Ｍの速度（平均速度）から車両Ｍの移動距離を推定し、当該移動距離に応じた拡大率分、消失点ＶＰを中心にして、前回フレームを拡大させる。

図５は、差分画像ＤＩを算出するために前回フレームを補正する方法を説明するための図である。図５において、ｈはフレームの高さを示し、ｗはフレームの横幅を示す。図５に示す通り、差分算出部１２０は、前回時点と今回時点との間に計測された車両Ｍの移動距離に応じた拡大率分、前回フレームを拡大させる。このとき、拡大された前回フレームのサイズは、拡大前よりも大きくなるため、差分算出部１２０は、拡大された前回フレームの端部をトリミングすることによって、拡大された前回フレームのサイズを元のサイズに戻す。

なお、差分算出部１２０は、前回フレームと今回フレームとの撮影間隔における車両Ｍの速度に加えて、前回フレームと今回フレームとの撮影間隔における車両Ｍのヨーレートを考慮して、前回フレームを補正してもよい。より具体的には、差分算出部１２０は、当該撮影間隔におけるヨーレートに基づいて、前回フレームの取得時点における車両Ｍのヨー角と、今回フレームの取得時点における車両Ｍのヨー角との間の差分を算出し、当該差分に応じた角度分、前回フレームをヨー方向にシフトさせることによって、前回フレームと今回フレームとを位置合わせしてもよい。

図６は、差分算出部１２０によって算出される差分画像ＤＩの一例を示す図である。差分算出部１２０は、前回フレームを今回フレームに位置合わせした後、前回フレームと今回フレームの画素値の差分を算出する。差分算出部１２０は、各画素について算出された差分値が規定値以上である場合には、当該画素に、動体の候補であることを示す第１の値を割り当てる。一方、差分算出部１２０は、算出された差分値が規定値未満である場合には、当該画素に、動体の候補ではないことを示す第２の値を割り当てる。図６に示す通り、差分算出部１２０によって算出された差分画像ＤＩにおいて、バイクＢが動体として検出されていることが分かる。

グリッド抽出部１３０は、差分算出部１２０によって算出された差分画像ＤＩのうちの複数の画素ごとにグリッドを設定し、設定されたグリッドの各々における第１の値の画素の密度（割合）が閾値以上である場合に、当該グリッドを抽出する。

図７は、グリッド抽出部１３０によって設定されるグリッドの構成の一例を示す図である。図７において、Ｇは、差分画像ＤＩのうち、グリッドとして定義される複数の画素の集合を示す。図７に示す通り、グリッド抽出部１３０は、例えば、差分画像ＤＩのうち、カメラ１０からの距離が第１距離（例えば、１０ｍ）以下である領域については、グリッドＧのサイズを１０×１０画素（「第１サイズ」の一例である）に設定し、カメラ１０からの距離が第１距離より大きく第２距離（例えば、２０ｍ）以下である領域については、グリッドＧのサイズを８×８画素（「第２サイズ」の一例である）に設定し、カメラ１０からの距離が第２距離より大きい領域については、グリッドＧのサイズを５×５画素（「第３サイズ」の一例である）に設定する。これは、カメラ１０からの距離が離れるほど、カメラ１０によって撮像される領域の変化はより小さく、動体を検出するためには、より細かくグリッドＧのサイズを設定する必要があるからである。差分画像ＤＩにおけるカメラ１０からの距離に応じて、グリッドＧのサイズを設定することにより、動体をより正確に検出することができる。

図８は、グリッド抽出部１３０によるグリッドＧの抽出方法の一例を示す図である。グリッド抽出部１３０は、複数のグリッドＧの各々について、第１の値の画素の密度が閾値（例えば、８５％）以上であるか否かを判定し、第１の値の画素の密度が閾値以上であると判定されたグリッドＧについては、図８の上部に示す通り、当該グリッドＧを構成する画素全体を抽出する（第１の値に設定する）。一方、グリッド抽出部１３０は、第１の値の画素の密度が閾値未満であると判定されたグリッドＧについては、図８の下部に示す通り、当該グリッドＧを構成する画素全体を破棄する（第２の値に設定する）。

なお、上記の説明において、グリッド抽出部１３０は、複数のグリッドＧの各々について、第１の値の画素の密度が単一の閾値以上であるか否かを判定している。しかし、本発明はそのような構成に限定されず、グリッド抽出部１３０は、差分画像ＤＩにおけるカメラ１０からの距離に応じて、閾値を変更してもよい。例えば、一般的に、カメラ１０からの距離が近いほど、カメラ１０によって撮像される領域の変化はより大きく、誤差が発生しやいため、グリッド抽出部１３０は、カメラ１０からの距離が近いほど、閾値をより高く設定してもよい。さらに、グリッド抽出部１３０は、第１の値の画素の密度に限らず、第１の値の画素に基づく任意の統計値を用いて判定を行ってもよい。

グリッド抽出部１３０は、差分画像ＤＩに対して、第１の値の画素の密度が閾値以上であるグリッドの画素全体を第１の値に設定する処理（グリッド置換処理）を施すことによって、グリッド画像ＧＩを算出する。図９は、グリッド抽出部１３０によって算出されるグリッド画像ＧＩの一例を示す図である。図８に示す差分画像ＤＩの構成要素は画素である一方、図９に示すグリッド画像ＧＩの構成要素はグリッドである。図９に示す通り、差分画像ＤＩに対してグリッド置換処理を施すことにより、グリッド画像ＧＩにおいて、バイクＢを表すグリッドが検出されていることが分かる。すなわち、動体検出部１４０は、グリッド画像ＧＩにおいて表されるグリッドを動体として検出する。

動体検出部１４０による動体の検出結果は走行制御装置２００に送信され、走行制御装置２００は、受信した検出結果に基づいて、車両Ｍの走行を制御する。図１０は、走行制御装置２００によって実行される動作の一例を示す図である。図１０は、一例として、動体検出部１４０によってバイクＢが動体として検出された状況を示している。このとき、走行制御装置２００は、動体検出部１４０によって検出された動体を避けるように車両Ｍの軌道を生成し、生成した軌道に沿って車両Ｍを走行させる。図１０の場合、走行制御装置２００は、車両Ｍが、バイクＢが走行する横断歩道の直前の地点ＳＰにて停止するように車両Ｍを制御する。これにより、動体検出装置１００による検出結果を車両Ｍの自動運転又は運転支援に好適に活用することができる。走行制御装置２００は、「運転支援装置」の一例である。

なお、上記の説明では、動体検出装置１００による検出結果が自動運転に活用される場合について説明した。しかし、本発明はそのような構成に限定されず、動体検出装置１００による検出結果は、例えば、手動運転を行う乗員に提供する運転支援情報として活用することもできる。

図１１は、動体検出装置１００の構成と周辺機器の別の例を示す図である。図１１において、動体検出装置１００は、走行制御装置２００に代えて、報知装置２１０と通信するように構成される。他の構成は、図１に示した構成と同様である。

報知装置２１０は、車両Ｍの乗員に対して情報を出力するための表示装置、スピーカ、バイブレータ、発光装置などであり、車両Ｍの前方に動体が存在する旨の情報を車両Ｍの乗員に報知する。報知装置２１０は、「運転支援装置」の一例である。

図１２は、報知装置２１０によって実行される動作の一例を示す図である。図１２は、一例として、報知装置２１０が車両Ｍのナビゲーション装置として機能している場合を示している。図１２に示す通り、報知装置２１０は、グリッド抽出部１３０が動体を検出した場合、例えば、検出された動体をバウンディングボックスＢＸで囲むことによって、当該動体を画面上に表示させる。

このとき、報知装置２１０は、さらに、車両Ｍの前方に動体が存在する旨の注意喚起メッセージＷを表示してもよいし、音声によって、車両Ｍの前方に動体が存在する旨の情報を通知してもよい。このような処理により、車両Ｍを手動で運転する乗員に対して、有用な運転支援情報を提供することができる。

次に、図１３を参照して、動体検出装置１００によって実行される処理の流れについて説明する。図１３は、動体検出装置１００によって実行される処理の流れの一例を示す図である。

まず、画像取得部１１０は、カメラ１０によって撮像された、車両Ｍの周辺状況を表す画像フレームを今回の画像フレームとして取得する（ステップＳ１００）。次に、差分算出部１２０は、今回の画像フレームの直前に取得された前回の画像フレームを、前回の画像フレームと今回の画像フレームとの間における車両Ｍの速度に基づいて、消失点ＶＰを中心として拡大させ、拡大された前回の画像フレームの端部をトリミングすることによって、今回の画像フレームとサイズを合わせる（ステップＳ１０２）。

次に、差分算出部１２０は、前回の画像フレームと今回の画像フレームとの差分画像を算出する（ステップＳ１０４）。より具体的には、差分算出部１２０は、前回の画像フレームと今回の画像フレームの各画素について画素の差分値を算出し、算出された差分値が規定値以上である場合には、当該画素に、第１の値を割り当てる一方、算出された差分値が規定値未満である場合には、当該画素に、第２の値を割り当てる。

次に、グリッド抽出部１３０は、算出した差分画像のうちの複数の画素ごとにグリッドＧを設定し、グリッドＧ内の画素のうち第１の値の画素の密度が閾値以上であるグリッドＧを抽出することによって、グリッド画像ＧＩを算出する（ステップＳ１０６）。次に、動体検出部１４０は、グリッド画像ＧＩにおいて表されるグリッドＧを動体として検出する（ステップＳ１０８）。次に、走行制御装置２００は、動体検出部１４０によって検出された動体を避けるように車両Ｍの走行を制御する（ステップＳ１１０）。これにより、本フローチャートの処理が終了する。

以上の通り説明した第１実施形態によれば、カメラによって撮像された時系列の画像フレームから差分画像を算出し、算出された差分画像のうちの複数の画素ごとにサイズの異なるグリッドを設定し、設定されたグリッドごとに動体の有無を検出する。これにより、車両の周辺に存在する動体を簡易的かつ高速に検出することができる。

［第２実施形態］
第１実施形態は、差分画像ＤＩから算出したグリッド画像ＧＩに写されるグリッドＧを動体として検出するものである。しかしながら、グリッド画像ＧＩに写されるグリッドＧは、必ずしも全てが動体であるとは限らず、横断歩道などの静止物体が含まれる場合がある。第２実施形態に係る動体検出装置１００は、算出された複数のグリッド画像ＧＩを比較することによって、動体の検出精度を高めるものである。第２実施形態に係る動体検出装置１００の機能構成は、第１実施形態と同様であるため、説明を省略する。

第２実施形態において、動体検出部１４０は、グリッド画像から動体をより正確に検出するために、異なる時点に関して得られた複数のグリッド画像を比較することによって動体を検出する。図１４は、第２実施形態に係る動体検出部１４０によって実行される動作を説明するための図である。図１４の上部は、時点ｔ０と、時点ｔ０よりも後の時点ｔ１との間の差分画像から算出されたグリッド画像ＧＩ１を示し、図１４の下部は、時点ｔ１と、時点ｔ１よりも後の時点ｔ２（例えば、現時点）との間の差分画像から算出されたグリッド画像ＧＩ２を示す。符号Ｇ１およびＧ２は、それぞれ第１の値の画素の密度が閾値以上であると判定されたグリッドを示す。時点ｔ０は「第１時点」の一例であり、時点ｔ１は「第２時点」の一例であり、時点ｔ３は「第３時点」の一例である。

動体検出部１４０は、グリッド画像ＧＩ１におけるグリッドＧ１（Ｇ２）と、グリッド画像ＧＩ２におけるグリッドＧ１（Ｇ２）とを比較することによって、車両Ｍの周辺に存在する動体を検出する。より具体的には、動体検出部１４０は、まず、時点ｔ１と時点ｔ２との間の期間における車両Ｍの速度およびヨーレートに関する情報を取得する。次に、動体検出部１４０は、取得した速度およびヨーレートに関する情報に基づいて、グリッド画像ＧＩ１におけるグリッドＧに対応するグリッド画像ＧＩ２の位置を特定する。次に、動体検出部１４０は、グリッド画像ＧＩ１におけるグリッドＧと、特定したグリッド画像ＧＩ２の位置に存在するグリッドＧとを比較して、それらの形状や第１の値の画素の密度が一致（又は類似）している場合に、これらのグリッドＧが同一の物体を示していると判定する。図１４は、一例として、グリッド画像ＧＩ１におけるグリッドＧ１が、グリッド画像ＧＩ２におけるグリッドＧ１に対応し、グリッド画像ＧＩ１におけるグリッドＧ２が、グリッド画像ＧＩ２におけるグリッドＧ２に対応している例を表している。

次に、動体検出部１４０は、グリッド画像ＧＩ２におけるグリッドＧが、グリッド画像ＧＩ１における対応するグリッドＧを基準として、画像中心方向に移動したか否かを判定する。動体検出部１４０は、グリッド画像ＧＩ２におけるグリッドＧが画像中心方向に移動したと判定した場合に、当該グリッドＧを動体として検出する。図１４の例では、動体検出部１４０は、グリッド画像ＧＩ２におけるグリッドＧ１が、グリッド画像ＧＩ１におけるグリッドＧ１を基準として、画像中心方向（すなわち、右下方向）に移動したと判定するため、グリッドＧ１を動体として検出する。一方、図１４に示す通り、画像中央部に存在するグリッドＧ２は画像中心方向に移動していないため、動体検出部１４０は、グリッドＧ２を動体として検出しない。しかし、一般的に、画像中央部に存在する物体は、フレーム前後での見かけ上、移動量が過小評価される傾向があるため、動体検出部１４０は、グリッドＧ２を車両Ｍに衝突する可能性がある監視対象物体として、検出してもよい。

次に、図１５を参照して、動体検出装置１００によって実行される処理の流れについて説明する。図１５は、第２実施形態に係る動体検出装置１００によって実行される処理の流れの一例を示す図である。ステップＳ１０６までの処理は、図１３に示した第１実施形態のフローチャートと同様であるため、説明を省略する。

ステップＳ１０６において、グリッド抽出部１３０が今回のグリッド画像ＧＩを算出すると、動体検出部１４０は、１サイクル前にて算出された前回のグリッド画像ＧＩを取得する（ステップＳ２００）。次に、動体検出部１４０は、前回のグリッド画像ＧＩの算出時と、今回のグリッド画像ＧＩの算出時との間における車両Ｍの速度およびヨーレートに基づいて、比較対象となるグリッドＧを特定する（ステップＳ２０２）。

次に、動体検出部１４０は、今回のグリッド画像ＧＩにおけるグリッドＧが、前回のグリッド画像ＧＩにおける対応するグリッドＧを基準として、画像中心方向に移動したか否かを判定する（ステップＳ２０４）。動体検出部１４０は、今回のグリッド画像ＧＩにおけるグリッドＧが、前回のグリッド画像ＧＩにおける対応するグリッドＧを基準として、画像中心方向に移動したと判定した場合、当該グリッドＧを動体として検出する（ステップＳ２０６）。

一方、動体検出部１４０は、今回のグリッド画像ＧＩにおけるグリッドＧが、前回のグリッド画像ＧＩにおける対応するグリッドＧを基準として、画像中心方向に移動していないと判定した場合、当該グリッドＧを非動体として検出する（ステップＳ２０８）。次に、走行制御装置２００は、動体検出部１４０によって検出された動体を避けるように車両Ｍの走行を制御する（ステップＳ２１０）。これにより、本フローチャートの処理が終了する。

以上の通り説明した第２実施形態によれば、前回時点で算出されたグリッド画像と今回時点で算出されたグリッド画像のうちの対応するグリッドを、車両Ｍの速度およびヨーレートに基づいて特定し、特定したグリッドが、前回時点を基準として、車両中心方向に移動していた場合に、当該グリッドを動体として検出する。これにより、グリッド画像から動体をより正確に検出することができる。

［第３実施形態］
第１実施形態は、差分画像ＤＩから算出したグリッド画像ＧＩに写されるグリッドＧを動体として検出するものである。しかしながら、グリッド画像ＧＩに写されるグリッドＧは、必ずしも全てが動体であるとは限らず、横断歩道などの静止物体が含まれる場合がある。第３実施形態に係る動体検出装置１００は、グリッド画像ＧＩに写されるグリッドＧに対して、検出したい物体（歩行者、バイク、車両など）の規定サイズを照合することによって、動体の検出精度を高めるものである。

図１６は、第３実施形態に係る動体検出装置１００の構成と周辺機器の一例を示す図である。図１６に示す通り、動体検出装置１００は、第１実施形態に係る動体検出装置１００の構成要素に加えて、バウンディングボックス設定部１３２を備える。バウンディングボックス設定部１３２は、グリッド抽出部１３０によって抽出され、かつ所定基準を満たすグリッドＧの集合を探索し、探索されたグリッドＧの集合に対してバウンディングボックスを設定する。

図１７は、バウンディングボックス設定部１３２によって実行されるグリッドＧの探索方法の一例を示す図である。バウンディングボックス設定部１３２は、まず、グリッド抽出部１３０によって算出されたグリッド画像ＧＩから、下端が一定長Ｌ１以上のグリッドＧの集合を探索する。このとき、図１７の左部に示されている通り、グリッドＧの集合が一定長Ｌ１以上の下端を有すると判定されるためには、必ずしも、当該集合がグリッドＧを欠損なく含む場合に限定されず、当該下端に含まれるグリッドＧの密度が基準値以上であることを前提条件として、一定長Ｌ１以上の下端を有すると判定されてもよい。

次に、バウンディングボックス設定部１３２は、一定長Ｌ１以上の下端を有するグリッドＧの集合を特定した場合、当該グリッドＧの集合が一定長Ｌ２以上の高さを有するか否かを判定する。すなわち、グリッドＧの集合が、一定長Ｌ１以上の下端かつ一定長Ｌ２以上の高さを有するか否かを判定することによって、当該グリッドＧの集合が、歩行者、バイク、車両などの物体に該当するか否かを特定することができる。この場合、下端の一定長Ｌ１および高さの一定長Ｌ２の組み合わせは、歩行者、バイク、車両などの物体ごとに固有の値として設定される。

次に、バウンディングボックス設定部１３２は、一定長Ｌ１以上の下端および一定長Ｌ２以上の高さを有するグリッドＧの集合を特定した場合、当該グリッドＧの集合にバウンディングボックスを設定する。次に、バウンディングボックス設定部１３２は、設定したバウンディングボックスに含まれるグリッドＧの密度が閾値以上であるか否かを判定する。バウンディングボックス設定部１３２は、設定したバウンディングボックスに含まれるグリッドＧの密度が閾値以上であると判定された場合、当該バウンディングボックスを動体として検出する。バウンディングボックスの設定および密度に関する判定を実行することにより、特定されたグリッドＧの集合が、現実の物体であること（換言すると、グリッドＧの集合が、物体ではないにもかかわらず、たまたま規定の下端と高さに該当したものではないこと）を確認することができる。

このように、バウンディングボックス設定部１３２は、グリッド画像ＧＩから、所定基準を満たすグリッドＧの集合を探索するものであるが、グリッドＧの探索は処理負荷が重くなる場合がある。そのため、バウンディングボックス設定部１３２は、グリッドＧの探索に係る処理負荷を軽減するために、車両Ｍの走行にとって重要な領域を優先的に探索してもよい。

図１８は、バウンディングボックス設定部１３２によるグリッドＧの探索範囲の一例を示す図である。図１８において、符号Ｒ１は、車両Ｍから近距離でグリッドＧが探索される範囲を示し、符号Ｒ２は、車両Ｍから中距離でグリッドＧが探索される範囲を示し、符号Ｒ３は、車両Ｍから遠距離でグリッドＧが探索される範囲を示す。図１８に示される通り、バウンディングボックス設定部１３２は、車両Ｍから近距離の範囲Ｒ１では、グリッド画像ＧＩの全域を探索する一方、車両Ｍから中距離の範囲Ｒ１および遠距離の範囲Ｒ２では、グリッド画像ＧＩの中央部のみを探索してもよい。これにより、車両Ｍの走行にとって重要な領域を優先的に探索し、グリッドＧの探索に係る処理負荷を軽減することができる。

なお、図１８では、一例として、グリッドＧの探索範囲を三段階に分ける場合について記載しているが、本発明はそのような構成に限定されない。例えば、バウンディングボックス設定部１３２は、二段階または四段階以上の探索範囲でグリッドＧを探索してもよいし、単一の探索範囲の探索幅を連続的に中央部に絞り込むような形でグリッドＧを探索してもよい。

次に、図１９を参照して、動体検出装置１００によって実行される処理の流れについて説明する。図１９は、第３実施形態に係る動体検出装置１００によって実行される処理の流れの一例を示す図である。ステップＳ１０６までの処理は、図１３に示した第１実施形態のフローチャートと同様であるため、説明を省略する。

ステップＳ１０６において、グリッド抽出部１３０がグリッド画像ＧＩを算出すると、バウンディングボックス設定部１３２は、グリッド画像ＧＩのうち、一定長Ｌ１以上の下端を有するグリッドＧの集合を探索する（ステップＳ３００）。グリッド画像ＧＩのうち、一定長Ｌ１以上の下端を有するグリッドＧの集合が探索されなかった場合、バウンディングボックス設定部１３２は、本フローチャートの処理を終了する。

一方、グリッド画像ＧＩのうち、一定長Ｌ１以上の下端を有するグリッドＧの集合が探索された場合、バウンディングボックス設定部１３２は、当該グリッドＧの集合が探索された下端を基準として一定長Ｌ２以上の高さを有するか否かを判定する（ステップＳ３０４）。探索されたグリッドＧの集合が一定長Ｌ２以上の高さを有すると判定されなかった場合、バウンディングボックス設定部１３２は、本フローチャートの処理を終了する。

一方、探索されたグリッドＧの集合が一定長Ｌ２以上の高さを有すると判定された場合、バウンディングボックス設定部１３２は、当該グリッドＧの集合を囲むバウンディングボックスを設定する（ステップＳ３０６）。次に、バウンディングボックス設定部１３２は、設定されたバウンディングボックス内のグリッドＧの密度は閾値以上であるか否かを判定する（ステップＳ３０８）。設定されたバウンディングボックス内のグリッドＧの密度が閾値以上であると判定されなかった場合、バウンディングボックス設定部１３２は、本フローチャートの処理を終了する。

一方、設定されたバウンディングボックス内のグリッドＧの密度が閾値以上であると判定された場合、動体検出部１４０は、当該バウンディングボックスを動体として検出する（ステップＳ３１０）。次に、走行制御装置２００は、動体検出部１４０によって検出された動体を避けるように車両Ｍの走行を制御する（ステップＳ２１０）。これにより、本フローチャートの処理が終了する。

以上の通り説明した第３実施形態によれば、グリッド画像の中から、所定基準を満たすグリッドの集合を探索し、探索したグリッドの集合にバウンディングボックスを設定し、設定したバウンディングボックスの密度が閾値以上であるか否かに基づいて、動体を検出する。これにより、グリッド画像から動体をより正確に検出することができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
移動体に搭載されたカメラによって時系列に撮像された、前記移動体の周辺状況を表す複数のフレームを含む画像データを取得し、
前記複数のフレーム間の差分を算出し、前記差分を第１の値と第２の値に二値化することによって、前記複数のフレーム間の差分画像を算出し、
前記差分画像に設定された複数のグリッドのうち、前記第１の値の画素の密度が第１閾値以上であるグリッドを抽出することによって、前記差分画像からグリッド画像を抽出し、
前記グリッド画像に含まれ、かつ所定基準を満たす一以上のグリッドに対して、バウンディングボックスを設定し、
設定された前記バウンディングボックスにおける前記グリッドの密度が第２閾値以上である場合に、前記バウンディングボックスを動体として検出する、
ように構成されている、動体検出装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
１００ 動体検出装置
１１０ 画像取得部
１２０ 差分算出部
１３０ グリッド抽出部
１３２ バウンディングボックス設定部
１４０ 動体検出部
２００ 走行制御装置
２１０ 報知装置

Claims (11)

1. 移動体に搭載されたカメラによって時系列に撮像された、前記移動体の周辺状況を表す複数のフレームを含む画像データを取得する画像取得部と、
   前記複数のフレーム間の差分を算出し、前記差分を第１の値と第２の値に二値化することによって、前記複数のフレーム間の差分画像を算出する差分算出部と、
   前記差分画像に設定された複数のグリッドのうち、前記第１の値の画素の密度が第１閾値以上であるグリッドを抽出するグリッド抽出部と、
   前記抽出され、かつ所定基準を満たす一以上のグリッドに対して、外接矩形であるバウンディングボックスを設定するバウンディングボックス設定部と、
   設定された前記バウンディングボックスにおける前記グリッドの密度が第２閾値以上である場合に、前記バウンディングボックスを動体として検出する動体検出部と、を備える、
   動体検出装置。
2. 前記バウンディングボックス設定部は、前記一以上のグリッドの下端および前記下端を基準とする前記一以上のグリッドの高さがそれぞれ一定の値を有する場合に、前記一以上のグリッドが前記所定基準を満たすと判定する、
   請求項１に記載の動体検出装置。
3. 前記バウンディングボックス設定部は、前記グリッドを含むグリッド画像の中央部において、前記所定基準を満たす一以上のグリッドを探索する、
   請求項１又は２に記載の動体検出装置。
4. 前記差分算出部は、前記複数のフレームを撮像した撮影間隔における前記移動体の速度に基づいて、前回時点で撮像されたフレームを拡大させ、拡大された前記前回時点で撮像されたフレームと、今回時点で撮像されたフレームとの間の差分画像を算出する、
   請求項１から３のいずれか１項に記載の動体検出装置。
5. 前記差分算出部は、前記前回時点で撮像されたフレームを、前記前回時点で撮像されたフレームの消失点を中心に拡大させる、
   請求項４に記載の動体検出装置。
6. 前記差分算出部は、前記複数のフレームを撮像した撮影間隔における前記移動体のヨーレートに基づいて、前回時点で撮像されたフレームを補正し、補正した前記前回時点で撮像されたフレームと、今回時点で撮像されたフレームとの間の差分画像を算出する、
   請求項１から５のいずれか１項に記載の動体検出装置。
7. 前記グリッド抽出部は、前記複数のグリッドの各々の前記カメラからの距離に応じて、前記第１閾値を変化させる、
   請求項１から６のいずれか１項に記載の動体検出装置。
8. 前記グリッド抽出部は、前記カメラからの距離が第１距離以下である場合には、前記複数のグリッドのサイズを第１サイズに設定し、前記カメラからの距離が第１距離より大きくかつ第２距離以下である場合には、前記複数のグリッドのサイズを前記第１サイズより小さい第２サイズに設定し、前記カメラからの距離が第２距離より大きい場合には、前記複数のグリッドのサイズを前記第２サイズより小さい第３サイズに設定する、
   請求項１から７のいずれか１項に記載の動体検出装置。
9. 請求項１から８のいずれか１項に記載の動体検出装置と、
   前記動体検出装置によって得られた検出結果に基づいて、前記移動体の運転支援を行う運転支援装置と、を備える、
   システム。
10. コンピュータが、
    移動体に搭載されたカメラによって時系列に撮像された、前記移動体の周辺状況を表す複数のフレームを含む画像データを取得し、
    前記複数のフレーム間の差分を算出し、前記差分を第１の値と第２の値に二値化することによって、前記複数のフレーム間の差分画像を算出し、
    前記差分画像に設定された複数のグリッドのうち、前記第１の値の画素の密度が第１閾値以上であるグリッドを抽出することによって、前記差分画像からグリッド画像を抽出し、
    前記グリッド画像に含まれ、かつ所定基準を満たす一以上のグリッドに対して、バウンディングボックスを設定し、
    設定された前記バウンディングボックスにおける前記グリッドの密度が第２閾値以上である場合に、前記バウンディングボックスを動体として検出する、
    動体検出方法。
11. コンピュータに、
    移動体に搭載されたカメラによって時系列に撮像された、前記移動体の周辺状況を表す複数のフレームを含む画像データを取得させ、
    前記複数のフレーム間の差分を算出し、前記差分を第１の値と第２の値に二値化することによって、前記複数のフレーム間の差分画像を算出させ、
    前記差分画像に設定された複数のグリッドのうち、前記第１の値の画素の密度が第１閾値以上であるグリッドを抽出することによって、前記差分画像からグリッド画像を抽出させ、
    前記グリッド画像に含まれ、かつ所定基準を満たす一以上のグリッドに対して、バウンディングボックスを設定させ、
    設定された前記バウンディングボックスにおける前記グリッドの密度が第２閾値以上である場合に、前記バウンディングボックスを動体として検出させる、
    プログラム。