JP7636917B2 - 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラムに関する。

近年、車両（移動体ともいう）の内部に設置して車両の前方や後方を撮像し、車両の事故発生時及びその直前の様子を記録媒体に記録するドライブレコーダが普及している。ドライブレコーダには、事故発生時の映像を記録媒体に記録するだけでなく、ふらつき走行といった、事故発生には至らなかったものの危険な状態に陥った状態を検出し、当該状態の検出をトリガとして映像を記録するものも提案されている（特許文献１）。特許文献１では、車両前方の撮像情報から認識された道路の白線の位置を用いて車両の走行位置を検出し、検出した車両の位置に基づいてふらつき走行を検出する。

特開２０１１－１５０５７３号公報

ところで、ドライブレコーダには、車両の購入後に別途車両に取り付けられ、車両のシステムとは通信することなく、単独で動作するものがある。このようなドライブレコーダにおいて車両の特定の挙動を乗員に通知するような運転支援機能を提供するためには、撮像した画像情報に基づいて車両の挙動を推定する技術が有用である。

ドライブレコーダによる運転支援機能を実現するために、道路上の特定の対象（例えば白線）の存在を前提としない、簡便かつ冗長な方法で移動体の挙動（例えば移動量）を検出する技術が望まれている。

本発明は、上記課題に鑑みてなされ、その目的は、簡便かつ冗長な方法で移動体の挙動を推定可能な技術を実現することである。

本発明によれば、
取り付けられた移動体の移動量を推定するための情報処理装置であって、
前記移動体の外界を撮像した撮像画像を取得する撮像手段と、
第１時刻に撮像された第１撮像画像と、前記第１時刻より前の第２時刻に撮像された第２撮像画像とに基づいて、前記移動体の移動量を推定する推定手段と、を有し、
前記推定手段は、互いに異なる予測移動量に基づいて前記第２撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、前記第１撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動量を推定する、ことを特徴とする情報処理装置が提供される。

本発明によれば、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。

本発明の実施形態１に係る移動体（車両）の構成例を模式的に示す図 実施形態１に係る情報処理装置の一例としてのドライブレコーダの機能構成例を示すブロック図 実施形態１に係る移動体（車両）の移動量（停止状態）を判定する処理を説明する図 実施形態１に係る移動体（車両）の移動量（速度レベル）を推定する処理を説明する図 実施形態１に係る移動体（車両）の移動量（水平方向の移動量）を推定する処理を説明する図 実施形態１に係る移動量推定処理の一連の動作を示すフローチャート 実施形態２に係る移動量推定処理の一連の動作を示すフローチャート 実施形態３に係る移動量推定処理の一連の動作を示すフローチャート

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

（実施形態１）
本実施形態は、取り付けられた移動体の移動量を検出するための情報処理装置に関する。以下の実施形態では、情報処理装置が例えば移動体に取り付けられたドライブレコーダである場合を例に説明する。しかし、情報処理装置は、移動体に取り付けられ、移動体の外界を撮像可能な装置であれば他の装置であってもよい。また、以下の実施形態では、移動体が例えば車両である場合を例に説明する。車両は典型的には四輪車であるが、本実施形態は、他のタイプの車両に適用されてもよい。

図１を参照して、ドライブレコーダの取り付け位置の例について説明する。車両１００に、ドライブレコーダ１０１が取り付けられている。ドライブレコーダ１０１は、車両１００のフロントガラスの運転者の視界を妨げない位置であってルームミラーの近傍、或いは車両１００のルームミラーに取り付けられる。ドライブレコーダ１０１の取り付け位置はこれに限られず、車両１００の外界を撮像可能な任意の位置であってもよい。

ドライブレコーダ１０１は、単体として動作可能であるが、ドライブレコーダ１０１は車両１００から電力の供給を受けてもよい。

＜ドライブレコーダの機能構成例＞
図２を参照して、ドライブレコーダ１０１の機能構成例について説明する。ドライブレコーダ１０１は、例えば、制御部２０１と、記憶装置２０２と、撮像装置２０３と、入力装置２０４と、出力装置２０５と、通信装置２０６とを備える。

制御部２０１は、例えばＣＰＵ（Central Processing Unit）を含み、ドライブレコーダ１０１全体の動作を制御する。制御部２０１は、例えばＣＰＵが記憶装置２０２に格納されたプログラムを展開、実行することによって実現されてもよい。制御部２０１は、ＣＰＵのほか、ＧＰＵ（Graphics Processing Unit）や、画像処理や機械学習などのための専用回路を更に含んでもよい。

記憶装置２０２は、ドライブレコーダ１０１の動作に関連するデータやプログラムを記憶する装置である。例えば、記憶装置２０２は、ドライブレコーダ１０１の動作を規定したプログラム、このプログラムの実行時の一時データ、撮像装置２０３で撮像された画像、マイクで収音された環境音などを記憶してもよい。記憶装置２０２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリによって実現されてもよい。さらに、記憶装置２０２は、ＳＳＤ（Solid State Drive）などの補助記憶装置を含んでもよい。

撮像装置２０３は、車両１００の前方の外界（例えば風景）を撮像するためのカメラを含む。撮像装置２０３は、例えば広角カメラであってもよい。このカメラは、ドライブレコーダ１０１の前側（車両１００前方側）に位置する。また、撮像装置２０３は、車両１００の前方側を撮像するカメラのほか、車両１００の後方、左右の側方を撮像可能なカメラを更に備えていてよい。この場合、後方を撮像するカメラはドライブレコーダの後ろ側（車両の後方側）に配置され、側方を撮像するカメラはドライブレコーダの側面に配置されてもよい。複数の方向を撮像するカメラの一部は、ドライブレコーダと別体であってもよい。或いは、撮像装置２０３は、例えば魚眼カメラを備えていてもよい。

入力装置２０４は、車両１００の乗員からの指示を入力するための装置である。入力装置２０４は、例えばボタンやタッチパネルを含む。また、入力装置２０４は、乗員の音声や外界の音を入力するマイクを含んでよい。

出力装置２０５は、車両１００の乗員に向けて情報を出力するための装置である。出力装置２０５は、視覚情報を提供する表示装置（例えば、液晶ディスプレイやインジケータ）であってもよいし、聴覚情報を提供する音響装置（例えば、スピーカ）であってもよいし、これらの両方を含んでもよい。

通信装置２０６は、ドライブレコーダ１０１が他の装置（例えば、不図示のユーザのスマートフォン）と通信するための装置である。通信装置２０６は、例えば、記憶装置２０２に記憶した画像や音声をユーザのスマートフォンに送信してもよい。通信装置２０６は、他の装置と有線で通信してもよいし、他の装置と無線で通信してもよい。無線通信は、短距離通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などのプロトコルに準拠した通信であってもよい。通信装置２０６は、車両１００の制御ＥＣＵと有線又は無線で通信可能に構成されてもよい。通信装置２０６は省略可能であってもよい。

＜ドライブレコーダにおける車両の移動量推定処理の概要＞
次に、ドライブレコーダ１０１が取り付けられている車両の移動量を推定する処理について、図３から図５を参照して説明する。なお、図３から図５を参照して説明する処理は、一例として撮像装置２０３が車両１００の前方を撮像した撮像画像を用いて処理を行う場合を例に説明する。以下の例は、例えば、制御部２０１が記憶装置２０２に記憶されたプログラムを実行することにより実現される。

まず、図３を参照して、車両の移動量（停止状態）を判定する処理について説明する。ドライブレコーダ１０１は、撮像装置２０３により、例えば所定の時間間隔で撮像画像を取得する。制御部２０１は、例えば、ある時刻（例えば現在時刻。この時間をｋとする）に撮像された撮像画像３０１と、時刻ｋより前の時刻（例えばｋ－１）に撮像された撮像画像３０２とを取得して、撮像画像３０１と撮像画像３０２の画素値の差分を算出し、差分画像を生成する。

制御部２０１は、得られた差分画像を２値化し、２値化画像３０３を生成する。２値化は、画像を白と黒の２階調に変換する処理であり、差分画像を２値化することで差分画像を鮮明にすることができる。２値化に用いる閾値は予め実験等により適切な値が設定されればよい。なお、本実施形態では、差分画像を２値化する場合を例に説明するが、差分画像を２値化する代わりに他の画像処理を施してもよい。また、制御部２０１は、差分を算出する前に各画像を輝度画像に変換したり、エッジを強調するなどの所定の画像処理を行ってよい。

制御部２０１は、２値化画像の画素値を用いて画素値の総和を算出し、算出した総和が予め定めた閾値以下であるかどうかを判定する。制御部２０１は、算出した総和が予め定めた閾値以下であると判定した場合、車両が停止した状態であると判定する。このとき、制御部２０１は、例えば、所定の車両状態パラメータ（例えばＶｓｔａｔｅ）に車両停止状態を示す「０」を設定する。一方、制御部２０１は、算出した総和が予め定めた閾値より大きいと判定した場合、車両が走行中或いは周辺の交通参加者の移動量が大きい状態であると判定する。このとき、制御部２０１は、例えば、車両状態パラメータ（Ｖｓｔａｔｅ）に、車両状態が車両走行中或いは交通参加者の移動大を示す「１」を設定する。

すなわち、制御部２０１は、時刻ｋに撮像された画像と以前に撮像された画像との差分をとり、差分画像において白の画素値が多い場合には両画像の類似度が高いものとして、車両が停止していると判定する。但し、画素の色の値の正負の取り方により、類似度が高い場合を示す色が白でなくてもよい。本実施形態では、差分画像において白の画素値が多い場合に両画像の類似度が高いと判定する場合を例に説明するが、類似度が高い場合に差分画像に黒の画素値が現れるようにしてもよい。

次に、図４を参照して、車両の移動量（速度レベル）を推定する処理について説明する。なお、速度レベルは車両の移動速度をいう。しかし、予め移動速度に対応付けられた速度の程度（例えば高速、中速、低速など）を表してもよい。ドライブレコーダ１０１は、撮像装置２０３により、例えば所定の時間間隔で撮像画像を取得する。制御部２０１は、例えば、ある時刻（例えばｋ）に撮像された撮像画像４０１と、時刻ｋより前の時刻（例えばｋ－１）に撮像された撮像画像とを取得する。制御部２０１は、時刻ｋ－１に撮像された撮像画像に対し、互いに異なる複数の倍率で拡大又は縮小した変倍画像を生成する。例えば、時刻ｋ－１に撮像された撮像画像を、段階的に異なる変倍率｛Ｅ_ｎ、Ｅ_ｍ、・・・、１、・・・、Ｒ_ｍ、Ｒ_ｎ｝（ここで、Ｅ_ｎ＞Ｅ_ｍ＞・・・＞１＞・・・＞Ｒ_ｍ＞Ｒ_ｎ＞０）で変倍した変倍画像（例えば変倍画像４１１～４１５）を生成する。そして、制御部２０１は、生成した変倍画像４１１～４１５と撮像画像４０１のそれぞれの所定領域４２１を切り出す。このとき、切り出される各所定領域は、同一サイズであり、時刻ｋ及びｋ－１で撮像された撮像画像の中心と同一の中心を有する。変倍率｛Ｅ_ｎ、Ｅ_ｍ、・・・、１、・・・、Ｒ_ｍ、Ｒ_ｎ｝はそれぞれ、車両がどの速度レベルで前進又は後退するかに関連付けられている。このため、ある変倍率で変倍された画像は、関連付けられた速度で車両が走行する際に、次のタイミング（つまり時刻ｋ）で撮像される画像と類似する。

制御部２０１は、時刻ｋの撮像画像３０１から切り出した所定領域の画素値と、撮像画像３０２を変倍した変倍画像４１１～４１５のそれぞれの所定領域の画素値との差分を算出し、複数の差分画像を生成する。

制御部２０１は、得られた複数の差分画像のそれぞれを２値化した２値化画像を生成し、２値化画像の画素値の総和を算出する。制御部２０１は、各変倍率に対応する画素値の総和のうち、画素値の総和が最小となる変倍率を選択する。例えば、Ｅ_ｎ、Ｅ_ｍ、１、Ｒ_ｍ、Ｒ_ｎで時刻ｋ－１の撮像画像を変倍し、そのうち、Ｅ_ｍで変倍した変倍画像を用いた画素値の総和が最小となる場合、制御部２０１は、変倍率Ｅ_ｍを選択する。上述のように、それぞれの変倍率は車両の速度レベルと関連付けられているため、変倍率Ｅ_ｍに関連付けられている速度レベルが車両１００の速度レベル（移動量）として推定される。

なお、２値化は、図３を参照して説明した処理における２値化処理と同様であってよい。本実施形態では、差分画像を２値化する場合を例に説明するが、差分画像を２値化する代わりに他の画像処理を施してもよい。また、制御部２０１は、差分を算出する前に各画像を輝度画像に変換したり、エッジを強調するなどの所定の画像処理を行ってよい。

更に、図５を参照して、車両の移動量（水平方向の移動量）を推定する処理について説明する。上述のように、ドライブレコーダ１０１は、撮像装置２０３により、例えば所定の時間間隔で撮像画像を取得する。制御部２０１は、例えば、ある時刻（例えばｋ）に撮像された撮像画像５０１と、時刻ｋより前の時刻（例えばｋ－１）に撮像された撮像画像とを取得する。制御部２０１は、時刻ｋ－１に撮像された撮像画像から、画像の中心から互いに異なる複数のシフト量で水平方向にシフトした所定領域を切り出す。例えば、時刻ｋ－１に撮像された撮像画像から、段階的に異なるシフト量｛－Ｓ_ｎ、－Ｓ_ｍ、・・・、０、・・・、Ｓ_ｍ、Ｓ_ｎ｝（ここで、Ｓ_ｎ＞Ｓ_ｍ＞・・・＞０）でシフトした所定領域（例えば所定領域５２１～５２５）を切り出す。また、制御部２０１は、撮像画像５０１の所定領域５２０を切り出す。シフト量｛－Ｓ_ｎ、－Ｓ_ｍ、・・・、０、・・・、Ｓ_ｍ、Ｓ_ｎ｝はそれぞれ、車両がどの移動量で左側又は右側に移動するかに関連付けられている。このため、あるシフト量で切り出された領域は、関連付けられた移動量で車両が移動する際に撮像される画像の中央部を切り出した所定領域と類似する。

制御部２０１は、時刻ｋの撮像画像５０１から切り出した所定領域５２０の画素値と、撮像画像５１１から切り出した所定領域５２１～５２５のそれぞれの画素値との差分を算出し、複数の差分画像を生成する。

制御部２０１は、得られた複数の差分画像のそれぞれを２値化した２値化画像を生成し、２値化画像の画素値の総和を算出する。制御部２０１は、各シフト量に対応する画素値の総和のうち、画素値の総和が最小となるシフト量を選択する。例えば、時刻ｋ－１の撮像画像において－Ｓ_ｎ、－Ｓ_ｍ、０、Ｓ_ｍ、Ｓ_ｎのシフト量で移動させた所定領域のうち、Ｓ_ｍでシフトした所定領域を用いた画素値の総和が最小となる場合、制御部２０１は、シフト量Ｓ_ｍを選択する。上述のように、それぞれのシフト量は車両の移動量と関連付けられているため、シフト量Ｓ_ｍに関連付けられている移動量が車両１００の水平方向の移動量として推定される。

なお、２値化は、図３を参照して説明した処理における２値化処理と同様であってよい。本実施形態では、差分画像を２値化する場合を例に説明するが、差分画像を２値化する代わりに他の画像処理を施してもよい。また、制御部２０１は、差分を算出する前に各画像を輝度画像に変換したり、エッジを強調するなどの所定の画像処理を行ってよい。

＜移動量推定処理の一連の動作＞
次に、図６を参照して、ドライブレコーダ１０１における移動量推定処理の一連の動作について説明する。なお、本処理は、例えば、ドライブレコーダ１０１の制御部２０１が記憶装置２０２に記憶されたプログラムを実行することにより実現される。本処理は、車両１００の走行中の任意のタイミングで開始されてよく、後述するＳ６０１～Ｓ６０８の処理が繰り返し実行されてよい。

Ｓ６０１において、制御部２０１は、車両状態を判定する。具体的には、制御部２０１は、図３を参照して説明した、車両の移動量（停止状態）を判定する処理を実行する。上述したように、制御部２０１は、例えば、ある時刻ｋ（現在であってもよい）に撮像された撮像画像と、時刻ｋより前の時刻（例えばｋ－１）に撮像された撮像画像とを取得して、撮像画像間の差分を求める。制御部２０１は、得られた差分の２値化画像を用いて画素値の総和を算出し、算出した総和に応じて車両が停止状態であるか、その他の状態（車両が走行中或いは周辺の交通参加者の移動量が大きい状態）であるかを判定する。制御部２０１は、車両が静止状態であると判定した場合、例えば、車両状態パラメータに車両停止状態を示す「０」を設定し、そうでない場合には、当該車両状態パラメータに「１」を設定する。

Ｓ６０２において、制御部２０１は、車両状態が停止状態であるかを判定する。制御部２０１は、例えば、Ｓ６０１で設定した車両状態パラメータの値を参照して、当該車両状態パラメータが０に設定されているかを判定する。車両状態が停止状態であると判定した場合、本一連の動作を終了する。一方、制御部２０１は、車両状態が停止状態で無いと判定した場合、処理をＳ６０３に進める。

Ｓ６０３において、制御部２０１は、車両の速度レベルを推定する。具体的には、制御部２０１は、図４を参照して説明した、車両の移動量（速度レベル）を推定する処理を実行する。上述したように、制御部２０１は、例えば、ある時刻ｋに撮像された撮像画像と、時刻ｋより前の時刻（例えばｋ－１）に撮像された撮像画像とを取得する。２つの撮像画像は、Ｓ６０１の処理において取得された撮像画像でよい。

制御部２０１は、時刻ｋ－１に撮像された撮像画像を段階的に異なる変倍率で変倍した複数の変倍画像を生成し、それぞれの変倍画像から中心が同一である所定領域（変倍画像の所定領域ともいう）を切り出す。また、制御部２０１は、時刻ｋの撮像画像からも同一サイズの所定領域を切り出す。制御部２０１は、時刻ｋの撮像画像から切り出した所定領域と、変倍画像から切り出した所定領域のそれぞれとの差分画像を生成し、２値化した差分画像の画素値の総和を算出する。制御部２０１は、それぞれの２値化した差分画像の画素値の総和から、当該総和が最小となる変倍率を特定する。上述したように、特定された変倍率は、車両が前進又は後退する際の速度レベルに対応付けられているため、制御部２０１は、特定された変倍率から車両の速度レベルを推定することができる。制御部２０１は、例えば、記憶装置２０２に予め記憶されている速度レベル用テーブルを参照することにより、変倍率に対応する速度レベルを取得する。

Ｓ６０４において、制御部２０１は、求めた速度レベルが所定の速度閾値以上であるかを判定する。所定の速度閾値は、例えば、車両の水平方向の移動量を推定する処理を行うか否かを判定するための閾値である。制御部２０１は、車両の速度レベルが所定の速度閾値以上であると判定した場合、車両の水平方向の移動量を推定する処理を行うことなく、Ｓ６０７に処理を進める。一方、車両の速度レベルが所定の速度閾値より小さいと判定した場合、処理をＳ６０６に進めて、車両の水平方向の移動量を推定する処理を実行する。

なお、図６に示す処理では、速度レベルの推定処理と水平方向の移動量推定処理とを別個の処理とし、速度レベルが所定の速度閾値以下である場合に水平方向の移動量推定処理を行う例を説明している。しかし、速度レベルの推定と水平方向の移動量推定とを同時に推定するようにしてもよい。

例えば、制御部２０１は、まず、時刻ｋ－１に撮像された撮像画像を、段階的に異なる変倍率｛Ｅ_ｎ、Ｅ_ｍ、・・・、１、・・・、Ｒ_ｍ、Ｒ_ｎ｝（ここで、Ｅ_ｎ＞Ｅ_ｍ＞・・・＞１＞・・・＞Ｒ_ｍ＞Ｒ_ｎ＞０）で変倍した変倍画像を生成する。そして、制御部２０１は、生成した変倍画像のそれぞれから、更に、－Ｓ_ｎ、－Ｓ_ｍ、０、Ｓ_ｍ、Ｓ_ｎのシフト量で移動させた所定領域を切り出す。制御部２０１は、時刻ｋ－１の撮像画像に基づいて切り出された所定領域と、時刻ｋの撮像画像の所定領域との差分の画素値が最小となる変倍率及びシフト量の組み合わせを特定する。このようにすれば、車両１００が一定以上の速度で前進又は後退しながら、水平方向に移動する場合の移動量を推定することができる。

Ｓ６０６において、制御部２０１は、車両の水平方向の移動量を推定する。具体的には、制御部２０１は、図５を参照して説明した、車両の移動量（水平方向の移動量）を推定する処理を実行する。上述したように、制御部２０１は、例えば、ある時刻ｋに撮像された撮像画像と、時刻ｋより前の時刻（例えばｋ－１）に撮像された撮像画像とを取得する。２つの撮像画像は、Ｓ６０１の処理において取得された撮像画像でよい。

制御部２０１は、時刻ｋ－１に撮像された撮像画像から、段階的に異なるシフト量で水平方向にシフトした所定領域（シフト画像の所定領域ともいう）を切り出す。また、制御部２０１は、時刻ｋの撮像画像からも位置のシフトされていない所定領域を切り出す。制御部２０１は、時刻ｋの撮像画像から切り出した所定領域と、時刻ｋ－１の撮像画像に基づいて切り出した所定領域のそれぞれとの差分画像を生成し、２値化した差分画像の画素値を総和を算出する。制御部２０１は、それぞれの２値化した差分画像の画素値の総和から、当該総和が最小となるシフト量を特定する。上述したように、特定されたシフト量は、車両が水平方向に移動する際の移動量に対応付けられているため、制御部２０１は、特定されたシフト量から車両の水平方向の移動量を推定することができる。制御部２０１は、例えば、記憶装置２０２に予め記憶されている横移動量テーブルを参照することにより、シフト量に対応する水平方向の移動量を取得する。

Ｓ６０７において、制御部２０１は、車両の速度レベル又は水平方向の移動量が通知条件を満たすかを判定する。通知条件は、例えば、所定の単位時間あたりの水平移動量が閾値以上であるか、或いは、車両の速度レベルが、予め定めた速度超過を示す速度以上であるか等の条件を含んでよい。例えば、所定の単位時間あたりの水平移動量が閾値以上である場合、車両のふれが大きいことを乗員に通知することができる。また、車両の速度レベルが速度超過を示す速度以上である場合、乗員に対して速度超過を通知することができる。速度超過を示す速度は、段階的に異ならせた複数の閾値を設定してもよく、速度レベルに応じて、段階的に異なる通知を行うようにしてもよい。

制御部２０１は、Ｓ６０３で推定された速度レベル及びＳ６０６で推定された水平方向の移動量に基づき、通知条件の少なくともいずれかを満たすかを判定する。制御部２０１は、通知条件の少なくともいずれかを満たすと判定した場合には処理をＳ６０８に進め、それ以外の場合には本一連の動作を終了する。

Ｓ６０８において、制御部２０１は、判定された通知条件に基づいて、出力装置２０５を介して通知を発生させる。例えば、制御部２０１は、Ｓ６０６で満たすと判定した通知条件に対応する音声（例えば「速度ＸＸｋｍ／ｓを超えています」）を出力したり、インジケータを点灯させたりしてよい。複数の通知条件を満たすと判定した場合、予め通知条件の優先度を設定した優先順テーブルを参照して、最も優先順の高い通知条件（或いは、最も優先順の高い通知条件のいくつか）に対応する通知を出力するようにしてもよい。制御部２０１は、通知の出力を終了すると、本一連の動作を終了する。

以上説明したように、本実施形態では、取り付けられた車両の移動量を推定するために、車両の外界を第１時刻に撮像した第１撮像画像と、第１時刻より前の第２時刻に撮像した第２撮像画像とを用いる。制御部２０１は、互いに異なる予測移動量（例えば速度レベル或いは水平移動量）に基づいて第２撮像画像を変化させた、画像の所定領域（変化画像の所定領域）の画像情報のそれぞれと、第１撮像画像の所定領域を切り出した画像情報との差分のうち、最小の差分により車両の移動量（速度レベル或いは水平移動量）を推定するようにした。このようにすることで、道路上の特定の対象（例えば白線）の存在を前提としないため、白線が適切に撮像されないような条件であっても、すなわち冗長な条件で、車両の移動量を推定することができる。また、このように処理を単純化することにより、単体で動作するドライブレコーダの計算資源であっても、高速に処理を実行することができる。

（実施形態２）
次に、実施形態２について説明する。上述の実施形態では、撮像装置２０３が車両１００の前方を撮像した画像を用いて処理を行う場合を例に説明した。しかし、車両１００が走行する車線の先を別の車両が走行しているような場合には、当該車両領域は背景ほど変化しないにもかかわらず変倍されることにより適切に速度レベルが推定できない場合がある。そして、正確でない推定速度レベルを用いて乗員に通知を行うとドライブレコーダの使用感が低下する可能性がある。このため、本実施形態では、更に、後方を撮像した撮像画像と、側方を撮像した撮像画像とからもそれぞれ速度レベルを推定したうえで、前方の撮像画像から推定される速度レベルの信頼性を判定する。このようにすることで、推定した速度レベルの信頼性が高い場合に当該速度レベルを通知処理に用いることができる。これにより、乗員に対する通知の精度が向上する。

なお、本実施形態に係るドライブレコーダ１０１の構成は、上述の実施形態と同一であってよく、移動量推定処理の一部が異なる。このため、同一の構成及び処理については同一の参照番号を付して説明を省略し、相違点について重点的に説明する。

＜移動量推定処理の一連の動作＞
図７を参照して、本実施形態に係るドライブレコーダ１０１における移動量推定処理の一連の動作について説明する。なお、本処理は、実施形態１と同様、例えば、ドライブレコーダ１０１の制御部２０１が記憶装置２０２に記憶されたプログラムを実行することにより実現される。

制御部２０１は、Ｓ６０１及びＳ６０２の処理を実施形態１と同様に実行し、その後、Ｓ７０１において、前方、後方及び側方の撮像画像から、それぞれ速度レベルを推定する。前方の速度レベルについては、上述したＳ６０３の処理により速度レベルを推定する。

また、後方については、制御部２０１は、前方と同一の時刻における２つの撮像画像、例えば、ある時刻ｋに撮像された撮像画像と、時刻ｋより前の時刻（ｋ－１）に撮像された撮像画像とを取得する。但し、ドライブレコーダ１０１から車両の後方の外界を撮像する際には室内と窓領域とが撮像されるため、外界領域の画像を用いるように他の領域（室内や人の領域など）をマスクしてよい。例えば、数秒間にわたって順次撮像した撮像画像において変化の分散が所定値より低い領域をマスクすればよい。

後方の撮像画像についても、制御部２０１は、時刻ｋ－１に撮像された撮像画像を段階的に異なる変倍率で変倍した複数の変倍画像を生成し、それぞれの変倍画像から中心が同一である所定領域を切り出す。また、制御部２０１は、時刻ｋの撮像画像からも同一サイズの所定領域を切り出す。制御部２０１は、時刻ｋの撮像画像から切り出した所定領域と、変倍画像から切り出した所定領域のそれぞれとの差分画像を生成し、２値化した差分画像の画素値の総和を算出する。制御部２０１は、それぞれの２値化した差分画像の画素値の総和から、当該総和が最小となる変倍率を特定する。後方画像から特定された変倍率は、車両が前進又は後退する際の速度レベルに対応付けられている。但し、前方画像から特定される変倍率とは拡大縮小の別が逆となる。これにより、制御部２０１は、後方画像から特定された変倍率から車両の速度レベルを推定することができる。なお、便宜上、後方画像から推定された速度レベルを後方速度レベルという。制御部２０１は、例えば、記憶装置２０２に予め記憶されている後方画像用の速度レベルのテーブルを参照することにより、変倍率に対応する後方速度レベルを取得する。

更に、側方については、制御部２０１は、前方と同一の時刻における２つの撮像画像、例えば、ある時刻ｋに撮像された撮像画像と、時刻ｋより前の時刻（ｋ－１）に撮像された撮像画像とを取得する。但し、側方においても、ドライブレコーダ１０１から車両の側方の外界を撮像する際には室内と窓領域とが撮像されるため、外界領域の画像を用いるように他の領域をマスクしてよい。例えば、数秒間にわたって順次撮像した撮像画像において変化の分散が所定値より低い領域をマスクすればよい。

側方の撮像画像から車両の速度レベルを推定する場合、制御部２０１は、水平方向の移動量の推定処理と同様の処理を行う。すなわち、制御部２０１は、時刻ｋ－１に撮像された撮像画像から、段階的に異なるシフト量で水平方向にシフトした所定領域を切り出す。また、制御部２０１は、時刻ｋの撮像画像からも位置のシフトされていない所定領域を切り出す。制御部２０１は、時刻ｋの撮像画像から切り出した所定領域と、時刻ｋ－１の撮像画像に基づいて切り出した所定領域のそれぞれとの差分画像を生成し、２値化した差分画像の画素値を総和を算出する。制御部２０１は、それぞれの２値化した差分画像の画素値の総和から、当該総和が最小となるシフト量を特定する。側方画像から特定されたシフト量は、車両の速度レベルに対応付けられている。このため、制御部２０１は、側方画像から特定されたシフト量から車両の速度レベルを推定することができる。なお、便宜上、側方画像から推定された速度レベルを側方速度レベルという。制御部２０１は、車両の右側と車両の左側の側方速度レベルをそれぞれ推定する。制御部２０１は、例えば、記憶装置２０２に予め記憶されている、右側及び左側の側方画像用の速度レベルのテーブルを参照することにより、側方画像から特定されるシフト量に対応する側方速度レベルを取得する。

Ｓ７０２において、制御部２０１は、前方画像から推定された速度レベルの信頼度が閾値以上であるかを判定する。例えば、制御部２０１は、前方画像から推定された速度レベルと他の速度レベルとの差分を算出したうえで、最も速度レベルの近い２つの速度レベル（例えば、右側の側方速度レベルと左側の側方速度レベル）との差分の総和を算出し、算出した総和を前方速度レベルの信頼度とする。この場合、例えば、１方向の速度レベルが（例えば推定された後方速度レベルが後方車両の存在により）外れ値になっている場合でも、他の方向の速度レベルを用いて、前方速度レベルの信頼度をより信頼性良く算出することができる。制御部２０１は、前方速度レベルの信頼度が閾値以下であると判定した場合、処理をＳ７０３に進め、そうでない場合には、（現時点での前方速度レベルは通知に使用できないと判断して）本一連の処理を終了する。

なお、本実施形態では、前方速度レベルの信頼性を判定するようにしているが、信頼性を判定する速度は他の方向の撮像画像から推定された速度レベルであってもよい。例えば、前方撮像画像の輝度が所定以上に高い場合（車両の進行方向に太陽があるために前方撮像画像が逆光で撮像されるような場合）には、後方撮像画像或いは側方撮像画像で推定した速度レベルの信頼度を判定し、後の処理において当該速度レベルを用いるようにしてもよい。

Ｓ７０３において、制御部２０１は、推定された前方速度レベルが所定の速度閾値以上であるかを判定する。制御部２０１は、前方速度レベルが所定の速度閾値以上であると判定した場合、車両の水平方向の移動量を推定する処理を行うことなく、Ｓ６０７に処理を進める。一方、前方速度レベルが所定の速度閾値より小さいと判定した場合、処理をＳ６０６に進めて、車両の水平方向の移動量を推定する処理を実行する。

その後、制御部２０１は、実施形態１と同様にＳ６０６～Ｓ６０８の処理を実行して、本一連の動作を終了する。

以上説明したように、本実施形態では、前方、後方、側方の撮像画像のそれぞれを用いて別個に４つの速度レベルを推定し、１方向の速度レベルの信頼度を、他の方向の速度レベルに基づいて算出するようにした。このようにすることで、簡便な方法で速度レベルを算出することができ、また、信頼性の低い方向の速度レベルの使用を排除することができる。これにより、信頼性が高い場合に速度レベルを用いた通知を実現することができる。

（実施形態３）
更に、実施形態３について説明する。本実施形態２では、後方を撮像した撮像画像と、側方を撮像した撮像画像とからもそれぞれ速度レベルを推定したうえで、前方の撮像画像から推定される速度レベルの信頼性を判定し、信頼性の低い速度レベルを採用しないようにした。これに対し、実施形態３では、各方向の撮像画像において車両を認識する物体認識処理を実行して、車両が認識されていない撮像画像に基づいて速度レベルを推定する。

なお、本実施形態では、撮像画像において車両を認識する場合を例に説明するが、認識対象は車両に限らず他の移動体を含んでよい。また、本実施形態に係るドライブレコーダ１０１の構成は、上述の実施形態と同一であってよく、移動量推定処理の一部が異なる。このため、同一の構成及び処理については同一の参照番号を付して説明を省略し、相違点について重点的に説明する。

＜移動量推定処理の一連の動作＞
図８を参照して、本実施形態に係るドライブレコーダ１０１における移動量推定処理の一連の動作について説明する。なお、本処理は、上述の実施形態と同様、例えば、ドライブレコーダ１０１の制御部２０１が記憶装置２０２に記憶されたプログラムを実行することにより実現される。

制御部２０１は、Ｓ６０１及びＳ６０２の処理を実施形態１と同様に実行し、その後、Ｓ８０１において、前方、後方及び側方の撮像画像に対して、公知の画像認識処理を実行して、それぞれの撮像画像内の車両を検出する。この処理は、例えば、車両１００の前方或いは後方を走行する他の車両、及び車両１００と並走する他の車両の影響を排除するために行なわれる。それぞれの撮像画像における車両の認識では、画像内の車両の方向を考慮してもよい。例えば、前方の撮像画像の場合には、画像内の車両の後方、後方の撮像画像の場合には画像内の車両の前方、側方の撮像画像の場合には画像内の車両の側面を考慮した画像認識を行ってもよい。

Ｓ８０２において、制御部２０１は、Ｓ８０１において車両が認識された画像があるかを判定する。制御部２０１は、いずれの画像においても車両が認識されなかった場合には、Ｓ８０４に処理を進める。一方、いずれかの画像で車両が認識された場合には、Ｓ８０３に処理を進める。前方の速度レベルについては、上述したＳ６０３の処理により速度レベルを推定する。なお、制御部２０１は、全ての撮像画像から車両が認識された場合には本一連の動作を終了するようにしてもよい。

Ｓ８０３において、制御部２０１は、前方画像、後方画像、側方画像のうち、車両が認識されていない撮像画像を用いて、速度レベルを推定する。各画像に基づく速度レベルの推定は、Ｓ７０１において上述した処理と同様である。

Ｓ８０４において、制御部２０１は、前方画像を用いて前方速度レベルを推定する。前方速度レベルの推定は、Ｓ６０３において上述した処理と同様である。なお、本処理では一例として前方速度レベルを推定する処理を行うものとしたが、更に後方や側方の速度レベルを推定し、Ｓ７０２と同様に前方速度レベルの信頼性を求めるようにしてもよい。この場合、前方速度レベルの信頼性が低い場合には本一連の動作を終了するようにしてもよい。

Ｓ８０５において、制御部２０１は、Ｓ８０３又はＳ８０４において推定された速度レベルを用いて、その速度レベルが所定の速度閾値以上であるかを判定する。制御部２０１は、推定された速度レベルが所定の速度閾値以上であると判定した場合、車両の水平方向の移動量を推定する処理を行うことなく、Ｓ６０７に処理を進める。一方、推定された速度レベルが所定の速度閾値より小さいと判定した場合、処理をＳ６０６に進めて、車両の水平方向の移動量を推定する処理を実行する。

その後、制御部２０１は、実施形態１と同様にＳ６０６～Ｓ６０８の処理を実行して、本一連の動作を終了する。

以上説明したように、本実施形態では、前方、後方、側方の撮像画像のそれぞれを用いて別個に４つの速度レベルを推定する際に、画像認識により車両が認識される撮像画像を速度レベルの推定に用いないようにした。このようにすることで、簡便な方法で速度レベルを算出することができ、前方、後方及び側方を走行する車両の影響により、推定する速度レベルに精度が低下することを低減することができる。

＜実施形態のまとめ＞
１．上記実施形態の情報処理装置（例えば１０１）は、
取り付けられた移動体の移動量を推定するための情報処理装置（例えば１０１）であって、
移動体の外界を撮像した撮像画像を取得する撮像手段（例えば２０３）と、
第１時刻に撮像された第１撮像画像と、第１時刻より前の第２時刻に撮像された第２撮像画像とに基づいて、移動体の移動量を推定する推定手段（例えば２０１）と、を有し、
推定手段は、互いに異なる予測移動量に基づいて第２撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、第１撮像画像の所定領域を切り出した画像情報との差分に基づいて移動体の移動量を推定する（例えばＳ６０３、Ｓ６０６、Ｓ７０１、Ｓ８０３、Ｓ８０４）。

この実施形態によれば、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。また、処理を単純化することにより、単体で動作するドライブレコーダのような小型の装置の計算資源であっても、高速に処理を実行することができる。

２．上記実施形態における情報処理装置は、
差分が最小となる変化画像に対応する予測移動量に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像の変化に基づき、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。

３．上記実施形態における情報処理装置は、
予測移動量は、移動体の水平方向の移動量を含み、
推定手段は、第２撮像画像を異なるシフト量で水平方向にシフトさせた、シフト画像の所定領域の画像情報のそれぞれと、第１撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動速度を推定する（例えばＳ６０６）。

この実施形態によれば、簡便かつ冗長な方法で移動体の水平方向の挙動を推定することが可能になる。

４．上記実施形態における情報処理装置は、
差分が最小となるシフト画像に対応するシフト量に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像のシフト量により簡便かつ冗長な方法で移動体の水平方向の挙動を推定することが可能になる。

５．上記実施形態における情報処理装置は、
予測移動量は、移動体の前進又は後退に係る移動速度を含み、
推定手段は、第２撮像画像を異なる変倍率で拡大又は縮小させた変倍画像の所定領域の画像情報のそれぞれと、第１撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動速度を推定する（例えばＳ６０３、Ｓ７０１、Ｓ８０３、Ｓ８０４）。

この実施形態によれば、簡便かつ冗長な方法で移動体の前方及び後方方向への移動速度を推定することが可能になる。

６．上記実施形態における情報処理装置は、
差分が最小となる前記変倍画像に対応する変倍率に基づいて、移動体の移動量を推定する。
この実施形態によれば、画像の変倍率により簡便かつ冗長な方法で移動体の前方及び後方方向への移動速度を推定することが可能になる。

７．上記実施形態における情報処理装置は、
撮像手段は、移動体の外界の複数の方向をそれぞれ撮像した撮像画像を取得可能であり（例えば２０３）、
推定手段は、複数の方向の少なくともいずれかを撮像した第１撮像画像と第２撮像画像とを用いて、移動体の移動速度を推定する（例えばＳ６０３、Ｓ７０１）。

この実施形態によれば、１の方向を撮像した撮像画像から適切な移動速度を推定できない状況であっても、他の方向を撮影した撮像画像から簡便かつ冗長な方法で移動体の前方及び後方方向への移動速度を推定することが可能になる。

８．上記実施形態における情報処理装置は、
推定手段によって推定された移動体の移動速度に対する信頼度を判定する判定手段（例えば２０１、Ｓ７０２）を更に有し、
判定手段は、複数の方向のうちの第１の方向を撮像した第１撮像画像と第２撮像画像とを用いて推定された第１の移動体の移動速度の信頼度を、他の複数の方向のそれぞれの第１撮像画像と第２撮像画像とを用いて推定された複数の移動体の移動速度を用いて判定する。

この実施形態によれば、１の方向を撮像した撮像画像から推定された移動速度が信頼できるものであるかどうかを、他の方向を撮影した撮像画像を用いて判定することが可能になる。そして、簡便な方法で速度レベルを算出することができる一方で、信頼性の低い推定結果の使用を排除することができる。

９．上記実施形態における情報処理装置は、
撮像画像に含まれる移動体を認識する認識手段（例えば２０１、Ｓ８０１）を更に有し、
推定手段は、複数の方向を撮像した撮像画像のうち、認識手段により移動体が認識されなかった撮像画像に係る方向を撮像した第１撮像画像と第２撮像画像とを用いて、移動体の移動速度を推定する（例えばＳ８０３）。

この実施形態によれば、簡便な方法で速度レベルを算出することができ、前方、後方及び側方の移動体の影響により、推定する速度レベルの精度が低下することを低減することが可能になる。

１０．上記実施形態における情報処理装置は、
推定手段によって推定された移動体の移動量に応じて、乗員に通知を出力する出力手段を更に有する。

この実施形態によれば、乗員に対して移動量に応じた運転支援機能を提供することが可能になる。

１１．上記実施形態における情報処理装置は、
第１撮像画像と第２撮像画像とは移動体の前方又は後方を撮像した撮像画像である。

１２．上記実施形態の情報処理方法（例えば図６）は、
取り付けられた移動体の移動量を推定するための情報処理方法であって、
移動体の外界を撮像した撮像画像を取得する撮像工程と、
第１時刻に撮像された第１撮像画像と、第１時刻より前の第２時刻に撮像された第２撮像画像とに基づいて、移動体の移動量を推定する推定工程と、を有し、
推定工程では、互いに異なる予測移動量に基づいて第２撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、第１撮像画像の所定領域を切り出した画像情報との差分に基づいて、移動体の移動量を推定する。

この実施形態によれば、簡便かつ冗長な方法で移動体の挙動を推定することが可能になる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１００…車両、１０１…ドライブレコーダ、２０１…制御部、２０２…記憶装置、２０３…撮像装置、２０５…出力装置

Claims (13)

1. 取り付けられた移動体の移動量を推定するための情報処理装置であって、
   前記移動体の外界を撮像した撮像画像を取得する撮像手段と、
   第１時刻に撮像された第１撮像画像と、前記第１時刻より前の第２時刻に撮像された第２撮像画像とに基づいて、前記移動体の移動量を推定する推定手段と、を有し、
   前記推定手段は、互いに異なる予測移動量に基づいて前記第２撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、前記第１撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動量を推定する、ことを特徴とする情報処理装置。
2. 前記差分が最小となる前記変化画像に対応する前記予測移動量に基づいて、前記移動体の移動量を推定する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記予測移動量は、前記移動体の水平方向の移動量を含み、
   前記推定手段は、前記第２撮像画像を異なるシフト量で水平方向にシフトさせた、シフト画像の前記所定領域の画像情報のそれぞれと、前記第１撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の水平方向の移動量を推定する、ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記差分が最小となる前記シフト画像に対応する前記シフト量に基づいて、前記移動体の水平方向の移動量を推定する、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記予測移動量は、前記移動体の前進又は後退に係る移動速度を含み、
   前記推定手段は、前記第２撮像画像を異なる変倍率で拡大又は縮小させた変倍画像の前記所定領域の画像情報のそれぞれと、前記第１撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動速度を推定する、ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記差分が最小となる前記変倍画像に対応する前記変倍率に基づいて、前記移動体の移動速度を推定する、ことを特徴とする請求項５に記載の情報処理装置。
7. 前記撮像手段は、前記移動体の外界の複数の方向をそれぞれ撮像した撮像画像を取得可能であり、
   前記推定手段は、前記複数の方向の少なくともいずれかを撮像した前記第１撮像画像と前記第２撮像画像とを用いて、前記移動体の移動速度を推定する、ことを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記推定手段によって推定された前記移動体の移動速度に対する信頼度を評価する評価手段を更に有し、
   前記評価手段は、
   前記複数の方向のうちの第１の方向を撮像した前記第１撮像画像と前記第２撮像画像とを用いて推定された第１の前記移動体の移動速度と、他の複数の方向のそれぞれの前記第１撮像画像と前記第２撮像画像とを用いて推定された複数の前記移動体の移動速度との差分をそれぞれ算出し、
   算出した差分が最も小さくなる方向の差分と、算出した差分が２番目に小さくなる方向の差分との総和を、前記第１の方向に対して推定された前記第１の前記移動体の移動速度の信頼度として算出し、
   前記信頼度が閾値以下であるか否かに応じて、前記移動体の移動速度に対する信頼度を評価する、ことを特徴とする請求項７に記載の情報処理装置。
9. 撮像画像に含まれる移動体を認識する認識手段を更に有し、
   前記推定手段は、前記複数の方向を撮像した撮像画像のうち、前記認識手段により移動体が認識されなかった撮像画像に係る方向を撮像した前記第１撮像画像と前記第２撮像画像とを用いて、前記移動体の移動速度を推定する、ことを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記推定手段によって推定された前記移動体の移動量に応じて、乗員に通知を出力する出力手段を更に有する、ことを特徴とする請求項１から９のいずれかに記載の情報処理装置。
11. 前記第１撮像画像と前記第２撮像画像とは前記移動体の前方又は後方を撮像した撮像画像である、ことを特徴とする請求項３又は４に記載の情報処理装置。
12. 取り付けられた移動体の移動量を推定するための情報処理方法であって、
    前記移動体の外界を撮像した撮像画像を取得する撮像工程と、
    第１時刻に撮像された第１撮像画像と、前記第１時刻より前の第２時刻に撮像された第２撮像画像とに基づいて、前記移動体の移動量を推定する推定工程と、を有し、
    前記推定工程では、互いに異なる予測移動量に基づいて前記第２撮像画像を変化させた変化画像の所定領域の画像情報のそれぞれと、前記第１撮像画像の所定領域を切り出した画像情報との差分に基づいて、前記移動体の移動量を推定する、ことを特徴とする情報処理方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images