JP7347644B2

JP7347644B2 - 物体測距装置、方法、及びプログラム

Info

Publication number: JP7347644B2
Application number: JP2022501822A
Authority: JP
Inventors: 康則二木; 吉弘三島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-02-19
Filing date: 2021-02-09
Publication date: 2023-09-20
Anticipated expiration: 2041-02-09
Also published as: US12354292B2; US20230075659A1; JPWO2021166742A1; WO2021166742A1

Description

本開示は、物体測距装置、方法、及びコンピュータ可読媒体に関する。

自動車などの車両に搭載されたカメラを用いて撮影された画像から、物体の３次元位置を推定する技術が知られている。例えば、特許文献１は、車両に搭載されたカメラを用いた撮像された複数の撮像画像に基づいて、撮像画像中に存在する特徴点の実空間での位置を表す実位置を推定する３次元位置推定装置を開示する。

特許文献１に記載の３次元位置推定装置は、複数の撮像画像中において特徴点を抽出し、特徴点について複数の撮像画像間での対応付けを行う。３次元位置推定装置は、車両の挙動に関わる挙動情報を取得し、挙動情報に基づいて、複数の撮像画像を撮像する間での車両の移動量を算出する。３次元位置推定装置は、複数の撮像画像間での特徴点の移動量と移動体移動量とに基づいて、特徴点の実位置を推定する。

また、別の関連技術として、非特許文献１は、単一の画像から、カメラと物体との距離を推定する深度推定手法を開示する。非特許文献１では、ディープラーニングを用いて、ピクセルごとに深度が推定される。

特開２０１４－１４２２４１号公報

D. Eigen, et al., "Depth Map Prediction from a Single Image using a Multi-Scale Deep Network", 2014 (URL: https://cs.nyu.edu/~deigen/depth/depth_nips14.pdf)

上記物体の３次元位置推定手法、及び深度推定手法を用いることで、単眼カメラ画像から、物体までの距離などを推定することができる。これら推定手法の結果は、自動車の自動運転制御などに使用されることが考えられる。自動車の自動運転制御では、自車から他の車両や人などの物体との距離を正確に推定する必要がある。しかしながら、本発明者らは、走行中の車両に搭載されたカメラの画像から３次元位置及び深度を推定した場合、物体測距を高精度、かつ安定的に行えない場合があることを発見した。

本開示は、上記事情に鑑み、車両に搭載されたカメラの画像を用いて物体測距を行う場合に、物体測距の精度及び安定性を向上できる物体測距装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本開示は、第１の態様として、物体測距装置を提供する。物体測距装置は、車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識する物体認識手段と、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定する第１の距離推定手段と、前記第１の距離推定手段における距離の推定手法とは異なる推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定する第２の距離推定手段と、前記第２の距離推定手段が推定した距離の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手段の距離推定結果と、前記第２の距離推定手段の距離推定結果とを合成し、測距結果として出力する合成手段とを備える。

本開示は、第２の態様として、物体測距方法を提供する。物体測距方法は、車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識し、第１の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、前記第１の距離推定手法とは異なる第２の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、前記第２の距離推定手法を用いて推定された距離推定結果の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手法を用いて推定された距離推定結果と、前記第２の距離推定手法を用いて推定された距離推定結果とを合成し、測距結果として出力することを有する。

本開示は、第３の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識し、第１の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、前記第１の距離推定手法とは異なる第２の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、前記第２の距離推定手法を用いて推定された距離推定結果の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手法を用いて推定された距離推定結果と、前記第２の距離推定手法を用いて推定された距離推定結果とを合成し、測距結果として出力する処理を、プロセッサに実行させるためのプログラムを格納する。

本開示に係る物体測距装置、方法、及びコンピュータ可読媒体は、車両に搭載されたカメラの画像を用いて物体測距を行う場合における物体測距の精度及び安定性を向上できる。

本開示に係る物体測距装置の概略的な構成を示すブロック図。本開示の第１実施形態に係る物体測距装置を示すブロック図。深度推定部が推定する深度情報、及び３次元位置推定部が推定する距離情報の特性を示す図。物体測距装置における動作手順を示すフローチャート。本開示の第２実施形態に係る物体測距装置を示すブロック図。本開示の第３実施形態に係る物体測距装置を示すブロック図。本開示の第４実施形態に係る物体測距装置を示すブロック図。動作モードの具体例を示す図。物体測距装置及びカメラを搭載する車両を示すブロック図。物体測距装置に使用され得る電子制御装置のハードウェア構成を示すブロック図。

本開示の実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る物体測距装置の概略的な構成を示す。物体測距装置１０は、物体認識手段１１、第１の距離推定手段１２、第２の距離推定手段１３、及び合成手段１４を有する。

物体測距装置１０には、車両に搭載されるカメラを用いて撮影された撮影画像が入力される。物体認識手段１１は、撮影画像に含まれる物体を認識する。第１の距離推定手段１２は、撮影画像に基づいて、車両と物体認識手段１１が認識した物体との間の距離を推定する。第２の距離推定手段１３は、撮影画像に基づいて、車両と物体認識手段１１が認識した物体との間の距離を推定する。

本開示において、第２の距離推定手段１３は、第１の距離推定手段１２が距離の推定に用いる推定手法とは異なる推定手法を用いて距離を推定する。例えば、第１の距離推定手段１２は、ディープラーニングを用いた深度推定により車両と物体との距離を推定するように構成され得る。第２の距離推定手段１３は、複数の撮影画像間の移動視差を用いて車両と物体との距離を推定するように構成され得る。

合成手段１４は、第２の距離推定手段１３が推定した距離の変化量、車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手段１２の推定結果と、第２の距離推定手段１３の推定結果とを合成する。合成手段１４は、合成した推定結果を測距結果として出力する。合成手段１４は、重み付け加算により、第１の距離推定手段の推定結果と第２の距離推定手段１３の推定結果とを合成してもよい。あるいは、合成手段１４は、第１の距離推定手段の推定結果と第２の距離推定手段１３の推定結果との何れか一方を、測距結果として選択してもよい。

本開示では、物体測距装置１０は、カメラの撮影画像から、２つの推定手法を用いて車両と物体との間の距離を推定する。第１の距離推定手段１２と第２の距離推定手段１３とは、互いに異なる推定手法を用いて距離を推定するため、距離の推定精度や安定性は互いに異なると考えられる。例えば、第２の距離推定手段１３の推定精度は第１の距離推定手段１２の推定精度より高いものの、第２の距離推定手段１３は、車両の動きが大きい場合などの状況では安定的に距離を推定できない場合があり得る。本開示では、２つの推定結果を合成して物体測距を行うため、双方の距離推定手段の特性を補うことができる。従って、本開示は、車両に搭載されたカメラの画像を用いて物体測距を行う場合に、物体測距の精度及び安定性を向上できる。

以下、図面を参照しつつ本開示の実施の形態を説明する。図２は、本開示の第１実施形態に係る物体測距装置を示す。物体測距装置１００は、物体認識部１０１、深度推定部１０２、深度情報付加部１０３、３次元位置推定部１０４、及び測距結果選択合成部１０５を有する。物体測距装置１００は、自動車などの車両に搭載される。車両は、カメラ２００を有する。カメラ２００は、単眼カメラであるとする。カメラ２００は、例えば車両前方（進行方向）を撮影する。物体測距装置１００は、カメラ２００から撮影画像を取得し、車両から撮影画像に含まれる物体までの距離を測定する。物体測距装置１００は、図１の物体測距装置１０に対応する。

物体認識部１０１は、撮影画像から、そこに含まれる物体を認識する。物体認識部１０１は、例えば他の車両、及び人などの物体を認識する。物体認識の手法は特に限定されず、物体認識部１０１は、任意の手法を用いて物体を認識することができる。物体認識部１０１は、認識した物体に、その物体を識別するためのＩＤ（identifier）を付与する。物体認識部１０１は、認識した物体ごとに、物体ＩＤ、物体種別、及び画像における物体の座標などの情報を、深度情報付加部１０３及び３次元位置推定部１０４にそれぞれ出力する。物体認識部１０１は、図１の物体認識手段１１に対応する。

深度推定部（深度推定手段）１０２は、カメラ２００の撮影画像から深度情報を推定する。深度推定部１０２は、例えば撮影画像の各画素について、車両との間の距離を表す深度を推定する。深度推定部１０２は、例えば非特許文献１に記載される方法を用いて、画素ごとに深度を推定する。深度推定部１０２は、例えば、各画素の深度を画素値に変換した距離マップを生成する。深度推定部１０２は、生成した距離マップを深度情報付加部１０３に出力する。

深度情報付加部（深度情報付加手段）１０３は、物体認識部１０１が認識した物体に、深度推定部１０２が推定した深度情報を付加する。深度情報付加部１０３は、例えば距離マップにおける、認識された物体の座標の画素値に基づいて、物体の深度情報を特定する。深度情報付加部１０３は、物体認識部１０１が出力する物体ＩＤ、物体種別、及び座標に、特定した深度情報を付加する。深度情報付加部１０３は、物体ＩＤ、物体種別、座標、及び深度情報を、測距結果選択合成部１０５に出力する。深度推定部１０２及び深度情報付加部１０３は、図１の第１の距離推定手段１２に対応する。

３次元位置推定部（３次元位置推定手段）１０４は、カメラ２００の撮影画像から、物体認識部１０１が認識した物体の３次元位置を推定する。３次元位置推定部１０４は、例えば時系列的に撮影される複数の撮影画像間の移動視差を用いて、自車両と物体との間の距離を推定する。３次元位置推定部１０４は、例えば特許文献１に記載される３次元位置推定方法を用いて、３次元位置（距離情報）を推定してもよい。３次元位置推定部１０４は、物体ＩＤ、物体種別、座標、及び距離情報を、測距結果選択合成部１０５に出力する。３次元位置推定部１０４は、図１の第２の距離推定手段１３に対応する。

図３は、深度推定部１０２が推定する深度情報、及び３次元位置推定部１０４が推定する距離情報の特性を示す。深度推定部１０２で用いられる深度推定の動作原理は深層学習である。一方、３次元位置推定部１０４で用いられる３次元位置推定の動作原理は移動視差である。一般に、深度推定の推定精度は、３次元位置推定の推定精度より低い。しかしながら、移動視差を動作原理とする３次元位置推定は、例えば車両が回転（旋回）する場合に安定性に欠けるという特性を持つ。これに対し、深度推定は、低精度ではあるものの、車両が回転する場合においても、安定的に深度を推定できる。

本実施形態において、測距結果選択合成部１０５は、３次元位置推定部１０４で推定された距離情報の変化量を計算する。測距結果選択合成部１０５は、推定された距離情報の変化量に基づいて、深度情報付加部１０３から入力される深度情報と、３次元位置推定部１０４から入力される距離情報との何れかを選択し、測距結果として出力する。あるいは、測距結果選択合成部１０５は、深度情報付加部１０３から入力される深度情報と、３次元位置推定部１０４から入力される距離情報とを、例えば変化量に応じた比率で合成し、測距結果として出力してもよい。測距結果選択合成部１０５は、図１の合成手段１４に対応する。

ここで、車両の走行中、車両と物体との間の距離は急激には変化しないと考えられる。測距結果選択合成部１０５は、例えば、３次元位置推定部１０４で推定された距離情報の変化量と、しきい値とを比較する。変化量がしきい値以上であるということは、３次元位置推定において、３次元位置が正しく推定されていないことを示していると考えられる。測距結果選択合成部１０５は、変化量がしきい値以上の場合、深度情報付加部１０３が出力する深度情報を、測距結果として選択する。測距結果選択合成部１０５は、変化量がしきい値より小さい場合、３次元位置推定部１０４が出力する距離情報を、測距結果として選択する。このようにすることで、測距結果選択合成部１０５は、通常時は推定精度が高い３次元位置推定の推定結果を測距結果として出力することができる。また、測距結果選択合成部１０５は、３次元位置推定部１０４が正しく距離を推定できていない可能性がある場合は、安定性が高い深度推定の推定結果を測距結果として出力することができる。

続いて、動作手順（物体測距方法）を説明する。図４は、物体測距装置１００における動作手順を示す。カメラ２００は、車両前方を撮影する。物体認識部１０１は、カメラ２００の撮影画像に含まれる物体を認識する（ステップＡ１）。深度推定部１０２は、カメラ２００の撮影画像に基づいて、各画素の深度を推定する（ステップＡ２）。深度情報付加部１０３は、物体認識部１０１が認識した各物体に、深度情報を付加する（ステップＡ３）。深度情報付加部１０３は、ステップＡ３では、例えば、物体認識部１０１が認識した各物体の座標の深度を、各物体の深度情報とする。

３次元位置推定部１０４は、カメラ２００の撮影画像に含まれる各物体の３次元位置を推定する（ステップＡ４）。３次元位置推定部１０４は、ステップＡ４では、自車両と、各物体との間の距離を推定する。

測距結果選択合成部１０５は、３次元位置の推定結果の変化量を計算する。測距結果選択合成部１０５は、例えば最新の３次元位置の推定結果と、１つ前の時刻の３次元位置の推定結果との間の変化量を計算する。測距結果選択合成部１０５は、変化量がしきい値以上であるか否かを判断する（ステップＡ５）。測距結果選択合成部１０５は、変化量がしきい値以上であると判断した場合、深度推定の結果を測距結果として選択する（ステップＡ６）。測距結果選択合成部１０５は、ステップＡ６では、深度情報付加部１０３が出力する深度情報を、測距結果として選択する。測距結果選択合成部１０５は、物体ＩＤ、種別、座標、及び深度情報を、測距結果を用いて処理を行う図示しない後段の処理部に出力する。

測距結果選択合成部１０５は、変化量がしきい値より小さいと判断した場合、３次元位置推定の結果を測距結果として選択する（ステップＡ７）。測距結果選択合成部１０５は、ステップＡ７では、３次元位置推定部１０４が出力する距離情報を、測距結果として選択する。測距結果選択合成部１０５は、物体ＩＤ、種別、座標、及び距離情報を、後段の処理部に出力する。

本実施形態では、測距結果選択合成部１０５は、３次元位置推定部１０４で推定された距離の変化量に応じて、深度情報付加部１０３が出力する深度情報、又は３次元位置推定部１０４が出力する距離情報を測距結果として選択する。このようにすることで、車両が回転するなどして３次元位置推定の結果が低精度になった場合でも、単眼カメラを用いた物体測距を、ある程度の精度で、かつ安定的に実施することができる。

次いで、本開示の第２実施形態を説明する。図５は、本開示の第２実施形態に係る物体測距装置を示す。本実施形態における物体測距装置１００の構成は、図２に示される第１実施形態に係る物体測距装置１００の構成と同様である。

本実施形態において、物体測距装置１００は、ヨーレートセンサ２０１、及び操舵角センサ２０２などの車両センサと接続される。ヨーレートセンサ２０１は、カメラ２００を搭載する車両のヨーレートを検出する。操舵角センサ２０２は、ステアリングホイールの操作量を検出する。物体測距装置１００は、例えばＣＡＮ（Controller Area Network）などのネットワークを介して、ヨーレートセンサ２０１及び操舵角センサ２０２からヨーレート及びステアリングホイールの操作量を取得する。

ここで、操舵角センサ２０２が検出するステアリングホイールの操作量は、ハンドル角度に対応する。また、ヨーレートセンサ２０１が検出するヨーレートは、ハンドル角度に応じて変化する。本実施形態において、測距結果選択合成部１０５は、ヨーレートセンサ２０１により検出されたヨーレート、及び操舵角センサ２０２により検出されたステアリングホイールの操作量の少なくとも一方に基づいて、ハンドル角度を求める。測距結果選択合成部１０５は、ハンドル角度に応じて、深度情報付加部１０３が出力する深度情報と、３次元位置推定部１０４が出力する距離情報とを、重み付け加算する。測距結果選択合成部１０５は、重み付け加算の結果を、測距結果として出力する。

測距結果選択合成部１０５は、例えば、ハンドル角度に応じて、重み付け加算の重み（合成重み）を決定する。例えば、測距結果選択合成部１０５は、ハンドル角度が小さい、つまり車両の進行方向が直進方向に近いほど、３次元位置推定部１０４が出力する距離情報の重みを大きくする。測距結果選択合成部１０５は、ハンドル角度が大きいほど、深度情報付加部１０３が出力する深度情報の重みを大きくする。

測距結果選択合成部１０５は、例えば、物体の座標を（ｘ，ｙ）として、その物体の測距結果Ｚ（ｘ，ｙ）を、下記式を用いて計算する。
Ｚ（ｘ，ｙ）＝α×Ｚ_{ｄｅｐｔｈ}（ｘ，ｙ）＋（１－α）×Ｚ_{３ｄｌｏｃ}（ｘ，ｙ）
上記式において、Ｚ_{ｄｅｐｔｈ}（ｘ，ｙ）は深度情報付加部１０３が出力する深度情報を表し、Ｚ_{３ｄｌｏｃ}（ｘ，ｙ）は、３次元位置推定部１０４が出力する距離情報を表す。また、αは、深度情報の重みを表し、０≦α≦１である。測距結果選択合成部１０５は、ハンドル角度が小さい場合はαの値を０に近い値にし、ハンドル角度が大きい場合はαの値を１に近い値にする。

本実施形態では、測距結果選択合成部１０５は、ハンドル角度に応じた重みで、深度推定の推定結果と３次元位置推定の推定結果とを重み付け加算する。本実施形態において、測距結果選択合成部１０５は、ハンドル角度が小さく、従って３次元位置推定の推定結果の精度が高いことが予想される場合に、３次元位置推定の推定結果の合成重みを大きくする。一方、測距結果選択合成部１０５は、ハンドル角度が大きく、従って３次元位置推定の推定結果の精度が低下することが予想される場合に、３次元位置推定の推定結果の合成重みを小さくする。このようにすることで、第１実施形態と同様に、単眼カメラを用いた物体測距を、ある程度の精度で、かつ安定的に実施することができる。

続いて、本開示の第３実施形態を説明する。図６は、本開示の第３実施形態に係る物体測距装置を示す。本実施形態における物体測距装置１００の構成は、図２に示される第１実施形態に係る物体測距装置１００の構成と同様である。本実施形態において、測距結果選択合成部１０５は、深度情報付加部１０３が出力する深度情報と、３次元位置推定部１０４が出力する距離情報とを重み付け加算する。

本実施形態において、物体測距装置１００は、加速度センサ２０３と接続される。加速度センサ２０３は、カメラ２００を搭載する車両の加速度を検出する。加速度センサ２０３は、特に車両の上下方向において、加速度を検出する。測距結果選択合成部１０５は、例えばＣＡＮなどのネットワークを介して、加速度センサ２０３から加速度情報を取得する。測距結果選択合成部１０５は、取得した加速度情報に基づいて、重み付け加算における重みを決定する。測距結果選択合成部１０５は、例えば、上下方向の加速度が小さい場合、３次元位置推定部１０４が出力する距離情報の重みを大きくする。測距結果選択合成部１０５は、上下方向の加速度が大きい場合、深度情報付加部１０３が出力する深度情報の重みを大きくする。

例えば、カメラ２００を搭載する車両の走行中、車両が段差部分を通過すると、上下方向に大きな加速度が検出される。段差を通過するとき、カメラ２００の撮影画像において、物体の位置は上下方向に大きく変動する。この場合、３次元位置推定の推定結果の精度は低下する。一方、深度推定の推定結果は、段差の通過時であっても、大きく劣化することはないと考えられる。

本実施形態では、測距結果選択合成部１０５は、上下方向の加速度が大きい場合は、深度推定の推定結果の合成重みを大きくする。測距結果選択合成部１０５は、上下方向の加速度が小さい場合は、３次元位置推定の推定結果の合成重みを大きくする。このようにすることで、車両が段差を通過する場合でも、単眼カメラを用いた物体測距を、ある程度の精度で、かつ安定的に実施することができる。

なお、本実施形態は、第２実施形態と組み合わせることができる。その場合、測距結果選択合成部１０５は、ハンドル角度に応じて設定される重みを、上下方向の加速度に応じて変化させてもよい。

続いて、本開示の第４実施形態を説明する。図７は、本開示の第４実施形態に係る物体測距装置を示す。物体測距装置１００ａは、図５及び図６に示される第２実施形態及び第３実施形態に係る物体測距装置１００の構成に加えて、動作モード判定部１０６を有する。

動作モード判定部（動作モード判定手段）１０６は、物体測距装置１００ａの動作モードを判定する。動作モード判定部１０６は、例えば、ヨーレートセンサ２０１、操舵角センサ２０２、及び加速度センサ２０３の少なくとも１つから取得した情報に基づいて、動作モードを判定する。また、動作モード判定部１０６は、物体認識部１０１における物体認識の結果に基づいて、動作モードを判定する。動作モード判定部１０６は、動作モードに従って、深度推定部１０２及び３次元位置推定部１０４の少なくとも一方の動作を停止させる。

図８は、動作モードの具体例を示す。動作モード判定部１０６は、ヨーレートセンサ２０１及び操舵角センサ２０２の少なくとも一方から判断されるハンドル角度がしきい値（第１のしきい値）以上の場合、動作モードを動作モード１と判定する。これに代えて、又は加えて、動作モード判定部１０６は、加速度センサ２０３により検出される上下方向の加速度がしきい値以上の場合、動作モードを動作モード１と判定する。測距結果選択合成部１０５は、動作モード１では、重み付け加算において３次元位置推定結果の重みを０にするものとする。動作モード判定部１０６は、動作モード１では、３次元位置推定部１０４の動作を停止させ、深度推定部１０２を動作させる。

動作モード判定部１０６は、ハンドル角度がしきい値（第２のしきい値）より小さい場合、動作モードを動作モード２と判定する。これに代えて、又は加えて、動作モード判定部１０６は、加速度センサ２０３により検出される上下方向の加速度がしきい値より小さい場合、動作モードを動作モード２と判定する。測距結果選択合成部１０５は、動作モード２では、重み付け加算において深度推定結果の重みを０にするものとする。動作モード判定部１０６は、動作モード２では、深度推定部１０２の動作を停止させ、３次元位置推定部１０４を動作させる。

上記第１のしきい値と第２のしきい値とは同じ値でもよい。第１のしきい値と第２のしきい値とが同一である場合、測距結果選択合成部１０５は、ハンドル角度又は加速度がしきい値以上であるか否かに応じて、３次元位置推定の推定結果、又は深度測定の推定結果を選択する。第１のしきい値と第２のしきい値とが異なる値（第１のしきい値＞第２のしきい値）の場合、測距結果選択合成部１０５は、前述のαをハンドル角度及び上記方向の加速度の少なくとも一方に応じた値にし、双方の推定結果を重み付け加算すればよい。

動作モード判定部１０６は、物体認識部１０１が物体を認識しなかった場合、つまり撮影画像に物体が含まれていない場合、動作モードを動作モード３と判定する。動作モード３では、測距の対象となる物体が画像中に存在しないため、深度推定及び３次元位置推定を行う必要がない。動作モード判定部１０６は、動作モード３では、深度推定部１０２及び３次元位置推定部１０４の双方を停止させる。

本実施形態では、動作モード判定部１０６は、測距結果選択合成部１０５が３次元位置推定の推定結果を測距結果に使用しない場合、３次元位置推定部１０４の動作を停止させる。また、動作モード判定部１０６は、動作モード判定部１０６は、測距結果選択合成部１０５が深度推定の推定結果を測距結果に使用しない場合、深度推定部１０２の動作を停止させる。さらに、動作モード判定部１０６は、測距の対象となる物体が撮影画像中に存在しない場合、深度推定部１０２及び３次元位置推定部１０４の動作を停止させる。このようにすることで、測距結果を得るために必要な演算量を減らすことができ、物体測距装置１００の消費電力を削減することができる。

引き続き、物体測距装置１００を危険シーンの認識に適用した例を説明する。図９は、物体測距装置１００及びカメラ２００を搭載する車両を示す。車両４００は、物体測距装置１００及びカメラ２００に加えて、危険シーン予測装置３００と報知部３１０とを有する。

危険シーン予測装置３００は、物体測距装置１００から、各物体について、物体ＩＤ、種別、座標、及び距離情報を取得する。危険シーン予測装置３００は、車両と各物体との距離に基づいて、周囲の状況からまだ見えていない将来起こり得る危険な事象を予測する。危険シーン予測装置３００は、物体測距装置１００から、例えば車両４００の周囲に存在する他の車両との間の距離を取得し、車両４００が周囲の車両とが衝突する確率を計算する。あるいは、危険シーン予測装置３００は、物体測距装置１００から、車両４００の進行方向にある障害物や人などとの間の距離を取得し、車両４００と障害物や人とが衝突する確率を計算する。危険シーン予測装置３００は、計算した確率がしきい値以上の場合、危険シーンが予測されたと判断する。

報知部３１０は、危険シーン予測装置３００が危険シーンを予測すると、車両４００のドライバに危険を報知する。報知部３１０は、例えば危険を警告するためのマークを表示し、或いは危険を警告するための音を発生し、ドライバに注意喚起する。本開示では、物体測距をある程度の精度で、かつ安定的に行うことができるため、注意喚起を正確かつ安定的に行うことができる。

本開示において、物体測距装置１００及び危険シーン予測装置３００は電子制御ユニットとして構成され得る。図１０は、物体測距装置１００などに使用され得る電子制御装置のハードウェア構成を示す。電子制御ユニット５００は、プロセッサ５０１、ＲＯＭ（read only memory）５０２、及びＲＡＭ（random access memory）５０３を有する。電子制御ユニット５００において、プロセッサ５０１、ＲＯＭ（read only memory）５０２、及びＲＡＭ（random access memory）５０３は、バス５０４を介して相互に接続される。電子制御ユニット５００は、図示は省略するが、周辺回路、通信回路、及びインタフェース回路などの他の回路を含み得る。

ＲＯＭ５０２は、不揮発性の記憶装置である。ＲＯＭ５０２には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＲＯＭ５０２は、プロセッサ５０１が実行するプログラムを格納する。

上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、電子制御ユニット５００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いて電子制御ユニットに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムを電子制御ユニットに供給できる。

ＲＡＭ５０３は、揮発性の記憶装置である。ＲＡＭ５０３には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ５４０は、データなどを一時的に格納する内部バッファとして用いられ得る。

プロセッサ５０１は、ＲＯＭ５０２に格納されたプログラムをＲＡＭ５０３に展開し、実行する。ＣＰＵ５０１がプログラムを実行することで、物体測距装置１００の各部の機能が実現され得る。

以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識する物体認識手段と、
前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定する第１の距離推定手段と、
前記第１の距離推定手段における距離の推定手法とは異なる推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定する第２の距離推定手段と、
前記第２の距離推定手段が推定した距離の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手段の距離推定結果と、前記第２の距離推定手段の距離推定結果とを合成し、測距結果として出力する合成手段とを備える物体測距装置。

［付記２］
前記第１の距離推定手段は、深層学習を用いて学習された結果を用いて前記撮影画像における各部の深度を推定することにより、前記車両と前記物体との間の距離を推定し、
前記第２の距離推定手段は、複数の撮影画像における移動視差に基づいて前記車両と前記物体との距離を推定する付記１に記載の物体測距装置。

［付記３］
前記第１の距離推定手段は、前記深度を推定する深度推定手段と、前記物体認識手段が認識した物体の情報に前記深度の情報を付加する深度情報付加手段とを含む付記２に記載の物体測距装置。

［付記４］
前記物体認識手段は、前記認識した物体の識別情報、種別、及び座標を、前記第１の距離推定手段及び前記第２の距離推定手段のそれぞれに出力する付記１から３何れか１つに記載の物体測距装置。

［付記５］
前記第１の距離推定手段は、各物体について、前記物体の識別情報、種別、座標、及び前記車両と当該物体との間の距離を、前記合成手段に出力し、
前記第２の距離推定手段は、各物体について、前記物体の識別情報、種別、座標、及び前記車両と当該物体との間の距離を、前記合成手段に出力する付記４に記載の物体測距装置。

［付記６］
前記合成手段は、前記第２の距離推定手段が推定した距離の変化量としきい値とを比較し、前記変化量が前記しきい値以上の場合、前記第１の距離推定手段の距離推定結果を選択し、前記変化量が前記しきい値より小さい場合、前記第２の距離推定手段の距離推定結果を選択する付記１から５何れか１つに記載の物体測距装置。

［付記７］
前記合成手段は、前記第１の距離推定手段の距離推定結果と及び前記第２の距離推定手段の距離推定結果とを前記ハンドル角度に応じた重みで重み付け加算することにより、前記第１の距離推定手段の距離推定結果と前記第２の距離推定手段の距離推定結果とを合成する付記１から５何れか１つに記載の物体測距装置。

［付記８］
前記合成手段は、前記車両におけるステアリングホイールの操作量を検出する操舵角センサから出力されるセンサ情報、及び前記車両のユーレートを検出するヨーレートセンサから出力されるセンサ情報の少なくとも一方に基づいて、前記ハンドル角度を求める付記７に記載の物体測距装置。

［付記９］
前記合成手段は、更に、前記上下方向の加速度情報の大きさに応じて重みを変化させる付記７又は８に記載の物体測距装置。

［付記１０］
前記合成手段は、前記第１の距離推定手段の距離推定結果と及び前記第２の距離推定手段の距離推定結果とを前記上下方向の加速度情報の大きさに応じた重みで重み付け加算することにより、前記第１の距離推定手段の距離推定結果と前記第２の距離推定手段の距離推定結果とを合成する付記１から５何れか１つに記載の物体測距装置。

［付記１１］
前記ハンドル角度、及び前記上下方向の加速度情報の少なくとも一方に基づいて動作モードを判定する動作モード判定手段を更に有し、
動作モード判定手段は、前記ハンドル角度、及び前記上下方向の加速度情報の大きさの少なくとも一方が第１のしきい値以上の場合、動作モードが第１の動作モードであると判定し、
前記合成手段は、前記第１の動作モードでは、前記第１の距離推定手段の距離推定結果を選択し、
前記動作モード判定手段は、前記第１の動作モードでは、前記第２の距離推定手段の動作を停止させる付記１から５何れか１つに記載の物体測距装置。

［付記１２］
前記動作モード判定手段は、前記ハンドル角度、及び前記上下方向の加速度情報の大きさの少なくとも一方が第２のしきい値より小さい場合、動作モードが第２の動作モードであると判定し、
前記合成手段は、前記第２の動作モードでは、前記第２の距離推定手段の距離推定結果を選択し、
動作モード判定手段は、前記第２の動作モードでは、前記第１の距離推定手段の動作を停止させる付記１１に記載の物体測距装置。

［付記１３］
前記動作モード判定手段は、前記物体認識手段が前記撮影画像に物体が含まれていないと認識した場合、動作モードが第３の動作モードであると判定し、前記第１の距離推定手段及び前記第２の距離推定手段の双方を停止させる付記１１又は１２に記載の物体測距装置。

［付記１４］
車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識し、
第１の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、
前記第１の距離推定手法とは異なる第２の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、
前記第２の距離推定手法を用いて推定された距離推定結果の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手法を用いて推定された距離推定結果と、前記第２の距離推定手法を用いて推定された距離推定結果とを合成し、測距結果として出力する物体測距方法。

［付記１５］
前記第１の距離推定手法は、深層学習を用いて学習された結果を用いて前記撮影画像における各部の深度を推定するにより、前記車両と前記物体との間の距離を推定し、
前記第２の距離推定手法は、複数の撮影画像における移動視差に基づいて前記車両と前記物体との距離を推定する付記１４に記載の物体測距方法。

［付記１６］
車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識し、
第１の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、
前記第１の距離推定手法とは異なる第２の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、
前記第２の距離推定手法を用いて推定された距離推定結果の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手法を用いて推定された距離推定結果と、前記第２の距離推定手法を用いて推定された距離推定結果とを合成し、測距結果として出力する処理を、プロセッサに実行させるためのプログラム。

この出願は、２０２０年０２月１９日に出願された日本出願特願２０２０－０２６５６９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０：物体測距装置
１１：物体認識手段
１２：第１の距離推定手段
１３：第２の距離推定手段
１４：合成手段
１００：物体測距装置
１０１：物体認識部
１０２：深度推定部
１０３：深度情報付加部
１０４：３次元位置推定部
１０５：測距結果選択合成部
１０６：動作モード判定部
２００：カメラ
２０１：ヨーレートセンサ
２０２：操舵角センサ
２０３：加速度センサ
３００：危険シーン予測装置
３１０：報知部
４００：車両

Claims

車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識する物体認識手段と、
前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定する第１の距離推定手段と、
前記第１の距離推定手段における距離の推定手法とは異なる推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定する第２の距離推定手段と、
前記第２の距離推定手段が推定した距離の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手段の距離推定結果と、前記第２の距離推定手段の距離推定結果とを合成し、測距結果として出力する合成手段とを備え、
前記第１の距離推定手段は、深層学習を用いて学習された結果を用いて前記撮影画像における各部の深度を推定することにより、前記車両と前記物体との間の距離を推定し、
前記第２の距離推定手段は、複数の撮影画像における移動視差に基づいて前記車両と前記物体との距離を推定する、物体測距装置。
前記第１の距離推定手段は、前記深度を推定する深度推定手段と、前記物体認識手段が認識した物体の情報に前記深度の情報を付加する深度情報付加手段とを含む請求項１に記載の物体測距装置。
前記物体認識手段は、前記認識した物体の識別情報、種別、及び座標を、前記第１の距離推定手段及び前記第２の距離推定手段のそれぞれに出力する請求項１又は２に記載の物体測距装置。
前記第１の距離推定手段は、各物体について、前記物体の識別情報、種別、座標、及び前記車両と当該物体との間の距離を、前記合成手段に出力し、
前記第２の距離推定手段は、各物体について、前記物体の識別情報、種別、座標、及び前記車両と当該物体との間の距離を、前記合成手段に出力する請求項３に記載の物体測距装置。
前記合成手段は、前記第２の距離推定手段が推定した距離の変化量としきい値とを比較し、前記変化量が前記しきい値以上の場合、前記第１の距離推定手段の距離推定結果を選択し、前記変化量が前記しきい値より小さい場合、前記第２の距離推定手段の距離推定結果を選択する請求項１から４何れか１項に記載の物体測距装置。
前記合成手段は、前記第１の距離推定手段の距離推定結果と及び前記第２の距離推定手段の距離推定結果とを前記ハンドル角度に応じた重みで重み付け加算することにより、前記第１の距離推定手段の距離推定結果と前記第２の距離推定手段の距離推定結果とを合成する請求項１から４何れか１項に記載の物体測距装置。
前記ハンドル角度、及び前記上下方向の加速度情報の少なくとも一方に基づいて動作モードを判定する動作モード判定手段を更に有し、
動作モード判定手段は、前記ハンドル角度が該ハンドル角度の第１のしきい値以上の場合、前記上下方向の加速度情報の大きさが該加速度情報の第１のしきい値以上の場合、又は、前記ハンドル角度が該ハンドル角度の第１のしきい値以上で、かつ前記加速度情報の大きさが該加速度情報の第１のしきい値以上の場合、動作モードが第１の動作モードであると判定し、
前記合成手段は、前記第１の動作モードでは、前記第１の距離推定手段の距離推定結果を選択し、
前記動作モード判定手段は、前記第１の動作モードでは、前記第２の距離推定手段の動作を停止させる請求項１から４何れか１項に記載の物体測距装置。
車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識し、
深層学習を用いて学習された結果を用いて前記撮影画像における各部の深度を推定することにより、前記車両と前記物体との間の距離を推定する第１の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、
複数の撮影画像における移動視差に基づいて前記車両と前記物体との距離を推定する第２の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、
前記第２の距離推定手法を用いて推定された距離推定結果の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手法を用いて推定された距離推定結果と、前記第２の距離推定手法を用いて推定された距離推定結果とを合成し、測距結果として出力する物体測距方法。
車両に搭載されるカメラで撮影された撮影画像に含まれる物体を認識し、
深層学習を用いて学習された結果を用いて前記撮影画像における各部の深度を推定することにより、前記車両と前記物体との間の距離を推定する第１の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、
複数の撮影画像における移動視差に基づいて前記車両と前記物体との距離を推定する第２の距離推定手法を用いて、前記撮影画像に基づいて、前記車両と前記認識された物体との間の距離を推定し、
前記第２の距離推定手法を用いて推定された距離推定結果の変化量、前記車両におけるハンドル角度、及び上下方向の加速度情報の少なくとも１つに基づいて、第１の距離推定手法を用いて推定された距離推定結果と、前記第２の距離推定手法を用いて推定された距離推定結果とを合成し、測距結果として出力する処理を、プロセッサに実行させるためのプログラム。