JP7656584B2 - センサ、自動車および周囲環境のセンシング方法 - Google Patents

Description

本開示は、センサに関する。

自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナー、アクティブセンサなどの中から、用途、要求精度やコストを考慮して選択される。

センサによるセンシング結果は、晴天、雨天、霧などの天候を初めとする周囲環境の影響を受ける。したがって、周囲環境を推定できれば、センシングの精度を高めることができる。あるいは、周囲環境に関する情報は、自動運転制御やランプの配光制御に有用である。

特開２００９－２５７９８３号公報 国際公開ＷＯ２０１７／１１０４１３Ａ１

従来では、天候を検出するために、雨滴センサなど、専用のセンサを用いる必要があり、コストアップの要因となっていた。

本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、低コストで周囲環境を推定可能なセンサあるいはセンシング方法の提供にある。

本開示の態様は、周囲環境のセンシングの方法／装置に関する。この方法／装置は、照明装置およびイメージセンサを含むアクティブセンサを用い、奥行き方向について所定のレンジに含まれる物体が写るように照明装置の発光のタイミングとイメージセンサの露光のタイミングを設定して撮影する。そして、所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する。

本開示によれば、周囲環境をセンシングできる。

実施形態に係るセンサのブロック図である。 ゲーティングカメラの動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図４（ａ）～（ｄ）は、晴天時、弱い雨（降水量３０ｍｍ／ｈ）、強い雨（降水量８０ｍｍ／ｈ）、霧の状態で得られた、スライス画像を示す図である。 図５（ａ）は、発光強度Ｉと画素値ｐの関係を示す図であり、図５（ｂ）は、周囲環境と透過率Ｔの関係を示すテーブルである。 図６（ａ）、（ｂ）は、ゲーティングカメラを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。

（実施形態の概要）
本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。

一実施形態に係るセンサは、ゲーティングカメラおよび演算処理装置を備える。ゲーティングカメラは、奥行き方向について複数のレンジ（スライスともいう）に区切り、レンジ毎に、発光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数のスライス画像を生成可能に構成される。演算処理装置は、所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する。

ゲーティングカメラが照射する光量は既知であり、また所定のレンジまでの距離は既知である。物体の反射率が一定であるとき、その物体の画素値は、ゲーティングカメラと物体の間の透過率、言い換えれば周囲環境に応じて変化する。したがって、このセンサによれば、スライス画像の画素値にもとづいて、光の透過率、ひいては周囲環境を推定できる。

一実施形態において、演算処理装置は、推定された周囲環境にもとづいて、通常撮影時の各レンジごとの、ゲーティングカメラの撮影パラメータを設定してもよい。ゲーティングカメラは、レンジ毎に、撮影パラメータ（照明装置の発光強度、発光時間、イメージセンサの露光時間、それらの時間差）が設定される。周囲環境に応じて、各レンジの撮影パラメータを動的に制御することにより、画質を改善できる。

一実施形態において、演算処理装置は、スライス画像に含まれる所定の反射率を有する特定物体の画素値にもとづいて、周囲環境を推定してもよい。特定物体は、反射率が既知である標識、路面、白線、ガードレール、反射板の少なくともひとつを含んでもよい。

一実施形態において、演算処理装置は、少なくとも２つのレンジについて得られたスライス画像にもとづいて、周囲環境を推定してもよい。これにより推定の精度を高めることができる。

一実施形態に係るセンサは、発光タイミングが制御可能な照明装置および露光タイミングが制御可能なイメージセンサを含むアクティブセンサと、奥行き方向について所定のレンジに含まれる物体が写るように、照明装置とイメージセンサを制御し、所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する演算処理装置と、を備える。ゲーティングカメラ以外のアクティブセンサを利用しても、周囲環境を推定できる。

（実施形態）
以下、実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示や発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示や発明の本質的なものであるとは限らない。

図１は、実施形態に係るセンサ１００のブロック図である。このセンサ１００は、自動車やバイクなどの車両に搭載され、車両前方の様子を撮影する。

センサ１００は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、コントローラ２６を含むアクティブセンサである。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

照明装置（投光器）２２は、コントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。照明装置２２は、たとえばレーザダイオード（ＬＤ）やＬＥＤを用いることができる。

イメージセンサ２４は、コントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。

コントローラ２６は、レンジＲＮＧごとに、発光タイミング信号Ｓ１と露光タイミング信号Ｓ２を変化させて、照明装置２２による発光と、イメージセンサ２４の露光の時間差を変化させる。発光タイミング信号Ｓ１は、発光開始のタイミングと発光時間を規定する。露光タイミング信号Ｓ２は、露光開始のタイミング（発光との時間差）と、露光時間を規定する。またコントローラ２６は、レンジＲＮＧごとに、照明装置２２の発光強度を切り替えてもよい。

ゲーティングカメラ２０は、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧ_１～ＩＭＧ_Ｎを生成する。ｉ番目のスライス画像ＩＭＧ_ｉには、対応するレンジＲＮＧ_ｉに含まれる物体のみが写ることとなる。

図２は、ゲーティングカメラ２０の動作を説明する図である。図２にはｉ番目のレンジＲＮＧ_ｉを測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

ｉ番目のレンジＲＮＧ_ｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ_２で、上述の露光動作を複数回にわたり繰り返せばよい。

なお、この例では、露光の開始時刻ｔ_２と終了時刻ｔ_３の決め方は、図２のそれに限定されない。たとえば、発光時間ｔ_０～ｔ_１の中央を、基準タイミングｔ_ＲＥＦとして、ｔ_２＝ｔ_ＲＥＦ＋Ｔ_ＭＩＮｉ、ｔ_３＝ｔ_ＲＥＦ＋Ｔ_ＭＡＸｉのように定めてもよい。

本実施形態において、露出（スライス画像内の物体像の輝度値）がレンジごとにばらつかないように、ゲーティングカメラ２０は、レンジ毎に、シャッタースピード（露光時間）、露光回数、感度、プローブ光の照射強度など（撮影パラメータ）が最適化されている。

図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

スライス画像ＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光のみにより露光されるため、スライス画像ＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

図１に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られた所定のレンジＲＮＧ_Ｘに対応するスライス画像ＩＭＧ_Ｘにもとづいて、周囲環境を推定する。演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコン、ＧＰＵ（Graphics Processing Unit）などのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。なお演算処理装置４０と、ゲーティングカメラ２０のコントローラ２６は、同一のハードウェアに実装してもよいし、別々のハードウェアに実装してもよい。

演算処理装置４０は、所定のレンジＲＮＧ_Ｘについて得られたスライス画像ＩＭＧ_Ｘに含まれる少なくともひとつの画素値にもとづいて、周囲環境を推定し、周囲環境を示す環境情報ＥＮＶを生成する。

たとえば演算処理装置４０は、スライス画像ＩＭＧ_Ｘの中から、反射率が既知である所定の物体を抽出し、画素値にもとづいて周囲環境を推定してもよい。車載用のセンサの場合、所定の物体は、標識、路面、白線、ガードレール、反射板（デリニエータ）の少なくともひとつを含むことができる。

物体とゲーティングカメラ２０の間の往復の透過率Ｔは、天候（周囲環境）に依存する。物体の反射率がＲ、照明装置２２の発光強度がＩであるとき、スライス画像に含まれる物体の画素値ｐは、
ｐ＝Ａ×Ｉ×Ｒ×Ｔ
となる。Ａは係数である。Ａ，Ｉ，Ｒは定数とみなせるから、画素値ｐは、透過率Ｔに比例することとなる。ここで透過率Ｔは、物体とゲーティングカメラ２０までの距離に依存するところ、物体は所定レンジに含まれているから、この距離は既知である。したがって画素値ｐは、単位距離あたりの透過率に比例することとなる。ここで、単位距離当たりの透過率は、周囲環境に依存するから、画素値ｐにもとづいて、周囲環境を推定できる。

図４（ａ）～（ｄ）は、晴天時、弱い雨（降水量３０ｍｍ／ｈ）、強い雨（降水量８０ｍｍ／ｈ）、霧の状態で得られた、スライス画像を示す図である。各画像には、人と反射板が写っている。

図５（ａ）は、発光強度Ｉと画素値ｐの関係を示す図であり、図５（ｂ）は、周囲環境と透過率Ｔの関係を示すテーブルである。図５（ａ）、（ｂ）は、反射板の画素値にもとづいて作製している。

本実施形態によれば、所定の物体の画素値ｐにもとづいて、周囲環境を推定できる。

推定した周囲環境は、ゲーティングカメラ２０自体の撮影パラメータの設定に用いることができる。演算処理装置４０は、推定された周囲環境にもとづいて、通常撮影時の各レンジＲＮＧごとの、ゲーティングカメラ２０の撮影パラメータを設定してもよい。たとえば降雨時に、レンジの奥行きを広くとると、そのレンジに含まれる雨粒によって画像が見えにくくなる。そこで降雨時には、各レンジの奥行きが短くなるように、撮影パラメータを設定してもよい。反対に晴天時には、各レンジの奥行きを長くして、一度に、多くの物体を撮影するようにしてもよい。また霧と推定される場合には、発光強度を高めたり、イメージセンサの感度を高めてもよい。演算処理装置４０は、周囲環境と撮影パラメータの関係を規定するテーブルを有してもよい。周囲環境に応じて、各レンジの撮影パラメータを動的に制御することにより、画質を改善できる。

なお、演算処理装置４０は、少なくとも２つのレンジＲＮＧ_Ｘ，ＲＮＧ_Ｙについて得られたスライス画像ＩＭＧ_Ｘ，ＩＭＧ_Ｙにもとづいて、周囲環境を推定してもよい。これにより推定精度を高めることができる。

（用途）
図６（ａ）、（ｂ）は、ゲーティングカメラ２０を備える自動車３００を示す図である。図６（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に、イメージセンサ２４が内蔵される。なおイメージセンサ２４は、ヘッドランプ３０２Ｌ，３０２Ｒの外側に設けてもよい。また照明装置２２の位置は特に限定されないが、たとえばフロントバンパー（i）やフロントグリル（ii）に設けてもよいし、フロントウィンドウの内側のルームミラーの裏側（iii）に取り付けてもよい。またコントローラ２６の位置も特に限定されず、エンジンルームに設けてもよいし、車室内に設けてもよいし、ヘッドランプに内蔵してもよい。

図６（ｂ）を参照する。１個の照明装置２２は、複数（たとえば２個）の光源２２Ａ、２２Ｂを含む。複数の光源２２Ａ，２２Ｂは、同じタイミングで発光し、それらの出射光が、１個のプローブ光を形成する。複数の光源２２Ａ、２２Ｂは、左右のヘッドランプ３０２Ｌ，３０２Ｒに内蔵される。

また左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に、イメージセンサ２４が内蔵される。イメージセンサ２４は、ヘッドランプ３０２Ｌ，３０２Ｒの外側に設けてもよい。

図７は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。

演算処理装置４０は、上述の、周囲環境のセンシングを行う。さらに演算処理装置４０は、画像処理によって、スライス画像に含まれる物体認識を行う。演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。

また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。

以上、実施形態について説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本開示あるいは本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（変形例１）
実施形態では、演算処理装置４０がセンシングした周囲環境を、ゲーティングカメラ２０の制御に利用したがその限りでない。環境情報は、自動運転に利用してもよいし、ヘッドランプの配光制御に利用してもよい。

（変形例２）
実施形態では、ゲーティングカメラを利用した周囲環境のセンシングを説明したがその限りでない。つまり、センシングに用いる照明装置とイメージセンサのセットは、それらは必ずしもゲーティングカメラを構成するものではなく、通常のアクティブセンサのそれらであってもよい。

変形例２において、アクティブセンサは、発光タイミングが制御可能な照明装置および露光タイミングが制御可能なイメージセンサを含む。演算処理装置は、周囲環境のセンシングに際して、奥行き方向について所定のレンジに含まれる物体が写るように、照明装置とイメージセンサを制御する。演算処理装置は、所定のレンジについて得られたスライス画像に含まれる物体の画素値にもとづいて、周囲環境を推定することができる。

さらに言えば、周囲環境のセンシングに利用する照明装置とイメージセンサは、アクティブセンサを構成する必要すらなく、本来は無関係に設けられた照明装置とイメージセンサを、周囲環境のセンシングに流用してもよい。たとえば自動車は、運転支援のためのイメージセンサを備えている場合がある。また、それとは別に、ＬＩＤＡＲや赤外線照明を備えている場合がある。このような場合、それらを組み合わせて、周囲環境のセンシングを行ってもよい。

（変形例３）
実施形態では、所定レンジについて得られたスライス画像に含まれる所定の反射率を有する特定物体の画素値を利用したが、その限りでない。ある期間にわたって走行すると、同一レンジに関して、何枚かのスライス画像が取得される。これらのスライス画像に写る物体は、走行シーンに応じて変化し、スライス画像に含まれる物体の種類や位置はランダムとなり、統計的には、画素値の平均値は、光の透過率に応じた値に収束する。そこでゲーティングカメラ２０によって、所定のレンジについて異なる走行シーンで複数のスライス画像を撮影し、それらの画素値を統計的に処理することにより、周囲環境を推定してもよい。

（変形例４）
イメージセンサ２４として、マルチタップ型のセンサを用いてもよい。マルチタップ型のセンサは、画素ごとに、複数のフローティングディフュージョン（電荷蓄積領域）ＦＤを有しており、フローティングディフュージョンＦＤごとに露光タイミングを個別に制御可能である。マルチタップ型のセンサを用いた場合、１回の発光に対して、複数のフローティングディフュージョンＦＤの露光タイミングをずらすことにより、複数のレンジを一斉にセンシング可能となる。

実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

本開示は、センサに利用できる。

Ｓ１ 発光タイミング信号
Ｓ２ 露光タイミング信号
１００ センサ
２０ ゲーティングカメラ
２２ 照明装置
２４ イメージセンサ
２６ コントローラ
４０ 演算処理装置

Claims (6)

1. 奥行き方向について区切られた複数のレンジの各々について照明装置によるプローブ光の照射タイミングとイメージセンサによる露光のタイミングを相違させることにより、それぞれに各レンジに含まれる物体のみが写り込んだ複数のスライス画像を取得するゲーティングカメラと、
   前記複数のスライス画像の少なくともひとつから取得される単位距離あたりの前記プローブ光の透過率に対応する値にもとづいて、周囲環境を示す環境情報を出力する演算処理装置と、
   を備えることを特徴とするセンサ。
2. 前記環境情報にもとづいて、前記ゲーティングカメラの撮影パラメータを設定することを特徴とする請求項１に記載のセンサ。
3. 前記演算処理装置は、前記複数のスライス画像の少なくともひとつに写り込んだ反射率が既知である物体の画素値にもとづいて、前記周囲環境を推定することを特徴とする請求項１または２に記載のセンサ。
4. 前記物体は、標識、路面、白線、ガードレール、反射板の少なくともひとつを含むことを特徴とする請求項３に記載のセンサ。
5. 請求項１から４のいずれかに記載のセンサを備えることを特徴とする自動車。
6. 奥行き方向について区切られた複数のレンジの各々について照明装置によるプローブ光の照射タイミングとイメージセンサによる露光のタイミングを相違させることにより、それぞれに各レンジに含まれる物体のみが写り込んだ複数のスライス画像を取得するステップと、
   前記複数のスライス画像の少なくともひとつから取得される単位距離あたりの前記プローブ光の透過率に対応する値にもとづいて、周囲環境を示す環境情報を出力するステップと、
   を備えることを特徴とする周囲環境のセンシング方法。

Images