JP5922866B2 - 車両の運転者に案内情報を提供するためのシステム及び方法 - Google Patents

Description

本発明は、車両の近くの物体の検出に基づいて、車両の周囲のエリアの拡張されたビデオ画像を生成するためのシステム及び方法に関する。

多くの車両が、該車両の周囲のライブ画像を運転者に提供するビデオカメラシステムを備えている。そのような画像を運転者に提供することは、駐車、又は交通渋滞の中を進む操作のような困難な運転操作の安全性を高め、それらの操作を容易にするのに役立つ。車両は、運転者に車両付近の物体の存在を警告する物体センサーも備えている。これもまた、困難な運転操作に関して運転者を支援するためのものである。

必要とされているのは、ビデオカメラシステムからの情報及び物体センサーからの情報を組み合わせて、それによって運転者に改善された情報を提供すると共に、困難な運転状況にある運転者をさらに支援する方法である。

このため、１つの実施の形態では、本発明は車両の運転者に案内情報を提供するためのシステムを提供する。本システムは車両に取り付けられた画像撮像（キャプチャ）装置を備える。画像撮像装置は、車両の付近の画像を取得するように構成される。本システムはまた、車両に取り付けられ、該車両の近くの物体を検出するように構成される物体センサーと、画像撮像装置からの取得画像を処理して出力画像を生成するように構成される中央処理ユニットとを備える。取得画像の処理は、物体センサーから得られる情報に基づく。本システムは．中央処理ユニットによって生成された出力画像を表示するように構成される、車両に搭載される画像表示ユニットも備える。

別の実施の形態では、本発明は車両の運転者に案内情報を提供する方法を提供する。本方法は、車両に取り付けられた画像撮像装置から取得画像を得ること、車両に取り付けられた物体センサーを使用して車両の近くの物体を検出すること、及び車両に関連付けられる中央処理ユニットを使用して取得画像を処理し、出力画像を生成することを含む。取得画像の処理は、物体センサーから得られる情報に基づく。本方法は、中央処理ユニットによって生成された出力画像を、車両に搭載される画像表示ユニットに表示することも含む。

本発明の他の態様は、詳細な説明及び添付の図面を考察することによって明らかとなるであろう。

本発明の一実施形態による物体検出及びビデオ案内システムを装備する車両を示す図である。 本発明の一実施形態による物体検出及びビデオ案内システムを装備する車両を示す図である。 物体検出及びビデオ案内システムを装備する車両の後部を示す図である。 画像撮像装置の実際の視点及びシミュレートされた視点を示す図である。 撮像画像の視野と、変更された表示の視野との間の関係を示す図である。 撮像画像の後方の交差路視野を示す図である。 物体が後方の交差路においてどのように検出されるか、及び物体が検出されるときに画像表示がどのように変更されるかを示す図である。 物体が後方の交差路においてどのように検出されるか、及び物体が検出されるときに画像表示がどのように変更されるかを示す図である。 物体に焦点を当てた変更の場合に視野がどのように変更されるかの一例を示す図である。

本発明の任意の実施形態を詳細に説明する前に、本発明は、その応用形態において、以下の説明において示されるか添付の図面において図示される構成要素セットの構造及び配置の詳細に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、様々な形で実施又は実行されることが可能である。

本発明の実施形態は、車両の操作中に、車両の運転者に改善された情報を提供する方法及びシステムを含む。通例、本方法及び本システムは、画像撮像装置からの情報と、車両に関連付けられる物体センサーからの情報とを組み合わせて、運転者のためにより有益な画像表示を生成する。本明細書において開示される本方法及び本システムは、乗用車、バン、トラック、ＳＵＶ、バス等のような多数の車両において使用することができる。

本発明の実施形態によるシステム１０は、１つ又は複数の物体センサー３０と、該物体センサーに関連付けられる１つ又は複数の画像撮像装置４０とを備える（図１）。車両２０はまた、中央処理ユニット（ＣＰＵ）５０と、該中央処理ユニットに関連付けられるディスプレイ６０とを有する。様々な実施形態において、ＣＰＵ５０は、物体センサー３０、画像撮像装置４０、及びディスプレイ６０の動作を制御を制御し、物体センサー３０から得られる情報３０から得られる情報に従って、画像撮像装置４０から得られる画像を処理する（図１）。

様々な実施形態において、物体センサー３０は車両２０の側面、後部、前部のうちの１つ又は複数に取り付けられる（図１、図２）。使用される物体センサー３０のタイプに応じて、物体センサー３０は検知されるエリアをマッピングし、車両２０の近くの１つ又は複数の物体のサイズ及びロケーションを報告することができる。物体は、壁、駐車車両、若しくは電柱のような固定物体、又は歩行者若しくは移動車両のような移動物体とすることができる。幾つかの実施形態では、各個々の物体センサー３０は、近傍の物体のサイズ及びロケーションを求めることが可能である場合がある。他の実施形態では、単一の物体センサー３０のみが、該物体センサー３０からの近傍の物体の距離を求めることができ、たとえば三角測量によって近傍の物体のサイズ及びロケーションを求めるには、物体センサー３０のアレイからの組み合わされた情報が必要となる場合がある。様々な実施形態において、物体センサー３０は超音波測定、飛行時間測定、（たとえば赤外光又は超音波を使用する）レーダー、容量検知、又はそれらの組み合わせに基づくことができるが、他の物体検知技術もシステム１０内に組み込むことができる。特定の実施形態では、車両２０の後部にわたって、たとえば後部バンパーに沿って配列された複数の超音波ベースの物体センサー３０が存在する。１つの特定の実施形態では、車両２０の後部バンパー上に４つの超音波ベースの物体センサー３０が存在する。バンパーの各端に１つの物体センサー３０があり、それらの間のロケーションに残りの物体センサー３０が離間される。

物体センサー３０は、車両１０の近くの様々な領域を検出することができる。幾つかの実施形態では、物体センサー３０は車両１０の背後の水平検知領域７０から情報を収集する。該水平検知領域は、地上約１０センチメートルにおいて始まり、地上約２５０センチメートルまで続く（図１、２）。検知領域７０は、車両１０の後方１０メートルに延在し、最大５メートルだけ横方向に延在することができる。様々な検知技術を使用して、且つ車両１０の外周の周りの様々なロケーション及び配向において複数の物体センサー３０を追加することによって、他の検知領域７０を構成することができる。物体センサー３０の空間解像度は、使用される検知技術のタイプに応じて変動する。超音波ベースの物体センサー３０の場合、空間解像度は約５センチメートルであるが、より小さいか又はより大きい解像度を有する技術も使用することができる。

本論考は、物体センサー３０、画像撮像装置４０、及び後退動作している車両の後部の近くの物体に焦点を当てるが、システム１０の様々な要素を、車両２０の前部若しくは側面、又は双方にも取り付けることができ、それらを使用して、後退動作以外の他の状況で車両２０を操作している運転者を支援することができる。車両２０が前進している間にシステム１０が動作する幾つかの実施形態では、システム１０は、車両２０が低速で、たとえば時速１０マイル以下で移動している場合、ディスプレイ６０に画像を示すのみである場合がある。通例、ディスプレイ６０は車両２０の運転者に容易に見えるロケーション、たとえばダッシュボード上に配置される。

物体センサー３０は、物体のサイズ、及び車両に対する該物体のロケーションを含む、近傍の物体に関する情報を提供する。車両２０のロケーション、並びに車両の移動速度及び移動方向のような他の情報と組み合わせると、システム１０は物体が移動しているか否か、及びその方向、並びに物体が車両の移動の予想進路内にあるか否か又は入るか否かを判断することができる。車両２０のロケーション、並びに車両２０の移動速度及び移動方向に関する情報は、車両２０に関連付けられる全地球測位システム（ＧＰＳ）、加速度計、及び車輪速度センサーのうちの１つ又は複数から得ることができる。下記でより詳細に論考するように、システム１０が改変画像出力を生成するようにトリガするイベントは、近傍の物体の存在、物体のサイズ、物体が車両２０にどれだけ近接しているか、物体が移動しているか否か及び該移動の速度、物体が車両２０の移動の予想進路内にあるか又は入ることが予測されるか否か、並びに物体が画像撮像装置４０の視野の所定の領域内に含まれるか否かを含む。システム１０が改変画像を生成することをトリガすることができるさらに別のイベントは、車両２０が、該車両２０の片側に近接した物体を有する（たとえば路地又は２つの駐車車両間でのように）閉じられた空間から開かれた空間に移動する場合である。

１つ又は複数の画像撮像装置４０（たとえばデジタルカメラ）をシステム１０と共に使用することができる（図１〜図３）。幾つかの実施形態では、画像撮像装置４０は、該画像撮像装置に取り付けられた広角レンズを有し、それによって画像撮像装置４０は拡張された視野を有する。特定の実施形態では、広角レンズの水平視野は、レンズに位置する垂直軸を中心として約α＝１８０度の角度に拡張され（図３）、一方で、垂直方向の視野は従来のレンズと同じとすることができる。他の実施形態では、画像撮像装置４０に取り付けられたレンズの視野は、垂直軸を中心にα＝１５０度の角度を有するが、視野の他のサイズ及び特性が可能である。特定の実施形態では、システム１０は、（特に縁において）歪んで見える場合がある、広角レンズを使用して得られる画像に、歪み補正を提供するアルゴリズムを含む。

特定の実施形態では、車両２０の運転者にさらなる情報を提供するために、複数の画像撮像装置４０からの画像情報が結合される。画像撮像装置４０は、車両２０の後部、側面、又は前部に位置することができる。画像撮像装置４０は、一連の画像をＣＰＵ５０に送達することができる、電荷結合素子（ＣＣＤ）又は同様の検出器のような多数の検出技術を使用することができる。１つの特定の実施形態では、画像撮像装置４０は、６４０×４８０画素のＣＣＤチップを備えるが、他の画素数及び縦横比を有する検出器も可能である。様々な実施形態において、画像撮像装置４０は毎秒少なくとも１、５、１０、２０、３０、又はそれより多くの画像をＣＰＵ５０に送達するが、他のレートも可能である。

ＣＰＵ５０は、プロセッサ、メモリ、又は他のコンピュータ可読媒体、及び入力／出力メカニズムを備えることができる。ＣＰＵ５０は、物体センサー３０及び画像撮像装置４０から情報を受信し、画像撮像装置４０によって撮像された画像を物体センサー３０からの情報に従って処理し、ディスプレイ６０に出力信号を送信するように構成される。様々な実施形態では、ＣＰＵ５０からの出力は、音（たとえば警告ブザー、ベル、合成音声等）、触知性若しくは運動（たとえば座席又はハンドルのような車両２０の一部分の振動）、光（たとえば点滅光）、若しくは運転者を含む車両２０の１人若しくは複数人の乗員との他の形式の通信も含むことができるか、又はそれらを代替的に含むことができる。ＣＰＵ５０は、通信の有線モード又は無線モードを使用して、画像撮像装置４０、物体センサー３０、ディスプレイ６０、及びシステム１０の他の要素と通信することができる。ＣＰＵ５０は、コンピュータ可読媒体に対するプログラム命令を含むことができ、情報を格納するためのメモリをさらに備えることができる。様々な実施形態において、システム１０は、本明細書において開示される要素のうちの１つ又は複数と、それに伴って本発明の実施形態を実行するためのＣＰＵ５０に対する適切なプログラム命令とを含む。このため、１つ又は複数実施形態では、システム１０は車両２０の付近の物体に関して物体センサー３０から得られたデータに基づいて、変更された画像出力を生成する。
トップビュー
１つのそのような実施形態では、システム１０は、画像撮像装置４０から得られた画像データから、シミュレートされたトップビューを作成する。シミュレートされたトップビューは、水平に向けられた画像撮像装置４０から得られた画像からの画素情報を（たとえば直交射影を使用して）再マッピングし、車両２０の真上に位置する装置から撮像されたかのように見える画像を生成することによって生成される（図４）。次に、元画像（表１「ビューモード１」を参照されたい）及びシミュレートされたトップビュー画像（表１「ビューモード２」を参照されたい）を（たとえばモーフィング技術を使用して）様々な度合いで結合して、車両２０に対して或る角度に位置する装置から撮像されたかのように見える複合画像を生成する。この角度は、水平に配向された元画像と、垂直に配向されたシミュレートされたトップビュー画像との中間にある。図４に示すように、画像撮像装置４０によって撮られた元画像は、駆動面と概ね平行な方向にある。この情報を、たとえば直交射影を使用して再サンプリングすることによって、駆動面と概ね直角の方向にある画像撮像装置４０Ａによって撮られたかのように見える画像を生成する（図４）。最後に、元の撮像画像をシミュレートされたトップビュー画像と結合することによって形成される複合画像によって、実際の画像撮像装置４０の方向と、シミュレートされた画像撮像装置４０Ａの方向との間の方向において画像撮像装置４０Ｂによって撮られたかのように見える画像が生成される（図４）。

複合ビュー画像の表示をトリガするイベントは、車両の予想進路における物体の存在を含むことができる。表１は、物体センサー３０によって報告される、車両２０に対する物体の近接性と、元画像（「ビューモード１」）及びシミュレートされたトップビュー画像（「ビューモード２」）の相対的百分率と間の可能な関係性を示している。この相対的百分率によって、画像を結合して、ディスプレイ６０上に示される出力画像を生成する。このため、物体と車両２０との間の距離が減少すると、出力画像に含まれる、元画像に対するトップビュー画像の百分率が大きくなり、運転者の注意を物体の存在に引きつけると共に、車両２０及び物体の相対位置のより良好なビューを提供する。表１は、シミュレートされたビュー角度の変化を、一連の不連続のステップにおいて発生するものとして示しているが、様々な実施形態では、該変化は物体と車両２０との間の距離の変化と共に連続的に発生する。さらに別の実施形態では、複合画像のビューの変化は、表１に示すような不連続のステップであるが、より細かいか又はより低いレベルの解像度で発生することができる。

後方の交差路
別の実施形態では、システム１０は出力画像を改変して、ディスプレイ６０上に示される、画像撮像装置４０からの画像４２の側面部４６の比率を増加させ、それによって、変更された部分４６’が変更された出力画像４２’の大部分又は全体を成すようにする（図５Ａ）。他の実施形態では、画像の側面部は、画像の側面部が側方を向いた装置によって撮像されたかのように見せるために直交射影され、運転者に、車両２０の側面にある物体のより直接的なビューを提供する（図６Ａ、図６Ｂ）。１つの実施形態では、取得画像の左部及び右部（たとえば取得画像の両側の取得画像の側面の４分の１〜３分の１、又は他のサイズの部分）が直交射影され、各側面部が出力画像のほぼ半分又は半分全体を占めるようにサイズを増大される。拡張部分領域（複数可）を、車両２０に対する物体の近接性の関数として様々な度合いで、不連続な段階的方式又は連続的若しくはほぼ連続的な推移で元の取得画像と（たとえばモーフィング技法を通じて）結合することができる。図６Ｂにおけるディスプレイ６０のビデオ出力視野は、拡張部分領域間に表示される元の取得画像の一部分を描画しているが、幾つかの実施形態では、元の取得画像の全体が除去され、２つの拡張部分領域のみが（互いに隣接して）表示されてもよい。

他の実施形態では、物体が存在するか、並びに存在する場合、物体が移動しているか否か及び物体が車両２０のどちら側に現在位置しているかのような要因に依拠して、取得画像の一方の側又は他方の側のみが拡張される。システム１０が表示画像の側面部を拡張することをトリガし得る別の状況は、車両２０が閉じられた空間（たとえば、路地又は２つの他の車両間）から開かれた空間に移動する場合であり、ただし別の車両又は歩行者のような物体が該開かれた空間に存在し得る場合である。

特定の実施態様では、後方の交差路視野は、物体が車両２０の片側又は両側の視野内に検出される場合、画像の側面部の一方又は双方が上記で論考されたように拡張されるように定義される。たとえば、後方の交差路視野は、車両２０の後方に隣接する半円形領域として定義することができる。該半円形領域は、１つの特定の実施形態では、２分の１メートルの半径を有し、α＝１８０度の視角を有する後ろ向きの広角カメラの視野の最外部の１５度に対応する（図５Ｂ）が、他の後方交差路の視野も定義することができる。
物体に焦点を当てた拡大
さらに別の実施形態では、システム１０は、車両２０に近接した（たとえば３０センチメートル〜５０センチメートルの範囲内の）部分領域４４内の物体（たとえばトレーラーの連結装置）に運転者の注意を引きつけるために、画像撮像装置４０によって取得される画像４２の部分領域４４を拡張する（図７）。様々な実施形態において、画像４２の部分領域４４の拡張は、部分領域４４内の物体のより直接的なビューを提供するために、部分領域４４を拡大すること、及び部分領域４４を垂直射影することを含む。拡張部分領域４４’（複数可）を、車両２０に対する物体の近接性の関数として様々な度合いで、不連続な段階的方式又は連続的若しくはほぼ連続的な推移で取得画像４２と（たとえばモーフィング技法を通じて）結合し、ディスプレイ６０上に示す変更された画像４２’を生成することができる。拡張部分領域４４’は単独で表示されてもよく、又は取得画像と組み合わせて「拡大鏡」効果を生成してもよい。「拡大鏡」効果では、取得画像の周辺領域を依然として見ることができ、該周辺領域は、運転者に、画像の拡大部分が風景の残りの部分とどのように関連しているかに関するコンテキストを与えるのに役立つ（図７）。

拡張部分領域４４は、様々な方法、たとえば１つ若しくは複数のボックス、長方形、円、若しくは特定の領域内の他の形状（たとえば中心）、又は画像撮像装置４０の視野領域として定義することができる。代替的に又は付加的に、システム１０は、物体が車両２０に近接していると確定される視野内のエリアに対応する部分領域を自動的に作成することができる。

モード間、たとえば取得画像に対応する従来のビューから本明細書において説明される拡張ビューへの表示画像の改変は、単一のフレーム内で発生してもよく、又は、運転者がビュー間の関係性を理解するためのコンテキストを提供するのに役立つように、一連のフレームにわたって徐々に推移してもよい。センサー３０及び画像撮像装置４０からの情報を、表示されている取得画像及び任意の改変画像の連続的な更新のために、ＣＰＵ５０に連続的に提供することができる。

このため、本発明は中でも、車両の運転者に案内情報を提供するための新規で有用なシステム及び方法を提供する。本発明の様々な特徴及び利点が以下の特許請求の範囲において示される。

Claims (12)

1. 車両の運転者に案内情報を提供するためのシステムであって、
   前記車両の付近の画像を取得するように構成される画像撮像装置と、
   前記車両の近くの物体を検出し、前記物体と前記車両との間の距離を求めるように構成される物体センサーと、
   前記画像撮像装置及び前記物体センサーに接続される処理ユニットであって、前記取得画像を直交射影することによって、前記車両の真上に位置するシミュレートされた画像撮像装置から取得されたかのように見えるシミュレートされた画像を生成し、互いにある比率で、前記物体と前記車両との間の前記距離によって決定される観察のシミュレートされた角度を有するように、前記シミュレートされた画像を前記取得画像と結合して、実際の画像撮像装置の方向と前記シミュレートされた画像撮像装置の方向との間の方向において画像撮像装置によって撮られたかのように見える出力画像を生成するように構成され、前記取得画像に対する前記シミュレートされた画像の前記比率は、前記物体と前記車両との間の前記距離が減少するにつれて増加する、処理ユニットと、
   前記処理ユニットに接続され、該処理ユニットによって生成された前記出力画像を表示するように構成される、画像表示ユニットと、
   を備える、システム。
2. 中央処理ユニットによる前記取得画像の処理は、前記物体センサーから得られる情報に基づいて連続的に実施される、請求項１に記載のシステム。
3. 前記画像撮像装置は、前記車両の後部に取り付けられ、広角レンズを備える、請求項１に記載のシステム。
4. 前記物体センサーは、超音波ベースの物体センサーを備える、請求項１に記載のシステム。
5. 車両の運転者に案内情報を提供する方法であって、
   前記車両に取り付けられた画像撮像装置から取得画像を得ること、
   前記車両に取り付けられた物体センサーを使用して、物体と前記車両との間の距離を検出すること、
   前記車両に関連付けられる中央処理ユニットを使用して前記取得画像を処理することであって、出力画像を生成し、該取得画像の処理は、前記取得画像を直交射影することによって、前記車両の真上に位置するシミュレートされた画像撮像装置から取得されたかのように見えるシミュレートされた画像を生成すること、及び、互いにある比率で、前記物体と前記車両との間の前記距離によって決定される観察のシミュレートされた角度を有するように、前記シミュレートされた画像を前記取得画像と結合して、実際の画像撮像装置の方向と前記シミュレートされた画像撮像装置の方向との間の方向において画像撮像装置によって撮られたかのように見える前記出力画像を生成することを含み、前記取得画像に対する前記シミュレートされた画像の前記比率は、前記物体と前記車両との間の前記距離が減少するにつれて増加する、処理すること、及び
   前記中央処理ユニットによって生成された前記出力画像を、前記車両に搭載される画像表示ユニット上に表示すること、
   を含む、方法。
6. 前記中央処理ユニットによって前記取得画像を前記処理することは、前記物体センサーから得られる情報に基づいて連続的に実施される、請求項５に記載の方法。
7. 前記画像撮像装置は、前記車両の前記後部に取り付けられ、広角レンズを備える、請求項５に記載の方法。
8. 前記物体センサーは、超音波ベースの物体センサーを備える、請求項５に記載の方法。
9. 前記比率は参照テーブルを使用して決定される、請求項１に記載のシステム。
10. 前記シミュレートされた画像及び前記取得画像は、モーフィング技術を使用して結合される、請求項１に記載のシステム。
11. 前記比率は参照テーブルを使用して決定される、請求項５に記載の方法。
12. 前記シミュレートされた画像を前記取得画像と結合することは、モーフィング技術を使用して前記シミュレートされた画像を前記取得画像と結合することを含む、請求項５に記載の方法。

Images