JP7675313B2 - 車載撮像システム - Google Patents

Description

本発明は、車両に搭載される撮像システムの構成に係り、特に、複数のカメラを用いて視差画像を生成し距離測定を行うステレオカメラに適用して有効な技術に関する。

交通事故を未然に防止するため、自動車や自動二輪車向けのＡＤＡＳ（Advanced Driver Assistance Systems：先進運転支援システム）の導入が進んでいる。例えば、車載カメラを利用して車両周辺の監視や車両認識を行い、注意喚起（アラート）・衝突回避などに活用している。

ＡＤＡＳに使用される車載カメラには、複数の（一般的には２つの）カメラで対象物を異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたステレオカメラが用いられている。複数のカメラで撮影した画像の立体視処理により、複数の立体物の大きさ、位置、速度を検出することもできる。

ＡＤＡＳは、高級車種向けのシステムと一般車種向けのシステムに分かれており、車載カメラにはスケーラビリティ（汎用性）を考慮した設計が求められている。

また、車載カメラでは、ルームミラーの裏側等に単眼カメラを設置する従来のセンシングシステムに対して、カメラを１台追加して機能向上や冗長性向上を狙ったセンシングシステムの開発も進められている。

本技術分野の背景技術として、例えば、特許文献１のような技術がある。特許文献１には、「移動体に設置されたカメラにより、ユーザが任意のタイミングで行う対象物の撮影指示に適した画像を得られるように支援する情報処理装置」が開示されている。

また、特許文献２には、「車両の前方のみならず前方の左右に存在する対象物も的確に検出して走行制御に必要な距離情報を算出することのできる車両の走行環境検出装置」が開示されている。

また、特許文献３には、「運転時の安全性を向上できる画像表示システム」が開示されている。

また、特許文献４には、「垂直方向に並べられた１組のカメラによる距離計測を、高精度に実現させることが可能な撮像制御装置」が開示されている。

特開２０２０－１０６８９０号公報 特開２０２０－５１９４２号公報 特開２０１３－６２６５７号公報 国際公開第２０１８／１８０５７９号

上述したように、ＡＤＡＳ向けの車載カメラでは、スケーラビリティ（汎用性）を考慮した設計と、ステレオカメラとしてのさらなる機能向上及び冗長性向上が要求されている。

しかしながら、単に従来の単眼カメラにカメラを１台追加してステレオ視を実現しようとした場合、それらを制御するための電子制御装置（ＥＣＵ）や通信線の数が増加してしまい、車載システムの小型軽量化や低コスト化に不利である。

また、スケーラビリティ（汎用性）を考慮した設計に対応するためには、車載カメラを制御するＥＣＵはステレオカメラに特化せず、汎用性のあるハードウェア構成とすることが望まれる。

上記特許文献１から特許文献４のいずれにも、上述したような車載カメラの小型軽量化及び低コスト化、スケーラビリティ（汎用性）を同時に実現するような具体的な構成については記載されていない。

そこで、本発明の目的は、車両に搭載される車載撮像システムにおいて、小型軽量化及び低コスト化、スケーラビリティ（汎用性）を同時に実現可能な車載撮像システムを提供することにある。

上記課題を解決するために、本発明は、車両に搭載される車載撮像システムであって、第１のカメラと、前記第１のカメラと異なる位置に設置された第２のカメラと、前記第１のカメラおよび前記第２のカメラで取得した画像を処理する画像処理部と、を備え、前記第１のカメラと前記第２のカメラとは、第１の通信線によって接続され、前記第２のカメラと前記画像処理部とは、第２の通信線によって接続され、前記第２のカメラは、前記第１のカメラの画像信号と前記第２のカメラの画像信号とを用いて視差画像を生成し、前記第２の通信線を介して前記画像処理部へ伝送することを特徴とする。

本発明によれば、車両に搭載される車載撮像システムにおいて、小型軽量化及び低コスト化、スケーラビリティ（汎用性）を同時に実現可能な車載撮像システムを実現することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る車両及び車載カメラを示す図である。 本発明の実施例１に係る車載撮像システムを示す図である。 本発明の実施例２に係る車両及び車載カメラを示す図である。 車載カメラにより距離情報が得られる領域を概念的に示す図である。 本発明の実施例２に係る車載撮像システムを示す図である。 本発明の実施例３に係る車両及び車載カメラを示す図である。 本発明の実施例３に係る車載撮像システムを示す図である。 本発明の実施例４に係る車両及び車載カメラを示す図である。 本発明の実施例５に係る車両及び車載カメラを示す図である。 本発明の実施例６に係る車載撮像システムを示す図である。 本発明の実施例６に係る車載撮像システムを示す図である。 従来の車載撮像システムを示す図である。 従来の車載撮像システムを示す図である。

以下、図面を用いて本発明の実施例を説明する。なお、各図面において同一の構成については同一の符号を付し、重複する部分についてはその詳細な説明は省略する。

先ず、図１１Ａ及び図１１Ｂを参照して、従来の車載撮像システムの構成と課題について説明する。図１１Ａ及び図１１Ｂは、いずれも従来の車載撮像システムを示す図である。図１１Ａは、一般車種向けの単眼カメラシステムを示しており、図１１Ｂは、単眼カメラにカメラを１台追加してステレオカメラとした高級車種向けのステレオカメラシステムを示している。

図１１Ａに示すように、従来の一般車種向けの車載撮像システム３１では、カメラヘッド２により撮影した画像信号を画像認識ＥＣＵ５に伝送し、画像認識ＥＣＵ５に搭載された汎用ＳｏＣ１３で画像処理を行っている。

一方、図１１Ｂに示すように、従来の高級車種向けの車載撮像システム３２では、上記の構成に加えて、カメラヘッド３及び別の画像認識ＥＣＵ５をさらに追加し、ステレオカメラとして構成している。カメラヘッド３により撮影した画像信号を別の画像認識ＥＣＵ５に伝送し、画像認識ＥＣＵ５に搭載された汎用ＳｏＣ１３で画像処理を行うとともに、同じ画像認識ＥＣＵ５に搭載された画像処理チップ３３により、歪み補正、輝度補正、キャリブレーション、ステレオマッチング処理等が実行される。

従来の高級車種向けの車載撮像システム３２は、上記のように構成されており、映像信号線が多く、車載撮像システムの小型軽量化や信頼性の点で不利であり、コスト増加にも繋がる。

また、画像認識ＥＣＵ５にステレオ処理機能を持たせているため、単眼カメラ用のＥＣＵに流用することができず、ステレオカメラ専用設計のＥＣＵになってしまう。

次に、図１及び図２を参照して、本発明の実施例１に係る車載撮像システムについて説明する。図１は、本実施例の車両及び車載カメラを示す図である。図２は、図１の車両に搭載される車載撮像システムを示す図である。

図１に示すように、本実施例では、車両１のルームミラー近傍に２つのカメラヘッド２，３が搭載されている。

車両１に搭載される車載撮像システム４は、図２に示すように、主要な構成として、カメラヘッド２（第１のカメラ）と、カメラヘッド２と異なる位置に設置されたカメラヘッド３（第２のカメラ）と、カメラヘッド２およびカメラヘッド３で取得した画像を処理する画像認識ＥＣＵ５（画像処理部）とを備えている。

カメラヘッド２とカメラヘッド３とは、通信線１４（第１の通信線）によって接続され、カメラヘッド３と画像認識ＥＣＵ５とは、通信線１５（第２の通信線）によって接続されている。

カメラヘッド２（第１のカメラ）は、撮像素子６により撮影した画像の画像信号をシリアライザ８及び通信線１４（第１の通信線）を介してカメラヘッド３（第２のカメラ）に伝送する。

カメラヘッド３（第２のカメラ）は、視差画像を生成する画像処理チップ１１（視差画像生成部）を有しており、画像処理チップ１１は、カメラヘッド２の画像信号とカメラヘッド３の画像信号とを用いて視差画像を生成する。

カメラヘッド３は、デシリアライザ９を介して入力されたカメラヘッド２の画像信号と、撮像素子７により撮影した画像の画像信号と、画像処理チップ１１で生成した視差画像とを、シリアライザ１０及び通信線１５（第２の通信線）を介して画像認識ＥＣＵ５（画像処理部）へ伝送する。

デシリアライザ１２を介して画像認識ＥＣＵ５（画像処理部）へ入力された上記の各信号は、汎用ＳｏＣ１３により画像処理される。

本実施例の車載撮像システム４は、以上のように構成されており、図１１Ｂに示す従来の車載撮像システムに比べて、映像信号線及びＥＣＵの数を減らすことができる。

また、画像認識ＥＣＵ５は、ステレオカメラに特化したハードウェア構成にする必要がないため、スケーラブルなシステムに対応することができる。

なお、通信線１４は、カメラヘッド３からカメラヘッド２への電源供給も兼ねており、カメラヘッド２の電源供給線を別途設ける必要はない。

また、半導体装置である画像処理チップ１１は、画像信号を処理するＩＳＰ機能（Image Signal Processor）に加えて、歪み補正機能や輝度補正機能（キャリブレーション機能）、ステレオマッチング処理（視差画像生成機能）を有している。

図３Ａから図４を参照して、本発明の実施例２に係る車載撮像システムについて説明する。図３Ａは、本実施例の車両及び車載カメラを示す図である。図３Ｂは、車載カメラにより距離情報が得られる領域を概念的に示す図である。図４は、図３Ａの車両に搭載される車載撮像システムを示す図である。

本実施例では、さらに高機能な車載撮像システムについて説明する。

特に、高級車種向けのシステムでは、より広範囲の距離情報を取得したい、路面上の小さな落下物や路面の凹凸をより精度よく計測したい、遠方の距離精度を高めたいという要求もある。

また、実施例１で説明した車載撮像システムでは、カメラヘッド３に画像処理チップ１１を搭載しており、画像処理チップ１１からの発熱が信頼性に影響を与える可能性も考えられる。

そこで、本実施例では、図３Ａに示すように、車両１に対して２つのカメラヘッドを、上部カメラヘッド１６と下部カメラヘッド１７のように縦型に配置している。つまり、下部カメラヘッド１７は、上部カメラヘッド１６と高さの異なる位置に搭載されている。

図３Ａのように２つのカメラヘッドを縦型配置にすることで、図３Ｂに示すように、実施例１（図１）で説明した横型配置に比べて、距離情報が得られる領域を拡大することができる。

これにより、水平方向の略全画角で距離情報を得られるとともに、横方向のエッジ成分を多く持つ物体を検知し易くなる。また、２つのカメラヘッドを縦型に配置することで、ワイパーの払拭範囲内で基線長（２つのカメラヘッド間の距離）を長くとることが可能になるため、遠方の距離精度を向上することができる。

また、本実施例では、図４に示すように、下部カメラヘッド１７を車両１の空調機構（デフロスタ２１）の近傍に配置している。そして、デフロスタ２１と画像認識ＥＣＵ５（汎用ＳｏＣ１３）とを通信線２０で接続している。

また、下部カメラヘッド１７には、温度センサ１９が設けられており、温度センサ１９が所定の温度を検知した場合、デフロスタ２１により下部カメラヘッド１７を冷却するように車両１の空調機構を制御する。

なお、例えば寒冷地等において、気温が極度に低下したような場合は、デフロスタ２１により下部カメラヘッド１７を加温して、下部カメラヘッド１７の動作を担保することも可能である。

さらに、上部カメラヘッド１６にも温度センサ１９とは異なる別の温度センサ１８を設け、温度センサ１８の値と温度センサ１９の値との差が、所定の範囲内になるように車両１の空調機構（デフロスタ２１）を制御するようにしても良い。

下部カメラヘッド１７の発熱を抑えるとともに、２つのカメラヘッドの温度が略同じになるよう制御することで、熱によるカメラの光学特性の差を抑え、測距精度劣化を抑制することができる。

図５及び図６を参照して、本発明の実施例３に係る車載撮像システムについて説明する。図５は、本実施例の車両及び車載カメラを示す図である。図６は、図５の車両に搭載される車載撮像システムを示す図である。

図５に示すように、本実施例では、実施例２（図３Ａ）と同様に、２つのカメラヘッドを縦型配置にしている。

但し、実施例２（図３Ａ）の下部カメラヘッド１７に替えて、画像処理チップ内蔵下部カメラヘッド２２を備える点において、実施例２（図３Ａ）とは異なっている。

図６に、画像処理チップ内蔵下部カメラヘッド２２の概略構成を示す。

画像処理チップ内蔵下部カメラヘッド２２は、カメラ筐体を、センサ基板２５を備えたセンサ基板部と、メイン基板２３を備えたメイン基板部とに分けたＬ字構造になっている。

メイン基板２３には、画像処理チップ１１が搭載されており、画像処理チップ１１からの発熱は、ヒートスプレッダ（放熱板）２４を介して筐体に放熱している。メイン基板部は、デフロスタ２１により冷却される。

本実施例のように、画像処理チップ内蔵下部カメラヘッド２２をウィンドシールド２６近傍のダッシュボード２７上またはダッシュボード２７内に配置することで、画像処理チップ１１を内蔵したカメラヘッドの空調機構（デフロスタ２１）による冷却が可能となる。

なお、メイン基板部（画像処理チップ１１を実装した基板）をダッシュボードの下に隠れるように設置することで、ダッシュボード２７からの突起部分を少なくすることができる。カメラヘッドに画像処理チップ１１を内蔵すると、カメラヘッドの筐体が大きくなるが、図６のような構成とすることで、カメラヘッドの搭載性向上とドライバの視界確保が可能となる。

また、ウィンドシールド２６近傍のダッシュボード２７上に、無反射素材２８を配置することで、ウィンドシールド２６へのダッシュボード２７の映り込みを防止し、より鮮明な画像を撮影することができる。

図７を参照して、本発明の実施例４に係る車載撮像システムについて説明する。図７は、本実施例の車両及び車載カメラを示す図である。

本実施例では、車両２９としてトラックの例を説明する。本実施例においても、２つのカメラヘッドを、上部カメラヘッド１６と画像処理チップ内蔵下部カメラヘッド２２の縦型配置にしている。

トラック等の大型車は、下部（ダッシュボード）にスペースの余裕がある。そこで、実施例３（図６）のように、ダッシュボード内部に埋め込むようにして、視界の妨げにならないようにする。

また、ダッシュボードには車両の空調システムがある。ダッシュボード上に画像処理チップ１１を内蔵したカメラヘッドを配置することで、空調機構（デフロスタ２１）による冷却が可能となる。

図８を参照して、本発明の実施例５に係る車載撮像システムについて説明する。図８は、本実施例の車両及び車載カメラを示す図である。

本実施例では、車両３０として自動二輪車の例を説明する。本実施例においても、２つのカメラヘッドを、上部カメラヘッド１６と画像処理チップ内蔵下部カメラヘッド２２の縦型配置にしている。

上部カメラヘッド１６は、カウルの前面上部側に配置され、画像処理チップ内蔵下部カメラヘッド２２は、カウルの前面下部側に配置されている。

画像処理チップ内蔵下部カメラヘッド２２をカウルの前面下部側に配置することで、直射日光を避け、走行時の空気流による空冷効果が得易くなる。

図９及び図１０を参照して、本発明の実施例６に係る車載撮像システムについて説明する。図９及び図１０は、いずれも本実施例の車載撮像システムを示す図である。図９は、カメラヘッド２（第１のカメラ）の失陥時の様子を示しており、図１０は、カメラヘッド３（第２のカメラ）の失陥時の様子を示している。

図９及び図１０に示すように、カメラヘッド２（第１のカメラ）及びカメラヘッド３（第２のカメラ）のいずれか一方が失陥した場合、カメラヘッド３（第２のカメラ）は、画像処理チップ１１（視差画像生成部）での視差画像の生成を停止し、失陥していない方のカメラの画像信号を画像認識ＥＣＵ５（画像処理部）へ伝送する。

このような構成とすることで、カメラヘッド２またはカメラヘッド３のいずれか一方が失陥した場合には、図１１Ａに示すような従来の単眼カメラシステムとして使用することができ、車載カメラシステムに冗長性を持たせることができる。

なお、カメラヘッド３（第２のカメラ）は、カメラヘッド２（第１のカメラ）とカメラヘッド３（第２のカメラ）の撮像エリアの共通領域が所定以上ある場合、カメラヘッド２またはカメラヘッド３で撮像される単眼カメラとしての撮像エリアはほぼ同等であるとみなすことができるため、カメラヘッド２またはカメラヘッド３のいずれか一方の画像信号を画像認識ＥＣＵ５（画像処理部）へ伝送するようにしても良い。

一方、カメラヘッド２（第１のカメラ）とカメラヘッド３（第２のカメラ）の撮像エリアの共通領域が所定未満の場合、カメラヘッド２及びカメラヘッド３で撮像される単眼カメラとしての撮像エリアが異なるとみなすことができるため、カメラヘッド２及びカメラヘッド３の両方の画像信号を画像認識ＥＣＵ５（画像処理部）へ伝送する。

このような構成とすることで、カメラヘッド２（第１のカメラ）とカメラヘッド３（第２のカメラ）の撮像エリアの共通領域が所定以上ある場合に、画像認識ＥＣＵ５（画像処理部）の処理負荷を軽減することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１，２９，３０…車両、２，３…カメラヘッド、４，３１，３２…車載撮像システム、５…画像認識ＥＣＵ、６，７…撮像素子、８，１０…シリアライザ、９，１２…デシリアライザ、１１，３３…画像処理チップ、１３…汎用ＳｏＣ、１４，１５，２０…通信線、１６…上部カメラヘッド、１７…下部カメラヘッド、１８，１９…温度センサ、２１…デフロスタ、２２…画像処理チップ内蔵下部カメラヘッド、２３…メイン基板、２４…ヒートスプレッダ（放熱板）、２５…センサ基板、２６…ウィンドシールド、２７…ダッシュボード、２８…無反射素材

Claims (11)

1. 車両に搭載される車載撮像システムであって、
   第１のカメラと、
   前記第１のカメラと異なる位置に設置された第２のカメラと、
   前記第１のカメラおよび前記第２のカメラで取得した画像を処理する画像処理部と、を備え、
   前記第１のカメラと前記第２のカメラとは、第１の通信線によって接続され、
   前記第２のカメラと前記画像処理部とは、第２の通信線によって接続され、
   前記第２のカメラは、前記第１のカメラの画像信号と前記第２のカメラの画像信号とを用いて視差画像を生成し、前記第２の通信線を介して前記画像処理部へ伝送する車載撮像システム。
2. 請求項１に記載の車載撮像システムであって、
   前記第２のカメラは、視差画像を生成する視差画像生成部を有し、
   前記第１のカメラは、前記第１の通信線を介して前記第１のカメラの画像信号を前記第２のカメラに伝送し、
   前記視差画像生成部は、前記第１のカメラの画像信号と前記第２のカメラの画像信号とを用いて前記視差画像を生成し、
   前記第２のカメラは、前記第１のカメラの画像信号と、前記第２のカメラの画像信号と、前記視差画像生成部で生成した前記視差画像と、を前記第２の通信線を介して前記画像処理部へ伝送する車載撮像システム。
3. 請求項１に記載の車載撮像システムであって、
   前記第２のカメラは、前記第１のカメラと高さの異なる位置に搭載される車載撮像システム。
4. 請求項１に記載の車載撮像システムであって、
   前記第２のカメラから前記第１のカメラに電源を供給する車載撮像システム。
5. 請求項１に記載の車載撮像システムであって、
   前記第２のカメラは、温度センサを有し、
   前記温度センサが所定の温度を検知した場合、前記車両の空調機構により前記第２のカメラを冷却または加温する車載撮像システム。
6. 請求項５に記載の車載撮像システムであって、
   前記第１のカメラは、前記温度センサと異なる別の温度センサを有し、
   前記第１のカメラの温度センサの値と前記第２のカメラの温度センサの値との差が、所定の範囲内になるように前記車両の空調機構を制御する車載撮像システム。
7. 請求項１に記載の車載撮像システムであって、
   前記第２のカメラは、視差画像生成機能を備えた半導体を有し、
   前記第１のカメラの画像と前記第２のカメラの画像とでステレオマッチング処理を行い、
   前記半導体によって生成された視差情報を含む距離画像を前記画像処理部へ出力する車載撮像システム。
8. 請求項１に記載の車載撮像システムであって、
   前記車両は、乗用車またはトラックであり、
   前記第２のカメラは、前記車両のダッシュボード上またはダッシュボード内に配置される車載撮像システム。
9. 請求項１に記載の車載撮像システムであって、
   前記車両は、自動二輪車であり、
   前記第１のカメラは、カウルの前面上部側に配置され、
   前記第２のカメラは、前記カウルの前面下部側に配置される車載撮像システム。
10. 請求項２に記載の車載撮像システムであって、
    前記第１のカメラおよび前記第２のカメラのいずれか一方が失陥した場合、
    前記第２のカメラは、前記視差画像生成部での視差画像の生成を停止し、失陥していない方のカメラの画像信号を前記画像処理部へ伝送する車載撮像システム。
11. 請求項２に記載の車載撮像システムであって、
    前記第２のカメラは、前記第１のカメラと前記第２のカメラの撮像エリアの共通領域が所定以上ある場合、前記第１のカメラまたは前記第２のカメラのいずれか一方の画像信号を前記画像処理部へ伝送し、
    前記第１のカメラと前記第２のカメラの撮像エリアの共通領域が所定未満の場合、前記第１のカメラおよび前記第２のカメラの両方の画像信号を前記画像処理部へ伝送する車載撮像システム。

Images