JP6975003B2 - 周辺監視装置およびその校正方法 - Google Patents

Description

本発明は、車両のフロントガラスを介して画像を撮影する複数の撮像装置から取得した複数の画像に基づいて車両の周辺を監視する周辺監視装置およびその校正方法に関する。

ステレオカメラ等の複数の撮像装置を車両のフロントガラスの内側に設置し、フロントガラスを介して車両の周辺を撮影した複数の画像に基づいて、車両の周辺監視を行う技術が知られている。周辺監視を行う際には、ステレオカメラによって撮影された１対の画像について視差が算出される。

ステレオカメラ等の撮像装置で撮影した画像について、光学的な歪みが発生することがあり、周辺監視装置が算出する視差のずれの原因となる。光学的な歪みとしては、例えば、撮像装置のレンズ歪みや、フロントガラスの歪み等を挙げることができる。

特許文献１には、ステレオカメラの前方に格子状のチャートボードを設置して、フロントガラスの歪みを補正する技術が記載されている。このチャートボードには、格子点と、ステレオカメラのそれぞれのカメラに対応する２つのマーカが描かれており、２つのマーカを用いてステレオカメラに対するチャートボードの位置合わせが行われる。そして、チャートボードをステレオカメラによって撮影して各格子点の座標を求める。記憶部には、各格子点の座標を補正するための数種類のデータテーブルが記憶されており、撮影した画像の各格子点の座標に対して１つまたは複数のデータテーブルを組み合わせて用いることによって、フロントガラスの歪み補正を行う。

特開２０１７−６２１９８号公報

特許文献１では、フロントガラスの歪み補正を行うために、ステレオカメラを用いてその前方に設置された格子状のチャートボードを撮影する必要がある。歪み補正の精度を確保するためには、２つのマーカを用いて、ステレオカメラに対するチャートボードの位置合わせを高精度に行う必要がある。

上記の実情に鑑み、本発明は、特許文献１のチャートボードのような校正用の用具を用いることなく周辺監視装置を校正する技術を提供することを目的とする。

本発明は、車両のフロントガラスを介して画像を撮影する複数の撮像装置から取得した複数の画像に基づいて車両の周辺を監視する周辺監視装置を提供する。この周辺監視装置は、前記複数の撮像装置がそれぞれ撮影した複数の画像を取得する画像取得部と、前記フロントガラスの光学的な歪み分布に基づいて前記複数の画像を補正する歪み補正部とを備える。

本発明は、歪み補正部は、フロントガラスの光学的な歪み分布に基づいて複数の画像を補正する。このため、校正用の用具を用いて、その設置する位置や向きを厳密に調整した上で周辺監視装置の校正を行う必要がない。

また、本発明は、車両のフロントガラスを介して画像を撮影する複数の撮像装置から取得した複数の画像に基づいて車両の周辺を監視する周辺監視装置について、その校正方法を提供する。この校正方法は、前記複数の撮像装置がそれぞれ撮影した複数の画像を取得する画像取得ステップと、前記フロントガラスの光学的な歪み分布に基づいて前記複数の画像を補正する歪み補正ステップとを含む。

実施形態に係る周辺監視装置を示すブロック図。 ガラス歪み分布の一例を示す図。 補正パラメータ算出処理のフローチャート。 周辺監視装置が実行する校正処理および対象物検出処理のフローチャート。

図１に示すように、本実施形態に係る周辺監視装置１０は、画像取得部１００と、記憶部１１０と、補正パラメータ算出部１２０と、歪み補正部１３０と、視差算出部１４０と、対象物検出部１５０とを備えている。周辺監視装置１０は、Ａ／Ｄ変換回路、Ｉ／Ｏ、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子制御ユニット（ＥＣＵ）であり、ＣＰＵは、予め格納されたプログラムを実行することによって、上記の各部の機能を実現する。ＣＰＵに替えて、またはＣＰＵとともに、デジタル処理回路を書き込んだＦＰＧＡ(Field-Programmable Gate Array)等を備えていてもよい。

撮像装置２１、２２から出力される１対の画像データは、デジタル信号に変換されて、周辺監視装置１０のＣＰＵに入力される。周辺監視装置１０は、入力された信号に基づいて視差を算出して画像に撮影された対象物を検出する。周辺監視装置１０は、報知装置３１、表示装置３２、運転制御装置３３等の出力装置３０に画像データや制御信号を出力してもよい。

撮像装置２１，２２は、ＣＣＤやＣＭＯＳセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラである。撮像装置２１、２２は、車両のルームミラーの背後に、車幅方向において所定の基線長で取り付けられている。撮像装置２１、２２は、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。撮像装置２１及び撮像装置２２は、互いに同期が取れており、同一タイミングで周辺環境を撮影する。撮像装置２１から基準画像Ｔｏが得られ、撮像装置２２から参照画像Ｔｃが得られて、一対のデジタル画像Ｔｏ，Ｔｃは、画像取得部１００へ出力される。

画像取得部１００は、１対の撮像装置２１、２２が撮影した画像を取得し、これによって対象物を異なる位置から撮影した複数の画像を取得することができる。もちろん、画像取得部１００が取得する一対のデジタル画像は、Ａ／Ｄ変換回路により、撮像装置２１，２２から入力された一対のアナログから、例えば所定の輝度階調（例えば、２５６階調のグレースケール）で変換されたものであってもよい。画像データは、例えば、画像の左下隅を原点として、水平方向をｘ軸、垂直方向をｙ軸とするｘ−ｙ座標系で表現される。

記憶部１１０には、撮像装置２１，２２のレンズ歪み、画像取得部１００が取得した画像、視差算出部１４０が算出した視差値等に関するデータが必要に応じて記憶される。記憶部１１０には、さらに、フロントガラスの光学的な歪み分布（以下、ガラス歪み分布と省略する場合がある）、周辺監視装置１０の校正処理に用いる補正パラメータ等が記憶されている。

フロントガラスの形状（例えば、フロントガラスの厚みや曲率等）は、車種によって異なるため、例えば、記憶部１１０には、周辺監視装置１０を搭載した車両の車種に対応するガラス歪み分布が記憶されていてもよい。または、周辺監視装置１０には、車種ごとにガラス歪み分布が記憶されており、車両に搭載する際に、外部からの車種の入力を受けて、車種を選択できるようにしてもよい。または、周辺監視装置１０を搭載した車両ごとに、個別にガラス歪み分布が記憶されていてもよい。ガラス歪み分布は、例えば、画像データの座標系に対応させて、画像上のそれぞれの画素領域の位置（ｘ、ｙ）に対応するガラス歪み量Ｂとして記憶されてもよい。また、ガラス歪み量は、ｘ軸方向とｙ軸方向のそれぞれの歪み量を表すものであってもよい。

ガラス歪み分布は、予めステレオカメラ等の撮像装置を用いてフロントガラスを介して撮影した複数の画像に基づいて算出されるものであってもよい。この場合、撮影条件を変更して数回撮影を行って、撮影条件ごとに得られたガラス歪み分布について平均する等の統計処理を行ってもよい。また、実際に撮影を行うことなく、フロントガラスの厚みや曲率等のフロントガラスの形状や光学特性を表す数値に基づいてガラス歪み分布を算出することもできる。ガラス歪み分布は、周辺監視装置１０を搭載する車両の車種ごとに算出されてもよいし、個別の車両ごとに算出されてもよい。

ガラス歪み分布は、例えば図２に示すように、画像データの画像領域１におけるピクセル単位のずれ量の分布として表すことができる。画像領域１に含まれる画素領域は、ピクセル単位で表されるずれ量によって領域Ａ１〜Ａ５に分割することができる。領域Ａ１〜Ａ５のずれ量の大きさをそれぞれＢ１〜Ｂ５とすると、Ｂ１＜Ｂ２＜Ｂ３＜Ｂ４＜Ｂ５である。記憶部１１０は、例えば、領域Ａ１〜Ａ５に含まれる画素領域の位置座標に対して、その画素領域が属する領域のずれ量Ｂ１〜Ｂ５を対応付けたテーブルをガラス歪み分布として記憶してもよい。

図２に示すように、画像領域１のガラス歪み分布における歪み量は、画像領域１の中央ほど小さく、周縁に向かって大きくなっている。これは、撮像装置の位置により近い領域ほど、歪み量が小さくなるためである。また、画像領域１の横方向の周縁に位置する領域Ａ３〜Ａ５については、画像領域１の上方から下方に向かうに従って、ずれ量が大きくなっている。これは、一般に、車両の上方（屋根側）下方に向かうほど車両の前方に突き出しているためである。

補正パラメータ算出部１２０は、撮像装置２１，２２のレンズ歪み、および、記憶部１１０に記憶されたガラス歪み分布を読み出し、補正パラメータを算出する。撮像装置２１，２２のレンズ歪みは、例えば、画素領域の座標（ｘ、ｙ）に対応するレンズ歪み量Ｌとして記憶部１１０に記憶されていてもよい。この場合、補正パラメータ算出部１２０は、座標（ｘ、ｙ）に位置する画素領域について、レンズ歪み量Ｌとガラス歪み量Ｂとを加算した全歪み量（Ｌ＋Ｂ）を算出し、歪み量に応じて画像データを補正可能な補正パラメータを算出してもよい。具体的には、例えば、補正パラメータ算出部１２０は、画像データ上において座標（ｘ，ｙ）で表される画素領域の位置を全歪み量（Ｌ＋Ｂ）に基づいて画像シフトさせる補正パラメータを算出してもよい。または、撮像装置２１，２２のレンズ歪みは、レンズ歪みを補正するレンズ歪み補正パラメータとして記憶部１１０に記憶されていてもよい。この場合、補正パラメータ算出部１２０は、ガラス歪み分布に基づいてフロントガラスの歪みを補正するためのガラス歪み補正パラメータを算出し、レンズ歪み補正パラメータとガラス歪み補正パラメータとを合成する等によって、補正パラメータを算出してもよい。

なお、補正パラメータ算出部１２０による補正パラメータの算出は、製品出荷前のみに実行されるものであってもよいし、製品出荷後に定期的に実行されるものであってもよい。補正パラメータ算出部１２０によって算出された補正パラメータは、記憶部１１０に記憶される。

歪み補正部１３０、視差算出部１４０、対象物検出部１５０は、周辺監視装置１０が車両に搭載された後、周期的に行われる車両の周辺監視に関わる処理を実行する。

歪み補正部１３０は、記憶部１１０に記憶された補正パラメータを読み出して、画像取得部１００が変換した画像データの歪み補正を行う。例えば、歪み補正部１３０は、補正パラメータを用いて画像データの画素領域の位置をシフトさせて、補正後の画像データを作成し、記憶部１１０に記憶させてもよい。

視差算出部１４０は、歪み補正部１３０によって補正された補正後の画像データに基づいて、視差を算出する。視差は、補正後の画像をステレオマッチング処理等の従来公知の方法によって画像処理することで算出できる。より具体的には、例えば、１対の画像について対応点（対応付けられる特徴点）を探索し、対応点ごとに視差を算出することができる。視差算出部１４０によって算出された視差は、記憶部１１０に記憶されてもよい。

対象物検出部１５０は、視差算出部１４０によって算出された対応点ごとの視差に基づいて、対象物を検出し、撮像装置２１，２２から対象物までの距離を算出する。対象物検出部１５０は、対象物に含まれる対応点の視差の大きさや経時変化に基づいて、対象物を識別してもよい。周辺監視装置１０は、歪み補正部１３０によって補正された補正後の画像データや、視差算出部１４０によって算出された視差データ、対象物検出部１５０によって検出された対象物の距離や種類についてのデータ、または、これらのデータに基づく制御信号等を出力装置３０に出力してもよい。

図３に、車両の製品出荷前に周辺監視装置１０によって実施される補正パラメータ算出処理（ステップＳ１０１〜ステップＳ１０４）のフローチャートを示す。まず、補正パラメータ算出部１２０は、レンズ歪み取得ステップ（ステップＳ１０１）を実行し、撮像装置２１，２２に記憶されたレンズ歪み補正パラメータを取得する。

次に、補正パラメータ算出部１２０は、ガラス歪み分布取得ステップ（ステップＳ１０２）を実行し、記憶部１１０からガラス歪み分布を読み出す。

次に、補正パラメータ算出部１２０は、補正パラメータ算出ステップ（ステップＳ１０３）を実行し、レンズ歪み補正パラメータと、ガラス歪み分布とを用いて、レンズ歪みとガラス歪みの双方を補正可能な補正パラメータを算出する。算出された補正パラメータは、記憶部１１０に記憶されて（ステップＳ１０４）、処理を終了する。

図４に、周辺監視装置１０の校正方法に係る校正処理（ステップＳ２０１〜Ｓ２０３）と、周辺監視装置１０が行う対象物検出処理（ステップＳ２０４、Ｓ２０５）のフローチャートを示す。この校正処理は、対象物検出処理が実行される度に実行される。

まず、画像取得部１００は、画像取得ステップ（ステップＳ２０１）を実行し、撮像装置２１，２２が取得した１対の画像を取得して、デジタルデータに変換して、記憶部１１０に記憶させる。

次に、歪み補正部１３０は、歪み補正ステップ（ステップＳ２０２，Ｓ２０３）を実行する。具体的には、歪み補正部１３０は、記憶部１１０から補正パラメータと画像データとを読み出して、補正パラメータを用いて画像シフト処理等によって画像データを補正する。これによって、フロントガラスの光学的な歪み分布に基づいて画像データを補正することができる。補正後の画像データは、記憶部１１０に記憶される。

次に、視差算出部１４０は、視差算出ステップ（ステップＳ２０４）を実行し、歪み補正部１３０によって補正された補正後の画像データに基づいて、視差を算出する。例えば、視差算出部１４０は、例えば、ステレオマッチング処理を行って、１対の画像データについて対応点を探索し、対応点ごとに視差を算出する。視差算出部１４０によって算出された視差は、記憶部１１０に記憶されてもよい。

次に、対象物検出部１５０は、対象物検出ステップ（ステップＳ２０５）を実行し、視差算出部１４０によって算出された対応点ごとの視差に基づいて、対象物を検出し、処理を終了する。なお、対象物検出ステップでは、対象物に含まれる対応点の視差の大きさや経時変化に基づいて、対象物を識別し、その距離を算出してもよい。また、実施形態に係る周辺監視方法では、さらに、上記の検出処理および対象物検出処理において得られた各種データ、および、これらのデータに基づく制御信号等を出力装置３０に出力してもよい。

以上説明した本実施形態によれば、以下の効果を奏する。

周辺監視装置１０では、歪み補正部１３０は、フロントガラスの光学的な歪み分布から算出された補正パラメータに基づいて複数の画像を補正する。このため、チャートボード校正用の用具を用いて、その設置する位置や向きを厳密に調整した上で周辺監視装置１０の校正を行う必要がない。

なお、上記の実施例では、フロントガラスの光学的な歪み分布であるガラス歪み分布は、補正パラメータ算出処理前に予め記憶部１１０に記憶されているものとして説明したが、これに限定されない。周辺監視装置１０は、フロントガラスの形状等に基づいてガラス歪み分布を算出する歪み算出部を備えていてもよい。もしくは、補正パラメータ算出部１２０が、歪み算出部と同様の処理を実行してもよい。例えば、補正パラメータ算出部１２０は、予めステレオカメラ等の撮像装置を用いてフロントガラスを介して撮影した複数の画像と、レンズ歪み補正パラメータとの双方に基づいて、補正パラメータを算出してもよい。

また、上記の実施形態では、撮像装置と、報知装置、表示装置、運転制御装置等の出力装置とを含まない周辺監視装置を例示して説明したが、これに限定されない。周辺監視装置は上記の装置等を含んでいてもよく、さらには、一体化されていてもよい。

１０…周辺監視装置、２１，２２…撮像装置、１００…画像取得部、１３０…歪み補正部

Claims (4)

1. 車両のフロントガラスを介して画像を撮影する複数の撮像装置（２１，２２）から取得した複数の画像に基づいて車両の周辺を監視する周辺監視装置（１０）であって、
   前記複数の撮像装置がそれぞれ撮影した複数の画像を取得する画像取得部（１００）と、
   フロントガラスの形状または光学特性を表す数値に基づいて算出された前記車両の車種に対応する前記フロントガラスの光学的な歪み分布を記憶する記憶部と、
   前記記憶部から読み出した前記フロントガラスの光学的な歪み分布に基づいて前記複数の画像を補正する歪み補正部（１３０）とを備える周辺監視装置（１０）。
2. 前記フロントガラスの光学的な歪み分布は、前記複数の画像上のそれぞれの画素領域の位置に対応する歪み量として表される請求項１に記載の周辺監視装置。
3. 前記車両の車種に対応するフロントガラスの形状または光学特性を表す数値に基づいて前記フロントガラスの光学的な歪み分布を算出する歪み算出部をさらに備える請求項１または２に記載の周辺監視装置。
4. 車両のフロントガラスを介して画像を撮影する複数の撮像装置から取得した複数の画像に基づいて車両の周辺を監視する周辺監視装置の校正方法であって、
   前記複数の撮像装置がそれぞれ撮影した複数の画像を取得する画像取得ステップと、
   予め記憶された、フロントガラスの形状または光学特性を表す数値に基づいて算出された前記車両の車種に対応する前記フロントガラスの光学的な歪み分布を読み出し、前記フロントガラスの光学的な歪み分布に基づいて前記複数の画像を補正する歪み補正ステップとを含む、周辺監視装置の校正方法。

Images