JP5201356B2 - 車載カメラ装置のキャリブレーション支援方法及びキャリブレーション支援装置、並びに車載カメラ装置 - Google Patents

Description

本発明は、車に設置して用いられる車載カメラ装置のキャリブレーションを利用者が簡単に行えるようにするキャリブレーション支援方法及びキャリブレーション支援装置、並びにそれを備えた車載カメラ装置に関する。

従来から駐車時における車両後退動作等を支援するため、車両の後方部等に設置して車両の後方周辺等を撮影し、その撮像画像を車内に設置した表示装置にモニタ表示する車載カメラが知られている。

従来、このような車載カメラのキャリブレーション方法としては、地面に設置されたターゲットバーや基準マーカー等の指標を車載カメラで撮像して表示装置上に表示し、該指標の表示に所定のウィンドウやマーカー等を重ね合わせてカメラの姿勢パラメータや設置情報を算出し、それをもとに画像処理を行って撮像画像を調整して、車載カメラの設置誤差をソフト的に吸収する方法が提案されている（例えば、特許文献１、特許文献２）。

従来技術の、地面に設置されたターゲットバーや基準マーカー等の指標を車載カメラで撮像し、画像処理を行って、車載カメラの設置誤差をソフト的に吸収するキャリブレーション方法は、ターゲットバーや基準マーカー等の指標を必要とすることに加えて、回路規模や処理が増加し、コスト高になるという問題があった。

コストを軽減するためには、車載カメラの設置誤差をソフト的に吸収するキャリブレーション機能を装置に備えることをやめ、利用者が手作業でキャリブレーションを行えばよい。車載カメラの利用を考えると、その設置精度は極端に厳密である必要はなく、利用者が手作業でキャリブレーションを行っても、通常、支障をきたすことはない。手作業でキャリブレーションを行う際の問題は、試行錯誤で行うため、面倒くさく、時間が掛かることである。

本発明は、利用者が面倒くさがることなく、簡単に車載カメラのキャリブレーションを行うことができるキャリブレーション支援方法及びキャリブレーション支援装置、並びに低コストの車載カメラ装置を提供することにある。

本発明は、車載カメラで撮影された、駐車枠やそれに類似の標識を含む路面の画像データを取得し、該画像データからこれを左右反転した反転画像データを生成し、画像データと反転画像データ内の駐車枠やそれに類似の標識をもとに、車載カメラの水平方向の取り付け誤差を評価する評価値を計算し、該評価値を基に、利用者にキャリブレーション操作を通知することを主要な特徴としている。

また、本発明は、車載カメラで撮影された画像の下半分を切り取ることで、駐車枠やそれに類似の標識を含む路面の画像データを取得することを特徴とする。

また、本発明は、画像データを２値化して、それを画像データＡとし、該画像データＡを左右反転して反転画像データを生成して、それを画像データＢとし、画像データＡと画像データＢ内の白領域に着目して評価値を計算することを特徴としている。

また、本発明は、画像データＡと画像データＢとを重ね合わせた画像データＣを生成し、前記画像データＣを用いて、白領域の重複する割合、白領域の位置関係を計算することを特徴としている。

また、本発明は、表示装置及び／または音声出力装置を用いて、利用者にキャリブレーション操作を通知することを特徴としている。

また、本発明は、利用者にキャリブレーション操作を通知するメッセージ情報を複数のパターン、あらかじめ記憶装置に記憶しておき、評価値に基づいて、記憶装置から所望のパターンのメッセージ情報を読み出して通知することを特徴としている。

本発明によれば、利用者が面倒くさがることなく、簡単に、しかも、所望の精度でもって、車載カメラのキャリブレーションを行うことができる。したがって、車載カメラ装置は、その設置誤差をソフト的に吸収する機能を備える必要がなく、低コスト化が達成できる。

本発明の車載カメラ装置の一実施形態の全体構成図である。 図１中の校正支援処理部の一実施例のフローチャートである。 本発明の適用条件を説明する図である。 画像データＡとこれを左右反転した画像データＢの第１の例を示す図である。 画像データＡとこれを左右反転した画像データＢの第２の例を示す図である。 画像データＡとこれを左右反転した画像データＢの第３の例を示す図である。 図４の画像データＡと画像データＢとを重ね合わせた画像データＣを示す図である。 図５の画像データＡと画像データＢとを重ね合わせた画像データＣを示す図である。 図６の画像データＡと画像データＢとを重ね合わせた画像データＣを示す図である。 キャリブレーション操作メッセージの一例を示す図である。 図８に評価値の位置関係を付加した図である。 図９に評価値の位置関係を付加した図である。

図１は、本発明のキャリブレーション支援機能を適用した車載カメラ装置の一実施形態の全体構成図を示す。図１において、撮像装置１０と処理装置２０と記憶装置３０は一般に一つの筐体内に構成され、車の後部等に設置される。表示装置５０は車内の前面部、音声出力装置６０は車内の後部などに設置され、処理装置２０とはケーブル等で接続される。処理装置２０と操作部４０とはケーブルあるいは無線で接続される。操作部４０はナビゲーション装置のリモコンが兼ねてもよい。表示装置５０もナビゲーション装置の表示部が兼ねてもよい。また、音声出力装置は、音響機器のスピーカーが兼ねてもよい。

撮像装置１０は、車の後方等を撮影し、撮像画像データを取得する。具体的には、該撮像装置１０は、広角のレンズ光学系、撮像素子、オートゲインコントロール（ＡＧＣ）回路、アナログ・デジタル変換器などからなる。撮像素子は、ＣＣＤセンサやＣＭＯＳセンサなどで構成され、光学系により集光された光学像を、その光強度に応じて強弱を持った電気信号（アナログ信号）に変換する。撮像素子から出力されたアナログ信号は、ＡＧＣ回路でゲイン調整された後、アナログ・デジタル変換器によりデジタル信号（撮像画像データ）に変換される。一般に撮像素子にはベイヤー配列などの色フィルタが設けられており、撮像装置１０から出力されるデータは、ベイヤー配列などの撮像画像データである。なお、撮像装置１０は、モノクロ撮像画像データを出力する構成でも構わない。

処理装置２０は、ＦＰＧＡやＡＳＩＣ、ＤＳＰなどで構成され、画像処理部２１０、校正支援処理部２２０、及び、これら処理部の動作を制御する制御部２３０などからなる。他に処理装置２０は、処理部２１０、２２０や制御部２３０で使用される作業用メモリとしてのＲＡＭなどを備えているが、図１では省略してある。

画像処理部２１０は、撮像装置１０から出力された撮像画像データについて、ベイヤー補完処理、倍率色収差補正処理、色空間変換処理（ＲＧＢ／ＹＣＣ変換）、ＭＴＦ補正処理、歪曲収差補正処理、ガンマ補正処理等の所定の画像処理を実施する。画像処理部２１０で所定の処理を施された撮像画像データは、ＮＴＳＣ方式の映像信号に変換された後、表示装置５０に表示される。ＮＴＳＣエンコーダは、処理装置２０あるいは表示装置５０のいずれか備えてもよい。画像処理部２１０の構成は、従来と基本的に同様であるので、これ以上の詳細な説明は省略する。

校正（キャリブレーション）支援処理部２２０は、キャリブレーション操作時、撮像装置１０から出力された撮像画像データを入力して、それを左右反転した画像データを生成し、撮像画像データと反転画像データとを比較してカメラの取り付け状態（左右の傾き）を評価する評価値を求め、該評価値に基づき利用者にキャリブレーション操作を通知する。具体的には、撮像画像データとの反転画像データ中の路上の駐車枠などの位置関係を比較して評価値を求める。利用者へのキャリブレーション操作の通知は、表示装置５０及び／又は音声出力装置６０によって行う。この校正支援処理部２２０が本発明の主要な特徴であり、その具体的処理については後述する。

なお、図１では、撮像装置１０から出力された撮像画像データを校正支援処理部２２０に直接入力するとしたが、画像処理部２１０の途中の撮像画像データ（例えば、ベイヤー補完処理後の撮像画像データ等）、あるいは、画像処理部２１０から出力される画像処理後の撮像画像データを入力することでもよい。要は、評価値の演算に用いる路上の駐車枠などの基準となる白線等が認識できればよい。

記憶装置３０は、ＰＲＯＭなどの書き換え可能な不揮発性メモリであり、処理装置２０の処理部２１０、２２０や制御部２３０での処理や制御に必要なプログラム、種々のパラメータ、その他の情報を記憶する。後述するように、記憶装置３０には、校正支援処理部２２０が評価値に基づいて利用者に通知するキャリブレーション操作のメッセージ情報が予め記憶されている。

操作部４０は、利用者が制御部２３０に対して種々の動作を指示するユーザインターフェースである。制御部２３０は、操作部４０からの指示を受けて、校正支援処理部２２０を起動することになる。先に述べたように、車にナビゲーション装置が装備されている場合、そのリモコンが操作部４０を兼ねることができる。

図２は、本発明の主要構成である校正支援処理部（キャリブレーション支援装置）２２０の一実施形態の処理フローチャートを示している。以下、図２に従って校正支援処理部２２０の処理を詳述する。

ここで、図３に示すように、車載カメラは車の中心軸上に取り付けられ、車は該車の中心軸と路上の駐車枠の中心とが略一致するように駐車しているとする。もちろん、駐車枠である必要はなく、車幅線などでもよい。キャリブレーション支援対象は、車載カメラの左右の向きの調整とし、俯角の調整は対象外とする。一般に車載カメラの俯角は、取り付ける高さにも関係し、極端でない限り任意に決めてよいものである。

校正支援処理部２２０は、制御部２３０から起動されると、撮像装置１０が出力する撮像画像データを入力する（ステップ１００１）。先に述べたように、撮像装置１０から出力される撮像画像データを直接入力するかわりに、画像処理部２１０の途中の画像データや画像処理部２１０から出力される画像データを入力することでもよい。

次に、校正支援処理部２２０は、入力した撮像画像データの下半分を切り出す。すなわち、駐車枠が含まれている路面画像部分を切り出す（ステップ１００２）。そして、この切り出した路面画像部分を２値化し、画像データＡとする（ステップ１００３）。画像データＡは、基本的に駐車枠の領域は白、それ以外の領域は黒で表わされる。なお、車載のカメラが取り付けられている高さや俯角によっては、ステップ１００２を省略して、入力した撮像画像データを直接２値化し、それを画像データＡとすることでもよい。

次に、校正支援処理部２２０は、駐車枠を含む路面の撮像画像の２値化画像である画像データＡを左右反転した反転画像データを生成し、それを画像データＢとする（ステップ１００４）。この処理は、単純な座標変換で実現可能であるため、詳しい説明は省略する。

図４乃至図６は画像データＡとこれを左右反転した画像データＢの一例を模式的に示した図である。ここで、図４は車載カメラの水平方向の向きがほぼ正常である場合の例である。また、図５は車載カメラが左方向を向いている場合の例、図６は逆に右方向を向いている場合の例である。

校正支援処理部２２０は、画像データＡとそれを左右反転した画像データＢとを重ね合わせて、画像データＣを生成する（ステップ１００５）。具体的には、例えば、画像データＡの白領域（駐車枠領域）には「２」を、画像データＢの白領域には「１」を割り当て、画像データＡと画像データＢの各画素ごとに足し算を行い、画像データＣを生成する。画像データＡと画像データＢの黒領域は「０」とする。したがって、画像データＣは、全ての画素が０〜３の値で構成されることになる。

なお、逆に画像データＢの白領域に「２」を割り当て、画像データＡの白領域に「１」を割り当てることでよい。また、割り当てる値は「２」や「１」でなくてもよい。すなわち、画像データＡと画像データＢの白領域が区別できればよく、値は何でもよい。同様に、黒領域も「０」でなくてもよい。

図７は、図４（ａ），（ｂ）の画像データＡと画像データＢとを重ねわせた場合の画像データＣを模式的に示したものである。ここで、ａとａ’は画像データＡの白領域に対応し、ｂとｂ’は画像データＢの白領域に対応する。画像データＡと画像データＢの白領域の重なる部分の各画素の画素値は「３」であり、重ならない部分は、画像データＡの白領域に対応する各画素の画素値は「２」、画像データＢの白領域に対応する各画素の画素値は「１」である。

図８は、図５（ａ），（ｂ）の画像データＡと画像データＢとを重ね合わせた場合の画像データＣを模式的に示したものである。ここでも、ａとａ’は画像データＡの白領域に対応し、ｂとｂ’は画像データＢの白領域に対応する。図８では、画像データＡと画像データＢの白領域の重なる部分はなく、画像データＡの白領域ａ，ａ’の各画素の画素値は「２」、画像データＢの白領域ｂ，ｂ’の各画素の画素値は「１」である。

図９は、図６（ａ），（ｂ）の画像データＡと画像データＢとを重ね合わせた場合の画像データＣを模式的に示したものである。ここでも、ａとａ’は画像データＡの白領域に対応し、ｂとｂ’は画素データＢの白領域に対応する。先の図８との相違は基本的に、ａとａ’と、ｂとｂ’との位置関係が逆になっているだけである。すなわち、画像データＡと画像データＢとを重ね合わせ、両者の白領域（駐車枠領域）の位置関係を比較することで、車載カメラが左右いずれの方向を向いているか、さらにどの程度向いているか、判別することができる。

校正支援処理部２２０は、画像データＡと画像データＢとを重ね合わせた画像データＣを用いて、車載カメラの取り付け誤差（車載カメラが左右いずれの方向を向いているか、どの程度向いているか等）を評価する評価値で計算し（ステップ１００６）、該評価値に基づいてキャリブレーション・パターンを判別する（ステップ１００７）。ここでは、キャリブレーション・パターンは、図１０に示す３種類とする。図１０は単なる一例であり、どの程度回転させるかなど、さらに細かく分けることが可能である。以下に、ステップ１００６、１００７の一実施形態を説明する。

校正支援処理部２２０では、まず、画像データＣを用いて、評価値Ａとして、
Ａ＝画素値３の画素の総数／（画素値２の画素の総数＋画素値３の画素の総数）
を計算する。そして、評価値Ａが所定の閾値（パーセント）以上の場合、パターン１と判別する。すなわち、車載カメラの向きは正常（取り付け完了）とする。図７は、このケースを示している。

パターン１でない場合、次に校正支援処理部２２０では、評価値Ｂ，Ｃとして
Ｂ＝画素値２の画素のＸ座標の平均値
Ｃ＝画素値１の画素のＸ座標の平均値
を計算する。具体的には、画像パターンＣについて、画素値が２の全画素の平均座標を求め（重心）、そのＸ座標値を評価値Ｂとする。同様に、画像パターンＣについて、画素値が１の全画素の平均座標を求め（重心）、そのＸ座標値を評価値Ｃとする。座標系の原点は、例えば、画面の左上隅、中央などのいずれでもよい。

そして、この評価値Ｂと評価値Ｃの大小関係を比較して、Ｂ＞Ｃであれば、パターン２と判別する。すなわち、車載カメラは左の方向を向いていると判別する。図８はこのケースを示している。また、図１１は、この場合の評価値ＢとＣの位置関係を示したものである。

逆に、Ｃ＞Ｂであれば、パターン３と判別する。すなわち、車載カメラは右の方向を向いていると判別する。図９はこのケースを示している。また、図１２は、この場合の評価値ＢとＣの位置関係を示したものである。

図８及び図９は、分かりやすいように、傾きが大きく、画像データＡとその左右反転の画像データＢの白領域が全く重ならない場合を示したが、傾きが小さく、両者の白領域が一部重なる場合でも、同様にして評価値ＢとＣを求め、その大小関係を比較することで、傾いている方向を判別することができる。また、評価値ＢとＣの差を求めれば、どの程度傾いてるかも判別することができる。

なお、評価値Ａ，Ｂ，Ｃは、画面の左や右半分に着目して計算することでもよい。車載カメラの左右の傾きが小さい場合、これでも同様の作用効果を得ることができる。

校正支援処理部２２０は、判別されたパターンをもとに、利用者にキャリブレーションの操作を通知する（ステップ１００８）。通知は、表示装置５０や音声出力装置６０を用いて行う。具体的には、例えば、図１０のようなテーブルをあらかじめ記憶装置３０に用意しておき、パターン１，２，３をもとに、対応するメッセージを読み出し、表示装置５０に表示して通知するか、音声出力装置６０から音声で通知する。先にのべたように、図１０は単なる一例であり、さらに細かく分けることが可能である。例えば、パターン２は、（１）カメラが左に大きく向いています、右に大きく回転してください、（２）カメラが左に少し向いています、右に若干回転してください、などに細分することができる。これは、評価値ＢとＣの差を求めることで、容易に可能である。

なお、校正支援処理部２２０は、判別したパターンを制御部２３０に送り、制御部２３０が記憶装置３０から該当するメッセージを読み出して表示装置５０や音声装置６０に出力することでもよい。

以上、本発明の一実施形態について説明したが、もちろん、本発明は、図１の構成や図２の処理に限定されるものではなく、後述の特許請求の範囲の記載の範囲内において種々の変更が可能である。

１０ 撮像装置
２０ 処理装置
３０ 記憶装置
４０ 操作部
５０ 表示装置
６０ 音声出力装置
２１０ 画像処理部
２２０ 校正支援処理部
２３０ 制御部

特開２００１−２４５３２６号公報 特開２００４−２００８１９号公報

Claims (13)

1. 利用者による車載カメラのキャリブレーションを支援するキャリブレーション支援方法であって、
   車載カメラで撮影された、駐車枠やそれに類似の標識を含む路面の画像データを取得し、
   前記画像データから、該画像データを左右反転した反転画像データを生成し、
   前記画像データと前記反転画像データ内の駐車枠やそれに類似の標識をもとに、車載カメラの水平方向の取り付け誤差を評価する評価値を計算し、
   前記評価値を基に、利用者にキャリブレーション操作を通知する、
   ことを特徴とするキャリブレーション支援方法。
2. 車載カメラで撮影された画像の下半分を切り取ることで、駐車枠やそれに類似の標識を含む路面の画像データを取得することを特徴とする請求項１に記載のキャリブレーション支援方法。
3. 前記画像データを２値化して、それを画像データＡとし、
   前記画像データＡを左右反転して反転画像データを生成して、それを画像データＢとし、
   前記画像データＡと前記画像データＢ内の白領域に着目して評価値を計算する、
   ことを特徴とする請求項１又は２に記載のキャリブレーション支援方法。
4. 前記画像データＡと前記画像データＢとを重ね合わせた画像データＣを生成し、
   前記画像データＣを用いて、白領域の重複する割合、白領域の位置関係を計算する、
   ことを特徴とする請求項３に記載のキャリブレーション支援方法。
5. 表示装置及び／または音声出力装置を用いて、利用者にキャリブレーション操作を通知する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載のキャリブレーション支援方法。
6. 利用者にキャリブレーション操作を通知するメッセージ情報を複数のパターン、あらかじめ記憶手段に記憶しておき、評価値に基づいて、前記記憶手段から所望のパターンのメッセージ情報を読み出して通知する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載のキャリブレーション支援方法。
7. 利用者による車載カメラのキャリブレーションを支援するキャリブレーション支援装置であって、
   車載カメラで撮影された、駐車枠やそれに類似の標識を含む路面の画像データを取得する手段と、
   前記画像データから、該画像データを左右反転した反転画像データを生成する手段と、
   前記画像データと前記反転画像データ内の駐車枠やそれに類似の標識をもとに、車載カメラの水平方向の取り付け誤差を評価する評価値を計算する手段と、
   前記評価値を基に、利用者にキャリブレーション操作を通知する手段と、
   を有することを特徴とするキャリブレーション支援装置。
8. 前記画像データを取得する手段は、車載カメラで撮影された画像の下半分を切り取ることで、駐車枠やそれに類似の標識を含む路面の画像データを取得することを特徴とする請求項７に記載のキャリブレーション支援装置。
9. 前記画像データを取得する手段は、前記画像データを２値化して、それを画像データＡとし、
   前記反転画像データを生成する手段は、前記画像データＡを左右反転して反転画像データを生成して、それを画像データＢとし、
   前記評価値を計算する手段は、前記画像データＡと前記画像データＢ内の白領域に着目して評価値を計算する、
   ことを特徴とする請求項７又は８に記載のキャリブレーション支援装置。
10. 前記画像データＡと前記画像データＢとを重ね合わせた画像データＣを生成する手段をさらに有し、
    前記評価値を計算する手段は、前記画像データＣを用いて、白領域の重複する割合、白領域の位置関係を計算する、
    ことを特徴とする請求項９に記載のキャリブレーション支援装置。
11. 前記利用者にキャリブレーション操作を通知する手段は、表示装置及び／または音声出力装置を用いて通知する、
    ことを特徴とする請求項７乃至１０のいずれか１項に記載のキャリブレーション支援装置。
12. 利用者にキャリブレーション操作を通知するメッセージ情報を複数のパターン、あらかじめ記憶した記憶手段を有し、
    前記利用者にキャリブレーション操作を通知する手段は、評価値に基づいて、前記記憶手段から所望のパターンのメッセージ情報を読み出して通知する、
    ことを特徴とする請求項７乃至１１のいずれか１項に記載のキャリブレーション支援装置。
13. 車に取り付け、車の周囲を撮影し、撮影した画像を処理し、表示装置に表示する車載カメラ装置であって、
    請求項７乃至１２のいずれか１項に記載のキャリブレーション支援装置を備えていることを特徴とする車載カメラ装置。

Images