JP4803449B2 - 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 - Google Patents

Description

本発明は、車両に取り付けられた車載カメラを校正する車載カメラの校正装置及び校正方法に関する。

近年、車両の運転者が車両の側方や後方などの情景を車内のモニタ装置を介して視認できるようにカメラが搭載された車両が増化している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、このような画像処理を伴う画像を撮影するカメラの車両への搭載に際しては、比較的高い組み付け精度が要求される。そこで、車両へのカメラの搭載精度を向上するための種々の取り組みがなされている。

下記に出典を示す特許文献１には、そのようなカメラを校正する技術が記載されている。これは、調整ボタンの操作により、ディスプレイ画面上で、カメラにより撮影された校正指標と、画面上に重畳された調整用ウィンドゥとを一致させて校正を行うものである。調整用ウィンドゥは、三次元直交座標の３軸に対応するパン・チルト・ロールに対応して３種設けられる。順次、これらの調整用ウィンドゥ内に校正指標が収まるように調整ボタンを操作することによって、カメラパラメータが変更される。３軸に対する調整が完了すると、変更されたカメラパラメータが、ＥＥＰＲＯＭに書き込まれる。

特開２００１−２４５３２６号公報（第１６、３４〜４４段落、図３、図６等参照）

特許文献１に記載された技術は、簡単な構成でカメラの校正が可能な優れたものである。しかし、ディスプレイ画面を見ながら手動で調整ボタンを操作する必要があるため、校正に時間を要する。また、カメラの回転に対応して３軸に対する調整が必要なため、校正に時間を要する。また、手動による校正では作業者によって校正精度が安定せず、校正が不十分な製品が後工程に送られる可能性もある。

本願発明は、このような課題に鑑みて創案されたもので、簡単な構成で、短時間で精度良く車載カメラの校正が可能な車載カメラの校正装置を提供することを目的とする。

上記目的を達成するため、車両に取り付けられた車載カメラを校正するための本発明に係る車載カメラの校正装置は以下の構成、
少なくとも異なる２箇所に配置された校正指標を視界内に含む前記車載カメラの撮影画像を受け取る画像受け取り部と、
前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
基準座標系における前記校正指標の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た前記校正点及び前記校正点を通る直線に関するベクトルを示す第１行列を演算する第１行列演算部と、
前記校正点特定部により特定された前記撮影画像上の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た当該校正点及び当該校正点を通る直線に関するベクトルを示す第２行列を演算する第２行列演算部と、
前記第１行列及び前記第２行列に基づいて、前記基準座標系における前記車載カメラの回転状態を示す回転行列を演算する第３行列演算部と、を有する。

基準座標系（一般にワールド座標系）におけるカメラの回転状態を表す回転行列は、回転前後の２つの画像から求めることが可能である。しかし、ある回転状態で車両に取り付けられた車載カメラでは、回転状態が固定されているので、回転前後の画像を扱うことができない。これに対し、本構成では、基準座標系における校正指標の校正点の座標に基づいて第１行列が演算される。この第１行列は、車載カメラが回転を伴わず並進のみをした場合のカメラ状態を示すものである。一方、第２行列は、車両に取り付けられ、何らかの回転状態を有する車載カメラのカメラ状態を示すものである。第１行列を回転前、第２行列を回転後と考えれば、第１行列と第２行列とに基づいて、基準座標系における車載カメラの回転状態を示す回転行列を得ることができる。
第１行列は、校正指標の配置から幾何学的計算によって求めることが可能である。また、第２行列は、車載カメラの撮影画像を画像処理することによって求めることが可能である。従って、本構成によれば、ディスプレイ画面を見ながら手動で調整ボタンを操作することなく、自動的に車載カメラの回転状態を示す回転行列を得ることができる。その結果、簡単な構成で、短時間で精度良く車載カメラの校正が可能な車載カメラの校正装置を提供することができる。

本発明に係る車載カメラの校正装置は、さらに、前記回転行列を、三次元空間上で互いに直交する３軸に対する３つの回転角度成分に分解する回転角演算部を有することができる。

回転行列は、そのままでは三次元直交座標のそれぞれの軸に対する回転量を表していない。回転角演算部において、それぞれの軸に対する回転角度成分に分解されると車載カメラの投影パラメータに良好に反映させることができる。

また、本発明に係る車載カメラの校正装置は、上記構成に加え、前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有することができる。前記校正点特定部は、前記領域において前記校正点を特定する。

領域設定部によって校正点が含まれる領域が設定されるので、校正点特定部は、少ない演算量で撮影画像中から校正点を特定することができる。また、精度良く校正点を特定することができる。

また、本発明に係る車載カメラの校正装置は、上記構成に加え、
前記回転行列に基づいて、前記車載カメラの投影パラメータを演算する投影パラメータ演算部と、
前記基準座標系における前記校正点の座標を、前記投影パラメータを用いて、前記撮影画像上の座標に変換する座標変換部と、
座標変換された前記校正点の座標と、前記車載カメラの回転に対する校正誤差の許容値とに基づいて、前記撮影画像上における前記校正誤差の限界領域を演算する限界領域演算部と、を有することができる。

この構成によれば、演算された限界領域に基づいて車載カメラの校正結果の精度を検証することができる。手動による校正では作業者によって校正精度が安定せず、校正が不十分な製品が後工程に送られる可能性もあった。しかし、本構成によれば、定量的に校正結果の精度を検証することができるので校正精度が安定する。

さらに、本発明に係る車載カメラの校正装置は、前記校正点特定部により特定された前記校正点の中心座標と、前記限界領域との強調表示を前記撮影画像に重畳する重畳部を有することができる。

この構成によれば、撮影画像上で特定された校正点と、限界領域とが撮影画像に重畳されるので、容易に車載カメラの校正結果を検証することができる。

また、本発明に係る車載カメラの校正装置は、前記撮影画像上において、前記校正点特定部により特定された前記校正点の中心座標が、前記限界領域内に存在するか否かを判定する判定部を有することができる。

この構成によれば、撮影画像上で特定された校正点が限界領域内に存在するか否かが、正確に判定される。作業者による視認のみで判定する場合には、限界領域ぎりぎりの場合などに、作業者ごとに判定のばらつきが生じることがある。しかし、本構成によれば再現性の高い正確な判定が可能となる。

さらに、本発明に係る車載カメラの校正装置は、前記判定部による判定結果を少なくとも視覚的又は聴覚的に報知する報知部を有することができる。

この構成によれば、判定結果が確実に作業者に報知されるので、作業者は校正のやり直しや、車載カメラの再取り付け、交換などの対策を迅速に実施することができる。

また、本発明に係る車載カメラの校正装置は、前記校正指標の校正点が、平面上の２直線の交点として表されるものとすることができる。

平面上の直線は曲線に比べて正確に検出可能である。また、２本の直線が正確に検出できれば２直線の交点も正確に検出できる。校正指標の校正点が正確に検出できるので、車載カメラを精度よく校正することができる。

また、本発明に係る車載カメラの校正装置は、前記校正指標が、床面及び壁面を含む任意の面に配置されるものとすることができる。

校正指標は、任意の面に配置可能であるので、生産工場や修理工場の広さなどの各工場固有の条件に拘わらず、車載カメラを校正することができる。

また、車両に取り付けられた車載カメラを校正するための本発明に係る車載カメラの校正方法は以下の各工程、
前記車載カメラの視界に含んで、少なくとも異なる２箇所に校正指標を配置する校正指標配置工程と、
基準座標系における前記校正指標の中のそれぞれの校正点の座標に基づいて、前記車載カメラの光学中心から見た前記校正点及び前記校正点を通る直線に関するベクトルを示す第１行列を演算する第１行列演算工程と、
前記校正指標を視界内に含む前記車載カメラの撮影画像を受け取る画像受け取り工程と、
前記撮影画像において、それぞれの前記校正点を特定する校正点特定工程と、
前記撮影画像上において特定された前記校正点の座標に基づいて、前記車載カメラの光学中心から見た当該校正点及び当該校正点を通る直線に関するベクトルを示す第２行列を演算する第２行列演算工程と、
前記第１行列及び前記第２行列に基づいて、前記基準座標系における前記車載カメラの回転状態を示す回転行列を演算する第３行列演算工程と、を有する。

この車載カメラの校正方法によれば、上述した車載カメラの校正装置と同様に短時間で車載カメラの校正が可能となる。また、本発明に係る方法は、上述した装置に関する作用効果、及び全ての追加的特徴とその作用効果を備えることができるものである。

また、本発明に係る車載カメラの校正方法を用いて前記車載カメラの校正を行う組立調整工程を含む複数の組立調整工程を順次行うための、本発明に係る車両の生産方法は、以下の特徴を有する。
当該車載カメラの校正方法が、さらに、以下の工程、
前記回転行列に基づいて、前記車載カメラの投影パラメータを演算する投影パラメータ演算工程と、
前記基準座標系における前記校正点の座標を、前記投影パラメータを用いて、前記撮影画像上の座標に変換する座標変換工程と、
座標変換された前記校正点の座標と、前記車載カメラの回転に対する校正誤差の許容値とに基づいて、前記撮影画像上における前記校正誤差の限界領域を演算する限界領域演算工程と、
前記校正点特定工程において特定された前記校正点の中心座標が、前記限界領域内に存在するか否かを前記撮影画像上において判定する判定工程と、
前記校正点の中心座標が前記限界領域内に存在しない場合には、前記車載カメラの校正の次の組立調整作業への移行を制限する制限工程と、を有することを特徴とする。

この構成によれば、車載カメラの校正が達成されない場合に作業者がそれを見逃したとしても、生産工程を進めることができなくなる。従って、校正が不十分な製品が後工程に送られる可能性を抑制することができ、作業者は校正のやり直しなどの対策を迅速に実施することができる。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、校正用のマーカ８０（校正指標）と車両９０との配置関係の一例を示す説明図である。カメラ１（車載カメラ）は、車両９０の後方のナンバープレートの上方に車軸から側方へオフセットした位置に、光軸を下方（例えば水平から３０°下方）に向けて設置される。カメラ１は、例えば水平方向の視野角１１０〜１２０°の広角カメラであり、後方約８ｍ程度までの領域を撮影可能である。このカメラ１は、車両の生産工場等で車両９０に取り付けられる際に取り付け誤差を吸収するべく校正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１のずれを修正するべく校正される。以下、生産工場における校正を例として説明する。

〔校正指標配置工程〕
図１に示すように、カメラ１の校正は、車両９０を所定位置に停車させた状態で行われる。例えば、車両９０をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図１に示す例では、２つのマーカ８０（８０ａ、８０ｂ）が床面上に配置されている。図１において、車両９０は、後端部中央の床面がワールド座標系（基準座標系、Ｘ_W，Ｙ_W，Ｚ_W）の原点Ｏ_Wとなるように停車されている。カメラ１の光学中心Ｏ_Cを中心とするカメラ座標系（Ｘ_C，Ｙ_C、Ｚ_C）は、ワールド座標系に対して各軸が平行とは限らない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のＸ_W軸、及びほぼ鉛直方向のＸ_C軸は図示していない。ワールド座標系とカメラ座標系との立体的な関係については図１４に示す。

マーカ８０は、カメラ１の視野範囲内において少なくとも２箇所に配置される。また、マーカ８０は、ワールド座標系においてその座標が既知となるように配置される。本例において、マーカ８０は、図２に示すように白黒の市松模様のパターンを有している。パターン中央の点Ｑが校正点であり、カメラ１の校正の基準となる。つまり、この校正点Ｑの座標がワールド座標系においてその座標が既知となるように配置される。尚、ここでは白の矩形２個、黒の矩形２個の計４個の矩形の例を示したが、計４個以上であっても良く、その数を限定するものではない。

図１に示す例では、２つのマーカ８０は床上に車両の主軸（ワールド座標系のＺ_W軸）に対して左右対称に配置されている（Ｄ₁＝Ｄ₂、Ｗ₁＝Ｗ₂）。ただし、常に左右対称である必要はなく、カメラ１の視野内であって、座標値が既知であればその配置は自由である。つまり、工場において確保できる広さや他の設備との関係によってマーカ８０の配置を任意に設定することが可能である。

マーカ８０の寸法は、カメラ１の分解能や校正装置が備える画像処理機能の性能、マーカの配置位置などに応じて、精度良く校正点Ｑを検出できるように適切に定められる。一例として、Ｄｉが１〜２ｍ、Ｗｉが１．５ｍ程度である場合には、各白黒が１０〜１５ｃｍ四方、全体が２０〜３０ｃｍ四方のマーカ８０が利用される。

マーカ８０は、図３及び図４に示すように、壁面上や衝立８５上に設置されてもよい。この場合、校正点Ｑのワールド座標（Ｘ_W，Ｙ_W，Ｚ_W）は、例えば（Ｈ_3，Ｗ₃，Ｄ₃）となり、正確に把握可能である。つまり、マーカ８０は、カメラ１の視野内であれば、床面及び壁面を含む任意の面に配置可能である。本実施形態では、カメラ１を下方に向けて車両に搭載しているため、天井面にマーカ８０を配置することは適切ではない。しかし、天井面がカメラ１の視野に入る場合には勿論天井面に配置されてもよい。

マーカ８０は、車両９０の中心軸（Ｚ_W軸）に対して直角である必要はない。例えば、図３に示すようにカメラ１に対して対面するように配置されてもよい。また、当然他の軸（Ｙ_W軸及びＸ_W軸）に対して直角である必要もない。当然、２つのマーカ８０の一方が床面上、他方が衝立上に配置されるなど、異なる面上に配置されてもよい。重要であるのは校正点Ｑであり、マーカ８０はどのような面に配置されても構わない。つまり、ワールド座標系において校正点Ｑが正確に配置され、カメラ１の撮影画像から校正点Ｑが良好に検出可能であればマーカ８０の設置方向は任意である。

〔システム構成〕
図５は、本発明の車載カメラの校正装置の構成を模式的に示すブロック図である。図に示すように、校正装置は、画像受け取り部２と、画像出力部３と、システム制御部５と、入力Ｉ／Ｆ部６と、出力Ｉ／Ｆ部７と、画像処理部１０と、を有している。
画像受け取り部２は、デジタルビデオカメラであるカメラ１による撮影画像をバッファ２ａ、同期分離部２ｂ、クロック生成部２ｃ、Ａ／Ｄコンバー２ｃなどの公知の画像Ｉ／Ｆを介して受け取り、フレームメモリ２ｅに格納する（画像受け取り工程）。画像処理部１０に備えられた画像データ制御部１１は、画像受け取り部２を制御する。例えば、フレームメモリ２ｅへの撮影画像の格納や、フレームメモリ２ｅからの撮影画像の読み出しを制御する。

画像処理部１０は、さらに、歪補正部１２と、領域設定部１３と、校正点特定部１５と、回転量演算部１７と、応用機能処理部１９とを有している。図６は、図５の回転量演算部１７の構成を模式的に示すブロック図である。回転量演算部１７は、第１行列演算部２１と、第２行列演算部２２と、第３行列演算部２３と、回転角演算部２５とを有している。各部の詳細な機能については後述するが、これら各部の働きにより、カメラ１の回転量が算出される。
また、図７は、図５の応用機能処理部１９の構成を模式的に示すブロック図である。応用機能処理部１９は、投影パラメータ演算部３１と、座標変換部３３と、限界領域演算部３５と、成否判定部３７（判定部）とを有している。各部の詳細な機能については後述するが、これら各部の働きにより、カメラ１の投影パラメータなどが算出され、校正結果の精度検証などが行われる。

画像出力部３は、求められたカメラ１の回転量や投影パラメータに基づいて、撮影画像をディスプレイ等に表示するための画像信号を生成する。画像出力部３は、表示コントローラ３ａと描画部３ｂとを有している。描画部３ｂは画像処理の結果に基づいて校正精度の検証結果などのスーパーインポーズなどを描画する。表示コントローラ３ａは撮影画像にこのスーパーインポーズを重畳させて画像信号を出力する。画像出力部３は、本発明の重畳部や報知部としても機能する。

入力Ｉ／Ｆ部６は、カメラ１の校正開始の指示などの入力信号をカメラ１の校正装置よりも上位のシステムから受け取り、システム制御部５に伝達する。ここで、上位のシステムとは、車両９０の組み立て調整システムや、車両９０のバックモニタシステムなどである。システム制御部５は、カメラ１の校正装置の全般を制御するものであり、校正開始の指示などに基づいて画像処理部１０などを制御する。出力制御部７はシステム制御部５を介して画像処理結果などを受け取り、上位のシステムや、校正装置の報知部などに出力信号を出力する。

尚、画像処理部１０の各部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。
以下、画像処理部１０による画像処理の手順について説明する。

〔歪補正工程〕
上述したように、カメラ１は広角カメラである。従って、カメラ１による撮影画像は、図８に示すように歪みを有した画像Ｕ１となる。画像Ｕ１において、下方には車両９０のバンパー部９１が映っており、上方及び側方には車両９０が停車されている部屋の壁面が映っている。カメラ１の内部パラメータ（焦点距離など）は既知であるので、歪補正部１２において歪みが補正される。図９に補正後の画像Ｕ２を示す。

〔領域設定工程〕
マーカ８０は、ワールド座標系の既知の座標に配置されている。また、カメラ１のワールド座標系における詳細な回転状態（外部パラメータ）は当然未知であるが、おおまかな光軸方向（図１のＺ_C方向）は既知である。つまり、カメラ１は所定の公差の範囲内で車両９０に取り付けられるので、カメラ１の光軸方向のおおまかな方向は既知である。従って、撮影画像Ｕ１、及び歪みを補正された撮影画像Ｕ２におけるマーカ８０の位置は予測可能である。そこで、画像Ｕ２（あるいはＵ１）において、校正点Ｑを含むマーカ８０が収まる領域をＯＲＩ（関心領域：Region of Interest）として設定する。ＯＲＩは、公差の平均値による画像上の位置を基準として、公差の範囲と画像処理のためのマージンを考慮して定められた位置とサイズに基づいて設定される。従って、理想的には、校正点ＱがＯＲＩの中心部に収まることとなる。
図１０に、ＯＲＩの一例を示す。図１０（ａ）は図１のマーカ８０ａ、（ｂ）は図１のマーカ８０ｂに対して設定されたＯＲＩを示す。

〔校正点特定工程〕
次に、校正点特定部１５においてマーカ８０の中心点である校正点Ｑの撮影画像上における座標を検出する。本実施形態のように、マーカ８０として市松模様が使用される場合、公知のコーナ検出器を用いて校正点Ｑを検出ことが可能である。コーナ検出器としては、Tomasi-Kanade検出器や、ハリス検出器を利用することができる。
ただし、カメラ１が安価なカメラの場合、アパーチャリングやコアリング手法によって画像情報に修飾が加えられている場合がある。その場合には、画像品質の低さに起因して上記コーナ検出器を用いても正しい交点位置（校正点Ｑ）が検出できない可能性が生じる。車載カメラの校正装置は、種々の車種、種々のカメラに対応可能であることが望ましい。従って、本実施形態では、さらに汎用的な手法によって校正点Ｑを検出する。以下、マーカ８０の水平・垂直の境界線を検出してその交点である校正点Ｑの座標を求める校正点特定工程について、輪郭線（エッジ）検出工程、直線当てはめ工程、交点演算工程に分けて説明する。

〔校正点特定工程／輪郭線（エッジ）検出工程〕
本実施形態では、ガウシアンフィルタ（Gaussian filter）が組み込まれたCannyエッジ検出器を利用する。Cannyエッジ検出器は、エッジ特徴を保存すると共に、画像に含まれるノイズを除去する働きがあり、安定したエッジ検出が可能である。Cannyエッジ検出器に関しては、J.F.Canny "Finding edge and lines in images". Master's thesis, AITR-720. MIT, Cambridge, USA, 1983や、J.F.Canny "A computational approach to edge detection". IEEE Trans. on Pattern Analysis and Machine Intelligence, 8(6):679-698, November 1986に詳しいので、ここでは詳細な説明を省略する。尚、当然ながら、Cannyエッジ検出器に限らず、他の方法を用いてエッジ検出を行ってもよい。
図１０に示すＲＯＩ領域の画像に対して、エッジ検出処理を行うと、図１１に示すようにほぼマーカ８０の水平・垂直の境界線に対応するエッジ点群Ｅ（輪郭線の画素）が検出される。

〔校正点特定工程／直線当てはめ工程〕
次にこれらエッジ点群Ｅに対して、直線当てはめ処理が実施される。この直線当てはめ処理には、最小自乗法やハフ変換などを利用することも可能であるが、演算負荷が大である。本実施形態では、これらより遙かに演算量の少ないRANSAC（RANdom SAmple Consensus）手法を用いて直線当てはめを行う。RANSAC手法では、直線や曲線のフィッティングに必要な最小点数の点がエッジ点群Ｅから選択され、フィッティングモデルが設定される。直線の場合の最小点数は２点であり、ランダムに選択された２点を結ぶ直線が直線モデルとして設定される。そして、エッジ点群Ｅの他の点がこの直線モデルに対してどの程度フィットするかが評価される。順次、２点を選んで評価を繰り返し、最もフィットした直線モデルが直線として決定される。図１２は、図１１に示すエッジ点群Ｅに対して直線Ｇを当てはめた例を示している。

〔校正点特定工程／交点演算工程〕
直線Ｇが当てはめられると、まず、その直線Ｇがマーカ８０の水平・垂直の境界線として著しく想定と異なるものでないことが確認される。直線Ｇは撮影画像の座標系、つまりカメラ座標系において一次関数で表されている。従って、簡単な計算により、当てはめられた直線を評価することができる。
次に、当てはめられた直線Ｇの交点の座標が算出される。直線Ｇは一次関数であるから簡単な計算により、カメラ座標系における交点座標（校正点Ｑ）を得ることができる（図１３参照）。

〔変形例〕
上記説明においては、歪補正工程、領域設定工程、輪郭線（エッジ）検出工程の順に処理を行ったが、領域設定工程、輪郭線（エッジ）検出工程を先に行ってもよい。つまり、直線当てはめを行う前までは画像に歪みを生じていても良いので、演算の負荷を考慮して順序を入れ替えても問題ない。

校正点Ｑのワールド座標系における座標値は、マーカ８０を配置する時点で既知である。また、カメラ座標系における座標値は、上述したように演算で求められた。以下、これらの座標値を用いて、カメラ１の回転状態を示すカメラ１の外部パラメータを求める手順について説明する。

〔原理〕
車両のバックモニタ装置や運転支援装置のように、二次元画像と三次元空間との間の変換を必要とする装置では、その変換のためにカメラパラメータの全てを知る必要がある。上述したように特許文献１では、カメラパラメータの内、内部パラメータと、外部パラメータの並進成分は既知として、組み付け公差の大きい回転成分のみを手動で校正していた。本発明では、この回転成分を自動検出するが、始めにその原理を説明し、その後具体的な手順を説明する。

図１４は、ワールド座標系とカメラ座標系との関係を示す説明図である。図１や図３に示したように車両９０及びマーカ８０は原点をＯ_Wとするワールド座標系（Ｘ_W，Ｙ_W，Ｚ_W）で定義される座標に配置されている。以降、２つのマーカ８０の校正点Ｑは、空間上の２つの点Ｐ₁及びＰ₂で表す。カメラ１は、ワールド座標系において並進成分Ｔ（Ｔ_X，Ｔ_Y，Ｔ_Z）を有して配置される。また、カメラ１は、ワールド座標系に対して回転成分Ｒを有して配置される。つまり、ワールド座標系において並進成分Ｔを伴った位置を原点Ｏ_Cとして、さらに回転成分Ｒを伴ったカメラ座標系（Ｘ_C，Ｙ_C，Ｚ_C）が存在する。

ワールド座標系、カメラ座標系共にここでは右手系の直交座標系を用いている。右手座標系とは右手の親指、人差し指、中指を開いた向きの順にＸ、Ｙ、Ｚ軸を定める方式である。また、右手系においては、図１５に示すように軸が右ねじの方向に進む場合の回転方向を、回転の正の方向と定義する。ここで、Ｘ軸を中心とする回転をパン（pan）、Ｙ軸を中心とする回転をチルト（Tilt）、Ｚを中心とする回転を（Roll）と称する。

図１６は、Ｎベクトルを示す説明図である。始めにＮベクトルについて説明する。直交座標系を持つ画像面を二次元射影空間（射影面）とみなすと、点や直線は、全てがゼロではない３個の実数からなる同次座標で表される。同次座標は、画像処理における計算上の問題を解決する上で好適なものである。解決のための最も簡単な手段は、同次座標の３要素が常に単位ベクトルとなるようにしておくことである。正規化した同次座標の組を単位ベクトルとして表したものをＮベクトルと称する。

点Ｐは、射影面上の点であり、ｆは視点Ｏから射影面までの距離（焦点距離とほぼ等価。）を示す。三次元直交座標のＺ軸はｆと一致し、Ｚ軸は射影面に直交し、ＸＹ平面は射影面と平行である。Ｎベクトルｍは、視点Ｏを始点として点Ｐを指し示す単位ベクトルである。Ｎベクトルｎは、点Ｐを通る直線Ｌと、視点Ｏとによって定まる平面に垂直な単位法線ベクトルである。つまり、Ｎベクトルｎは、直線Ｌを表すベクトルである。尚、ベクトルｌは、Ｎベクトルではなく、直線Ｌの向きを表す単位ベクトルである。

ここで、カメラの光学中心（図１６の視点Ｏ）を固定してカメラが回転したと仮定する。カメラの回転により、射影面上の点Ｐ及び直線Ｌの座標は変化し、Ｎベクトルも変化する。つまり、回転前の射影面上の点Ｐ及び点Ｐを通る直線Ｌと、回転後の射影面上の点Ｐ’及び点Ｐ’を通る直線Ｌ’とが与えられる。この時、点Ｐ’を点Ｐに一致させ、直線Ｌ’を直線Ｌに向きを含めて一致させるようなカメラ回転行列Ｒは下記の式(1)のように一意的に定まる。

Ｒ＝（ｌ’ｍ’ｎ’）（ｌｍｎ）^T ・・・(1)

ここで、ｌ’は直線Ｌ’の向きを表す単位ベクトル、ｍ’は点Ｐ’を表すＮベクトル、ｎ’は直線Ｌ’を表すＮベクトルである。
式(1)は、Ｒ₁＝（ｌｍｎ）、Ｒ₂＝（ｌ’ｍ’ｎ’）とおくと、下記式(2)と表すことができる。

Ｒ＝Ｒ₂Ｒ₁ ^T ・・・(2)

つまり、図１７に示すように、ワールド座標系を基準とした回転前後の２つの画像から車両に搭載されたカメラ１の回転ベクトルＲを求めることができる。ただし、本発明の校正装置では、車両９０及びカメラ１は固定されるので、カメラ１から入力される画像は１つである。複数の画像を得るために車両９０やカメラ１を動かすことは、校正時間を増やし、また校正精度の上からも好ましくない。

しかし、上記原理の本質は、｛ｌ，ｍ，ｎ｝による定まる座標系から、｛ｌ’，ｍ’，ｎ’｝により定まる座標系の回転行列を求めれば、それがカメラ１の回転行列と一致することにある。つまり、｛ｌ，ｍ，ｎ｝を回転前の座標系から求め、｛ｌ’，ｍ’，ｎ’｝を回転後の座標系から求めれば足りる。
そこで、回転前の座標系は、ワールド座標系において、カメラ１の光学中心Ｏ_Cまで純粋に並進したのみのカメラ座標系（第１のカメラ座標系）と考える。また、回転後の座標系は、第１のカメラ座標系が光学中心Ｏ_Cを中心として回転したカメラ座標系（第２のカメラ座標系）と考える。

〔第１行列演算工程〕
第１のカメラ座標系は、ワールド座標系の原点Ｏ_Wを基準として純粋並進した回転成分のない座標系である。図１８に示すように光学中心Ｏ_Cからマーカ８０の校正点Ｑを示す点Ｐ₁、Ｐ₂へのＮベクトルを求める。尚、当然ながら第１行列演算工程では、カメラ１による撮影画像及び撮影画像から得られる各種情報は不要である。本工程は、図６に示す第１行列演算部２１において実行されるが、カメラ１による撮影画像は用いられていない。

本実施形態では、マーカ８０が床面上に配置されているので、Ｘ_W軸方向の座標は実質ゼロであるが、点Ｐ₁の座標をＰ₁（Ｘ₁，Ｙ₁，Ｚ₁）、点Ｐ₂の座標をＰ₂（Ｘ₂，Ｙ₂，Ｚ₂）とする。直線Ｌは、点Ｐ₁から点Ｐ₂へ向かう直線とする。光学中心Ｏ_Cから点Ｐ₁の方向にはＮベクトルｍ₁がある。光学中心Ｏ_Cから点Ｐ₂の方向にはＮベクトルｍ₂がある。説明を容易にするために図１８にはＮベクトルｍ₁で代表させている。この結果、Ｎベクトルｍは、下記の式(3)のようになる。

また、Ｎベクトルｎは面Ｏ_CＰ₁Ｐ₂の単位法線ベクトルとして、次の式(4)のようになる。

直線Ｌの向きｌは、下記の式(5)のようにｍとｎとの外積として得られる。

ｌ＝ｍ×ｎ ・・・(5)

その結果、回転行列Ｒ₁は下記の式(6)のようになる。

Ｒ₁＝（ｌｍｎ） ・・・(6)

このようにして、第１行列演算部２１は、ワールド座標系（基準座標系）におけるマーカ８０の校正点Ｑ（Ｐ₁、Ｐ₂）の座標に基づいて、カメラ１の光学中心Ｏ_Cから見た校正点Ｐ₁、Ｐ₂及び校正点Ｐ₁、Ｐ₂を通る直線Ｌに関するベクトルを示す第１行列Ｒ₁を演算する。

〔第２行列演算工程〕
第２のカメラ座標系は、第１のカメラ座標系が光学中心Ｏ_Cを中心として回転した回転成分のある座標系である。第１行列演算工程とは異なり、カメラ１による撮影画像が用いられる。図１９に示すように、床面上に配置された校正点Ｑ（Ｐ₁、Ｐ₂）は、射影面上の点ｐ₁、ｐ₂に相当する。点ｐ₁、ｐ₂の射影面上での座標値は、既に説明したように、校正点特定部１５において特定されている。従って、図６に示すように、本工程は校正点特定部１５の結果を受けて第２行列演算部２２において実行される。

ここで、光学中心Ｏ_Cから射影面上の点ｐ₁（ｘ₁，ｙ₁）、ｐ₂（ｘ₂，ｙ₂）へのＮベクトルを考える。尚、（ｘ_i，ｙ_i）は射影面上（撮影画像上）の座標である。直線Ｌに相当する直線ｌは、点ｐ₁から点ｐ₂へ向かう直線とする。光学中心Ｏ_Cから点ｐ₁の方向にはＮベクトルｍ₁’がある。光学中心Ｏ_Cから点ｐ₂の方向にはＮベクトルｍ₂’がある。説明を容易にするために図１９にはＮベクトルｍ₁’で代表させている。この結果、Ｎベクトルｍ’は、下記の式(7)のようになる。

また、Ｎベクトルｎ’は面Ｏ_Cｐ₁ｐ₂の単位法線ベクトルとして、次の式(8)のようになる。

直線Ｌの向きｌ’は、下記の式(9)のようにｍ’とｎ’との外積として得られる。

ｌ’＝ｍ’× ｎ’ ・・・(9)

その結果、回転行列Ｒ₂は下記の式(10)のようになる。

Ｒ₂＝（ｌ’ｍ’ｎ’） ・・・(10)

このようにして、第２行列演算部２２は、校正点特定部１５により特定された射影面（撮影画像）上の校正点Ｑ（ｐ₁、ｐ₂）の座標に基づいて、車載カメラの光学中心Ｏ_Cから見た校正点ｐ₁、ｐ₂及び校正点ｐ₁、ｐ₂を通る直線ｌに関するベクトルを示す第２行列Ｒ₂を演算する

〔第３行列演算工程〕
第３行列演算部２３は、上記のようにして得られた第１行列Ｒ₁及び第２行列Ｒ₂に基づいて、ワールド座標系におけるカメラ１の回転状態を示す回転行列Ｒを演算する。つまり、上述した式(2)と同様に下記に示す式(11)に従って回転行列Ｒを演算する。

Ｒ＝Ｒ₂Ｒ₁ ^T＝（ｌ’ｍ’ｎ’）（ｌｍｎ）^T ・・・(11)

〔回転角演算工程〕
カメラ１は、ピンホールカメラに代表される透視カメラモデル（perspective camera model）である。透視カメラモデルのカメラ行列は、カメラの内部パラメータ行列と、外部パラメータ行列とから構成される。内部パラメータ行列は、焦点距離などのカメラ内部のパラメータ行列である。外部パラメータ行列は、並進行列Ｔ及び上記で求めた回転行列Ｒである。射影カメラモデル（projective camera model）は、透視カメラモデルのカメラ行列を一般化して表したものである。射影カメラモデルでは、上記で求めた回転行列Ｒが得られれば、三次元空間からの投影が可能である。しかし、透視カメラモデルでは、回転行列Ｒをさらに三次元直交座標の各軸の回転角パン・チルト・ロールに分解する必要がある。回転角演算部２５は、以下に示す手順で各軸の回転角を演算する。

式(11)で求めた回転行列Ｒは、次式(12)のように書くことができる。ここで、θはチルト角、φはロール角、ψはパン角である。

r₁₁ ² + r₂₁ ² = cosφcosθ² + sinφcosθ² = cos²θ ・・・(13)

式(13)により、φが消去できるので、式(14)を得る。

式(14)には解が２つ存在する。「-r₃₁」が「-sinθ」であるので、θは式(15)のようになる。

また、ｋを正の定数とすると式(16)である。

tan^-1(a/b) = tan^-1(ka/kb) ・・・(16)

ここで、cosθ≠０と置ける場合には、ロール角φとパン角ψは、それぞれ式(17)、式(18)のようになる。

ここで、カメラ１の搭載方法（下向き約３０度＝−３０度）に基づいて、式(19)の拘束条件を適用する。

-90[deg] ＜ チルト角θ ＜ +90[deg] ・・・(19)

式(19)の拘束条件より、チルト角θのcosの値がゼロとなる場合を無視することができるので、一意の回転角θ、φ、ψを求めることができる。
まず、式(19)より、「cosθ＞０」なので、負の値を考慮することなく、式(15)は次式(20)となり、チルト角θが定まる。

同様に「cosθ＞０」であるので、ロール角φとパン角ψは式(12)より、式(21)、式(22)に示すように容易に得られる。

〔投影パラメータ演算工程〕
以上、説明したようにカメラ１の外部パラメータとしての三次元直交座標の各軸に対する回転成分が求められた。外部パラメータの内の並進成分Ｔ（Ｔ_X，Ｔ_Y，Ｔ_Z）は、光軸中心Ｏ_Cの座標としてワールド座標系において既知である。また、内部パラメータはカメラ１の特性として既知である。従って、応用機能処理部１９の投影パラメータ演算部３１は、カメラ１の投影パラメータの全てを整えることができる。

〔座標変換工程〕
カメラ１の投影パラメータの全てが整うと、座標変換部３３は、校正点Ｑ（Ｐ₁、Ｐ₂）のワールド座標系の三次元座標値を二次元の射影面上の座標値に変換する。つまり、図２０に示すような理論上の校正点Ｖの座標値を演算する。

〔限界領域演算工程〕
図２０に示すように、限界領域演算部３５は、座標変換により求められた理論上の校正点Ｖを基準として各回転角度の許容誤差を加味した射影面上の限界領域Ｃを演算する。射影面上には、実際にカメラ１で撮影されたマーカ８０が映っている。また、校正点特定部１５によって特定された校正点Ｑ（Ｐ₁、Ｐ₂）の射影面上の座標も明らかである。ここで、校正点Ｑが限界領域Ｃの中に入っていれば、所定の精度でカメラ１が校正されたことになる。

描画部３ｂは、座標変換部３３で算出された理論上の校正点Ｖをカメラ１の撮影画像に重畳可能なように描画する。また、限界領域演算部３５で算出された限界領域Ｃをカメラ１の撮影画像に重畳可能なように描画する。さらに、校正点特定部１５によって特定された校正点Ｑの中心座標を強調する強調表示を描画する。そして、これらを表示コントローラ３ａを介して撮影画像上に重畳させて、画像信号として出力する。出力された画像信号は、ディスプレイ装置上で表示される。このように、描画部３ｂ及び表示コントローラ３ａは、本発明の重畳部に相当する。
尚、実際には図８に示したような撮影画像に限界領域Ｃ、校正点Ｖ及びＱが、例えば色分けされて重畳されるが、図示の視認性を考慮して図２０では、マーカ８０は省略している。

〔成否判定工程（判定工程）〕
図２１は、カメラ１の校正装置を含む車両９０の組み立て調整制御装置のディスプレイ装置の表示画面の一例である。上述した理論上の校正点Ｖ、限界領域Ｃ、実際に撮影された画像から求めた校正点Ｑが、表示される。本例では、一方の校正点Ｑ２は限界領域Ｃ内であるが、他方の校正点Ｑ１が限界領域Ｃ外となった場合を示している。例えば、車両９０の組み立て調整を行う作業者は、この画面により校正の成否を判定することができる。
また、作業者の目視に依らず、自動的に成否を判定することもできる。射影面上での各座標値は上述したように既に算出されているので、成否判定部（判定部）３７は、校正の成否を自動的に判定する。

〔報知工程〕
成否判定部３７による判定結果は、描画部３ｂ及び表示コントローラ３ａを介してディスプレイ装置に表示される。図２１に示した例では、「光軸調整ＮＧ（Ｓ１）」とのスーパーインポーズが表示される。また、ディスプレイ装置がタッチパネルなど、入力を受け付ける機能を有している場合には、「再調整（Ｓ２）」や「戻る（Ｓ３）」という操作ボタンが設けられる。これらの入力は、入力信号となって入力Ｉ／Ｆ部６からシステム制御部５へと伝達される。
また、このような視覚的な表示に限らず、ブザーやチャイム、音声などにより、聴覚的に報知してもよい。システム制御部５、出力Ｉ／Ｆ部７を介して、校正結果を外部に出力するようにしてもよい。

〔制限工程〕
一方、「次へ（Ｓ４）」の操作ボタンは、他のスーパーインポーズに比べて淡く表示され、選択できないようにその機能が制限される。カメラ１の校正は、車両９０の組み立て調整作業の中で実施される。カメラ１の校正が不成功である場合に、組み立て調整作業を継続すれば、校正が不十分な製品が後工程に送られる可能性がある。しかし、次の組み立て校正作業への移行を制限すれば、そのような問題を未然に防止することができる。また、作業者は校正のやり直しなどの対策を迅速に実施することができる。
このような制限処理は応用機能処理部１９やシステム制御部５で実行し、画像出力部３に伝達する。また、出力Ｉ／Ｆ回路７を介して校正結果を受け取った組み立て調整システムなどで実行してもよい。その場合は、制限の指示が入力Ｉ／Ｆ回路６を介して画像出力部３に与えられる。

以上説明したように、本発明によって、簡単な構成で、短時間で精度良く車載カメラの校正が可能な車載カメラの校正装置を提供することができる。また、校正の成否を迅速に判定可能な車載カメラの校正装置を提供することができる。

校正用マーカと車両との配置関係の一例を示す説明図 校正用マーカの一例を示す説明図 校正用マーカと車両との配置関係の他の例を示す説明図 図２の校正用マーカの三次元配置を示す説明図 本発明の車載カメラの校正装置の構成を模式的に示すブロック図 図５の回転量演算部の構成を模式的に示すブロック図 図５の応用機能処理部の構成を模式的に示すブロックズ 歪み補正前の画像の一例を示す説明図 歪み補正後の画像の一例を示す説明図 領域設定後の画像の一例を示す説明図 エッジ検出後の画像の一例を示す説明図 直線当てはめ後の画像の一例を示す説明図 校正点検出後の画像の一例を示す説明図 ワールド座標系とカメラ座標系との関係を示す説明図 右手系におけるカメラ回転を説明する説明図 Ｎベクトルを示す説明図 カメラ回転に関する基本定理を説明する説明図 第１行列の元となるＮベクトルを示す説明図 図２行列の元となるＮベクトル示す説明図 限界領域を示す説明図 組み立て調整画面の一例を示す説明図

符号の説明

１：カメラ（車載カメラ）
２：画像受け取り部
３：画像出力部（重畳部）
１０：画像処理部
１３：領域設定部
１５：校正点特定部
２１：第１行列演算部
２２：第２行列演算部
２３：第３行列演算部
２５：回転角演算部
３１：投影パラメータ演算部
３３：座標変換部
３５：限界領域設定部
３７：正否判定部（判定部）
８０：マーカ（校正指標）
９０：車両
Ｃ：限界領域
Ｅ：エッジ点（輪郭線の画素）
Ｑ：校正点

Claims (11)

1. 車両に取り付けられた車載カメラを校正する車載カメラの校正装置であって、
   少なくとも異なる２箇所に配置された校正指標を視界内に含む前記車載カメラの撮影画像を受け取る画像受け取り部と、
   前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
   基準座標系における前記校正指標の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た前記校正点及び前記校正点を通る直線に関するベクトルを示す第１行列を演算する第１行列演算部と、
   前記校正点特定部により特定された前記撮影画像上の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た当該校正点及び当該校正点を通る直線に関するベクトルを示す第２行列を演算する第２行列演算部と、
   前記第１行列及び前記第２行列に基づいて、前記基準座標系における前記車載カメラの回転状態を示す回転行列を演算する第３行列演算部と、を有する車載カメラの校正装置。
2. 前記回転行列を、三次元空間上で互いに直交する３軸に対する３つの回転角度成分に分解する回転角演算部を有する請求項１に記載の車載カメラの校正装置。
3. 前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有し、
   前記校正点特定部は、前記領域において前記校正点を特定する請求項１又は２に記載の車載カメラの校正装置。
4. 前記回転行列に基づいて、前記車載カメラの投影パラメータを演算する投影パラメータ演算部と、
   前記基準座標系における前記校正点の座標を、前記投影パラメータを用いて、前記撮影画像上の座標に変換する座標変換部と、
   座標変換された前記校正点の座標と、前記車載カメラの回転に対する校正誤差の許容値とに基づいて、前記撮影画像上における前記校正誤差の限界領域を演算する限界領域演算部と、を有する請求項１〜３の何れか一項に記載の車載カメラの校正装置。
5. 前記校正点特定部により特定された前記校正点の中心座標と、前記限界領域との強調表示を前記撮影画像に重畳する重畳部を有する請求項４に記載の車載カメラの校正装置。
6. 前記撮影画像上において、前記校正点特定部により特定された前記校正点の中心座標が、前記限界領域内に存在するか否かを判定する判定部を有する請求項４に記載の車載カメラの校正装置。
7. 前記判定部による判定結果を少なくとも視覚的又は聴覚的に報知する報知部を有する請求項６に記載の車載カメラの校正装置。
8. 前記校正指標の校正点は、平面上の２直線の交点として表される請求項１〜３の何れか一項に記載の車載カメラの校正装置。
9. 前記校正指標は、床面及び壁面を含む任意の面に配置される請求項１〜４の何れか一項に記載の車載カメラの校正装置。
10. 車両に取り付けられた車載カメラを校正する車載カメラの校正方法であって、
    前記車載カメラの視界に含んで、少なくとも異なる２箇所に校正指標を配置する校正指標配置工程と、
    基準座標系における前記校正指標の中のそれぞれの校正点の座標に基づいて、前記車載カメラの光学中心から見た前記校正点及び前記校正点を通る直線に関するベクトルを示す第１行列を演算する第１行列演算工程と、
    前記校正指標を視界内に含む前記車載カメラの撮影画像を受け取る画像受け取り工程と、
    前記撮影画像において、それぞれの前記校正点を特定する校正点特定工程と、
    前記撮影画像上において特定された前記校正点の座標に基づいて、前記車載カメラの光学中心から見た当該校正点及び当該校正点を通る直線に関するベクトルを示す第２行列を演算する第２行列演算工程と、
    前記第１行列及び前記第２行列に基づいて、前記基準座標系における前記車載カメラの回転状態を示す回転行列を演算する第３行列演算工程と、を有する車載カメラの校正方法。
11. 請求項１０に記載の車載カメラの校正方法を用いて前記車載カメラの校正を行う組立調整工程を含む複数の組立調整工程を順次行う車両の生産方法であって、
    当該車載カメラの校正方法は、さらに、
    前記回転行列に基づいて、前記車載カメラの投影パラメータを演算する投影パラメータ演算工程と、
    前記基準座標系における前記校正点の座標を、前記投影パラメータを用いて、前記撮影画像上の座標に変換する座標変換工程と、
    座標変換された前記校正点の座標と、前記車載カメラの回転に対する校正誤差の許容値とに基づいて、前記撮影画像上における前記校正誤差の限界領域を演算する限界領域演算工程と、
    前記校正点特定工程において特定された前記校正点の中心座標が、前記限界領域内に存在するか否かを前記撮影画像上において判定する判定工程と、
    前記校正点の中心座標が前記限界領域内に存在しない場合には、前記車載カメラの校正の次の組立調整作業への移行を制限する制限工程と、を有する車両の生産方法。

Images