JP6015276B2 - カメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法 - Google Patents

Description

本発明は、カメラの取り付け位置に生じた誤差を補正するカメラ取り付け誤差補正装置及びその方法に関する。

車両に設置されたカメラの取り付け誤差を補正（キャリブレーション）する技術として、従来では特許文献１が開示されている。この特許文献１のカメラシステムでは、カメラのｘ軸方向のずれ量と、ｙ軸方向のずれ量と、カメラの光軸周りの回転方向におけるずれ量とを検出して、カメラの取り付け誤差の補正を行っていた。

特開２００９−１７１６９号公報

しかしながら、上述した従来のカメラシステムでは、例えばディーラーなどの専用の施設へ行き、専用の装置を使用してカメラの取り付け誤差を補正しなければならなかった。そのため、カメラの取り付け誤差を補正する機会が制限されてしまうという問題点があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、専用の施設や装置を使用しなくてもカメラの取り付け誤差を補正することのできるカメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法を提供することを目的とする。

本発明は、カメラの撮像画像上に撮像されている消失点の消失点座標を検出し、この消失点座標に基づいてカメラの取り付け誤差を補正する取り付け誤差補正部を備える。取り付け誤差補正部は、カメラの取り付け位置におけるカメラの高さ方向への回転角を算出する回転角算出部と、回転角算出部によって算出されたカメラの高さ方向への回転角に基づいて、カメラの取り付け位置の高さを算出する取り付け高さ算出部と、取り付け高さ算出部によって算出されたカメラの取り付け位置の高さに基づいて、カメラの取り付け高さの誤差を補正する誤差補正部を備える。回転角算出部は、消失点からカメラの取り付け位置までの消失点距離と、カメラの光軸と地面とが交わる光軸交点からカメラの取り付け位置までの光軸交点距離とを撮像画像上で求め、消失点距離と光軸交点距離からカメラの高さ方向への回転角を算出する。

本発明によれば、カメラの撮像画像上に撮像されている消失点の消失点座標を検出し、この消失点座標に基づいてカメラの取り付け誤差を補正するので、専用の施設や装置を使用しなくてもカメラの撮像画像を用いてカメラの取り付け誤差を補正することができる。これにより、リアルタイムでカメラの取り付け誤差を補正できるので、補正する機会が制限されることがなくなる。

図１は、本発明の一実施形態に係るカメラ取り付け誤差補正装置を搭載したカメラシステムの構成を示すブロック図である。 図２は、本発明の一実施形態に係るカメラ取り付け誤差補正装置によるカメラ取り付け誤差補正処理の処理手順を示すフローチャートである。 図３は、本発明の一実施形態に係るカメラ取り付け誤差補正装置による消失点座標の検出方法を説明するための図である。 図４は、本発明の一実施形態に係るカメラ取り付け誤差補正装置による消失点距離の算出方法を説明するための図である。 図５は、本発明の一実施形態に係るカメラ取り付け誤差補正装置による光軸交点距離の算出方法を説明するための図である。 図６は、本発明の一実施形態に係るカメラ取り付け誤差補正装置によるピッチ角の算出方法を説明するための図である。

以下、本発明を適用した一実施形態について図面を参照して説明する。

［カメラ取り付け誤差補正装置の構成］
図１は、本実施形態に係るカメラ取り付け誤差補正装置を搭載したカメラシステムの構成を示すブロック図である。図１に示すように、カメラシステム１は、自車両の周囲の映像をカメラ３で撮像し、撮像された映像を画像処理ユニット２で画像処理することによって、例えば視点変換などを行った自車両周囲の映像をディスプレイ４に表示するシステムである。

カメラシステム１は、車両に搭載されたシステムであり、カメラ３としてはフロントカメラ３ａ、運転席側サイドカメラ３ｂ、リアカメラ３ｃ及び助手席側サイドカメラ３ｄを備えている。また、カメラシステム１は、ＣＡＮを介して、ステアリング角度センサ５とソナーシステム６に接続されている。ステアリング角度センサ５で検出されたステアリング角度は駐車支援を行う際に利用され、ソナーシステム６は車両の四隅に設置されたカメラ補助ソナーによって障害物を感知している。そして、画像処理ユニット２は、本実施形態に係るカメラ取り付け誤差補正装置１０を搭載しており、カメラ３の取り付け誤差を補正する。

ここで、本実施形態に係るカメラ取り付け誤差補正装置１０は、カメラ３の撮像画像上に撮像されている消失点の消失点座標を検出する消失点座標検出部１１と、消失点座標に基づいてカメラ３の取り付け誤差を補正する取り付け誤差補正部１２とを備えている。また、取り付け誤差補正部１２は、回転角算出部１３と、取り付け高さ算出部１４と、誤差補正部１５とを備えている。

消失点座標検出部１１は、カメラ３によって走行時等に撮像された動画の撮像画像に対してオプティカルフローを用いて消失点座標を検出する。

回転角算出部１３は、消失点からカメラ３の取り付け位置までの消失点距離と、カメラ３の光軸と地面とが交わる光軸交点からカメラ３の取り付け位置までの光軸交点距離とを撮像画像上で求めている。そして、求めた消失点距離と光軸交点距離とからカメラ３の高さ方向への回転角、すなわちピッチ角を算出する。

取り付け高さ算出部１４は、光軸交点距離とカメラ３の高さ方向への回転角であるピッチ角とからカメラ３の取り付け位置の実際の高さを算出する。

誤差補正部１５は、カメラ３の取り付け位置の高さに基づいてカメラ３の取り付け高さの誤差を補正しており、カメラ３の取り付け位置の実際の高さと、カメラ３の取り付け位置の高さの理想値とを比較して映像補正を実施する。

尚、カメラ取り付け誤差補正装置１０は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路と周辺機器から構成されている。そして、特定のプログラムを実行することにより、消失点座標検出部１１、取り付け誤差補正部１２、回転角算出部１３、取り付け高さ算出部１４及び誤差補正部１５として動作する。また、本実施形態ではカメラ取り付け誤差補正装置１０を画像処理ユニット２に搭載した場合を一例として説明するが、カメラ取り付け誤差補正装置１０を独立した装置として構成してもよい。

［カメラの取り付け誤差補正処理の手順］
次に、本実施形態に係るカメラ取り付け誤差補正装置１０によるカメラ取り付け誤差補正処理の手順を図２のフローチャートを参照して説明する。

図２に示すように、まずステップＳ１０１において、消失点座標検出部１１が、車両に取り付けられているカメラ３のうちフロントカメラ３ａまたはリアカメラ３ｃで車両前方または後方の画像を撮像する。これは、フロントカメラ３ａまたはリアカメラ３ｃで撮像すれば、消失点を明瞭に撮像できるためである。したがって、消失点を撮像できれば、サイドカメラ３ｂ、３ｄで撮像してもよい。

次に、消失点座標検出部１１は、ステップＳ１０２においてカメラ３から伝送された撮像画像を受信し、ステップＳ１０３において撮像画像上に撮像されている消失点の消失点座標を検出する。

ここで、図３を参照して消失点座標の検出方法を説明する。図３に示すように、まずオプティカルフローを用いて撮像画像上で消失点４１の位置を求める。そして、撮像画像を碁盤の目状に細分化して座標を割り当てることによって座標化し、消失点４１の位置の座標（ｘ、ｙ）を消失点座標（ｘ、ｙ）とする。

次に、ステップＳ１０４では、回転角算出部１３が、図４（ａ）に示す撮像画像上において消失点から車両後端までの距離ｗを求める。この距離ｗは、図４（ｂ）に示すように消失点４１から車両後端４２までの距離であり、消失点座標が（ｘ、ｙ）の場合にカメラのレンズ特性Ｆを用いて
ｗ＝Ｆ（ｙ）
と表すことができる。これは、すなわち撮像画像上において消失点から車両後端までの画素数をカウントし、レンズ特性Ｆを用いて実際の長さに換算している。

次に、ステップＳ１０５では、回転角算出部１３が、図５（ａ）に示す撮像画像上において、まずカメラ３の光軸と地面との交点である光軸交点の座標（ｘａ、ｙａ）を求める。ただし、この光軸交点の座標（ｘａ、ｙａ）はカメラ３の向きに関係なく一意に決まる値であるため、パラメータとして予め記憶しておいて読み出せばよい。

そして、図５（ｂ）に示す光軸交点５１から車両後端４２までの距離ｗａを求める。距離ｗａは、光軸交点の座標が（ｘａ、ｙａ）の場合にカメラのレンズ特性Ｆを用いて
ｗａ＝Ｆ（ｙａ）
と表すことができる。これは、すなわち撮像画像上において光軸交点から車両後端までの画素数をカウントし、レンズ特性Ｆを用いて実際の長さに換算している。

こうして車両後端４２までの距離ｗ、ｗａが求められると、次に回転角算出部１３はステップＳ１０６においてカメラ３の高さ方向への回転角、すなわちピッチ角を算出する。

図６に示すように、カメラ３の取り付け位置から車両後端４２までの距離をＡとすると、消失点４１からカメラ３の取り付け位置までの距離である消失点距離はＡ＋ｗとなる。また、光軸交点５１からカメラ３の取り付け位置までの距離である光軸交点距離はＡ＋ｗａとなる。

回転角算出部１３は、まず消失点距離Ａ＋ｗと光軸交点距離Ａ＋ｗａとを求め、消失点４１とカメラ３とを結んだ線と地面とがなす角をθとして、以下の２式を求める。

(Ａ＋ｗ)tanθ＝(Ａ＋ｗａ)tanθa （１）
(ｗ−ｗａ)sinθa・sinθ＝(Ａ＋ｗ)sin(θa-θ) （２）
式（１）は両辺ともにカメラ３の取り付け位置の高さｈを表しており、式（２）は図６の斜線で示した三角形において正弦定理を適用したものである。

ここで、カメラ３から車両後端４２までの距離Ａは既知の定数なので、上記２式からθを消去することによって、カメラ３の現在のピッチ角θａを算出することができる。

次に、ステップＳ１０７において、取り付け高さ算出部１４が、ピッチ角θａからカメラ３の取り付け位置の高さを算出する。図６に示すカメラ３の取り付け位置の高さｈは
ｈ＝(Ａ＋ｗａ)tanθa
と表すことができるので、ステップＳ１０６で算出したピッチ角θａを用いて、カメラ３の実際の高さｈを算出することができる。

次に、ステップＳ１０８において、誤差補正部１５は、予め設定されているカメラ３の高さの理想値ｈ＊を読み出してカメラ３の高さ誤差Δｈを算出する。高さ誤差Δｈは
Δｈ＝ｈ＊−ｈ
で算出することができる。

こうして高さ誤差Δｈが算出されると、誤差補正部１５は、ステップＳ１０９においてΔｈ＝０となるようにカメラ３で撮像される画像の映像補正を実施して、本実施形態に係るカメラの取り付け誤差補正処理を終了する。

［実施形態の効果］
以上詳細に説明したように、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、カメラの撮像画像上に撮像されている消失点の消失点座標を検出し、この消失点座標に基づいてカメラの取り付け誤差を補正する。これにより、専用の施設や装置を使用しなくてもカメラの撮像画像を用いてカメラの取り付け誤差を補正できるので、リアルタイムでカメラの取り付け誤差を補正でき、補正する機会が制限されることがなくなる。

特に、従来では車両を工場から出荷するときにカメラの取り付け誤差を補正し、それ以降は補正が行われないので、カメラの取り付け位置が最適な状態であるとは限らなかった。しかし、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、工場から出荷された以降もリアルタイムで誤差を補正できるので、常にカメラの取り付け位置を最適な状態に維持することが可能となる。

また、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、消失点座標に基づいてカメラの高さ方向への回転角を算出し、このカメラの高さ方向への回転角に基づいてカメラの取り付け位置の高さを算出してカメラの取り付け高さの誤差を補正する。これにより、従来行われていたカメラの取り付け誤差の補正（ｘ軸方向、ｙ軸方向、ロール角方向の補正）に加えて、カメラの高さ方向の取り付け誤差を補正できるので、カメラの取り付け位置の誤差をより精度よく補正することができる。

さらに、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、消失点距離と光軸交点距離とを撮像画像上で求め、消失点距離と光軸交点距離からカメラの高さ方向への回転角を算出する。これにより、撮像画像からカメラの高さ方向への回転角を算出できるので、専用の施設や装置を使用しなくてもカメラの取り付け誤差を補正することができる。

また、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、光軸交点距離とカメラの高さ方向への回転角とからカメラの取り付け位置の高さを算出する。これにより、撮像画像からカメラの取り付け位置の高さを算出できるので、専用の施設や装置を使用しなくてもカメラの取り付け誤差を補正することができる。

さらに、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、撮像するカメラを車両のフロントカメラまたはリアカメラとしたので、消失点の撮像された画像を確実に撮像することができる。これにより、消失点座標に基づいてカメラの取り付け誤差を補正できるので、専用の施設や装置を使用しなくてもカメラの取り付け誤差を補正することができる。

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

１ カメラシステム
２ 画像処理ユニット
３ カメラ
３ａ フロントカメラ
３ｂ 運転席側サイドカメラ
３ｃ リアカメラ
３ｄ 助手席側サイドカメラ
４ ディスプレイ
５ ステアリング角度センサ
６ ソナーシステム
１０ カメラ取り付け誤差補正装置
１１ 消失点座標検出部
１２ 取り付け誤差補正部
１３ 回転角算出部
１４ 取り付け高さ算出部
１５ 誤差補正部

Claims (4)

1. 車両に取り付けられたカメラの取り付け誤差を補正するカメラ取り付け誤差補正装置であって、
   前記カメラの撮像画像上に撮像されている消失点の消失点座標を検出する消失点座標検出部と、
   前記消失点座標検出部によって検出された前記消失点座標に基づいて前記カメラの取り付け誤差を補正する取り付け誤差補正部と、を備え、
   前記取り付け誤差補正部は、
   前記消失点座標に基づいて、前記カメラの取り付け位置における前記カメラの高さ方向への回転角を算出する回転角算出部と、
   前記回転角算出部によって算出された前記カメラの高さ方向への回転角に基づいて、前記カメラの取り付け位置の高さを算出する取り付け高さ算出部と、
   前記取り付け高さ算出部によって算出された前記カメラの取り付け位置の高さに基づいて、前記カメラの取り付け高さの誤差を補正する誤差補正部と、を備え、
   更に、前記回転角算出部は、前記消失点から前記カメラの取り付け位置までの消失点距離と、前記カメラの光軸と地面とが交わる光軸交点から前記カメラの取り付け位置までの光軸交点距離とを前記撮像画像上で求め、前記消失点距離と前記光軸交点距離とから前記カメラの高さ方向への回転角を算出すること
   を特徴とするカメラ取り付け誤差補正装置。
2. 前記取り付け高さ算出部は、前記光軸交点距離と前記カメラの高さ方向への回転角とから前記カメラの取り付け位置の高さを算出することを特徴とする請求項１に記載のカメラ取り付け誤差補正装置。
3. 前記カメラは車両のフロントカメラまたはリアカメラであることを特徴とする請求項１または２に記載のカメラ取り付け誤差補正装置。
4. 車両に取り付けられたカメラの取り付け誤差を補正するカメラ取り付け誤差補正装置におけるカメラ取り付け誤差補正方法であって、
   前記カメラの撮像画像上に撮像されている消失点の消失点座標を検出し、
   前記消失点から前記カメラの取り付け位置までの消失点距離と、前記カメラの光軸と地面とが交わる光軸交点から前記カメラの取り付け位置までの光軸交点距離と、を前記撮像画像上で求め、前記消失点距離と前記光軸交点距離とから前記カメラの高さ方向への回転角を算出し、
   前記カメラの高さ方向への回転角に基づいて、前記カメラの取り付け位置の高さを算出し、
   算出された前記カメラの取り付け位置の高さに基づいて、前記カメラの取り付け高さの誤差を補正すること
   を特徴とするカメラ取り付け誤差補正方法。