JP6767998B2 - 画像の線からのカメラの外部パラメータ推定 - Google Patents

Description

本出願は、カメラ較正に関する。特に、本出願は、カメラの外部較正パラメータを決定する方法に関する。

デジタルカメラは、光学レンズと、複数の画素センサを含む画像センサとを有する。光学レンズは、カメラの前に配置された被写体からの光線を受光するために使用される。光学レンズは、光線が光学レンズを通過することを許容し、画像センサへと伝達する。

較正パラメータは、カメラの特性を記述するために使用される。これらの較正パラメータは、内部パラメータと、外部パラメータとを含む。

外部パラメータは、カメラ基準系の場所及び向きを世界の既知の基準系の場所及び向きと揃えるために、カメラの基準系の並進及び回転を定義するために使用される。世界とは、カメラが位置している領域を指す。外部パラメータの値は、カメラの使用法または用途に応じて変化する。

内部パラメータについては、画像センサの画像の画素座標を、カメラ基準系の対応する座標とリンクさせる、またはマッピングするように作用する。座標は多くの場合、位置を記述するための一組の数字を指す。実際には、内部パラメータは、光学レンズにおける光線の座標を、画像センサの画素センサの対応する座標と関連づける。

一般的な意味では、光線とは、可視または不可視の電磁放射線を指す。不可視光線の一例が、赤外光線である。

カメラの光学レンズが、広角レンズの形態で提供される場合、センサ画像の画素座標と、内部パラメータによって定義されるカメラ基準系の座標とのこうしたマッピングは、多くの場合、非線形である。広角レンズは、魚眼レンズとも呼ばれる。カメラを製造した工場で定義される内部パラメータは、多くの場合、カメラのメモリユニットに格納された固定値を有する。

内部パラメータおよび外部パラメータは共に、世界における点の座標をカメラの画像センサの対応する点の座標に関連づけるために使用される。

カメラの外部パラメータを決定する方法を以下に記載する。方法は、カメラの画像センサによって較正対象の画像を検出するステップを含む。対象は通常、所定の形状を有しており、対象の識別を容易にする。対象は、モデル当てはめ技法を使用して画像から検出することができる。

外部カメラパラメータを決定するための他のアプローチは、幾つかのカメラからの複数の画像の特徴物をマッチングすること、または１つの移動するカメラからの複数の画像の特徴物をマッチングすることを含む。

カメラ較正に関する幾つかの刊行物を以下に記載する。

この説明には、一組の括弧に囲まれた数値識別子による識別が含まれる。例えば、そのような参考文献は、「参考文献［１］」または単に「［１］」と記載することにより識別される。複数の参考文献は、２つ以上の識別子を囲む一対の括弧、例えば「［２、４］」により識別される。各識別子に対応する刊行物のリストが、刊行物の説明の最後に示されている。

Ｂａｒｒｅｔｏの［１］は、放射方向歪みのある、またはないレンズ（屈折光学系）だけの場合に加え、ミラーとレンズの組合せ（反射屈折）も含む、単一の有効視点を持つ投影システムのための統一幾何学的表現を定義する。

Ａｎｄａｌoらの［２］は、単一画像を用いた有効な消失点検出器を提示する。この方法は、建築環境に適用され、自動セグメントクラスタリングを使用して、シーンの垂直方向と地平面の消失線を復元する。

Ｌｕｔｔｏｎらの［３］は、シーンの直交方向と局所消失点を検出する。このアルゴリズムは、２つのカスケードハフ変換に基づく。

Ｐａｌｍｅｒらの［４］は、古典的なハフ変換アルゴリズムを使用したシーン内の線分の検出を示す。蓄積時の円滑な投票カーネルを使用して画像における消失点が線の交点から決定され、後工程が、消失点アキュムレータにおけるサンプリング誤差を除去するために提供される。

Ｂａｒｒｅｔｏらの［５］は、広域に分布するカメラを較正するための方法の一例を提示する。視野間の対応は、カメラの前の様々な位置でＬＥＤを動かすことによって得られる点である。この方法は、複数の視野に亘る投影行列と径方向の歪みを同時に解消する。
Ｓｈｉｇａｎｇ Ｌｉらの文献「Ｅａｓｙ Ｃａｌｉｂｒａｔｉｏｎ ｏｆ ａ Ｂｌｉｎｄ−Ｓｐｏｔ−Ｆｒｅｅ Ｆｉｓｈｅｙｅ Ｃａｍｅｒａ Ｓｙｓｔｅｍ Ｕｓｉｎｇ ａ Ｓｃｅｎｅ ｏｆ ａ Ｐａｒｋｉｎｇ Ｓｐａｃｅ」は、車両の魚眼カメラを較正する方法を開示し、その方法では、駐車スペースの典型的な線パターンから地面に対する各カメラの姿勢をまず推定する。次いで、カメラの間の車両の相対的姿勢が、隣り合うカメラの間にある地面の重なっている領域を使用して改善される。
Ｄａｎｉｌｏ Ｃaｃｅｒｅｓ Ｈｅｒｎaｎｄｅｚらの文献「Ｖｉｓｉｏｎ−Ｂａｓｅｄ Ｈｅａｄｉｎｇ Ａｎｇｌｅ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ａｎ Ａｕｔｏｎｏｍｏｕｓ Ｍｏｂｉｌｅ Ｒｏｂｏｔｓ Ｎａｖｉｇａｔｉｏｎ」は、全方位カメラを使用することによる、路面を取り囲むエッジ情報と色情報に基づくリアルタイムガイダンスファジー理論アプリケーションを開示し、その結果、自律ナビゲーションシステムが、エッジ情報と色情報から特徴記述子を認識できるようになる。

Ｊｏａｏ Ｐ．Ｂａｒｒｅｔｏ．「Ａ Ｕｎｉｆｙｉｎｇ Ｇｅｏｍｅｔｒｉｃ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｃｅｎｔｒａｌ Ｐｒｏｊｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ １０３（３）、２０７〜２１７頁。２００６年９月。 ＦＡ Ａｎｄａｌo，Ｇ Ｔａｕｂｉｎ，Ｓ Ｇｏｌｄｅｎｓｔｅｉｎ．「Ｄｅｔｅｃｔｉｎｇ ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔｓ ｂｙ ｓｅｇｍｅｎｔ ｃｌｕｓｔｅｒｉｎｇ ｏｎ ｔｈｅ ｐｒｏｊｅｃｔｉｖｅ ｐｌａｎｅ ｆｏｒ ｓｉｎｇｌｅ−ｖｉｅｗ ｐｈｏｔｏｇｒａｍｍｅｔｒｙ」、Ｉｎｆｏｒｍａｔｉｏｎ Ｆｏｒｅｎｓｉｃｓ ａｎｄ Ｓｅｃｕｒｉｔｙ（ＷＩＦＳ）、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ、２０１０。 Ｅ．Ｌｕｔｔｏｎ，Ｈ．Ｍａｉｔｒｅ，Ｊ．Ｌｏｐｅｚ−Ｋｒａｈｅ、「Ｃｏｎｔｒｉｂｕｔｉｏｎ ｔｏ ｔｈｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ Ｖａｎｉｓｈｉｎｇ Ｐｏｉｎｔｓ Ｕｓｉｎｇ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｒｃｈｉｖｅ、１９９４。 Ｐ．Ｐａｌｍｅｒ ａｎｄ Ａ．Ｔａｉ、「Ａｎ Ｏｐｔｉｍｉｓｅｄ Ｖａｎｉｓｈｉｎｇ Ｐｏｉｎｔ Ｄｅｔｅｃｔｏｒ」、Ｂｒｉｔｉｓｈ Ｍａｃｈ．Ｖｉｓ．Ｃｏｎｆ．、１９９３，５２９〜５３８頁。 Ｊｏａｏ Ｐ．Ｂａｒｒｅｔｏ ａｎｄ Ｋｏｓｔａｓ Ｄａｎｉｉｌｉｄｉｓ、「Ｗｉｄｅ Ａｒｅａ Ｍｕｌｔｉｐｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ ａｎｄ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｒａｄｉａｌ Ｄｉｓｔｏｒｔｉｏｎ」、Ｉｎｔ．Ｗｏｒｋ．ｏｎ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｖｉｓｉｏｎ、Ｃａｍｅｒａ Ｎｅｔｗｏｒｋｓ， ａｎｄ Ｎｏｎ−ｃｌａｓｓｉｃａｌ Ｃａｍｅｒａｓ、Ｐｒａｇｕｅ、２００４年５月。

本出願の目的は、カメラの較正パラメータを決定する改良された方法を提供することである。

こうした較正パラメータは、内部パラメータと外部パラメータとを含み、それらは、カメラの特性を記述するために使用される。

本出願は、車両の少なくとも２つのカメラを較正する方法を提供する。車両は、人や物資の輸送に使用される。カメラについては、車両の部品に固定されている。一般的な意味では、カメラは、車両の前部、両側部、または後部に取り付けることができる。カメラはまた、カメラが撮影する画像または写真が共通の被写体を有するように、車両が配置された領域のシーンに向けられている。換言すると、カメラの画像は、重なり合っている。

方法は、各カメラがシーンの画像を撮影するステップを含む。この方法は、他の方法とは異なり、機能するためには１つのカメラ画像しか必要としない。

次いで、カメラ画像の特徴物に従って車両の地平面が決定される。地平面とは、車両が載っている地面を指す。地面は、車両を支持している。

次いで、車両の基準系の原点が、決定された地平面上に位置するものとして定義される。車両基準系は、交点を有する３つの直交軸を含むことができ、原点は交点に配置される。

一般に、基準系は、参照系とも呼ばれる。車両基準系は、車両の位置と向きを記述する。基準系は通常、座標系の形態で提供される。

この後、カメラ基準系の場所を対応する車両基準系の場所と揃えるために、基準系の並進が決定される。一例において、並進は、カメラ基準系の原点を車両基準系の原点と揃えるように作用する。

次いで、カメラ基準系の並進のこの決定が、カメラの較正対象の画像と、１つ以上の他のカメラの較正対象の画像に従って実施される。これら他のカメラは、第１のカメラの近傍に備え付けられている。

車両におけるカメラの最初の場所または以前の場所は、多くの場合既知である。

この方法には、幾つかの利点がある。

この方法は、カメラの外部パラメータを決定または計算するために、各カメラからのシーンの画像の単一のフレームしか必要としない。これは、１つのカメラからの複数の画像を使用してその複数の画像からカメラ較正パラメータを導出する、他の複雑な方法とは異なる。こうした複数の画像からカメラ位置情報を決定することはそれでも可能であるが、こうした画像からカメラの倍率情報を決定することは困難である。

この方法は、単一のフレームしか必要としないため、リアルタイムでも機能し得る。カメラの倍率情報は、サラウンドビューシステムにおけるカメラ位置の知見から得ることができる。

この方法は更に、カメラのずれを補正するように作用する。換言すると、この方法は、カメラ位置の変化またはずれに影響されない。カメラ位置は、カメラハウジングの劣化や車両のタイヤ空気圧の低下といった要因のために、変化する可能性がある。カメラが自動車のバンパーに埋め込まれている場合、カメラ位置は、自動車と別の車両との衝突によってずれる可能性がある。その一方、固定された較正対象を使用する他の方法は、カメラ位置の変化の影響を受ける。このような方法は、較正対象の位置の変化にも影響される。レーザーによる投影によって提供される較正対象の位置でさえも、時間とともに変化する可能性がある。そのため、これら他の方法は、カメラの位置の変化および対象の位置の変化を補償するために、所定の間隔で再び実施する必要があり、それによって追加のリソースが消費される。

一般的な意味では、この方法は、ビデオシーケンスまたは画像シーケンスに拡張することができる。

一般的な意味では、特徴物は、画像の画素もしくは点、エッジ、および／または線を含むことができる。

同様に、較正対象は、画像の画素もしくは点、エッジ、および／または線を含むことができる。

車両の地平面の決定は、地平面のレベルを決定するステップを含むことができる。地平面は通常は水平なので、地平面を定義するには、地平面のレベルがわかれば十分である。

車両の地平面の決定は、ハフアキュムレータアルゴリズムを使用して行うことができる。

ハフアキュムレータアルゴリズムは、ハフアキュムレータのピークと、法線ベクトルとカメラの軸との間の最小角度を選択するステップを含むことができる。

カメラの基準系の並進を決定するステップは、スケール及び回転不変マッチングアルゴリズムを使用してカメラからの較正対象の画像をマッチングするステップと、較正対象のマッチングの何らかの不一致を使用して現在のカメラの位置を決定するステップとを含むことができる。

方法は、カメラ基準系の向きを車両基準系の向きと揃えるために、カメラの基準系の回転を決定するステップを更に含むことができる。

このカメラ基準系の回転の決定は、多くの場合、車両のカメラの最初の外部較正から導出される。最初のカメラ外部較正は、カメラを備える車両を製造した工場で行うことができる。

本出願は、コンピュータプログラム製品を更に提供する。コンピュータプログラム製品は、コンピュータが実行可能なプログラムコード指令が格納されたコンピュータ可読媒体を含む。

コンピュータが実行可能なプログラムコード指令は、カメラ画像を受信し、カメラ画像の特徴物に従って車両の地平面を決定し、車両の基準系の原点を決定された地平面上に位置するものとして定義し、カメラ基準系の場所を対応する車両基準系の場所と揃えるために、カメラ基準系の並進を決定するためのプログラムコードを定義する。

本出願は、カメラ制御ユニットを更に提供する。カメラ制御ユニットは、２つ以上のカメラポートと、デジタルプロセッサとを含む。

特に、各カメラポートは、車両の対応するカメラと接続することを意図している。車両は、人や物資の輸送に使用される。カメラは、シーンの少なくとも１つの画像を撮影するために備え付けられている。

プロセッサは、カメラポートから画像データを受信するために、カメラポートと接続することを意図している。

使用時には、カメラポートは、カメラの前に位置するシーンの画像のデータを受信するように適合または構成されている。

プロセッサは、それぞれのカメラポートからのシーンの１つ以上の画像のデータの特徴物に従って車両の地平面を決定するように適合されている。特徴物は、カメラ画像の点、画素、または線とすることができる。

次いで、プロセッサは、車両の基準系の原点を決定された地平面上に位置するものとして定義する。地面は、車両基準系にとって本質的に安定した一定の基準を提供し、それは、車両よりも安定しているか恒常的である。車両は、例えば、車両のタイヤ空気圧の変化により、位置がずれる可能性がある。

プロセッサは、その後、カメラ基準系の場所を対応する車両基準系の場所と揃えるために、画像データを提供するカメラの基準系の並進を決定する。

カメラ基準系の並進の決定は、１つのカメラポートからの較正対象の画像データと、別のカメラポートからの較正対象の別の画像データに従って実施される。各カメラポートは、車両に搭載された１つのカメラと接続されている。

本出願の異なる態様を、以下に示す。

特徴物は、画像の点、エッジ、または線からなる群から選択される１つ以上の被写体とすることができる。

プロセッサは多くの場合、ハフアキュムレータアルゴリズムを使用して車両の地平面を決定するように更に適合されている。

本出願の一態様において、プロセッサは、カメラ基準系の向きを車両基準系の向きと揃えるために、カメラの基準系の回転を決定するように更に適合されている。

本出願は更に、カメラモジュールを提供する。カメラモジュールは、２つ以上のカメラと、上記のカメラ制御ユニットとを含む。カメラは、車両に取り付けることを意図している。カメラ制御ユニットは、それぞれのカメラに接続されるカメラポートを含む。

本出願は、上述のカメラモジュールを備えた車両を更に提供し、カメラモジュールのカメラとプロセッサが車両に取り付けられている。

要するに、本出願は、車両の複数のカメラの外部パラメータを決定する改良された方法を提供する。これらのカメラは、サラウンドビューシステムの一部である。

車両は、人や物資の輸送を意図したものである。車両は更に、被写体を有する領域の地面上に配置されている。カメラは、車両に接続され、固定される。カメラは更に、カメラが撮影したまたは捉えた画像が共通の部分または重なり合った部分を有するように、領域の被写体に向けられている。

方法は、各カメラが領域のシーンの画像を撮影するステップを含む。換言すると、各カメラは、シーンの被写体の写真フレームを記録する。これらの画像は、共通の被写体を有する。

この後、画像内の線に従って、地面の高さまたはレベルが推定または決定される。地面は多くの場合水平な平面に配置されているので、地面のレベルも本質的に地面を定義する。

一般的な意味では、画像中の特徴物は、画像中の上記の線を置き換えることができる。特徴物の例としては、画像の画素もしくは点、エッジ、または線が挙げられる。線の一例は、路面表示である。

次いで、車両の基準系が、決定された地面上に配置されているものとして定義される。

これに続き、カメラの向きを定義された車両基準系の向きと揃えるために必要な各カメラの回転が決定される。

定義された車両基準系を用いてカメラを位置決めするために必要な各カメラの並進が、その後決定される。これは、カメラの画像における共通の特徴物を識別するステップによって行われる。次いで、共通の特徴物を使用して、カメラの相対位置が決定される。この後、定義された車両基準系内のすべてのカメラを位置決めするために必要なカメラの並進が決定される。

カメラの上記回転および並進を使用し、車両基準系を基準にしてカメラの基準系を記述することができる。

次いで、カメラの並進と回転が、カメラの外的パラメータとして機能する。

図１は、サラウンドビューシステムを備えた車両を示し； 図２は、基準系を備えた図１の車両を示し； 図３は、図１の車両のカメラの外部パラメータを決定する方法のフローチャートを示し； 図４は、図１の車両のカメラによって捉えられたシーンの画像を示し； 図５は、図３のカメラに対応する計算モデルとして作用する単位球を示し； 図６は、図４の画像の点であって、単位球の表面に投影された点を含む図５の単位球を示し； 図７は、画像の投影された点を通る線上に配置された消失点を示す。

以下の説明において、本出願の実施形態を説明するための詳細を提供する。しかしながら、そのような詳細なしに実施形態を実施することができることは、当業者には明らかである。

実施形態の部品の中には、同様の部品を有するものがある。同様の部品には同じ名前または類似の部品番号が付いている場合がある。１つの同様の部品の説明は、適宜、別の同様の部品を参照することによって適用され、それにより、本開示を限定することなく、本文の繰り返しを少なくする。

図１は、サラウンドビューシステム３を備えた車両１を示す。サラウンドビューシステム３は、４つのデジタルカメラ５と、カメラ５に電気的に接続されたプロセッサ７とを含む。

車両１は、被写体を含む領域の地面９上に位置している。地面９は、水平な平面を有する。被写体は、この図には示されていない。

図２に見られるように、車両１は、前輪軸を有する。前輪軸の平面への投影は、地平面を定義する働きをする。車両１は、座標系１３を有する基準系１２を更に有する。座標系１２は、３つの直交軸１４、１６、及び１８と、原点２０とを含む。

原点２０は、これら３つの直交軸１４、１６、及び１８の交点に位置する。

直交軸は、ｘ軸１４、ｙ軸１６、及びｚ軸１８を含む。ｘ軸１４は、車両１の後部を指している。ｙ軸１６は、車両１の右側を指している。ｚ軸１８は、上方を指している。

４つのカメラ５については、車両１の所定位置に位置しており、車両１に対するカメラ５の相対位置は既知であるか、または予め定められている。カメラ５は、領域のシーンに向けられているか、またはその方向を指している。カメラ５の画像は重なり合っているか、共通の被写体または特徴物を有している。

一般的な意味では、サラウンドビューシステム３は、４つのカメラの代わりに２つ以上のカメラを有することができる。

機能的には、車両１は、人や物資を輸送するために使用される。カメラ５は、被写体の写真または画像を撮影し、画像のデータをプロセッサ７に送るために使用される。プロセッサ７は、画像データを加工するために使用される。

図３は、以下に説明する車両１の各カメラ５の外部パラメータを決定する方法のフローチャート２５を示す。

外部パラメータは、各カメラ５の基準系を定義する。特に、外部パラメータは、カメラ基準系の向き及び場所を車両基準系１２の向き及び場所と揃えるために、カメラの５の回転と並進とを含む。

フローチャート２５は、車両１が位置する領域のシーンの単一の画像または１つの写真フレームを各カメラ５が撮影するステップ２８を含む。カメラ５のシーンの画像２９を図４に示す。

一般的な意味では、カメラ５は、一連の画像を含むビデオ録画を行ってもよい。その場合、この方法は、ビデオ録画の１つの画像のみに適用される。

次いで、画像データは、プロセッサ７に送られる。

フローチャート２５は、ステップ２８の後に行われる、プロセッサ７が車両１の地面９または地平面のレベルを決定するステップ３１を更に含む。その後、車両１の地平面が、画像内の線に従って推定または決定される。

焦点距離及び他のレンズパラメータを含むカメラ５の内部パラメータが、プロセッサ７によって、カメラ５の画像の点３２をカメラ５のレンズを通過する対応する光線にマッピングする、または関連づけるために使用される。各点３２は、カメラ５の画像センサ画素に対応する。

次いで、プロセッサ７により、カメラ５の外からカメラレンズを通って入射するこれらの光線を表すために単位ベクトルが選択される。単位ベクトルは更に、図５に示す単位球３５を定義する。各単位球３５が、１つのカメラ５に関連する。

次いで、プロセッサ７により、図６に示すように像点３２が単位球３５上にマッピングまたは投影される。特に、画像の線のエッジの各点３２が、単位球３５上に投影される。

次いで、プロセッサ７は、ソフトウェアエッジ検出器を使用して単位球３５上の各画像における線を決定する。

詳細には、単位球３５上の４つの像点ごとに単位球３５の表面上の一組の円線が定義される。

球面３７上の１つの円を定義するには、２つの像点で十分である。

次いで、４つの像点が、球面３７上の少なくとも２つ１組の円を定義する。この組は、２つの円が２つの点で交差することを特徴とし、それらの交点は、図７に示すように、消失点を定義するための候補として機能することができる。消失点は、これらの交点を通過する線の交点に配置される。

球面の４つの円が、単位球３５を通る平面Ｐを定義する４つの交点ｉ１、ｉ２、ｉ３、およびｉ４を提供する。従って、単位球３５を通る平面を定義するための交点の最小数は、４である。

均質表現を使用すると、３Ｄ（三次元）空間における平面は、

次いで、この３つの可能な平面が、ハフ空間に蓄積される。

ハフアキュムレータの１つのピークと、法線ベクトルとカメラのｙ軸１６との間の最小角度が、プロセッサによって後に選択され、地面となる。選択されたピークは、おそらく最も高い強度を有する。

一般的な意味では、特徴物は線であり得、特徴物は点、エッジ、または線を含む。

フローチャート２５は、ステップ２８の後かつステップ３１の後に実施される、プロセッサ７が車両基準系１２の原点２０を、決定された車両１の地平面上に位置するものとして定義するステップ４０を更に含む。

特に、原点２０とｙ軸１６は地面９の線上に位置し、この線は地平面上の車両１の前輪軸の垂直投影によって定義される。

上記ステップ４０の後に、プロセッサ７が、カメラ基準系の向きを車両基準系１２の向きと揃えるために、カメラ基準系の回転を計算または決定するステップ４５が続く。

このカメラ基準系の回転は、カメラ基準系の回転を含む最初のカメラ外部較正から導出することができる。最初のカメラ外部較正は、通常はカメラ５を備える車両を製造した工場で行われる。

詳細には、車両基準系における地平面に対する法線は、

行列Ｒはその後、各軸の回転を得るために分解される。

フローチャート２５は、ステップ４５の後に、プロセッサ７が、カメラ基準系の場所を車両基準系１２の場所と整列列させるために、各カメラ基準系の並進を計算または決定するステップ５０を含む。

このステップ５０は、カメラ５の画像の較正機能を使用して行われる。

実際には、カメラ５の位置は時間とともに変化し得る。このステップ５０は、カメラの場所の変化を決定することにより、カメラ５のより正確な場所を提供することを意図している。

このカメラ位置の変化の計算は、回帰技術を用いて行われる。

車両１に対するカメラ５の位置および車両１の寸法は、予め知られているか、決定されている。

その後、プロセッサ７は、コーナー検出アルゴリズムを使用して、カメラ５の各画像における一組の較正点を検出または決定する。所定の較正点の組は、線の切り取り、または他の方法を用いて決定することもできる。

その後、プロセッサ７は、以前決定されたカメラ基準系の回転を使用すると共に、カメラ基準系の最初の並進を決定するために使用される前回記録したカメラ位置を使用して、これら検出された較正点を車両基準系１２に投影する。

プロセッサ７は更に、隣接するカメラ５からの較正点を車両基準系に投影する。

その後、プロセッサ７は、スケールと回転不変マッチングアルゴリズムを使用して、前記カメラ５からの投影された較正点を、隣接するカメラ５からの投影された較正点とマッチングする。

次いで、較正点のマッチングの何らかの誤差が、それぞれのカメラ５の新しい場所を推定または決定するために使用される。

一般的な意味では、ロボットやマシンビジョンなどの他の装置もカメラ５のこの較正方法を適用することができる。

上記の説明は多くの特異性を含むが、これは実施形態の範囲を限定するものと解釈すべきではなく、予見可能な実施形態の説明を提供するに過ぎない。上述した実施形態の利点は、とりわけ実施形態の範囲を限定するものとして解釈すべきではなく、記載された実施形態が実施される場合に可能な成果を説明するものと解釈すべきである。したがって、実施形態の範囲は、与えられた例ではなく、請求項およびその均等物によって決定すべきである。

１ 車両
３ サラウンドビューシステム
５ カメラ
７ プロセッサ
９ 地面
１２ 基準系
１３ 座標系
１４ ｘ軸
１６ ｙ軸
１８ ｚ軸
２０ 原点
２５ フローチャート
２８ ステップ
２９ 画像
３１ ステップ
３２ 像点
３５ 単位球
３７ 球面
４０ ステップ
４５ ステップ
５０ ステップ
ｉ１ 交点
ｉ２ 交点
ｉ３ 交点
ｉ４ 交点

Claims (14)

1. 車両のカメラを較正する方法であって、
   − 各カメラ（２８）によりシーンの画像を撮影することと、
   − 前記画像（３１）の特徴物に従って前記車両の地平面を決定することと、
   − 前記車両の基準系の原点を前記地平面（４０）上に位置するものとして定義することと、
   − 前記カメラの基準系の前記車両基準系（４０、４５、５０）における並進を決定することを含み、
   − 前記カメラ基準系の前記並進の決定が、前記カメラからの較正対象の画像と、前記カメラの近傍に備え付けられ前記車両（５０）に搭載された少なくとも１つの他のカメラからの較正対象の画像に従って実施され、前記画像（３１）の特徴物に従って前記車両の地平面を決定するステップが、前記画像中の一組のエッジ点の内の４点のサブセットを決定することによる消失点の検出と、その４点からの３つの平面の導出と、それに続く、全ての導出された当該平面が表現され蓄積されているハフ空間における、車両の地平面の選択と
   を含むことを特徴とする、方法。
2. − 前記特徴物（複数）が、前記画像の点、エッジまたは線からなる群から選択される少なくとも１つの被写体を含む、請求項１に記載の方法。
3. − 前記較正対象が、前記画像の点、エッジまたは線なる群から選択される少なくとも１つの被写体を含む、請求項１または２に記載の方法。
4. − 前記車両（３１）の前記地平面の決定が、前記地平面の高さを決定することを含む、請求項１から３のいずれか一項に記載の方法。
5. − 前記車両（３１）の前記地平面の決定が、ハフアキュムレータアルゴリズムを使用して行われる、請求項１から４のいずれか一項に記載の方法。
6. − 前記カメラ基準系（５０）の前記並進の前記決定が、
   − スケールと回転不変マッチングアルゴリズムを使用して前記カメラからの前記較正対象の前記画像をマッチングすることと、
   − 前記較正対象の前記マッチングの何らかの不一致を使用して前記カメラの位置を決定することを含む、請求項１から５のいずれか一項に記載の方法。
7. − 前記カメラ基準系の向きを前記車両基準系（４５）の向きと揃えるために、前記カメラの基準系の回転を決定することを更に含む、請求項１から６のいずれか一項に記載の前記方法。
8. − 前記カメラ基準系（４５）の前記回転の前記決定が、前記車両の前記カメラの最初の外部較正から導出される、請求項７に記載の方法。
9. − コンピュータが実行可能なプログラムコード指令であって、
   − カメラ画像を受信し、
   − 前記カメラの画像の特徴物に従って車両の地平面を決定し、
   − 前記車両の基準系の原点を前記地平面上に位置するものとして定義し、
   − 前記カメラの基準系の前記車両基準系における並進を決定するためのプログラムコード指令を含み、前記画像の特徴物に従って車両の地平面を決定するためのプログラムコード指令が、前記画像中の一組のエッジ点の内の４点のサブセットを決定することによる消失点の検出と、その４点から３つの平面の導出と、それに続く、ハフ空間に表現される全ての導出された当該平面の蓄積と、当該ハフ空間における地平面の選択と
   のためのプログラムコード指令を含むことを特徴とするコンピュータが実行可能なプログラムコード指令が格納されたコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。
10. − 少なくとも２つのカメラポートであって、それぞれ対応する車両カメラに接続され取り付けるように設けられたポートと、
    − 前記少なくとも２つのカメラポートからの画像データを処理するプロセッサ（７）を備え、
    前記プロセッサ（７）が、
    − 前記カメラポートの少なくとも１つからの前記画像データの特徴物に従って車両の地平面を決定し、
    − 前記車両の基準系の原点を前記地平面上に位置するものとして定義し、
    − 前記カメラの基準系の前記車両基準系における並進を決定するように適合され、
    前記カメラ基準系の前記並進の決定が、１つのカメラポートからの較正対象の画像データと別のカメラポートからの前記較正対象の画像データに従って実施され、前記画像（３１）の特徴物に従って前記車両の地平面を決定するステップが、前記画像中の一組のエッジ点の内の４点のサブセットを決定することによる消失点の検出と、その４点からの３つの平面の導出と、それに続く、ハフ空間に表現される全ての導出された当該平面の蓄積と、当該ハフ空間における地平面の選択と
    を含むことを特徴とする、カメラ制御ユニット。
11. − 前記プロセッサが、ハフアキュムレータアルゴリズムを使用して前記車両の前記地平面を決定するように更に適合されている、請求項１０に記載のカメラ制御ユニット。
12. − 前記プロセッサが、前記カメラ基準系の向きを前記車両基準系の向きと揃えるために、前記カメラの基準系の回転を決定するように更に適合されている、請求項１０または１１に記載のカメラ制御ユニット。
13. − 車両（１）に取り付けるための少なくとも２つのカメラ（５）と、
    − 請求項１０から１２のいずれか一項に記載のカメラ制御ユニットであって、カメラポートが前記カメラ（５）に接続されているカメラ制御ユニットを備える、カメラモジュール。
14. − 請求項１３に記載のカメラモジュールを備える車両であって、
    少なくとも２つのカメラ（５）と、前記カメラモジュールのプロセッサ（７）が取り付けられている、車両（１）。

Images