JP5079779B2 - カメラ較正方法、カメラ較正装置 - Google Patents

Description

本発明は、カメラ較正方法及び該カメラ較正方法を行う際に適したカメラ較正装置に関する。

カメラで撮像した画像データから実空間上に存在する対象物の位置を把握する立体視システムによりカメラで撮像した画像から３次元の実空間に存在する対象物の位置を計測するにあたっては、カメラ較正（キャリブレーション）を行い、画像と実空間上の方向との関係を正確に知る必要がある。レンズにより画像歪みや入射光線が一点で交差しないなどの現象があるため、非ピンホール性まで考慮したカメラ較正を行う必要がある。このようなカメラ較正装置に関しては、例えば、特許文献１に開示されている。

そのカメラ較正装置は、カメラの前方に配置される点光源の位置をＸＹＺ軸上で変化させる回転ステージと各軸上での点光源の位置を検出する手段を備えている。点光源像が画素の中央となるように回転ステージを回転動作させる作業を、点光源をカメラに対して遠近方向に移動させて２度行うことにより、点光源からの入射光線の軌跡を推定して、カメラ較正を行い、カメラの内部パラメータを設定している。

特開２００４−４８３９９号公報

しかしながら、上記特許文献１に開示されたカメラ較正方法においては、１画素ごとに入射光線の軌跡を推定する必要があるので、カメラ較正に非常に長時間を要していた。具体的には、１画素について点光源像を画素の中央に移動させる作業が１秒程度かかるので、６４０×４８０画素のカメラを較正する場合、１台のカメラの較正に約７日も必要となる。さらに、立体視システムでは複数台のカメラを用いるため、その台数倍の時間がかかることになる。

これほどの長時間をかけてカメラ較正を行うことは実用上不可能であり、通常のカメラでは数画素の範囲内であれば線形補間を行うことが可能であるので、数画素間隔でカメラ較正を行い、その間の画素に関しては線形補間を行っている。しかし、それでも、例えば５画素間隔で６４０×４８０画素のカメラを較正する場合、１台のカメラの較正に約７時間も必要となる。間引き間隔を大きくすると精度が低下するので、これ以上の間引きにより短時間化を図ることは実際上不可能である。そのため、このように長時間を要するカメラ較正方法は、大量生産されるカメラに対応することができない。

また、上記特許文献１に開示されたカメラ較正方法においては、フィードバックループによる収束処理を用いて画素ごとに入射光線の軌跡を推定しているので、入射光線の向きに対応する画素が複数存在すると収束しないことがある。例えば極端に歪んだシールドや複眼のレンズを備えたカメラの場合、同じ入射光線に対応する画素が複数存在する。

本発明は、かかる背景に鑑みてなされたものであり、短時間で高精度に非ピンホール性まで考慮したカメラ較正を行うことが可能なカメラ較正方法を提供することを目的とする。

また、本発明は、同じ入射光線に対応する画素が複数存在する場合を含む一般の光学系を扱うことができる汎用性のあるカメラ較正を行うことが可能なカメラ較正方法を提供することを目的とする。

また、本発明は、本発明のカメラ較正方法を行う際に適したカメラ較正装置を提供することを目的とする。

本発明のカメラ較正方法は、かかる目的を達成するために、各画素への入射光線の軌跡を推定することによりカメラの内部パラメータを決定するカメラ較正方法であって、線光源の長手方向とは異なる方向に、基準位置に対して相対的に前記線光源を移動させ、前記線光源からの入射光線を前記画素が撮像したときにおける前記線光源の位置を前記各画素ごとに記憶する第１の線光源移動ステップと、前記線光源の長手方向とは異なり且つ前記第１の線光源移動ステップにおける方向とは異なる方向に、前記基準位置に対して相対的に前記線光源を移動させ、前記線光源からの入射光線を前記画素が撮像したときにおける前記線光源の位置を前記各画素ごとに記憶する第２の線光源移動ステップと、前記各画素ごとに、前記第１及び第２の線光源移動ステップでそれぞれ記憶した前記線光源の位置との距離が最小となる直線を、当該画素に対する入射光線の軌跡と推定する軌跡推定ステップとを備えることを特徴とする。

なお、基準位置は、所定の点、線、面など、例えば、カメラやその固定用部材の所定の点、線、面などである。また、線光源は、線状であればよく、直線状の他、円弧、円などの曲線状であってもよい。また、線光源を移動させるには、線光源を物理的に移動させることに限定されず、フラットパネルディスプレイ（ＦＰＤ）などの表示装置上で発光する素子を線状に経時的に変化させてもよく、スクリーン上に投射された線状に輝度高い部分を経時的に変化させてもよい。

本発明のカメラ較正方法によれば、入射光線の基点の広がりが十分に小さく且つ既知であれば、第１及び第２の線光源移動ステップにおいて、少なくとも線光源の長手方向と異なる２方向に基準位置に対して相対的に線光源を２回移動させるだけで、カメラの各画素について入射光線の軌跡を推定することができる。これは、入射光線の基点が特定されていれば、入射光線を通る２本の線を特定できれば、入射光線の軌跡を推定することができることによる。

しかし、入射光線の基点の広がりが十分に小さく且つ既知でなければ、入射光線を推定するためには、入射光線を通る少なくとも４本の線を特定する必要がある。

そこで、本発明のカメラ較正方法において、前記線光源の長手方向とは異なる方向に、前記第１及び第２の線光源移動ステップにおける前記基準位置との距離が異なる状態で前記基準位置に対して相対的に前記線光源を移動させ、前記線光源からの入射光線を前記画素が撮像したときにおける前記線光源の位置を前記各画素ごとに記憶する第３の線光源移動ステップと、前記線光源の長手方向とは異なり且つ前記第３の線光源移動ステップにおける方向とは異なる方向に、前記第１及び第２の線光源移動ステップにおける前記基準位置との距離が異なる状態で前記基準位置に対して相対的に前記線光源を移動させ、前記線光源からの入射光線を前記画素が撮像したときにおける前記線光源の位置を前記各画素ごとに記憶する第４の線光源移動ステップとを備え、前記軌跡推定ステップにおいて、前記各画素ごとに、前記第１から第４の線光源移動ステップでそれぞれ記憶した前記線光源の位置との距離が最小となる直線を、当該画素に対する入射光線の軌跡と推定することが好ましい。

この場合、少なくとも線光源の長手方向と異なる２方向に基準位置に対して相対的に線光源を４回移動させるだけで、カメラの各画素について入射光線の軌跡を推定することができる。

そのため、上記特許文献１に開示されたカメラ較正方法のように、１画素ごとに入射光線の軌跡を推定する場合と比べて、カメラの較正時間が非常に短縮される。また、複数台のカメラを同時に、あるいは複数の色成分の較正を同時に行うことも可能である。そのため、これによっても、カメラの較正時間が非常に短縮される。

さらに、カメラの各画素ごとに入射光線の軌跡が通る４本の線を特定しているので、上記特許文献１に開示されたカメラ較正方法と同様に、非常に高精度の較正を行うことができる。

さらに、収束処理を用いて入射光線の軌跡を推定しないので、１本の入射光線に対応する画素が複数存在する場合を含む一般の光学系を扱うことができ、汎用性に富む。

また、本発明のカメラ較正方法において、前記第１から第４の線光源移動ステップにおいて、前記画素の受光強度が最大であるときにおける前記線光源の位置を、前記線光源からの入射光線を当該画素が撮像したときにおける前記線光源の位置として記憶することが好ましい。この場合、画素が撮像したときにおける線光源の位置を簡易に求めることができる。

また、本発明のカメラ較正方法において、前記第１及び第２の線光源移動ステップにおいて、前記基準位置と線光源との間の距離が第１の距離となる状態を保ちながら、前記線光源を前記基準位置に対して相対的に移動させ、前記第３及び第４の線光源移動ステップにおいて、前記基準位置と前記線光源との間の距離が前記第１の距離と異なる第２の距離となる状態を保ちながら、前記線光源を前記基準位置に対して相対的に移動させることが好ましい。

そして、この場合、前記基準位置が面である場合、前記軌跡推定ステップにおいて、前記各画素ごとに、前記第１及び第２の線光源移動ステップで記憶した２本の前記線光源の交点と前記第３及び第４の線光源移動ステップで記憶した２本の前記線光源の交点とを通る直線を、当該画素に対する入射光線の軌跡と推定することが好ましい。この場合、上記特許文献１に開示されたカメラ較正方法と同様に、非常に高精度の較正を行うことができる。

また、本発明のカメラ較正方法において、前記軌跡推定ステップにおいて、前記第１及び第２の線光源移動ステップでそれぞれ記憶した前記線光源の位置の最近点の中点と前記第３及び第４の線光源移動ステップでそれぞれ記憶した前記線光源の位置の最近点の中点を通る直線を初期値として、前記線光源の４つの位置との距離の自乗和が最小となるように前記入射光線の軌跡を探索することが好ましい。この場合、入射光線の軌跡を素早く推定することができる。

本発明のカメラ較正装置は、各画素への入射光線の軌跡を推定することによりカメラの内部パラメータを決定するカメラ較正装置であって、基準位置と線光源との間の距離が等しい状態を保ちながら、前記基準位置に対して相対的に前記線光源を移動可能な移動部と、前記状態を保ちながら、前記基準位置に対して相対的に前記線光源を回転可能な回転部と、前記距離を変更可能な距離変更部とを備えることを特徴とする。

なお、移動部は、基準位置に対して相対的に線光源を平行移動可能であることが好ましいが、これに限定されず、基準位置に対する線光源の位置を認識することが可能であれば、回転移動などを含め任意に移動可能なものであってもよい。

本発明のカメラ較正装置によれば、基準位置と線光源との間の距離が等しい状態を保ちながら、基準位置に対して相対的に線光源を移動させることが移動部により可能であり、前記状態を保ちながら、基準位置に対して相対的に線光源を回転させることが回転部により可能であり、前記距離を変更することが距離変更部により可能となっている。そのため、本カメラ較正装置を用いることにより、本発明のカメラ較正方法を容易に行うことが可能となる。

また、本発明のカメラ較正装置は、前記回転部は、前記基準位置に対して相対的に前記線光源を９０度回転可能である。この場合、第１及び第２の線光源移動ステップにおいて９０度異なる２方向に基準位置に対して相対的に線光源が移動するため、第３の線光源移動ステップにおいて、直交する線光源の交点を求めることになるので、求めた交点の精度が向上し、カメラの内部パラメータをより高精度に決定することができる。

また、本発明のカメラ較正装置は、前記線光源は、長手方向が平行に複数配設されている。この場合、第１及び第２の線光源移動ステップにおいて、基準位置に対して相対的に線光源を平行移動させる距離が短縮可能であるので、カメラの内部パラメータをより短時間で決定することができる。

本発明のカメラ較正方法の原理を説明する説明図。 本発明のカメラ較正装置に係る一実施形態を示す概略斜視図。 本発明のカメラ較正方法の一実施形態に係る手順を示すフローチャート。

以下、本発明のカメラ較正方法の原理を図１を参照して説明する。

カメラが撮像した画像は、ある画素について考えると、カメラの特定の基点Ｐ０に特定の方向から直線的に入射した入射光の輝度を撮像したものである。カメラのレンズへの入射光は、広がりを有する光束であり、直線とはならない。しかし、レンズを絞った極限を考えると、光束は主光線と呼ばれる直線となる。さらに、立体視による３次元計測などの画像計測ではレンズの内部をどのように入射光が通過するかは無関係であり、レンズに入射される前の入射光だけを考慮すれば十分である。従って、以降、入射光はレンズに入射される前の主光線（以下、入射光線という）であるとして説明する。

入射光線が通る３次元空間上の２点が特定できれば、その２点を通る直線として入射光線の軌跡を特定できる。上記特許文献１ではこれにより入射光線の軌跡を特定している。

他に、入射光線上を通る互いに独立な４本の線Ｌ１，Ｌ２，Ｌ３，Ｌ４が特定できれば、その４本の線を通る直線として入射光線の軌跡Ｓを特定できる。現実的には、測定誤差や信号誤差などの誤差が存在するため、４本の線Ｌ１，Ｌ２，Ｌ３，Ｌ４を通る直線は通常存在しないので、４本の線Ｌ１，Ｌ２，Ｌ３，Ｌ４との距離が最小となる直線を入射光線の軌跡Ｓとして推定する。なお、線は４本以上であればよく、線の本数が増すほど入射光線の軌跡Ｓの推定精度が向上する。

以下、本発明のカメラ較正方法を図１を参照して説明する。

第１の線光源移動ステップにおいて、長さ方向に略一様な輝度を有する線光源を、その長手方向と異なる方向に、基準位置（例えば、カメラの所定の固定点、固定面）に対して相対的に移動させ、線光源からの入射光線を画素が撮像したときにおける線光源の位置を各画素ごとに記憶する。線光源像が画素をよぎり、画素の受光強度が最大になったとき、線光源からの入射光線が画素の中央に到達していることになる。なお、サンプリングのタイミングによって受光強度が最大の位置が真の最大受光強度の位置とは一致しないことがあるので、サンプリングした複数の信号強度から最大受光強度を推定することにより、最大受光強度の位置精度を向上させることができる。例えば、ある特定の画素の受光強度が最大になったときの線光源の位置を推定線光源ラインＬ１として記憶する。

次に、第２の線光源移動ステップにおいて、線光源の長手方向とは異なり且つ第１の線光源移動ステップにおける方向とは異なる方向に、線光源を基準位置に対して相対的に移動させ、線光源からの入射光線を画素が撮像したときにおける線光源の位置を各画素ごとに記憶する。例えば、前記特定の画素の受光強度が最大になったときの線光源の位置を推定線光源ラインＬ２として記憶する。

次に、第３の線光源移動ステップにおいて、線光源の長手方向とは異なる方向に、第１の線光源移動ステップにおける基準位置との距離とは異なる距離となる状態で、線光源を基準位置に対して相対的に移動させ、線光源からの入射光線を画素が撮像したときにおける線光源の位置を前記各画素ごとに記憶する。例えば、前記特定の画素の受光強度が最大になったときの線光源の位置を推定線光源ラインＬ３として記憶する。

次に、第４の線光源移動ステップにおいて、線光源の長手方向とは異なり且つ第３の線光源移動ステップにおける方向とは異なる方向に、第１の線光源移動ステップにおける基準位置との距離とは異なる距離となる状態で、線光源を基準位置に対して相対的に移動させ、線光源からの入射光線を画素が撮像したときにおける線光源の位置を各画素ごとに記憶する。例えば、前記特定の画素の受光強度が最大になったときの線光源の位置を推定線光源ラインＬ４として記憶する。

そして、軌跡推定ステップにおいて、各画素ごとに、第１から第４の線光源移動ステップでそれぞれ記憶した線光源の位置との距離が最小となる直線を、当該画素に対する入射光線の軌跡として推定する。例えば、前記特定の画素に対する入射光線の軌跡Ｓは、４本の推定線光源ラインＬ１、Ｌ２，Ｌ３，Ｌ４との距離が最小となる直線として推定される。

なお、入射光線の基点Ｐ０の広がりが十分に小さく且つ既知であれば、第１及び第２の線光源移動ステップで、２本の推定線光源ラインＬ１，Ｌ２のみを特定し、既知の基点Ｐ０を通り２本の推定線光源ラインＬ１，Ｌ２との距離が最小となる直線として入射光線の軌跡Ｓを推定することができる。

また、第１から第４の線光源移動ステップにおいて、線光源を基準位置に対して相対的に移動させるとき、平行移動、回転移動など基準位置に対する線光源の位置の把握が容易となるように移動させることが好ましい。ただし、線光源の位置を把握することができれば、移動の態様は限定されない。また、各画素ごとに記憶される４本の推定線光源ラインＬ１，Ｌ２，Ｌ３，Ｌ４は、同じラインでなくそれぞれ独立であり、且つ、３本以上の推定線光源ラインが同一の平面上に位置しない必要がある。

以下、本発明の一実施形態に係るカメラ較正装置１を図２を参照して説明する。

カメラ較正装置１は、基台２と、基台２に対して２方向に回動可能な回転ステージ３と、基台２に対して３次元的に移動可能な３次元移動ステージ４とから構成されている。

回転ステージ３は、垂直軸（Ｚ軸方向軸）回り（パン方向）に回動可能に基台２に支持されたパン回転台５と、水平軸（Ｙ軸方向軸）回り（チルト方向）に回動可能にパン回転台５に支持されたチルト回転台６とを備えている。そして、チルト回転台６の所定位置にカメラ７が前方（Ｘ軸正方向）を向けて取外可能に固定される。ここでは、２台のカメラ７が、チルト回転台６に固定される。

パン回転台５及びチルト回転台６には、図示しないが、制御ユニットによって駆動制御されるサーボパルスモータなどの回転アクチュエータがそれぞれ設けられている。パン回転台５、チルト回転台６をそれぞれ回転アクチュエータによって回動駆動することにより、カメラ７の視軸を左右、上下に振ることができる。また、各回転アクチュエータの回転軸には、図示しないが、ロータリエンコーダなどの回転角度センサが設けられており、カメラ７の視軸角度を検知できるようになっている。

カメラ７は、詳細は図示しないが、複数の画素を２次元に配置した撮像パネルを有し、各画素は電荷結合素子（ＣＣＤ）やＣＭＯＳセンサなどの固体撮像素子から構成されている。各画素は、受光した光強度に応じた出力信号を送出する。さらに、カメラ７は、撮像パネルの前方に、ガラス製や樹脂製のレンズ、シールド、保護シートなども必要に応じて含んでいる。

３次元移動ステージ４は、基台２に対して水平面上に前後方向（Ｘ軸方向）に延設されたＸ軸レール８と、左右方向（Ｙ軸方向）に延設され、Ｘ軸レール８を前後移動可能に構成されたＹ軸レール９と、垂直方向（Ｚ軸方向）に立設され、Ｙ軸レール９を左右移動可能に構成されたＺ軸レール１０と、Ｚ軸レール１０を上下移動可能に構成された上下移動台１１と、前後軸（Ｘ軸方向軸）回り（ロール方向）に回動可能に上下移動台に支持されたロール回転台１２とを備えている。そして、ロール回転台１２の所定位置に線光源１３が後方（Ｘ軸負方向）を向けて固定されている。なお、図２において、上下移動台１１とロール回転台１２とは同一部材として表されている。

Ｙ軸レール９、Ｚ軸レール１０及び上下移動台１１には、図示しないが、制御ユニットによって駆動制御されるサーボパルスモータなどの回転アクチュエータ、及び回転アクチュエータが発生する回転駆動力を直線運動に変換するラックピニオン機構やボールスクリュー機構などの駆動力変換装置が設けられている。Ｙ軸レール９、Ｚ軸レール１０及び上下移動台１１をそれぞれ回転アクチュエータによって回動駆動することにより、ロール回転台１２を前後、左右、上下に直線移動させることができる。また、Ｘ軸レール８、Ｙ軸レール９及びＺ軸レール１０には、図示しないが、それぞれ、Ｙ軸レール９、Ｚ軸レール１０及び上下移動台１１の位置座標を検知することが可能な電子スケールが設けられている。なお、Ｙ軸レール９、Ｚ軸レール１０及び上下移動台１１の位置座標は、図示しないが、各回転アクチュエータの回転軸に設けられたロータリエンコーダなどの回転角度センサからの出力信号によっても、検出することができる。

線光源１３は、カメラ７の１画素の視野に対して十分狭い幅を有する線状の発光部である。線光源１３は、例えば、半導体発光ダイオード（ＬＥＤ）や半導体レーザなどの発光素子又は白熱灯などの発光体を遮光性を有する箱内に配置し、１本の幅狭のスリットを箱に形成することにより構成することができる。なお、線光源１３は、液晶ディスプレイ（ＬＣＤ）などフラットパネルディスプレイ（ＦＰＤ）などの表示装置を線状に発光させるようにして構成してもよく、その発光体の形式や構成などは限定されない。

以下、カメラ較正装置１を用いた、本発明の一実施形態に係るカメラ較正方法を、図２及び図３を参照して説明する。なお、以下のカメラ較正装置１の制御は前記制御ユニットにより行われる。

まず、ＳＴＥＰ１でカメラ較正装置１の初期設定を行う。具体的には、カメラ較正装置１の所定位置にカメラ７を固定すると共に、回転ステージ３のパン回転台５、チルト回転台６及び３次元移動ステージ４のＺ軸レール１０、上下移動台１１を初期の所定位置に移動させる。

ＳＴＥＰ２で、Ｙ軸レール９をカメラ７に近い適宜な位置に移動させる。

そして、ＳＴＥＰ３で、線光源１３の左右方向のスキャンを行う。具体的には、線光源１３の長手方向が垂直となるように３次元移動ステージ４のロール回転台１２を回転させる。そして、線光源１３を発光させた状態でＺ軸レール１０を左右方向に平行移動させる。このとき、カメラ７の全画素が撮像する視野を線光源１３が横切るようにする。そして、時間を介して対応付けることにより、各画素の出力信号と線光源１３の左右方向の位置との対応関係を示す情報を図示しないメモリに格納する。なお、Ｚ軸レール１０を左右方向に移動させるとき、基準位置である垂直平面（例えば、所定位置に静止されるカメラ７やパン回転台５の所定の垂直面がなす平面）と線光源１３との距離が所定の第１の距離に保たれている。

さらに、ＳＴＥＰ４で、線光源１３の上下方向のスキャンを行う。具体的には、線光源１３の長手方向が水平となるようにロール回転台１２を回転させる。そして、線光源１３を発光させた状態で上下移動台１１を上下方向に平行移動させる。このとき、カメラ７の全画素が撮像する視野を線光源１３が横切るようにする。そして、時間を介して対応付けることにより、各画素の出力信号と線光源１３の上下方向の位置との対応関係を示す情報を図示しないメモリに格納する。なお、上下移動台１１を上下方向に移動させるとき、基準位置である前記垂直平面と線光源１３との距離が前記所定の第１の距離に保たれている。

次に、ＳＴＥＰ５で、Ｙ軸レール９をカメラ７から遠ざかるよう適宜な位置に移動させる。

そして、ＳＴＥＰ６、ＳＴＥＰ７で、それぞれＳＴＥＰ３、ＳＴＥＰ４と同様の作業を繰り返す。なお、ＳＴＥＰ６で、Ｚ軸レール１０を左右方向に移動させるとき、基準位置である前記垂直平面と線光源１３との距離が前記第１の距離と異なる所定の第２の距離に保たれている。また、ＳＴＥＰ７で、上下移動台１１を上下方向に移動させるとき、基準位置である前記垂直平面と線光源１３との距離が前記所定の第２の距離に保たれている。

次に、ＳＴＥＰ８で、ＳＴＥＰ３，４，６，７において画素を線光源像を横切ったときの線光源１３の位置の推定を各画素ごとに行う。具体的には、前記メモリに格納した各画素の出力信号と線光源１３との位置との対応関係を示す情報から、画素を線光源像が横切ったときの線光源１３の位置を推定した推定線光源ラインＬを求める。例えば、線光源像が画素を横切った時間を、当該画素の受光強度が最大となった時間として抽出し、その時間における線光源１３の位置を推定線光源ラインＬを求める。全画素について各ＳＴＥＰ３，４，６，７ごとに、線光源像が横切ったときの線光源１３の位置を推定したラインをそれぞれ推定線光源ラインＬ１，Ｌ２，Ｌ３，Ｌ４として求める。

次に、ＳＴＥＰ９で、各画素について、入射光線の軌跡Ｓの初期値を算出する。具体的には、ここでは、ＳＴＥＰ８で求めた推定線光源ラインＬ１，Ｌ２の最近点の中点と、推定線光源ラインＬ３，Ｌ４の最近点の中点とを結ぶ直線を入射光線の軌跡Ｓの初期値とする。

次に、ＳＴＥＰ１０で、各画素について、入射光線の軌跡Ｓの最適化を行う。具体的には、ここでは、ＳＴＥＰ９で求めた入射光線の軌跡Ｓの初期値を基にして、その軌跡Ｓを微小に移動させながら、入射光線の軌跡Ｓを探索する。そして、４本の推定線光源ラインＬ１，Ｌ２，Ｌ３，Ｌ４と距離が最小となる直線を入射光線の軌跡Ｓと推定する。なお、入射光線の軌跡Ｓの探索方法は、周知の任意の方法を用いればよい。ただし、推定線光源ラインが４本であり交点を初期値として場合には、このＳＴＥＰ１０は不要である。線光源１３の位置をカメラ７に対して遠近２つの距離だけでなく他の距離とした場合や推定線光源ラインを５本以上にした場合には、誤差により全ての交点を入射光線の軌跡Ｓが通らないので、ＳＴＥＰ１０の処理が必須となる。

最後に、ＳＴＥＰ１１で、ＳＴＥＰ１０で推定した入射光線の軌跡Ｓに基づいて、カメラ７の内部パラメータを設定する。

以上のように、カメラ較正装置１を用いたカメラ較正方法は、線光源１３を４回スキャンするだけで、カメラ７の全画素に対する入射光線の軌跡Ｓを推定することができる。そのため、上記特許文献１に開示されたカメラ較正方法のように、１画素ごとに入射光線の軌跡を推定する場合と比べて、カメラ７の較正時間が非常に短縮される。また、複数台のカメラ７をカメラ較正装置１に固定することにより、これらのカメラ７の較正を同時に行うことも可能となる。また、カメラ７の画素のＲＧＢ成分の較正を同時に行うことも可能である。そのため、これによっても、カメラ７の較正時間が非常に短縮される。

さらに、カメラ７の各画素ごとに入射光線の軌跡Ｓが通る４本の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４を特定しているので、上記特許文献１に開示されたカメラ較正方法に同様に、非常に高精度の較正を行うことができる。なお、上記特許文献１に開示されたカメラ較正方法は、実際上は、画素を間引いて較正を行っているので、本方法より精度が劣っている。

さらに、上記特許文献１に開示されたカメラ較正方法では、フィードバックループによる収束処理を用いて入射光線の軌跡を推定している。そのため、１本の入射光線に対応する画素が複数存在すると収束せず、較正を行うことができない場合がある。一方、本方法では、各画素の受光強度が最大となったときの線光源１３の位置を推定することにより、推定線光源ラインＬ１、Ｌ２，Ｌ３，Ｌ４を求め、これらの推定線光源ラインＬ１，Ｌ２，Ｌ３，Ｌ４と距離が最小となる直線を入射光線の軌跡Ｓと推定している。そのため、１本の入射光線に対応する画素が複数存在する場合を含む一般の光学系を扱うことができ、汎用性に富む。

さらに、上記特許文献１に開示されたカメラ較正方法では、点光源像が画素の中央となるようにパンチルトステージを回転動作させる際に、予めカメラモデルを用意しておく必要がある。一方、本方法では、装着されたレンズ等に拘わらず、いかなるカメラであっても同態様で線光源１３を４回スキャンするだけで、較正を行うことができ、カメラモデルを必要としない。

以下、カメラ較正装置１を用いた、本発明の別の一実施形態に係るカメラ較正方法を、図２及び図３を参照して説明する。なお、本カメラ較正方法は、上記カメラ較正方法と類似するので、異なる点についてのみ説明する。

まず、ＳＴＥＰ１でカメラ較正装置１の初期設定を行い、ＳＴＥＰ２で、Ｙ軸レール９をカメラ７に近い適宜な位置に移動させる。

そして、ＳＴＥＰ３で、線光源１３の左右方向のスキャンを行う。具体的には、線光源１３の長手方向が垂直となるように３次元移動ステージ４のロール回転台１２を回転させる。そして、線光源１３を発光させた状態でパン回転台５を左右方向に回転させる。このとき、カメラ７の全画素が撮像する視野を線光源１３が横切るようにする。そして、時間を介して対応付けることにより、各画素の出力信号と線光源１３の左右方向の位置との対応関係を示す情報を図示しないメモリに格納する。なお、パン回転台５を左右方向に回転させるとき、基準位置であるパン回転台５の回転中心軸と線光源１３との距離が所定の第１の距離に保たれている。

さらに、ＳＴＥＰ４で、線光源１３の上下方向のスキャンを行う。具体的には、線光源１３の長手方向が水平となるようにロール回転台１２を回転させる。そして、線光源１３を発光させた状態でチルト回転台６を上下方向に回転させる。このとき、カメラ７の全画素が撮像する視野を線光源１３が横切るようにする。そして、時間を介して対応付けることにより、各画素の出力信号と線光源１３の上下方向の位置との対応関係を示す情報を図示しないメモリに格納する。

次に、ＳＴＥＰ５で、Ｙ軸レール９をカメラ７から遠ざかるよう適宜な位置に移動させる。

そして、ＳＴＥＰ６、ＳＴＥＰ７で、それぞれＳＴＥＰ３、ＳＴＥＰ４と同様の作業を繰り返す。

次に、ＳＴＥＰ８で、各画素についてＳＴＥＰ３，４，６，７における線光源１３の位置の推定を行う。なお、パン回転台５を角度θpan、チルト回転台６を角度θtiltだけ回転させたとき、線光源１３上の点Ｒ（Ｒx，Ｒy，Ｒz）の位置は、次式により関係が表される点Ｒ１（Ｒx1，Ｒy1，Ｒz1）に移動する。

そして、ＳＴＥＰ９で、各画素について、入射光線の軌跡Ｓの初期値を算出し、ＳＴＥＰ１０で、各画素について、入射光線の軌跡Ｓの最適化を行う。最後に、ＳＴＥＰ１１で、ＳＴＥＰ１０で推定した入射光線の軌跡Ｓに基づいて、カメラ７の内部パラメータを設定する。

本カメラ較正方法は、上記カメラ較正方法と同じ効果を備えている。

さらに、本方法では、Ｚ軸レール１０及び上下移動台１１を移動させる必要がないので、カメラ較正装置１を小型化することが可能となる。

ここで、本発明と前記実施形態との対応関係を補足しておく。

本実施形態では、パン回転台５、チルト回転台６、Ｚ軸レール１０及び上下移動台が本発明における移動部に相当し、Ｙ軸レール９が本発明における距離変更部に相当し、ロール回転台１２が本発明における回転部に相当する。

また、図３のＳＴＥＰ３の処理が本発明における第１の線光源移動ステップに、ＳＴＥＰ４の処理が本発明における第２の線光源移動ステップに相当し、ＳＴＥＰ６の処理が本発明における第３の線光源移動ステップに、ＳＴＥＰ７の処理が本発明における第４の線光源移動ステップに、それぞれ相当し、図３のＳＴＥＰ８からＳＴＥＰ１０の処理が本発明における軌跡推定ステップに相当する。

なお、本発明に係るカメラ較正方法は、上述したものに限定されず、カメラ較正装置１を用いないものであってもよい。

例えば、前記本発明の一実施形態に係るカメラ較正方法を行う場合、カメラ較正装置１を、パン回転台５及びチルト回転台６が回動不能に固定したものとしてもよい。また、前記本発明の別の一実施形態に係るカメラ較正方法を行う場合、カメラ較正装置１を、Ｚ軸レール１０及び上下移動台１１が移動不能に固定したものとしてもよい。

また、上下方向を長手方向とする線光源と左右方向を長手方向とする線光源とを直接上下移動台１１に固定して設けてもよい。この場合、ロール回転台１２は不要となる。そして、ＳＴＥＰ３，６では上下方向を長手方向とする線光源のみを点灯させ、ＳＴＥＰ４，７では左右方向を長手方向とする線光源のみを点灯させればよい。また、基準平面、ひいてはカメラ７からの距離が異なる位置にそれぞれ線光源を設けてもよい。この場合、ＳＴＥＰ５でＹ軸レール９を移動させる必要がなくなる。

また、入射光線の軌跡Ｓが通る点を４本の推定線光源ラインとの距離が最小となる直線として求めたが、これに限定されず、入射光線の軌跡Ｓが通る点を５本以上の推定線光源ラインとの距離が最小となる直線として求めてもよい。これにより、入射光線の軌跡Ｓの位置精度が向上し、さらに高精度の較正を行うことができる。

また、入射光線の基点Ｐ０位置の広がりが十分に小さく既知とみなすことができる場合には、入射光線の軌跡Ｓは基点Ｐ０を通り２本以上の推定線光源ラインを通る直線として推定してもよい。これにより、スキャン回数を削減することが可能となり、キャリブレーション時間を短縮することができる。

また、ＳＴＥＰ３，４，６，７では、１回のスキャンでカメラ７の全画素が撮像する視野を線光源１３が横切るようにスキャンを行ったが、これに限定されない。例えば、線光源１３の長さが短い場合など、複数回のスキャンでカメラ７の全画素が撮像する視野を線光源１３が横切るようにスキャンを行ってもよい。この場合、スキャン範囲をオーバラップさせることが好ましい。ただし、１回のスキャンで全視野範囲をカバーすることにより、スキャン時間を短縮することができる。

また、ＳＴＥＰ３，４，６，７では、線光源１３の長手方向と垂直方向にスキャンを行ったが、これに限定されず、線光源１３の長手方向と異なる方向にスキャンを行えばよい。ただし、カメラ７の画素は一般的に矩形状に配置されているので、線光源１３の長手方向と垂直方向にスキャンを行うことにより、線光源１３の長さを短縮することができる、あるいは、１回のスキャンで全視野範囲をカバーすることができる。

また、線光源１３が直線状である場合について説明したが、線光源１３は線状であればよく、その形態については限定されない。ただし、直線状の線光源１３を用いることにより、推定線光源ラインの交点を求めること、４本の推定線光源ラインと距離が最小となる直線を入射光線の軌跡と推定する際の算出が容易となる。一方、円状や円弧状の線光源を用いることにより、広角レンズや魚眼レンズなどの視野の広いレンズを備えたカメラの較正を行う場合、全画素をスキャンする回数を減少させることが可能となる。

また、線光源１３が１本である場合について説明したが、線光源は複数本であってもよい。複数本の線光源を用いることにより、スキャン距離又はスキャン角度が減少し、スキャン時間を短縮することができる。なお、複数本の線光源１３を用いる場合、スキャンを行う前に線光源の特定を行うことが必要になる。例えば、１本の線光源を点滅させ符号化を行うことにより、その線光源を特定することができる。そして、他の線光源は特定した線光源を基準に順次特定することができる。また、各線光源をコード化させて点滅させることにより、各線光源を個別に特定することができる。

１…カメラ較正装置、３…回転ステージ、４…３次元移動ステージ、５…パン回転台（平行移動部）、６…チルト回転台（移動部）、７…カメラ、９…Ｙ軸レール（距離変更部）、１０…Ｚ軸レール（移動部）、１１…上下移動台（移動部）、１２…ロール回転台（回転部）、１３…線光源。

Claims (8)

1. 各画素への入射光線の軌跡を推定することによりカメラの内部パラメータを決定するカメラ較正方法であって、
   線光源の長手方向とは異なる方向に、基準位置に対して相対的に前記線光源を移動させ、前記線光源からの入射光線を前記画素が撮像したときにおける前記線光源の位置を前記各画素ごとに記憶する第１の線光源移動ステップと、
   前記線光源の長手方向とは異なり且つ前記第１の線光源移動ステップにおける方向とは異なる方向に、前記基準位置に対して相対的に前記線光源を移動させ、前記線光源からの入射光線を前記画素が撮像したときにおける前記線光源の位置を前記各画素ごとに記憶する第２の線光源移動ステップと、
   前記各画素ごとに、前記第１及び第２の線光源移動ステップでそれぞれ記憶した前記線光源の位置との距離が最小となる直線を、当該画素に対する入射光線の軌跡と推定する軌跡推定ステップとを備えることを特徴とするカメラ較正方法。
2. 前記線光源の長手方向とは異なる方向に、前記第１及び第２の線光源移動ステップにおける前記基準位置との距離が異なる状態で前記基準位置に対して相対的に前記線光源を移動させ、前記線光源からの入射光線を前記画素が撮像したときにおける前記線光源の位置を前記各画素ごとに記憶する第３の線光源移動ステップと、
   前記線光源の長手方向とは異なり且つ前記第３の線光源移動ステップにおける方向とは異なる方向に、前記第１及び第２の線光源移動ステップにおける前記基準位置との距離が異なる状態で前記基準位置に対して相対的に前記線光源を移動させ、前記線光源からの入射光線を前記画素が撮像したときにおける前記線光源の位置を前記各画素ごとに記憶する第４の線光源移動ステップとを備え、
   前記軌跡推定ステップにおいて、前記各画素ごとに、前記第１から第４の線光源移動ステップでそれぞれ記憶した前記線光源の位置との距離が最小となる直線を、当該画素に対する入射光線の軌跡と推定することを特徴とする請求項１に記載のカメラ較正方法。
3. 前記第１から第４の線光源移動ステップにおいて、前記画素の受光強度が最大であるときにおける前記線光源の位置を、前記線光源からの入射光線を当該画素が撮像したときにおける前記線光源の位置として記憶することを特徴とする請求項２に記載のカメラ較正方法。
4. 前記第１及び第２の線光源移動ステップにおいて、前記基準位置と線光源との間の距離が第１の距離となる状態を保ちながら、前記線光源を前記基準位置に対して相対的に移動させ、
   前記第３及び第４の線光源移動ステップにおいて、前記基準位置と前記線光源との間の距離が前記第１の距離と異なる第２の距離となる状態を保ちながら、前記線光源を前記基準位置に対して相対的に移動させることを特徴とする請求項２に記載のカメラ較正方法。
5. 前記基準位置が面である場合、前記軌跡推定ステップにおいて、前記各画素ごとに、前記第１及び第２の線光源移動ステップで記憶した２本の前記線光源の交点と前記第３及び第４の線光源移動ステップで記憶した２本の前記線光源の交点とを通る直線を、当該画素に対する入射光線の軌跡と推定することを特徴とする請求項４に記載のカメラ較正方法。
6. 前記軌跡推定ステップにおいて、前記第１及び第２の線光源移動ステップでそれぞれ記憶した前記線光源の位置の最近点の中点と前記第３及び第４の線光源移動ステップでそれぞれ記憶した前記線光源の位置の最近点の中点を通る直線を初期値として、前記線光源の４つの位置との距離の自乗和が最小となるように前記入射光線の軌跡を探索することを特徴とする請求項４又は５に記載のカメラ較正方法。
7. 各画素への入射光線の軌跡を推定することによりカメラの内部パラメータを決定するカメラ較正装置であって、
   基準位置と線光源との間の距離が等しい状態を保ちながら、前記基準位置に対して相対的に前記線光源を平行移動可能な平行移動部と、
   前記状態を保ちながら、前記基準位置に対して相対的に前記線光源を回転可能な回転部と、
   前記距離を変更可能な距離変更部とを備え、
   前記回転部は、前記基準位置に対して相対的に前記線光源を９０度回転可能なことを特徴とするカメラ較正装置。
8. 各画素への入射光線の軌跡を推定することによりカメラの内部パラメータを決定するカメラ較正装置であって、
   基準位置と線光源との間の距離が等しい状態を保ちながら、前記基準位置に対して相対的に前記線光源を平行移動可能な平行移動部と、
   前記状態を保ちながら、前記基準位置に対して相対的に前記線光源を回転可能な回転部と、
   前記距離を変更可能な距離変更部とを備え、
   前記線光源は、長手方向が平行に複数配設されていることを特徴とするカメラ較正装置。

Images