<第1実施形態>
図1は、第1実施形態のセンサ較正装置1の概略構成を示す模式図である。本実施形態のセンサ較正装置1は、1か所に固定されて使用されるセンサを較正する装置である。センサ較正装置1は、例えば、イベントの開設などに伴って臨時的に設置されるセンサの位置を表す位置パラメータと姿勢を表す姿勢パラメータとを、現場において修正するときに用いられる。本実施形態のセンサ較正装置1は、センサとしての単眼カメラ5を1台較正する。単眼カメラ5は、例えば、車両が走行する道路の近傍に設置され、道路上を走行する車両や、道路脇の歩行者6(図1参照)などを連続的に撮像し、撮像した画像(多次元情報)を出力する。センサ較正装置1は、計測器10と、較正処理器20と、を備える。なお、本実施形態では、センサは、単眼カメラ5としたが、センサの種類は、これに限定されず、ステレオカメラ、レーダ、LiDAR(レーザレーダ)、ソナーなどであってもよい。
計測器10は、位置計測部11と、基準設定部12と、を備える。計測器10は、単眼カメラ5と電気的に接続されており、単眼カメラ5によって撮像される画像が入力される。
位置計測部11は、単眼カメラ5が撮像する画像に含まれる物体(歩行者6)の位置を計測する。位置計測部11には、単眼カメラ5の暫定的な位置および姿勢を表すパラメータとして予め設定されている位置パラメータと姿勢パラメータとの両方を含む、暫定的な位置姿勢パラメータが入力されている。位置計測部11は、この位置姿勢パラメータと、単眼カメラ5が撮像した画像から、移動している歩行者6の位置を計測する。位置計測部11は、計測結果と、暫定的な位置姿勢パラメータと、を電気的に接続されている較正処理器20に出力する。
基準設定部12は、単眼カメラ5の出力情報である撮像した画像上に、基準直線と基準点を設定する。基準直線は、任意に設定可能な直線であって、具体的には、単眼カメラ5によって撮像された画像に含まれる、歩道上の視覚障害者誘導用ブロックの列や、歩道上を歩行者レーンと自転車レーンとに分ける白線など、直線状に配置されている物体を基準にして、画像上に設定される。基準点は、単眼カメラ5が撮像した画像において基準直線上に設定される点であり、歩行者6の滞在の中心として予め設定された対象物の位置を示す点である。具体的には、単眼カメラ5の画像に含まれる、例えば、バス停の標識が固定されている位置や、視覚障害者誘導用ブロックのうちの警告用のブロックが設置されている位置など、歩行者から見て、外観上認識しやすい物体が設置されている位置に対応する画像上に設定される。なお、基準直線の設定の基準となる対象物や、基準点の設定のために予め設定される対象物は、これらに限定されない。例えば、基準直線の設定の基準となる対象物は、道路上の車線を区別する白線や、車道と歩道とを区別する縁石などであってもよいし、基準点のために予め設定される対象物は、歩道上のベンチやゴミ箱などであってもよい。
較正処理器20は、記憶部21と、CPU22と、を備える。較正処理器20は、位置計測部11によって計測された物体の位置計測結果と、計測における暫定的な位置姿勢パラメータと、基準設定部12によって設定された基準直線とを用いて、単眼カメラ5における位置姿勢パラメータを較正する。較正後の位置姿勢パラメータは、較正処理器20によって、電気的に接続されている計測器10の位置計測部11に出力される。
記憶部21は、ハードディスク、フラッシュメモリ、メモリカードなどで構成される。記憶部21は、位置計測部11が計測した、基準直線上を移動した物体の各時刻における位置計測結果を計測点集合として記憶する。また、記憶部21は、CPU22における各種演算結果を記憶する。記憶部21は、これらの記憶した情報をCPU22に適宜出力する。
CPU22は、ROMに格納されているコンピュータプログラムをRAMに展開して実行することにより、計測器10も含むセンサ較正装置1の各部を制御する。そのほか、CPU22は、滞在点算出部22aと、直線近似部22bと、パラメータ較正部22cとして機能し、位置計測部11が計測した移動する物体の位置計測結果から、推定滞在点を算出するとともに近似直線を作成し、推定滞在点と基準点との関係、および、近似直線と基準直線との関係から、位置姿勢パラメータを較正する。
滞在点算出部22aは、記憶部21に記憶されている計測点集合における計測点の密度分布に基づいて、推定滞在点を算出する。具体的には、滞在点算出部22aは、記憶部21に記憶されている計測点集合のうち、計測点の密度分布が比較的高い点を算出し、この点を推定滞在点に設定する。滞在点算出部22aの詳細な機能は、後述する。
直線近似部22bは、記憶部21に記憶されている、物体の位置計測結果の計測点集合を用いて、計測点集合の近似直線を作成する。直線近似部22bの詳細な機能は、後述する。
パラメータ較正部22cは、直線近似部22bが作成した近似直線と、基準直線と、暫定的な位置姿勢パラメータと、を用いて、単眼カメラ5の位置姿勢パラメータを較正する。パラメータ較正部22cの詳細な機能は、後述する。
図2は、センサ較正方法を説明するフローチャートである。次に、本実施形態のセンサ較正方法について説明する。本実施形態のセンサ較正方法は、例えば、単眼カメラ5を所定の場所に組み付けた際、単眼カメラ5の組み付け位置や単眼カメラ5の光軸の方向に影響する姿勢を確認し、単眼カメラ5の組み付けにおいてこれらを修正する作業(現地修正作業)として、センサ較正装置1によって行われる。このような現地修正作業は、誤検出(単眼カメラ5の検出可能範囲内に計測対象の物体が存在しないのに「存在する」とすること)や未検出(単眼カメラ5の検出可能範囲内に計測対象の物体が存在するのに「存在しない」とすること)を減らすために行われる。したがって、単眼カメラ5の組み付け作業後に、現場での即応可能な較正が必要となる。なお、単眼カメラ5の位置姿勢そのものの測量や、キャリブレーションボードによる較正では、この現地修正作業に対して即応できない。また、測位衛星受信やジャイロスコープなどの他のセンサによる位置姿勢の推定は、静止時の姿勢推定が適切に行えないことから、単眼カメラ5には適していない。
最初に、基準直線と基準点を設定する(基準設定工程:ステップS1)。ステップS1では、基準設定部12は、現場に直線状に配置されている対象物を位置計測部11の座標系における基準直線として設定し、設定される基準直線上の基準点を設定する。本実施形態では、基準設定部12は、歩道上の視覚障害者誘導用ブロックの列7を基準直線とする(図1参照)。基準設定部12が設定する基準点は、視覚障害者誘導用ブロックの列7に沿って移動する歩行者6にとって目印となるものが望ましい。本実施形態では、基準点は、視覚障害者誘導用ブロックの列7に沿って設置されている標識8が固定されている場所81(図1参照)を含む図示しない複数の点とし、標識8が固定されている場所(以下、「標識の場所」という)81を代表基準点とする。なお、基準直線とする対象、および、基準点とする対象は、これらに限定されない。
図3は、基準設定工程を説明する図である。図3には、単眼カメラ5が撮像する画像の一部を示している。基準設定部12は、基準設定工程において、図3に示す画像の座標系のx軸に基準直線Lsを設定し、基準直線Ls上に、標識の場所81に対応する代表基準点Ps0を設定する。
次に、歩行者6の位置を計測する(位置計測工程:ステップS2)。ステップS2では、位置計測部11は、あらかじめ設定されている単眼カメラ5の暫定的な位置姿勢パラメータと、単眼カメラ5の出力と、を用いて、視覚障害者誘導用ブロックの列7上を移動する歩行者6の位置を計測する。本実施形態では、歩行者6は、視覚障害者誘導用ブロックの列7上を歩くとき、代表基準点となっている標識の場所81での滞在時間が他の位置での滞在時間に比べ長くなるように移動する。
ここで、本実施形態のセンサ較正方法における単眼カメラ5の暫定的な位置姿勢パラメータとは、x軸、y軸、z軸のそれぞれの座標値st(ベクトル表記)で表される位置パラメータ、並びに、方位角atおよび仰角etで表される姿勢パラメータを指す。すなわち、位置計測部11は、暫定的な位置パラメータst(ベクトル表記)と、姿勢パラメータet、atとが設定されている状態の単眼カメラ5が出力する歩行者6の位置を計測する。位置計測部11は、歩行者6の位置計測結果を記憶部21に出力する。なお、本文中に示す文字がベクトルである場合、対象文字の後に「(ベクトル表記)」と記載する。
次に、ステップS2において計測された、視覚障害者誘導用ブロックの列7上を移動した歩行者6の各時刻における位置計測結果を計測点集合として記憶させる(記憶工程:ステップS3)。記憶部21は、位置計測部11が出力する歩行者6の位置計測結果を、3次元空間での計測点集合として記憶する。また、記憶部21は、基準設定部12が設定した視覚障害者誘導用ブロックの列7の位置情報を、基準直線の位置情報として記憶する。
次に、ステップS3において記憶された歩行者6の位置計測結果から、推定滞在点を算出する(滞在点算出工程:ステップS4)。滞在点算出部22aは、記憶部21に記憶されている計測点集合を用いて、歩行者6が比較的長く滞在した位置を推定滞在点として算出する。
図4は、滞在点算出工程を説明する図であって、計測点集合の一例を示す図である。図4は、記憶部21に記憶された歩行者6の位置計測結果をプロットした2次元平面(xy平面)を示している。図4に示すxy平面上の複数の丸印のそれぞれは、各時刻における歩行者6の位置計測結果を示しており、所定期間内の一定の時間間隔で計測された歩行者6の位置(計測点M)を示している。すなわち、記憶部21には、歩行者6の各時刻における位置計測結果の集合(計測点集合Gm)が記憶されている。なお、図4には、説明の便宜上、計測点集合を2次元平面で示しており、基準設定工程において設定された基準直線Lsと代表基準点Ps0が示されている。
ここで、ステップS4における推定滞在点の算出方法を説明する。本実施形態では、滞在点算出部22aは、計測点集合Gmに含まれる計測点Mを距離が近い順に「クラスタ」と呼ばれるグループに集約する、公知の階層的クラスタリング最短距離法を用いて、推定滞在点を算出する。滞在点算出部22aは、クラスタ内最大距離が位置計測の分散を考慮した閾値、例えば、0.1mに達したときにクラスタリングを打ち切り、クラスタ内点数が多い順に基準点と同数になるまでクラスタを選択する。本実施形態では、各クラスタについて、クラスタ内各点の位置の中央値を推定滞在点Peとし、計測点集合Gmにおいて選択された複数のクラスタのうち、計測点Mの分布密度が最も高い座標点を推定最長滞在点LPeとする。
次に、ステップS5において記憶部21に記憶された計測点集合を用いて、計測点集合の近似直線を作成する(直線近似工程:ステップS5)。直線近似部22bは、記憶部21に記憶された歩行者6の位置計測結果の計測点集合を用いて、単眼カメラ5の位置パラメータst(ベクトル表記)と、姿勢パラメータet、atを較正するための近似直線を作成する。
直線近似工程では、直線近似部22bは、最初に、主成分分析法とRANSAC法とを組み合わせた方法を用いて、近似直線候補を作成する。本実施形態では、直線近似部22bは、近似直線が必ず推定最長滞在点を通過するように、複数の計測点の座標値の平均を用いる通常の主成分分析の代わりに、推定最長滞在点の座標値を用いて主成分分析を行い、近似直線候補を作成する。具体的には、複数の計測点のそれぞれの座標値行列を行列Pとし、推定最長滞在点の座標値を座標値p0t(ベクトル表記)とし、計測点の数をnとする場合、以下の式(1)を固有値分解して、最大固有値と最大固有値に対応する第1固有ベクトルfev(ベクトル表記)を求める。なお、式(1)に含まれるTは、転置演算子である。
直線近似工程では、直線近似部22bは、上述の主成分分析によって求めた最大固有値と第1固有ベクトルfev(ベクトル表記)との組み合わせについて、最大固有値の平方根の大きさに基づいて、採用するか否かを判定する。直線近似部22bは、最大固有値の平方根が、基準直線のうちの位置計測可能な範囲に含まれる線分長に基づいて設定する閾値以上である場合、作成した近似直線候補を採用し、閾値未満である場合、作成した近似直線候補を棄却する。具体的には、基準直線のうちの位置計測可能な範囲に含まれる線分長を線分長4mとし、閾値を、検出漏れを考慮した計測可能な範囲3.6mの半分の1.8mとした場合、1.8m以上である場合には作成した近似直線候補を採用し、1.8m未満である場合には作成した近似直線候補を棄却する。直線近似部22bは、棄却されなかった回数が事前に設定した回数となるまで、上述の主成分分析による最大固有値と第1固有ベクトルfev(ベクトル表記)との組み合わせの算出と、最大固有値の平方根の大きさに基づく判定を繰り返し行う。直線近似部22bは、棄却されなかった回数が事前に設定した回数に達すると、棄却されなかった最大固有値と第1固有ベクトルfev(ベクトル表記)との組み合わせのうち、近似誤差が最小となる直線を近似直線に選択する。直線近似部22bは、選択された近似直線の最大固有値と第1固有ベクトルfev(ベクトル表記)と、を記憶部21に記憶させる。
図2に戻り、ステップS5の次に、ステップS1において設定された基準直線と、ステップS5において選定された近似直線とを用いて、単眼カメラ5の位置パラメータおよび姿勢パラメータを較正する(パラメータ較正工程:ステップS6)。本実施形態では、パラメータ較正部22cは、姿勢パラメータa、eを較正してから、位置パラメータsを較正する。
図5は、パラメータ較正工程を説明する第1の図である。ここで、パラメータ較正工程での位置姿勢パラメータの較正方法について、説明する。図5(a)は、3次元空間中のxy平面を示しており、複数の計測点Mのそれぞれをxy平面に投影した投影点Mxyと、近似直線Laをxy平面に投影した投影近似直線Laxyを示している。また、図5(a)には、xy平面における単眼カメラ5の暫定的な位置パラメータst(ベクトル表記)と、暫定的な姿勢を表す方位角atが示されている。ここでは、暫定的な方位角を、例えば、方位角at=15度と仮定する。図5(b)は、3次元空間中のxz平面を示しており、複数の計測点Mのそれぞれをxz平面に投影した投影点Mxzと、近似直線Laをxz平面に投影した投影近似直線Laxzを示している。また、図5(b)には、xz平面における単眼カメラ5の暫定的な位置パラメータst(ベクトル表記)と、暫定的な姿勢を表す仰角etが示されている。ここでは、暫定的な仰角を、例えば、仰角et=0度と仮定する。
基準直線Lsは、ステップS1において、x軸に設定されている(図5参照)。このとき、複数の計測点Mのそれぞれは、単眼カメラ5を中心とした座標系(単眼カメラ5が三次元空間の原点にあって、単眼カメラ5の正面の軸をx軸とする座標系であって、x軸は、単眼カメラ5の光軸となる。)における点を、最初に、仰角et、次に、方位角atで回転してから、単眼カメラ5の位置が座標値st(ベクトル表記)となるように並進して、求められているとする。
また、ステップS5において、推定最長滞在点の座標値p0t(ベクトル表記)と、近似直線Laの第1固有ベクトルfev(ベクトル表記)は、記憶部21に記憶されている。パラメータ較正部22cは、これらの情報と、図5(a)、(b)のそれぞれに示す2つの座標値p0t(ベクトル表記)と、座標値p1t(ベクトル表記)とを用いて、較正後の仰角ecおよび方位角acを導出する。ここで、座標値p1tは、座標値p0t(ベクトル表記)と近似直線Laの第1固有ベクトルfev(ベクトル表記)を用いて、次の式(2)で表される。
ここで、単眼カメラ5を中心とした座標系において、仰角eに応じて、原点を中心に計測点を回転させる回転行列を求める関数E(e)、および、方位角aに応じて、原点を中心に計測点を回転させる回転行列を求める関数A(a)を導入する。仰角eは、y軸(南から北への軸)を中心として、x軸を南から見て反時計回りに回転させるため、式(3)のように定義される。
方位角aは、z軸(下から上への軸)を中心として、x軸を上から見て反時計回りに回転させるため、式(4)のように定義される。
導出したい較正後の仰角ecおよび方位角acは、暫定的な位置姿勢パラメータの影響を打ち消したうえで、あらためて、仰角および方位角で回転したときに、投影近似直線Laxy、Laxzが、基準直線Lsであるx軸と平行になる仰角と方位角である。このとき、座標値p0t(ベクトル表記)の姿勢パラメータのみを較正した較正後の座標値p0p(ベクトル表記)と、座標値p1t(ベクトル表記)の姿勢パラメータのみを較正した較正後の座標値p1p(ベクトル表記)との差が、y成分およびz成分について、同時に0となる。較正後の座標値p0p(ベクトル表記)は、式(5)で表され、較正後の座標値p1p(ベクトル表記)は、式(6)で表される。
較正後の仰角ecおよび方位角acを導出するには、以下に示す式(7)および式(8)からなる連立方程式を仰角差Δe、および、方位角acについて解く。式(7)は、y成分に関する式であり、式(8)がz成分に関する式である。仰角差Δeは(ec-et)であり、仰角etは、暫定仰角として既知の値であるため、仰角差Δeが求まれば仰角etを求めることができる。
式(7)および式(8)からなる連立方程式を解くと、式(9)および式(10)に示すように、方位角ac、および、仰角差Δeの式が導出される。これらの式を用いて、較正後の方位角acおよび仰角ecを算出する。
図6は、パラメータ較正工程を説明する第2の図である。図6(a)、(b)に示す図は、図5(a)(b)のそれぞれに対応する図であって、式(9)および式(10)を用いて算出された較正後の方位角acおよび仰角ecを用いて、投影近似直線Laxy、Lxxzを修正したものである。図6に示すように、投影近似直線Laxy、Laxzのそれぞれが、基準直線Lsに平行となっている。具体的な数値で示すと、方位角aは、15度から6.1度となるように較正され、仰角eは、0度からマイナス3度に較正されている。
図7は、パラメータ較正工程を説明する第3の図である。次に、パラメータ較正部22cは、位置パラメータを較正する。位置パラメータの較正では、姿勢パラメータのみが較正された較正後の座標値p0pのy成分と、z成分とがそれぞれ0になるように、単眼カメラ5を並進させる。例えば、方位角aのみが較正された図5(a)については、投影近似直線Laxyをy軸のマイナスの方向に移動させて、基準直線Lsと一致させる(図5(a)参照)。また、仰角eのみが構成された図6(b)については、投影近似直線Laxzをz軸のプラスの方向に移動させて、基準直線Lsと一致させる(図7(a)参照)。これにより、近似直線Laは、基準直線Lsであるx軸と一致する。すなわち、並進後の単眼カメラ5の位置scは、式(11)で示すことができる。
図8は、本実施形態のセンサ較正方法における基準直線と近似直線との重ね方を説明する図である。ここで、上述のセンサ較正方法における位置姿勢パラメータの較正について、基準直線Lsと、代表基準点Ps0と、推定最長滞在点LPeと、近似直線La0との位置関係を用いて説明する。本実施形態のセンサ較正方法では、最初に、直線近似部22bは、推定最長滞在点LPeを通る近似直線La0を作成する。次に、パラメータ較正部22cは、姿勢パラメータet、atを較正することで近似直線La0を回転し(図8に示す矢印R1)、基準直線Lsに平行な仮想直線La1を作成する。次に、パラメータ較正部22cは、仮想直線La1と基準直線Lsとが近づくように、仮想直線La1を並進させて、仮想直線La2を作成する(図8に示す矢印T1)。最後に、パラメータ較正部22cは、仮想直線La2上の推定最長滞在点LPeと代表基準点Ps0とが近づくように、仮想直線La2を並進させる(図8に示す矢印T2)。このように、パラメータ較正部22cは、近似直線La0が基準直線Lsに平行となるように近似直線La0を回転させ、かつ、推定最長滞在点LPeが代表基準点Ps0に近づくように近似直線La0を並進させることで、姿勢パラメータと位置パラメータとを較正する。なお、ここでの「近づける」は、代表基準点Ps0に推定最長滞在点LPeを近づけることで、推定最長滞在点LPeと代表基準点Ps0とを重ねる意味も含まれる。
パラメータ較正部22cは、上述したように、ステップS6において、姿勢パラメータを較正してから、位置パラメータを較正する。パラメータ較正部22cは、較正した位置姿勢パラメータを、計測器10に向けて出力する。計測器10では、入力された較正後の位置姿勢パラメータを用いて、これ以降の物体の位置測定を行う。
ここで、本実施形態のセンサ較正装置1の効果について、特に、直線近似部において作成される近似直線の精度に関して、複数の比較例との比較によって説明する。第1の比較例は、主成分分析法を用いた近似直線の作成例であり、第2の比較例は、主成分分析法とRANSAC法とを組み合わせた方法を用いた近似直線の作成例である。
図9は、第1の比較例での近似直線の作成方法を説明する図である。図9に示す丸印は、複数の計測点Mのそれぞれを示している。主成分分析法では、全ての計測点Mを用いて近似直線L01を作成する。このため、近似直線L01は、例えば、楕円R10内の計測点Mxのような外れ値の影響を受けため、傾きが大きくなりやすく、基準直線Lsから乖離しやすい。
図10は、第2の比較例での近似直線の作成方法を説明する第1の図である。第2の比較例では、最初に、第1ステップとして、全ての計測点Mのうちの一部をランダムに選択する。例えば、図10に示すように、複数の太線丸印M2を選択する。この選択した計測点M2に対して、主成分分析を用いて暫定の近似直線L02を求める。次に、第2ステップとして、選択されなかった計測点Mのうち、暫定の近似直線L02との距離が閾値を超える点を外れ値とみなして、外れ値以外の点で近似直線と近似誤差を求める。
図11は、第2の比較例での近似直線の作成方法を説明する第2の図である。第2の比較例では、第3のステップとして、第1のステップと第2のステップとを反復して、近似誤差が最小となる場合の直線を近似直線L12とする。図11に示すプロット点「×」は、第2ステップにおいて外れ値とみなした計測点Mである。近似直線L12は、第1の比較例よりも傾きが大きくなり、基準直線Lsからの乖離も大きくなっている。
図12は、第1実施形態での近似直線の作成方法を説明する図である。図14は、第1の比較例および第2の比較例で用いた計測点集合と同じ計測点集合を用いて、上述した近似直線の作成方法によって作成した近似直線L03を示している。図12に示すように、本実施形態によって作成した近似直線L03は、第1の比較例の近似直線L01に比べ傾きが小さく、基準直線Lsに近い妥当な結果が得られることが明らかとなった。なお、図9と、図11と、図13とのそれぞれにおいて、符号L01、L12、L03で示す実線は、それぞれの方法によって求められた近似直線の一部を表す線分であり、線分の長さは、各計測点Mを近似直線に正射影した点から求めた標準偏差に比例する。
以上説明した、本実施形態のセンサ較正装置1によれば、基準直線Lsと基準直線Ls上に設定される代表基準点Ps0とのそれぞれに対して、基準直線Ls上を移動した歩行者6の各時刻における位置計測結果から、近似直線Laを作成し、推定最長滞在点LPeを算出する。パラメータ較正部22cは、基準直線Lsに近づくように近似直線Laを回転させることで、単眼カメラ5の姿勢パラメータa、eを較正することができる。また、推定最長滞在点LPeは、歩行者6の各時刻における位置計測結果を組み合わせた計測点集合Gmにおける計測点Mの密度分布に基づいて算出されており、代表基準点Ps0を目印にして移動する歩行者6の滞在の中心となっている。これにより、パラメータ較正部22cは、算出される推定最長滞在点LPeが代表基準点Ps0に近づくように近似直線Laを並進させることで、位置パラメータst(ベクトル表記)を較正することができる。これにより、単眼カメラ5の検出範囲内で、代表基準点Ps0を滞在の中心として、歩行者6が基準直線Ls上を移動することで、単眼カメラ5の位置姿勢パラメータを較正することができる。したがって、位置計測部11による歩行者6の位置計測結果が少なくても単眼カメラ5の位置姿勢パラメータを較正することができるため、短時間で位置姿勢パラメータを較正することができる。
また、本実施形態のセンサ較正装置1によれば、基準設定部12は、基準直線Ls上に複数の基準点を設定するとき、歩行者6が最も滞在する代表基準点Ps0を標識の場所81に設定する。滞在点算出部22aは、計測点集合Gmにおける計測点の密度分布に基づいて複数の推定滞在点Peを算出するとき、計測点の密度分布が最も高い推定滞在点Peを推定最長滞在点LPeに設定する。これにより、複数の基準点が設定できる場合でも、標識の場所81と推定最長滞在点LPeとを設定することで、標識の場所81と推定最長滞在点LPeとが近づくように近似直線Laを並進させて、単眼カメラ5の位置パラメータを較正することができる。
また、本実施形態のセンサ較正装置1によれば、近似直線Laは、推定最長滞在点LPeに対して行われる主成分分析によって作成される。これにより、近似直線Laは、推定最長滞在点LPeを通るため、近似直線Laを並進させることで標識の場所81と推定最長滞在点LPeとを重ねることができ、かつ、近似直線Laを回転させることで近似直線Laを基準直線Lsに重ねることができる。したがって、単眼カメラ5の位置姿勢パラメータを確実に較正することができる。
また、本実施形態のセンサ較正方法によれば、センサ較正方法では、基準直線Lsに対して、基準直線Ls上を移動した歩行者6の各時刻における位置計測結果から、近似直線Laを作成する。センサ較正方法では、代表基準点Ps0に対して、歩行者6の各時刻における位置計測結果を組み合わせた計測点集合Gmにおける計測点の密度分布に基づく推定滞在点Peを算出する。これにより、単眼カメラ5の検出範囲内で、代表基準点Ps0を滞在の中心として、歩行者6が基準直線Ls上を移動するだけで、単眼カメラ5の位置姿勢パラメータを較正することができるため、短時間で位置姿勢パラメータを較正することができる。
<第2実施形態>
図13は、第2実施形態のセンサ較正方法を説明する図である。第2実施形態のセンサ較正装置によるセンサ較正方法は、第1実施形態のセンサ較正方法(図1)と比較すると、滞在点算出工程で選択される複数の推定滞在点を用いて、センサの位置姿勢パラメータを較正する点が異なる。
第2実施形態のセンサ較正装置によるセンサ較正方法では、図13に示すように、基準設定工程において、基準直線Ls上に、複数の基準点Ps1,Ps2,Ps3,Ps4を設定する。複数の基準点Ps1,Ps2,Ps3,Ps4は、第1実施形態と同様に、視覚障害者誘導用ブロックの列7に沿って移動する歩行者6にとって目印となるものが望ましく、視覚障害者誘導用ブロックの列7に含まれる警告ブロックや、道路上のマンホールなどであってもよい。位置計測工程では、視覚障害者誘導用ブロックの列7上を移動する歩行者6は、複数の基準点Ps1,Ps2,Ps3,Ps4のそれぞれにおいて、滞在時間が他の位置での滞在時間に比べ長くなるように移動する。
位置計測工程の次に、滞在点算出工程では、滞在点算出部22aは、記憶部21に記憶されている計測点集合を用いて、歩行者6が比較的長く滞在した位置を推定滞在点として算出する。本実施形態では、基準設定工程において設定された基準点の数と同じ数のクラスタを、階層的クラスタリング最短距離法によって選択する。本実施形態では、各クラスタについて、クラスタの中央値を推定滞在点Pe1,Pe2,Pe3,Pe4とする。
パラメータ較正工程では、第1実施形態と同様に、姿勢パラメータを較正したのち、複数の基準点Ps1,Ps2,Ps3,Ps4のそれぞれに、推定滞在点Pe1,Pe2,Pe3,Pe4のそれぞれが近づくように、近似直線Lpを並進させて、位置パラメータを較正する。本実施形態では、位置パラメータの較正は、最小二乗法よりも外れ値に強い最小絶対値法を用いて行う。具体的には、基準点Ps1,Ps2,Ps3,Ps4のそれぞれに対応する推定滞在点Pe1,Pe2,Pe3,Pe4のそれぞれと、基準点Ps1,Ps2,Ps3,Ps4との間の距離の絶対値の総和が最小となるように、近似直線Lpを並進させる。
以上説明した、本実施形態のセンサ較正装置によれば、基準設定部12は、基準直線Ls上に複数の基準点Ps1,Ps2,Ps3,Ps4を設定する。滞在点算出部22aは、計測点集合Gmにおける計測点Mの密度分布に基づいて複数の推定滞在点Pe1,Pe2,Pe3,Pe4を算出する。パラメータ較正部22cは、複数の推定滞在点Pe1,Pe2,Pe3,Pe4のそれぞれが複数の基準点Ps1,Ps2,Ps3,Ps4のそれぞれに近くなるように、近似直線Laを並進させて、位置パラメータを較正する。これにより、1つの基準点に対して1つの推定滞在点を近づけて重ねるように近似直線を並進させる場合に比べ、単眼カメラ5の位置姿勢パラメータの較正精度を向上させることができる。
また、本実施形態のセンサ較正装置によれば、パラメータ較正部22cは、外れ値の影響を受けにくい最小絶対値法を用いて、位置パラメータを較正する。これにより、単眼カメラ5の位置パラメータの較正精度をさらに向上させることができる。
<第3実施形態>
図14は、第3実施形態のセンサ較正装置の概略構成を示す模式図である。第3実施形態のセンサ較正装置は、第1実施形態のセンサ較正装置(図1)と比較すると、2つの計測器を備えており、2つのセンサの位置姿勢パラメータを較正する点が異なる。
本実施形態のセンサ較正装置3は、2つの計測器10a,10bと、較正処理器30と、を備える。本実施形態の2つの計測器10a,10bのそれぞれは、単眼カメラ5a,5bのそれぞれに接続されている。2つの計測器10a,10bと較正処理器30とは、例えば、無線通信によって接続されている。較正処理器30は、2つの計測器10a,10bのそれぞれの計測内容や設定内容を受信するとともに、較正後の位置姿勢パラメータを、2つの計測器10a,10bのそれぞれに出力することができる。
計測器10aは、位置計測部11aと、基準設定部12aと、を備える。計測器10aは、単眼カメラ5aと電気的に接続されており、単眼カメラ5aによって撮像される画像が入力される。位置計測部11aは、歩行者6aの位置を計測する。基準設定部12aは、単眼カメラ5aによって撮像された画像上に、基準直線7aと基準直線7a上の基準点81aを設定する。計測器10bは、位置計測部11bと、基準設定部12bと、を備える。計測器10bは、単眼カメラ5bと電気的に接続されており、単眼カメラ5bによって撮像される画像が入力される。位置計測部11bは、歩行者6bの位置を計測する。基準設定部12bは、単眼カメラ5bによって撮像された画像上に、基準直線7bと基準直線7b上の基準点81bを設定する。
図15は、2つの単眼カメラ5a、5bの位置関係を説明する図である。図15には、例として、市街地9の地図を示している。センサ較正装置3によって構成される2つの単眼カメラ5a,5bは、例えば、市街地9の1つのブロック9aにおいて、離れた場所に設置されている。本実施形態では、2つの単眼カメラ5a,5bのそれぞれに対応する2つの基準設定部12a,12bのそれぞれは、交差するように、基準直線7a,7bを設定する。ここで、基準直線7aと基準直線7bとの交点を交点7cとする(図15参照)。
較正処理器30は、記憶部31と、CPU32と、を備える。較正処理器30は、計測器10a,10bのそれぞれによる2人の歩行者6a,6bの位置計測結果と、暫定的な位置姿勢パラメータと、基準設定部12によって設定された基準直線7a,7bおよび基準点81a,81bとを用いて、単眼カメラ5a,5bの位置姿勢パラメータを較正する。
記憶部31は、2つの位置計測部11a,11bのそれぞれが計測した、基準直線7a,7b上を移動した歩行者6a,6bのそれぞれの各時刻における位置計測結果を計測点集合として記憶する。また、記憶部31は、CPU32における各種演算結果を記憶し、これらの記憶した情報をCPU32に適宜出力する。
CPU32は、滞在点算出部32aと、直線近似部32bと、パラメータ較正部32cとして機能し、2つの計測器10a,10bを含むセンサ較正装置3の各部を制御する。CPU32は、2つの位置計測部11a,11bが計測した歩行者6a,6bのそれぞれの位置計測結果から推定滞在点を算出するとともに近似直線を作成し、推定滞在点と基準点との関係、および、近似直線と基準直線との関係から、位置姿勢パラメータを較正する。
滞在点算出部32aは、第1実施形態の滞在点算出部22aと同様の機能を有している。滞在点算出部32aは、2つの位置計測部11a,11bのそれぞれによる位置計測結果である2つの計測点集合を用いて、推定滞在点を算出する。
直線近似部32bは、候補作成部321bと、判定部322bと、選択部323bと、を備える。候補作成部321bは、2つの計測点集合のそれぞれについて、それぞれの基準点の座標値を用いて主成分分析を行い、近似直線候補を作成する。判定部322bは、候補作成部321bが作成した近似直線候補の組み合わせを採用するか否かを判定する。選択部323bは、判定部322bの判定によって採用された近似直線候補の組み合わせから、位置姿勢パラメータの較正に用いる近似直線の組み合わせを選択する。直線近似部32bの詳細な機能は、後述する。
パラメータ較正部32cは、第1実施形態のパラメータ較正部22cと同様の機能を有している。パラメータ較正部32eは、選択部32dによって選択される近似直線と、基準直線と、暫定的な位置姿勢パラメータと、を用いて、位置姿勢パラメータを較正する。
次に、本実施形態のセンサ較正方法について説明する。本実施形態のセンサ較正方法では、最初に、基準設定部12a,12bは、2つの単眼カメラ5a,5bのそれぞれについて、基準直線7a,7bと、基準直線7a上の基準点81aとして標識8aが固定されている場所81aと、基準直線7b上の基準点81bとして標識8bが固定されている場所81bを設定する。本実施形態では、基準直線7aと基準直線7bとは、図15に示すように、交差するように設定される。単眼カメラ5aの暫定的な位置姿勢パラメータは、基準直線7aをx軸とし、基準点81aを原点とする三次元空間内に設定される。単眼カメラ5bの暫定的な位置姿勢パラメータは、基準直線7bをx軸とし、基準点81bを原点とする三次元空間内に設定される。すなわち、基準直線7a,7bと基準点81a,81bは、異なる座標系で設定されている。
次に、位置計測部11a,11bは、基準直線7a,7b上を移動する歩行者6a,6bのそれぞれの位置を計測し、記憶部31は、歩行者6a,6bの各時刻における位置計測結果を計測点集合として記憶する。次に、滞在点算出部32aは、記憶部31に記憶された歩行者6a,6bのそれぞれの位置計測結果から、それぞれの推定滞在点を第1実施形態と同様の方法によって算出する。
次に、候補作成部321bは、2つの単眼カメラ5a,5bのそれぞれの計測点集合のそれぞれについて、第1実施形態と同様に、基準点の座標値に対する主成分分析法とRANSAC法とを組み合わせた方法を用いて、計測点集合の近似直線候補を作成する。本実施形態では、候補作成部321bは、第1実施形態の直線近似工程と同様に、棄却されなかった回数が事前に設定した回数に達するまで、近似直線候補を算出する。候補作成部321bは、2つの単眼カメラ5a,5bのそれぞれに作成される近似直線候補を組み合わせた、近似直線候補の組み合わせを作成する。
次に、判定部322bは、最初に、基準直線7a,7bと基準点81a,81bとを共通の座標系、例えば、国土地理院地図の座標系に変換し、2つの基準直線7a,7bから形成される基準折れ線9cを設定する(図15参照)。判定部322bは、基準折れ線9cを設定する際に、基準折れ線9cにおける2つの基準点81a,81bのそれぞれから基準直線7a,7bの交点7cまでの距離(以下、「計測距離」という)Dma,Dmbに関する情報を取得する(図15参照)。計測距離Dma,Dmbは、例えば、ローラ距離計を用いて実際に計測した距離であってもよいし、地図から算出される距離であってもよい。
次に、判定部322bは、候補作成部321bによって作成された2つの単眼カメラ5a,5bのそれぞれの近似直線候補を基準折れ線9cと共通の座標系に変換し、変換後の推定滞在点と2つの近似直線候補の交点までの距離(以下、「推定距離」という)をそれぞれ算出する。判定部322bは、計測距離と推定距離との差の絶対値と、距離計測や基準折れ線を設定する手順を考慮した誤差(以下、「交点棄却閾値」という)とを比較する。判定部322bは、誤差が交点棄却閾値以下の場合、2つの近似直線候補の組み合わせを採用し、誤差が交点棄却閾値より大きい場合、2つの近似直線候補の組み合わせを棄却する。
例えば、候補作成部321bにおいて、単眼カメラ5aにおける近似直線候補Lpa1(推定滞在点Pea1)と、単眼カメラ5bにおける近似直線候補Lpb1(推定滞在点Peb1)との組み合わせが作成されたとする。この近似直線候補の組み合わせ(Lpa1,Lpb1)において、近似直線候補Lpa1と近似直線候補Lpb1との交点から推定滞在点Pea1までの距離を推定距離Deaとし、近似直線候補Lpa1と近似直線候補Lpb1との交点から推定滞在点Peb1までの推定距離を推定距離Debとする。この場合、推定距離Deaと計測距離Dmaとの差と、推定距離Debと計測距離Dmbとの差のいずれもが、交点棄却閾値以下である場合、近似直線候補の組み合わせ(Lpa1,Lpb1)は採用される。一方、推定距離Deaが計測距離Dmaとほぼ一致したとしても、推定距離Debと計測距離Dmbとの差が交点棄却閾値より大きい場合、近似直線候補の組み合わせ(Lap1,Lpb1)は、棄却される。なお、交点棄却閾値は、2つの計測距離がほとんど同じなら一律でもよい。また、交点棄却閾値は、計測距離に対する比率として設定してもよい。判定部322bでは、このようにして、候補作成部321bによって作成される複数の近似直線候補の組み合わせについて、採用または棄却の判定を行う。
次に、選択部323bは、判定部322bの判定によって採用された近似直線候補の組み合わせから、1つの組み合わせを選択する。本実施形態では、選択部323bは、採用された近似直線候補の組み合わせのうち、2つの近似直線候補のそれぞれの近似誤差の集約値が最小となる組合せを選択する。近似直線候補の誤差の集約値としては、単純平均を用いてもよいし、計測点数による加重平均を用いてもよい。
以上説明した、本実施形態のセンサ較正装置3によれば、直線近似部32bは、2つの単眼カメラ5a,5bのそれぞれについて設定されている2本の基準直線7a,7bから形成される基準折れ線9cを設定する。直線近似部32bは、2本の基準直線7a,7bのそれぞれについて、2本の基準直線7a,7bの交点7cから2本の基準直線7a,7b上のそれぞれの基準点81a,81bまでの計測距離を取得する。また、直線近似部32bは、推定滞在点と2つの近似直線候補の交点までの推定距離を取得し、基準点81a,81bの位置と、計測距離と、推定距離と、を用いて、単眼カメラ5a,5bの位置姿勢パラメータを較正する。これにより、基準直線7a,7bを基準点と交点との2つの点で決定することができるため、近似直線の精度を向上させることができる。したがって、センサの位置姿勢パラメータの較正精度を向上させることができる。
<本実施形態の変形例>
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
[変形例1]
上述の実施形態では、直線近似工程において、主成分分析法とRANSAC法とを組み合わせた方法を用いて、近似直線候補を作成するとした。しかしながら、近似直線候補の作成方法は、これに限定されない。主成分分析法のみで作成してもよい。
[変形例2]
第1実施形態では、パラメータ較正部22cは、姿勢パラメータa、eを較正してから、位置パラメータsを較正するとした。しかしながら、単眼カメラ5の位置姿勢パラメータを較正する順番はこれに限定されない。近似直線を並進させて推定最長滞在点LPeと基準点Psとが重ねることで位置パラメータsを較正してから、近似直線を回転させて近似直線Laと基準直線Lsとを重ねることで姿勢パラメータを較正してもよい。
[変形例3]
第1実施形態および第2実施形態では、センサ較正装置1は、1台の単眼カメラ5を較正するとした。しかしながら、「センサ」は、単眼カメラ5でなくてもよく、上述したように、ステレオカメラ、レーダ、LiDAR(レーザレーダ)、ソナーなどであってもよい。2台の単眼カメラ5を構成する第3実施形態についても同様である。
[変形例4]
第2実施形態では、パラメータ較正部は、外れ値の影響を受けにくい最小絶対値法を用いて、複数の基準点に対して複数の滞在推定点を近づけることで、位置パラメータを較正するとした。パラメータ較正部による位置パラメータの較正方法は、これに限定されない。例えば、最小二乗法を用いて行ってもよい。
[変形例5]
第3実施形態では、選択部323bは、採用された近似直線候補の組み合わせのうち、2つの近似直線候補のそれぞれの近似誤差の集約値が最小となる組合せを選択するとした。しかしながら、選択部323bによる組み合わせの選択方法は、これに限定されない。例えば、計測点集合ごとに1つの近似直線候補を算出し、棄却されなければそれらの組み合わせを保持する。保持した組み合わせの数が事前に設定した回数に達したところで、近似誤差の集約値が最小となる組合せを選んでもよい。この方法では、棄却の条件によっては、近似直線の精度を向上させることができるため、近似直線候補の算出に必要な手間を少なくすることができる。
[変形例6]
第1実施形態および第2実施形態では、センサ較正装置1は、計測器10と、較正処理器20とを備えるとし、2つの機器から構成されるとした。しかしながら、センサ較正装置は、計測器と較正処理器とが一体となっていてもよいし、第3実施形態のように、異なる場所に設置されていてもよい。
以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。