JP4095320B2 - センサ較正装置、センサ較正方法、プログラム、記憶媒体 - Google Patents
センサ較正装置、センサ較正方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP4095320B2 JP4095320B2 JP2002076760A JP2002076760A JP4095320B2 JP 4095320 B2 JP4095320 B2 JP 4095320B2 JP 2002076760 A JP2002076760 A JP 2002076760A JP 2002076760 A JP2002076760 A JP 2002076760A JP 4095320 B2 JP4095320 B2 JP 4095320B2
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- sensor
- image
- calibration information
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、位置姿勢センサを用いて撮像装置の位置姿勢を計測する目的において、位置姿勢センサの較正を行う方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に仮想空間（たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など）の画像を重畳表示することで実現される。
【０００３】
このような画像表示装置の応用としては、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲームなど、今までのバーチャルリアリティとは異なった新たな分野が期待されている。
【０００４】
これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から多くの取り組みが行われてきた。
【０００５】
複合現実感における位置合わせの問題は、現実空間に設定した世界座標系（以後、単に世界座標系と呼ぶ）における、撮像装置の３次元位置姿勢を求める問題に帰結される。これらの問題を解決する方法として、磁気式センサや超音波式センサなどの３次元位置姿勢センサを利用することが一般的に行われている。
【０００６】
一般に３次元位置姿勢センサが出力する出力値は、センサが独自に定義するセンサ座標系における測点の位置姿勢であって、世界座標系における撮像装置の位置姿勢ではない。例えばPolhemus社の磁気式センサFASTRAKを例にとると、センサ出力として得られるのは、トランスミッタが定義する座標系におけるレシーバの位置姿勢である。したがって、センサ出力値をそのまま世界座標系における撮像装置の位置姿勢として用いることはできず、何らかの較正を行う必要がある。具体的には、測点の位置姿勢を撮像装置の位置姿勢に変換する座標変換と、センサ座標系における位置姿勢を世界座標系における位置姿勢に変換する座標変換が必要となる。なお、本明細書において、センサ出力値を世界座標系における撮像装置の位置姿勢に変換するための情報を較正情報と呼ぶこととする。
【０００７】
図１は、複合現実感の提示を行う一般的な画像表示装置の機能構成を示すブロック図である。
【０００８】
頭部装着部１００には、表示画面１１０及びビデオカメラ１２０が固定されている。不図示のユーザが、表示画面１１０が眼前に位置するように頭部装着部１００を装着すると、ユーザの眼前の情景がビデオカメラ１２０によって撮像される。したがって、仮にビデオカメラ１２０が撮像した画像を表示画面１１０に表示したとすると、ユーザは、頭部装着部１００を装着していなければ裸眼で観察するであろう眼前の情景を、ビデオカメラ１２０と表示画面１１０を介して観察することになる。
【０００９】
位置姿勢センサ１３０は、頭部装着部１００に固定された測点のセンサ座標系における位置姿勢を計測する装置であって、例えば、レシーバ１３１、トランスミッタ１３２，センサ制御部１３３よりなる磁気式センサであるPolhemus社のFASTRAKによって構成されている。レシーバ１３１は測点として頭部装着部１００に固定されており、センサ制御部１３２は、トランスミッタ１３３の位置姿勢を基準としたセンサ座標系におけるレシーバ１３１の位置姿勢を計測しこれを出力する。
【００１０】
一方、演算処理部１７０は、位置姿勢情報変換部１４０、メモリ１５０、画像生成部１６０からなり、例えば１台の汎用コンピュータにより構成することが可能である。位置姿勢情報変換部１４０は、メモリ１５０が保持する較正情報に従って、位置姿勢センサ１３０より入力した計測値に変換を加え、世界座標系におけるビデオカメラ１２０の位置姿勢を算出しこれを位置姿勢情報として出力する。画像生成部１６０は、位置姿勢情報変換部１４０より入力した位置姿勢情報に従って仮想画像を生成し、これをビデオカメラ１２０が撮像した実写画像に重畳して出力する。表示画面１１０は、画像生成部１６０から画像を入力しこれを表示する。以上の構成により、不図示のユーザは、眼前の現実空間に仮想物体が存在するかのごとき感覚を得ることになる。
【００１１】
次に、図２を用いて、位置姿勢情報変換部１４０において、世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する。図２は世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する図である。
【００１２】
同図において、世界座標系２００におけるセンサ座標系２１０（トランスミッタ１３３の位置を原点とする座標系）の位置姿勢をMTW、センサ座標系２１０における位置姿勢センサ１３０の測点（すなわちレシーバ１３１）の位置姿勢をMST、位置姿勢センサ１３０の測点からみたビデオカメラ１２０の位置姿勢をMCS、世界座標系２００におけるビデオカメラ１２０の位置姿勢をMCWとする。なお、本明細書では、座標系Ａにおける物体Ｂの位置姿勢を、座標系Ａから座標系Ｂ（物体Ｂを基準とするローカル座標系）へのビューイング変換行列MBA（４×４）で表記するものとする。
【００１３】
このときMCWは、
MCW ＝ MCS・MST・MTW （式Ａ）
によって示すことができる。
【００１４】
このうち、MSTが位置姿勢センサ１３０から位置姿勢情報変換部１４０への入力、MCWが位置姿勢情報変換部１４０から画像生成部１６０への出力であり、MCS及びMTWが、MSTをMCWに変換するために必要な較正情報に相当する。位置姿勢情報変換部１４０は、位置姿勢センサ１３０から入力されるMSTと、メモリ１５０に保持されているMCS及びMTWとを用いて、（式Ａ）に基づいてMCWを算出し、これを画像生成部１６０へと出力する。
【００１５】
現実空間と仮想空間の正確な位置合わせを行うためには、何らかの手段によってメモリ１５０に正確な較正情報が設定される必要がある。正確な較正情報が与えられてはじめて、現実空間に正確に位置合わせのなされた仮想画像の表示が実現される。
【００１６】
尚、メモリ１５０における較正情報の保持形態は、必ずしもビューイング変換行列である必要はなく、一方の座標系からみたもう一方の座標系の位置及び姿勢が定義できる情報であれば、いずれの形態をとってもよい。例えば、位置を記述する３パラメータと、姿勢をオイラー角によって表現する３パラメータの計６パラメータで位置姿勢を表現してもよい。また、姿勢に関しては、回転軸を定義する３値のベクトルとその軸まわりの回転角という４パラメータで表現してもよいし、回転軸を定義するベクトルの大きさによって回転角を表現するような３パラメータによって表現してもよい。
【００１７】
また、それらの逆変換を表わすパラメータ（例えば、センサ座標系２１０における世界座標系２２０の位置姿勢）によって表現しても良い。ただし、いずれの場合も、３次元空間中における物体の位置及び姿勢は、位置に３自由度、姿勢に３自由度の計６自由度を有しているのみであるので、本画像表示装置の較正に必要な未知パラメータ数は、世界座標系からセンサ座標系への変換に必要な６パラメータと、測点の位置姿勢からビデオカメラの位置姿勢への変換に必要な６パラメータの合計１２パラメータとなる。
【００１８】
較正情報を設定する公知の方法の一つとして、ユーザあるいはオペレータが、不図示の入力手段を介して、メモリ１５０に格納されたMCS及びMTWを定義する１２のパラメータ（あるいはそれに等価な１２以上のパラメータ）を対話的に変更し、正確な位置合わせが達成されるまで調整を試行錯誤的に行うという方法がある。
【００１９】
また、特願２００１−０５０９９０号公報により提案された較正方法によれば、MCS及びMTWの一方が何らかの方法で得られていれば、ある値に固定した位置姿勢情報に基づいて生成した仮想画像を視覚キューとして用いることで、残された未知パラメータを簡便に導出することができる。
【００２０】
【発明が解決しようとする課題】
しかし、前者の方法では、１２の未知パラメータを同時に調整する必要があるため調整に著しく時間がかかり、必ずしも正確な較正情報が得られるとは限らないという問題点があった。また、後者の方法においても、既知とするパラメータを導出する際に試行錯誤的作業あるいは何らかの較正用器具を用いた作業を行う必要があるという改善の余地があった。
【００２１】
本発明は以上の問題に鑑みてなされたものであり、センサにより計測された撮像装置の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ、特別な較正用器具を用いることなく取得することを目的とする。
【００２２】
【課題を解決するための手段】
本発明の目的を達成する為に、例えば本発明のセンサ較正方法は以下の構成を備える。
【００２３】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出工程は、
前記計測値入力工程によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出工程と、
前記画像座標算出工程によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得工程によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出工程とを有し、
前記誤差算出工程が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とする。
【００２５】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記計測値入力工程によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得工程によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とする。
【００２６】
【課題を解決するための手段】
本発明の目的を達成する為に、例えば本発明のセンサ較正方法は以下の構成を備える。
【００２７】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出手段は、
前記計測値入力手段によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出手段と、
前記画像座標算出手段によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得手段によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出手段とを有し、
前記誤差算出手段が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とする。
【００２８】
本発明の目的を達成する為に、例えば本発明のセンサ較正装置は以下の構成を備える。
【００２９】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記計測値入力手段によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得手段によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とする。
【００３０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
【００３１】
以下の実施形態では、本発明の較正装置及びその方法を、図１の画像表示装置の較正に適用した場合について説明する。
【００３２】
本実施形態の較正装置を用いて画像表示装置の較正を行うためには、当該画像表示装置が表示の対象としている現実空間内に、世界座標が既知な最低３点以上のランドマーク（特徴点）が配置されている必要がある。ここで、各ランドマークは、撮影画像上におけるその投影像の画像座標が検出可能であって、かついずれのランドマークであるかが識別可能であるような、例えばそれぞれが異なる色を有するランドマークであるものとする。また、世界座標系は所定の１点を原点とし、更にこの原点から夫々直交する方向にｘ、ｙ、ｚ軸をとる。そしてこの座標系において上記３点のランドマークの座標が既知であるとする。つまり、予め上記３点のランドマークについて原点からｘ、ｙ、ｚ方向への距離を測定しておく。
【００３３】
図３は本実施形態における較正装置を含む較正情報生成システムの機能構成を示すブロック図である。同図に示すように、本実施形態における較正装置３００は、世界座標保持部３１０、画像座標取得部３２０、データ管理部３３０、較正情報算出部３４０、指示部３５０から構成されており、較正対象である画像表示装置の頭部装着部１００及び位置姿勢センサ１３０が接続されている。
【００３４】
世界座標保持部３１０は、各ランドマークの世界座標系における座標データ（上記方法などにより予め測定しておいたデータ）を保持しており、データ管理部３３０からの要求に従ってこれを出力する。また、世界座標保持部３１０は各ランドマークの座標データに夫々のランドマーク固有の情報（ランドマークの色、識別番号）のデータを関連づけて保持している。
【００３５】
画像座標取得部３２０は、ビデオカメラ１２０が撮影した画像を入力し、画像中に撮影されているランドマークの座標及びその識別番号（識別子）を特定し、データ管理部３３０からの要求に従ってこれらの情報をデータ管理部３３０へと出力する。画像におけるランドマークの座標、及び識別番号の特定方法としては例えば、世界座標保持部３１０が保持している各ランドマークの色情報を参照して、画像中で各ランドマークの色を有する領域を抽出し、更に抽出した領域における重心位置を求める。このようにすることで各ランドマークの画像における座標を求めることができる。更に世界座標保持部３１０が保持している各色のランドマークの識別番号情報を参照して、各領域の色に対応する識別番号を特定する。このようにすることで、画像においてどのランドマークがどの位置にあるかを特定することができる。
【００３６】
データ管理部３３０は、指示部３５０から「データ取得」の指示を受けると、画像座標取得部３２０からランドマークの画像座標及び識別番号を入力し、世界座標保持部３１０から対応するランドマークの世界座標を入力し、位置姿勢センサ１３０から撮影画像と同一時刻のセンサ計測値を入力し、［世界座標−センサ計測値−画像座標］の組をデータリストに追加しこれを保持する。また、較正情報算出部３４０からの要求にしたがって、生成したデータリストを較正情報算出部３４０に出力する。
【００３７】
較正情報算出部３４０は、指示部３５０から「較正情報算出」の指示を受けると、データ管理部３３０からデータリストを入力し、これをもとに較正情報を算出し、算出した較正情報を出力する。
【００３８】
指示部３５０は、不図示のオペレータからデータ取得コマンドが入力されたときには「データ取得」の指示をデータ管理部３３０に、較正情報算出コマンドが入力されたときには「較正情報算出」の指示を較正情報算出部３４０に送信する。指示部３５０へのコマンドの入力は、例えばキーボードを用いて、特定のコマンドを割り当てたキーを押すことによって行うことができる。また、コマンドの入力は、ディスプレイ上に表示されたＧＵＩで行うなどの、いずれの方法で行ってもよい。
【００３９】
図４は、本実施形態の較正装置が較正情報を求める際に行う処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【００４０】
ステップＳ１０１０において、指示部３５０は、データ取得コマンドがオペレータから入力されたか否かの判定を行う。データ取得コマンドが入力されている場合には、ステップＳ１０２０へと処理を移行させる。以下では、データ取得コマンドが入力された時点においてビデオカメラ１２０が位置していた視点位置をVjとする。
【００４１】
ステップＳ１０２０において、データ管理部３３０は、位置姿勢センサ１３０（センサ制御部１３２）から、視点位置Vjにビデオカメラ１２０が位置している際の計測値MVj STを入力する。
【００４２】
ステップＳ１０３０において、データ管理部３３０は、視点位置Vjに位置するビデオカメラ１２０によって撮影された撮像画像上におけるランドマークQk（k＝１，２，３、、、）の識別番号k及び画像座標uVjQkを、画像座標取得部３２０から入力する。この入力は、当該撮像画像上に複数のランドマークが撮像されている場合には、それら各々のランドマークに対して行われる。
【００４３】
ステップＳ１０４０において、データ管理部３３０は、画像座標取得部３２０から入力した各ランドマークQkの（それぞれの識別番号kに対応する）世界座標XQk Wを、世界座標保持部３１０から入力する。
【００４４】
次に、ステップＳ１０５０において、データ管理部３３０は、検出されたランドマーク毎に、入力したデータをデータリストLiに追加する。具体的には、ランドマークQkに対する画像座標をui=uVjQk=[ui x,ui y]T、その世界座標をXi W=XQk W=[xi W,yi W,zi W,1]T、その際のセンサ出力をMi ST=MVj STとして、[ui,xi W,Mi ST]の組を、i番目のデータとしてリストに登録する。ここでiは現在リストに登録されているデータ総数に１を足した値を示す。
【００４５】
以上の処理によって、データの取得が行われる。
【００４６】
ステップＳ１０６０では、指示部３５０によって、現在までに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。データリストが条件を満たしていない場合には、再びステップＳ１０１０へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップＳ１０７０へと処理を移行させる。較正情報算出の条件としては、例えば、異なる３点以上のランドマークに関するデータが得られていること、複数の視点位置においてデータの取得が行われていること、及びデータ総数が６以上であること、を条件とする。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。
【００４７】
次にステップＳ１０７０において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップＳ１０８０へと処理を移行し、入力されていない場合には、再びステップＳ１０１０へと戻り、データ取得コマンドの入力を待つ。
【００４８】
較正情報算出部３４０は、求めるべき較正情報のうちの姿勢に関する情報を、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって内部的に表現する。そして、MCSを、ビデオカメラ１２０が定義する座標系におけるレシーバ１３１の位置(xCS,yCS,zCS)及び姿勢（ξCS,ψCS,ζCS）によって表現し、また、MTWを、センサ座標系２１０における世界座標系２００の位置(xTW,yTW,zTW)及び姿勢（ξTW,ψTW,ζTW）によって表現する。１２の未知パラメータは、ベクトルs＝（xCS yCS zCS ξCS ψCS ζCS xTW yTW zTW ξTW ψTW ζTW）によって表現される。
【００４９】
ステップＳ１０８０において、較正情報算出部３４０は、ベクトルsに適当な初期値（例えばs=[0 0 0 ２／π 0 0 0 0 0 ２／π 0 0]T）を与える。
【００５０】
ステップＳ１０９０において、較正情報算出部３４０は、リスト中の各データLi(i=1,2,,,,N)に対して、当該ランドマークの画像座標の理論値u'i=[u'i x,u'i y]を、センサ出力Mi ST、世界座標Xi Wおよび現在のsに基づいて算出する。ここでランドマークの画像座標の理論値とは、上記得られたセンサ出力とランドマークの世界座標から求めた本来ランドマークが画像中に見えるべき位置（座標）のデータを指す。u'iは、sを変数として、センサ出力Mi STおよび世界座標Xi Wによって定義される関数
u'i=Fi(s) （式Ｂ）
によって定めることができる。
【００５１】
具体的には、まず、次式、
に基づいて、sの構成要素である(xCS,yCS,zCS)及び（ξCS,ψCS,ζCS）からビューイング変換行列MCSを、同様に、(xTW,yTW,zTW)及び（ξTW,ψTW,ζTW）からビューイング変換行列MTWを算出する。次に、当該ランドマークのカメラ座標Xi Cを、
Xi C=[xi C yi C zi C 1]=MCS・Mi ST・MTW・Xi W （式Ｄ）
によって算出する。最後に、画像座標の理論値を、
u'i x=-f×xi C／zi C u'i y=-f×yi C／zi C （式Ｅ）
によって算出する。ただし、fはビデオカメラ１２０の焦点距離である。
【００５２】
ステップＳ１１００において、較正情報算出部３４０は、リスト中の各データLiに対して、当該ランドマークの画像座標の理論値u'iと実測値uiとの誤差Δuiを、
Δui=ui-u'i （式Ｆ）
によって算出する。
【００５３】
ステップＳ１１１０において、較正情報算出部３４０は、リスト中の各データLiに対して、（式Ｂ）の右辺をベクトルsの各要素で偏微分した解を各要素に持つ２行×１２列のヤコビ行列Ji us（=∂u／∂s）を算出する。具体的には、（式Ｅ）の右辺をカメラ座標Xi Cの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列Ji ux（=∂u／∂x）と、（式Ｄ）の右辺をベクトルsの各要素で偏微分した解を各要素に持つ３行×１２列のヤコビ行列Ji xs（=∂x／∂s）をそれぞれ、（式Ｅ）および（式Ｄ）に基づいて算出し、
Ji us=Ji uxJi xs （式Ｇ）
として算出する。
【００５４】
ステップＳ１１２０において、較正情報算出部３４０は、ステップＳ１１００およびステップＳ１１１０において算出した、リスト中の全てのデータLiに対する誤差Δui及びヤコビ行列Ji usに基づいて、sの補正値Δsを算出する。具体的には、全てのデータに対する誤差Δuiおよびヤコビ行列Ji usをそれぞれ垂直に並べたベクトルU=[Δu1 Δu2 ,,, ΔuN]TおよびΦ=[J1 us J2 us ,,, JN us]Tを作成し、Φの一般化逆行列を用いて、
Δs=(ΦTΦ)-1ΦTU （式Ｈ）
として算出する。
【００５５】
ステップＳ１１３０において、較正情報算出部３４０は、ステップＳ１１２０において算出した補正値Δsを用いてsを補正する。
【００５６】
ｓ＋Δｓ→ｓ （式Ｉ）
ステップＳ１１４０において、較正情報算出部３４０は、Uの各要素が十分に小さいかどうか、あるいは、Δsが十分に小さいかどうかといった何らかの判定基準を用いて、計算が収束しているか否かの判定を行う。収束してない場合には、補正後のsを用いて、再度ステップＳ１０９０以降の処理を行う。
【００５７】
ステップＳ１１５０において、較正情報算出部３５０は、得られたsを較正情報として出力する。較正情報は、例えば、sから算出した２つのビューイング変換行列を出力する。出力の形態はsそのものでもよいし、他のいずれの位置姿勢記述方法によるものでもよい。
【００５８】
なお、世界座標保持部３１０、画像座標取得部３２０、データ管理部３３０、較正情報算出部３４０、および指示部３５０は、例えば１台の汎用コンピュータにより構成することが可能である。
【００５９】
＜変形例１＞
本実施形態では、位置姿勢センサ１３０としてPolhemus社の磁気式センサFASTRAKを用いた画像表示装置の較正に上記較正装置及びその方法を適用した場合について説明したが、本実施形態の較正装置及びその方法によって較正可能な画像表示装置の位置姿勢センサはFASTRAKに限定されるものではない。他のいずれの位置姿勢センサ（例えばAscension Technology社のFlock of BirdsやNorthern Digital Inc.社のOPTOTRAKなど）を位置姿勢の計測に用いた画像表示装置であっても、その較正を行うことができることはいうまでもない。
【００６０】
＜変形例２＞
上記実施形態では、ランドマークの画像座標およびその識別番号の取得を、色を識別情報として有するランドマークを用いて、閾値処理により画像から特定色領域を抽出し、その重心位置を、当該色を有するランドマークの画像座標として検出することで行っていた。しかし、画像上におけるランドマークの投影座標及びランドマークの識別番号が特定可能であれば、他のいずれの手法を用いてもよい。例えば、特定のパターンを識別情報として有するランドマークを用いて、パターンマッチングにより画像から特定パターンの領域を抽出し、その検出位置を、当該パターンを有するランドマークの画像座標として出力してもよい。また、画像処理によって行う必要は必ずしもなく、オペレータの手入力によってランドマークの画像座標およびその識別番号を入力してもよい。この場合、画像座標取得部３２０は、例えば作業用ディスプレイ上に表示された撮像画像上のランドマーク位置をマウスクリックによって指定する等の作業によって、オペレータが容易にランドマーク位置を入力できるような、何らかのＧＵＩを有した構成であることが望ましい。
【００６１】
また、画像処理による識別の望めない同一特徴をもつ複数のランドマークを用いる場合には、ランドマークの画像座標の取得を画像処理によって行い、その識別番号の入力を手入力によって行うといった構成をとることもできる。また、ランドマークの識別には他のいずれの方法をとってもよい。例えば、大まかな較正情報が初めから得られている場合には、（式Ｂ）によって算出される各ランドマークの画像座標の理論値と、検出されたランドマークの画像座標の比較によって、ランドマークの識別を行ってもよい。
【００６２】
また、画像処理によって取得する場合あるいは手入力によって取得する場合のいずれの場合においても、ランドマークは必ずしも人工的（人為的）なものでなくてもよく、自然特徴を用いてもよい。
【００６３】
＜変形例３＞
上記実施形態では、ステップＳ１０８０で較正情報の初期値として適当な値を設定していた。しかし、初期値と実際の値がかけ離れている場合には、上記実施形態では解が収束せず較正情報を求めることができない。このような状況に対処するため、異なる位置姿勢の組み合わせを予め設定しておき、これらを順次初期値として用いてステップＳ１０９０からステップＳ１１４０までの処理を行い、解が収束した際のsを選択するようにしてもよい。また、オペレータによる初期値（あるいは初期値を生成するのに必要な位置姿勢の情報）の入力を行う初期値入力部をさらに用意して、入力された初期値を用いて較正情報算出処理を行うことも可能である。
【００６４】
＜変形例４＞
本発明のより好適な変形例では、較正装置は画像生成部をさらに有している。画像生成部は、画像座標取得部３２０によって検出されたランドマークの画像座標を撮影画像に重畳して表示画面へ出力する。本変形例によれば、オペレータは、ランドマークの検出状況を確認しながらデータ取得の指示を入力することができる。
【００６５】
また、画像生成部は、較正情報算出部３４０が算出した較正情報に基づいて各ランドマークの画像座標の理論値を算出し、これを撮像画像に重畳して表示画面に出力する。本変形例によれば、オペレータは、現実のランドマークとそこに表示される計算位置とを比較することによって、較正作業の検証を行うことができる。
【００６６】
＜変形例５＞
上記実施形態では、オペレータからの制御コマンドを入力するための指示部３５０を有していたが、この入力は必ずしも必要ではなく、例えば画像座標取得部３２０がランドマークを検出するごとにデータリストへ追加を行い、データリストが条件を満たした時点で較正情報演算部３４０が較正情報の演算を行うような構成にしてもよい。
【００６７】
＜変形例６＞
上記実施形態では、画像生成装置と較正装置は別装置として構成されていたが、上記較正装置の機能を有するような画像生成装置を構成することも、もちろん可能である。
【００６８】
＜変形例７＞
上記実施形態では、複合現実感を提示する画像表示装置の位置姿勢センサの較正を行うものであったが、適用範囲はこれに限定されるものではなく、位置姿勢センサによって撮像装置の位置姿勢を計測するような他の何れの用途に適用することも可能である。
【００６９】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図４に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、センサにより計測された撮像装置の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ、特別な較正用器具を用いることなく取得することができる。
【図面の簡単な説明】
【図１】複合現実感の提示を行う一般的な画像表示装置の機能構成を示すブロック図である。
【図２】世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する図である。
【図３】本発明の実施形態における較正装置を含む較正情報生成システムの機能構成を示す図である。
【図４】本発明の実施形態における較正装置が較正情報を求める際に行う処理のフローチャートである。
【発明の属する技術分野】
本発明は、位置姿勢センサを用いて撮像装置の位置姿勢を計測する目的において、位置姿勢センサの較正を行う方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に仮想空間（たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など）の画像を重畳表示することで実現される。
【０００３】
このような画像表示装置の応用としては、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲームなど、今までのバーチャルリアリティとは異なった新たな分野が期待されている。
【０００４】
これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から多くの取り組みが行われてきた。
【０００５】
複合現実感における位置合わせの問題は、現実空間に設定した世界座標系（以後、単に世界座標系と呼ぶ）における、撮像装置の３次元位置姿勢を求める問題に帰結される。これらの問題を解決する方法として、磁気式センサや超音波式センサなどの３次元位置姿勢センサを利用することが一般的に行われている。
【０００６】
一般に３次元位置姿勢センサが出力する出力値は、センサが独自に定義するセンサ座標系における測点の位置姿勢であって、世界座標系における撮像装置の位置姿勢ではない。例えばPolhemus社の磁気式センサFASTRAKを例にとると、センサ出力として得られるのは、トランスミッタが定義する座標系におけるレシーバの位置姿勢である。したがって、センサ出力値をそのまま世界座標系における撮像装置の位置姿勢として用いることはできず、何らかの較正を行う必要がある。具体的には、測点の位置姿勢を撮像装置の位置姿勢に変換する座標変換と、センサ座標系における位置姿勢を世界座標系における位置姿勢に変換する座標変換が必要となる。なお、本明細書において、センサ出力値を世界座標系における撮像装置の位置姿勢に変換するための情報を較正情報と呼ぶこととする。
【０００７】
図１は、複合現実感の提示を行う一般的な画像表示装置の機能構成を示すブロック図である。
【０００８】
頭部装着部１００には、表示画面１１０及びビデオカメラ１２０が固定されている。不図示のユーザが、表示画面１１０が眼前に位置するように頭部装着部１００を装着すると、ユーザの眼前の情景がビデオカメラ１２０によって撮像される。したがって、仮にビデオカメラ１２０が撮像した画像を表示画面１１０に表示したとすると、ユーザは、頭部装着部１００を装着していなければ裸眼で観察するであろう眼前の情景を、ビデオカメラ１２０と表示画面１１０を介して観察することになる。
【０００９】
位置姿勢センサ１３０は、頭部装着部１００に固定された測点のセンサ座標系における位置姿勢を計測する装置であって、例えば、レシーバ１３１、トランスミッタ１３２，センサ制御部１３３よりなる磁気式センサであるPolhemus社のFASTRAKによって構成されている。レシーバ１３１は測点として頭部装着部１００に固定されており、センサ制御部１３２は、トランスミッタ１３３の位置姿勢を基準としたセンサ座標系におけるレシーバ１３１の位置姿勢を計測しこれを出力する。
【００１０】
一方、演算処理部１７０は、位置姿勢情報変換部１４０、メモリ１５０、画像生成部１６０からなり、例えば１台の汎用コンピュータにより構成することが可能である。位置姿勢情報変換部１４０は、メモリ１５０が保持する較正情報に従って、位置姿勢センサ１３０より入力した計測値に変換を加え、世界座標系におけるビデオカメラ１２０の位置姿勢を算出しこれを位置姿勢情報として出力する。画像生成部１６０は、位置姿勢情報変換部１４０より入力した位置姿勢情報に従って仮想画像を生成し、これをビデオカメラ１２０が撮像した実写画像に重畳して出力する。表示画面１１０は、画像生成部１６０から画像を入力しこれを表示する。以上の構成により、不図示のユーザは、眼前の現実空間に仮想物体が存在するかのごとき感覚を得ることになる。
【００１１】
次に、図２を用いて、位置姿勢情報変換部１４０において、世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する。図２は世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する図である。
【００１２】
同図において、世界座標系２００におけるセンサ座標系２１０（トランスミッタ１３３の位置を原点とする座標系）の位置姿勢をMTW、センサ座標系２１０における位置姿勢センサ１３０の測点（すなわちレシーバ１３１）の位置姿勢をMST、位置姿勢センサ１３０の測点からみたビデオカメラ１２０の位置姿勢をMCS、世界座標系２００におけるビデオカメラ１２０の位置姿勢をMCWとする。なお、本明細書では、座標系Ａにおける物体Ｂの位置姿勢を、座標系Ａから座標系Ｂ（物体Ｂを基準とするローカル座標系）へのビューイング変換行列MBA（４×４）で表記するものとする。
【００１３】
このときMCWは、
MCW ＝ MCS・MST・MTW （式Ａ）
によって示すことができる。
【００１４】
このうち、MSTが位置姿勢センサ１３０から位置姿勢情報変換部１４０への入力、MCWが位置姿勢情報変換部１４０から画像生成部１６０への出力であり、MCS及びMTWが、MSTをMCWに変換するために必要な較正情報に相当する。位置姿勢情報変換部１４０は、位置姿勢センサ１３０から入力されるMSTと、メモリ１５０に保持されているMCS及びMTWとを用いて、（式Ａ）に基づいてMCWを算出し、これを画像生成部１６０へと出力する。
【００１５】
現実空間と仮想空間の正確な位置合わせを行うためには、何らかの手段によってメモリ１５０に正確な較正情報が設定される必要がある。正確な較正情報が与えられてはじめて、現実空間に正確に位置合わせのなされた仮想画像の表示が実現される。
【００１６】
尚、メモリ１５０における較正情報の保持形態は、必ずしもビューイング変換行列である必要はなく、一方の座標系からみたもう一方の座標系の位置及び姿勢が定義できる情報であれば、いずれの形態をとってもよい。例えば、位置を記述する３パラメータと、姿勢をオイラー角によって表現する３パラメータの計６パラメータで位置姿勢を表現してもよい。また、姿勢に関しては、回転軸を定義する３値のベクトルとその軸まわりの回転角という４パラメータで表現してもよいし、回転軸を定義するベクトルの大きさによって回転角を表現するような３パラメータによって表現してもよい。
【００１７】
また、それらの逆変換を表わすパラメータ（例えば、センサ座標系２１０における世界座標系２２０の位置姿勢）によって表現しても良い。ただし、いずれの場合も、３次元空間中における物体の位置及び姿勢は、位置に３自由度、姿勢に３自由度の計６自由度を有しているのみであるので、本画像表示装置の較正に必要な未知パラメータ数は、世界座標系からセンサ座標系への変換に必要な６パラメータと、測点の位置姿勢からビデオカメラの位置姿勢への変換に必要な６パラメータの合計１２パラメータとなる。
【００１８】
較正情報を設定する公知の方法の一つとして、ユーザあるいはオペレータが、不図示の入力手段を介して、メモリ１５０に格納されたMCS及びMTWを定義する１２のパラメータ（あるいはそれに等価な１２以上のパラメータ）を対話的に変更し、正確な位置合わせが達成されるまで調整を試行錯誤的に行うという方法がある。
【００１９】
また、特願２００１−０５０９９０号公報により提案された較正方法によれば、MCS及びMTWの一方が何らかの方法で得られていれば、ある値に固定した位置姿勢情報に基づいて生成した仮想画像を視覚キューとして用いることで、残された未知パラメータを簡便に導出することができる。
【００２０】
【発明が解決しようとする課題】
しかし、前者の方法では、１２の未知パラメータを同時に調整する必要があるため調整に著しく時間がかかり、必ずしも正確な較正情報が得られるとは限らないという問題点があった。また、後者の方法においても、既知とするパラメータを導出する際に試行錯誤的作業あるいは何らかの較正用器具を用いた作業を行う必要があるという改善の余地があった。
【００２１】
本発明は以上の問題に鑑みてなされたものであり、センサにより計測された撮像装置の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ、特別な較正用器具を用いることなく取得することを目的とする。
【００２２】
【課題を解決するための手段】
本発明の目的を達成する為に、例えば本発明のセンサ較正方法は以下の構成を備える。
【００２３】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出工程は、
前記計測値入力工程によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出工程と、
前記画像座標算出工程によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得工程によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出工程とを有し、
前記誤差算出工程が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とする。
【００２５】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記計測値入力工程によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得工程によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とする。
【００２６】
【課題を解決するための手段】
本発明の目的を達成する為に、例えば本発明のセンサ較正方法は以下の構成を備える。
【００２７】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出手段は、
前記計測値入力手段によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出手段と、
前記画像座標算出手段によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得手段によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出手段とを有し、
前記誤差算出手段が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とする。
【００２８】
本発明の目的を達成する為に、例えば本発明のセンサ較正装置は以下の構成を備える。
【００２９】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記計測値入力手段によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得手段によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とする。
【００３０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
【００３１】
以下の実施形態では、本発明の較正装置及びその方法を、図１の画像表示装置の較正に適用した場合について説明する。
【００３２】
本実施形態の較正装置を用いて画像表示装置の較正を行うためには、当該画像表示装置が表示の対象としている現実空間内に、世界座標が既知な最低３点以上のランドマーク（特徴点）が配置されている必要がある。ここで、各ランドマークは、撮影画像上におけるその投影像の画像座標が検出可能であって、かついずれのランドマークであるかが識別可能であるような、例えばそれぞれが異なる色を有するランドマークであるものとする。また、世界座標系は所定の１点を原点とし、更にこの原点から夫々直交する方向にｘ、ｙ、ｚ軸をとる。そしてこの座標系において上記３点のランドマークの座標が既知であるとする。つまり、予め上記３点のランドマークについて原点からｘ、ｙ、ｚ方向への距離を測定しておく。
【００３３】
図３は本実施形態における較正装置を含む較正情報生成システムの機能構成を示すブロック図である。同図に示すように、本実施形態における較正装置３００は、世界座標保持部３１０、画像座標取得部３２０、データ管理部３３０、較正情報算出部３４０、指示部３５０から構成されており、較正対象である画像表示装置の頭部装着部１００及び位置姿勢センサ１３０が接続されている。
【００３４】
世界座標保持部３１０は、各ランドマークの世界座標系における座標データ（上記方法などにより予め測定しておいたデータ）を保持しており、データ管理部３３０からの要求に従ってこれを出力する。また、世界座標保持部３１０は各ランドマークの座標データに夫々のランドマーク固有の情報（ランドマークの色、識別番号）のデータを関連づけて保持している。
【００３５】
画像座標取得部３２０は、ビデオカメラ１２０が撮影した画像を入力し、画像中に撮影されているランドマークの座標及びその識別番号（識別子）を特定し、データ管理部３３０からの要求に従ってこれらの情報をデータ管理部３３０へと出力する。画像におけるランドマークの座標、及び識別番号の特定方法としては例えば、世界座標保持部３１０が保持している各ランドマークの色情報を参照して、画像中で各ランドマークの色を有する領域を抽出し、更に抽出した領域における重心位置を求める。このようにすることで各ランドマークの画像における座標を求めることができる。更に世界座標保持部３１０が保持している各色のランドマークの識別番号情報を参照して、各領域の色に対応する識別番号を特定する。このようにすることで、画像においてどのランドマークがどの位置にあるかを特定することができる。
【００３６】
データ管理部３３０は、指示部３５０から「データ取得」の指示を受けると、画像座標取得部３２０からランドマークの画像座標及び識別番号を入力し、世界座標保持部３１０から対応するランドマークの世界座標を入力し、位置姿勢センサ１３０から撮影画像と同一時刻のセンサ計測値を入力し、［世界座標−センサ計測値−画像座標］の組をデータリストに追加しこれを保持する。また、較正情報算出部３４０からの要求にしたがって、生成したデータリストを較正情報算出部３４０に出力する。
【００３７】
較正情報算出部３４０は、指示部３５０から「較正情報算出」の指示を受けると、データ管理部３３０からデータリストを入力し、これをもとに較正情報を算出し、算出した較正情報を出力する。
【００３８】
指示部３５０は、不図示のオペレータからデータ取得コマンドが入力されたときには「データ取得」の指示をデータ管理部３３０に、較正情報算出コマンドが入力されたときには「較正情報算出」の指示を較正情報算出部３４０に送信する。指示部３５０へのコマンドの入力は、例えばキーボードを用いて、特定のコマンドを割り当てたキーを押すことによって行うことができる。また、コマンドの入力は、ディスプレイ上に表示されたＧＵＩで行うなどの、いずれの方法で行ってもよい。
【００３９】
図４は、本実施形態の較正装置が較正情報を求める際に行う処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【００４０】
ステップＳ１０１０において、指示部３５０は、データ取得コマンドがオペレータから入力されたか否かの判定を行う。データ取得コマンドが入力されている場合には、ステップＳ１０２０へと処理を移行させる。以下では、データ取得コマンドが入力された時点においてビデオカメラ１２０が位置していた視点位置をVjとする。
【００４１】
ステップＳ１０２０において、データ管理部３３０は、位置姿勢センサ１３０（センサ制御部１３２）から、視点位置Vjにビデオカメラ１２０が位置している際の計測値MVj STを入力する。
【００４２】
ステップＳ１０３０において、データ管理部３３０は、視点位置Vjに位置するビデオカメラ１２０によって撮影された撮像画像上におけるランドマークQk（k＝１，２，３、、、）の識別番号k及び画像座標uVjQkを、画像座標取得部３２０から入力する。この入力は、当該撮像画像上に複数のランドマークが撮像されている場合には、それら各々のランドマークに対して行われる。
【００４３】
ステップＳ１０４０において、データ管理部３３０は、画像座標取得部３２０から入力した各ランドマークQkの（それぞれの識別番号kに対応する）世界座標XQk Wを、世界座標保持部３１０から入力する。
【００４４】
次に、ステップＳ１０５０において、データ管理部３３０は、検出されたランドマーク毎に、入力したデータをデータリストLiに追加する。具体的には、ランドマークQkに対する画像座標をui=uVjQk=[ui x,ui y]T、その世界座標をXi W=XQk W=[xi W,yi W,zi W,1]T、その際のセンサ出力をMi ST=MVj STとして、[ui,xi W,Mi ST]の組を、i番目のデータとしてリストに登録する。ここでiは現在リストに登録されているデータ総数に１を足した値を示す。
【００４５】
以上の処理によって、データの取得が行われる。
【００４６】
ステップＳ１０６０では、指示部３５０によって、現在までに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。データリストが条件を満たしていない場合には、再びステップＳ１０１０へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップＳ１０７０へと処理を移行させる。較正情報算出の条件としては、例えば、異なる３点以上のランドマークに関するデータが得られていること、複数の視点位置においてデータの取得が行われていること、及びデータ総数が６以上であること、を条件とする。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。
【００４７】
次にステップＳ１０７０において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップＳ１０８０へと処理を移行し、入力されていない場合には、再びステップＳ１０１０へと戻り、データ取得コマンドの入力を待つ。
【００４８】
較正情報算出部３４０は、求めるべき較正情報のうちの姿勢に関する情報を、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって内部的に表現する。そして、MCSを、ビデオカメラ１２０が定義する座標系におけるレシーバ１３１の位置(xCS,yCS,zCS)及び姿勢（ξCS,ψCS,ζCS）によって表現し、また、MTWを、センサ座標系２１０における世界座標系２００の位置(xTW,yTW,zTW)及び姿勢（ξTW,ψTW,ζTW）によって表現する。１２の未知パラメータは、ベクトルs＝（xCS yCS zCS ξCS ψCS ζCS xTW yTW zTW ξTW ψTW ζTW）によって表現される。
【００４９】
ステップＳ１０８０において、較正情報算出部３４０は、ベクトルsに適当な初期値（例えばs=[0 0 0 ２／π 0 0 0 0 0 ２／π 0 0]T）を与える。
【００５０】
ステップＳ１０９０において、較正情報算出部３４０は、リスト中の各データLi(i=1,2,,,,N)に対して、当該ランドマークの画像座標の理論値u'i=[u'i x,u'i y]を、センサ出力Mi ST、世界座標Xi Wおよび現在のsに基づいて算出する。ここでランドマークの画像座標の理論値とは、上記得られたセンサ出力とランドマークの世界座標から求めた本来ランドマークが画像中に見えるべき位置（座標）のデータを指す。u'iは、sを変数として、センサ出力Mi STおよび世界座標Xi Wによって定義される関数
u'i=Fi(s) （式Ｂ）
によって定めることができる。
【００５１】
具体的には、まず、次式、
Xi C=[xi C yi C zi C 1]=MCS・Mi ST・MTW・Xi W （式Ｄ）
によって算出する。最後に、画像座標の理論値を、
u'i x=-f×xi C／zi C u'i y=-f×yi C／zi C （式Ｅ）
によって算出する。ただし、fはビデオカメラ１２０の焦点距離である。
【００５２】
ステップＳ１１００において、較正情報算出部３４０は、リスト中の各データLiに対して、当該ランドマークの画像座標の理論値u'iと実測値uiとの誤差Δuiを、
Δui=ui-u'i （式Ｆ）
によって算出する。
【００５３】
ステップＳ１１１０において、較正情報算出部３４０は、リスト中の各データLiに対して、（式Ｂ）の右辺をベクトルsの各要素で偏微分した解を各要素に持つ２行×１２列のヤコビ行列Ji us（=∂u／∂s）を算出する。具体的には、（式Ｅ）の右辺をカメラ座標Xi Cの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列Ji ux（=∂u／∂x）と、（式Ｄ）の右辺をベクトルsの各要素で偏微分した解を各要素に持つ３行×１２列のヤコビ行列Ji xs（=∂x／∂s）をそれぞれ、（式Ｅ）および（式Ｄ）に基づいて算出し、
Ji us=Ji uxJi xs （式Ｇ）
として算出する。
【００５４】
ステップＳ１１２０において、較正情報算出部３４０は、ステップＳ１１００およびステップＳ１１１０において算出した、リスト中の全てのデータLiに対する誤差Δui及びヤコビ行列Ji usに基づいて、sの補正値Δsを算出する。具体的には、全てのデータに対する誤差Δuiおよびヤコビ行列Ji usをそれぞれ垂直に並べたベクトルU=[Δu1 Δu2 ,,, ΔuN]TおよびΦ=[J1 us J2 us ,,, JN us]Tを作成し、Φの一般化逆行列を用いて、
Δs=(ΦTΦ)-1ΦTU （式Ｈ）
として算出する。
【００５５】
ステップＳ１１３０において、較正情報算出部３４０は、ステップＳ１１２０において算出した補正値Δsを用いてsを補正する。
【００５６】
ｓ＋Δｓ→ｓ （式Ｉ）
ステップＳ１１４０において、較正情報算出部３４０は、Uの各要素が十分に小さいかどうか、あるいは、Δsが十分に小さいかどうかといった何らかの判定基準を用いて、計算が収束しているか否かの判定を行う。収束してない場合には、補正後のsを用いて、再度ステップＳ１０９０以降の処理を行う。
【００５７】
ステップＳ１１５０において、較正情報算出部３５０は、得られたsを較正情報として出力する。較正情報は、例えば、sから算出した２つのビューイング変換行列を出力する。出力の形態はsそのものでもよいし、他のいずれの位置姿勢記述方法によるものでもよい。
【００５８】
なお、世界座標保持部３１０、画像座標取得部３２０、データ管理部３３０、較正情報算出部３４０、および指示部３５０は、例えば１台の汎用コンピュータにより構成することが可能である。
【００５９】
＜変形例１＞
本実施形態では、位置姿勢センサ１３０としてPolhemus社の磁気式センサFASTRAKを用いた画像表示装置の較正に上記較正装置及びその方法を適用した場合について説明したが、本実施形態の較正装置及びその方法によって較正可能な画像表示装置の位置姿勢センサはFASTRAKに限定されるものではない。他のいずれの位置姿勢センサ（例えばAscension Technology社のFlock of BirdsやNorthern Digital Inc.社のOPTOTRAKなど）を位置姿勢の計測に用いた画像表示装置であっても、その較正を行うことができることはいうまでもない。
【００６０】
＜変形例２＞
上記実施形態では、ランドマークの画像座標およびその識別番号の取得を、色を識別情報として有するランドマークを用いて、閾値処理により画像から特定色領域を抽出し、その重心位置を、当該色を有するランドマークの画像座標として検出することで行っていた。しかし、画像上におけるランドマークの投影座標及びランドマークの識別番号が特定可能であれば、他のいずれの手法を用いてもよい。例えば、特定のパターンを識別情報として有するランドマークを用いて、パターンマッチングにより画像から特定パターンの領域を抽出し、その検出位置を、当該パターンを有するランドマークの画像座標として出力してもよい。また、画像処理によって行う必要は必ずしもなく、オペレータの手入力によってランドマークの画像座標およびその識別番号を入力してもよい。この場合、画像座標取得部３２０は、例えば作業用ディスプレイ上に表示された撮像画像上のランドマーク位置をマウスクリックによって指定する等の作業によって、オペレータが容易にランドマーク位置を入力できるような、何らかのＧＵＩを有した構成であることが望ましい。
【００６１】
また、画像処理による識別の望めない同一特徴をもつ複数のランドマークを用いる場合には、ランドマークの画像座標の取得を画像処理によって行い、その識別番号の入力を手入力によって行うといった構成をとることもできる。また、ランドマークの識別には他のいずれの方法をとってもよい。例えば、大まかな較正情報が初めから得られている場合には、（式Ｂ）によって算出される各ランドマークの画像座標の理論値と、検出されたランドマークの画像座標の比較によって、ランドマークの識別を行ってもよい。
【００６２】
また、画像処理によって取得する場合あるいは手入力によって取得する場合のいずれの場合においても、ランドマークは必ずしも人工的（人為的）なものでなくてもよく、自然特徴を用いてもよい。
【００６３】
＜変形例３＞
上記実施形態では、ステップＳ１０８０で較正情報の初期値として適当な値を設定していた。しかし、初期値と実際の値がかけ離れている場合には、上記実施形態では解が収束せず較正情報を求めることができない。このような状況に対処するため、異なる位置姿勢の組み合わせを予め設定しておき、これらを順次初期値として用いてステップＳ１０９０からステップＳ１１４０までの処理を行い、解が収束した際のsを選択するようにしてもよい。また、オペレータによる初期値（あるいは初期値を生成するのに必要な位置姿勢の情報）の入力を行う初期値入力部をさらに用意して、入力された初期値を用いて較正情報算出処理を行うことも可能である。
【００６４】
＜変形例４＞
本発明のより好適な変形例では、較正装置は画像生成部をさらに有している。画像生成部は、画像座標取得部３２０によって検出されたランドマークの画像座標を撮影画像に重畳して表示画面へ出力する。本変形例によれば、オペレータは、ランドマークの検出状況を確認しながらデータ取得の指示を入力することができる。
【００６５】
また、画像生成部は、較正情報算出部３４０が算出した較正情報に基づいて各ランドマークの画像座標の理論値を算出し、これを撮像画像に重畳して表示画面に出力する。本変形例によれば、オペレータは、現実のランドマークとそこに表示される計算位置とを比較することによって、較正作業の検証を行うことができる。
【００６６】
＜変形例５＞
上記実施形態では、オペレータからの制御コマンドを入力するための指示部３５０を有していたが、この入力は必ずしも必要ではなく、例えば画像座標取得部３２０がランドマークを検出するごとにデータリストへ追加を行い、データリストが条件を満たした時点で較正情報演算部３４０が較正情報の演算を行うような構成にしてもよい。
【００６７】
＜変形例６＞
上記実施形態では、画像生成装置と較正装置は別装置として構成されていたが、上記較正装置の機能を有するような画像生成装置を構成することも、もちろん可能である。
【００６８】
＜変形例７＞
上記実施形態では、複合現実感を提示する画像表示装置の位置姿勢センサの較正を行うものであったが、適用範囲はこれに限定されるものではなく、位置姿勢センサによって撮像装置の位置姿勢を計測するような他の何れの用途に適用することも可能である。
【００６９】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図４に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、センサにより計測された撮像装置の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ、特別な較正用器具を用いることなく取得することができる。
【図面の簡単な説明】
【図１】複合現実感の提示を行う一般的な画像表示装置の機能構成を示すブロック図である。
【図２】世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する図である。
【図３】本発明の実施形態における較正装置を含む較正情報生成システムの機能構成を示す図である。
【図４】本発明の実施形態における較正装置が較正情報を求める際に行う処理のフローチャートである。
Claims (13)
- 撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出工程は、
前記計測値入力工程によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出工程と、
前記画像座標算出工程によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得工程によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出工程とを有し、
前記誤差算出工程が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とするセンサ較正方法。 - 前記較正情報算出工程は、
前記誤差算出工程が算出する誤差にもとづいて、前記誤差を軽減するような較正情報の補正値を算出する補正値算出工程と、
前記補正値算出工程によって算出された前記補正値により前記較正情報を更新する較正情報更新工程とをさらに有し、
前記画像座標算出工程、前記誤差算出工程、前記補正値算出工程及び前記較正情報更新工程の繰り返し処理によって前記較正情報を算出することを特徴とする、請求項１に記載のセンサ較正方法。 - 前記較正情報は、前記位置姿勢センサの出力値であるセンサ座標系における測点の位置姿勢を、前記世界座標系における前記撮像装置の位置姿勢に変換するための情報であることを特徴とする請求項１又は２に記載のセンサ較正方法。
- 撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記計測値入力工程によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得工程によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とするセンサ較正方法。 - 前記第一の座標変換情報および前記第二の座標変換情報はそれぞれ、位置に関する３つの未知パラメータと、姿勢に関する３つの未知パラメータからなることを特徴とする、請求項４に記載のセンサ較正方法。
- 前記特徴点は、現実空間中に配置したマーカであることを特徴とする、請求項１乃至５の何れか１項に記載のセンサ較正方法。
- 前記特徴点は、現実空間中に存在する自然特徴であることを特徴とする、請求項１乃至５のいずれか１項に記載のセンサ較正方法。
- 前記画像座標取得工程は、画像処理によって前記画像座標の実測値を検出し入力することを特徴とする、請求項１乃至７のいずれか１項に記載のセンサ較正方法。
- 前記画像座標取得工程は、手入力によって前記画像座標の実測値を検出し入力することを特徴とする、請求項１乃至７のいずれか１項に記載のセンサ較正方法。
- 請求項１乃至９のいずれかに記載のセンサ較正方法をコンピュータに実行させるためのプログラム。
- 請求項１０に記載のプログラムを格納するコンピュータ読み取り可能な記憶媒体。
- 撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出手段は、
前記計測値入力手段によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出手段と、
前記画像座標算出手段によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得手段によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出手段とを有し、
前記誤差算出手段が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とするセンサ較正装置。 - 撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記計測値入力手段によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得手段によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とするセンサ較正装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002076760A JP4095320B2 (ja) | 2002-03-19 | 2002-03-19 | センサ較正装置、センサ較正方法、プログラム、記憶媒体 |
| EP03251542A EP1349114A3 (en) | 2002-03-19 | 2003-03-13 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
| CNB031207375A CN1210543C (zh) | 2002-03-19 | 2003-03-18 | 传感器校准装置及方法、程序、信息处理方法及装置 |
| US10/390,739 US6792370B2 (en) | 2002-03-19 | 2003-03-19 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
| US10/892,104 US7130754B2 (en) | 2002-03-19 | 2004-07-16 | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002076760A JP4095320B2 (ja) | 2002-03-19 | 2002-03-19 | センサ較正装置、センサ較正方法、プログラム、記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003269913A JP2003269913A (ja) | 2003-09-25 |
| JP4095320B2 true JP4095320B2 (ja) | 2008-06-04 |
Family
ID=29205420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002076760A Expired - Fee Related JP4095320B2 (ja) | 2002-03-19 | 2002-03-19 | センサ較正装置、センサ較正方法、プログラム、記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4095320B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008224454A (ja) * | 2007-03-13 | 2008-09-25 | Canon Inc | 情報処理装置、情報処理方法 |
| US11127155B2 (en) | 2018-09-27 | 2021-09-21 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4522129B2 (ja) | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| US7340316B2 (en) * | 2004-06-28 | 2008-03-04 | Hanger Orthopedic Group, Inc. | System and method for producing medical devices |
| JP4677273B2 (ja) | 2004-06-29 | 2011-04-27 | キヤノン株式会社 | 情報処理方法および情報処理装置 |
| JP4976756B2 (ja) | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | 情報処理方法および装置 |
| JP4943270B2 (ja) * | 2007-08-09 | 2012-05-30 | 富士フイルム株式会社 | 三次元座標系の設定方法および装置 |
| JP5728372B2 (ja) | 2011-11-30 | 2015-06-03 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| KR101418873B1 (ko) | 2013-03-27 | 2014-07-17 | 한국과학기술연구원 | 자세 측정 장치의 교정 방법, 자세 측정 장치의 교정 장치, 이를 구비한 휴대용 단말기, 이동 물체의 제어 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| JP6237326B2 (ja) | 2014-02-25 | 2017-11-29 | 富士通株式会社 | 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム |
| EP3236286B1 (en) * | 2016-04-18 | 2023-01-25 | Otis Elevator Company | Auto commissioning system and method |
| CN111275766B (zh) * | 2018-12-05 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 图像坐标系与gps坐标系的标定方法、装置及摄像机 |
| CN109901123B (zh) * | 2018-12-24 | 2023-12-01 | 文远知行有限公司 | 传感器标定方法、装置、计算机设备和存储介质 |
| JP7153594B2 (ja) * | 2019-03-26 | 2022-10-14 | 日立建機株式会社 | 較正作業支援システム |
| JP2021063922A (ja) * | 2019-10-15 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CN112634376B (zh) * | 2020-12-25 | 2024-06-04 | 深圳中科飞测科技股份有限公司 | 标定方法及装置、标定设备和存储介质 |
| CN113013079B (zh) * | 2021-02-09 | 2023-08-25 | 英特尔产品（成都）有限公司 | 用于校准涡流吸嘴的距离传感器的安装位置的工具和方法 |
-
2002
- 2002-03-19 JP JP2002076760A patent/JP4095320B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008224454A (ja) * | 2007-03-13 | 2008-09-25 | Canon Inc | 情報処理装置、情報処理方法 |
| US11127155B2 (en) | 2018-09-27 | 2021-09-21 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003269913A (ja) | 2003-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4095320B2 (ja) | センサ較正装置、センサ較正方法、プログラム、記憶媒体 | |
| JP3805231B2 (ja) | 画像表示装置及びその方法並びに記憶媒体 | |
| JP4976756B2 (ja) | 情報処理方法および装置 | |
| JP4136859B2 (ja) | 位置姿勢計測方法 | |
| US7657065B2 (en) | Marker placement information estimating method and information processing device | |
| US7529387B2 (en) | Placement information estimating method and information processing device | |
| JP5230114B2 (ja) | 情報処理装置、情報処理方法 | |
| US7613361B2 (en) | Information processing method and device | |
| JP4593968B2 (ja) | 位置姿勢計測方法および装置 | |
| US20040090444A1 (en) | Image processing device and method therefor and program codes, storing medium | |
| US20170100089A1 (en) | Method and System of Scanner Automation for X-Ray Tube with 3D Camera | |
| JP2017129567A (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP2008070267A (ja) | 位置姿勢計測方法及び装置 | |
| US7123214B2 (en) | Information processing method and apparatus | |
| WO2019013162A1 (ja) | 情報処理装置、情報処理方法 | |
| JP2016109669A (ja) | 情報処理装置、情報処理方法、プログラム | |
| EP1596218A2 (en) | Information processing method and system | |
| KR101896827B1 (ko) | 사용자 자세 추정 장치 및 방법 | |
| JP2012145598A (ja) | 情報処理方法及び情報処理装置 | |
| JP4991395B2 (ja) | 情報処理方法及び情報処理装置 | |
| JP2009175012A (ja) | 計測装置および計測方法 | |
| JP5726024B2 (ja) | 情報処理方法および装置 | |
| JP2005270484A (ja) | キャリブレーション方法 | |
| JP6109213B2 (ja) | 情報処理装置および方法、プログラム | |
| JP4566786B2 (ja) | 位置姿勢計測方法および情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051206 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051222 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080307 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4095320 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |