JP3871980B2

JP3871980B2 - Position / attitude measurement device and position / attitude measurement method

Info

Publication number: JP3871980B2
Application number: JP2002225316A
Authority: JP
Inventors: 晃市加藤
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2002-08-01
Filing date: 2002-08-01
Publication date: 2007-01-24
Anticipated expiration: 2022-08-01
Also published as: JP2004069335A

Description

【０００１】
【発明の属する技術分野】
本発明は、計算機等の情報処理装置あるいはアミューズメント機器に空間的位置および姿勢を入力する際に必要となる位置・姿勢計測装置および位置・姿勢計測方法に関し、より詳細には、動作安定化と省スペース化に優れ、かつ、任意計測時間間隔かつ広範囲に渡ってディスプレイ上の位置、ディスプレイからの距離および回転入力が可能な位置・姿勢計測装置および位置・姿勢計測方法に関する。
【０００２】
【従来の技術】
近年のコンピュータの処理速度向上、ＣＧ（コンピュータグラフィックス）技術の発展にともない、３次元的な入力を伴うアプリケーションが急増している。特に、家庭用エンタテーメント機器、ＶＲＭＬ（ＶｉｒｔｕａｌＲｅａｌｉｔｙＭｏｄｅｌｉｎｇＬａｎｇｕａｇｅ）を代表としたインターネット上でのアプリケーションにおける３次元的入力デバイスの需要増加は顕著である。また、ＣＧ作成、ＣＡＤシステムの現場では、その入力デバイスとしてマウス、タブレット等を用いることが多い。
【０００３】
計算機等の情報処理装置あるいはアミューズメント機器に位置情報や姿勢情報の入力を可能とするデバイスには、磁場計測方式、光学式ステレオ、音響方式、ジョイスティック方式等のものが発売されている。これらのうち、磁場計測方式及び音響方式はともに、送信・受信を伴う機器を用いて所望の座標計測を行う。また、ジョイスティック方式は、精密かつメカニカルな可動部を有し、その動作情報を３次元位置情報に変換する。さらに、光学的ステレオは、複数のテレビカメラを用いて、視差情報より３次元位置情報を得る。
【０００４】
また、特開平９−３２５００７号公報や特開２００１−１７５４０５号公報には、３個以上の受光素子とディスプレイユニットを用いて各受光素子の位置と姿勢を求める装置の発明も開示されており、この装置では、安価なレンズ、小数の受光素子による３次元計測が可能であることに加え、光学的に３次元計測を行うために磁界や温度等の影響を受けず安定した３次元入力も可能である。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来から市販されている３次元入力装置には、以下のような問題があった。
【０００６】
すなわち、磁場計測方式の装置では空間中の磁場変動を計測するため、周囲にある金属部品や電子機器さらには地磁気の影響を受ける。また、音響方式の装置では音波の位相あるいは到達時間を計測するため、気圧や温度の影響を受ける。さらに、これら両装置は共に発信装置と受信装置とを必要とするために装置規模が大がかりとなる。ジョイスティック方式の装置では並行移動と回転運動とを独立して行う必要があるために直観的な３次元入力には適さない。
【０００７】
一方、３個以上の受光素子とディスプレイユニットを用いて受光素子の位置と姿勢を求める装置は、ディスプレイに対する６自由度の位置姿勢を入力可能であるものの、ディスプレイからの距離およびディスプレイと受光素子とを結んだ軸の周りの回転のみを計測したい場合に必要以上の回路構成を必要とするという問題がある。
【０００８】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、磁界や温度等の影響を受けることなく安定動作し、設置スペースをあまり必要とせず、さらに、任意計測時間間隔かつ広範囲に渡るディスプレイ上の位置、ディスプレイからの距離および回転入力を行うことが可能な入力装置（位置・姿勢計測装置）およびそのような入力方法（位置・姿勢計測方法）を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、このような目的を達成するために、請求項１に記載の発明は、位置・姿勢計測装置であって、輝点走査面上に輝点を表示する表示装置と、前記輝点からの光を集光して受光面にスポット光として投影する集光手段、及び前記受光面上の所定の２点の位置を表す前記受光面上の任意の位置を基準とする２次元座標（Ｘ _ｒ１，Ｙ _ｒ１）、（Ｘ _ｒ２，Ｙ _ｒ２）に配置された受光素子を含む受光手段と、前記輝点走査面上を走査される輝点を前記受光手段で受光し、前記受光素子にスポット光が投影されたときの前記輝点走査面上の２つの輝点の位置を前記輝点走査面上の任意の位置を基準とする２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）として求める２次元位置検出手段と、前記２次元座標（Ｘ _ｒ１，Ｙ _ｒ１）、（Ｘ _ｒ２，Ｙ _ｒ２）、前記２次元位置検出手段で求められた前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）、及び前記集光手段の焦点距離ｆに基づいて、前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）のうち少なくとも一方と相関のある前記輝点走査面と平行な面上の２次元座標（ｘ _ｐ，ｙ _ｐ）、前記輝点走査面と前記集光手段の主点の距離ｚ _ｐ、及び前記輝点走査面の副走査方向と前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）を結ぶ線分とのなす角度ｒ _ｐを求めるための位置・姿勢決定手段とを備えたことを特徴とする。
【００１０】
また、請求項２に記載の発明は、請求項１に記載の位置・姿勢計測装置において、前記２次元座標（ｘ _ｐ，ｙ _ｐ）は、前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）を結ぶ線分の中点であり、前記距離ｚ _ｐは、前記受光面上の２点間の距離、前記２つの輝点間の距離、及び前記集光手段の焦点距離を基に得られる距離であり、前記回転量ｒ _ｐは、前記２つの輝点を結ぶ線分と副走査方向との角度であることを特徴とする。
【００１１】
また、請求項３に記載の発明は、請求項１又は２に記載の位置・姿勢計測装置において、前記２次元位置検出手段が、前記２次元座標（Ｘ _ｒ１，Ｙ _ｒ１）、（Ｘ _ｒ２，Ｙ _ｒ２）に前記スポット光が投影された各時刻を求める手段と、当該各時刻における前記輝点走査面上の輝点の位置である前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）を特定する手段とを含むことを特徴とする。
【００１２】
また、請求項４に記載の発明は、請求項３に記載の位置・姿勢計測装置において、前記２次元座標（Ｘ _ｒ１，Ｙ _ｒ１）、（Ｘ _ｒ２，Ｙ _ｒ２）に前記スポット光が投影された時刻は、前記受光素子の受光強度がピークを示す時刻であることを特徴とする。
【００１３】
請求項５に記載の発明は、位置・姿勢計測方法であって、表示装置の輝点走査面上の輝点からの光を受光手段の集光手段で集光し、当該受光手段の受光面にスポット光として投影する第１のステップと、前記受光面上の所定の２点の位置を表す前記受光面上の任意の位置を基準とする２次元座標（Ｘ _ｒ１，Ｙ _ｒ１）、（Ｘ _ｒ２，Ｙ _ｒ２）に配置された受光素子にスポット光が投影されたときの前記輝点走査面上の２つの輝点の位置を前記輝点走査面上の任意の位置を基準とする２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）として求める第２のステップと、前記２次元座標（Ｘ _ｒ１，Ｙ _ｒ１）、（Ｘ _ｒ２，Ｙ _ｒ２）、前記第２のステップで求められた前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）、及び前記集光手段の焦点距離ｆに基づいて、前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）のうち少なくとも一方と相関のある前記輝点走査面と平行な面上の２次元座標（ｘ _ｐ，ｙ _ｐ）、前記輝点走査面と前記集光手段の主点の距離ｚ _ｐ、及び前記輝点走査面の副走査方向と前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）を結ぶ線分とのなす角度ｒ _ｐを求める第３のステップとを有することを特徴とする。
【００１４】
また、請求項６に記載の発明は、請求項５に記載の位置・姿勢計測方法において、前記２次元座標（ｘ _ｐ，ｙ _ｐ）は、前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）を結ぶ線分の中点であり、前記距離ｚ _ｐは、前記受光面上の２点間の距離、前記２つの輝点間の距離、及び前記集光手段の焦点距離を基に得られる距離であり、前記回転量ｒ _ｐは、前記２つの輝点を結ぶ線分と副走査方向との角度であることを特徴とする。
【００１５】
また、請求項７に記載の発明は、請求項５又は６に記載の位置・姿勢計測方法において、前記第２のステップが、前記２次元座標（Ｘ _ｒ１，Ｙ _ｒ１）、（Ｘ _ｒ２，Ｙ _ｒ２）に前記スポット光が投影された各時刻を求めるステップと、当該各時刻における前記輝点走査面上の輝点の位置である前記２次元座標（Ｘ _ｓ１，Ｙ _ｓ１）、（Ｘ _ｓ２，Ｙ _ｓ２）を特定するステップとを含むことを特徴とする。
【００１６】
また、請求項８に記載の発明は、請求項７に記載の位置・姿勢計測方法において、前記２次元座標（Ｘ _ｒ１，Ｙ _ｒ１）、（Ｘ _ｒ２，Ｙ _ｒ２）に前記スポット光が投影された時刻は、前記受光素子の受光強度がピークを示す時刻であることを特徴とする。
【００２５】
【発明の実施の形態】
以下、図面を参照して、本発明の位置・姿勢計測装置および位置・姿勢計測方法について説明する。
【００２６】
図１は、本発明の位置・姿勢計測装置の一実施例を説明するためのシステム構成図であって、１１はその輝点走査面上に輝点を移動して表示する表示装置であって、ここではラスタスキャン方式のＣＲＴディスプレイ（以下、「ディスプレイ」と略記する）としている。また、１２は受光装置、１３はパーソナルコンピュータ（ＰＣ）である。この装置では、受光装置１２をディスプレイ１１に対面させることでディスプレイ１１からの距離や回転等の情報がＰＣ１３に入力される。
【００２７】
なお、受光装置１２とＰＣ１３との間の信号伝達は所望の方法で行うことが可能であるが、有線通信あるいは無線通信で行い受光装置１２を移動自在とすれば利便性の高いシステムが得られる。
【００２８】
また、本実施例では、表示装置をラスタスキャン方式のＣＲＴのディスプレイ１１としたが、スパイラル走査して輝点表示を行う表示装置としてもよい。
【００２９】
図２は、図１中の受光装置１２の構成例を説明するための図で、この受光装置１２は、受光部２１の受光面上に備えられた受光素子２２ａ、２２ｂおよびレンズ２３と、２次元位置検出部２４と位置姿勢検出部２５とから構成される。
【００３０】
ここで、受光素子２２ａ、２２ｂは、所定の２点に配置されて光の強度を電気信号に変換するためのものであり、レンズ２３は、ディスプレイ１１上の輝点を集光し、受光部２１の受光面にスポット光として投影する集光手段である。また、２次元位置検出部２４は、受光部２１の受光面上に投影されたスポット光に対応するディスプレイ１１上の２つの輝点の位置を求めるためのものであり、位置姿勢検出部２５は、受光面上での２つのスポット光の位置とディスプレイ１１上での２つの輝点の位置から、ディスプレイ１１に対する受光素子２２ａ、２２ｂの位置及び姿勢を求めるための手段である。
【００３１】
本発明の位置・姿勢計測の基本的な原理は以下のとおりである。先ず、ディスプレイ１１の輝点走査面上にて走査される輝点を受光装置１２の受光部２１で観測し、その光強度を受光素子２２ａ及び２２ｂにて電気信号に変換する。次に、２次元位置検出部２４にてビデオ信号の同期信号発生時刻と、各受光素子２２ａ、２２ｂから出力される電気信号のピーク時刻からディスプレイ上における各受光素子２２ａ、２２ｂの対応点座標（Ｘ_ｓ１，Ｙ_ｓ１），（Ｘ_ｓ２，Ｙ_ｓ２）を検出し、得られた対応点座標および予め計測しておいた受光面上における受光素子２２ａ、２２ｂの位置座標（Ｘ_ｒ１，Ｙ_ｒ１），（Ｘ_ｒ２，Ｙ_ｒ２）を用いて位置姿勢検出部２５によってディスプレイ１１を基準とした受光部２１の位置・回転情報に変換し、ＰＣ１３へデータを送信する。
【００３２】
なお、本実施例では、２次元位置検出部２４と位置姿勢検出部２５を受光装置１２の内部に設ける構成としているが、これらの検出部２４、２５が実行する処理をＰＣ１３の内部で処理するように構成してもよい。
【００３３】
図３は、図２に示した受光装置１２が備える２次元位置検出部２４の構成例を説明するためのブロック図で、この２次元位置検出部２４の内部には、ピーク検出部３１、ＡＮＤゲート３２、カウンタ３３および対応位置座標決定部３４が備えられている。
【００３４】
ピーク検出部３１は、受光素子２２ａ、２２ｂからの出力信号（受光素子出力）の最大ピークを検出する。この検出は、入力信号の時間変化の差分を計測し、極大となる部分の信号値を常に観測し、信号値が立ち下がる直前の受光素子２２ａ、２２ｂの出力を、最大値をとった瞬間としてホールドする（ピーク検出部出力）ことで行う。
【００３５】
カウンタ３３は、スポット光が受光素子に投影された時刻を求める手段であって、単位時間毎に値をカウンタアップし、ビデオ同期信号検出時に値を０にリセットするものとする。また、ＡＮＤゲート３２は、ピーク検出部出力ＯＮで能動化され、カウンタ３３の値を対応位置座標決定部３４に送信するものとする。さらに、対応位置座標決定部３４は、スポット光が受光素子に投影された時刻と輝点走査面上での輝点の位置を対応付けるためのもので、カウンタ値をディスプレイ上でのスポット検出位置座標に変換するとともに、ピーク値を出力した受光素子２２ａ、２２ｂの位置と上述のスポット検出位置とを関連付けて記録し、位置姿勢検出部２５へ送信する。そして、位置姿勢検出部２５では、対応位置座標決定部３４より受信したスポット検出位置および受光素子位置より、受光装置のディスプレイに対する位置姿勢に変換し、ＰＣへ送信する。
【００３６】
図４は、本発明の位置・姿勢計測方法を説明するためのフローチャートである。以下に、各部の動作をこのフローチャートに基づいて説明する。
（ピーク検出部、ＡＮＤゲートおよびカウンタ部の動作）
ピーク検出部は、受光素子からの出力の極大値を観測して最大出力検出（ピーク検出）がなされたか否かを判断し（Ｓ１）、ピーク検出された場合（Ｓ１：Ｙｅｓ）にその値をＯＮとしてＡＮＤゲートに送る。
【００３７】
カウンタ部は、ビデオ同期信号（垂直描画開始信号）を監視し（Ｓ２）、ビデオ同期信号を検出する（Ｓ２：Ｙｅｓ）とこれをリセット信号としてカウントし、カウンタ値をリセットする（Ｓ３）。一方、同期信号を検出しない場合（Ｓ２：Ｎｏ）には、‘カウンタ値＋１’としてその出力をＡＮＤゲートに送る（Ｓ４）。
【００３８】
ＡＮＤゲートでは、最大ピーク値検出時に能動化し、その瞬間のカウンタ値を対応位置座標決定部へ送信する（Ｓ５）。
【００３９】
（対応位置座標決定部の動作）
対応位置座標決定部では、カウンタ値をディスプレイのスポット表示位置（Ｘ_ｓｎ，Ｙ_ｓｎ）に変換する（Ｓ６）。ここで、カウンタ値をｔ、水平同期幅をＴ_ｈとすると以下の関係となる。
【００４０】
【数１３】

【００４１】
【数１４】

【００４２】
ここで、値はすべて整数型であるものとする。上式（１）、（２）の関係により、カウンタ値をｔから２次元座標値（Ｘ_ｓｎ，Ｙ_ｓｎ）に変換可能とする。ピーク値を出力した受光素子毎の位置（Ｘ_ｒｎ，Ｙ_ｒｎ）と、その時のスポット表示位置（Ｘ_ｓｎ，Ｙ_ｓｎ）とを記録して位置姿勢決定部へ送信する（Ｓ７）。
【００４３】
なお、ここで、ｎは受光素子のチャンネル番号、すなわち一方の受光素子（２２ａ）の場合にはｎ＝１、他方の受光素子（２２ｂ）の場合にはｎ＝２であるものとする。
【００４４】
（位置姿勢決定部の動作）
位置姿勢決定部では、受光素子毎の位置（Ｘ_ｒ ₁，Ｙ_ｒ１），（Ｘ_ｒ２，Ｙ_ｒ２）とスポット表示位置（Ｘ_ｓ１，Ｙ_ｓ１），（Ｘ_ｓ ₂，Ｙ_ｓ２）およびレンズ焦点距離ｆより、受光装置のディスプレイに対する位置姿勢に変換することで、２個の受光素子の中点の表示面を基準とした位置（すなわちポインティング位置：（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ））と姿勢（すなわち回転：ｒ_ｐ）を求める（Ｓ８）。ここで、輝点走査面と受光面がほぼ平行であると仮定し、ポインティング位置（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を以下のように定義する。
【００４５】
【数１５】

【００４６】
【数１６】

【００４７】
【数１７】

【００４８】
また、受光素子の回転量ｒ_ｐを以下のように定義する。
【００４９】
【数１８】

【００５０】
以上の計算式により得られた受光素子の位置（Ｘ_ｒ１，Ｙ_ｒ１），（Ｘ_ｒ２，Ｙ_ｒ２）よりポインティング位置（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）と姿勢ｒ_ｐを算出し、ＰＣに送信する（Ｓ９）。
【００５１】
このような処理により、ディスプレイに対する受光装置の位置姿勢を逐次入力することが可能となる。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、入力装置として投影像の位置座標を検出可能な２個の受光素子と輝点を２次元面上に走査する表示装置のみで実現するため設置スペースをあまり必要とせず、さらに磁界や温度等の影響を受けず安定して直感的な位置姿勢入力が可能となる。
【００５３】
また、２個の受光素子を用いて受光素子の位置と姿勢を求めるため必要最小限の構成でディスプレイ上の位置、ディスプレイからの距離およびディスプレイと受光素子を結んだ軸の周りの回転の入力を行うことができる。
【００５４】
すなわち、本発明によれば、磁界や温度等の影響を受けることなく安定動作し、設置スペースをあまり必要とせず、さらに、任意計測時間間隔かつ広範囲に渡るディスプレイ上の位置、ディスプレイからの距離および回転入力を行うことが可能な入力装置（位置・姿勢計測装置）およびそのような入力方法（位置・姿勢計測方法）を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の位置・姿勢計測装置の一実施例を説明するためのシステム構成図である。
【図２】図１中の受光装置の構成例を説明するための図である。
【図３】図２に示した受光装置が備える２次元位置検出部の構成例を説明するためのブロック図である。
【図４】本発明の位置・姿勢計測方法を説明するためのフローチャートである。
【符号の説明】
１１ディスプレイ
１２受光装置
２１受光部
１３パーソナルコンピュータ
２２ａ、２２ｂ受光素子
２３レンズ
２４２次元位置検出部
２５位置姿勢検出部
３１ピーク検出部
３２ＡＮＤゲート
３３カウンタ
３４対応位置座標決定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a position / posture measurement apparatus and a position / posture measurement method that are required when inputting a spatial position and posture to an information processing apparatus such as a computer or an amusement device. The present invention relates to a position / posture measurement apparatus and a position / posture measurement method that are excellent in space-saving and can input a position on a display, a distance from the display, and rotation over an arbitrary measurement time interval and over a wide range.
[0002]
[Prior art]
With recent improvements in computer processing speed and the development of CG (computer graphics) technology, applications involving three-dimensional input are rapidly increasing. In particular, the increase in demand for three-dimensional input devices in applications on the Internet typified by home entertainment devices and VRML (Virtual Reality Modeling Language) is remarkable. Also, in the field of CG creation and CAD system, a mouse, a tablet, etc. are often used as the input device.
[0003]
Devices that can input position information and posture information to an information processing apparatus such as a computer or an amusement device, such as a magnetic field measurement method, an optical stereo method, an acoustic method, and a joystick method have been put on the market. Of these, the magnetic field measurement method and the acoustic method both perform desired coordinate measurement using a device that involves transmission and reception. The joystick method has a precise and mechanical movable part, and converts its operation information into three-dimensional position information. Furthermore, optical stereo uses a plurality of television cameras to obtain three-dimensional position information from parallax information.
[0004]
JP-A-9-325007 and JP-A-2001-175405 also disclose an invention of an apparatus for determining the position and orientation of each light receiving element using three or more light receiving elements and a display unit. In addition to being able to perform three-dimensional measurement with an inexpensive lens and a small number of light-receiving elements, this device can also perform stable three-dimensional input without being affected by magnetic fields, temperatures, etc., for optical three-dimensional measurement. It is.
[0005]
[Problems to be solved by the invention]
However, such a commercially available three-dimensional input device has the following problems.
[0006]
In other words, since a magnetic field measurement system measures magnetic field fluctuations in space, it is affected by surrounding metal parts, electronic devices, and geomagnetism. In addition, since an acoustic device measures the phase or arrival time of a sound wave, it is affected by atmospheric pressure and temperature. Furthermore, both of these devices require both a transmitting device and a receiving device, which increases the device scale. A joystick type device is not suitable for intuitive three-dimensional input because parallel movement and rotational movement need to be performed independently.
[0007]
On the other hand, an apparatus for obtaining the position and orientation of a light receiving element using three or more light receiving elements and a display unit can input a position and orientation of 6 degrees of freedom with respect to the display. When it is desired to measure only the rotation around the axis connecting the two, there is a problem that an excessive circuit configuration is required.
[0008]
The present invention has been made in view of such problems, and the object of the present invention is to operate stably without being affected by a magnetic field, temperature, etc., and does not require much installation space. To provide an input device (position / posture measuring device) capable of inputting a position on the display over a wide range and a distance, a distance from the display and a rotation input, and such an input method (position / posture measuring method). is there.
[0009]
[Means for Solving the Problems]
In order to achieve such an object, the present invention provides a position / orientation measuring apparatus according to claim 1, wherein the display device displays a bright spot on a bright spot scanning plane, and the bright spot. And a two-dimensional coordinate based on an arbitrary position on the light receiving surface representing the position of two predetermined points on the light receiving surface. X _r1 , Y _r1 ), (X _r2 , Y _r2 ) and a light receiving means including a light receiving element, and a bright spot scanned on the bright spot scanning surface is received by the light receiving means, and received by the light receiving element Two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 ) with the positions of two bright spots on the bright spot scanning plane when the spot light is projected as a reference on an arbitrary position on the bright spot scanning plane , a two-dimensional position detecting means for obtaining a _{Y s2),} the two-dimensional coordinates _(X _{r1, Y} r1) _(X _{r2, Y r2),} wherein the two-dimensional coordinates obtained by the two-dimensional position detecting means _(X _{_s1,} Y _{_s1),} based on (X _{s2, Y s2),} and the focal length f of the focusing means , Two- dimensional coordinates (x _p , y _p ) on a plane parallel to the bright spot scanning plane correlated with at least one of the two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 , Y _s2 ), The distance z _p between the bright spot scanning surface and the principal point of the light condensing means , and the sub-scanning direction of the bright spot scanning surface and the two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 , Y _s2 ) are connected. characterized in that a position and posture determination means for determining the angle r _p and a line segment.
[0010]
According to a second aspect of the present invention, in the position / orientation measuring apparatus according to the first aspect, the two-dimensional coordinates (x _p , y _p ) are the two-dimensional coordinates (X _s1 , Y _s1 ), ( X _s2 , Y _s2 ), and the distance z _p is the distance between the two points on the light receiving surface, the distance between the two bright spots, and the focal length of the light collecting means. the a distance obtained based on the rotation amount r _p is characterized in that the angle between the line segment and the sub-scanning direction connecting the two bright points.
[0011]
According to a third aspect of the present invention, in the position / orientation measuring apparatus according to the first or second aspect, the two-dimensional position detecting means includes the two-dimensional coordinates (X _r1 , Y _r1 ), (X _r2 , Means for obtaining each time when the spot light is projected onto Y _r2 ), and the two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 ) which are the positions of the bright spots on the bright spot scanning plane at the respective times. , Y _s2 ) .
[0012]
According to a fourth aspect of the present invention, in the position / orientation measuring apparatus according to the third aspect, the spot light is projected onto the two-dimensional coordinates (X _r1 , Y _r1 ), (X _r2 , Y _r2 ). The time is a time when the light receiving intensity of the light receiving element shows a peak .
[0013]
The invention according to claim 5 is a position / orientation measuring method, wherein light from a bright spot on a bright spot scanning surface of a display device is collected by a light collecting means of the light receiving means, and the light receiving surface of the light receiving means And a two-dimensional coordinate (X _r1 , Y _r1 ), (X _r1 , Y _r1 ), (X _r1 , Y _r1 ), (X _r1 , Y _r1 ), Two-dimensional positions with reference to an arbitrary position on the bright spot scanning plane as the positions of the two bright spots on the bright spot scanning plane when spot light is projected onto the light receiving elements arranged at _r2 , Y _r2 ) In the second step to obtain the coordinates (X _s1 , Y _s1 ), (X _s2 , Y _s2 ), the two-dimensional coordinates (X _r1 , Y _r1 ), (X _r2 , Y _r2 ), in the second step the obtained the 2-dimensional coordinates _{_{_{(X s1, Y s1),}}} (X s2, Y s2), Based on the focal length f of the fine the focusing means, the two-dimensional coordinates _{_{_{(X s1, Y s1),}}} (X s2, Y s2) of at least one said bright spot scanning a plane parallel to the plane correlated , Two-dimensional coordinates (x _p , y _p ), a distance z _p between the bright spot scanning plane and the principal point of the light condensing means , and a sub-scanning direction of the bright spot scanning plane and the two-dimensional coordinates (X _s1 , Y _{_s1),} and having a third step of obtaining the angle _{r p} and a line segment connecting (X _{s2, Y} s2).
[0014]
In the position / attitude measurement method according to claim 5, the two-dimensional coordinates (x _p , y _p ) are the two-dimensional coordinates (X _s1 , Y _s1 ), ( X _s2 , Y _s2 ), and the distance z _p is the distance between the two points on the light receiving surface, the distance between the two bright spots, and the focal length of the light collecting means. the a distance obtained based on the rotation amount r _p is characterized in that the angle between the line segment and the sub-scanning direction connecting the two bright points.
[0015]
The invention described in Claim 7 is the position and orientation measuring method according to

claim

5 or 6, wherein the second step, the two-dimensional coordinates _{_{_{(X r1, Y r1),}}} (X r2, Y _r2 ) obtaining each time when the spot light is projected, and the two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 , _Specifying Y _s2 ) .
[0016]
The invention according to claim 8 is the position / attitude measurement method according to claim 7 , wherein the spot light is projected onto the two-dimensional coordinates (X _r1 , Y _r1 ), (X _r2 , Y _r2 ). The time is a time when the light receiving intensity of the light receiving element shows a peak .
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a position / posture measurement apparatus and a position / posture measurement method according to the present invention will be described with reference to the drawings.
[0026]
FIG. 1 is a system configuration diagram for explaining an embodiment of the position / orientation measuring apparatus of the present invention, and 11 is a display device for moving and displaying bright spots on the bright spot scanning plane. Here, a raster scan type CRT display (hereinafter abbreviated as “display”) is used. Reference numeral 12 denotes a light receiving device, and 13 denotes a personal computer (PC). In this apparatus, information such as distance and rotation from the display 11 is input to the PC 13 by causing the light receiving device 12 to face the display 11.
[0027]
Although signal transmission between the light receiving device 12 and the PC 13 can be performed by a desired method, a highly convenient system can be obtained if the light receiving device 12 is movable by wired communication or wireless communication. .
[0028]
In this embodiment, the display device is a raster scan CRT display 11. However, the display device may be a display device that displays a bright spot by spiral scanning.
[0029]
FIG. 2 is a diagram for explaining a configuration example of the light receiving device 12 in FIG. 1. The light receiving device 12 includes

light receiving elements

22 a and 22 b and a lens 23 provided on the light receiving surface of the

light receiving unit

21, and 2. A dimension position detection unit 24 and a position / orientation detection unit 25 are included.
[0030]
Here, the

light receiving elements

22a and 22b are arranged at two predetermined points for converting the intensity of light into an electric signal, and the lens 23 condenses the bright spots on the display 11, and receives the light receiving unit. Condensing means for projecting as spot light on the light receiving surface 21. The two-dimensional position detection unit 24 is for obtaining the positions of two bright spots on the display 11 corresponding to the spot light projected on the light receiving surface of the light receiving unit 21, and the position and orientation detection unit 25 is These are means for obtaining the positions and postures of the

light receiving elements

22a and 22b with respect to the display 11 from the positions of the two spot lights on the light receiving surface and the positions of the two bright spots on the display 11.
[0031]
The basic principle of the position / orientation measurement of the present invention is as follows. First, the bright spot scanned on the bright spot scanning surface of the display 11 is observed by the light receiving unit 21 of the light receiving device 12, and the light intensity is converted into an electric signal by the

light receiving elements

22a and 22b. Next, the coordinates of the corresponding points of the

light receiving elements

22a and 22b on the display (from the synchronization signal generation time of the video signal and the peak time of the electric signals output from the

light receiving elements

22a and 22b in the two-dimensional position detection unit 24) X _s1 , Y _s1 ), (X _s2 , Y _s2 ) are detected and the corresponding point coordinates obtained and the position coordinates (X _r1 , Y _r1 ) of the

light receiving elements

22a and 22b on the light receiving surface measured in advance are detected. , (X _r2 , Y _r2 ), the position and orientation detection unit 25 converts the information into position / rotation information of the light receiving unit 21 with the display 11 as a reference, and transmits the data to the PC 13.
[0032]
In this embodiment, the two-dimensional position detection unit 24 and the position / orientation detection unit 25 are provided inside the light receiving device 12. However, the processing executed by these

detection units

24 and 25 is performed inside the PC 13. You may comprise as follows.
[0033]
FIG. 3 is a block diagram for explaining a configuration example of the two-dimensional position detection unit 24 included in the light receiving device 12 shown in FIG. 2. The two-dimensional position detection unit 24 includes a peak detection unit 31 and an AND. A gate 32, a counter 33, and a corresponding position coordinate determination unit 34 are provided.
[0034]
The peak detector 31 detects the maximum peak of the output signals (light receiving element outputs) from the

light receiving elements

22a and 22b. In this detection, the difference in time change of the input signal is measured, the signal value of the maximum portion is always observed, and the output of the

light receiving elements

22a and 22b immediately before the signal value falls is regarded as the moment when the maximum value is taken. This is done by holding (peak detector output).
[0035]
The counter 33 is means for obtaining the time when the spot light is projected onto the light receiving element, and increments the value every unit time and resets the value to 0 when the video synchronization signal is detected. The AND gate 32 is activated when the peak detection unit output is turned ON, and transmits the value of the counter 33 to the corresponding position coordinate determination unit 34. Further, the corresponding position coordinate determination unit 34 is for associating the time when the spot light is projected onto the light receiving element with the position of the bright spot on the bright spot scanning plane, and the counter value is the spot detection position coordinate on the display. In addition, the positions of the

light receiving elements

22 a and 22 b that output the peak value and the above-described spot detection positions are recorded in association with each other and transmitted to the position and orientation detection unit 25. Then, the position / orientation detection unit 25 converts the spot detection position and the light receiving element position received from the corresponding position coordinate determination unit 34 into a position / orientation with respect to the display of the light receiving device, and transmits it to the PC.
[0036]
FIG. 4 is a flowchart for explaining the position / orientation measuring method of the present invention. The operation of each part will be described below based on this flowchart.
(Operation of peak detector, AND gate and counter)
The peak detection unit observes the maximum value of the output from the light receiving element and determines whether or not the maximum output detection (peak detection) has been performed (S1), and if the peak is detected (S1: Yes), the value is determined. Send to the AND gate as ON.
[0037]
The counter unit monitors the video synchronization signal (vertical drawing start signal) (S2), and when it detects the video synchronization signal (S2: Yes), it counts it as a reset signal and resets the counter value (S3). On the other hand, when the synchronization signal is not detected (S2: No), the output is sent to the AND gate as “counter value + 1” (S4).
[0038]
The AND gate is activated when the maximum peak value is detected, and the counter value at that moment is transmitted to the corresponding position coordinate determination unit (S5).
[0039]
(Operation of the corresponding position coordinate determination unit)
The corresponding position coordinate determination unit converts the counter value into a spot display position (X _sn , Y _sn ) on the display (S6). Here, when the counter value is t and the horizontal synchronization width is _Th , the following relationship is established.
[0040]
[Formula 13]

[0041]
[Expression 14]

[0042]
Here, all values are assumed to be of integer type. The counter value can be converted from t to a two-dimensional coordinate value (X _sn , Y _sn ) by the relationship of the above formulas (1) and (2). The position (X _rn , Y _rn ) for each light receiving element that outputs the peak value and the spot display position (X _sn , Y _sn ) at that time are recorded and transmitted to the position and orientation determination unit (S 7).
[0043]
Here, n is the channel number of the light receiving element, that is, n = 1 in the case of one light receiving element (22a) and n = 2 in the case of the other light receiving element (22b).
[0044]
(Operation of position and orientation determination unit)
The position and orientation determining unit, the position of each light receiving element _{_{_{_{(X r 1, Y r1)}}}} , (X r2, Y r2) and spot display position _{_{(X s1, Y s1),}} (X s 2, Y s2) and lens focal By converting from the distance f to the position and orientation with respect to the display of the light receiving device, the position relative to the display surface of the midpoint of the two light receiving elements (ie, pointing position: (x _p , y _p , z _p )) and A posture (that is, rotation: r _p ) is obtained (S8). Here, assuming that the bright spot scanning surface and the light receiving surface are substantially parallel, the pointing position (x _p , y _p , z _p ) is defined as follows.
[0045]
[Expression 15]

[0046]
[Expression 16]

[0047]
[Expression 17]

[0048]
Further, defined as follows the rotation amount r _p of the light-receiving element.
[0049]
[Formula 18]

[0050]
The pointing position (x _p , y _p , z _p ) and posture r _p are calculated from the position (X _r1 , Y _r1 ), (X _r2 , Y _r2 ) of the light receiving element obtained by the above formula, Transmit (S9).
[0051]
By such processing, it becomes possible to sequentially input the position and orientation of the light receiving device with respect to the display.
[0052]
【The invention's effect】
As described above, according to the present invention, the installation space can be realized only by the two light receiving elements that can detect the position coordinates of the projected image as the input device and the display device that scans the bright spot on the two-dimensional plane. It is not necessary so much, and it is possible to input a stable and intuitive position and orientation without being affected by a magnetic field or temperature.
[0053]
In addition, to obtain the position and orientation of the light receiving element using two light receiving elements, the position on the display, the distance from the display, and the rotation about the axis connecting the display and the light receiving element are input with the minimum necessary configuration. It can be carried out.
[0054]
That is, according to the present invention, it operates stably without being affected by a magnetic field, temperature, and the like, does not require much installation space, and further has an arbitrary measurement time interval and a wide range of positions on the display, a distance from the display, and It is possible to provide an input device (position / posture measurement device) capable of performing rotation input and such an input method (position / posture measurement method).
[Brief description of the drawings]
FIG. 1 is a system configuration diagram for explaining an embodiment of a position / posture measuring apparatus of the present invention.
FIG. 2 is a diagram for explaining a configuration example of a light receiving device in FIG. 1;
3 is a block diagram for explaining a configuration example of a two-dimensional position detection unit provided in the light receiving device shown in FIG. 2. FIG.
FIG. 4 is a flowchart for explaining a position / attitude measurement method of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 Display 12 Light receiving apparatus 21 Light receiving part 13

Personal computer

22a, 22b Light receiving element 23 Lens 24 Two-dimensional position detection part 25 Position and orientation detection part 31 Peak detection part 32 AND gate 33 Counter 34 Corresponding position coordinate determination part

Claims

A display device for displaying a bright spot on the bright spot scanning plane;
Condensing means for condensing light from the bright spot and projecting it as spot light on the light receiving surface, and an arbitrary position on the light receiving surface representing the position of two predetermined points on the light receiving surface as a reference 2 A light receiving means including a light receiving element arranged at dimensional coordinates (X _r1 , Y _r1 ), (X _r2 , Y _r2 ) ;
The bright spot scanned on the bright spot scanning plane is received by the light receiving means, and the positions of two bright spots on the bright spot scanning plane when spot light is projected onto the light receiving element are scanned with the bright spot. Two-dimensional position detection means for obtaining two-dimensional coordinates (X _s1 , Y _s1 ) and (X _s2 , Y _s2 ) based on an arbitrary position on the surface;
The two-dimensional coordinates (X _r1 , Y _r1 ), (X _r2 , Y _r2 ), the two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 , Y _s2 ) obtained by the two-dimensional position detection means , And based on the focal length f of the light collecting means,
Two- dimensional coordinates (x _p , y _p ) on a plane parallel to the bright spot scanning plane correlated with at least one of the two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 , Y _s2 ),
A distance z _p between the bright spot scanning plane and the principal point of the light collecting means ; and
Angle r _p formed by the sub-scanning direction of the bright spot scanning plane and the line segment connecting the two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 , Y _s2 )
A position / orientation measuring device comprising: position / orientation determining means for obtaining

The two-dimensional coordinates (x _p , y _p ) are midpoints of line segments connecting the two-dimensional coordinates (X _s1 , Y _s1 ), (X _s2 , Y _s2 ),
The distance z _p is a distance obtained based on a distance between two points on the light receiving surface, a distance between the two bright spots, and a focal length of the light collecting means,
The position / attitude measurement apparatus according to claim 1, wherein the rotation amount r _p is an angle between a line segment connecting the two bright spots and a sub-scanning direction .

The two-dimensional position detecting means is
Means for obtaining each time when the spot light is projected onto the two-dimensional coordinates (X _r1 , Y _r1 ), (X _r2 , Y _r2 );
Means for specifying the two-dimensional coordinates (X _s1 , Y _s1 ) and (X _s2 , Y _s2 ) which are the positions of the bright spots on the bright spot scanning plane at the respective times;
Position and orientation measuring apparatus according to claim 1 or 2, characterized in that it comprises a.

The time when the spot light is projected onto the two-dimensional coordinates (X _r1 , Y _r1 ) and (X _r2 , Y _r2 ) is a time when the light receiving intensity of the light receiving element shows a peak. 3. The position / orientation measuring apparatus according to 3.

A first step of condensing light from a luminescent spot on a luminescent spot scanning surface of a display device by a condensing unit of a light receiving unit, and projecting it as spot light on the light receiving surface of the light receiving unit;
Two-dimensional coordinates (X representing an arbitrary position on the light receiving surface representing the position of two predetermined points on the light receiving surface _ｒ１r1 , Y _ｒ１r1 ), (X _ｒ２r2 , Y _ｒ２r2 The position of the two bright spots on the bright spot scanning plane when spot light is projected onto the light receiving element arranged at (2) is a two-dimensional coordinate (X _ｓ１s1 , Y _ｓ１s1 ), (X _ｓ２s2 , Y _ｓ２s2 ) As a second step,
The two-dimensional coordinates (X _ｒ１r1 , Y _ｒ１r1 ), (X _ｒ２r2 , Y _ｒ２r2 ), The two-dimensional coordinates (X _ｓ１s1 , Y _ｓ１s1 ), (X _ｓ２s2 , Y _ｓ２s2 ), And the focal length f of the light collecting means,
The two-dimensional coordinates (X _ｓ１s1 , Y _ｓ１s1 ), (X _ｓ２s2 , Y _ｓ２s2 ) Two-dimensional coordinates (x on a plane parallel to the bright spot scanning plane correlated with at least one of _ｐp , Y _ｐp ),
Distance z between the bright spot scanning plane and the principal point of the light collecting means _ｐp ,as well as
The sub-scanning direction of the bright spot scanning plane and the two-dimensional coordinates (X _ｓ１s1 , Y _ｓ１s1 ), (X _ｓ２s2 , Y _ｓ２s2 ) Angle with the line connecting _ｐp
The third step to find
A position / posture measurement method characterized by comprising:

The two-dimensional coordinates (x _ｐp , Y _ｐp ) Is the two-dimensional coordinate (X _ｓ１s1 , Y _ｓ１s1 ), (X _ｓ２s2 , Y _ｓ２s2 )
The distance z _ｐp Is a distance obtained based on the distance between two points on the light receiving surface, the distance between the two bright spots, and the focal length of the light collecting means,
The amount of rotation r _ｐp 6. The position / posture measurement method according to claim 5, wherein is an angle between a line segment connecting the two bright spots and a sub-scanning direction.

The second step comprises:
_Obtaining each time when the spot light is projected onto the two-dimensional coordinates (X _r1 , Y _r1 ), (X _r2 , Y _r2 );
Identifying the two-dimensional coordinates (X _s1 , Y _s1 ) and (X _s2 , Y _s2 ) that are the positions of the bright spots on the bright spot scanning plane at the respective times;
The position / attitude measurement method according to claim 5 or 6, characterized by comprising :

The time when the spot light is projected onto the two-dimensional coordinates (X _r1 , Y _r1 ) and (X _r2 , Y _r2 ) is a time when the light receiving intensity of the light receiving element shows a peak. 8. The position / posture measurement method according to 7.