JP4675889B2 - 位置検出方法、対話型ディスプレイシステム及び位置検出装置 - Google Patents

Description

本発明は、包括的にはディスプレイシステムと対話するための入力装置に関し、特にこうしたディスプレイと共に使用されるライトペンに関する。

ライトペンはしばしば、グラフィックユーザインタフェースと共に入力装置として使用される（簡潔な歴史についてはマイヤーズ（Myers）著「A Brief History of Human Computer Interaction Technology」（ACM Interactions, Vol. 5, no. 2, pp. 44-54, March 1998）を参照）。ライトペンは１９５４年から使用されているが、コンピュータと共にライトペンを使用することを普及させたのはリンカーン研究所のイワン・サザーランド（Ivan Sutherland）の働きであった（サザーランド著「Sketchpad: The First Interactive Computer Graphics」（Ph.D. Thesis, MIT, 1963））。

入力装置として、ライトペンにはマウスに勝るいくつかの利点がある。マウスは間接的な入力装置である。水平表面上でのマウスの移動が垂直なディスプレイ上でのカーソルの移動を生じる。マウスとカーソルの移動量及び移動速度は異なる可能性がある。対照的に、ライトペンのポインティングは直接的であり、ゆえにより直感的である。

従来技術では、典型的なライトペンがディスプレイシステムと共に以下のように使用されている。ほとんどのＣＲＴベースのディスプレイはラスタスキャンされる。ディスプレイ上の個々の画素はスキャン順におけるその位置に応じて所定回数照明される。或る画素が照明されるときを検出することによって、表示面上のその位置を求めることができる。したがって、通常のライトペンは、タイミング回路に接続された光センサを含む。検知された画素の、ラスタスキャンと同期されたタイミングによりその位置が明らかになる。通常、ライトペンは、画面と接触はしなくとも、そのすぐ近くに把持される。

残念ながら、従来のスキャンＣＲＴベースのディスプレイは、ＬＣＤ画面、デジタルミラーアレイ、及び有機ＬＥＤ技術のような画素指向の（pixel-oriented）ディスプレイに取って代わられつつある。これらの画素ベースのディスプレイはスキャンされないため、ラスタスキャンのタイミングに基づく従来のライトペン技法は、これらの新しいディスプレイモダリティには適用できない。

したがって、ライトペンを画素ベースのディスプレイとインタフェースするシステム及び方法が必要とされている。

本発明は、構造化された光の知覚不可能なパターンを画素ベースの表示装置に投影する。パターンは、白黒、グレースケール、又は赤、緑、青（ＲＧＢ）のフルカラーであり得る。色付きパターンは、二値の白黒パターンよりも多くの情報を伝達することができる。パターンは、知覚可能な内容とインタリーブされる。

パターンは、位置情報を符号化するように配置される。これらのパターンは、人間の視覚系には知覚不可能であるが、光センサでは検出することができる。符号化は全ての画素位置に対して一意であるため、パターンを復号化して位置情報を求めることが可能である。構造化された光のパターンの各位置における一意性は空間的なものであっても、時間的なものであっても、又は時空間的なものであってもよい。

時間的な実施の形態において、符号化は完全に時間領域で行われる。各画素における経時的な光強度パターンが位置情報を符号化する。したがって、１つの画素の位置を求めるには、その画素における光強度を経時的にサンプリングすれば十分である。

空間的な実施の形態において、位置は、近傍画素領域にまたがる一意の強度変化により符号化される。したがって、画素位置を求めるために画素近傍がサンプリングされる。この実施の形態は複数の光センサを使用する。時間的な実施の形態に勝る利点として、空間的な実施態様は、単一のパターンから位置を求めることができる。

時空間的な実施の形態において、パターンは、空間及び時間にわたって変化する。この技法は、空間的な場合よりも小さな近傍、及び時間的な場合よりも少ないパターンを用いることができる。したがって、コストと速度をトレードオフして、特定の用途に対してシステムを最適化することができる。

パターンを人間の視覚系には知覚不可能なものとするために、いくつかの異なる技法を用いることができる。第１に、光を赤外線（ＩＲ）周波数又は人間の視覚の範囲外にある他の周波数にすることができる。デジタルミラーベースのプロジェクタでは、こうした装置によって使用されるカラーホイールに赤外線フィルタを追加することができる。

第２の技法はバランスマスキング（balanced masking）を用いる。この実施態様では、光は可視範囲にある。しかし、全ての画素に対する光の総和は経時的に同じである。例えば、各パターンの直後にその逆パターン又はネガパターンが続く。高速で連続表示されると、この２つのパターンは連続的なグレートーンを形成する。これらのパターンが比較的短い時間にわたって表示される場合、知覚可能なアーチファクトはコントラスト比のわずかな減少だけである。

構造化された光パターンは光センサによって検出される。検出されたパターンは復号化されて、位置情報が求められる。

ＩＲを用いた時間パターンの場合、単一の光センサを有するライトペンにより、位置推定に十分な情報が得られる。空間パターンの場合、光センサアレイ、例えばカメラを用いて、画素近傍に関して光強度の変化を検出する。

図１は、画素ベースのディスプレイ用のライトペンシステム１００を示す。このシステムは、画像生成器１２０、例えばプロジェクタに結合されるパターン・内容生成器１１０を含む。画像生成器は、パターンシーケンス１１１を表示面１３０にレンダリングする。好ましい実施の形態において、表示面は、ラスタスキャン型ではなく画素ベースである。ただし、このシステムは、ラスタスキャンディスプレイでも機能する。このシステムはまた、位置デコーダ１５０に結合されるライトペン１４０を含む。課題は、表示面１３０上の任意の位置１０１の２Ｄ座標を求めることである。

画像生成器１２０は、ＬＣＤスクリーン、デジタルミラーアレイ、反射型液晶（ＬＣＯＳ）、及び有機ＬＥＤ技法を前面投影モード又は背面投影モードのいずれかで用いることができる。本発明は、従来のＣＲＴベースのディスプレイと共に用いることもできることに留意すべきである。ライトペンは、単一の光センサ１４１又はカメラ内にあるような例えばＣＣＤセンサアレイを用いることができる。ライトペンは、センサが表示面に対して押圧されると作動される感圧スイッチを含むことができる。これによりスプリアスな読み取りが防止される。

１つの実施の形態では、赤外（ＩＲ）光を用いてパターン１１１が投影される。これは光を、集光レンズ、カラーホイールに取り付けられる赤外線カラーフィルタ、整形レンズを介してデジタルミラーデバイス（ＤＭＤ）に通し、その後、プロジェクタレンズを介して表示面１３０上に通すことによって達成することができる。これらの技術はよく知られている。

パターンシーケンス１１１は、ミラーの状態を順次変化させることによって生成される。パターンは、人間の視覚系ではなく光センサ１４１によって検出されるため、非常に高いレートで、例えば１ＫＨｚを上回るレートで生成されることができる。人間の視覚系は、可視窓（window of visibility）と呼ばれる特定の時間窓内の刺激のみに敏感であることが知られている（ワトソン（Watson）等著「Window of Visibility: a psychophysical theory of fidelity in time-sampled visual motion displays」（J. Opt. Soc. Am. A, Vol. 3, No. 3, pp. 300-307, March 1986）を参照）。人間の視覚系は、特定の時間周波数限界を超える画像を把握することができない。本発明は、１ミリ秒におよそ百個の一意のパターンを生成する。これは、時間可視窓の遥か外側である。

図２に示すように、パターンシーケンスが繰り返し２４０生成され２００、以下の別個の部分を有する。先ず、ヘッダパターン２１０を生成する。ヘッダパターンでは、全ての画素が後述のように一斉にオン・オフ切り換えされる。ヘッダパターンは、シーケンスの開始、パターンが生成されるレートを示すために用いられる。ヘッダはまた、ライトペンをパターンの相対的な明暗強度に対して較正するために用いることもできる。複数のプロジェクタから成るシステムの場合、後述するように、ヘッダはプロジェクタを識別することもできる。

次に、水平グレイ（Gray）コードパターン２２０及び垂直グレイコードパターン２３０が生成される（グレイによる米国特許第２，６３２，０５８号「Pulse Code Communication」（１９５３年３月１７日）を参照）。これらのパターンは、ディスプレイ１３０の個々の各画素に対して一意の光強度時間シーケンスを有する。画素群が検知される場合、各群は一意のパターンを有する。そうすることにより、特定の画素における光強度を経時的に検知すること、及び、パターンを復号化することによって、その画素の位置１０１の２Ｄ座標を求めることができる。

グレイコードがこの特性を達成するための唯一の方法であるわけではないが、グレイコードは他の利点を有する。最も重要なことには、グレイコードパターンは、後続パターン中のエッジが整列しないことを保証する。これにより、ライトペン１４０が近傍画素部分も検知する場合に曖昧さが最小化される。

図４は、４×４画素アレイのパターンシーケンス４００を示す。第１のパターン４０１は全て明るく、第２のパターン４０２は第１のパターンの逆パターンである、すなわち全て暗い。この一対のパターンはヘッダであり、ライトペンがシーケンスの開始に同期することを可能にする。このヘッダパターン対はまた、パターンを平均化することにより、較正用の基準光強度レベルを与えることができる。また、ヘッダパターンが表示される時間の長さはパターンタイミングを示す。したがって、パターン生成器１１０及びデコーダ１５０は互いに同期される必要がない。ヘッダパターンは任意の順序で繰り返して、全ての明暗パターンから２値信号、例えば０１０１１１０１を生成することができ、ここで最初の４「ビット」はシーケンスの開始インジケータであり、次のｎビットは他の情報である。

後続の各対４０３−４０４、４０５−４０６、４０７−４０８は、グレイコードの隣接特性を満たすように、ディスプレイを最初の対では水平方向に、次の対では垂直方向に画素レベルまで半分割する。ライトペンは、その下にある知覚可能な内容が表示されている間、ほとんどの時間において非アクティブである。

図３は位置復号化方法３００を示す。先ず、ヘッダを検出する３１０。次に、水平方向の強度値を測定し３２０、続いて、垂直方向の強度値を測定する３３０。これらの測定値から、位置１０１の座標を求める３４０。

各パターン画像の持続時間は非常に短く、およそ１０マイクロ秒であり得ることに留意すべきである。従来のＸＧＡ解像度のプロジェクタの場合、ヘッダと全ての位置情報に２２個のパターンしか必要ない。したがって、パターンシーケンスは非常に短く、例えば１ミリ秒未満にすることができる。したがって、シーケンス１１１の付加が、投影される表示の全体的な輝度に及ぼす影響は最小限である。実際に、この影響は非常にわずかであるため、シーケンスをより高いレートで表示して、位置情報の更新レートを高めることができる。

他の実施形態が可能である。有機ＬＥＤディスプレイの場合、ＩＲエミッタの追加は非実用的である場合がある。この場合、位置情報は赤、緑又は青（ＲＧＢ）のパターンに符号化される。これは、パターンが知覚不可能なままであるような方法で行われる。１つの方法は、上述のように、各パターンを非常に短時間表示する。

大きな「暗」領域が表示される場合、いくらかの変動光強度が知覚される可能性がある。これは、バランスマスキング技法によって改善することができる。この技法では、各画像の直後にその逆画像又はネガ画像が続く。これにより、パターンシーケンスを表示しながら、全画素に平均して５０％デューティサイクルが与えられる。実質的な知覚される効果は、ほとんど知覚不可能な平滑なグレー画像である。これは、シーケンス中の全画像の平均であり、コントラストをわずかしか損なわない。

ＬＣＤベースのディスプレイの場合、厳密な時間ソリューションに必要な速度を達成することは困難である場合がある。シーケンス中のパターン数を減らす一方法は、ライトペン１４０において複数のセンサを使用することによって検知領域を拡大することである。

極端な場合には、シーケンス１１１は単一のパターンを有する。このシステムにおいて、ライトペンは、時間シーケンス中のパターン数と少なくとも同じ数、すなわち２２個のセンサを有する。

代替的な実施の形態において、２つのプロジェクタが用いられ、第１のプロジェクタは知覚不可能なパターン１１１を表示し、第２のプロジェクタ１２１はその下にある知覚可能な内容１２２を表示する。図示しない第３のプロジェクタが第２のパターンシーケンスをインタリーブして、表示面６１０が図６に示すような、且つラスカー（Raskar）他によって２００３年３月２１日付で出願された米国特許出願第１０／３９４，３１５号「Method and System for Displaying Images on Curved Surfaces」（参照により本明細書中に援用される）に記載されているような曲面である場合に、位置情報の３Ｄ座標が得られるようにすることができる。

図５に示すさらに別の代替的な実施の形態において、表示は、ラスカー他によって２００３年３月２１日付で出願された米国特許出願第１０／３９４，６８８号「Self-Configurable Ad-Hoc Projector Cluster」（参照により本明細書中に援用される）に記載されているように、部分的に重なり合う画像５０１のモザイクであり、より大きなパノラマ画像５１０を生成する。この場合、各ヘッダシーケンス２１０は識別情報を含むことができ、デコーダが、複数のプロジェクタによって投影される異なるパターンシーケンスを区別できるようにする。

マルチユーザインタフェースにおいて複数のライトペンを同時に用いることができることにも留意すべきである。したがって、本発明は、比較的高価であり一度に単一の接触位置しか区別することができない抵抗性タッチスクリーンに勝る利点を有する。従来のビジョンベースのシステムもまた、実施がより複雑であり、これらのタイプのシステムはシャドーイング及び精度に問題がある。

本発明を、好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることを理解すべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るこのような変形及び変更をすべて網羅することである。

本発明によるディスプレイ・ライトペンシステムのブロック図である。 本発明による、知覚不可能なパターンを生成するプロセスのフロー図である。 本発明に従ってパターンを復号化して位置情報を得るプロセスのフロー図である。 本発明によるパターンである。 ディスプレイモザイクのブロック図である。 曲面を用いるディスプレイシステムの図である。

Claims (12)

1. 表示面上の位置を求める位置検出方法であって、
   前記表示面の各位置における光強度が経時的に変化する複数の光強度パターンを前記表示面に投影する投影ステップと、
   前記複数の光強度パターンを前記表示面上に投影している間に前記表示面上の任意の位置における光強度を経時的に検知する光強度検知ステップと、
   前記光強度検知ステップで検知した光強度の経時的な変化によって得られた信号を復号化して、前記任意の位置の座標を求める座標検出ステップと
   を含む位置検出方法。
2. 前記光強度パターンがグレイコードにより構成された
   請求項１記載の位置検出方法。
3. 前記表示面は平面であり、前記座標は前記表示面上の２次元座標である
   請求項１記載の位置検出方法。
4. 前記複数の光強度パターンは、人間の視覚系には知覚不可能である
   請求項１記載の位置検出方法。
5. 前記複数の光強度パターンは一対の連続する第１及び第２のパターンを含み、前記第２のパターンは前記第１のパターンの逆パターン又はネガパターンである
   請求項１記載の位置検出方法。
6. 前記第１のパターン及び前記第２のパターンの全画素に対する光強度の総和は経時的に同じである
   請求項５記載の位置検出方法。
7. 前記投影ステップにおいて投影される前記複数の光強度パターンは空間及び時間にわたって光強度が変化するものであり、
   前記光強度検知ステップでは、前記表示面上の任意の位置における光強度を経時的及び空間的に検知する
   請求項１記載の位置検出方法。
8. 表示面の各位置における光強度が経時的に変化する複数の光強度パターンを生成するパターン生成手段と、
   前記パターン生成手段によって生成された複数の光強度パターンを前記表示面に投影する投影手段と、
   前記投影手段が前記複数の光強度パターンを前記表示面上に投影している間に前記表示面上の任意の位置における光強度を経時的に検知する光強度検知手段と、
   前記光強度検知手段で検知した光強度の経時的な変化によって得られた信号を復号して、前記任意の位置の座標を求める座標検出手段と
   を備える対話型ディスプレイシステム。
9. 表示面上の位置を求める位置検出方法であって、
   前記表示面の各位置における光強度が経時的に変化する複数の光強度パターンを前記表示面に投影させるために生成するパターン生成ステップと、
   前記複数の光強度パターンを前記表示面上に投影している間に前記表示面上の任意の位置における光強度を経時的に検知することで得られた信号を復号し、前記任意の位置の座標を求める座標検出ステップと
   を含む位置検出方法。
10. 表示面上の位置を求める位置検出装置であって、
    前記表示面の各位置における光強度が経時的に変化する複数の光強度パターンを前記表示面に投影させるために生成するパターン生成手段と、
    前記複数の光強度パターンを前記表示面上に投影している間に前記表示面上の任意の位置における光強度を経時的に検知することで得られた信号を復号し、前記任意の位置の座標を求める座標検出手段と
    を備える位置検出装置。
11. 表示面の各位置における光強度が経時的に変化する複数の光強度パターンが前記表示面に投影されている間に、前記表示面上の任意の位置における光強度を経時的に検知する光強度検知ステップと、
    前記光強度検知ステップによって検知した光強度の経時的な変化によって得られた信号を復号して、前記任意の位置の座標を求める座標検出ステップと
    を含む位置検出方法。
12. 表示面の各位置における光強度が経時的に変化する複数の光強度パターンが前記表示面に投影されている間に、前記表示面上の任意の位置における光強度を経時的に検知する光強度検知手段と、
    前記光強度検知手段によって検知した光強度の経時的な変化によって得られた信号を復号して、前記任意の位置の座標を求める座標検出手段と
    を備える位置検出装置。

Images