JP5014171B2

JP5014171B2 - 位置検出装置

Info

Publication number: JP5014171B2
Application number: JP2008006752A
Authority: JP
Inventors: 吉範浅村; 重教渋江
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-01-16
Filing date: 2008-01-16
Publication date: 2012-08-29
Anticipated expiration: 2028-01-16
Also published as: JP2009169653A

Description

本発明は、表示画面上に指示された指示体の位置を検出する位置検出装置に関する。

光学的に画面上の指示位置を検出する装置では、表示画面の前面側の外縁部に光源および再帰反射材を設け、表示画面に対して平行な走査光を照射して画面上に存在する指示体の再帰反射光による像を撮像することによって、指示体の指示位置を検出する位置検出装置がある（例えば、特許文献１参照）。

また、指示体の先端部が表示画面に接触している間のみ指示体から識別信号を出力し、識別信号を受信している間に受信した位置情報を有効と判断する位置検出装置がある（例えば、特許文献２参照）。

特開２００４−５１７１号公報（第４頁、第１図）特開２００３−２６３２７４号公報（第５、６頁、第４図）

しかし、特許文献１では、表示画面上に障害物が存在すると、障害物と指示体との区別ができずに指示体の位置を正確に検出することができないという問題があった。

また、特許文献２では、筐体内部にバッテリーを備える指示体の先端が表示画面に接触している間に識別信号を出力し続けるため、指示体内部のバッテリーが短時間で消耗してしまうという問題がある。

本発明は、これらの問題を解決するためになされたもので、表示画面上に障害物が存在しても指示体の指示位置を正確に検出するとともに、指示体内部のバッテリーの消耗を防ぐことを目的とする。

上記の課題を解決するために、本発明による位置検出装置は、投影装置から表示スクリーンの背面側に投影される映像の非有効期間を検出し、非有効期間に非可視光を表示スクリーンの背面側に投射する同期信号投射手段と、同期信号投射手段によって投射された非可視光を表示スクリーンの前面側から受光することにより、非有効期間を認識する間のみ、表示スクリーンの前面側に光を投射して指示することが可能な指示体と、指示体から投射された光を表示スクリーンの背面側から撮影して電気信号に変換する撮像手段と、撮像手段にて変換された電気信号を解析し、表示スクリーン上における指示体の指示位置を算出する画像処理手段とを備えることを特徴とする。

本発明によると、同期信号投射手段は投影装置から表示スクリーンの背面側に投影される映像の非有効期間を検出し、非有効期間に非可視光を表示スクリーンの背面側に投射し、指示体は同期信号投射手段によって投射された非可視光を表示スクリーンの前面側から受光することにより、非有効期間を認識する間のみ、表示スクリーンの前面側に光を投射して指示することが可能であり、撮像手段は指示体から投射された光を表示スクリーンの背面側から撮影して電気信号に変換し、画像処理手段は撮像手段にて変換された電気信号を解析し、表示スクリーン上における指示体の指示位置を算出するので、表示画面上に障害物が存在しても指示体の指示位置を正確に検出するとともに、指示体内部のバッテリーの消耗を防ぐことが可能である。

本発明の実施形態について、図面を用いて以下に説明する。

図１は、本発明の実施形態による位置検出装置の構成図である。図１に示すように、位置検出装置は、リアプロジェクタである投影装置１２から出力される映像信号の同期信号を検出して映像ブランキング期間（非有効期間）を示す同期信号を生成する同期信号生成手段６（同期信号投射手段）と、同期信号生成手段６にて生成された同期信号に基づいて非可視光を表示スクリーン１１に投射する非可視光投射手段５（同期信号投射手段）と、非可視光投射手段５から出力される非可視光を受光して同期信号を解析し、映像信号のブランキング期間のみ所定の波長の光を表示面１１ａ側から表示スクリーン１１に投射する指示体２Ａおよび２Ｂ（以下、指示体を総称して指示体２とする）と、同期信号生成手段６にて生成された同期信号に基づいて映像信号のブランキング期間に指示体２Ａおよび２Ｂから投射された光を表示スクリーン１１の背面１１ｂ側から撮像する撮像手段３と、撮像手段３にて撮像した表示スクリーン１１上の指示体２Ａおよび２Ｂの２次元座標を算出する画像処理手段４とからなる。なお、非可視光投射手段５から投射される非可視光は、例えば赤外線であってもよい。

指示体２は、表示スクリーン１１の表示面１１ａに先端部を当てて、所定の波長の光を表示スクリーン１１に投射する。図２は、本発明の実施形態による指示体２の構成図である。図２に示すように、指示体２は、非可視光投射手段５から投射された光を受光する受光部２６と、受光部２６にて受光した光を同期信号に電気的に変換する同期変換部２７と、波長が各々異なる複数のダイオード（２１ａ、２１ｂ、２１ｃ）を備える発光部２１と、指示体２から投射させる光の波長、すなわち発光ダイオード２１ａ、２１ｂ、２１ｃのいずれか１つを選択するためのスイッチ２２と、同期変換部２７から出力される同期信号に従って選択された発光部２１を駆動させるドライバ２３と、発光部２１から出力される光を効率よく投射するために指示体２の先端部に設けられたレンズ２４と、指示体２を駆動させるための電源であるバッテリー２５とからなり、それらは筐体２８に収められている。

発光部２１は、波長の異なる３種類の発光ダイオード２１ａ、２１ｂ、２１ｃを備えており、発光ダイオード２１ａは赤（６６０ｎｍ）、発光ダイオード２１ｂは青緑（５５０ｎｍ）、発光ダイオード２１ｃは青（４４０ｎｍ）の光をそれぞれ発光する。スイッチ２２の操作で発光ダイオード（２１ａ、２１ｂ、２１ｃ）を切り替えることによって、指示体２から投射される光の波長を変更することができる。

本発明の実施形態では、指示体２Ａおよび指示体２Ｂを使用し、指示体２Ａはスイッチ２２の操作によって発光ダイオード２１ａを選択して赤色の光を投射するように設定し、指示体２Ｂはスイッチ２２の操作によって発光ダイオード２１ｂを選択して青緑の光を投射するように設定する。このとき、指示体２Ａおよび指示体２Ｂが投射する光の波長が重ならないようにする。なお、本発明の実施形態では、２つの指示体２Ａおよび指示体２Ｂを使用したが、１つまたは３つ以上の指示体２であってもよい。

撮像手段３は、図１に示すように、投影装置１２に近接するように筐体（図示せず）内に収納され設置されている。すなわち、投影装置１２の前面と撮像手段３の前面とが表示スクリーン１１と略平行な平面内に並ぶように設置されている。こうすることによって、撮像手段３の撮像範囲は投影装置１２が表示スクリーン１１上に映像を投影する範囲を含む。また、投影装置１２が表示スクリーン１１上に映像を投影する光路を撮像手段３が遮断することもない。撮像手段３には、波長によって光を区別するための光学フィルタ（図示せず）が設けられており、指示体２から投射された光を波長ごとに区別して電気信号に変換した後、画像処理手段４に出力される。

画像処理手段４では、波長ごとに区別した電気信号を撮像手段３から入力し、入力された電気信号に基づいて指示体２Ａおよび指示体２Ｂの位置を判別して、表示スクリーン１１上の２次元座標として処理により算出する。算出された指示体２Ａおよび指示体２Ｂの２次元の位置情報は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）等の外部インターフェース３０を経由してコンピュータ３１に入力される。

同期信号生成手段６は、投影装置１２から投射される映像の垂直同期信号と有効映像とが出力されない期間（ブランキング期間）を検出して同期信号として非可視光投射手段５および画像処理手段４に出力する。非可視光投射手段５では、同期信号生成手段６から入力される同期信号の有効期間のみ、例えば赤外線などの非可視光のパルスを表示スクリーン１１上に投射する。一方、画像処理手段４では、同期信号生成手段６から入力された同期信号に基づいて撮像タイミング信号を生成して撮像手段３に出力する。撮像手段３は、画像処理手段４から入力した撮像タイミング信号に従って指示体２から投射される光を撮像する。

コンピュータ３１は、内部に映像情報を保有しており、映像情報を映像信号として投影装置１２に出力する。このとき、外部インターフェース３０を経由して画像処理手段４から指示体２Ａおよび指示体２Ｂの位置情報が入力されると、コンピュータ３１の内部にインストールされたアプリケーションソフトによって、入力された位置情報に基づいて映像情報を制御し、制御した映像情報を映像信号として投影装置１２に出力する。

コンピュータ３１から映像信号が入力された投影装置１２は、表示スクリーン１１の背面１１ｂ側に映像を投影し、投影された映像が表示スクリーン１１の表示面１１ａで結像することによって、表示スクリーン１１の表示面１１ａ側から映像を見ることが可能となる。

次に、位置検出装置の動作について説明する。

図３は、本発明の実施形態による同期信号生成手段６の電気信号を示す図である。例えば、投影装置１２に対して図３（ａ）および（ｂ）に示すようなタイミングで映像の垂直同期信号および画像信号が入力されると、投影装置１２は表示スクリーン１１に対して図３（ｃ）および（ｄ）に示すようなタイミングで垂直同期信号および画像信号を出力する。投影装置１２からは表示スクリーン１１上に映像を投影する際、有効映像を出力する期間と、有効映像を出力しないブランキング期間とが存在する。このとき、同期信号生成手段６では、図３（ｅ）に示すような投影装置１２が出力する垂直同期信号から有効映像が生じるまでのブランキング期間を検出し、同期信号として非可視光投射手段５に出力する。

非可視光投射手段５では、図３（ｅ）の”Ｌ”期間のみ、同期信号生成手段６から入力される同期信号の有効期間として非可視光のパルスを表示スクリーン１１上に投射する。

指示体２では、非可視光投射手段５から投射された非可視光のパルスを受光部２６によって受光する。受光部２６にて受光した非可視光のパルスを同期変換部２７にて電気的に変換して、図３（ｅ）に示す同期信号を復元してドライバ２３に出力する。ドライバ２３では、同期変換部２７から入力された同期信号の有効期間のみ、発光部２１が駆動するように制御を行う。すなわち、投影装置１２から表示スクリーン１１上に投影される映像のうち、有効映像を出力しないブランキング期間のみ指示体２の発光ダイオード２１ａ〜２１ｃのいずれかが駆動するように制御を行う。

図４は、本発明の実施形態による撮像手段３によって検出された指示体２Ａおよび指示体２Ｂの位置を示す図である。図４に示すように、指示体２Ａおよび指示体２Ｂで発光した光を同時に表示スクリーン１１の表示面１１ａに投射すると、指示体２Ａ（波長６６０ｎｍ）の光２０Ａと、指示体２Ｂ（波長５５０ｎｍ）の光２０Ｂが表示スクリーン１１の背面１１ｂ側に映し出される。撮像手段３では、内部に備える光学フィルターによって指示体２Ａおよび指示体２Ｂの光を区別し、図４に示すように光２０Ａおよび光２０Ｂのみが像として検出される。そして、撮像手段３は、図３（ｆ）に示す画像処理手段４から入力された撮像タイミング信号に従って光２０Ａおよび光２０Ｂを撮像する。すなわち、撮像手段３は、投影装置１２から表示スクリーン１１上に投射された映像信号のブランキング期間に同期して、出力される映像の１フレームごとに１回、指示体２から投射される光を撮像するように画像処理手段４によって制御される。

撮像手段３によって指示体２から投射される光を検出する際に、投影装置１２から有効映像が出力されていると、表示スクリーン１１の背面１１ｂ側では指示体２から投射された光と投影装置１２から投射された映像とが干渉し合ってしまい、撮像手段３が指示体２の位置を正確に検出できない場合がある。しかし、本実施形態のように、撮像手段３による撮像を、投影装置１２から有効映像が投射されていない期間（ブランキング期間）に同期して行うため、撮像手段３が指示体２の位置を誤検出することはない。また、撮像手段３では、指示体２Ａから投射された光２０Ａと指示体２Ｂから投射された光２０Ｂとを区別して撮像して画像処理手段４に出力しているため、表示スクリーン１１上に障害物があっても、撮像手段３は指示体２から投射された光のみを撮像するので、障害物が誤って検出されることはない。

画像処理手段４では、撮像手段３より入力した信号から光２０Ａの電気信号ＳＲと光２０Ｂの電気信号ＳＢとを分離し、表示スクリーン１１上に指示された指示体２Ａおよび指示体２Ｂの指示位置をそれぞれ独立して演算することによって求める。図５は、本発明の実施形態による画像処理手段４における座標演算の一例を示す図である。図５（ａ）〜（ｃ）は、図４に示すｘ座標方向における指示体２Ａおよび指示体２Ｂの位置を検出している。図５に示すように、（ａ）は水平同期信号、（ｂ）は指示体２Ａから投射された赤色の光２０Ａを検出する信号、（ｃ）は指示体２Ｂから投射された青緑色の光２０Ｂの位置を検出する信号を示している。（ａ）では、水平同期信号の起点ＳＨ_Oが表示スクリーン１１上の水平方向の左端部（ｘ＝０）に対応し、終点ＳＨ_eが表示スクリーン１１上の水平方向の右端部（ｘ＝Ｘ）に対応する。ＳＨ_Oから（ｂ）に示す指示体２Ａの光２０Ａを検出するＳＲ_Hまでの時間ｔＲ_Hによって、表示スクリーン１１上の光２０Ａの水平方向の位置（Ｒｘ）を算出することができる。同様に、ＳＨ_Oから（ｃ）に示す指示体２Ｂの光２０Ｂを検出するＳＢ_Hまでの時間ｔＢＨによって、表示スクリーン１１上の光２０Ｂの水平方向の位置（Ｂｘ）を算出することができる。

図５（ｄ）〜（ｆ）は、図４に示すｙ座標方向における指示体２Ａおよび指示体２Ｂの位置を検出している。（ｄ）は垂直同期信号、（ｅ）は指示体２Ａから投射された赤色の光２０Ａを検出する信号、（ｆ）は指示体２Ｂから投射された青緑色の光２０Ｂの位置を検出する信号を示している。（ｄ）では、垂直同期信号の起点ＳＶ_Oが表示スクリーン１１上の下端部（ｙ＝０）に対応し、終点ＳＶ_eが表示スクリーン１１上の上端部（ｙ＝Ｙ）に対応する。ＳＶ_Oから（ｅ）に示す指示体２Ａの光２０Ａを検出するＳＲ_Vまでの時間ｔＲ_Hによって、表示スクリーン１１上の光２０Ａの垂直方向の位置（Ｒｙ）を算出することができる。同様に、ＳＶ_Oから（ｆ）に示す指示体２Ｂの光２０Ｂを検出するＳＢ_Vまでの時間ｔＢ_Vによって、表示スクリーン１１上の光２０Ｂの垂直方向の位置（Ｂｙ）を算出することができる。

画像処理手段４によって演算された指示体２Ａおよび指示体２Ｂの２次元の位置情報は、外部インターフェース３０を経由してコンピュータ３１に入力される。コンピュータ３１では、入力された位置情報に基づいて保有する映像情報を制御する。そして、コンピュータ３１にて制御された映像は、リアルタイムで表示スクリーン１１に投射することにより表示される。

なお、本実施形態では、指示体２Ａおよび指示体２Ｂの指示位置を表示スクリーン１１上の２次元座標の位置として検出するようにしたが、Ｘ軸またはＹ軸のみの１次元座標として位置を検出するようにしてもよい。

以上のことから、指示体２から表示スクリーン１１の表示面１１ａ側に投射した光を、表示スクリーン１１の背面１１ｂ側から撮像手段３によって撮像して指示体２の指示位置を検出するので、表示スクリーン１１上に障害物が存在する場合であっても、表示スクリーン１１上に指示された単数または複数の指示体２の指示位置を正確に検出することが可能である。また、表示スクリーン１１上に投影装置１２から映像が映し出されていない期間、すなわち非有効期間のみ、指示体２から光が投射され、かつ指示体２から光が投射されるタイミングに同期して撮像手段３によって撮像するように制御されるので、表示スクリーン１１上に表示された指示体２の指示位置が誤検出されることがない。

また、撮像手段３に備えられているカメラの前面と投影装置１２の前面とが表示スクリーン１１に対して略平行の同一平面内に並ぶように設置したので、投影装置１２から表示スクリーン１１に投射された光の光路を撮像手段３が遮断することなく、表示スクリーン１１に映し出される映像の質を低下させることもない。

撮像手段３は、指示体２から投射された所定の波長の光を区別して電気信号に変換するように構成したので、表示スクリーン１１上に単数または複数の指示体２から投射された光をそれぞれ区別し、指示体２以外の外光などを誤認識することなく正確に指示体２の指示位置を検出することができる。複数の指示体２を使用するときには、それぞれの指示体２から投射される光の波長を適宜変更可能であるため、複数の指示体２を同時に使用しても表示スクリーン１１上に示されたそれぞれの指示位置を独立して検出することができる。本実施形態では、指示体２に３種類の異なる波長の光を選択して投射することができるようにしたので、３つの指示体２Ａ〜２Ｃを同時に使用しても、各指示体２Ａ〜２Ｃから投射される光の波長が重ならないようにスイッチ２２によって調整すれば、各指示体２Ａ〜２Ｃの指示位置を同時に独立して算出することが可能である。このときの指示体２から投射される光の波長は、投影装置１２の光源の線スペクトルとは異なる波長である。なお、撮像手段３が区別可能な波長の種類、およびそれに対応する指示体２から投射される光の波長の種類を増加させれば、同時に使用できる指示体２の数を増加させることが可能である。

指示体２は、バッテリー２５によって発光部２１の発光ダイオード２１ａ〜２１ｃを駆動しているが、投影装置１２から投射される映像のブランキング期間のみ発光ダイオード２１ａ〜２１ｃを駆動しているため、消費電力を軽減することができ、バッテリー２５の寿命を延ばすことができる。また、指示体２にレーザー光のように集光性を有する光源を搭載して、離れた位置から表示スクリーン１１にスポット的に光を照射できるようにすれば、指示体２を表示スクリーン１１に押し当てることなく位置を指示することが可能である。

また、指示体２が光を投射する期間を、図３（ｅ）に示すように出力映像の垂直同期信号の直後とする必要はなく、投影装置１２から出力される映像信号のブランキング期間に同期させて制御すればよい。さらに、指示体２は図３（ｅ）に示す同期信号の立ち下がりエッジを検出してから一定期間光を投射するように制御してもよい。投影装置１２から出力される映像信号のブランキング期間が複数回ある場合は、１フレーム内のいずれか一回のブランキング期間に同期して指示体２から投射される光の発光制御および撮像の制御を行ってもよい。

図６は、本発明の実施形態による同期信号生成手段６の電気信号を示す図である。例えば、投影装置１２に備えられる単一光源から出力された光をＲ、Ｇ、Ｂの３板式カラーホイールを使用して時分割処理する場合、投影装置１２から出力される映像の有効領域はカラーホイールＲ、Ｇ、Ｂ単位でまとめて出力される。ここで、カラーホイールを映像信号の３倍速で回転させた場合は、図６（ｄ）に示すように投影装置１２から出力される映像の有効領域は１フレームを９分割されて出力されるため、ブランキング期間も９回存在する。この場合、指示体２において９回あるブランキング期間から任意のブランキング期間に同期して制御を行ってもよい。例えば、投影装置１２から出力される映像信号の２番目のブランキング期間に同期して指示体２と撮像手段３とを制御する場合において、同期信号生成手段６は図６（ｅ）に示すような同期信号を非可視光投射手段５および画像処理手段４に出力し、図６（ｆ）に示すような撮像タイミングによって撮像手段３の制御を行う。

なお、本実施形態では非可視光投射手段５から赤外線などの非可視光を投射したが、電波などを用いて指示体２に対して投影装置１２から投影される映像のブランキング期間を伝達しても同様の効果を奏する。

本発明の実施形態による位置検出装置の構成図である。本発明の実施形態による指示体の構成図である。本発明の実施形態による同期信号生成手段の電気信号を示す図である。本発明の実施形態による撮像手段によって検出された指示体の位置を示す図である。本発明の実施形態による画像処理手段における座標演算の一例を示す図である。本発明の実施形態による同期信号生成手段の電気信号を示す図である。

符号の説明

２指示体、３撮像手段、４画像処理手段、５非可視光投射手段、６同期信号生成手段、１１表示スクリーン、１１ａ表示面、１１ｂ背面、１２投影装置、３０外部インターフェース、３１コンピュータ、２１発光部、２２スイッチ、２３ドライバ、２４レンズ、２５バッテリー、２６受光部、２７同期変換部、２８筐体。

Claims

投影装置から表示スクリーンの背面側に投影される映像の非有効期間を検出し、前記非有効期間に非可視光を前記表示スクリーンの背面側に投射する同期信号投射手段と、
前記同期信号投射手段によって投射された前記非可視光を前記表示スクリーンの前面側から受光することにより、前記非有効期間を認識する間のみ、前記表示スクリーンの前面側に光を投射して指示することが可能な指示体と、
前記指示体から投射された光を前記表示スクリーンの前記背面側から撮影して電気信号に変換する撮像手段と、
前記撮像手段にて変換された前記電気信号を解析し、前記表示スクリーン上における前記指示体の指示位置を算出する画像処理手段と、
を備える、位置検出装置。
前記撮像手段の前面と前記投影装置の前面とが前記表示スクリーンに対して略平行の同一平面内に並ぶように設置されていることを特徴とする、請求項１に記載の位置検出装置。
前記同期信号投射手段から投射される前記非可視光は赤外線であることを特徴とする、請求項１または請求項２に記載の位置検出装置。
前記撮像手段は、前記指示体から投射された所定の波長の光を区別して電気信号に変換することを特徴とする、請求項１ないし請求項３のいずれかに記載の位置検出装置。
前記撮像手段は、複数の前記指示体から投射された各々異なる所定の波長の光を区別して電気信号に変換することを特徴とする、請求項１ないし請求項３のいずれかに記載の位置検出装置。
前記所定の波長は、前記投影装置の光源の線スペクトルとは異なる波長であることを特徴とする、請求項４または請求項５に記載の位置検出装置。