JP4163456B2

JP4163456B2 - シームレスポインティングシステム

Info

Publication number: JP4163456B2
Application number: JP2002186267A
Authority: JP
Inventors: 潤大石; 三千雄杉本; 均瀬谷; 真弘森田; 均鶴巻; 雅矢野; 健一原川
Original assignee: Takenaka Corp
Current assignee: Takenaka Corp
Priority date: 2002-06-26
Filing date: 2002-06-26
Publication date: 2008-10-08
Anticipated expiration: 2022-06-26
Also published as: JP2004030284A

Description

【０００１】
【発明の属する技術分野】
本発明は、シームレスポインティングシステムにかかり、特に、複数のタッチパネル間のポインティングを行うシームレスポインティングシステムに関する。
【０００２】
【従来の技術】
従来より、画像が表示される表示部をタッチ操作することによって種々の操作を行うタッチパネルが提案されている。
【０００３】
また、空間上の任意の位置を指し示す場合に用いる技術として、例えば、本願出願人によってハンドポインティング装置（特開平１１−１３４０８９号公報）が提案されている。
【０００４】
特開平１１−１３４０８９号公報に記載の技術では、透視法に則って仮想的に３次元空間を表す画像をディスプレイに表示し、情報入力者を複数第のビデオカメラによって互いに異なる方向から撮像する。表示画像が表す仮想３次元空間内の任意の箇所を情報入力者が指し示している状態で、各ビデオカメラから得られた複数の画像から情報入力者の背中に相当する基準点及び指先に相当する特徴点を各々抽出して３次元座標を各々求める。基準点から特徴点に向かう方向に基づいて仮想３次元空間内の指示箇所が存在している方向を判断し、基準点と特徴点との距離に基づいて仮想３次元空間における情報入力者と指示箇所との距離を判断し、仮想３次元空間における指示箇所の３次元座標を判断することが提案されている。これによって３次元空間内を指し示す位置を判断することができる。
【０００５】
【発明が解決しようとする課題】
ところで、ユビキタスコンピューティング空間では、これらハンドポインティングやタッチパネルの操作などがコンピュータ操作の主眼となる。
【０００６】
しかしながら、ユビキタスコンピューティング空間には複数の端末が存在し、様々なデータを端末から端末へ運ぶ操作が必要となる。ところが、これまでの空間内でのポインティングはレーザポインタ等を使用して、端末内でのポインティングにはマウスやトラックポイント等を使うなどの切り換えが必要であった。
【０００７】
本発明は、上記事実を考慮して成されたもので、複数の端末間のポインティングをスムーズ且つ高精度に行うことができるシームレスポインティングシステムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、複数のコンピュータ、管理装置、及び前記複数のコンピュータを含む所定の作業空間をカメラによって撮影した撮影画像を処理してハンドポイントの位置及び前記複数のコンピュータの位置を検出要求に応じて検出し、前記作業空間内におけるハンドポイントの移動先が示すコンピュータの位置を示すデータを出力するハンドポイント検出手段を備えたシームレスポインティングシステムであって、前記複数のコンピュータの各々に、画像を表示する表示手段の所定領域内へのハンドポイントのタッチ操作によるタッチ操作位置を検出するタッチ検出手段と、前記タッチ検出手段の検出結果に基づいて前記タッチ操作位置に対応して前記表示手段に表示された前記画像に対応するデータを当該タッチ操作位置に属する特定データとして処理されるように制御するタッチ制御手段と、タッチされたままタッチ位置が移動されて前記特定データを属した前記タッチ操作位置が前記所定領域外に離間したことを検出する離間検出手段と、前記離間検出手段で前記離間を検出した時に、前記特定データ及び自己を識別するための識別データを前記管理装置に転送する転送手段と、前記管理装置から送信された特定データを受信する受信手段と、前記受信手段で受信した特定データに対して所定の処理を行う処理手段と、を設け、前記管理装置に、前記転送手段によって転送された前記特定データ及び前記識別データを記憶する記憶手段と、前記記憶手段に記憶された前記識別データに対応するコンピュータにおいて前記所定領域外に離間したハンドポイントの位置の移動先を検出する検出要求を前記ハンドポイント検出手段に対して行い、検出結果であるハンドポイントの移動先が示すコンピュータへ前記記憶手段に記憶された前記特定データを送信するデータ出力手段と、を設けたことを特徴としている。
【００１５】
請求項１に記載の発明によれば、ハンドポイント検出手段では、複数のコンピュータを含む所定の作業空間内をカメラによって撮影した撮影画像を処理してハンドポイント位置が要求に応じて検出される。例えば、本願出願人によって提案されている、特開平９−２９６７８８号公報に記載の技術を適用することが可能である。
【００１６】
複数のコンピュータは、タッチ検出手段、タッチ制御手段、離間検出手段、転送手段、受信手段、及び制御手段を備えている。
【００１７】
タッチ検出手段では、画像を表示する表示手段の所定領域内へのハンドポイントのタッチ操作によるタッチ操作位置が検出される。例えば、表示画面等に設けられた既知の技術であるタッチパネルを適用することができる。
【００１８】
タッチ制御手段では、タッチ検出手段の検出結果に基づいてタッチ操作位置に対応して表示手段に表示された画像に対応するデータが当該タッチ操作位置に属する特定データとして処理されるように制御される。
【００１９】
離間検出手段では、タッチされたままタッチ位置が移動されて特定データを属したタッチ操作位置が所定領域外に離間したことが検出され、転送手段では、離間検出手段で前記離間を検出した時に、特定データ及び自己を識別するための識別データが送信され、受信手段では、管理装置から送信された特定データが受信される。そして、処理手段では、受信手段によって受信した特定データに対して所定の処理が行われる。
【００２０】
また、管理装置は、記憶手段と、データ出力手段を備えており、記憶手段には、転送手段によって転送された特定データ及び識別データが記憶され、データ出力手段では、記憶手段に記憶された識別データに対応するコンピュータにおいて所定領域外に離間したハンドポイントの位置の移動先を検出する要求をハンドポイント検出手段に対して行い、検出結果であるハンドポイントの移動先が示すコンピュータへ記憶手段に記憶された特定データが送信される。
【００２１】
すなわち、複数のコンピュータ間における作業空間では、ハンドポイント検出手段によってポインティングが行われ、複数のコンピュータの所定領域内では、タッチ検出手段によってポインティングが行われる。そして、複数のコンピュータの所定領域を逸脱してポインティングが行われた時には、特定データ及び識別データが管理装置に送信されて記憶されるので、ポインティングの移動元を特定することができ、管理装置のデータ出力手段が記憶手段に記憶された識別データに対応するコンピュータから離間したタッチ操作位置の移動先をハンドポイント検出手段へ検出要求し、検出結果に対応する移動先のコンピュータへ特定データを送信することによって、移動元と移動先を管理装置が把握することができる。これによって、複数のコンピュータの所定領域内及び所定の作業空間内におけるポインティングをシームレスに行うことができる。従って、本システムを種々の端末に適用することによって、複数の端末間のポインティングをスムーズ且つ高精度に行うことができる。
【００２２】
なお、処理手段は、例えば、請求項２に記載の発明のように、所定の処理として、特定データを複数のコンピュータ間で移動又はコピーする処理を行うことが可能であり、これによって、複数のコンピュータ間でシームレスに行われたポインティングでデータの移動又はコピーを行うことができる。
【００２３】
また、請求項３に記載の発明のように、複数のコンピュータのうち、少なくとも１つのコンピュータを家電機器に含むことによって、家電機器とコンピュータ間でデータの授受をシームレスに行うことが可能となる。例えば、コンピュータでビデオ装置の予約録画やタイマーセット等を行うことが可能となる。すなわち、コンピュータから予約録画やタイマーセット等の設定情報をタッチ操作によって転送することによって予約録画やタイマーセット等が可能となる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
［参考形態］
図１には、参考形態に係わるシームレスポインティングシステム１０の概略を示す。
【００２５】
図１に示すように、参考形態に係わるシームレスポインティングシステム１０は、周知のタッチパネルコンピュータ１２Ａ、１２Ｂ、１２ＣがＬＡＮ（Local Area Network）等のネットワーク１４に複数接続されて構成され、それぞれのタッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃに記憶されたデータの転送（データの移動やコピー等）を相互転送可能とされている。例えば、図１矢印Ｘに示すように、パッチパネルコンピュータ１２Ａからタッチパネルコンピュータ１２Ｂへ所定のファイルを移動することが可能とされている。
【００２６】
なお、図１では、３台のタッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃを示すが、３台に限るものではなく、２台でもよいし、４台以上でもよい。
【００２７】
図２には、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃのそれぞれの構成を示す。なお、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃは同一構成であるので、図２ではタッチパネルコンピュータ１２として説明する。
【００２８】
タッチパネルコンピュータ１２はそれぞれ、図２に示すように、ＣＰＵ１６、ＲＯＭ１８、ＲＡＭ２０、Ｉ／Ｏ２２がバス２４に接続されて構成されている。また、バス２４にはモニタ２６及びモニタ２６に設けられたタッチ検出部２８が接続されたタッチパネルドライバ３０が接続されており、当該タッチパネルドライバ３０によってモニタ２６及びタッチ検出部２８が駆動されるようになっている。タッチ検出部２８は、例えば、静電容量式、感圧式、光電式等の種々の方式のタッチ検出を適用することができる。
【００２９】
なお、ＣＰＵ１６、ＲＯＭ１８及びＲＡＭ２０は本発明のタッチ制御手段に相当し、タッチ検出部２８は本発明のタッチ検出手段に相当する。
【００３０】
さらに、バス２４には、ハードディスク（ＨＤＤ）３２等の記憶装置が接続されており、各種ファイルデータを記憶するようになっている。
【００３１】
ＲＯＭ１８には、タッチパネルコンピュータ１２のモニタ２６に設けられたタッチパネルのタッチ制御を行うためのプログラム、複数のタッチパネルコンピュータ１２間のシームレスポインティングを行うためのプログラムや各種アプリケーションソフト等のプログラムなどが記憶されており、ＣＰＵ１６がこれらのプログラムを動作させることによって各種処理が行われるようになっている。
【００３２】
Ｉ／Ｏ２２には、ネットワーク１４が接続されており、ネットワーク１４に接続された他のタッチパネルコンピュータ１２やその他の情報処理装置との通信が可能とされている。
【００３３】
なお、各タッチパネルコンピュータ１２には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【００３４】
次に、上述のように構成された各タッチパネルコンピュータ１２で行われるシームレスポインティング処理について図３のフローチャートを参照して説明する。シームレスポインティングは、複数のタッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間をシームレス（継ぎ目なく）ポインティングするものであり、各タッチパネルコンピュータ１２Ａ、１２Ｂ、１２ＣのＲＯＭ１８に記憶されたシームレスポインティングを行うためのプログラムに従って行われる。なお、図３では、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間でデータの移動又はコピーを行う場合を想定したものである。
【００３５】
ステップ１００では、モニタ２６のタッチパネルのタッチ検出がなされたか否か判定される。すなわち、タッチ検出部２８によってタッチ検出がなされたか否か判定され、該判定が肯定されるまで待機し、判定が肯定されるとステップ１０２へ移行する。
【００３６】
ステップ１０２では、タッチ検出信号をネットワーク接続された他のタッチパネルコンピュータ（ＴＣ）１２に対して出力する。そして、ステップ１０４では、タッチ検出信号に対する応答が他のタッチパネルコンピュータ１２から有るか否か判定される。なお、ステップ１０２及びステップ１０４の処理は、他のタッチパネルコンピュータ１２からデータの移動又はコピーを行っている途中か否かを検出するための処理であり、これによって他のタッチパネルコンピュータ１２からのデータ受信を行うことが可能となる。
【００３７】
ステップ１０４の判定が肯定された場合、すなわち、他のタッチパネルコンピュータ１２からデータの移動又はコピーが行われている途中である場合には、ステップ１０６へ移行してタッチ検出信号に応答したタッチパネルコンピュータ１２とリンクすることによって通信が確保される。
【００３８】
続いて、ステップ１０８では、タッチ位置検出処理が行われる。タッチ位置検出処理は、周知のタッチパネルの技術と同様に、モニタ２６のタッチ位置がタッチ検出部２８によって検出されることによってデータの移動先やコピー先等が検出される。
【００３９】
ステップ１１０では、データの移動又はコピー先の決定か否か判定される。すなわち、ステップ１０８のタッチ位置検出処理によってデータの移動先又はコピー先が選択されて決定されたか否か判定される。該判定が否定された場合には再びステップ１０８に戻ってデータの移動先又はコピー先が決定されるまでタッチ位置検出処理が行われる。
【００４０】
ステップ１１０の判定が肯定された場合には、ステップ１１２へ移行して、リンク先のタッチパネルコンピュータから対象データを受信して、データの移動又はコピーが実行され、ステップ１１４でリンクが解除されて、一連の処理がリターンされる。なお、ステップ１０４〜１１２は本発明の処理手段に相当する。
【００４１】
一方、ステップ１０４の判定が否定された場合には、ステップ１１６へ移行して、ステップ１０８と同様にタッチ位置検出処理が行われ、モニタ２６のタッチ位置がタッチ検出部２８によって検出されることによってデータの移動先やコピー先等が検出される。
【００４２】
ステップ１１８では、データが保持された状態（ドラッグ状態）でタッチ検出範囲外か否か判定される。該判定が否定された場合には、ステップ１２０へ移行して、データの移動又はコピー先の決定か否か判定される。すなわち、ステップ１１０と同様にステップ１１６のタッチ検出処理によってデータの移動先又はコピー先が選択されて決定されたか否か判定される。該判定が否定された場合には再びステップ１１６に戻ってデータの移動先又はコピー先が決定されるまでタッチ位置検出処理が行われ、ステップ１２０の判定が肯定された場合には、ステップ１２２へ移行して、データの移動又はコピーが実行されて一連の処理がリターンされる。
【００４３】
また、ステップ１１８の判定が肯定された場合には、ドラッグされたデータを他のタッチパネルコンピュータ１２へ移動又はコピーするものとし、ステップ１２４へ移行して、他のタッチパネルコンピュータ１２からタッチ検出信号を受信したか否か判定される。該判定が否定された場合には、タッチ検出信号を受信するまで待機してステップ１２６へ移行する。なお、ここで、他のタッチパネルコンピュータ１２からタッチ検出信号を受信する前に、自タッチパネルコンピュータ１２のタッチ検出部２８によってタッチ検出がなされた場合には、ステップ１１６に移行するようにしてもよい。
【００４４】
ステップ１２６では、他のタッチパネルコンピュータ１２からのタッチ検出信号に対する応答信号が出力されることによって他のタッチパネルコンピュータ１２とのリンクがなされて、一連の処理がリターンされる。なお、ステップ１１８は本発明の離間検出手段に相当し、ステップ１２６は本発明の設定手段に相当する。
【００４５】
このように、シームレスポインティング処理では、タッチ検出範囲を越えたことを検出し、他のタッチパネルコンピュータ１２とのリンクがなされた場合に、他のタッチパネルコンピュータ１２のタッチ検出によってデータの移動先やコピー先が選択されてデータの移動又はコピーを行うことができる。すなわち、複数のタッチパネルコンピュータ１２間における、データの移動又はコピー時のポインティングをそれぞれのタッチパネルコンピュータ１２のタッチ位置検出処理によってスムーズかつ高精度に行うことができる。言い換えれば、複数のタッチパネルコンピュータ１２間の空間のポインティングをタッチパネルコンピュータ１２間でなされるリンクによって行うことができ、複数のタッチパネルコンピュータ１２間のポインティングをシームレスに行うことができる。
［第１実施形態］
参考形態に係わるシームレスポインティングシステム１０では、オペレータが一人の場合にはタッチパネルコンピュータ１２にシームレスポインティングを行うためのプログラムをインストールすることによって容易かつ安価に行うことができるが、オペレータが複数の場合には、複数のタッチパネルコンピュータ１２間の空間においてこのオペレータを認識しないと、ポイントの移動先となるタッチパネルコンピュータ１２を特定することができない。そこで、本発明の第１実施形態に係わるシームレスポインティングシステムでは、空間内のポインティングを識別するためにハンドポインティング装置を用いるものである。なお、ハンドポインティング装置としては、例えば、本願出願人によって提案されている特開平９−２９６７８８号公報に記載の技術等を適用することが可能である。また、ハンドポインティング装置のハンドポインティングとしては、例えば、指の方向を認識するものと、指の爪を認識する２種類の方法等があるが、何れの方法を適用してもよい。
【００４６】
図４には、本発明の第１実施形態に係わるシームレスポインティングシステム５０の概略を示す。
【００４７】
図４に示すように、第１実施形態に係わるシームレスポインティングシステム５０は、参考形態と同様に、複数のタッチパネルコンピュータ１２Ａ、１２Ｂを含んで構成されている。なお、図４では２台のタッチパネルコンピュータ１２Ａ、１２Ｂを示すが３台以上でもよい。
【００４８】
第１実施形態に係わるシームレスポインティングシステム５０は、複数のタッチパネルコンピュータ１２Ａ、１２Ｂが所定の作業空間５２上に配置されている。当該作業空間５２は、上述のハンドポインティング装置の処理範囲によって定められる。
【００４９】
第１実施形態に係わるシームレスポインティングシステム５０は、詳細には図５に示すように、複数のタッチパネルコンピュータ１２Ａ（ＴＣ−Ａ）、１２Ｂ（ＴＣ−Ｂ）、１２Ｃ（ＴＣ−Ｂ）、ハンドポインティング装置（ＨＰ−ＰＣ）５４、及びサーバ５６がＬＡＮ等のネットワーク１４に接続されて構成されている。なお、参考形態と同一構成については同一符号を付して説明する。
【００５０】
ハンドポインティング装置５４は複数の監視カメラ５４Ａ、５４Ｂを備えており、当該監視カメラによって複数のタッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ、及び監視カメラ５４Ａ、５４Ｂがサポートする作業空間５２上のオペレータのハンドポイント（例えば、指先で指し示す行為）を監視するようになっている。ハンドポインティング装置５４は、監視カメラ５４Ａ、５４Ｂによって複数のタッチパネル１２Ａ、１２Ｂ、１２Ｃ及びオペレータを撮影することによって得られる撮影画像に基づいて画像処理によって複数のタッチパネル１２Ａ、１２Ｂ，１２Ｃの認識やオペレータのハンドポイントを検出する。オペレータのハンドポイントの検出については、上述したように、例えば、本願出願人によって出願されている特開平９−２９６７８８号公報に記載の技術を適用することによって実現可能である。
【００５１】
サーバ５６は複数のタッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ及びハンドポインティング装置５４のそれぞれを統括的に制御することによってポインティングをシームレスに行うものである。
【００５２】
続いて、本発明の第１実施形態に係わるシームレスポインティングシステム５０の構成について図６を参照して説明する。なお、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃは参考形態と基本的には同一構成であるので、同一符号を付して説明する。
【００５３】
図６に示すように、複数のタッチパネルコンピュータ１２（１２Ａ、１２Ｂ、１２Ｃ）は、参考形態と同様に、ＣＰＵ１６、ＲＯＭ１８、ＲＡＭ２０、Ｉ／Ｏ２２がバス２４に接続されて構成されている。また、バス２４にはモニタ２６及びモニタ２６に設けられたタッチ検出部２８が接続されたタッチパネルドライバ３０が接続されており、当該タッチパネルドライバ３０によってモニタ２６及びタッチ検出部２８が駆動されるようになっている。タッチ検出部２８は、例えば、静電容量式、感圧式、光電式等の種々の方式のタッチ検出を適用することができる。
【００５４】
なお、ＣＰＵ１６、ＲＯＭ１８及びＲＡＭ２０は本発明のタッチ制御手段に相当し、タッチ検出部２８は本発明のタッチ検出手段に相当する。
【００５５】
さらに、バス２４には、ハードディスク（ＨＤＤ）３２等の記憶装置が接続されており、各種ファイルデータを記憶するようになっている。
【００５６】
ＲＯＭ１８には、タッチパネルコンピュータ１２のモニタ２６に設けられたタッチパネルのタッチ制御を行うためのプログラムや各種アプリケーションソフト等のプログラムなどが記憶されており、ＣＰＵ１６がこれらのプログラムを動作させることによって各種処理が行われるようになっている。
【００５７】
Ｉ／Ｏ２２には、ネットワーク１４が接続されており、ネットワーク１４に接続された他のタッチパネルコンピュータ１２やその他の情報処理装置との通信が可能とされている。
【００５８】
なお、各タッチパネルコンピュータ１２には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【００５９】
ハンドポインティング装置５４は、ＣＰＵ６０、ＲＯＭ６２、ＲＡＭ６４、及びＩ／Ｏ６６がそれぞれバス６８に接続された一般的なコンピュータで構成されており、当該バス６８にＨＰ監視カメラ５４Ａ、５４ＢがＨＰ監視カメラドライバ７０を介して接続されている。すなわち、ＨＰ監視カメラ５４Ａ、５４Ｂの撮影によって得られる撮影画像に基づいてタッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃの認識やオペレータのハンドポイント検出等の制御がＣＰＵ６０によってなされる。
【００６０】
ＲＯＭ６２には、ハンドポイント検出等の処理を行うためのプログラム等が記憶されており、当該プログラムに従ってハンドポイント検出等が行われるようになっている。
【００６１】
Ｉ／Ｏ６６はタッチパネルコンピュータ１２と同様にネットワーク１４に接続されており、ネットワーク１４に接続された他のタッチパネルコンピュータやその他の情報処理装置との通信が可能とされている。
【００６２】
なお、ハンドポインティング装置５４は本発明のハンドポイント検出手段に相当する。また、ハンドポインティング装置５４には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【００６３】
また、サーバ５６は、ＣＰＵ７２、ＲＯＭ７４、ＲＡＭ７６、及びＩ／Ｏ７８がバス８０に接続されたサーバコンピュータからなり、Ｉ／Ｏ７８には、ネットワーク１４が接続されており、ネットワーク１４に接続された他のタッチパネルコンピュータ１２やその他の情報処理装置との通信が可能とされている。
【００６４】
ＲＯＭ７４には、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間及び作業空間５２上のハンドポインティングを検出すると共に、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間のデータ転送を行うためのプログラム等が記憶されている。
【００６５】
また、ＲＡＭ７６には、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間でデータ転送（データの移動又はコピー等）を行う際に、対象データ等が一旦記憶されるようになっている。
【００６６】
なお、サーバ５６は本発明の管理装置に相当し、ＲＡＭ７６は本発明の記憶手段に相当する。また、サーバ５６には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【００６７】
次に、本発明の第１実施形態に係わるシームレスポインティングシステム５０における基本的な処理の流れについて図７のフローチャートを参照して説明する。
【００６８】
本発明のシームレスポインティングシステム５０では、まず、各タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃのそれぞれにおいて、タッチパネル制御が行われる（ステップ１５０）。すなわち、モニタ２６へのタッチ位置検出や検出されたタッチ位置に対する各種処理がそれぞれ個別に行われる。この時、タッチパネル制御は、例えば、あるファイルデータをドラッグされた状態でタッチ検出範囲を逸脱しない範囲で行われる（ステップ１５０〜１５２）。ここでタッチパネル範囲外、すなわち、タッチ検出範囲を逸脱した場合には、逸脱したハンドポイントを検出するために、ハンドポインティング装置５４によるハンドポイント制御がなされる（ステップ１５２〜１５４）。すなわち、ハンドポインティング装置５４によってオペレータの指の動き等を検出して、ファイルデータの移動先等が検出される。
【００６９】
ここで、移動先のタッチパネルコンピュータ１２のタッチ検出部２８によってタッチ検出がなされた場合には、再び、対応するタッチパネルコンピュータ１２によるタッチパネル制御が行われる（ステップ１５６〜１５８）。
【００７０】
このように、本実施形態に係わるシームレスポインティングシステム５０では、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃとハンドポインティング装置５４とを用いて、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ内でのポインティングを各タッチパネルコンピュータ１２内でそれぞれ行い、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間の作業空間５２上のポインティングを、ハンドポインティング装置５４を用いて行うことによって、タッチパネルコンピュータ１２間のポインティングを継ぎ目なく行うことができる。
【００７１】
なお、詳細には、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間でのデータの移動又はコピー時には、送信側及び受信側に対応するタッチパネルコンピュータ１２がサーバ５６とリンクすることによってデータの移動又はコピー等が行われる。すなわち、移動又はコピーするデータは一旦サーバ５６に格納されてから移動又はコピー先のタッチパネルコンピュータ１２へ転送されるようになっている。
【００７２】
ここで、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ、ハンドポインティング装置５４、及びサーバ５６のそれぞれで行われる処理について詳細に説明する。
【００７３】
まず、図８のフローチャートを参照して各タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃで行われる処理（ＴＣ処理）について説明する。
【００７４】
ステップ２００では、複数のタッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃのうち何れかからリンク要求があるか否か判定される。すなわち、タッチパネルコンピュータ１２のタッチ検出部２８における検出範囲を越えてデータの移動又はコピー等が行われようとしているか否かが判定される。該判定が否定された場合には、ステップ２０２へ移行する。
【００７５】
ステップ２０２では、タッチ位置検出処理が行われる。タッチ位置検出処理は、タッチパネルコンピュータ１２のタッチ検出部２８によってモニタ２６に対するオペレータのタッチ位置を検出し、タッチ操作に応じた各種処理が行われる。例えば、タッチ操作によるファイルデータの移動やコピーなどが行われる。
【００７６】
そして、ステップ２０４では、タッチ操作によってデータがドラッグされた状態でかつタッチ検出部２８によるタッチ検出範囲外か否か判定される。すなわち、オペレータが他のタッチパネルコンピュータ１２等にデータの移動やコピーを行おうとしているか否かが当該ステップによって判定される。該判定が否定された場合には、自タッチパネルコンピュータ１２内でのタッチ位置検出処理であると判定し、ステップ２０６へ移行する。
【００７７】
ステップ２０６では、自タッチパネルコンピュータ１２内のでデータの移動又はコピー先が決定されたか否か判定される。該判定が否定された場合には、再びステップ２０２へ戻って上述の処理が繰り返され、該判定が肯定された場合には、ステップ２０８へ移行して、データの移動又はコピー等が対応するフォルダ等に行われて、後述のステップ２３２へ移行する。
【００７８】
また、ステップ２０４の判定が肯定された場合、すなわち、タッチパネルコンピュータ１２のタッチ検出部２８における検出範囲を越えてデータの移動又はコピー等を行われようとしていると判断し、ステップ２１０へ移行して、サーバ５６に対してリンク要求が送信される。
【００７９】
ステップ２１２では、サーバ５６からデータ転送要求されたか否か判定される。該判定が否定された場合にはステップ２１４へ移行して、タッチ検出部２８によってタッチ検出されたか否か判定される。すなわち、タッチパネルコンピュータ１２のタッチ検出部２８における検出範囲を越えてデータの移動又はコピー等の実行を中断したか否か判定される。該判定が否定された場合には、ステップ２１２へ戻って、ステップ２１２又はステップ２１４の判定が肯定されるまで判定が繰り返される。
【００８０】
ステップ２１２の判定が肯定された場合には、ステップ２１６へ移行して、移動又はコピー対象であるドラッグ対象データをサーバ５６へ転送して、後述のステップ２３２へ移行する。また、ステップ２１４の判定が肯定された場合には、ステップ２１８へ移行して、リンク解除されて、上述のステップ２００に戻って処理が行われる。
【００８１】
一方、ステップ２００の判定が肯定された場合には、ステップ２２０へ移行して、サーバ５６とリンクされる。これによって、サーバ５６に転送された他のタッチパネルコンピュータ１２のデータを受信することが可能となる。
【００８２】
ステップ２２２では、ステップ２０２と同様にタッチ位置検出処理が行われる。すなわち、タッチパネルコンピュータ１２のタッチ検出部２８によってモニタ２６に対するオペレータのタッチ位置を検出し、タッチ操作に応じた各種処理が行われる。
【００８３】
ステップ２２４では、タッチ操作によってデータがドラッグされた状態でかつタッチ検出部２８によるタッチ検出範囲外か否か判定される。すなわち、オペレータが他のタッチパネルコンピュータ１２等にデータの移動やコピーを行おうとしているか否かが当該ステップによって判定される。該判定が否定された場合には、ステップ２２６へ移行して、データの移動又はコピー先が決定したか否か判定され、該判定が否定された場合には、上述のステップ２２２へ戻って処理が繰り返される。またステップ２２６の判定が肯定され場合には、ステップ２２８へ移行して、サーバ５６から対象データ、すなわち、他のタッチパネルコンピュータ１２に格納されていたファイルデータを受信して、データの移動又はコピーが実行される。そして、ステップ２３０へ移行する。
【００８４】
一方、ステップ２２４の判定が肯定された場合には、そのままステップ２３０へ移行する。
【００８５】
ステップ２３０では、サーバ５６とのリンクが解除される。すなわち、ステップ２２４の判定が否定されてステップ２３０へ移行した場合には、自タッチパネルコンピュータ１２へのデータの移動又はコピーではないので、サーバ５６とのリンクが解除され、ステップ２２８からステップ２３０へ移行した場合には、データの移動又はコピーが終了したので、サーバ５６とのリンクが解除される。
【００８６】
ステップ２３２では、電源オフか否か判定されて、該判定が否定された場合にはステップ２００に戻って上述の処理が繰り返される。
【００８７】
また、ステップ２３２の判定が肯定された場合には、ステップ２３４へ移行して、終了処理が行われて一連のタッチパネルコンピュータ１２の処理を終了する。
【００８８】
なお、ステップ２０４は本発明の離間検出手段に相当し、ステップ２１０〜２１６は本発明の送信手段に相当し、ステップ２２０〜２２６は本発明の制御手段に相当し、ステップ２２８は本発明の受信手段に相当する。
【００８９】
次に、図９のフローチャートを参照してハンドポインティング装置５４で行われる処理（ＨＰ処理）について説明する。
【００９０】
ステップ２５０では、作業空間５２上のタッチパネルコンピュータ（ＴＣ）１２Ａ、１２Ｂ、１２Ｃを検出すると共に、タッチパネルコンピュータ（ＴＣ）１２の位置マッチングを行う。すなわち、カメラ５４Ａ、５４Ｂの撮影によって得られる撮影画像から電源がオンのタッチパネルコンピュータを画像処理によって検出して、作業空間５２上の各タッチパネルコンピュータの位置を把握する。
【００９１】
ステップ２５２では、作業空間５２上のオペレータのハンドポイントが検出される。これによって、ハンドポイント位置と作業空間５２上のタッチパネルコンピュータ１２位置が把握される。
【００９２】
ステップ２５４では、サーバ５６から移動先検出要求が有るか否か判定される。すなわち、オペレータがタッチパネルコンピュータ１２から他のタッチパネルコンピュータ１２へデータの移動やコピーを行おうとする時の移動先のタッチパネルコンピュータ１２からの検出要求があるか否か判定される。該判定が否定された場合には、上述のステップ２５０に戻って上述の処理が繰り返される。
【００９３】
ステップ２５４の判定が肯定された場合には、ステップ２５６へ移行して、移動先探索処理が行われる。移動先探索処理は、移動先検出要求がなされたタッチパネルコンピュータ１２のハンドポイント先を検出して、移動先となるタッチパネルコンピュータ１２を検出する。
【００９４】
ステップ２５８では、移動先探索結果がサーバ５６に送信される。これによってサーバ５６によって移動元タッチパネルコンピュータ１２と移動先タッチパネルコンピュータ１２を把握することができ、双方のタッチパネルコンピュータ１２とリンクすることが可能となる。
【００９５】
ステップ２６０では、電源オフか否か判定され、該判定が否定された場合には、上述のステップ２５０に戻って上述の処理が繰り返され、判定が肯定された場合には、ステップ２６２へ移行して終了処理が行われて一連のハンドポインティング処理を終了する。
【００９６】
続いて、図１０のフローチャートを参照してサーバ５６で行われる処理（サーバ処理）について説明する。
【００９７】
ステップ３００では、タッチパネルコンピュータ（ＴＣ）１２からリンク要求がなされたか否か判定される。該判定が肯定されるまで待機してステップ３０２へ移行して、リンク要求されたタッチパネルコンピュータ（ＴＣ）１２とリンクされる。
【００９８】
ステップ３０４では、リンク要求されたタッチパネルコンピュータ（ＴＣ）１２からのハンドポイント移動先検出要求がハンドポインティング装置（ＨＰ）５４へ行われる。
【００９９】
ステップ３０６では、移動先探索結果を受信したか否か判定される。該判定が肯定されるまで待機して、ステップ３０８へ移行する。
【０１００】
ステップ３０８では、受信した移動先探索結果のタッチパネルコンピュータ（ＴＣ）１２へリンク要求がなされる。これによって、移動元タッチパネルコンピュータ１２と移動先タッチパネルコンピュータ１２を把握することができ、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間のデータの移動やコピーを行うことが可能となる。
【０１０１】
ステップ３１０では、リンク解除か否か判定される。すなわち、タッチパネルコンピュータ１２からリンク解除要求（図８のステップ２１８及びステップ２３０）がなされたか否か判定され、該判定が肯定された場合には上述のステップ３００へ戻って上述の処理が繰り返され、該判定が否定された場合には、ステップ３１２へ移行する。
【０１０２】
ステップ３１２では、移動先探索結果のタッチパネルコンピュータ（ＴＣ）１２からデータ送信要求が有るか否か判定される。すなわち、図８のステップ２２８のタッチパネルコンピュータ１２の処理における対象データの受信をする際にデータ送信要求がなされたか否か判定される。該判定が否定された場合には、ステップ３１０に戻ってステップ３１０又はステップ３１２の判定が肯定されるまで処理が繰り返される。
【０１０３】
ステップ３１２の判定が肯定された場合には、ステップ３１４へ移行して、リンク要求されたタッチパネルコンピュータ（ＴＣ）１２へ対象データ（移動対象データ又はコピー対象データ）の転送要求が行われる。
【０１０４】
ステップ３１６では、データ受信するまで待機してステップ３１８へ移行して、移動先探索結果のタッチパネルコンピュータ（ＴＣ）１２へデータ送信が行われる。これによって、移動元タッチパネルコンピュータ１２から移動先タッチパネルコンピュータ１２へのデータ送信を行うことができる。なお、ステップ３１８は本発明のデータ出力手段に相当する。
【０１０５】
ステップ３２０では、電源オフか否か判定され、該判定が否定された場合には上述のステップ３００へ戻って、上述の処理が繰り返される。また、ステップ３２０の判定が肯定された場合には、一連の処理を終了する。
【０１０６】
このように、各タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ、ハンドポインティング装置５４、及びサーバ５６の処理を行うことによって、各タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間でのデータの移動又はコピー、及びポインティングをシームレスに行うことができる。
【０１０７】
なお、第１実施形態に係わるシームレスポインティングシステム５０では、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃとハンドポインティング装置５４の他にサーバ５６を設けるようにしたが、サーバ５６の機能はハンドポインティング装置５４に設けるようにしてもよい。
［第２実施形態］
参考形態及び第１実施形態に係わるシームレスポインティングシステムでは、タッチパネルコンピュータ１２Ａ、１２Ｂ、１２Ｃ間でのポインティングをシームレスに行うシステムであったが、第２実施形態では、図１１に示すように、タッチパネルコンピュータ１２から家電機器８２へデータを送るものである。例えば、タッチパネルコンピュータ１２に表示されたテレビ番組表をタッチ操作（ドラッグ）して、ネットワーク接続されたタッチパネル付きのビデオ等の家電機器８２にタッチ操作（ドロップ）することによって、対応するテレビ番組を予約録画することが可能とされている。
【０１０８】
図１２に示すように、第２実施形態に係わるシームレスポインティングシステム９０は、第１実施形態に係わるシームレスポインティングシステム５０に対して、ネットワーク１４にタッチパネルコンピュータ（ＴＣ−Ａ）１２の他に家電機器８２が接続されている。第２実施形態に係わるシームレスポインティングシステム９０は、第１実施形態に係わるシームレスポインティングシステム５０と同様に、複数のタッチパネルコンピュータ１２（図１２では１台のタッチパネルコンピュータのみを示す）が所定の作業空間５２上に配置されている。
【０１０９】
第２実施形態に係わるシームレスポインティングシステム９０は、詳細には図１３に示すように、第１実施形態と同様に複数のタッチパネルコンピュータ１２、ハンドポインティング装置５４、及びサーバ５６がＬＡＮ等のネットワーク１４に接続されている。なお、参考形態及び第１実施形態と同一構成については同一符号を付して説明する。
【０１１０】
また、ＬＡＮ等のネットワーク１４には、さらに、家電機器８２が接続されている。家電機器８２としては、本実施の形態では、タッチパネル式モニタを有するビデオ装置が接続されている。該タッチパネル式モニタによってビデオ装置の各操作を行うことが可能とされている。ここで、家電機器８２はビデオ装置に限るものではなく、例えば、ＰＤＡ端末、携帯電話、テレビ、ビデオ、冷蔵庫、オーディオ、エアコン等に適用するようにしてもよい。
【０１１１】
なお、ＬＡＮ等のネットワーク１４は、図示しない接続装置を介してインターネットに接続される構成としてもよい。この場合、インターネットは、複数のコンピュータが接続装置を介して接続され、少なくとも１つのコンピュータは、ＷＷＷ（World Wide Web）サーバとして機能し、他のマシンはＷＷＷクライアントとして機能する。詳細には、各コンピュータには、ＷＷＷブラウザがインストールされており、このＷＷＷブラウザを起動することにより、インターネットに接続されたコンピュータにアクセスすることができる。この時、アクセス位置（アクセス先のコンピュータの位置、及びコンピュータ内の情報の位置で構成されるデータ）は、ＵＲＬ（Uniform Resource Locator）で指定される。これらのコンピュータは、他のコンピュータからアクセス要求があった場合、ＵＲＬで指定された位置に有るデータを、インターネットを介して、アクセス元のコンピュータへ送信する。この時、データは、一般にＨＴＴＰ（Hyper Text Transfer Protocol）に従って転送される。なお、これらのコンピュータの識別には、ＩＰ（Internet Protocol）アドレスが用いられる。
【０１１２】
ハンドポインティング装置５４は、第１実施形態と同様に、複数の監視カメラ５４Ａ、５４Ｂを備えており、当該監視カメラによってタッチパネルコンピュータ１２、家電機器８２、及び監視カメラ５４Ａ、５４Ｂがサポートする作業空間５２上のオペレータのハンドポイント（例えば、指先で指し示す行為）を監視するようになっている。ハンドポインティング装置５４は、監視カメラ５４Ａ、５４Ｂによってタッチパネルコンピュータ１２、家電機器８２及びオペレータを撮影することによって得られる撮影画像に基づいて画像処理によってタッチパネルコンピュータ１２及び家電機器８２の認識やオペレータのハンドポイントを検出する。オペレータのハンドポイントの検出については、例えば、本願出願人によって出願されている特開平９−２９６７８８号公報に記載の技術を適用することによって実現可能である。また、ハンドポインティング装置のハンドポインティングとしては、例えば、指の方向を認識するものと、指の爪を認識する２種類の方法等があるが、何れの方法を適用してもよい。
【０１１３】
サーバ５６は複数のタッチパネルコンピュータ１２（なお、図１２では、１台のタッチパネルコンピュータ１２のみを示す）、家電機器８２、及びハンドポインティング装置５４のそれぞれを統括的に制御することによってポインティングをシームレスに行うものである。
【０１１４】
続いて、本発明の第２実施形態に係わるシームレスポインティングシステム９０の構成について図１３を参照して説明する。なお、参考形態及び第１実施形態と同一構成については、同一符号を付して説明する。
【０１１５】
図１３に示すように、複数のタッチパネルコンピュータ１２は、参考形態と同様に、ＣＰＵ１６、ＲＯＭ１８、ＲＡＭ２０、Ｉ／Ｏ２２がバス２４に接続されて構成されている。また、バス２４にはモニタ２６及びモニタ２６に設けられたタッチ検出部２８が接続されたタッチパネルドライバ３０が接続されており、当該タッチパネルドライバ３０によってモニタ２６及びタッチ検出部２８が駆動されるようになっている。タッチ検出部２８は、例えば、静電容量式、感圧式、光電式等の種々の方式のタッチ検出を適用することができる。
【０１１６】
さらに、バス２６には、ハードディスク（ＨＤＤ）３２等の記憶装置が接続されており、各種ファイルデータを記憶するようになっている。
【０１１７】
ＲＯＭ１８には、タッチパネルコンピュータ１２のモニタ２６に設けられたタッチパネルのタッチ制御を行うためのプログラムや各種アプリケーションソフト等のプログラムなどが記憶されており、ＣＰＵ１６がこれらのプログラムを動作させることによって各種処理が行われるようになっている。
【０１１８】
Ｉ／Ｏ２２には、ネットワーク１４が接続されており、ネットワーク１４に接続された他のタッチパネルコンピュータ１２やその他の情報処理装置との通信が可能とされている。
【０１１９】
なお、各タッチパネルコンピュータ１２には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【０１２０】
ハンドポインティング装置５４は、ＣＰＵ６０、ＲＯＭ６２、ＲＡＭ６４、及びＩ／Ｏ６６がそれぞれバス６８に接続された一般的なコンピュータで構成されており、当該バス６８にＨＰ監視カメラ５４Ａ、５４ＢがＨＰ監視カメラドライバ７０を介して接続されている。すなわち、ＨＰ監視カメラ５４Ａ、５４Ｂの撮影によって得られる撮影画像に基づいてタッチパネルコンピュータ１２の認識やオペレータのハンドポイント検出等の制御がＣＰＵ６０によってなされる。
【０１２１】
ＲＯＭ６２には、ハンドポイント検出等の処理を行うためのプログラム等が記憶されており、当該プログラムに従ってハンドポイント検出等が行われるようになっている。
【０１２２】
Ｉ／Ｏ６６はタッチパネルコンピュータ１２と同様にネットワーク１４に接続されており、ネットワーク１４に接続された他のタッチパネルコンピュータ１２やその他の情報処理装置との通信が可能とされている。
【０１２３】
なお、ハンドポインティング装置５４には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【０１２４】
また、サーバ５６は、ＣＰＵ７２、ＲＯＭ７４、ＲＡＭ７６、及びＩ／Ｏ７８がバス８０に接続されたサーバコンピュータからなり、Ｉ／Ｏ７８には、ネットワーク１４が接続されており、ネットワーク１４に接続された他のタッチパネルコンピュータ１２やその他の情報処理装置との通信が可能とされている。
【０１２５】
ＲＯＭ７４には、複数のタッチパネルコンピュータ１２間、タッチパネルコンピュータ１２と家電機器８２間、及び作業空間５２上のハンドポインティングを検出すると共に、タッチパネルコンピュータ１２間やタッチパネルコンピュータ１２と家電機器８２間のデータ転送を行うためのプログラム等が記憶されている。
【０１２６】
また、ＲＡＭ７６には、タッチパネルコンピュータ１２間やタッチパネルコンピュータ１２と家電機器８２間でデータ転送（データの移動又はコピー等）を行う際に、対象データ等が一旦記憶されるようになっている。
【０１２７】
なお、サーバ５６には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【０１２８】
家電機器８２は、一般的なビデオ装置としての機能を有する機能部１４６の他に、ＣＰＵ１３０、ＲＯＭ１３２、ＲＡＭ１３４、及びＩ／Ｏ１３６がバス１３８に接続されている。また、バス１３８にはモニタ１４０及びモニタ１４０に設けられたタッチ検出部１４２が接続されたタッチパネルドライバ１４４がさらに接続されており、当該タッチパネルドライバ１４４によってモニタ１４０及びタッチ検出部１４２が駆動されるようになっている。タッチ検出部１４２は、例えば、静電容量式、感圧式、光電式等の種々の方式のタッチ検出を適用することができる。
【０１２９】
ＲＯＭ１３２には、タッチパネルコンピュータ１２から送信されるデータに基づいてテレビ番組を予約するためのプログラム等が記憶されている。
【０１３０】
Ｉ／Ｏ１３８には、ネットワーク１４が接続されており、ネットワーク１４に接続された他のタッチパネルコンピュータ１２やその他の情報処理装置との通信が可能とされている。
【０１３１】
なお、家電機器８２は、この他にリモコン等を備えて外部操作可能なようにしてもよい。
【０１３２】
次に、上述のように構成された本発明の第２実施形態に係わるシームレスポインティングシステム９０で行われる処理について説明する。なお、家電機器８２でビデオ予約する場合を例として説明する。
【０１３３】
タッチパネルコンピュータ１２では、図１４に示す処理（ＴＣ処理）が行われる。すなわち、ステップ３５０では、タッチ位置検出処理が行われる。タッチ位置検出処理は、タッチパネルコンピュータ１２のタッチ検出部２８によってモニタ２６に対するオペレータのタッチ位置を検出し、タッチ操作に応じた各種処理が行われる。例えば、図１１に示すように、タッチパネルコンピュータ１２のモニタ２６に表示されている番組表の予約する番組をタッチ操作する。
【０１３４】
そして、ステップ３５２では、データドラッグ状態かつタッチ検出範囲外か否か判定される。オペレータが予約する番組を選択して家電機器８２にデータを送信しようとしているか否か判定される。該判定が否定された場合には、ステップ３５０に戻って上述の処理が繰り返され、該判定が肯定された場合には、ステップ３５４へ移行する。
【０１３５】
ステップ３５４では、ドラッグ対象データがサーバ５６へ転送され、ステップ３５６へ移行する。ステップ３５６では、電源オフか否か判定されて、該判定が否定された場合にはステップ３５０に戻って上述の処理が繰り返される。
【０１３６】
また、ステップ３５６の判定が肯定された場合には、ステップ３５８へ移行して、終了処理が行われて一連のタッチパネルコンピュータ１２の処理を終了する。
【０１３７】
ハンドポインティング装置５４では、第１実施形態と同様に、図９に示す処理が行われる。なお、同一処理であるため説明を省略する。
【０１３８】
一方、サーバ５６では、図１５に示す処理が行われる。すなわち、ステップ４００では、ドラッグ対象データを受信したか否か判定され、受信するまで当該判定を繰り返す。
【０１３９】
ステップ４００の判定が肯定された場合には、ステップ４０２へ移行して、ドラッグ対象データを受信したタッチパネルコンピュータ（ＴＣ）からのハンドポイント移動先検出要求がハンドポインティング装置（ＨＰ）５４へ行われる。
【０１４０】
ステップ４０４では、移動先探索結果を受信したか否か判定される。該判定が肯定されるまで待機して、ステップ４０６へ移行する。
【０１４１】
ステップ４０６では、移動先探索結果の家電機器８２へ番組表を表すデータ送信が行われる。これによって、家電機器８２に予約する番組表のデータを送信することができる。
【０１４２】
ステップ４０８では、番組表を表すデータ送信が完了したか否か判定され、該判定が肯定されるまで待機してステップ４１０へ移行する。
【０１４３】
ステップ４１０では、電源オフか否か判定され、該判定が否定された場合には上述のステップ４００へ戻って、上述の処理が繰り返される。また、ステップ４１０の判定が肯定された場合には、一連の処理を終了する。
【０１４４】
また、家電機器８２では、図１６に示す処理が行われる。すなわち、ステップ４５０では、番組表を表すデータを受信したか否か判定される。該判定が肯定されるまで待機して、該判定が肯定された場合にはステップ４５２へ移行する。
【０１４５】
ステップ４５２では、受信データに基づいて番組のビデオ予約設定が行われる。すなわち、受信データが表す番組の時間、放送局等が家電機器８２に設定される。
【０１４６】
ステップ４５４では、予約実行処理が行われる。予約実行処理では、予約された時間まで待機し、予約された時間になった時に、予約番組を録画する処理が行われ、一連の家電機器での処理を終了する。
【０１４７】
このように、第２実施形態では、タッチパネルコンピュータ１２間だけでなく、家電機器８２へデータ転送を行うことができる。そして、家電機器８２へのデータ転送は、上述の第１実施形態と同様に、タッチパネルコンピュータ１２、ハンドポインティング装置５４、家電機器８２の順にポインティングされるが、当該ポインティングは、第１実施形態同様に、シームレスに行うことができる。
【０１４８】
なお、第２実施形態では、家電機器８２にタッチパネル式モニタを備えた構成としたが、タッチパネル式モニタを設けない構成としてもよく、この場合には、家電機器８２にタッチ検出するタッチ検出部を設けることによってデータ受信したか否かを検出でき、これによって上記と同様の効果を得ることができる。
【０１４９】
また、第２実施形態では、タッチパネルコンピュータ１２と家電機器８２を１台ずつ配置するようにしてもよいし、第１実施形態のように、複数のタッチパネルコンピュータ１２を備える構成としてもよい。すなわち、第１実施形態と第２実施形態を組み合わせるようにしてもよいし、参考形態における複数のタッチパネルコンピュータ１２のうちの何れか１台又は複数台を家電機器８２とする構成としてもよい。また、家電機器８２についても複数備えた構成としてもよいし、該家電機器８２はビデオ予約する家電機器に限るものではなく、例えば、エアコンのタイマ機能、オーディオのタイマ等の設定を上述のシームレスポインティングシステムを用いて行うことが可能である。
【０１５０】
また、上記の実施の形態では、何れも指先によるポインティングを行う例を示したが、これに限るものではなく、ペンなどを用いるようにしてもよい。例えば、第１実施形態及び第２実施形態において、ペンを用いる場合には、図１７に示すように、ペン４０に予め定められた位置に２つのマーク（例えば、図１７に示すように予め定めた間隔Ａでマーク４２Ａ、４２Ｂを設ける）４２を設けておくことにより、当該マーク４２を監視カメラ５４Ａ、５４Ｂで撮影した撮影画像を画像処理することで、ペン４０の指し示す方向及び位置を特定することが可能となる。また、作業空間内におけるポインティングは、この他に、例えば、ＧＰＳ（Global Positioning System）で代表される測位システムのように、ＧＰＳ衛星に相当する信号を発生するものを作業空間上に複数配置し、上述のようなペン４０によって当該信号を受信することにより、ＧＰＳと同様に、ポインティング位置を算出することが可能である。
【０１５１】
【発明の効果】
以上説明したように本発明によれば、複数のコンピュータのうち、何れかのコンピュータのタッチ検出手段によって所定領域内のタッチ操作を検出し、当該所定領域を離れて、他のコンピュータのタッチ検出手段によって所定領域内のタッチ操作を検出した時に、それぞれのタッチ制御手段が、コンピュータ間でポインティングが移動したものとしてポインティングを制御することによって、複数のコンピュータ間にまたがるポインティングを行うことができるので、複数の端末間のポインティングをスムーズ且つ高精度に行うことができる、という効果がある。
【０１５２】
また、所定領域内のタッチ操作時にはタッチ操作検出手段によってタッチ操作位置を検出し、タッチ操作検出手段間の空間内では、ハンドポイント検出手段によってハンドポイント位置を検出するように、タッチ操作検出手段及びハンドポイント検出手段を制御することによっても、タッチ操作検出手段間にまたがるポインティングをハンドポイント検出手段によって行うことができるので、複数の端末間のポインティングをスムーズ且つ高精度に行うことができる。
【図面の簡単な説明】
【図１】本発明の参考形態に係わるシームレスポインティングシステムの概略を示す模式図である。
【図２】タッチパネルコンピュータの構成を示すブロック図である。
【図３】参考形態に係わるシームレスポインティングシステムにおけるシームレスポインティング処理を表すフローチャートである。
【図４】本発明の第１実施形態に係わるシームレスポインティングシステムの概略を示す模式図である。
【図５】本発明の第１実施形態に係わるシームレスポインティングシステムの構成を示すブロック図である。
【図６】本発明の第１実施形態に係わるシームレスポインティングシステムの各要素の構成を示すブロック図である。
【図７】本発明の第１実施形態に係わるシームレスポインティング処理の大まかな流れを示すフローチャートである。
【図８】本発明の第１実施形態に係わるタッチパネルコンピュータで行われる処理の流れを示すフローチャートである。
【図９】本発明の第１実施形態に係わるハンドポインティング装置で行われる処理の流れを示すフローチャートである。
【図１０】本発明の第１実施形態に係わるサーバで行われる処理の流れを示すフローチャートである。
【図１１】本発明の第２実施形態に係わるシームレスポインティングシステムの概略を示す模式図である。
【図１２】本発明の第２実施形態に係わるシームレスポインティングシステムの構成を示すブロック図である。
【図１３】本発明の第２実施形態に係わるシームレスポインティングシステムの各要素の構成を示すブロック図である。
【図１４】本発明の第２実施形態に係わるタッチパネルコンピュータで行われる処理の流れを示すフローチャートである。
【図１５】本発明の第２実施形態に係わるサーバで行われる処理の流れを示すフローチャートである。
【図１６】本発明の第２実施形態に係わる家電機器で行われる処理の流れを示すフローチャートである。
【図１７】ポインティングに用いるペンの例を示す図である。
【符号の説明】
１０、５０、９０シームレスポインティングシステム
１２、１２Ａ、１２Ｂ、１２Ｃタッチパネルコンピュータ
１４ネットワーク
１６ＣＰＵ
１８ＲＯＭ
２０ＲＡＭ
２８タッチ検出部
５２作業空間
５４ハンドポインティング装置
５６サーバ
８２家電機器

Claims

複数のコンピュータ、管理装置、及び前記複数のコンピュータを含む所定の作業空間をカメラによって撮影した撮影画像を処理してハンドポイントの位置及び前記複数のコンピュータの位置を検出要求に応じて検出し、前記作業空間内におけるハンドポイントの移動先が示すコンピュータの位置を示すデータを出力するハンドポイント検出手段を備えたシームレスポインティングシステムであって、
前記複数のコンピュータの各々に、
画像を表示する表示手段の所定領域内へのハンドポイントのタッチ操作によるタッチ操作位置を検出するタッチ検出手段と、
前記タッチ検出手段の検出結果に基づいて前記タッチ操作位置に対応して前記表示手段に表示された前記画像に対応するデータを当該タッチ操作位置に属する特定データとして処理されるように制御するタッチ制御手段と、
タッチされたままタッチ位置が移動されて前記特定データを属した前記タッチ操作位置が前記所定領域外に離間したことを検出する離間検出手段と、
前記離間検出手段で前記離間を検出した時に、前記特定データ及び自己を識別するための識別データを前記管理装置に転送する転送手段と、
前記管理装置から送信された特定データを受信する受信手段と、
前記受信手段で受信した特定データに対して所定の処理を行う処理手段と、
を設け、
前記管理装置に、
前記転送手段によって転送された前記特定データ及び前記識別データを記憶する記憶手段と、
前記記憶手段に記憶された前記識別データに対応するコンピュータにおいて前記所定領域外に離間したハンドポイントの位置の移動先を検出する検出要求を前記ハンドポイント検出手段に対して行い、検出結果であるハンドポイントの移動先が示すコンピュータへ前記記憶手段に記憶された前記特定データを送信するデータ出力手段と、
を設けたシームレスポインティングシステム。
前記処理手段は、前記所定の処理として、前記特定データを前記複数のコンピュータ間で移動又はコピーする処理を行うを特徴とする請求項１に記載のシームレスポインティングシステム。
前記複数のコンピュータのうち、少なくとも１つのコンピュータは、家電機器に含むことを特徴とする請求項２に記載のシームレスポインティングシステム。