JP5456840B2 - 表示制御装置、表示制御方法、情報表示システム、およびプログラム - Google Patents

Description

本発明は、表示制御装置、表示制御方法、情報表示システム、およびプログラムに関する。

従来、使用者のジェスチャー等を検出して情報の選択および表示等の指示を入力させ、当該使用者と、当該使用者の指示等に応じた情報とを表示する情報表示装置が知られている。（例えば、特許文献１および２参照）。
特許文献１ 特開２００１−２１６５２７号公報
特許文献２ 特開２０１０−７２７４９号公報

しかしながら、このような表示装置は、複数の使用者に対して、それぞれジェスチャー等による指示を入力させ、当該複数の使用者の指示等に応じた情報を複数の使用者に対応して管理しつつ表示することは困難であった。

本発明の第１の態様においては、複数の使用者を検出する使用者検出部と、表示装置の表示領域を分割して、検出された複数の使用者のそれぞれに割り当てる割当部と、それぞれの使用者に対して表示すべき情報を、それぞれの使用者に対応付けて記憶する記憶部と、それぞれの使用者に対応付けられた情報を、使用者に対応する表示領域に表示制御する表示制御部と、それぞれの使用者の動きからそれぞれの使用者の指示を検出する指示検出部と、指示検出部が、一の使用者と他の使用者との間で情報を転送する転送指示を検出したことに応じて、他の使用者の表示領域に表示されている情報を、当該一の使用者に対応付けて記憶部に記憶する取得処理部と、を備える表示制御装置、情報表示システム、表示制御方法、およびプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る情報表示システム１０の構成例を第１使用者２０および第２使用者３０とともに示す。 本実施形態に係る情報表示システム１０の動作フローを示す。 本実施形態に係る表示装置１００の変形例を第１使用者２０および第２使用者３０とともに示す。 本実施形態に係る表示制御装置３００として機能するコンピュータ１９００のハードウェア構成の一例を示す。

以下、本発明の実施の形態を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。

図１は、本実施形態に係る情報表示システム１０の構成例を第１使用者２０および第２使用者３０とともに示す。情報表示システム１０は、複数の使用者の指示等に応じた情報を、当該複数の使用者に対応して管理しつつ表示する。本実施形態において、情報表示システム１０は、第１使用者２０および第２使用者３０の２人の使用者の指示等に応じた情報を管理し、かつ、表示する例を説明する。

第１使用者２０および第２使用者３０は、情報表示システム１０にジェスチャー等で指示を入力し、ゲーム、メールの送受信、Ｗｅｂの閲覧、ソーシャルネットワークへの参加、画像または動画の閲覧、および文書編集等、情報の表示およびアプリケーションの実行等を指示する。情報表示システム１０は、表示装置１００と、使用者検出部２００と、表示制御装置３００とを備える。

表示装置１００は、１以上の使用者に対応する情報を表示する。表示装置１００は、使用者に対応する情報と共に、使用者を表示してもよい。表示装置１００は、使用者が複数いる場合、表示領域を複数に分割し、当該複数の使用者に対応する情報を対応する表示領域にそれぞれ表示する。表示装置１００は、二次元画像または三次元画像を表示する、液晶ディスプレイ、プラズマディスプレイまたは有機エレクトロルミネッセンスディスプレイ等の電子表示装置であってよい。表示装置１００は、使用者の指示に応じて、表示領域１１０、１２０、および境界線１３０等を表示する。

表示領域１１０は、第１使用者２０に対応する情報を表示する領域である。表示装置１００は、表示領域１１０に、第１使用者２０の指示に応じて、カーソル１１２、情報１１４、情報１１６およびアイコン等を表示してよい。

カーソル１１２は、第１使用者２０の操作用の手２２に対応して表示される。表示装置１００が第１使用者２０の情報と共に第１使用者２０の鏡像を表示する場合、カーソル１１２は、第１使用者２０の操作用の手２２の鏡像でよい。また、表示装置１００が第１使用者２０を表示しない場合、カーソル１１２は、予め定められた形状のポインタ画像でよい。また、カーソル１１２は、第１使用者２０の指示または予め定めた設定により、表示されなくてもよい。

カーソル１１２は、第１使用者２０の操作用の手２２に応じて、表示装置１００の表示面内に表示されてよい。カーソル１１２は、表示装置１００の表示面内における当該カーソル１１２の表示位置と略同一の位置に表示された情報等を選択または選択解除する。また、カーソル１１２は、表示装置１００の表示面内における当該カーソル１１２の表示位置と略同一の位置に表示されたアイコン等を選択またはアイコンに対応するアプリケーションを実行する。

情報１１４および情報１１６は、ウィンドウ表示される文書、画像、動画、またはＷｅｂコンテンツでよい。これに代えて、情報１１４および情報１１６は、第１使用者２０が実行させたアプリケーションの実行画面であってよい。

表示領域１２０は、第２使用者３０に対応する情報を表示する領域である。表示装置１００は、表示領域１２０に、第２使用者３０の指示に応じて、表示領域１１０と同様にカーソル１２２、情報１２４、およびアイコン等を表示してよい。ここで、カーソル１２２、情報１２４は、表示領域１１０で説明したカーソル１１２、情報１１４と略同一の機能を有するのでここでは説明を省略する。

境界線１３０は、第１使用者２０に対応する表示領域１１０と、第２使用者３０に対応する表示領域１２０とを分離する。境界線１３０は、表示装置１００が複数の使用者に対応する情報を表示している場合に複数表示され、対応する複数の表示領域をそれぞれ分離する。

境界線１３０は、表示装置１００の動作中において常に表示されなくてよく、この場合、第１使用者２０または第２使用者３０のカーソルが当該境界線１３０を横切った場合に表示されることが望ましい。これに代えて、境界線１３０は、表示装置１００の動作中において表示されてよく、この場合、第１使用者２０または第２使用者３０のカーソルが当該境界線１３０を横切った場合に、異なる色、異なる線幅、異なる形状、または点滅等で表示されることが望ましい。

使用者検出部２００は、使用者を検出する。使用者検出部２００は、表示装置１００を使用する使用者が複数いる場合、当該複数の使用者を検出する。本例の使用者検出部２００は、第１使用者２０および第２使用者３０を検出する。使用者検出部２００は、当該使用者の身体の一部または全体の二次元および／または三次元空間上の位置を検出してよい。使用者検出部２００は、例えば、光波測距センサおよび／またはビデオカメラ等の撮像部を有する。

光波測距センサは、光波測距を用いて距離データの画像を生成し、生成した距離データの画像から使用者を検出する。一例として、光波測距センサは、赤外線等の光を照射する投光器、集光レンズ等の光学系、および、複数の画素を含み、画素毎に使用者からの反射光の検出時間を測定する測距素子を有する。光波測距センサは、使用者に赤外線等を照射し、その反射光を光学系により測距素子の受光面上に結像させ、測距素子の各画素が測定した反射光の検出時間を画像内の各画素の輝度値等に対応付けすることで、使用者の光波測距センサからの距離情報を含む画像を取得する。

このように、光波測距センサは、三次元空間上の位置情報と共に使用者の画像を取得するので、使用者と背景画像とを分離することができる。また、光波測距センサは、このような検出を連続して実行することで、使用者の体の動き等を検出することができる。また、光波測距センサは、使用者を体、頭、上腕、下腕、手指、上腿、および下腿等に分離して各部を検出し、各部毎の検出を連続することで使用者のジェスチャーを精度よく検出してよい。

撮像部は、使用者を撮像する。撮像部は、１又は複数のビデオカメラを有し、第１使用者２０および第２使用者３０を含む画像を取得して各使用者を検出する。撮像部は、撮像した画像より、画像処理によって各使用者を検出してよい。例えば、撮像部は、使用者を時間的に連続して撮像した連続画像から、一つ前に撮像された画像との差分を算出した複数の差分画像を取得して、当該使用者の動き等を検出する。これに代えて、撮像部は、２以上の視点から使用者の画像を撮像して使用者の視差画像を取得し、当該視差画像の視差情報に基づいて、使用者の動き等を検出してもよい。

ここで、使用者検出部２００は、上記の光波測距センサおよび撮像部を有し、使用者の距離情報および動画像をそれぞれ検出し、使用者の動きの検出感度を向上させてよい。使用者検出部２００は、使用者の検出結果を表示制御装置３００に供給する。

表示制御装置３００は、使用者の動きの検出結果から当該使用者の指示を検出し、当該指示に応じて表示装置１００の表示内容を制御する。表示制御装置３００は、指示検出部３１０と、割当部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、取得処理部３６０と、を有する。

指示検出部３１０は、使用者検出部２００に接続され、使用者検出部２００の検出結果に基づき、それぞれの使用者の動きからそれぞれの使用者の指示を検出する。例えば、指示検出部３１０は、表示装置１００の前で人が立ち止まったことに応じて、当該立ち止まった人を使用者として認識して使用者のジェスチャー入力の検出を開始する。また、指示検出部３１０は、使用者が表示装置１００の前から立ち去ったことに応じて、当該使用者のジェスチャー入力の検出を停止して使用者としての認識を解除してよい。指示検出部３１０は、使用者の人数の増減を検出してよい。

また、指示検出部３１０は、使用者の右手または左手を操作用の手とし、表示装置１００に表示された情報等への選択、選択解除、移動、および実行等の指示を検出してよい。また、指示検出部３１０は、表示装置１００が情報をＧＵＩによる操作入力を有するウィンドウ表示する場合に、当該操作入力に対応する使用者の手指等からの指示を検出してよい。

例えば、指示検出部３１０は、使用者が手のひらまたは指を表示装置１００の表示面に向けて押す動作を検出することで、情報の選択、ボタンの押し下げ、およびウィンドウの切り替え等の指示を検出する。また、使用者が手のひらまたは指を表示装置１００の表示面に向けて繰り返し押す動作を検出することで、アプリケーションの実行等の指示を検出してよい。

また、使用者が情報を選択した後に、選択した手のひらまたは指を移動させる動作を検出することで、情報の移動、および移動先のアプリケーション実行等の指示を検出してよい。ここで、指示検出部３１０は、使用者が選択指示をし、かつ、選択指示をした手指の表示装置１００における表示位置に情報が表示されている場合、使用者の当該情報の選択を検出してよい。指示検出部３１０は、使用者検出部２００が撮像部等を有し、撮像した画像を送信する場合は、使用者を撮像した画像を入力する画像入力部として機能してよい。

割当部３２０は、表示装置１００の表示領域を分割して、検出された複数の使用者のそれぞれに割り当てる。例えば、割当部３２０は、指示検出部３１０が第１使用者２０および第２使用者３０の２人の使用者を検出したことに応じて、表示装置１００の表示領域を２つに分割し、表示領域１１０を第１使用者２０に、表示領域１２０を第２使用者３０にそれぞれ割り当てる。割当部３２０は、表示装置１００の表示領域において、検出された使用者が表示されている領域を、当該使用者に割り当てる表示領域に含めてよい。

割当部３２０は、表示装置１００の表示領域の面積を、検出された使用者の人数で等分に分割して、複数の使用者にそれぞれ割り当ててよい。これに代えて、割当部３２０は、表示装置１００の表示領域において、検出された使用者が表示されている面積の比と略等しい比で、表示領域の面積を分割して複数の使用者にそれぞれ割り当ててもよい。また、割当部３２０は、表示装置１００の表示領域において、複数の使用者が並んで表示されている場合、隣り合う使用者の間に境界を設けて分割し、複数の使用者にそれぞれ割り当ててよい。割当部３２０は、分割した表示領域の境界に、境界線１３０を設ける。

割当部３２０は、表示システム１０の動作中において、使用者が増減することに応じて、表示領域の分割を更新してよい。この場合、割当部３２０は、指示検出部３１０が予め定められた人数よりも多い人数の使用者を検出した場合、表示領域の分割の更新を停止してよい。割当部３２０は、表示領域の分割と、使用者の割り当てとを、割り当ての更新毎に記憶部３３０に記憶してよい。

記憶部３３０は、それぞれの使用者に対して表示すべき情報を、それぞれの使用者に対応付けて記憶する。記憶部３３０は、文書、画像、動画、Ｗｅｂコンテンツ、ＵＲＬ、およびアプリケーション等の情報を記憶してよい。また、記憶部３３０は、それぞれの使用者に割り当てられた表示領域に表示された天気、時刻、スケジュール、および／または株価等のデータを、それぞれの使用者に対応づけて記憶してよい。

また、記憶部３３０は、使用者の動作パターンを記憶してもよい。この場合、指示検出部３１０は、記憶された動作パターンと検出された使用者の動作とを比較することで、使用者のジェスチャー入力による指示を検出することができる。また、記憶部３３０は、それぞれの使用者の画像情報を記憶してもよい。この場合、指示検出部３１０は、記憶された使用者画像と検出された使用者画像とを比較し、二つの画像がマッチングした場合に、当該使用者が過去に表示した情報を割り当てられた表示領域に表示させる指示を検出したと判断してよい。

実行部３４０は、指示検出部３１０が検出したアプリケーションの実行の指示に応じて、当該アプリケーションを実行する。実行部３４０は、予め記憶されたメール送受信、文書編集、画像表示、動画再生、Ｗｅｂブラウザ、および表示システム１０の設定等に係る各アプリケーションプログラムを実行してよい。また、実行部３４０は、アプリケーションのインストールおよびアンインストール等を、指示に応じて実行してよい。

実行部３４０は、当該アプリケーションの実行を指示した使用者に対応づけられた表示領域に、当該アプリケーションの実行画面を表示させるべく、実行画面の情報を表示制御部３５０に供給する。ここで、実行部３４０は、当該アプリケーションの実行を指示した使用者に対応づけられた表示領域に、当該アプリケーションの実行画面を表示させるべく、実行画面の情報を当該使用者に対応づけて記憶部３３０に記憶してもよい。

表示制御部３５０は、それぞれの使用者に対応付けられた情報を、使用者に対応する表示領域に表示させるように表示装置１００を制御する。表示制御部３５０は、記憶部３３０に記憶されたそれぞれの使用者に対応付けられた情報を、当該使用者に対応する表示領域にそれぞれ表示する指示と共に表示装置１００へ出力してよい。また、表示制御部３５０は、記憶部３３０の記憶情報が更新される毎に、更新された情報を対応する表示領域にそれぞれ表示させてよい。また、表示制御部３５０は、指示検出部３１０の検出した指示に応じた情報を表示させてもよい。

表示制御部３５０は、それぞれの使用者に対応付けられた情報を、使用者に対応する表示領域にウィンドウ表示させてよい。また、表示制御部３５０は、使用者の指示に応じた情報を、使用者を撮像した画像と共に表示制御してもよい。この場合、表示制御部３５０は、使用者の画像に重ねて、当該使用者に対応づけられた情報を表示制御してよい。これに代えて、表示制御部３５０は、使用者に対応づけられた情報に重ねて、当該使用者の画像を表示制御してよい。表示制御部３５０は、予め定められた表示優先順位に応じて、使用者の情報および使用者の画像を重ねて表示してよい。

例えば、表示制御部３５０は、第１使用者２０に対応づけられた情報１１４および情報１１６を、第１使用者２０に対応する表示領域１１０にウィンドウ表示させる。また、表示制御部３５０は、第１使用者２０に対応づけられたカーソル１１２、アプリケーションのアイコン、および第１使用者２０の画像等を、対応する表示領域１１０に表示させる。また、表示制御部３５０は、第２使用者３０に対応づけられた情報１２４を、第２使用者３０に対応する表示領域１２０にウィンドウ表示させる。

取得処理部３６０は、指示検出部３１０が、一の使用者と他の使用者との間で情報を転送する転送指示を検出したことに応じて、他の使用者の表示領域に表示されている情報を、当該一の使用者に対応付けて記憶部３３０に記憶する。例えば、指示検出部３１０は、一の使用者が、自分の表示領域に表示された情報を選択し、選択した情報を移動する方向を指示することを検出することで、転送指示を検出する。この場合、取得処理部３６０は、情報の選択と移動方向の指示に応じて、移動方向にある他の使用者に対応づけて当該情報を記憶部３３０に記憶させて、他の使用者の表示領域に当該情報を表示することを表示制御部３５０に指示する。

一例として、指示検出部３１０は、第１使用者２０が第１使用者２０に対応づけられた情報１１４を選択して、第２使用者３０に対応する表示領域１２０に移動させる一連の指示を、転送指示として検出する。図中の例は、第１使用者２０に対応する表示領域１１０に表示された第１使用者２０に対応づけられた情報１１４を、第１使用者２０が選択した段階を示す。

この後に、指示検出部３１０は、第１使用者２０が表示領域１２０への情報１１４の移動、または情報１１４を表示領域１２０に向けて投げる動作等を検出することで、情報１１４の転送指示を検出し、当該転送指示を取得処理部３６０に通知する。取得処理部３６０は、このような転送指示に応じて、情報１１４を第２使用者３０に対応づけて記憶部３３０に記憶する。

また、指示検出部３１０は、一の使用者が、他の使用者の表示領域に表示された情報を選択し、選択した情報を一の使用者またはさらに他の使用者の表示領域に移動する指示をしたことを転送指示として検出してよい。この場合、取得処理部３６０は、情報の選択と移動の検出結果に応じて、一の使用者またはさらに他の使用者に対応づけて当該情報を記憶部３３０に記憶させて、一の使用者またはさらに他の使用者の表示領域に当該情報を表示することを表示制御部３５０に指示する。

例えば、指示検出部３１０は、第１使用者２０が、第２使用者３０に対応する表示領域１２０に表示された第２使用者３０に対応づけられた情報１２４を選択して、当該第１使用者２０に対応する表示領域１１０に移動させる一連の指示を、転送指示として検出する。図中の例は、第１使用者２０に対応する表示領域１１０に表示された第１使用者２０に対応づけられた情報１１６を、第２使用者３０が選択した段階を示す。

この後に、指示検出部３１０は、第２使用者３０が表示領域１２０への情報１１６の移動、または情報１１６を表示領域１２０に向けて投げる動作等を検出することで、情報１１６の転送指示を検出し、当該転送指示を取得処理部３６０に通知する。取得処理部３６０は、このような転送指示に応じて、情報１１６を第２使用者３０に対応づけて記憶部３３０に記憶する。

このように、表示装置１００は、表示制御装置３００の表示制御に応じて情報を表示する。また、情報表示システム１０は、複数の使用者を検出し、検出した複数の使用者に応じて表示領域を分割し、複数の使用者のそれぞれのジェスチャー入力に応じた情報を対応する表示領域に表示する。情報表示システム１０は、使用者毎に表示すべき情報を管理し、使用者の転送指示に応じて情報を移動させるので、複数の使用者の指示等に応じた情報を複数の使用者に対応して管理しつつ表示させ、当該情報を複数の使用者に共有させることができる。

図２は、本実施形態に係る情報表示システム１０の動作フローを示す。情報表示システム１０は、Ｓ２００からＳ２７０までの処理により、使用者の指示に応じた情報を使用者に対応して管理しつつ表示する。

情報表示システム１０は、まず、表示装置１００の前の使用者を検出する（Ｓ２００）。例えば、指示検出部３１０は、使用者検出部２００の検出結果に基づき、人が表示装置１００の前に立ったことに応じて、当該人を使用者として検出する。指示検出部３１０は、使用者検出部２００の検出可能エリアに進入し予め定められた時間立ち止ったに人を使用者として検出してよい。これにより、指示検出部３１０は、表示装置１００の前を立ち止まらずに通り過ぎていく人を使用者として検出しない機能を持つことができる。指示検出部３１０は、使用者が０の場合は、１以上の使用者が検出されるまで使用者の検出を繰り返す。

次に、指示検出部３１０は、検出した使用者の数を検出し、使用者の数に増減があるか否かを判断する（Ｓ２１０）。指示検出部３１０は、使用者の数の増減を検出した場合、割当部３２０に通知し、割当部３２０は、表示装置１００の表示領域を使用者の数に応じて分割し、複数の使用者にそれぞれ割り当てる（Ｓ２３０）。

例えば、指示検出部３１０は、第１使用者２０および第２使用者３０が表示装置１００の前に立ったことに応じて、２人の使用者の増加を検出して割当部３２０に通知する。割当部３２０は、表示装置１００の表示領域を表示領域１１０と表示領域１２０の２つに分割し、表示領域１１０を第１使用者２０に、表示領域１２０を第２使用者３０にそれぞれ割り当てる。

また、例えば、指示検出部３１０は、第１使用者２０が表示装置１００の表示領域の全面に情報を表示している最中に、第２使用者３０が表示装置１００の前に立ったことに応じて、１人の使用者の増加を検出して割当部３２０に通知する。割当部３２０は、表示装置１００の表示領域を表示領域１１０と表示領域１２０の２つに分割し、第１使用者２０の表示していた情報を表示領域１１０に表示して第１使用者２０に割り当て、表示領域１２０を第２使用者３０に割り当てる。

また、例えば、指示検出部３１０は、第１使用者２０および第２使用者３０がそれぞれ割り当てられた表示領域１１０および表示領域１２０に情報をそれぞれ表示している最中に、第１使用者２０が表示装置１００の前から立ち去ったことに応じて、１人の使用者の減少を検出して割当部３２０に通知する。割当部３２０は、表示装置１００の表示領域を１つに結合し、表示領域の全面を第２使用者３０に割り当てる。

指示検出部３１０は、使用者への表示領域の割り当ての後、または使用者の数に増減がない場合、複数の使用者の表示装置１００に対する情報表示の指示を検出する（Ｓ２４０）。複数の使用者のそれぞれは、情報表示の指示を手指等を用いたジェスチャーによって入力してよい。

例えば、指示検出部３１０は、使用者の画像の操作用の手に対応する領域の変化を、予め記憶した多数の手の立体パターンの変化、輪郭パターンの変化またはシルエットパターンの変化等とそれぞれ対比する。これにより、指示検出部３１０は、使用者の操作用の手のジェスチャー等の動きを検出して、当該ジェスチャー等の動きから操作指示を取得してよい。

また、指示検出部３１０は、使用者の操作用の手の画像が表示装置１００の表示画面内のアイコンと重なった状態で、使用者が操作用の手で予め定められたジェスチャー等をしたことを認識した場合、当該アイコンに対応するアプリケーションに関連する操作指示を検出してよい。この場合、指示検出部３１０は、アプリケーションの実行を検出してよく、また、使用者がファイル等の情報を選択したままアプリケーションの操作指示を出した場合は、当該ファイルを当該アプリケーションに入力させて実行してよい。

ここで、予め定められたジェスチャーは、開いた手を握った状態にすること、握った手を開くこと、手を左右方向に振ること、手を上下方向に動かすこと、手でボタンを押す動作をすること、手でクリックまたはダブルクリックする動作をすること、手で円を描く動作をすること、手を一定時間静止させること、一部または全ての指を動かすこと、その他の手の運動またはこれらの組み合わせであってよい。

ここで、アプリケーションに関連する指示は、当該アプリケーションの実行、削除、またはプロパティの表示等であってよい。指示検出部３１０は、使用者の操作用の手の画像が表示装置１００の表示画面内のアイコンと重なった状態で、操作用の手がボタンを押す動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの実行指示を検出してよい。

また、指示検出部３１０は、使用者の操作用の手の画像が表示装置１００の表示画面内のアイコンと重なった状態で、操作用の手が円を描く動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの終了指示を検出してよい。また、指示検出部３１０は、使用者の操作用の手の画像が表示装置１００の表示画面内のアイコンと重なった状態で、操作用の手を開いた状態から握った状態にさせ、更に当該操作用の手を握った状態のまま移動させたことを検出した場合、操作用の手の画像の位置と連動させて当該アイコンをドラッグする指示を検出してよい。

また、指示検出部３１０は、当該操作用の手が握った状態から開いた状態になったこと検出した場合、当該アイコンを操作用の手の画像の位置でドロップする指示を検出してよい。指示検出部３１０は、使用者毎に、検出した指示に応じて、当該指示を実行部３４０、表示制御部３５０、または取得処理部３６０に供給する。

指示検出部３１０は、検出した指示が転送指示の場合、当該転送指示を取得処理部３６０に供給する（Ｓ２５０）。取得処理部３６０は、受け取った転送指示に応じて、転送元の使用者の情報を転送先の使用者に対応づけて記憶部３３０に記憶する（Ｓ２６０）。

ここで、取得処理部３６０は、他の使用者が移動を許可していない情報の移動を、一の使用者が指示した場合に、当該情報を当該他の使用者の表示領域から削除しない。このように、取得処理部３６０は、転送元の使用者の情報の移動が許可されていない場合、当該情報を転送先にコピーしてよい。

また、取得処理部３６０は、他の使用者が移動を許可した情報の移動を、一の使用者が指示した場合に、当該情報を当該他の使用者の表示領域から削除する。このように、取得処理部３６０は、転送元の使用者の情報の移動が許可されている場合、当該情報を転送先に移動してよい。

ここで、指示検出部３１０は、使用者による自己の表示領域に表示された情報のうち、選択した情報について他の使用者の表示領域への移動を許可する指示を、当該使用者の動きから検出する。指示検出部３１０は、ニュース、天気予報、またはメール等、使用者が既に選択して詳細な本文等を表示させることで閲覧したか否かが判別できる情報の場合、使用者が当該情報を閲覧したことに応じて他の使用者への移動を許可したことを検出してよい。

また、指示検出部３１０は、複数の使用者が同一の情報を選択したことに応じて、当該情報の移動を許可する指示を検出してもよい。例えば、指示検出部３１０は、一の使用者が自己の表示領域に表示させた一の情報を選択している間に、他の使用者が当該情報を選択した場合を検出したことに応じて、当該情報の一の使用者による他の使用者への移動を許可したことを検出してよい。

これに代えて、指示検出部３１０は、一の使用者が自己の表示領域に表示させた一の情報を選択している間に、他の使用者が当該情報を選択し、一の使用者が当該情報の選択を解除したことに応じて、当該情報の一の使用者による他の使用者への移動を許可したことを検出してよい。これによって、指示検出部３１０は、一の使用者から他の使用者へと、選択した情報を手渡すような動作を検出できるので、表示装置１００は、当該情報の移動を使用者に対して違和感のないスムーズな情報の移動を表示させることができる。

また、指示検出部３１０は、使用者が対応する表示領域内に移動許可領域を設け、当該領域に情報を移動させたことに応じて、当該情報の移動の許可を検出してよい。また、指示検出部３１０は、使用者が対応する表示領域内に移動不許可領域を設け、当該領域に情報を移動させたことに応じて、当該情報の移動の不許可を検出してよい。

これに代えて、指示検出部３１０は、使用者が表示した情報のうち、当該使用者が移動を許可することを予め設定した情報を対して、情報の移動を検出してよい。また、指示検出部３１０は、使用者が表示した情報のうち、当該使用者が移動を許可しないことを予め設定した情報を対して、情報の移動を検出しなくてもよい。この場合、表示制御部３５０は、使用者が移動を許可した情報および／または移動を許可しない情報を、予め定められた表示方法で表示してよい。一例として、表示制御部３５０は、移動を許可した情報または移動を許可しない情報のウィンドウ枠を、予め定められた色または形状で表示する。

表示制御部３５０は、それぞれの使用者に対応付けられた情報を、それぞれの使用者に対応する表示領域にそれぞれ表示させるための情報を表示装置１００へ出力する（Ｓ２７０）。表示制御部３５０は、指示検出部３１０から供給された指示に基づき、表示装置１００に表示画像情報を出力してよい。例えば、使用者検出部２００が撮像した使用者の画像を表示させる場合、当該画像を指示検出部３１０から受け取り、対応する表示領域に表示させるための情報を出力する。また、表示制御部３５０は、画面に表示された情報を移動させる指示を指示検出部３１０から受け取ったことに応じて、当該情報を移動して表示させ、また、記憶部３３０が表示位置を記憶している場合は記憶部３３０の情報を更新してよい。

また、表示制御部３５０は、実行部３４０からの実行画面の情報を受け取った場合、対応する使用者の表示領域に当該実行画面を表示させる。また、表示制御部３５０は、記憶部３３０に記憶された情報に応じて、表示装置１００に当該情報を表示させる。

ここで情報表示システム１０は、Ｓ２００に戻り、使用者の検出と、使用者の指示の検出と、使用者の指示に応じた情報の表示とを繰り返す。以上の本実施例に係る情報表示システム１０は、複数の使用者を検出し、検出したそれぞれの使用者に表示装置１００の表示領域を分割して割り当て、それぞれの対応する表示領域に指示に応じた情報を表示させる。

ここで、本例の情報表示システム１０は、一の使用者が他の使用者に対応する表示領域に表示された情報の転送指示をジェスチャーで入力する場合に、当該情報を当該一の使用者に対応する表示領域に表示する動作について説明した。これに加えて、情報表示システム１０は、複数の使用者が、他の使用者に対応する表示領域に表示された情報を転送指示することに応じて、選択された情報を当該複数の使用者に対応する複数の表示領域に表示させてもよい。

また、この場合、複数の使用者が転送指示する情報がウィンドウ表示された情報の場合、情報表示システム１０は、当該ウィンドウ表示の情報を複数のウィンドウに複製して複数の使用者に対応する複数の表示領域に表示させてよい。例えば、表示制御部３５０は、それぞれの使用者に対応付けられた情報を、使用者に対応する表示領域にウィンドウ表示させ、指示検出部３１０が、複数の使用者から一の情報を選択する指示を検出した場合、取得処理部３６０は、当該情報の選択の検出結果に応じて、当該ウィンドウ表示を複数の使用者に対応させて複数のウィンドウ表示に分割し、それぞれの使用者により操作させる。

また、本例の情報表示システム１０は、一の使用者が立ち去ったことに応じて、当該一の使用者の表示領域を消去することを説明した。これに代えて、表示制御部３５０は、検出された使用者に割り当てられた表示領域および当該表示領域に表示された情報を、使用者検出部２００により当該使用者が検出されなくなってから予め定められた時間の間保持してもよい。

これによって、例えば、複数の使用者のうちの１以上の使用者が、一時的に立ち去った後に再び戻ってきた場合に、立ち去る前に表示装置１００に表示させていた情報を継続して利用することができる。これによって、情報表示システム１０は、複数の使用者が会議等の打ち合わせに当該システムを用いた場合に、１以上の使用者が一時的に離席しても、表示させた情報を保持することで、当該使用者が戻ってきた場合にスムーズに会議を継続させることができる。

また、情報表示システム１０は、使用者が表示させていた情報、複数回利用した情報またはアプリケーション等の情報、および予め使用者が登録した情報等を、使用者と対応づけて使用者の画像と共に記憶部３３０に記憶させてよい。また、この場合、指示検出部３１０は、使用者を検出する場合に画像比較等の処理を実行して、記憶された使用者と検出された使用者が同一であるか否かを検出してよい。

これによって、情報表示システム１０は、予め登録された使用者が表示装置１００の前に立つことで、記憶部３３０に記憶された当該登録された使用者に対応する情報を表示することができる。例えば、第１使用者２０が表示装置１００の前に立つと、表示制御部３５０は、第１使用者２０の登録したＵＲＬのウェブサイトを表示するウィンドウを、第１使用者２０に割り当てられた表示領域に表示することができる。

また、情報表示システム１０は、当該ウェブサイトを第２使用者３０の表示領域１２０に表示させるべく、第１使用者２０または第２使用者３０がコピーを指示すると、当該ウェブサイトを表示領域１２０に表示しつつ当該ウェブサイトのＵＲＬを第２使用者３０に対応させて記憶部３３０に記憶させる。これによって、情報表示システム１０は、次の機会に第２使用者３０が表示装置１００の前に立つと、当該ウェブサイトを表示するウィンドウを、第２使用者３０に割り当てられた表示領域に表示することができる。

また、情報表示システム１０は、無線送受信機を備え、予め登録された使用者が表示装置１００の前に立つたことに応じて、使用者が携帯する情報端末と無線通信を実行して、当該情報端末に記憶された情報を当該使用者に割り当てられた表示領域に表示させてもよい。この場合、情報表示システム１０の無線送受信機および使用者が携帯する情報端末は、一例として、使用者に対応するＩＤ、無線通信のプロトコル等を予め登録して、無線通信を実行する。また、無線送受信機は、使用者が対応する表示領域に表示させた情報を情報端末に送信して、情報端末の記憶を更新してもよい。

また、無線送受信機は、１以上の使用者がそれぞれ携帯する予め登録された情報端末からの送信信号を待ち受け、当該送信信号を受信したことで記憶された使用者と検出された使用者が同一であるか否かを検出してよい。

図３は、本実施形態に係る表示装置１００の変形例を第１使用者２０および第２使用者３０とともに示す。本変形例の表示装置１００において、図１に示された本実施形態に係る情報表示システム１０の動作と略同一のものには同一の符号を付け、説明を省略する。

本変形例の表示装置１００は、一の使用者の情報を、一の使用者および他の使用者の表示領域を用いて表示する場合に、当該一の使用者および他の使用者の表示領域の境界線１３０を画像で表示する。図中において、第２使用者３０が、第１使用者２０に対応する表示領域１１０に表示された情報１１６を選択して、第２使用者３０の表示領域１２０に転送する転送指示をジェスチャー入力している例を示す。

この場合、表示装置１００は、情報１１６を表示領域１１０から表示領域１２０に移動させつつ、境界線１３０をアニメーション等の画像で情報１１６が表示領域１１０から表示領域１２０に移動することを強調させる。例えば、表示装置１００は、第２使用者３０が、情報１１６を転送する過程において、情報１１６のウィンドウが境界線１３０を通過する場合に、当該境界線１３０を画像表示させる。

また、この場合、表示装置１００は、境界線１３０の全てを表示させずに、情報１１６近辺における境界線１３０の一部を画像表示させてよい。また、表示装置１００は、情報１１６の移動元の表示領域１１０から移動先の表示領域１２０へと、情報１１６のウィンドウの移動によって境界線１３０が押し込まれるように、複数の境界線１３０の画像を用いてアニメーション表示してもよい。

これによって、表示装置１００は、使用者に情報の移動等を視覚的に表現することができ、操作性を向上させることができる。このように、表示装置１００は、使用者に直感的な操作で情報の表示と授受を実行させることができる。

図４は、本実施形態に係る表示制御装置３００として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び、表示装置１００として機能しうる表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部を制御する。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイス２０３０は、実行部３４０の指示によって外部のネットワークと通信するハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を表示制御装置３００として機能させるプログラムは、指示検出モジュールと、割当モジュールと、記憶モジュールと、実行モジュールと、表示制御モジュールと、取得処理モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、指示検出部３１０と、割当部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、取得処理部３６０としてそれぞれ機能させてよい。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である指示検出部３１０と、割当部３２０と、記憶部３３０と、実行部３４０と、表示制御部３５０と、取得処理部３６０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示制御装置３００が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、予め定められた条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 表示システム、２０ 第１使用者、２２ 操作用の手、３０ 第２使用者、１００ 表示装置、１１０ 表示領域、１１２ カーソル、１１４ 情報、１１６ 情報、１２０ 表示領域、１２２ カーソル、１２４ 情報、１３０ 境界線、２００ 使用者検出部、３００ 表示制御装置、３１０ 指示検出部、３２０ 割当部、３３０ 記憶部、３４０ 実行部、３５０ 表示制御部、３６０ 取得処理部、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

Claims (12)

1. 複数の使用者を検出する使用者検出部と、
   表示装置の表示領域を分割して、検出された複数の使用者のそれぞれに割り当てる割当部と、
   それぞれの使用者に対して表示すべき情報を、それぞれの使用者に対応付けて記憶する記憶部と、
   それぞれの使用者に対応付けられた情報を、使用者に対応する表示領域に表示制御する表示制御部と、
   一の使用者が、他の使用者の表示領域に表示された情報を選択し、選択した前記情報を一の使用者またはさらに他の使用者の表示領域に移動する指示をしたことを検出する指示検出部と、
   前記指示検出部による前記情報の選択と移動の検出結果に応じて、前記一の使用者によって選択された前記情報を前記一の使用者またはさらに他の使用者の表示領域に表示することを前記表示制御部に指示する取得処理部と、
   を備える表示制御装置。
2. 前記取得処理部は、他の使用者が移動を許可していない情報の移動を、一の使用者が指示した場合に、当該情報を当該他の使用者の表示領域から削除しない請求項１に記載の表示制御装置。
3. 前記取得処理部は、他の使用者が移動を許可した情報の移動を、一の使用者が指示した場合に、当該情報を当該他の使用者の表示領域から削除する請求項１または２に記載の表示制御装置。
4. 前記指示検出部は、使用者による自己の表示領域に表示された情報のうち、選択した情報について他の使用者の表示領域への移動を許可する指示を、当該使用者の動きから検出する請求項２または３に記載の表示制御装置。
5. 前記指示検出部は、一の使用者が、自分の表示領域に表示された情報を選択し、選択した前記情報を移動する方向を指示することを検出し、
   前記取得処理部は、前記情報の選択と移動方向の指示に応じて、前記移動方向にある他の使用者の表示領域に前記情報を表示することを前記表示制御部に指示する請求項１から４のいずれか一項に記載の表示制御装置。
6. 前記表示制御部は、検出された使用者に割り当てられた表示領域および当該表示領域に表示された情報を、前記使用者検出部により当該使用者が検出されなくなってから予め定められた時間の間保持する請求項１から５のいずれか一項に記載の表示制御装置。
7. 前記表示制御部が、それぞれの使用者に対応付けられた前記情報を、使用者に対応する前記表示領域にウィンドウ表示させ、
   前記指示検出部が、複数の使用者から一の情報を選択する指示を検出した場合、前記取得処理部は、当該情報の選択の検出結果に応じて、当該ウィンドウ表示を複数の使用者に対応させて複数のウィンドウ表示に分割し、それぞれの使用者により操作させる請求項１から６のいずれか一項に記載の表示制御装置。
8. 前記表示制御部は、それぞれの使用者に対応付けられた前記情報を、使用者に対応する前記表示領域にウィンドウ表示させ、一の使用者の情報を、一の使用者および他の使用者の表示領域を用いて表示する場合に、当該一の使用者および他の使用者の表示領域の境界線を画像で表示する請求項１から７のいずれか一項に記載の表示制御装置。
9. 使用者を撮像した画像を入力する画像入力部を備え、
   前記表示制御部は、使用者の指示に応じた情報を、使用者を撮像した前記画像と共に表示制御する請求項１から８のいずれか一項に記載の表示制御装置。
10. 使用者を撮像する撮像部と、
    請求項１から９のいずれか一項に記載の表示制御装置と、
    前記表示制御装置の表示制御に応じて情報を表示する表示装置と、
    を備える情報表示システム。
11. 複数の使用者を検出する使用者検出段階と、
    表示装置の表示領域を分割して、検出された複数の使用者のそれぞれに割り当てる割当段階と、
    それぞれの使用者に対応付けられた情報を、使用者に対応する表示領域に表示制御する第１の表示制御段階と、
    一の使用者が、他の使用者の表示領域に表示された情報を選択し、選択した前記情報を一の使用者またはさらに他の使用者の表示領域に移動する指示をしたことを検出する指示検出段階と、
    前記情報の選択と移動の検出結果に応じて、前記一の使用者によって選択された前記情報を前記一の使用者またはさらに他の使用者の表示領域に表示する第２の表示制御段階と、
    を備える表示制御方法。
12. 請求項１１に記載の表示方法を、コンピュータにより実行させるプログラム。

Images