JP5983065B2

JP5983065B2 - 操作制御装置、操作制御方法

Info

Publication number: JP5983065B2
Application number: JP2012131369A
Authority: JP
Inventors: 有隆萩原; 基至勝又
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2012-06-08
Filing date: 2012-06-08
Publication date: 2016-08-31
Anticipated expiration: 2032-06-08
Also published as: JP2013254458A

Description

本発明は、操作制御装置、及び操作制御方法に関する。

従来、プロジェクタによって投影された画面に対して利用者が手の動作などのジェスチャによって、資料をめくったり、画面を拡大・縮小したりといった操作を可能な操作制御装置が実用化されている。こうした操作制御装置においては、予めジェスチャの種類が登録されており、カメラなどの映像を取得する装置によって撮影された利用者の動きから、ジェスチャの種類が判別され、いずれの操作処理を実行するかを決定する制御が行われる。

例えば、特許文献１においては、複数の利用者によって、操作制御装置を利用することができる技術が開示されている。特許文献１の方法では、特定のジェスチャを行うことによって、利用者は操作権限を取得することができ、操作権限を有する利用者のみが、画面を操作することができるようになる。

しかしながら、上記従来の技術においては、利用者が意図せず特定のジェスチャを行った結果、操作権限がその利用者に移ってしまうという問題が生じる可能性がある。

本発明は、上記に鑑みてなされたものであって、操作権限が利用者に意図せず変更されることを抑制することのできる操作制御装置を提供することにある。

上述した課題を解決し、目的を達成するために、本発明は、ユーザが行ったジェスチャの種別を判定し、前記ジェスチャの種別に対して予め割り当てられた権限評価値を取得するジェスチャ判定部と、前記ジェスチャ判定部によって前記権限評価値が取得された際に、前記ユーザの前記権限評価値を合計した累積値を更新する評価値更新部と、更新した前記累積値が他のユーザの前記累積値より高い場合に、表示装置に表示された操作画面を優先的に操作することのできる主権限を前記ユーザに付与する権限変更部と、前記表示装置に、前記主権限を付与された前記ユーザの前記操作画面を表示させる表示制御部と、を備えることを特徴とする。

本発明によれば、操作権限が利用者に意図せず変更されることを抑制することができるという効果を奏する。

図１は、第１の実施形態にかかる操作制御装置の機能ブロック図である。図２は、第１の実施形態においてジェスチャの権限評価値を記憶したテーブルのデータ構成図である。図３は、第１の実施形態においてユーザごとの累積権限評価値を記憶したテーブルのデータ構成図である。図４は、第１の実施形態においてジェスチャを検出した場合の、権限変更の処理の流れを示すシーケンス図である。図５は、第１の実施形態において、ユーザごとの操作画面の一例を示す図である。図６は、第１の実施形態における操作画面の表示態様の一例を示す図である。図７は、第１の実施形態において、ジェスチャを検出した場合の、権限変更の処理の流れを示すフロー図である。図８は、第２の実施形態における操作画面の表示態様の一例を示す図である。図９は、第３の実施形態における操作画面の表示態様の一例を示す図である。図１０は、第４の実施形態における操作画面の表示態様の一例を示す図である。図１１−１は、利用者の位置関係の一例を示す図である。図１１−２は、操作画面の表示態様の一例を示す図である。

以下に添付図面を参照して、本発明の操作制御装置を具体化した実施の形態を詳細に説明する。

（第１の実施形態）
第１の実施形態は、操作制御装置１００をプロジェクタである表示装置２００、及びカメラ３００と接続した例を示している。なお、操作制御装置１００は、表示装置と一体型であってもよいし、ネットワークを通じて、異なる場所に設置されているリモート型の装置であってもよい。操作制御装置１００において、生成された画像データが、表示装置２００からスクリーン４００に投影される。

図１は、第１の実施の形態にかかる操作制御装置の機能構成を示すブロック図である。図１に示されるように、操作制御装置１００は、ジェスチャ判定部１０１、評価値更新部１０２、権限変更部１０３、記憶部１０４、操作実行部１０５、及び表示制御部１０６を備えている。ジェスチャ判定部１０１は、カメラ３００が撮影した映像情報中に、人が映っている場合に、映像情報中に予め定めたジェスチャに該当する動作が存在しているか否かを判定し、存在している場合にジェスチャを抽出して、操作実行部１０５と評価値更新部１０２に送る。また、ジェスチャには、予めその種別に対して、権限評価値が割り当てられている。権限評価値とは、いずれのユーザに表示装置２００を通じて表示される操作画面の操作を許可するかを決定するための数値である。また、ジェスチャ判定部１０１は、いずれのユーザがジェスチャを行ったのかも判定する。ユーザの判定には、例えば顔による認識や、位置による認識など既存の方法を用いることができる。

図２は、ジェスチャの種別と、権限評価値とを記憶するテーブルのデータ構造を示す図であり、記憶部１０４に記憶されている。図２に示されるように、ジェスチャの種別としては、例えば「起立する」や「着席する」などが設定されている。検出されたジェスチャと、ジェスチャと対応する権限評価値が評価値更新部１０２に送られる。

評価値更新部１０２は、ジェスチャが検出されたユーザの累積権限評価値を更新する。累積権限評価値とは、ユーザごとに算出された権限評価値を合計した値（累積値）であり、ジェスチャが検出されるごとに更新される。例えば、「起立する」ジェスチャが検出された場合には、「０．２」加算され、「着席する」ジェスチャが検出された場合には「０．２」が減算される。評価値更新部１０２は、記憶部１０４に記憶されている累積権限評価値の値を取得し、新たに取得された権限評価値を合算し、更新した累積権限評価値を再び記憶部１０４に記憶する。

権限変更部１０３は、累積権限評価値の値にもとづきユーザの操作権限を変更する。図３は、ユーザごとの累積権限評価値と、権限情報を記憶したテーブルのデータ構造を示す図である。権限変更部１０３は、ユーザに対して、「主権限」、「副権限」、及び「権限なし」のいずれかの権限情報を割り当て、記憶部１０４に記憶する。なお、主権限とは、本実施形態においては、表示装置２００を通じて表示されたユーザの操作画面を優先的に操作できる権限であり、副権限とは、主権限より優先度が低く、操作画面を操作することはできないものの、操作画面が主権限を有するユーザの操作画面よりは小さく表示される権限である。

記憶部１０４は、ハードディスクやＲＡＭなどで構成された読み書き可能な記憶装置により構成され、データの種別ごとに保存されている。操作実行部１０５は、ジェスチャ判定部１０１が取得したジェスチャの種類から、ジェスチャごとに割り当てられた操作を取得し、その実行を表示制御部１０６へと指示する。ジェスチャごとに割り当てられた操作は、記憶部１０４に記憶してあってもよいし、操作実行部１０５がネットワーク回線を通じて接続された別のサーバ装置から取得するようにしてもよい。表示制御部１０６は、ジェスチャによる操作結果や、権限の変更を受けて、表示装置２００に表示させるべき画面の画像データを生成し、データを出力するよう表示装置２００へと指示する。

図４は、ユーザのジェスチャを検出した場合の処理の流れを示すシーケンス図である。図４に示されるように、まずカメラから映像情報がジェスチャ判定部１０１へと送信される（ステップＳ１０１）。次いで、ジェスチャ判定部１０１は、ジェスチャの種類を判別して、ジェスチャ種別と、ユーザＩＤとを評価値更新部１０２、及び操作実行部１０５へと送信する（ステップＳ１０２、Ｓ１０３）。次いで、評価値更新部１０２は、更新した累積権限評価値を記憶部１０４に記憶するとともに（ステップＳ１０４）、権限変更部１０３へと送る（ステップＳ１０５）。

権限変更部１０３は、累積権限評価値を参照して、ユーザの権限を変更し、記憶部１０４に記憶する（ステップＳ１０６）。操作実行部１０５は、取得したジェスチャに基づき実行結果を表示制御部１０６へ送信する（ステップＳ１０７）。そして、表示制御部１０６は、受信した実行結果と、記憶部１０４に記憶されているユーザの権限情報を参照して、表示する画面の画像データを生成して、表示装置２００に送信し（ステップＳ１０８）、表示装置２００は画像データを表示させる（ステップＳ１０９）。

次に、操作画面の表示態様について説明する。図５は、ユーザＡ〜Ｄに対してそれぞれ設定された資料１〜４を示している。図６は、表示装置２００における操作画面の表示態様の一例を示す。例では、ユーザＡに主権限、ユーザＢに副権限が設定されている場合に基づいて説明を行う。図６に示されるように、スクリーン４００には、資料１が大きく全体に表示され、資料２が左下側に資料１よりも小さく表示されている。この場合、主権限を有するユーザＡが資料１を操作するジェスチャを行うと、表示装置２００は、ジェスチャによる操作結果をスクリーン４００上に投影する。一方、副権限を有するユーザＢが操作をした場合であっても、権限が主権限に変更されない限りは、操作を実施することはできない。

次に、操作権限の変更にかかる具体的な処理の流れについて図７に基づき説明する。この処理の流れにおいては、主権限、及び副権限はそれぞれ１人ずつのみ設定される場合について説明する。図７に示されるように、まずジェスチャ判定部１０１は、カメラ３００によって取得された映像情報からジェスチャが検出できたか否かを判定する（ステップＳ２０１）。ジェスチャが検出されていないと判定された場合（ステップＳ２０１：Ｎｏ）、処理を終了する。ジェスチャが検出できたと判定された場合（ステップＳ２０１：Ｙｅｓ）、評価値更新部１０２は、ジェスチャが検出されたユーザの累積権限評価値を更新する（ステップＳ２０２）。次いで、権限変更部１０３は、ジェスチャが検出されたユーザの累積権限評価値が第１閾値以上であるか否かを判定する（ステップＳ２０３）。第１閾値とは、現在主権限を有するユーザの累積権限評価値の値である。

ジェスチャが検出されたユーザの累積権限評価値が第１閾値以上であると判定された場合、すなわちジェスチャが検出されたユーザの累積権限評価値が他の全てのユーザの累積権限評価値よりも高い場合（ステップＳ２０３：Ｙｅｓ）、権限変更部１０３は、他に主権限を有するユーザが存在するか否かを記憶部１０４のデータから判断する（ステップＳ２０４）。他に主権限を有するユーザが存在しないと判定された場合（ステップＳ２０４：Ｎｏ）、権限変更部１０３は、ジェスチャが検出されたユーザの操作権限を主権限に設定する（ステップＳ２０５）。そして、権限変更部１０３は、主権限に設定したユーザの累積権限評価値を第１閾値に設定して、処理を終了する（ステップＳ２０６）。

一方、他に主権限を有するユーザが存在すると判定された場合(ステップＳ２０４：Ｙｅｓ)、権限変更部１０３は、ジェスチャが検出されたユーザに対して、現在主権限を有するユーザへ権限変更の問い合わせを行うか否かを判定させる（ステップＳ２０７）。具体的な方法としては、ジェスチャが検出されたユーザの操作画面に通知を行うか否かの表示を出して、このときだけ操作を許可するようにしてもよいし、接続されているジェスチャの検出されたユーザの端末の画面上に表示してもよい。なお、ステップＳ２０７の処理は必須ではなく、必ず問い合わせをするように予め設定してもよいし、問い合わせを行わずに権限を変更する処理を行うようにしてもよい。

問い合わせを行わないと指示があった場合（ステップＳ２０７：Ｎｏ）、権限変更部１０３は、ジェスチャが検出されたユーザの操作権限を主権限に設定する（ステップＳ２０８）。また、権限変更部１０３は、元々主権限を有していたユーザの操作権限を副権限に設定する（ステップＳ２０９）。そして、権限変更部１０３は、主権限に設定したユーザの累積権限評価値を第１閾値に設定する（ステップＳ２１０）。また、権限変更部１０３は、副権限に設定したユーザの累積権限評価値を第２閾値に設定する（ステップＳ２１１）。なお、第２閾値としては、副権限が設定されたユーザの累積権限評価値を用いるのではなく、予め定めた固定の数値を用いてもよい。その場合は、第２閾値を超えたユーザには全て副権限が付与されるようになる。

一方、問い合わせを行うと指示があった場合（ステップＳ２０７：Ｙｅｓ）、権限変更部１０３は、主権限を有するユーザに対して問い合わせを実行する（ステップＳ２１２）。問い合わせの実行の方法としては、上述したジェスチャが検出されたユーザに対する問い合わせの実行の有無を確認する方法と同様の方法を用いることができる。次いで、権限変更部１０３は、問い合わせを受けたユーザから、権限変更を許可する旨の返答があったか否かを判定する（ステップＳ２１３）。権限変更を許可する旨の返答があったと判定された場合（ステップＳ２１３：Ｙｅｓ）、ステップＳ２０８へと移行する。一方、権限変更を許可しない旨の返答があったと判定された場合（ステップＳ２１３：Ｎｏ）、権限は変更されることなく処理は終了する。

また、ジェスチャが検出されたユーザの累積権限評価値が第１閾値より小さいと判定された場合、すなわちジェスチャが検出されたユーザの累積権限評価値が他の全てのユーザの累積権限評価値よりも高くない場合（ステップＳ２０３：Ｎｏ）、権限変更部１０３は、ジェスチャのあったユーザの累積権限評価値が第２閾値以上であるか否かを判定する（ステップＳ２１４）。ジェスチャのあったユーザの累積権限評価値が第２閾値以上であると判定された場合（ステップＳ２１４：Ｙｅｓ）、権限変更部１０３は主権限を有するユーザが存在しているか否かを判定する（ステップＳ２１５）。

主権限を有するユーザが存在していないと判定された場合（ステップＳ２１５：Ｎｏ）、第１閾値を超えていなくとも主権限を付与して問題ないため、権限変更部１０３は、ジェスチャが検出されたユーザの操作権限を主権限に設定する（ステップＳ２１６）。そして、権限変更部１０３は、主権限に設定したユーザの累積権限評価値を第１閾値に設定して、処理を終了する（ステップＳ２１７）。

一方、主権限を有するユーザが存在していると判定された場合（ステップＳ２１５：Ｙｅｓ）、権限変更部１０３は、ジェスチャが検出されたユーザの操作権限を副権限に設定する（ステップＳ２１８）。そして、権限変更部１０３は、副権限に設定したユーザの累積権限評価値を第２閾値に設定して、処理を終了する（ステップＳ２１９）。

また、ジェスチャのあったユーザの累積権限評価値が第２閾値より小さいと判定された場合（ステップＳ２１４：Ｎｏ）、権限変更部１０３は、ジェスチャが検出されたユーザに権限が付与されているか否かが判定される（ステップＳ２２０）。ジェスチャが検出されたユーザに権限が付与されていると判定された場合（ステップＳ２２０：Ｙｅｓ）、権限変更部１０３は、ユーザから権限を剥奪する処理を行い、処理を終了する（ステップＳ２２１）。この処理により、例えば、「着席する」など累積権限評価値が下がるようなジェスチャを行うことで、自らの操作権限をユーザが放棄することができるようになる。一方、ジェスチャが検出されたユーザに権限が付与されていないと判定された場合（ステップＳ２２０：Ｎｏ）、処理は終了する。

以上に示した本実施形態の操作制御装置１００においては、ユーザが行う１のジェスチャで即座に操作権限が変更されるのではなく、ジェスチャがある程度繰り返し行われることで、他のユーザよりも累積権限評価値が高くならない限り、操作画面の操作権限がユーザに付与されることがない。そのため、操作権限が利用者に意図せず変更されることを抑制することができるようになる。

また、現在主権限を有するユーザに対して権限変更を行ってよいか否かの許可を得てから、操作権限が変更されるため、操作中のユーザから操作権限が意図せず剥奪されてしまうといった問題も抑制することができるようになる。

（第２の実施形態）
次に、第２の実施形態における操作制御装置１００について説明する。第２の実施形態においては、表示装置２００によってスクリーン４００に投影される操作画面の表示態様が上記実施形態とは異なっている。図８は、スクリーン４００における操作画面の表示態様を示している。

図８（ａ）〜（ｃ）に示されるように、本実施形態においては、副権限を有するユーザＢの資料２が表示された操作画面が、ユーザＢの累積権限評価値が増加するにつれて、透過率が下がり、最終的には図８（ｃ）に示されるように、操作画面が不透明に表示されるよう構成されている。具外的には、表示制御部１０６が、ジェスチャが検出されるごとに、記憶部１０４に記憶された副権限を有するユーザの累積権限評価値を取得し、累積権限評価値の値から操作画面の透過率を決定する。

例えば、表示制御部１０６は、主権限を有するユーザと、副権限を有するユーザのそれぞれの累積権限評価値の相対的な差に基づいて、段階的に透過率を決定するようにしてもよい。また、予め定めた基準にのっとり、副権限を有するユーザの累積権限評価値の値によって、透過率を決定してもよい。

本実施形態の操作制御装置１００にあっては、副権限を有するユーザは自らの操作画面の透過率から、あとどれくらいで主権限を取得することができるようになるかを直感的に把握することができるようになり、意図しない権限の変更を抑制することができるようになる。

（第３の実施形態）
次に、第３の実施形態における操作制御装置１００について説明する。第３の実施形態においては、表示装置２００によってスクリーン４００に投影される操作画面の表示態様が上記実施形態とは異なっている。図９は、スクリーン４００における操作画面の表示態様を示している。

図９（ａ）〜（ｃ）に示されるように、本実施形態においては、副権限を有するユーザＢの資料２が表示された操作画面が、ユーザＢの累積権限評価値が増加するにつれて、大きく表示されるよう構成されている。具外的には、表示制御部１０６が、ジェスチャが検出されるごとに、記憶部１０４に記憶された副権限を有するユーザの累積権限評価値を取得し、累積権限評価値の値から操作画面の大きさを決定する。大きさの決定方法は上述した透過率を決定する方法と同様の方法を採用することができる。

（第４の実施形態）
次に、第４の実施形態における操作制御装置１００について説明する。第４の実施形態においては、複数の副権限を有するユーザがいる場合に、それぞれの操作画面が全て表示装置２００によってスクリーン４００上に投影された画面に表示されている。本実施形態の場合、第２閾値に副権限を有するユーザの累積権限評価値の値が代入されると、副権限を有するユーザは一人しか生じないため、予め定めた固定の第２閾値を超えたユーザ全員に副権限が付与される。

図１０は、操作画面の表示態様を示す図である。図１０に示されるように、表示装置２００によって投影されたスクリーン４００には、主権限を有するユーザＡの資料１が表示されるほかに、副権限を有するユーザＢ、ユーザＣ、及びユーザＤのそれぞれの資料が操作画面に表示されている。このようにすれば、副権限を有するユーザは、現在の自分の権限の状況を把握しやすくなる。

また、複数のユーザにおいて、操作を行う場合、操作画面はいずれのユーザが有しているのかを把握可能にしておくことが望ましい。例えば、図１１−１のようにユーザＡ〜Ｄで表示装置２００であるプロジェクタを囲んで座る場合を例に説明する。図１１−２は、操作画面の表示態様の一例である。

図１１−２に示されるように、各ユーザの操作画面には、それぞれのユーザの座っている位置が白丸と黒丸との組み合わせによって、示されている。具体的には、図示しないカメラなどによりそれぞれのユーザの位置を撮影し、位置を特定し、ユーザの識別情報と対応づけることで、位置表示が可能となる。このような、操作画面からユーザを特定することができる情報を付与することで、ユーザが操作画面を把握しやすくなる。なお、表示の方法としては、例えばユーザを示すユーザ名を操作画面上に表示したり、ユーザの撮影した顔を操作画面上に表示したりする方法が採用可能である。

なお、以上の実施形態においては、ジェスチャに割当てられた評価値を累積していくことによってのみ、権限が変更される場合を示したが、これらの権限変更の方法に加え、主権限を有するユーザがある特定のジェスチャを行うことにより、副権限を有するユーザから副権限を剥奪することができるようにしてもよい。例えば、副権限を有するユーザの操作画面により主権限のユーザの操作画面中の表示したい領域が隠れている場合などに、副権限を剥奪することができれば、操作画面を表示装置の全画面に表示させることができるようになる。

１００操作制御装置
１０１ジェスチャ判定部
１０２評価値更新部
１０３権限変更部
１０４記憶部
１０５操作実行部
１０６表示制御部
２００表示装置
３００カメラ
４００スクリーン

特開２０１０−２７７１７６号公報

Claims

ユーザが行ったジェスチャの種別を判定し、前記ジェスチャの種別に対して予め割り当てられた権限評価値を取得するジェスチャ判定部と、
前記ジェスチャ判定部によって前記権限評価値が取得された際に、前記ユーザの前記権限評価値を合計した累積値を更新する評価値更新部と、
更新した前記累積値が他のユーザの前記累積値より高い場合に、表示装置に表示された操作画面を優先的に操作することのできる主権限を前記ユーザに付与する権限変更部と、
前記表示装置に、前記主権限を付与された前記ユーザの前記操作画面を表示させる表示制御部と、
を備えることを特徴とする操作制御装置。
前記権限変更部は、前記ユーザの前記累積値が前記主権限を有するユーザの前記累積値より低く、かつ所定の閾値以上の場合に、前記ユーザに前記主権限よりも操作の優先度の低い副権限を付与し、
前記表示制御部は、前記副権限を有する前記ユーザの前記操作画面を、前記主権限を有する前記ユーザの前記操作画面より小さく前記表示装置に表示させる
ことを特徴とする請求項１に記載の操作制御装置。
前記権限変更部は、更新された前記累積値が他のユーザの前記累積値より高い場合であって、かつ前記主権限を有するユーザが存在している場合、前記主権限を有するユーザに権限変更を許可するか否かを通知し、
前記主権限を有するユーザが前記権限変更を許可する場合には、前記累積値が他のユーザより高くなった前記ユーザに対して前記主権限を付与するとともに、前記主権限を有するユーザに対して前記副権限を付与する
ことを特徴とする請求項２に記載の操作制御装置。
前記権限変更部は、前記主権限を有するユーザに前記権限変更に関する通知を送信する許可を、前記累積値が他のユーザの前記累積値より高くなったユーザに対して通知し、前記ユーザが前記通知を許可した場合には、前記通知を前記主権限を有するユーザに送信するとともに、前記ユーザが前記通知を許可しない場合には、前記累積値が他のユーザより高くなった前記ユーザに対して前記主権限を付与するとともに、前記主権限を有するユーザに対して前記副権限を付与する
ことを特徴とする請求項３に記載の操作制御装置。
前記表示制御部は、前記副権限を有するユーザの前記操作画面を前記表示装置に透過して表示させる
ことを特徴とする請求項２に記載の操作制御装置。
前記表示制御部は、前記副権限を有する前記ユーザの前記累積値が高いほど、前記操作画面の前記表示装置における透過比率を低く設定する
ことを特徴とする請求項５に記載の操作制御装置。
前記表示制御部は、前記副権限を有する前記ユーザの前記累積値が高いほど、前記操作画面の前記表示装置における大きさを大きく設定する
ことを特徴とする請求項２に記載の操作制御装置。
前記表示制御部は、前記副権限を有するユーザの前記操作画面をそれぞれ前記表示装置に表示させる
ことを特徴とする請求項２に記載の操作制御装置。
前記表示制御部は、前記操作画面に、前記操作画面に対応する前記ユーザを表示させる
ことを特徴とする請求項１に記載の操作制御装置。
前記ジェスチャ判定部は、前記主権限を有するユーザが行った前記ジェスチャが、前記副権限を有するユーザから前記副権限を剥奪する旨を示す前記ジェスチャの種別であるか否かを判定し、
前記副権限を剥奪する旨を示す前記ジェスチャの種別であると判定された場合には、前記副権限を有するユーザから前記副権限を剥奪する
ことを特徴とする請求項２に記載の操作制御装置。
ユーザが行ったジェスチャの種別を判定し、前記ジェスチャの種別に対して予め割り当てられた権限評価値を取得するジェスチャ判定ステップと、
前記権限評価値が取得された際に、前記ユーザの前記権限評価値を合計した累積値を更新する評価値更新ステップと、
更新した前記累積値が他のユーザの前記累積値より高い場合に、表示装置に表示される操作画面を優先的に操作することのできる主権限を付与する権限変更ステップと、
前記表示装置に、前記主権限を付与された前記ユーザの前記操作画面を表示させる表示制御ステップと、
を含むことを特徴とする操作制御方法。