JP5974649B2 - 情報処理装置、会議システム、プログラム - Google Patents

Description

本発明は、情報処理装置、会議システム、プログラムに関する。

従来、プロジェクタによって投影された画面に対して利用者が手の動作などのジェスチャによって、資料をめくったり、画面を拡大・縮小したりといった操作を可能な会議システムが実用化されている。こうした会議システムにおいては、予めジェスチャの種類が登録されており、カメラなどの映像を取得する装置によって撮影された利用者の動きから、ジェスチャの種類が判別され、いずれの操作処理を実行するかを決定する制御が行われる。

例えば、特許文献１においては、複数の利用者によって、会議システムを利用することができる技術が開示されており、具体的には特定のジェスチャを行うことによって、利用者は操作権限を取得することができ、操作権限を有する利用者のみが、画面を操作することができるようになる。

しかしながら、ジェスチャによって利用者に権限を付与するようにしようとすると、複数のプレゼンテーションが近接して行われている場合などに、プレゼンテーションの内容に関係しない利用者のジェスチャが検出されて、プレゼンテーションの操作権限が付与されてしまうといった問題が発生してしまう可能性が否定できない。

本発明は、上記に鑑みてなされたものであって、プレゼンテーションの内容に関連しない利用者に対して、意図せず操作画面の操作権限が付与されてしまうことを抑制することができる情報処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、ユーザが発言した音声情報を取得する音声取得部と、ユーザの映像情報を取得する映像情報取得部と、前記音声取得部によって音声情報が取得された際に、前記映像情報取得部によって取得された前記ユーザの映像情報に基づいて、前記音声情報を発言した前記ユーザを特定するユーザ特定部と、前記音声情報から、単語を抽出する単語抽出部と、キーワードを記憶するキーワード記憶部と、抽出した前記単語と、前記キーワードとが一致する場合に、前記単語を発言した前記ユーザの表示装置に対する操作の優先度を加算する優先度算出部と、前記映像情報取得部によって取得された前記ユーザの映像情報に基づいて、ユーザによって行われたジェスチャを検出するジェスチャ検出部と、前記ジェスチャ検出部によって検出されたジェスチャを行ったユーザの前記優先度が最も高い場合に、前記表示装置に対する操作を許可する操作権決定部と、を備え、前記キーワード記憶部は、前記キーワードごとに評価値を対応付けて記憶しており、前記優先度算出部は、前記キーワードに対応する前記評価値を前記優先度に加算する、ことを特徴とする。

本発明によれば、プレゼンテーションの内容に関連しない利用者に対して、意図せず操作画面の操作権限が付与されてしまうことを抑制することができるという効果を奏する。

図１は、第１の実施形態の情報処理装置の機能ブロックを示す図である。 図２は、第１の実施形態のユーザの発言の一例を示す図である。 図３は、第１の実施形態のキーワードリストの一例を示す図である。 図４は、第１の実施形態の優先度テーブルの一例を示す図である。 図５は、第１の実施形態の音声情報と映像情報の一例を示す図である。 図６は、第１の実施形態のユーザの優先度を算出する処理の流れを示すシーケンス図である。 図７は、第１の実施形態のユーザを特定する処理の流れを示すフロー図である。 図８は、第１の実施形態のユーザの優先度を算出する処理の流れを示すフロー図である。 図９は、第１の実施形態のユーザの操作を許可するか否かを決定する処理の流れを示すフロー図である。 図１０は、第２の実施形態のキーワードリストの一例を示す図である。 図１１は、第２の実施形態の優先度テーブルの一例を示す図である。 図１２は、第３の実施形態の単語発言履歴テーブルの一例を示す図である。 図１３は、第３の実施形態の優先度テーブルの一例を示す図である。 図１４は、第４の実施形態の優先度テーブルの一例を示す図である。 図１５は、資料のページごとの閾値の一例を示す図である。

以下に添付図面を参照して、本発明の情報処理装置を会議システムに具体化した実施形態を詳細に説明する。

（第１の実施形態）
第１の実施形態を情報処理装置の機能ブロック図である図１を参照して説明する。第１の実施形態は、情報処理装置１００をプロジェクタである表示装置２００、集音装置であるマイク３００、及び撮影装置であるカメラ４００と接続した会議システムとしての例を示している。なお、情報処理装置１００は、表示装置２００と一体型であってもよいし、ネットワークを通じて、異なる場所に設置されているリモート型の装置であってもよい。情報処理装置１００において、生成された画像データが、表示装置２００からスクリーン５００に投影される。

情報処理装置１００は、Ｉ／Ｆ１０１、記憶部１０２、音声取得部１０３、単語抽出部１０４、優先度算出部１０５、ユーザ特定部１０６、ジェスチャ検出部１０７、操作権決定部１０８、映像情報取得部１１１、及び表示制御部１０９を備えている。Ｉ／Ｆ１０１は、装置に接続された表示装置２００、マイク３００、及びカメラ４００とのデータの入出力を行う。記憶部１０２は、ＲＡＭやハードディスクなどの読み書き可能な記憶媒体によって構成されており、以降の各部において処理されるデータが記憶される。

音声取得部１０３は、Ｉ／Ｆ１０１を通じて取得されたマイク３００からの音声情報を取得する。音声情報には、それぞれのユーザの発言した音声と、その取得した時刻が含まれている。映像情報取得部１１１は、Ｉ／Ｆ１０１を通じて取得されたカメラ４００からの映像情報を取得する。単語抽出部１０４は、取得した音声情報から単語を取得する。音声からの単語の抽出は、既存の音声処理技術を用いることにより実現可能である。

ユーザ特定部１０６は、Ｉ／Ｆ１０１を通じて取得されたカメラ４００からの映像情報中に映ったユーザがどのユーザであるかを特定する。なお、映像情報からいずれのユーザであるかを特定する方法は、既存の技術を採用することができ、例えばユーザの撮影された位置で特定する方法や、顔認識技術を利用して特定する方法などを使用することができる。ジェスチャ検出部１０７は、取得した映像情報からジェスチャを検出する。ジェスチャの種類は、予め記憶部１０２に記憶されている。ジェスチャ検出部１０７は、記憶されたジェスチャの種類に該当する場合、ユーザの動作をジェスチャとして認識する。

優先度算出部１０５は、抽出された音声情報中の単語と、記憶部１０２に記憶されたキーワードとが一致するか否かにより、ユーザの優先度を算出する。この際、優先度算出部１０５は、ユーザ特定部１０６が特定したユーザの情報、例えばユーザＩＤをもとに、単語を発言したユーザがいずれのユーザであるかも特定する。操作権決定部１０８は、優先度の値からいずれのユーザに操作権限を付与するかを決定する。表示制御部１０９は、表示装置２００に表示する操作画面を生成するとともに、操作権決定部１０８が決定した操作権限が付与されているユーザのジェスチャに対応した操作を画面上に表示させるための指示を表示装置２００へと送信する。

優先度算出のためには、ユーザの現在の優先度と、抽出された単語がいずれのユーザが発言したものであるかを特定する必要がある。まず、ユーザの現在の優先度を特定する方法について説明する。図２は、ユーザが発言したキーワードの一例を示す図であり、図３は、キーワードリストの一例、図４は、優先度テーブルの一例である。また、図５は、取得した音声情報と映像情報の一例を示す図である。図２に示されるように、例えばユーザＡは「ＡＡＡ」、及び「ＢＢＢ」という単語、ユーザＢは「ＢＢＢ」という単語、ユーザＤは「ＣＣＣ」、及び「ＤＤＤ」という単語を発言した場合を例に説明する。

図３に示されるように、記憶部１０２に記憶されたキーワードリストには、「ＡＡＡ」、「ＢＢＢ」、及び「ＣＣＣ」がキーワードとして記憶されている。したがって、ユーザＡ〜Ｄの発言した単語のうち、キーワードと一致する単語を発言したユーザに対してのみ、優先度を算出するための評価値が加算される。本実施形態においては、評価値は全てのキーワードに対して「１」に設定されており、キーワードの発言回数が優先度となる。

図４に示されるように、ユーザＡに対しては、２つのキーワードを発言していることから、優先度は「２」となり、順位は「１」に設定される。また、ユーザＢ、及びユーザＤは、それぞれ１つのキーワードを発言していることから、優先度は「１」となり、順位はそれぞれ「２」に設定される。したがってこの場合においては、操作権決定部１０８は、優先度が最も高いユーザＡに対して、表示装置２００によって表示される操作画面を操作する権限を付与する。

次に、単語を発言したユーザを特定する方法について説明する。図５に示されるように、単語抽出部１０４は、単語ごとに取得した発言時刻を記憶部１０２に記憶する。また、ユーザ特定部１０６は、取得した映像情報のうち、口元が動いているユーザと、その時刻とを取得して記憶部１０２に記憶する。そして、優先度算出部１０５は、発言時刻が同じ時間帯であるユーザと発言した単語とを対応付ける。また優先度算出部１０５は、単語がキーワードと一致するものであった場合、単語を発言したユーザの優先度の値を更新する。

次に、ユーザの優先度を決定する処理の流れを図６を用いて説明する。図６に示されるように、まずマイク３００は、収集した音声情報を、音声取得部１０３を通じて単語抽出部１０４へと送る（ステップＳ１０）。次いで単語抽出部１０４は、音声情報から単語と、単語の発言時刻を抽出し、優先度算出部１０５へと送信する（ステップＳ１１）。

また、カメラ４００は、収集した映像情報を、ユーザ特定部１０６へと送信する（ステップＳ１２）。ユーザ特定部１０６は、取得した映像情報から映像に映っているユーザが誰であるかを特定し、特定したユーザのユーザＩＤと発言時刻を優先度算出部１０５へと送信する（ステップＳ１３）。優先度算出部１０５は受信した発言時刻が同じユーザＩＤと単語とを対応付けて、単語を発言したユーザを特定し、記憶部１０２にキーワードの取得要求を送信する（ステップＳ１４）。そして、優先度算出部１０５は、記憶部１０２に記憶されているキーワードと一致した単語を発言したユーザの優先度を更新する（ステップＳ１５）。

次に、ユーザを特定する処理の流れについて図７を用いて説明する。図７に示されるように、まずカメラ４００は、撮影した映像情報をＩ／Ｆ１０１を通じてユーザ特定部１０６へと送信する（ステップＳ１０１）。次いで、ユーザ特定部１０６は、映像情報に含まれる人物の映像のうち、口元が動いているかを判定する（ステップＳ１０２）。口元が動いていると判定された場合（ステップＳ１０２：Ｙｅｓ）、ユーザ特定部１０６は、口元が動いている人物のユーザＩＤを特定する（ステップＳ１０３）。一方、口元が動いていないと判定された場合（ステップＳ１０２：Ｎｏ）、口元が動いている映像が検出されるまでステップＳ１０１を繰り返す。

そして、ユーザ特定部１０６は、特定したユーザＩＤと、口元が動いている動画の撮影された時刻である発言時刻と対応付けて、優先度算出部１０５へと送信して処理を終了する（ステップＳ１０４）。

次に、ユーザの優先度を算出する処理の流れを図８を用いて説明する。図８に示されるように、優先度算出部１０５は、記憶部１０２から投影中の資料に関連したキーワードを取得する（ステップＳ２０１）。本実施形態では、プレゼンテーションに使用される資料は一度記憶部１０２に記憶され、その読み込みの際に資料に含まれる単語が自動的に抽出されてキーワードとして記憶される。また、全ての単語をキーワードとして記憶するのではなく、出現回数が所定回数以上の単語のみをキーワードとして登録するようにしてもよい。また、ユーザが手動でキーワードリストにキーワードを記憶するようにしてもよい。

優先度算出部１０５は、抽出した音声情報に含まれる単語と、キーワードリストに登録されたキーワードとが一致するか否かを判定する（ステップＳ２０２）。キーワードと一致すると判定された場合（ステップＳ２０２：Ｙｅｓ）、優先度算出部１０５は、一致した単語の発言時刻に発言のあったユーザを、ユーザごとの発言履歴の情報から検索する（ステップＳ２０３）。そして、優先度算出部１０５は、検索されたユーザの記憶部１０２に記憶された現在の優先度に対して評価値である１を加算して、優先度を更新して、処理を終了する（ステップＳ２０４）。

続いて、操作画面を操作するジェスチャが検出された際の処理の流れを図９を用いて説明する。本処理は、表示装置２００を通じて資料が投影された時点から開始される。まずあるユーザが何らかの動作を行った場合、カメラ４００は、撮影した映像情報をユーザ特定部１０６とジェスチャ検出部１０７の両方へとＩ／Ｆ１０１を通じて送信する（ステップＳ３０１）。ユーザ特定部１０６は、映像情報から特定したユーザＩＤをジェスチャ検出部１０７へと送信する（ステップＳ３０２）。ジェスチャ検出部１０７は、取得した映像情報に予め定めたジェスチャが含まれているか否かを判定する（ステップＳ３０３）。

取得した映像情報に予め定めたジェスチャが含まれていると判定された場合（ステップＳ３０３：Ｙｅｓ）、ジェスチャ検出部１０７は、検出したジェスチャをユーザＩＤとともに、操作権決定部１０８へと送信する（ステップＳ３０４）。一方、取得した映像情報に予め定めたジェスチャが含まれていないと判定された場合（ステップＳ３０３：Ｎｏ）、ジェスチャが含まれる動作が検出されるまで処理を繰り返す。

次いで、操作権決定部１０８は、現在他に操作に用いられているジェスチャが存在するか否かを判定する（ステップＳ３０５）。現在他に操作に用いられているジェスチャが存在すると判定された場合（ステップＳ３０５：Ｙｅｓ）、新しく検出されたジェスチャを行ったユーザの優先度が、現在他に存在するジェスチャのユーザの優先度と比較して大きいか否かを判定する（ステップＳ３０６）。新しく検出されたジェスチャを行ったユーザの優先度が、現在他に存在するジェスチャのユーザの優先度と比較して大きいと判定された場合（ステップＳ３０６：Ｙｅｓ）、操作権決定部１０８は新たに検出したジェスチャを表示制御部１０９へと送信する（ステップＳ３０７）。また、現在他に操作に用いられているジェスチャが存在しないと判定された場合（ステップＳ３０５：Ｎｏ）、ステップＳ３０６はスキップして、ステップＳ３０７へ移行する。一方、新しく検出されたジェスチャを行ったユーザの優先度が、現在他に存在するジェスチャのユーザの優先度と比較して小さいと判定された場合（ステップＳ３０６：Ｙｅｓ）、ステップＳ３０３の処理へと戻る。

そして、最後に表示制御部１０９は、操作権限が付与されたユーザの受信したジェスチャに基づく操作結果が反映された画面を生成し、表示装置２００に対して出力指示を行い、処理を終了する（ステップＳ３０８）。

以上に示した、本実施形態の情報処理装置１００にあっては、資料に対応したキーワードと一致する単語を発言したユーザに対して操作権限が付与されることから、プレゼンテーションの内容と関係の薄いプレゼンテーションを行っている別のユーザに操作画面の操作権限が意図せず付与されることを抑制することができるようになる。

（第２の実施形態）
次に、情報処理装置１００の第２の実施形態について説明する。第２の実施形態においては、ユーザが発言したキーワードに割り当てられた評価値がキーワードごとに異なっている。したがって、発言回数で一律に評価値が加算されるのではなく、重要なキーワードに対して高い評価値を割り当てることができる。例えば、図１０に示されるように、キーワード「ＡＡＡ」に対しては評価値として１０ポイントが割り当てられているのに対し、他のキーワードは、評価値は１である。したがって、このような場合、キーワード「ＡＡＡ」を発言したユーザに対する優先度が高くなりやすくなり、図１１に示されるように、キーワードの発言回数は同じであっても、優先度はユーザＡが最も高いということになる。

このような情報処理装置１００にあっては、プレゼンテーションの中で、重要度の高いキーワードを発言したユーザに対して優先的に操作権限を付与することができるようになる。

（第３の実施形態）
次に、情報処理装置１００の第３の実施形態について説明する。第３の実施形態においては、ユーザが発言したキーワードのうち、予め定めた基準時刻以降のキーワードのみを優先度を算出する際の評価対象とすることに特徴がある。図１２は、単語発言履歴テーブルの一例を示す図である。本実施形態においては、新たに単語発言履歴テーブルが記憶部１０２に記憶されている。単語抽出部１０４は、新たにユーザが発言した単語を抽出するごとに、単語発言履歴テーブルに、発言した単語、及び発言時刻を記憶していく。本実施形態においては、基準時刻である１２：００以降に発言した単語のみが、優先度の評価対象となるよう設定されている。基準時刻は、記憶部１０２に記憶されており、ユーザが適宜変更することもできる。

したがって、図１３に示されるように、優先度算出部１０５は、定められた１２：００以降の発言である「ＣＣＣ」の単語のキーワード評価値のみを優先度に加算する。したがって、例えば、予め定めたプレゼンテーションの開始以前の発言を、操作権限を付与する際の考慮に入れないようにするなどの調整を行うことができるようになる。

（第４の実施形態）
次に、情報処理装置１００の第４の実施形態について説明する。第４の実施形態においては、予め定めた期間、優先度テーブルが更新されなかったユーザ、すなわちキーワードの発言がなかったユーザは、優先度テーブルから削除するか、キーワード値を「０」に初期化する処理を行う。

図１４に示されるように、優先度テーブルには、最終の更新日時がユーザごとに記憶されており、更新日時から現在までの経過時間が所定の時間を超えることで、上記処理が実施されるようになる。この処理により、優先度テーブルのデータ量が増大することを抑制することができるようになる。

また、上記の各実施形態においては、例えば優先度が最も高いユーザであっても、そのキーワードの発言回数が、予め定めた所定の回数以上となっていなければ、操作権限を付与しないようにすることもできる。

また、優先度テーブルは、予めユーザごとにレコードを有しているようにしたが、例えば、ユーザが始めてキーワードを発言した際に、ユーザＩＤを算出した優先度ともに、追加するような構成に変更してもよい。この場合、初めて優先度テーブルに登録されたユーザにあっては、たとえ優先度が他のユーザよりも高い場合であっても操作権限を付与しないようにすれば、偶然の発言により突発的に優先度が高くなったために操作権限が付与されるといった意図しない権限の変更を抑制することができるようになる。

また、図１５に示されるように、資料や、資料のページごとに、ユーザに操作権限を付与するために必要となる優先度や、発言回数を設定しておき、これらの閾値を超えた場合にのみ操作権限が付与されるようにすることもできる。

実施形態の情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

実施形態の情報処理装置で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の情報処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施形態の情報処理装置で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から機器管理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

実施形態の情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

１００ 情報処理装置
１０１ Ｉ／Ｆ
１０２ 記憶部
１０３ 音声取得部
１０４ 単語抽出部
１０５ 優先度算出部
１０６ ユーザ特定部
１０７ ジェスチャ検出部
１０８ 操作権決定部
１０９ 表示制御部
２００ 表示装置
３００ マイク
４００ カメラ
５００ スクリーン

特開２０１０−２７７１７６号公報

Claims (8)

1. ユーザが発言した音声情報を取得する音声取得部と、
   ユーザの映像情報を取得する映像情報取得部と、
   前記音声取得部によって音声情報が取得された際に、前記映像情報取得部によって取得された前記ユーザの映像情報に基づいて、前記音声情報を発言した前記ユーザを特定するユーザ特定部と、
   前記音声情報から、単語を抽出する単語抽出部と、
   キーワードを記憶するキーワード記憶部と、
   抽出した前記単語と、前記キーワードとが一致する場合に、前記単語を発言した前記ユーザの表示装置に対する操作の優先度を加算する優先度算出部と、
   前記映像情報取得部によって取得された前記ユーザの映像情報に基づいて、ユーザによって行われたジェスチャを検出するジェスチャ検出部と、
   前記ジェスチャ検出部によって検出されたジェスチャを行ったユーザの前記優先度が最も高い場合に、前記表示装置に対する操作を許可する操作権決定部と、
   を備え、
   前記キーワード記憶部は、前記キーワードごとに評価値を対応付けて記憶しており、
   前記優先度算出部は、前記キーワードに対応する前記評価値を前記優先度に加算する、
   ことを特徴とする情報処理装置。
2. 前記単語抽出部は、前記単語が発言された発言時刻を取得し、
   前記優先度算出部は、予め定めた時刻以降に発言された前記単語のみ前記キーワードと一致するかを判定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記操作権決定部は、前記ユーザの前記優先度が最も高い場合であって、かつ前記ユーザの前記キーワードの発言回数が予め定めた閾値以上となった場合に、前記ユーザに対して前記表示装置に対する操作を許可する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記ユーザごとに算出した前記優先度を記憶する優先度記憶部を更に備え、
   前記優先度算出部は、新たな前記ユーザが発言した前記単語と、前記キーワードとが一致する場合に、前記優先度記憶部に、前記ユーザを、算出した前記優先度とともに、追加し、
   前記ジェスチャ検出部は、前記ジェスチャの検出時に、前記ジェスチャを行った前記ユーザが前記優先度記憶部に記憶されているか否かを判定し、
   前記操作権決定部は、前記優先度記憶部に前記ユーザが記憶されていないと判定された場合、前記ユーザには前記表示装置に対する操作を許可しない
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記優先度記憶部は、前記優先度が最後に更新された最終更新時刻を記憶するとともに、最終更新時刻から予め定めた時間が経過した前記ユーザに関するレコードを削除する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記キーワード記憶部は、前記キーワードを前記表示装置に表示される情報から抽出して記憶し、
   前記操作権決定部は、前記ユーザの前記優先度が最も高い場合であって、かつ前記ユーザの前記キーワードの発言回数が、表示中の情報のページごとに予め定めた最低発言数以上となった場合に、前記ユーザに対して前記表示装置に対する操作を許可する
   ことを特徴とする請求項１に記載の情報処理装置。
7. ユーザが発言した音声情報を取得する音声取得部と、
   ユーザの映像情報を取得する映像情報取得部と、
   前記音声取得部によって音声情報が取得された際に、前記映像情報取得部によって取得された前記ユーザの映像情報に基づいて、前記音声情報を発言した前記ユーザを特定するユーザ特定部と、
   前記音声情報から、単語を抽出する単語抽出部と、
   キーワードを記憶するキーワード記憶部と、
   抽出した前記単語と、前記キーワードとが一致する場合に、前記単語を発言した前記ユーザの表示装置に対する操作の優先度を加算する優先度算出部と、
   前記映像情報取得部によって取得された前記ユーザの映像情報に基づいて、ユーザによって行われたジェスチャを検出するジェスチャ検出部と、
   前記ジェスチャ検出部によって検出されたジェスチャを行ったユーザの前記優先度が最も高い場合に、前記表示装置に対する操作を許可する操作権決定部と、
   を備え、
   前記キーワード記憶部は、前記キーワードごとに評価値を対応付けて記憶しており、
   前記優先度算出部は、前記キーワードに対応する前記評価値を前記優先度に加算する、
   ことを特徴とする会議システム。
8. コンピュータに、
   ユーザが発言した音声情報を取得する音声取得ステップと、
   ユーザの映像情報を取得する映像情報取得ステップと、
   前記音声情報が取得された際に、取得された前記ユーザの映像情報に基づいて、前記音声情報を発言した前記ユーザを映像情報から特定するユーザ特定ステップと、
   前記音声情報から、単語を抽出する単語抽出ステップと、
   キーワードを記憶するキーワード記憶ステップと、
   抽出した前記単語と、前記キーワードとが一致する場合に、前記単語を発言した前記ユーザの表示装置に対する操作の優先度を加算する優先度算出ステップと、
   前記映像情報に基づいて、ユーザによって行われた前記ユーザによって行われたジェスチャを検出するジェスチャ検出ステップと、
   検出されたジェスチャを行ったユーザの前記優先度が最も高い場合に、前記表示装置に対する操作を許可する操作権決定ステップと、
   を実行させるためのプログラムであって、
   前記キーワード記憶ステップは、前記キーワードごとに評価値を対応付けて記憶しており、
   前記優先度算出ステップは、前記キーワードに対応する前記評価値を前記優先度に加算する、
   プログラム。

Images