JP7596926B2 - 情報処理システム、音声操作システム、プログラム、音声操作方法 - Google Patents

Description

本発明は、情報処理システム、音声操作システム、プログラム、及び、音声操作方法に関する。

手書きデータや手書きデータから変換された文字列等をディスプレイに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。

音声認識されたテキストデータにより機器の操作を受け付ける技術が知られている（例えば、特許文献１参照。）。特許文献１には、ユーザー識別情報と共に音声で入力されたユーザー要求に対しデバイスが応答するか否かを判断する技術が開示されている。

しかしながら、従来の技術では、会議の参加者でない者によって会議に使用され得る機器を操作できるという問題があった。すなわち、会議室に誰もいない場合など、任意のユーザーが会議室に入ることができるが、例えばこのユーザーに閲覧権限がない会議の資料を表示させることも可能になる。

本発明は、上記課題に鑑み、会議の参加者でない者が会議に使用され得る機器を操作することを抑制できる情報処理システムを提供することを目的とする。

上記課題に鑑み、本発明は、端末装置から送信された音声データに基づいて会議で使用される機器を操作する情報処理システムであって、前記端末装置から、前記端末装置が保持するユーザーの識別情報と音声データとを受信する通信部と、前記音声データを前記機器の操作に関するコマンドに変換するコマンド変換部と、会議の参加者に関する情報に、前記ユーザーの識別情報が含まれるか否かを判断する判断部と、を有し、前記判断部は、前記会議の参加者に関する情報に前記ユーザーの識別情報が含まれると判断した場合、更に、前記会議の参加者に関する情報に、前記ユーザーが会議室に入室済みであることが登録されているか否かを判断し、前記ユーザーが会議室に入室済みである場合、前記通信部は前記コマンドを前記機器に送信する。

会議の参加者でない者が会議に使用され得る機器を操作することを抑制できる情報処理システムを提供することができる。

音声操作システムのシステム構成図の一例である。 ユーザーが表示装置にＩＣカードをかざす動作を説明する図である。 表示装置のハードウェア構成の一例を示す図である。 情報処理システムのハードウェア構成の一例を示す図である。 ＩＣカードのハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 端末装置、情報処理システム、及び、表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 コマンド情報記憶部に記憶されているコマンド情報の一例を示す図である。 スケジュール情報記憶部に記憶されているスケジュール情報の一例を示す図である。 音声操作システムの動作を説明するシーケンス図の一例である。 端末装置から情報処理システムに送信される情報を説明する図である。 判断部による音声操作を許可するか否かの判断方法の詳細を説明する図である。 コマンドの実行による資料の表示例を示す図である。 スケジュール情報に登録されているスケジュール情報（会議情報）の一例を示す図である（実施例２）。 判断部による音声操作を許可するか否かの判断方法の詳細を説明する図である（実施例２）。

以下、本発明を実施するための形態の一例として音声操作システムと、音声操作システムが行う音声操作方法について図面を参照しながら説明する。

＜機器の制御の概略＞
まず、図１を参照して、音声認識されたテキストデータによる表示装置２００の操作の概略を説明する。図１は、音声操作システム１のシステム構成図の一例である。なお、音声操作システム１の詳細については後述する。

(i) 会議に参加するユーザーＡが会議室７に入室する。例えば、ユーザーＡはＩＣカードを表示装置２００に読み取らせる。表示装置２００は、このユーザーＡの入室情報（ユーザーＩＤと入室した旨）をスケジュール管理装置６に送信する。なお、会議室７は会議に専用の部屋でなくてもよく、会議の参加者が存在するスペースであればよい。例えば、表示装置２００があるスペースが会議室７となり得る。スケジュール管理装置６は、会議情報に該ユーザーＡが入室した旨を登録する。

(ii) ユーザーＡはそれぞれスマートフォン等の端末装置４を所有しており、端末装置４でアプリケーション（以下、単にアプリという）が動作する。このアプリは、音声操作システム１に専用のアプリであり、ユーザーＡの音声データを音声解析装置５に送信する。アプリにはユーザーＡのアカウント情報が登録されている。ユーザーＡが端末装置４に対し発話すると、端末装置４がこのユーザーＡのアカウント情報（ユーザーＩＤ）と音声データを音声解析装置５に送信する。

(iii) 音声解析装置５は、会議のスケジュールを管理するスケジュール管理装置６から会議情報（会議の時間、参加者のアカウント情報、会議室ＩＤ等）を取得して、発話したユーザーＡがその会議の参加者であり、かつ、実際に会議室７に入室しているかどうかを判断する。会議室７への入室とは、図１の説明では表示装置２００にＩＣカードを読み取らせることである。ただし、会議室７の入り口にＩＣカードリーダー８等があり、ＩＣカードリーダー８により入室が許可される場合、入り口のＩＣカードリーダー８でＩＣカードが読み取られたか否かに応じて、会議室７へ入室したか否かが判断されてよい。

あるいは、端末装置４が室内ＧＰＳやビーコン装置から検出した位置情報などを音声データと共に音声解析装置５に送信してもよい。音声解析装置５は各会議室７の位置と会議室ＩＤが対応付けられている情報に基づいて、会議室７を特定し、この会議室７で開催される会議に発話したユーザーＡが参加者として登録されているかどうかを判断する。

(iv) 発話したユーザーＡがその会議の参加者であり、かつ、実際に会議室７に入室している場合、音声解析装置５は端末装置４から送信された音声データを解析し、表示装置２００を制御するためのコマンドに変換する。コマンドの一例としては、表示装置２００の電源を制御する、表示装置２００に資料等を表示させる、表示装置２００に音声認識されたテキストデータを表示させる、などがある。

このように、発話者が会議の参加者であり、かつ、実際に会議室７に入室している場合に、音声解析装置５が発話者の音声データに基づいて表示装置２００を操作する。したがって、会議の参加者として登録されている者が会議室７内の機器を制御できる。

＜用語ついて＞
会議とは、会合して評議することをいう。会議は、コンベンション、集会、集まり、ミーティング、評議、発表会、プレゼンテーション、コンファレンス、談合、会談、合議、話合い、等と呼ばれてもよい。

コマンドとは、特定の処理の実行を指示する信号や命令をいう。本実施形態では、機器の操作に関するコマンドという意味で使用される。

入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。

ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。

ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。

＜システム構成について＞
図１を参照して、音声操作システム１のシステム構成について説明する。音声操作システム１は、音声操作対象の機器である表示装置２００と情報処理システム１００とを有する。音声操作システム１には、必要に応じて端末装置４が含まれる。表示装置２００はユーザーが入室する会議室７内に設置してあり、表示装置２００と情報処理システム１００とは、ネットワークを介して通信可能である。

表示装置２００は、タッチパネル付大型ディスプレイを有し、ユーザーが入力手段で指示したディスプレイの座標を検出し、この座標点を接続してストロークを表示する。ユーザーが設定する入力モードに応じて手書きデータを文字認識したり、音声認識されたテキストデータを表示したりすることができる。この他、接続された端末装置４の映像を表示したり、他拠点の表示装置２００と通信して手書きデータを同期したりすることができる。なお、表示装置２００は電子黒板とも呼ばれる。電子黒板は、電子情報ボード、電子ホワイトボードと呼ばれる場合もある。表示装置２００は必ずしもタッチパネル付大型ディスプレイを有する必要はなく、５～１０インチ程度のタブレット端末等でもよい。

本実施形態では音声操作対象の機器を表示装置２００としているが、機器は、通信によって遠隔から制御可能な機器であればよい。機器は、例えば、プロジェクター、複合機、マイク、スピーカ、空調、照明機器などその他の機器でもよく、複数の機器であってもよい。

また、会議の複数の参加者により共有される機器に限らず、会議で使用され得る機器であれば音声操作の対象となる。例えば、汎用的なタブレット端末やＰＣが機器でもよい。

表示装置２００は、ＩＣカードリーダーを有している。表示装置２００にＩＣカード又はＩＣカード機能を内蔵した端末装置４が翳されると、表示装置２００が端末装置４からユーザーを識別する識別情報（ユーザーＩＤ）を読み取って、情報処理システム１００に送信する。

なお、ＩＣカードリーダーは表示装置２００と一体である必要はない。表示装置２００とは別にＩＣカードリーダーが存在してもよい。ＩＣカードリーダーは、会議が行われるスペースにあればよい。

また、ユーザーはＩＣカード以外の方法で、会議室７への入室を情報処理システム１００に通知してもよい。例えば、表示装置２００や会議室７の入り口に設けられた入力装置にユーザーがユーザーＩＤとパスワードを入力して、情報処理システム１００にログインしてよい。ログイン方法として、指紋や顔画像などの生体認証情報が用いられてもよい。

本実施形態において端末装置４は、音声データの取得と情報処理システム１００への送信が可能であればよい。端末装置４は、例えば、スマートフォン、ＰＣ（Personal Computer）、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）等、マイクと通信機能を有する装置が想定される。

端末装置４は、ユーザーが発話した音声データを集音する音声入力装置として機能する。端末装置４は、マイクにより集音されたユーザーの音声を、ユーザーを特定する情報と共に情報処理システム１００に送信する。

また、ＩＣカードは、ユーザーを特定するための情報を格納している。より具体的には、情報処理システム１００において、ＩＣカードに格納されている識別情報が、ユーザーを特定する情報と対応付けられている。ＩＣカードはユーザーを識別する識別情報が格納されたメモリを有する記憶装置であればよい。例えばユーザーの識別情報を記憶するＵＳＢメモリが表示装置２００に装着されてもよい。

また、本実施形態では、ＩＣカードと端末装置４をそれぞれ別体としているが、端末装置４がＩＣカード機能を有していてよい。

情報処理システム１００は一台以上の情報処理装置を有している。本実施形態において、情報処理システム１００は、スケジュール管理装置６と音声解析装置５を有する。なお、本実施形態ではスケジュール管理装置６と音声解析装置５を一つの情報処理システム１００に含んでいるが、スケジュール管理装置６と音声解析装置５がそれぞれ別のサーバーに配置される構成であってもよい。

なお、情報処理システム１００はクラウドコンピューティングにより実現されてよい。クラウドコンピュータとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。情報処理システム１００はオンプレミスに存在してもインターネットに存在してもよい。

スケジュール管理装置６は、ユーザーごとのスケジュール情報を管理している。ユーザーのスケジュール情報の１つに会議情報がある。すなわち、スケジュール情報には会議情報が含まれる。スケジュール管理装置６は、ユーザーＩＤごとに、会議の開始時刻、終了時刻、会議名、主催者、参加者、場所、及び、当該ユーザーが会議室７に入室済みかどうか等が登録される。スケジュール情報は、会議情報以外の情報を含んでいてもよい。

音声解析装置５は、端末装置４からユーザーの音声データを受信する。音声データには、発話者のユーザーＩＤ，及び、発話時刻の情報が添付される。音声解析装置５は、受信したユーザーＩＤのユーザーのスケジュール情報をスケジュール管理装置６に問い合わせ、当該ユーザーが会議参加者であるかどうか、及び、会議室７に入室済みかどうかを判断する。当該ユーザーが会議参加者であり、かつ会議室７に入室済みであった場合には、音声解析装置５は音声情報に含まれる音声データを解析し、表示装置２００を操作するためのコマンドに変換する。

音声データを解析してコマンドに変換する方法については、本実施形態の特徴部ではないので特に限定しない。既に知られている音声認識技術を使用して音声データをテキスト化し、予め登録されているコマンドのリストから当該テキストデータに合致するコマンドを取得する方法などが一般的である。

音声解析装置５は、音声データを解析して得られたコマンドの情報を表示装置２００に送信することによって表示装置２００を操作する。このとき送信するコマンドの情報には、コマンド実行に必要なパラメータ等の付随データも含まれる。コマンドの送信手段については、本実施形態では特に限定しないが、予め表示装置２００から情報処理システム１００と通信セッションを確立しておく方法がある。表示装置２００はファイアウォールの内側から情報処理システム１００と通信でき、その後は、通信セッションを維持することで、情報処理システム１００から情報を受信できる。音声解析装置５は、この通信セッションを利用して表示装置２００と通信し、表示装置２００が公開するＷｅｂＡＰＩを利用する。

図２は、ユーザーが表示装置２００にＩＣカードをかざす動作を説明する図である。図２の例では、ユーザーがＩＣカード３を表示装置２００にかざす場合を示している。ユーザーがＩＣカード機能付きの端末装置４を表示装置２００にかざしてもよい。

表示装置２００は、近距離通信部２１９を有する。この近距離通信部２１９がＩＣカードリーダーである。本実施形態では、まず、ユーザーが表示装置２００の設置場所に移動し、自身が所持しているＩＣカードを表示装置２００の近距離通信部２１９に近接させる。

すると、表示装置２００の近距離通信部２１９は、ＩＣカード３からＩＣカードを識別するためのカードＩＤを取得し、情報処理システム１００へ送信する。カードＩＤとは、例えば、ＩＣカードを識別するための固有ＩＤや、数字０～９とアルファベットＡ～Ｆからなる８～１６文字の番号である。具体的には、例えば、ＩＣカードがＭＩＦＥＲＡ（登録商標）カードである場合には、カードＩＤはＵｉＤと呼ばれる番号であり、ＩＣカードがＦｅｌｉｃａカード（登録商標）である場合には、カードＩＤはＩＤｍと呼ばれる番号である。

また、本実施形態のＩＣカード３は、メールアドレスやユーザーＩＤを書き込むことができても良い。その場合は、表示装置２００は、ＩＣカード３に書き込まれたメールアドレス（その一意性からユーザーＩＤの機能を有する）やユーザーＩＤを情報処理システム１００に送信する。

＜ハードウェア構成例＞
以下では、図３～図６を参照して、本実施形態で説明される機器、情報処理システム１００、端末装置４、及び、ＩＣカード３のハードウェア構成について説明する。

＜＜機器＞＞
図３は、表示装置２００のハードウェア構成の一例を示す図である。図３では、機器として表示装置２００を例に説明する。本実施形態の表示装置２００は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークコントローラ２０５、及び、外部機器接続Ｉ／Ｆ２０６(Interface)を備えており、複数のユーザーにより情報を共有するための共有端末である。

これらのうち、ＣＰＵ２０１は、表示装置２００全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置用のプログラム等の各種データを記憶する。ネットワークコントローラ２０５は、ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、ＵＳＢ(Universal Serial Bus)メモリ２６００、外付け機器（カメラ２４００、スピーカ２３００、マイク２２００）との通信を制御する。

また、表示装置２００は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信部２１９、及び近距離通信部２１９のアンテナ２１９ａを備えている。

これらのうち、キャプチャデバイス２１１は、ＰＣ１０のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２２０等へ出力するために画面表示の制御及び管理を行う。

接触センサ２１４は、ディスプレイ２２０上に電子ペン２５００やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２２０の上側両端部に設置された２つ受発光装置が、ディスプレイ２２０に平行して複数の赤外線を放射し、ディスプレイ２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法であってもよい。

接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２５００と通信することで、ディスプレイ２２０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信部２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

更に、表示装置２００は、バスライン２１０を備えている。バスライン２１０は、ＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いても良い。また、電子ペンコントローラ２１６が、電子ペン２５００のペン先及びペン尻だけでなく、電子ペン２５００のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしても良い。

＜＜情報処理システム＞＞
図４は、情報処理システム１００のハードウェア構成の一例を示す図である。情報処理システム１００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ（Hard Disk)３０４、ＨＤＤ(Hard Disk Drive)３０５、記録メディア３０６、メディアＩ／Ｆ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９、キーボード３１１、マウス３１２、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)ドライブ３１４、及び、バスライン３１０を備えている。

これらのうち、ＣＰＵ３０１は、情報処理システム１００全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。

メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ３０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ３０９は、ネットワークを利用してデータ通信をするためのインターフェースである。

キーボード３１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス３１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ－ＲＯＭドライブ３１４は、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ３１３に対する各種データの読み出し又は書き込みを制御する。バスライン３１０は、図４に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜＜ＩＣカード＞＞
図５は、ＩＣカードのハードウェア構成の一例を示す図である。ここでは、非接触型の構成について説明するが、接触型を利用してもよいＩＣカード３は、ＩＣチップ５０１、及びアンテナコイル５０７を備えている。更に、ＩＣチップ５０１は、ＣＰＵ５０２、ＲＯＭ５０３、ＲＡＭ５０５、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）５０４、アンテナＩ／Ｆ５０８を備えている。

これらのうち、ＣＰＵ５０２は、ＩＣカード３全体の動作を制御する。ＲＯＭ５０３は、ＣＰＵ５０２の駆動に用いられるプログラムを記憶する。ＲＡＭ５０５は、ＣＰＵ５０２のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＩＣカード３用のプログラムや、ＩＣカード３を識別するための端末ＩＤ等の各種データを記憶する。アンテナＩ／Ｆ５０８は、アンテナコイル５０７を介して、外部装置と行なうデータの送受信を制御する。

更に、ＩＣカード３は、バスライン５０６を備えている。バスライン５０６は、ＣＰＵ５０２等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

アンテナコイル５０７は、ＩＣカード３が外部装置の発生する磁界を通過する際に、この磁気を受けて電流を発生するためのコイルである。ＩＣカード３は、この電気を利用することで、ＩＣチップ５０１を起動させ、外部装置のリーダ・ライタと交信し、データの取得や提供が可能になる。

＜＜端末装置＞＞
図６は、端末装置４のハードウェア構成の一例を示す図である。図６では、端末装置４としてスマートフォンを例にする。端末装置４は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ４０５、加速度・方位センサ４０６、メディアＩ／Ｆ４０８、ＧＰＳ受信部４０９を備えている。

これらのうち、ＣＰＵ４０１は、端末装置４全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御にしたがって、端末装置用プログラム（アプリ）等の各種データの読み出し又は書き込みを行う。

ＣＭＯＳセンサ４０５は、ＣＰＵ４０１の制御にしたがって被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ４０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０８は、フラッシュメモリ等の記録メディア４０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、端末装置４は、遠距離通信部４１１、カメラ４１２、撮像素子Ｉ／Ｆ４１３、マイク４１４、スピーカ４１５、音入出力Ｉ／Ｆ４１６、ディスプレイ４１７、外部機器接続Ｉ／Ｆ４１８、近距離通信部４１９、近距離通信部４１９のアンテナ４１９ａ、及びタッチパネル４２１を備えている。

これらのうち、遠距離通信部４１１は、ネットワークを介して、他の機器と通信する回路である。カメラ４１２は、ＣＰＵ４０１の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ４１３は、カメラ４１２の駆動を制御する回路である。マイク４１４は、音声を入力する内蔵型の集音手段の一種である。

音入出力Ｉ／Ｆ４１６は、ＣＰＵ４０１の制御にしたがってマイク４１４及びスピーカ４１５との間で音信号の入出力を処理する回路である。ディスプレイ４１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ４１８は、各種の外部機器を接続するためのインターフェースである。近距離通信部４１９は、ＮＦＣやＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、ユーザーがディスプレイ４１７を押下することで、端末装置４を操作する入力手段の一種である。

また、端末装置４は、バスライン４１０を備えている。バスライン４１０は、図６に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜機能について＞
次に、図７を用いて端末装置４、情報処理システム１００、及び、表示装置２００が有する機能について説明する。図７は、端末装置４、情報処理システム１００、及び、表示装置２００が有する機能をブロック状に分けて説明する機能ブロック図の一例である。

＜＜端末装置＞＞
端末装置４は、第１通信部１１と音声データ取得部１２を有している。端末装置４が有する各機能は、図６に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。なお、このプログラムは例えば音声操作システム１に専用のアプリである。

第１通信部１１は情報処理システム１００と各種の情報を通信する。本実施形態では、第１通信部１１はユーザーが発話した音声がデータに変換された音声データ、ユーザーＩＤ及び発話時刻を情報処理システム１００に送信する。

音声データ取得部１２は、マイク４１４から入力され音声をＰＣＭ（pulse code modulation）符号化することで、音声データに変換する。音声データはＷＡＶＥファイルでもＭＰ３ファイルでもよい。

＜＜情報処理システム＞＞
情報処理システム１００は、第２通信部１３と、音声解析装置５が有する機能と、スケジュール管理装置６が有する機能とを有している。情報処理システム１００が有する各機能は、図４に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

まず、第２通信部１３は端末装置４及び表示装置２００と各種の情報を送受信する。本実施形態では、第２通信部１３は、端末装置４から、音声データ、ユーザーＩＤ及び発話時刻を受信する。第２通信部１３は、表示装置２００から入室情報を受信し、表示装置２００にコマンドを送信する。

音声解析装置５は音声認識部１４、コマンド変換部１５、及び、判断部１６を有している。音声認識部１４はＰＣＭ符号化された音声データについて、音声の特徴量の抽出、音素モデルの特定、発音辞書を利用した単語の特定を行い、特定された単語のテキストデータを出力する。なお、音声認識の方法として、どのような方法が用いられてもよい。例えば、ＲＮＮ（Recurrent Neural Network）を利用した音声認識方法が知られている。

コマンド変換部１５は、一例として、音声認識されたテキストデータを形態素解析するなどして単語を取り出し、コマンド情報記憶部１７に予め登録されているコマンドのリストから当該単語に合致するコマンドを取得する。

図８は、コマンド情報記憶部１７に記憶されているコマンド情報の一例を示す。コマンド情報が有する各項目について説明する。

・単語は、コマンドに変換される単語である。音声データに含まれる単語がコマンド情報の単語と比較される。なお、｛｝内の単語がセットで音声データから検出される必要がある。

・コマンドは、音声データにより呼びだされるコマンドである。

・入室前可否は、ユーザーが会議室７への入室前にコマンドを実行可能かどうか示す。これにより、会議室７へ入室する前にユーザーが機器や照明の電源をＯＮにできる。

例えば、コマンド変換部１５は、「電源オン」という音声データに対し、「電源」と「オン」という単語を検出し、「電源、オン」に対応付けられた「power on」というコマンドを特定する。コマンド変換部１５は、例えば｛"command"："power on"｝のようにJSON形式やXML形式でコマンドの情報を生成する。

図７に戻って説明する。判断部１６は、スケジュール管理装置６からスケジュール情報を取得し、発話者が会議の参加者であり、かつ、実際に会議室７に入室しているか否かを判断する。判断部１６は、スケジュール情報から現在、開催されている会議又は現在から１０分程度以内に開催される会議を特定する。そして、判断部１６は、その会議に、発話者が参加者として登録されており、発話者が入室済みかどうかを判断する。現在の時刻は、端末装置４が送信する発話時刻が使用されてもよいし、音声解析装置５が保持する現在時刻（音声データの受信時刻）が使用されてもよい。

スケジュール管理装置６はスケジュール管理部１８を有している。スケジュール管理部１８はスケジュール情報記憶部１９に記憶されているスケジュール情報を管理する。

図９は、スケジュール情報記憶部１９に記憶されているスケジュール情報の一例である。詳細には、図９の情報は、スケジュール情報のうち会議情報を抽出したものである。会議情報が有する各項目について説明する。

・ユーザーＩＤは会議に参加するユーザーの識別情報である。

・会議の開始時刻は会議室７の予約開始時刻、終了時刻は会議室７の予約終了時刻である。

・会議名は、会議の名称であり、例えばどのような会議かを示す。

・主催者は、例えば、会議室７を予約したユーザーの識別情報でもよいし、主催者として指定されたユーザーの識別情報でもよい。

・参加者は、会議に参加する予定のユーザーである。例えば、電子メールで会議の開催が通知され、承諾したユーザーが登録される。

・場所は、会議室７の名称など会議室の識別情報である。

・入室状態は、ユーザーＩＤで特定されるユーザーが当該会議室７に入室済みかどうかの情報である。ユーザーがＩＣカードを表示装置２００の近距離通信部２１９に接近させ、表示装置２００がユーザーＩＤを情報処理システム１００に送信すると、入室済みとなる。

・資料は、会議で使用される資料である。各参加者は会議で使用される資料を予めスケジュール情報に登録しておくことができる。資料は、会議の参加者であれば表示できる。あるいは、例えば、資料を登録した参加者のみが表示できるように制限されてもよい。

＜＜表示装置＞＞
図７に戻って説明する。表示装置２００は、第３通信部２１、コマンド実行部２２、及び、表示制御部２３を有している。端末装置４が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

第３通信部２１は、情報処理システム１００にＩＣカードから受信したユーザーＩＤを送信し、また、情報処理システム１００からコマンドを受信する。第３通信部２１は、上記のように、表示装置２００の起動後は、情報処理システム１００との通信セッションを維持する。第３通信部２１は、例えば、ポーリングで情報処理システム１００にコマンドの有無を問い合わせてもよいし、WebSocketで通信セッションを維持してもよい。

コマンド実行部２２は、音声解析装置５から送信されたコマンドを実行する。コマンドの内容は様々であるが、例えば、表示装置２００の電源ＯＮ、電源ＯＦＦ、テキストデータの表示、図形の表示、インターネットへの接続、資料の表示、等である。なお、コマンド実行部２２は、参加者の音声を直接、マイク２２００から取得して、音声解析装置５に送信し、音声解析装置５から受信したコマンドを実行することができる。

表示制御部２３は、ディスプレイ２２０に手書きデータ、テキストデータ、画像、及び、メニューボタン等を表示する。

なお、図７では、表示装置２００が有する一般的な機能は省略されている。表示装置２００は、図示する他、入力手段の接触位置を検出する接触位置検出部、接触位置を接続してストロークデータを生成する描画データ生成部、手書きデータを認識してテキストデータに変換する文字認識部等を有していてよい。

＜処理手順＞
次に、図１０を参照して、音声操作システム１の動作を説明する。図１０は、音声操作システム１の動作を説明するシーケンス図である。

S1：まず、ユーザーは会議室７に入室すると、ＩＣカード３を表示装置２００の近距離通信部２１９にかざす。表示装置２００の近距離通信部２１９がＩＣカード３からユーザーＩＤ等を受信する。これにより表示装置２００は当該ユーザーが会議室７に入室したことを検知する。

S2：表示装置２００の第３通信部２１は、ＩＣカード３から読み取ったユーザーＩＤのユーザーが会議室７に入室したという入室情報を情報処理システム１００のスケジュール管理装置６に送信する。第３通信部２１は、会議室７の識別情報や表示装置２００の識別情報など、ユーザーが入室した会議室７を特定できる情報を送信してよい。スケジュール管理装置６の第２通信部１３は入室情報を受信し、スケジュール管理部１８は会議室７を特定できる情報に基づいて会議室７を特定し、この会議室７で、現在時刻に開催されている会議情報又は現在時刻から１０分程度以内に開催される会議情報を特定する。スケジュール管理部１８は、ユーザーＩＤが参加者として登録されている会議情報に、当該ユーザーが入室済みである旨を登録（入室済みを登録）する。

S3：次に、ユーザーは表示装置２００を音声で操作するため、所有している端末装置４に対して発話を行う。ユーザーは入室前にも音声で表示装置２００を操作可能である。端末装置４では会議用のアプリが動作しており、ユーザーが情報処理システム１００にログインすると、参加者として登録されている会議のリストが表示される。ユーザーは参加する会議を選択して、発話する。端末装置４の音声データ取得部１２は音声データを取得する。

S4：端末装置４の第１通信部１１は、音声データ、ユーザーＩＤ、及び、発話時刻を情報処理システム１００に送信する。発話時刻は、複数の参加者から並行して音声データが送信された場合の優先順位を決定するためなどに使用される。なお、発話時刻は必ずしも必要でない。

図１１は、端末装置４から情報処理システム１００に送信される情報を説明する図である。音声データ、ユーザーＩＤ、及び、発話時刻が送信される。音声データには、操作内容が含まれている。

S5：図１０に戻って説明する。情報処理システム１００の第２通信部１３は、音声データ、ユーザーＩＤ、及び、発話時刻を受信する。まず、判断部１６はスケジュール管理部１８に問い合わせを行い、音声データと共に送信されたユーザーＩＤのスケジュール情報（すなわち、会議情報）を取得する。

S6：音声認識部１４が音声データの解析を行いテキストデータに変換する。また、コマンド変換部１５が第２通信部１３を介して、テキストデータをコマンドに変換する。

S7：続いて、判断部１６は、スケジュール情報を基に、発話者に音声操作を許可するかどうかを判断する。この判断の詳細を図１２で説明する。

ステップS7で、音声操作を許可しないと判断された場合、音声認識部１４は当該音声データ及びコマンドを破棄し、ステップS8以降の処理を実行しない。

S8：ステップS7で、音声操作を許可すると判断された場合、情報処理システム１００の第２通信部１３は、表示装置２００にコマンドを送信する。

S9：表示装置２００の第３通信部２１はコマンドを受信し、コマンド実行部２２がコマンドに応じた処理を実行する。

図１２は、判断部１６による音声操作を許可するか否かの判断方法の詳細を説明する図である。図１２は、図１０のステップS7の判断の詳細を説明するフローチャート図である。

判断部１６は、ステップS5で取得したスケジュール情報を基に、発話者が会議の参加者であるかどうかを判断する（Ｓ７１）。まず、判断部１６は、発話時刻が会議の開始時刻から終了時刻に含まれる会議、又は、発話時刻から１０分程度以内を開始時刻とする会議、を検出する。判断部１６は、音声データと共に送信されたユーザーＩＤが、検出した会議の参加者に含まれるかどうかを判断する。

なお、ステップＳ７１は、アプリの機能により、ユーザーが、自分が参加できる会議にのみ音声データを送信できる場合は省略されてよい。

音声データと共に送信されたユーザーＩＤが会議の参加者に含まれる場合、判断部１６は、音声データから変換されたコマンドが会議室への入室前に実行可能かどうかを、コマンド情報の入室前可否に基づいて判断する（Ｓ７３）。入室前に実行可能なコマンドの場合、コマンドが表示装置２００に送信される（図１０のステップS8）。

入室前に実行可能なコマンドでない場合、判断部１６は音声データと共に送信されたユーザーＩＤのユーザーが入室済みか否かを会議情報の入室状態に基づいて判断する（Ｓ７４）。

ユーザーが入室済みの場合、コマンドが表示装置２００に送信される（図１０のステップS8）。この判断により、ユーザーが表示装置２００の近くに存在しない場合、遠隔から表示装置２００を操作することを抑制できる。例えば、情報処理システム１００が会議で使用する資料を参加者に配付したり、表示装置２００の電源をオフしたりするような操作を制限できる。

音声データと共に送信されたユーザーＩＤが会議の参加者に含まれない場合、又は、入室済みでない場合、判断部１６は音声データ及びコマンドを破棄する（Ｓ７２）。

＜コマンドの実行例＞
図１３は、コマンドの実行による資料の表示例を示す図である。会議室７に入室したユーザーが「資料表示」と発話した。表示装置２００が音声データを音声解析装置５に送信する。音声解析装置５は資料を表示するコマンドに音声データを変換し、ユーザーが参加者に登録されている会議情報の資料データとコマンドとを表示装置２００に送信する。これにより、表示装置２００は資料をディスプレイ２２０に表示することができる。

＜主な効果＞
以上説明したように、本実施例の音声操作システム１は、発話者がその会議の参加者である場合に、音声解析装置５が発話者の音声データに基づいて会議室７の機器を制御する。したがって、会議の参加者として登録されている者が会議室７内の機器を操作できる。

また、音声操作システム１は、発話者がその会議の参加者であり、かつ、実際に会議室７に入室している場合に、音声解析装置５が発話者の音声データに基づいて会議室７の機器を制御する。したがって、ユーザーが表示装置２００の近くに存在しない場合、遠隔から表示装置２００を操作することを抑制できる。

本実施例では、参加者ごとの音声操作権限により機器の音声操作が制限されている音声操作システム１について説明する。

なお、本実施例においては、上記の実施例にて説明した図３～図６のハードウェア構成図、及び、図７に示した機能ブロック図を援用できるものとして説明する。

図１４は、本実施例において、スケジュール管理装置６に登録されているスケジュール情報を示す。図１４に示すスケジュール情報には、図９に示した実施例１のスケジュール情報に加えて、各会議の各ユーザーごとに音声操作権限を付与するかどうかが設定されている。音声操作権限の設定方法については、例えば、各会議の主催者が各参加者それぞれに対して音声操作権限の有無を設定できるようにしても良い。あるいは、例えば、主催者のみに音声操作権限が自動的に付与されるようにしても良い。音声操作権限の設定方法についてはこれらに限定されない。

図１５は、図１０のステップS7の判断の詳細を説明するフローチャート図である。なお、図１５の説明では主に図１２との相違を説明する。図１５のフローチャート図は新たにステップＳ７１－２を有している。

発話者が会議参加者であるが（Ｓ７１のＹｅｓ）、判断部１６は、発話者に音声操作権限があるかどうかを判断する（Ｓ７１－２）。すなわち、判断部１６は、会議情報において、発話者のユーザーＩＤに対し、音声操作権限が「あり」かどうかを判断する。

発話者に音声操作権限がある場合、処理はステップＳ７３に進み、ない場合、処理はステップＳ７２に進む。

＜主な効果＞
本実施例の音声操作システム１によれば、実施例１の効果に加え、主催者等が機器を操作する権限を会議の参加者の一部にのみ付与することができる。換言すると、音声操作システム１は、参加者に対しても機器の操作を制限できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、ユーザーが会議室に移動する例を説明したが、オンラインで参加してもよい。会議室には一人以上の参加者が存在すればよい。オンラインで会議に参加する場合の入室の有無は、ユーザーが情報処理システム１００にログインしたことで代用される。情報処理システム１００は会議の開始時刻の１０分程度以内にユーザーがログインした場合、このユーザーが参加者である会議に入室したと判断する。

また、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。また、ディスプレイでなくプロジェクターが表示してもよい。

電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。その他の情報処理装置として、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、図７などの構成例は、表示装置２００による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 音声操作システム
４ 端末装置
１００ 情報処理システム
２００ 表示装置

特開２０１９‐１４５０９０号公報

Claims (7)

1. 端末装置から送信された音声データに基づいて会議で使用される機器を操作する情報処理システムであって、
   前記端末装置から、前記端末装置が保持するユーザーの識別情報と音声データとを受信する通信部と、
   前記音声データを前記機器の操作に関するコマンドに変換するコマンド変換部と、
   会議の参加者に関する情報に、前記ユーザーの識別情報が含まれるか否かを判断する判断部と、を有し、
   前記判断部は、前記会議の参加者に関する情報に前記ユーザーの識別情報が含まれると判断した場合、更に、前記会議の参加者に関する情報に、前記ユーザーが会議室に入室済みであることが登録されているか否かを判断し、
   前記ユーザーが会議室に入室済みである場合、前記通信部は前記コマンドを前記機器に送信する情報処理システム。
2. 前記判断部は、会議の参加者に関する情報に前記ユーザーの識別情報が含まれると判断した場合、更に、前記会議の参加者に関する情報に、前記ユーザーに音声操作権限がある旨が登録されているか否かを判断し、
   前記ユーザーに前記音声操作権限が設定されており、かつ、前記ユーザーが会議室に入室済みである場合、前記通信部は前記コマンドを前記機器に送信する請求項１に記載の情報処理システム。
3. 前記機器の操作に関するコマンドには、前記ユーザーが会議室に入室する前に実行可能か否かが設定されており、
   前記コマンド変換部が変換したコマンドが、前記ユーザーが会議室に入室する前に実行可能である場合、
   前記ユーザーが会議室に入室済みでなくても、前記通信部が前記コマンドを前記機器に送信する請求項１又は２に記載の情報処理システム。
4. 前記通信部は、会議室の入り口に設けられた入力装置、又は会議で使用される前記機器から前記ユーザーが会議室に入室した旨の入室情報を受信し、
   前記会議の参加者に関する情報に前記ユーザーが会議室に入室した旨を登録するスケジュール管理部を有する請求項１～３のいずれか１項に記載の情報処理システム。
5. 端末装置から送信された音声データに基づいて会議で使用される機器を操作する情報処理システムと、前記機器とを有する音声操作システムであって、
   前記情報処理システムは、
   前記端末装置から、前記端末装置が保持するユーザーの識別情報と音声データとを受信する通信部と、
   前記音声データを前記機器の操作に関するコマンドに変換するコマンド変換部と、
   会議の参加者に関する情報に、前記ユーザーの識別情報が含まれるか否かを判断する判断部と、を有し、
   前記判断部は、前記会議の参加者に関する情報に前記ユーザーの識別情報が含まれると判断した場合、更に、前記会議の参加者に関する情報に、前記ユーザーが会議室に入室済みであることが登録されているか否かを判断し、
   前記ユーザーが会議室に入室済みである場合、前記通信部は前記コマンドを前記機器に送信し、
   前記機器は、
   前記情報処理システムから送信されたコマンドを実行するコマンド実行部を有する、音声操作システム。
6. 端末装置から送信された音声データに基づいて会議で使用される機器を操作する情報処理システムを、
   前記端末装置から、前記端末装置が保持するユーザーの識別情報と音声データとを受信する通信部と、
   前記音声データを前記機器の操作に関するコマンドに変換するコマンド変換部と、
   会議の参加者に関する情報に、前記ユーザーの識別情報が含まれるか否かを判断する判断部、として機能させ、
   前記判断部は、前記会議の参加者に関する情報に前記ユーザーの識別情報が含まれると判断した場合、更に、前記会議の参加者に関する情報に、前記ユーザーが会議室に入室済みであることが登録されているか否かを判断し、
   前記ユーザーが会議室に入室済みである場合、前記通信部は前記コマンドを前記機器に送信するプログラム。
7. 端末装置から送信された音声データに基づいて会議で使用される機器を操作する情報処理システムが行う音声操作方法であって、
   前記端末装置から、前記端末装置が保持するユーザーの識別情報と音声データとを受信するステップと、
   前記音声データを前記機器の操作に関するコマンドに変換するステップと、
   会議の参加者に関する情報に、前記ユーザーの識別情報が含まれるか否かを判断するステップと、
   前記会議の参加者に関する情報に前記ユーザーの識別情報が含まれる場合、更に、前記会議の参加者に関する情報に、前記ユーザーが会議室に入室済みであることが登録されているか否かを判断するステップと、
   前記ユーザーが会議室に入室済みである場合、前記コマンドを前記機器に送信するステップと、
   を有する音声操作方法。

Images