JP5017828B2

JP5017828B2 - 多重ワーク支援システム

Info

Publication number: JP5017828B2
Application number: JP2005272897A
Authority: JP
Inventors: 義文松永; 晃雅小村; 秀人湯澤; 友和矢後
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2005-09-20
Filing date: 2005-09-20
Publication date: 2012-09-05
Anticipated expiration: 2025-09-20
Also published as: JP2007088645A

Description

本発明は、複数の業務を遂行する利用者を支援する多重ワーク支援システムに関する。

従来、オフィスにおける業務（タスクともいう）では、コミュニケーション業務も含めた複数の業務を並行して実行することが要求されている。特に、近年のように情報がネットワークで連携され、更にモバイル環境によってどこからでも情報にアクセスできるようになると、ユーザが一つの業務遂行中に他者からコミュニケーションを要求され、かつ新たな業務を依頼されるシーンが増加する。したがって、複数の業務を効率よく、かつ相互に支障を招来することなく、遂行することが重要になってきている。このような状況を支援する技術としては以下のようなものが提案されている。

特許文献１では、複数のアプリケーションの起動情報、可動／休止状況を監視して複数のタスクの実行順序を制御することが提案されている。例えば、ある業務がメール待ち状態のときに所望のメールが到来したときには、当該業務を処理できることをユーザに通知する。また、特許文献２では、マルチウィンドウ環境において、ユーザが指定した検索基準を包含しているウインドウをアクティブにする自動ナビゲーションが提案されている。特許文献３では、分散勤務を円滑に実施することを目的として、データネットワーク上に仮想空間システムを構築し、ユーザの仮想空間内の位置に応じて適切な映像を相互に通信する画像配信システムが提案されている。
特開平０７−５６７４８号公報特開平０６−９５８３５号公報特開２００２−００７２９４号公報

しかしながら、複数の業務を並行的に遂行する利用者が例えば会議などの対話業務に遠隔地から参加する場合、遠隔会議以外の他の業務に意識を傾ける場合や離席した後に、再度、離れていた遠隔会議に復帰する場合、遠隔会議の進行状況や進行内容を把握することができないため、会議に容易に復帰することができないという問題がある。特許文献１および２は多重化支援の技術であるが上記課題を解決することはできない。また、特許文献３は、遠隔地で作業する作業者を支援するものであるが上記課題を解決することはできない。

そこで、本発明は、上記問題点に鑑みてなされたもので、複数の業務を並行的に遂行する利用者が離れていた業務に容易に復帰できる多重ワーク支援システムを提供することを目的とする。

上記課題を解決するために、本発明は、遠隔地で開催されている会議の参加者と対話することにより行われる対話業務と、前記対話業務以外の業務であって、自己の意識を他の業務に前記会議から傾けることにより行われる非対話業務とを並行的に遂行する利用者を支援する多重ワーク支援システムであって、前記利用者から前記会議へ前記対話業務により参加する依頼があった場合に、前記会議の開催案内、議事日程のいずれかに関する会議の事前資料を前記会議に関連する関連データとして記憶先から取り出す取り出し部と、前記取り出し部によって取り出された関連データに基づいて、前記会議で予定されている議題に関する予定項目及び発言予定者の少なくとも一方を含む、前記対話業務の進行予定を生成する生成部と、前記会議に参加している参加者の発話情報を取得する取得部と、前記取得部によって取得された発話情報から音声認識に基づいてテキスト情報を形成する形成部と、前記形成部によって形成されたテキスト情報内に所定の文字と前記生成部によって生成された進行予定内に出現する予定項目又は発言予定者とが含まれている場合に、前記所定の文字の発生時と前記予定項目又は発言予定者の発生時との間隔が短いとき、該予定項目又は発言予定者まで会議が進行していると判断することにより、前記対話業務の現在の進行状況を判断する判断部とを有する。本発明によれば、複数の業務を並行的に遂行する利用者が、対話業務に復帰するときに、対話業務の進行状況を知ることができるため、離れていた対話業務に容易に復帰することができる。

本発明によれば、複数の業務を並行的に遂行する利用者が離れていた業務に容易に復帰できる多重ワーク支援システムを提供することができる。

以下、本発明を実施するための最良の形態について説明する。図１は、発明を実施する多重ワーク支援システムの全体の構成を示す図である。多重ワーク支援システム１は、対話業務を含む複数の業務を並行的に遂行する利用者を支援するものである。多重ワーク支援システム１は、会議室２、会議キャプチャ・配信サーバ３、スケジューリングサービス４、管理部としての会議室予約サービス５および多重ワークサービス６、多重ワーク支援装置７を備えている。

以下では一連の会議をＣｎ（ｎ：ａ〜Ｎ）とする。この会議の事務局をＦ、今回の会議Ｃａ(１≦ａ≦Ｎ)に遠隔からの参加をしようとしている参加者をＡとする。会議室２には、会議映像を取得するビデオカメラ２１や会議音声を取得するマイク２２が設置されている。検出部としてのマイク２２は、対話業務の参加者の発話情報を検出する。

会議キャプチャ・配信サーバ３は、会議情報をキャプチャすると共に、会議情報を配信する機能を有し、会議の日時Ｄにおいて自動的に起動される。この会議キャプチャ・配信サーバ３は、進行状況判定部３１、会議映像配信部３２、音声認識部３３、生成部としての会議メモ形成部３４および記憶部としての会議資料保管サーバ３５を備える。

進行状況判定部３１は、発話情報取得部３１１、進行予定生成部３１２および進行状況判断部３１３を備えている。発話情報取得部３１１は、会議に参加している参加者の発話情報を取得する。会議室２のマイク２２で参加者の発話情報を検出する場合には、発話情報取得部３１１は、マイク２２で検出した会議の参加者の発話情報を取得する。また、会議室２で実際に会議に参加する参加者は、会議の参加者の発話を聞きながら入力部としてのパーソナルコンピュータ２３から参加者の発話情報を入力することができ、この場合、発話情報取得部３１１は、パーソナルコンピュータ２３から入力された会議の参加者の発話情報を取得する。

進行予定生成部３１２は、会議の関連データに基づいて会議の進行予定を生成する。進行予定生成部３１２は、進行予定項目および発言予定者を会議の進行予定に含めて生成する。なお、進行予定生成部３１２は、会議の進行予定を生成するときに会議室予約サービス５が管理する会議のスケジュールを参照して時刻情報などを取得してもよい。

進行状況判断部３１３は、参加者の発話情報と会議の進行予定内に出現する言葉から会議の現在の進行状況を判断する。そして、進行状況判断部３１３は、参加者の発話情報が進行予定項目又は発言予定者に含まれているかを調べることで対話業務の現在の進行状況を判断する。

会議映像配信部３２は、会議室２内のカメラ２１およびマイク２２で取得された会議映像と会議音声を配信する処理を行う。音声認識部３３は、音声認識技術を用いて会議の参加者の発話情報を音声認識する。会議メモ形成部３４は、音声認識部３３の認識結果から会議の参加者の発話内容を生成する。このとき、会議メモ形成部３４は、会議参加者の発話内容をテキストによって生成する。会議資料保管サーバ３５は、詳細は後述するが会議の関連データを記憶する。この会議の関連データには、例えば会議の配布資料のデータなどが含まれる。会議の関連データには会議の識別子および会議の実施日時が含まれる。

スケジューリングサービス４は、個人のスケジュールを管理するものである。スケジューリングサービス４は、まず、会議Ｃａの開催日時がＤに決まった時点で、会議の事務局Ｆ、参加者Ａ自身または発行された議事録から参加者Ａのスケジュール取りを自動的に処理し、参加者Ａのスケジュールデータを保存する。会議の事務局Ｆによって予め遠隔参加が認められ調整されている場合は、会議事務局Ｆまたはサービスによって、参加者Ａの参加の可否がスケジューリングサービス４に自動的に設定される。継続的な会議の場合は、１つ前の会議で自動的に決定できる。継続的な会議でない場合は、会議の事務局Ｆより議事録の発行時点または、別途、次回の開催日時が利用者に知らされる。参加者Ａは、開催地や日程の都合で会議Ｃａへ遠隔参加することを決定し、その旨をスケジュールサーバ４に登録する。会議室予約サービス５は、会議のスケジュールを管理する機能と、会議室の予約する機能を有する。

多重ワークサービス６は、エージェント的な働きをするものであり、多重ワーク支援装置７を使用して会議に参加する参加者Ａに対して多重ワークサービスを提供する。この多重ワークサービス６は、受信部６１、記憶部６２、制御部６３および送信部６４を備えている。受信部６１は、ネットワーク８に接続された装置から各種のデータを取得する。記憶部６２は、会議資料保管サーバ３５に格納されている会議関連データのうち登録されている個人別に関係があるもののリストを保持している。すなわち、会議資料保管サーバ３５は、全ての会議を会議ＩＤ順（日付順）に保持しており、多重ワークサービス６の記憶部６２は、支援すべき個人毎に関係する会議の情報を保持している。公開されている会議を、遠隔オブザーブすることはできるので、公開・非公開のレベル登録もされる。

制御部６３は、会議の日時Ｄに、多重ワーク支援装置７に対応する画面を表示する。制御部６３は、会議の様子、共有資料表示、ホワイトボード、チャットによる文字送信、音声などは、必要に応じてこれらのうちの一部または全部が組み合わせて多重ワーク支援装置７に提供する。制御部６３は、会議の進行予定上に会議の現在の進行状況を示した画像の情報を生成する。送信部６４は、制御部６３が生成した画像情報を多重ワーク支援装置７に提供する。

多重ワーク支援装置７は、複数の業務を並行的に遂行する利用者を支援する装置である。この多重ワーク支援装置７は、複数の表示部７１〜７３、複数の操作部７４、７５を備えている。表示部７１〜７３は、例えばフラットパネルディスプレイ等により構成され、参加者Ａが並行的に遂行する複数の業務の内容が表示される。操作部７４、７５は例えばタッチパネルにより構成されている。

図２は、多重ワーク支援装置７を説明するための図である。図２に示すように、多重ワーク支援装置７の表示部７１は、遠隔対話ワーク支援のためのユーザインタフェースとして、参加者Ａが参加する会議の会議名を表示する会議名表示領域７１１、会議の進行を案内する進行表示領域７１２、会議室２内の実際の会議の映像を表示する会議映像表示領域７１３、多重ワーク支援装置７を操作する参加者Ａの撮影画像を表示する領域７１４およびテキスト表示領域７１５を表示する。

図２では進行表示領域７１２を拡大して示している。進行表示領域７１２には、対話ワークインジケータとして、会議の進行インジケータ（会議の進行予定）７１２１上に会議の現在の進行状況を示した針７１２２の画像が表示されている。また、会議映像表示領域７１３には、会議室２で行われる会議の映像が表示されている。また、テキスト表示領域７１５には、会議メモ形成部３４で生成された会議の参加者の発話内容がテキスト形式で表示されている。会議の参加者Ａは、必要に応じて、多重ワーク支援装置７内のカメラを通じて自分の映像とマイクを使っての会議室２の会議で発言をすることができる。

このように、会議の進行予定上で、進行状態を示すインジケータを表示することで、時々遠隔会議に対する意識を外しても離れていた会議に直ぐに復帰することができる。また、会議で交わされている会話がテキストに変換されて、逐次表示されるので、それまでの対話の内容を瞬時に把握できる。

図３は、会議資料保管サーバ３５の会議関連データの内容を示す図である。図３に示すように、会議資料保管サーバ３５には、実施日時・実施予定日時、会議名（ＩＤ）、事前資料、当日に提出された資料や当日に作成された資料などの当日資料、事後資料の各欄にデータが格納されている。事前資料には、例えば開催連絡、宿題、事前メール対話、アジェンダ（agenda）などが含まれる。ここでアジェンダとは協議事項、議事日程などをいう。例えば、２００４年１２月１１日の１３:００〜１５:００に行われた品質タスク３回目の会議においては、事前資料として「品質タスク第３回開催案内」、当日資料として「品質設計表例１」「品質設計表例２」、事後資料として「品質タスク第３回議事録」が配布されている。

図４は、事前資料として配布された「品質タスク第５回開催案内」の例を示す図である。図５は、進行予定生成部３１２が生成する会議進行予定表を示す図である。進行予定生成部３１２は、会議資料保管サーバ３５にある会議関連データから図５に示すような会議進行予定表を生成する。ここでは、会議進行予定表は、例えば、予定時刻、予定項目、発言予定者などの欄から構成されている。

図６は、多重ワークサービス６の基本的フローを示す図である。図６では、１つの遠隔会議参加の処理フローを示している。多重ワーク支援装置７を操作する会議の参加者Ａは、会議Ｃａに時々は意識を移して、概要を把握しようと考えている。しかし、ずっと意識を集中しているわけにはいかず別の業務を遂行する状態にある。それが、会議Ｃａに遠隔参加することにした事情である。会議Ｃａのメンバーは、参加者Ａが欠席するよりは、参加者Ａが概要だけでもリアルタイムで把握し、またどうしてもというときは呼び出して対話することができる状態にあることが望ましいと考えている。参加者Ａにしてみれば、会議にフル参加できないのは残念だが、自分が居なくても大方は支障無く進んでいく会議であり、できるだけリアルタイムで状況を共用できるほうが望ましいと思っている。

まず、ステップＳ１で、多重ワークサービス６の制御部６３は、会議参加依頼があった場合、その会議の会議ＩＤを特定する。ステップＳ２で、制御部６３は、会議資料保管サーバ３５から、本日の会議Ｃａの会議開催内容のデータを取り出し、会議Ｃａの会議進行インジケータ７１２１を、多重ワーク支援装置７の表示部７１の進行表示領域７１２に表示する。この段階では会議進行インジケータ７１２１上で会議の進行位置を示す針７１２２はまたゼロをさしている。

ステップＳ３で、会議キャプチャ・配信サービス３の進行状況判定部３１による判定処理を行う。会議が始まると、会議室２内のマイク２２で集音された音声情報が音声認識部３３に供給され、音声認識部３３は、会議の参加者の音声情報を音声認識し、会議メモ形成部３４は書き起こしテキストを作成する。進行状況判断部３１３は、会議メモ形成部３４で作成されたテキストと進行予定生成部３１２が生成した会議の進行予を定照らし合わせながら、会議が現在どの時点まで進行しているかを判断する。なお、進行状況判定部３１は、会議開催案内の各項目の開始予定時刻については、予定時刻の記載が無い場合は、基本的には全体の予定を項目数でわって均等配分計算を行う。

ステップＳ４で、多重ワークサービス６の制御部６３は、会議の進行が継続されている場合、ステップＳ５に進み、進行状況判断部３１３の結果を、多重ワーク支援装置７内の対話ワークインジケータ７１２１に反映し、テキスト表示領域７１５のテキスト表示を更新する。一方、ステップＳ４で、多重ワークサービス６の制御部６３は、会議の進行が継続しないと判断した場合、処理を終了する。

次に、インジケータ表示位置判定処理について説明する。図７は、インジケータ表示位置判定アルゴリズムである。ステップＳ１１で、進行状況判断部３１３は、会議メモ形成部３４から新しい音声認識結果を受け取る。ステップＳ１２で、進行状況判断部３１３は、会議メモ形成部３４から受け取ったテキスト内に例えば「次」という文字が含まれる場合、ステップＳ１３に進む。そして、ステップＳ１３で、進行状況判断部３１３は、会議メモ形成部３４から受け取ったテキスト内に会議の進行予定内の予定項目名または発言予定者名が含まれる場合、ステップＳ１４に進み、ステップＳ１４で、進行状況判断部３１３は、ステップＳ１２とステップＳ１３の２つの発生時間の間隔が短い場合、ステップＳ１５へ進む。すなわち、進行状況判断部３１３は、実際に会議室２内で会議に参加する参加者が、例えば「次」と発話し、その後すぐに、会議の進行予定内の予定項目名か発言予定者の名前を発話した場合には、会議は会議の進行予定内のその予定項目かその発言予定者が発言する位置まで進行していると判断する。

ステップＳ１５で、進行状況判定部３１は、進行状況判断部３１３の判断結果を指定された多重ワークサービス６へ送信する。ステップＳ１６で、進行状況判断部３１３は、所定時刻待ち、ステップＳ１７で、予定時刻以内であれば、ステップＳ１１へ戻り、予定時刻以内でない場合、インジケータ表示位置判定処理を終了する。このようにして、会議毎に、その会議の進行予定表に登場する言葉を基にして、会議参加者の発話認識から、現在、会議の進行予定表のどの位置まで進行しているかを画面上に表示することで、遠隔会議に参加している参加者が時々意識を外しても、離れていた遠隔会議に直ぐにキャッチアップできる。また、会議で話される言葉をテキストによって表示することにより、それまでの対話の内容を瞬時に把握できる。

なお、発話の自動認識によらず、実際に会議室２で会議に参加する参加者が、パーソナルコンピュータ２３に接続されたキーボードから会議参加者の発話内容を入力して多重ワークサーバ６に送るようにしてもよい。すなわち、会議室２で実際に会議に参加している参加者は、ネットワーク８を介して、会議キャプチャ・配信サービス３の会議メモ形成部３４に、パーソナルコンピュータ２３から送付することができる。このとき、多重ワークサーバ６は、それを定期的に吸い上げて、多重ワーク支援装置７の表示部７１のテキスト表示領域７１５に表示する。

なお、本発明の多重ワーク支援方法は、上述した多重ワーク支援システム１により実現される。また、図１の各サービスは、単一のまたは複数のサーバによって構成される。サーバは、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて構成され、所定のプログラムを実行することにより各機能が実現される。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば上記実施形態では対話業務として会議を例にとって説明したが、対話業務には対話を行う業務であれば会議以外の例えば打ち合わせ、授業またはセミナーなどの業務も含まれる。

発明を実施する多重ワーク支援システムの全体の構成を示す図である。多重ワーク支援装置７を構成を説明するための図である。会議資料保管サーバの内容を示す図である。事前資料として配布された品質タスク第５回開催案内の例を示す図である。進行状況判定部が生成する会議進行予定表を示す図である。多重ワークシステムの処理フローチャートを示す図である。インジケータ表示位置判定アルゴリズムを示す図である。

符号の説明

１多重ワーク支援システム３２会議映像配信部
２会議室３３音声認識部
２１ビデオカメラ３４会議メモ形成部
２２マイク３５会議資料保管サーバ
２３パーソナルコンピュータ４スケジューリングサービス
３会議キャプチャ・配信サービス５会議室予約サービス
３１進行状況判定部６多重ワークサービス
３１１発話情報取得部７多重ワーク支援装置
３１２進行予定生成部
３１３進行状況判断部

Claims

遠隔地で開催されている会議の参加者と対話することにより行われる対話業務と、前記対話業務以外の業務であって、自己の意識を他の業務に前記会議から傾けることにより行われる非対話業務とを並行的に遂行する利用者を支援する多重ワーク支援システムであって、
前記利用者から前記会議へ前記対話業務により参加する依頼があった場合に、前記会議の開催案内、議事日程のいずれかに関する会議の事前資料を前記会議に関連する関連データとして記憶先から取り出す取り出し部と、
前記取り出し部によって取り出された関連データに基づいて、前記会議で予定されている議題に関する予定項目及び発言予定者の少なくとも一方を含む、前記対話業務の進行予定を生成する生成部と、
前記会議に参加している参加者の発話情報を取得する取得部と、
前記取得部によって取得された発話情報から音声認識に基づいてテキスト情報を形成する形成部と、
前記形成部によって形成されたテキスト情報内に所定の文字と前記生成部によって生成された進行予定内に出現する予定項目又は発言予定者とが含まれている場合に、前記所定の文字の発生時と前記予定項目又は発言予定者の発生時との間隔が短いとき、該予定項目又は発言予定者まで会議が進行していると判断することにより、前記対話業務の現在の進行状況を判断する判断部と
を有することを特徴とする多重ワーク支援システム。