JP7792591B2 - リアクション検知システムおよびリアクション検知結果表示方法 - Google Patents

Description

本発明は、オンラインイベントの参加者が示すリアクションを検知して、その検知結果を可視化して提示するリアクション検知システムおよびリアクション検知結果表示方法に関するものである。

近年、プレゼンテーションなどの会議をオンラインで開催するオンライン会議システムが普及している。オンライン会議システムでは、主催者や参加者を撮影したカメラ画像が画面表示され、また、主催者（プレゼンター）と参加者との間で共有する資料が画面表示される。しかしながら、オンライン会議に対する参加者のリアクションが、その場にいるような臨場感をもって主催者や参加者に伝わらないという問題があった。

そこで、このようなオンライン会議システムにおける問題を解決する技術として、従来、オンライン会議の内容に対して参加者が感じた印象を参加者に入力させて、その入力内容を集計して表示する技術が知られている（特許文献１参照）。また、参加者を撮影したカメラ画像に対する画像認識により、参加者のうなずき動作を検知して、参加者ごとのうなずき動作の回数や頻度に関する情報を端末に表示させる技術が知られている（特許文献２参照）。

特開２０２１－３６６４０号公報 特開２００９－２６７６２１号公報

特許文献１の技術によれば、参加者自身が入力の操作を行うため、必ずしも参加者が実際に示したリアクションの情報が得られるとは限らない。一方、特許文献２の技術によれば、カメラ画像に対する画像認識により、参加者が示したリアクションの動作（うなずき動作）が検知されるため、参加者が実際に示したリアクションの情報が得られる。しかしながら、この技術では、個人が特定される状態で参加者のリアクションの状況が表示されるため、オンラインイベントの最中に、リアクション検知が行われていることを参加者が意識して、参加者が自然に示すリアクションの情報が得られないという問題があった。

そこで、本発明は、オンラインイベントの参加者が示すリアクションの状況を利用者に提示する際に個人が特定されないことで、リアクション検知が行われていることを参加者が意識せずに済むようにして、参加者が自然に示すリアクションの状況を利用者が把握することができるリアクション検知システムおよびリアクション検知結果表示方法を提供することを主な目的とする。

本発明のリアクション検知システムは、オンラインイベントの参加者が示すリアクションを検知して、その検知結果を可視化して提示するリアクション検知システムであって、各参加者を撮影するカメラを有する端末装置と、各参加者を撮影したカメラ画像を前記端末装置から取得して、各参加者のカメラ画像に基づいて、各参加者が示すリアクションが複数のリアクション種別のいずれに該当するかを検知して、参加者全員を対象にしたリアクションの状況を可視化した分析結果表示情報を生成するサーバ装置と、を備え、前記サーバ装置は、参加者全員を対象にした前記分析結果表示情報の表示モードとして、所定の前記リアクション種別が検知された程度を表すレベル情報を表示する第１のモードと、検知された前記リアクション種別ごとの比率を表す比率情報を表示する第２のモードとを設定し、前記第１のモードと前記第２のモードのいずれかに遷移させる操作部を有する分析結果表示画面を生成する構成とする。

また、本発明のリアクション検知結果表示方法は、オンラインイベントの参加者が示すリアクションを検知して、その検知結果を可視化して提示する処理を情報処理装置により行うリアクション検知結果表示方法であって、各参加者を撮影するカメラを有する端末装置から、各参加者を撮影したカメラ画像を取得し、各参加者のカメラ画像に基づいて、各参加者が示すリアクションが複数のリアクション種別のいずれに該当するかを検知して、参加者全員を対象にしたリアクションの状況を可視化した分析結果表示情報を生成し、参加者全員を対象にした前記分析結果表示情報の表示モードとして、所定の前記リアクション種別が検知された程度を表すレベル情報を表示する第１のモードと、検知された前記リアクション種別ごとの比率を表す比率情報を表示する第２のモードとを設定し、前記第１のモードと前記第２のモードのいずれかに遷移させる操作部を有する分析結果表示画面を生成する構成とする。

本発明によれば、オンラインイベントの参加者全員を対象にしたリアクションの状況を可視化した分析結果表示情報について、２つの表示モードを設定して、両モードを遷移可能にして、参加者などの利用者に提示される。これにより、オンラインイベントの参加者が示すリアクションの状況を利用者に提示する際に個人が特定されないことで、リアクション検知が行われていることを参加者が意識せずに済むため、参加者が自然に示すリアクションの状況を利用者が複数の表示態様で把握することができる。

本実施形態に係るリアクション検知システムの全体構成図 参加者のユーザ端末に表示されるプレゼンテーション画面を示す説明図 参加者のユーザ端末に表示されるプレゼンテーション画面を示す説明図 主催者のユーザ端末に表示される事後分析結果画面を示す説明図 主催者のユーザ端末に表示されるプレゼンテーション画面を示す説明図 主催者のユーザ端末に表示されるプレゼンテーション画面を示す説明図 解析サーバの概略構成を示すブロック図 解析サーバで行われる処理の概要を示すブロック図 解析サーバで管理されるドキュメントＤＢの登録情報およびリアクションＤＢの登録情報を示す説明図 解析サーバで行われるリアルタイムのリアクション検知処理の手順を示すフロー図 解析サーバで行われるリアルタイムのリアクション分析処理の手順を示すフロー図 解析サーバで行われる事後のリアクション分析処理の手順を示すフロー図 解析サーバで行われるドキュメントＤＢに関する情報管理処理の手順を示すフロー図

前記課題を解決するためになされた第１の発明は、オンラインイベントの参加者が示すリアクションを検知して、その検知結果を可視化して提示するリアクション検知システムであって、各参加者を撮影するカメラを有する端末装置と、各参加者を撮影したカメラ画像を前記端末装置から取得して、各参加者のカメラ画像に基づいて、各参加者が示すリアクションを検知して、その検知結果を可視化した表示情報を生成するサーバ装置と、を備え、前記サーバ装置は、参加者ごとのリアクション検知結果を集約して参加者全員を対象にしたリアクション情報を生成し、そのリアクション情報を可視化した前記表示情報を生成する構成とする。

これによると、オンラインイベントの参加者全員を対象にしたリアクション情報を可視化した表示情報が、参加者などの利用者に提示される。これにより、オンラインイベントの参加者が示すリアクションの状況を利用者に提示する際に個人が特定されないことで、リアクション検知が行われていることを参加者が意識せずに済むため、参加者が自然に示すリアクションの状況を利用者が把握することができる。

また、第２の発明は、前記サーバ装置は、参加者ごとのリアルタイムの前記リアクション検知結果に基づいて、前記表示情報を生成する構成とする。

これによると、参加者などの利用者が、イベントの雰囲気をその場にいるような臨場感をもって体感することができる。

また、第３の発明は、前記サーバ装置は、前記リアクション情報として、参加者全員を対象にしたポジティブなリアクションまたはネガティブなリアクションの程度を表すレベル情報を生成する構成とする。

これによると、参加者などの利用者が、参加者全員を対象にしたポジティブなリアクションまたはネガティブなリアクションの程度を容易に把握することができる。

また、第４の発明は、前記サーバ装置は、前記リアクション情報として、参加者全員を対象にしたリアクション種別ごとの比率を表す比率情報を生成する構成とする。

これによると、参加者などの利用者が、参加者全員を対象にしたリアクション種別ごとの比率を容易に把握することができる。

また、第５の発明は、前記サーバ装置は、オンラインイベントが終了した後に、前記表示情報として、オンラインイベントの各段階におけるリアクションの変化状況を表すグラフを生成する構成とする。

これによると、参加者などの利用者が、オンラインイベントの各段階におけるリアクションの変化状況を容易に把握することができる。例えば、オンラインイベントがプレゼンテーションである場合、プレゼンテーション資料の各ページの解説期間（表示期間）におけるリアクションの変化状況を表すグラフを生成することができる。

また、第６の発明は、前記サーバ装置は、前記リアクション検知結果として、対象とする参加者が示すリアクションが、集中、疲れ、納得、不満、および疑問のいずれであるかを判定する構成とする。

これによると、オンラインイベントの参加者が示すリアクションを適切に類型化することができる。

また、第７の発明は、オンラインイベントの参加者が示すリアクションを検知して、その検知結果を可視化して提示する処理を情報処理装置により行うリアクション検知結果表示方法であって、各参加者を撮影するカメラを有する端末装置から、各参加者を撮影したカメラ画像を取得し、各参加者のカメラ画像に基づいて、各参加者が示すリアクションを検知し、参加者ごとのリアクション検知結果を集約して参加者全員を対象にしたリアクション情報を生成し、そのリアクション情報を可視化した表示情報を生成する構成とする。

これによると、第１の発明と同様に、オンラインイベントの参加者が示すリアクションの状況を利用者に提示する際に個人が特定されないことで、リアクション検知が行われていることを参加者が意識せずに済むため、参加者が自然に示すリアクションの状況を利用者が把握することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係るリアクション検知システムの全体構成図である。

本システムは、オンライン会議（オンラインイベント）の参加者が示すリアクションを検知して、その検知結果を可視化して参加者や主催者に提示するものである。本システムは、解析サーバ１（サーバ装置、情報処理装置）と、主催者および参加者が操作するユーザ端末２（端末装置）とを備えている。解析サーバ１は、ユーザ端末２とネットワークを介して接続されている。

解析サーバ１は、参加者を撮影したカメラ画像を参加者のユーザ端末２から取得して、そのカメラ画像に対して画像解析処理を実施して、参加者が示すリアクションを検知して、その検知結果を可視化した表示情報を生成する。この表示情報はユーザ端末２に送信されて画面表示される。

ユーザ端末２は、参加者を撮影するカメラ５と、解析サーバ１から配信される画面を表示するディスプレイ６とを備えている。参加者のユーザ端末２は、カメラ５により参加者を撮影したカメラ画像を解析サーバ１に送信する。主催者（プレゼンター）のユーザ端末２も、必要に応じてカメラ５により主催者を撮影したカメラ画像を解析サーバ１に送信する。ユーザ端末２は、リアクション検知結果を可視化した表示情報を解析サーバ１から受信して画面表示する。

なお、本実施形態では、対象とするオンラインイベントが、会議、特にプレゼンテーションであるが、対象とするオンラインイベントは、会議に限定されず、例えば講演会や講習会、オンライン授業などであってもよい。

次に、参加者のユーザ端末２に表示されるプレゼンテーション画面１０１，１１１について説明する。図２，図３は、参加者のユーザ端末２に表示されるプレゼンテーション画面１０１，１１１を示す説明図である。

参加者のユーザ端末２では、オンライン会議（プレゼンテーション）の最中にプレゼンテーション画面１０１，１１１（図２，図３参照）が表示される。

プレゼンテーション画面１０１，１１１には、ドキュメント表示部１０２が設けられている。ドキュメント表示部１０２には、プレゼンテーション資料が表示される。プレゼンテーション資料は、主催者（プレゼンター）のユーザ端末２から解析サーバ１に予めアップロードされ、各参加者のユーザ端末２に配信される。これにより、主催者のユーザ端末２および各参加者のユーザ端末２にプレゼンテーション資料が表示され、主催者と各参加者との間でプレゼンテーション資料が共有される。なお、解析サーバ１は、オンライン会議の管理サーバ（図示せず）や、ユーザ端末２にインストールされたオンライン会議のアプリケーションと連携して、プレゼンテーション画面１０１，１１１をユーザへ配信するようにしてもよい。

また、プレゼンテーション画面１０１，１１１には、レベルのボタン１０３と比率のボタン１０４とが設けられている。参加者が、レベルのボタン１０３を操作すると、レベル表示モードのプレゼンテーション画面１０１（図２参照）に遷移する。参加者が、比率のボタン１０４を操作すると、比率表示モードのプレゼンテーション画面１１１（図３参照）に遷移する。

また、プレゼンテーション画面１０１，１１１には、分析結果表示部１０５が設けられている。分析結果表示部１０５には、参加者全員を対象にしたリアクションの状況がリアルタイムに表示される。分析結果表示部１０５の表示内容は、表示モード（レベル表示モードおよび比率表示モード）に応じて異なる。

また、分析結果表示部１０５の表示内容は、リアルタイムのリアクション検知処理およびリアクション分析処理が所定の周期（例えば１秒、３秒、５秒など）で実行されるのに応じて更新される。これにより、プレゼンテーションの進行に応じて、分析結果表示部１０５の表示内容が時々刻々と変化する。このため、参加者は、参加者全員のリアクションの状況を一目で把握することができ、イベントの雰囲気をその場いるような臨場感をもって体感することができる。

レベル表示モードのプレゼンテーション画面１０１（図２参照）では、分析結果表示部１０５に、参加者全員を対象にしたポジティブなリアクションの程度を表すリアクションレベル（レベル情報）を表す画像１０６が表示される。リアクションレベルは、ポジティブなリアクションを示す参加者の割合をパーセントで表すものである。リアクションレベルを表す画像１０６では、複数のバーが並べて描画され、リアクションレベルの高さに応じたバーが点灯表示される。なお、バーは、カラーで表示され、例えば、レベルが低い方から順に灰色、青色、緑色、黄色、赤色で表示されてもよい。

参加者は、リアクションレベルにより、ポジティブなリアクションを示している参加者がどの程度いるかを把握することができる。ここで、例えばリアクションレベルが高いと、ポジティブなリアクションを示す参加者が多い、すなわち、オンライン会議が盛り上がっていることを参加者が把握できる。一方、リアクションレベルが低いと、ポジティブなリアクションを示している参加者が少ない、すなわち、オンライン会議が盛り上がっていないことを参加者が把握できる。この場合、参加者は、質問を行うなどしてオンライン会議の活性化を図るとよい。

一方、比率表示モードのプレゼンテーション画面１１１（図３参照）では、分析結果表示部１０５に、参加者全員を対象にしたリアクション種別ごとの比率を表すリアクション比率（比率情報）を表す画像１１２が表示される。リアクション比率の画像１１２では、リアクション種別ごとの比率が１００％積み上げ棒グラフで表されている。リアクション種別には、集中、疲れ、納得、不満、および疑問があり、リアクション種別ごとの比率が異なる色で描画される。

参加者は、リアクション比率により、どのようなリアクションを示す参加者が多いかを把握することができる。ここで、例えば集中や疲れのリアクションを示す参加者が多い場合には、参加者は、質問や雑談を行うなどしたりして、オンライン会議の活性化を図るとよい。

ところで、プレゼンテーション画面１０１，１１１（図２，図３参照）は参加者のユーザ端末２に表示されるが、同様の画面が主催者（プレゼンター）のユーザ端末２に表示されてもよい。これにより、主催者が、リアクションレベルにより、ポジティブなリアクションを示している参加者がどの程度いるかを把握したり、リアクション比率により、どのような状態にある参加者が多いかを把握したりできる。この場合、主催者（プレゼンター）は、オンライン会議の展開を変えたり、質問や雑談を行うなどしたりして、オンライン会議の活性化を図るとよい。

なお、本実施形態では、レベル表示モードのプレゼンテーション画面１０１（図２参照）において、参加者全員に対するポジティブなリアクションを示した参加者の割合を表すリアクションレベルが表示される。ここで、ポジティブなリアクションとは、リアクション種別が集中および納得となる場合である。一方、リアクションレベルは、参加者全員に対するネガティブなリアクションを示した参加者の割合を表すものでもよい。ネガティブなリアクションとは、リアクション種別が疲れ、不満および疑問となる場合である。また、利用者（参加者や主催者）が、リアクションレベルの設定画面（図示せず）から指定したリアクション種別（集中、疲れ、納得、不満、および疑問）ごとのリアクションレベルが表示されてもよい。

また、本実施形態では、比率表示モードのプレゼンテーション画面１１１（図３参照）において、リアクション比率が、リアクション種別（集中、疲れ、納得、不満、および疑問）ごとの比率で表されるものとしたが、ポジティブなリアクションおよびネガティブなリアクションのいずれにも該当しない場合をニュートラルなリアクションとして、リアクション比率が、ポジティブ、ネガティブ、およびニュートラルごとの比率で表されるものでもよい。

次に、主催者のユーザ端末２に表示される事後分析結果画面１２１について説明する。図４は、事後分析結果画面１２１を示す説明図である。なお、参加者のユーザ端末２に事後分析結果画面１２１が表示されてもよい。

主催者のユーザ端末２では、オンライン会議（プレゼンテーション）が終了した後に、事後分析結果画面１２１が表示される。

事後分析結果画面１２１には、事後のリアクション分析処理の結果を表す棒グラフ１２２および折れ線グラフ１２３が表示される。棒グラフ１２２および折れ線グラフ１２３は、オンライン会議の各段階における参加者のリアクションの変化状況を表す。具体的には、プレゼンテーション資料の各ページの解説期間が、オンライン会議（プレゼンテーション）の各段階に相当し、プレゼンターによりプレゼンテーション資料の各ページの解説が行われている際に、参加者がどのようなリアクションを示していたかが、棒グラフ１２２および折れ線グラフ１２３で表現される。

棒グラフ１２２は、比率表示モードのプレゼンテーション画面１１１（図３参照）の分析結果表示部１０５に表示されるリアクション比率の画像１１２と同様に、参加者全員を対象にしたリアクション種別ごとの比率が、ページ単位で１００％積み上げ棒グラフにより表されている。これにより、利用者（主催者など）は、プレゼンターによりプレゼンテーション資料の各ページの解説が行われている際に、どのようなリアクションを示す参加者が多いかを把握することができる。

折れ線グラフ１２３は、レベル表示モードのプレゼンテーション画面１０１（図２参照）の分析結果表示部１０５に表示されるリアクションレベルの画像１０６と同様に、参加者全員を対象にしてポジティブなリアクションを示す参加者の割合を表すリアクションレベルが、ページ単位で表されている。これにより、利用者（プレゼンターなど）は、プレゼンターによりプレゼンテーション資料の各ページの解説が行われている際に、ポジティブなリアクションを示す参加者がどの程度いたかを把握することができる。また、折れ線グラフ１２３は、参加者全員を対象にネガティブなリアクションを示す参加者の割合を表すものとしてもよい。

利用者（プレゼンターなど）は、事後分析結果画面１２１を閲覧することで、事後にページごとの参加者のリアクションの状況を把握でき、これは、参加者を対象にして実施されるアンケートでは把握できないものである。また、利用者（プレゼンターなど）は、参加者のリアクションが良好でないページを特定して、そのページの記載や解説の問題点を確認することができる。

次に、プレゼンター（主催者）のユーザ端末２に表示されるプレゼンテーション画面１３１，１４１について説明する。図５，図６は、プレゼンター（主催者）のユーザ端末２に表示されるプレゼンテーション画面１３１，１４１を示す説明図である。

プレゼンター（主催者）のユーザ端末２では、プレゼンテーションを開始する際に、図５に示すプレゼンテーション画面１３１（初期画面）が表示される。

図５に示すプレゼンテーション画面１３１には、ドキュメント表示部１３２が設けられている。ドキュメント表示部１３２には、参加者との間で共有されるように設定されたプレゼンテーション資料が表示される。

また、プレゼンテーション画面１３１には、プレゼンテーションＩＤ入力部１３３と、プレゼンター名前入力部１３４とが設けられている。プレゼンテーションＩＤ入力部１３３では、プレゼンターが、文字入力またはプルダウンメニューの選択により、プレゼンテーションＩＤを入力することができる。プレゼンター名前入力部１３４では、プレゼンターが、文字入力またはプルダウンメニューの選択により、自分の名前を入力することができる。なお、プレゼンテーションＩＤは、プレゼンテーション資料を解析サーバ１に登録した際に、自動的に付与され、プレゼンターへ予め通知されるようにしてもよい。

また、プレゼンテーション画面１３１には、開始ボタン１３５および終了ボタン１３６が設けられている。プレゼンターは、プレゼンテーションを開始する際に開始ボタン１３５を操作する。また、プレゼンターは、プレゼンテーションが終了する際に終了ボタン１３６を操作する。これにより、解析サーバ１は、プレゼンテーションの実施期間（開始時刻および終了時刻）を取得することができる。

また、プレゼンテーション画面１３１（図５参照）において、プレゼンターが開始ボタン１３５を操作すると、図６に示すプレゼンテーション画面１４１に遷移する。

図６に示すプレゼンテーション画面１４１では、ドキュメント表示部１３２に、ページ送りボタン１４２およびページ戻りボタン１４３が表示される。プレゼンターが、ページ送りボタン１４２を操作すると、ドキュメント表示部１３２に表示されているプレゼンテーション資料が次のページに遷移する。一方、プレゼンターが、ページ戻りボタン１４３を操作すると、ドキュメント表示部１３２に表示されているプレゼンテーション資料が前のページに戻る。解析サーバ１は、ページ送りボタン１４２およびページ戻りボタン１４３が操作された時刻を取得することで、ページの表示期間（開始時刻および終了時刻）を取得することができる。

次に、解析サーバ１の概略構成について説明する。図７は、解析サーバ１の概略構成を示すブロック図である。図８は、解析サーバ１で行われる処理の概要を示すブロック図である。

解析サーバ１は、通信部１１と、記憶部１２と、プロセッサ１３と、を備えている。

通信部１１は、ネットワークを介して主催者のユーザ端末２および参加者のユーザ端末２との間で通信を行う。

記憶部１２は、プロセッサ１３で実行されるプログラムなどを記憶する。また、記憶部１２は、ドキュメントＤＢの登録情報およびリアクションＤＢの登録情報（図９参照）を記憶する。

プロセッサ１３は、記憶部１２に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１３が、リアルタイムのリアクション検知処理Ｐ１、リアルタイムのリアクション分析処理Ｐ２、事後のリアクション分析処理Ｐ３、および情報管理処理Ｐ４などを行う。

リアルタイムのリアクション検知処理Ｐ１では、プロセッサ１３が、各参加者を撮影したカメラ画像をユーザ端末２から取得して、各参加者のカメラ画像に基づいて、各参加者が示すリアクションをリアルタイムで検知する。リアルタイムのリアクション検知処理Ｐ１では、表情検知処理Ｐ１１、視線検知処理Ｐ１２、動作認識処理Ｐ１３、および統合判定処理Ｐ１４が行われる。

表情検知処理Ｐ１１では、プロセッサ１３が、カメラ画像に基づいて、参加者の顔の表情を検知する。

視線検知処理Ｐ１２では、プロセッサ１３が、カメラ画像に基づいて、参加者の視線を検知する。

動作認識処理Ｐ１３では、プロセッサ１３が、カメラ画像に基づいて、参加者の動作を認識する。

統合判定処理Ｐ１４では、プロセッサ１３が、表情検知処理Ｐ１１の検知結果と視線検知処理Ｐ１２の検知結果と動作認識処理Ｐ１３の認識結果とに基づいて、リアクション検知結果として、対象とする参加者が示すリアクションが、集中、疲れ、納得、不満、および疑問のいずれのリアクション種別であるかを判定する。

ここで、例えば、表情検知処理Ｐ１１で検知された顔の表情から、参加者の感情が、ポジティブ、ネガティブ、ニュートラルの３状態のいずれであるかが推定され、この推定結果に基づいて、納得、不満などのリアクション種別が判定される。

また、視線検知処理Ｐ１２で検知された参加者の視線の動きから、参加者の集中度が推定される。また、視線検知処理Ｐ１２で検知された参加者の視線がユーザ端末２の表示画面の方向である場合には、参加者が表示画面を注視している状態と推定される。一方、参加者の視線が表示画面の方向でない場合には、参加者がよそ見をしている状態と推定され。これらの推定結果に基づいて、集中、疲れなどのリアクション種別が判定される。

また、動作認識処理Ｐ１３で検知された参加者の身体の動きや姿勢から、疲れのリアクション種別が判定される。また、動作認識処理Ｐ１３で検知された参加者の頷く動作から、納得のリアクション種別が判定される。また、動作認識処理Ｐ１３で検知された参加者の首をかしげる動作から、疑問のリアクション種別が判定される。

なお、本実施形態では、リアクション検知結果として、対象とする参加者が示すリアクションが、集中、疲れ、納得、不満、および疑問のいずれのリアクション種別であるかが判定されるが、これ以外のリアクション種別が設定されてもよい。例えば、５つのリアクション種別のいずれかに設定することが難しい場合に、無反応のリアクション種別が設定されてもよい。

リアルタイムのリアクション分析処理Ｐ２では、プロセッサ１３が、リアクション検知処理Ｐ１で取得した参加者ごとの最新のリアクション検知結果（リアクション種別）を取得して、その参加者ごとの最新のリアクション検知結果を集約して、参加者全員を対象にしたリアクション情報を生成して、そのリアクション情報を可視化した表示情報を生成する。

具体的には、プロセッサ１３が、参加者全員に対するポジティブなリアクションを示した参加者の割合に関するレベル情報（リアクションレベル）を生成して、そのレベル情報を可視化した表示情報を生成する。ここで、レベル情報は、参加者全員の人数に対する、ポジティブなリアクション種別に該当する参加者の人数の割合がパーセントで示される。また、表示情報は、レベル表示モードのプレゼンテーション画面１０１（図２参照）の分析結果表示部１０５に表示されるリアクションレベルを表す画像１０６である。

また、プロセッサ１３が、リアクション種別ごとの参加者の比率に関する比率情報を生成して、その比率情報を可視化した表示情報を生成する。ここで、比率情報は、参加者全員の人数を１００パーセントとして、リアクション種別ごとの参加者の人数の比率がパーセントで示される。また、表示情報は、比率表示モードのプレゼンテーション画面１１１（図３参照）の分析結果表示部１０５に表示されるリアクション比率を表す画像１１２である。

事後のリアクション分析処理Ｐ３では、プロセッサ１３が、リアクション検知処理Ｐ１で取得してリアクションＤＢに登録された情報の中から、対象とするオンライン会議（プレゼンテーション）に関係する参加者各人の各時刻のリアクション検知結果を取得し、その参加者各人の各時刻のリアクション検知結果を集約して、オンライン会議の各段階を対象にしたリアクション情報を生成して、その各段階のリアクション情報を可視化した表示情報を生成する。

ここで、対象とするオンライン会議（オンラインイベント）がプレゼンテーションである場合、プレゼンテーション資料の各ページに関してプレゼンターによる解説が行われている期間、すなわち、各ページの表示期間（開始時刻から終了時刻までの時間）が、オンライン会議の各段階に相当する。また、各ページの表示期間はドキュメントＤＢから取得される。また、表示情報として、ページごとのリアクションの変化状況を表すグラフが生成される。

具体的には、プロセッサ１３が、ページの表示期間ごとのレベル情報、具体的には、参加者全員に対するポジティブなリアクションを示した参加者の割合に関する情報を生成して、そのページの表示期間ごとのレベル情報を可視化した表示情報を生成する。表示情報は、参加者のユーザ端末２において、事後分析結果画面１２１（図４参照）に表示される折れ線グラフ１２３である。

また、プロセッサ１３が、ページの表示期間ごとの比率情報、具体的には、リアクション種別ごとの参加者の比率に関する情報を生成して、そのページの表示期間ごとの比率情報を可視化した表示情報を生成する。表示情報は、参加者のユーザ端末２において、事後分析結果画面１２１（図４参照）に表示される棒グラフ１２２である。

なお、参加者各人の各時刻のリアクション検知結果を集約して、オンライン会議の各段階を対象にしたリアクション情報を生成する際には、１つの段階、具体的には、１ページの表示期間に含まれる各時刻のリアクション情報（レベル情報や比率情報）を統計処理（例えば平均化）することで、１つの段階のリアクション情報を取得することができる。

情報管理処理Ｐ４では、プロセッサ１３が、オンライン会議で用いられるドキュメント（プレゼンテーション資料）に関する情報が登録されるドキュメントＤＢを管理する。また、情報管理処理では、プロセッサ１３が、オンライン会議（プレゼンテーション）において参加者が示したリアクションに関する情報が登録されるリアクションＤＢを管理する。ドキュメントＤＢの登録情報およびリアクションＤＢの登録情報は記憶部１２に蓄積される。

なお、表情検知処理、視線検知処理、および動作認識処理は、ディープラーニングなどの機械学習により構築される機械学習モデル（画像認識エンジン）を用いて行われてもよい。また、結果統合処理も、ディープラーニングなどの機械学習により構築される機械学習モデルを用いて行われてもよい。

次に、解析サーバ１で管理されるドキュメントＤＢの登録情報およびリアクションＤＢの登録情報について説明する。図９は、ドキュメントＤＢの登録情報およびリアクションＤＢの登録情報を示す説明図である。

解析サーバ１では、オンライン会議（プレゼンテーション）においてプレゼンター（主催者）と参加者との間で共有されたドキュメント、具体的にはプレゼンテーション資料に関する情報がドキュメントＤＢにより管理される。

図９（Ａ）に示すように、ドキュメントＤＢには、プレゼンテーション資料のドキュメントＩＤ（プレゼンテーションＩＤ）、プレゼンテーション資料の総ページ数、およびプレゼンターの名前などが登録される。また、ドキュメントＤＢには、プレゼンテーション資料の各ページに関する情報として、ページ番号、およびページの表示期間（開始時間および終了時間）などが登録される。

また、解析サーバ１では、オンライン会議において参加者が示したリアクションに関する情報がリアクションＤＢにより管理される。

図９（Ｂ）に示すように、リアクションＤＢには、対象となるオンライン会議（プレゼンテーション）に関する情報として、ドキュメントＩＤ（プレゼンテーションＩＤ）、およびページ番号などが登録される。また、リアクションＤＢには、リアクション検知処理に関する情報として、対象となる参加者の受付ＩＤ、リアクション検知処理が実行された時刻、およびリアクション検知結果（リアクション種別）などが登録される。

次に、解析サーバ１で行われるリアルタイムのリアクション検知処理の手順について説明する。図１０は、リアルタイムのリアクション検知処理の手順を示すフロー図である。

解析サーバ１は、リアルタイムのリアクション検知処理を実行する。このとき、オンライン会議（プレゼンテーション）が実施されている間中、オンライン会議の全ての参加者を対象にした各時刻のリアクション検知処理が繰り返し実行される。

具体的には、解析サーバ１は、第１のリアクション検知ループに係る処理（ＳＴ１０１～ＳＴ１１０）を繰り返し実行する。第１のリアクション検知ループに係る処理は、対象期間、具体的には、今回のオンライン会議（プレゼンテーション）が終了するまで定期的に繰り返される。

第１のリアクション検知では、解析サーバ１は、第２のリアクション検知ループに係る処理（ＳＴ１０２～ＳＴ１０９）を繰り返し実行する。第２のリアクション検知ループに係る処理は、オンライン会議の全ての参加者を対象にして行われ、オンライン会議の全ての参加者に関する処理が終了するまで繰り返される。

第２のリアクション検知ループでは、解析サーバ１は、まず、対象とする参加者のユーザ端末２からカメラ画像を取得する（ＳＴ１０３）。ここで、ユーザ端末２において、カメラ画像から参加者の頭部を検出して顔画像に相当する部分画像を抽出し、これを解析サーバ１が取得するものとしてもよい。この場合、取得画像のデータ量を削減できるので、ネットワーク上の負荷を抑制し、以降の各処理を効率的に行うことができる。

次に、解析サーバ１は、カメラ画像に基づいて、対象とする参加者の顔の表情を検知する（表情検知処理）（ＳＴ１０４）。

また、解析サーバ１は、カメラ画像に基づいて、対象とする参加者の視線を検知する（視線検知処理）（ＳＴ１０５）。

また、解析サーバ１は、カメラ画像に基づいて、対象とする参加者の動作を認識する（動作認識処理）（ＳＴ１０６）。

次に、解析サーバ１は、表情検知処理の検知結果と視線検知処理の検知結果と動作認識処理の認識結果とに基づいて、リアクション検知結果として、対象とする参加者のリアクション種別（集中、疲れ、納得、不満、および疑問のいずれか）を判定する（統合判定処理）（ＳＴ１０７）。

次に、解析サーバ１は、対象とする参加者のリアクション検知結果（リアクション種別）を現在時刻とともに記憶部１２に保存する（ＳＴ１０８）。

以上の第１，第２のリアクション検知ループに係る処理が、対象期間、すなわち今回のオンライン会議（プレゼンテーション）が終了するまで繰り返されることで、対象期間の各時刻における参加者各人のリアクション検知結果が記憶部１２に蓄積される。

次に、解析サーバ１で行われるリアルタイムのリアクション分析処理の手順について説明する。図１１は、リアルタイムのリアクション分析処理の手順を示すフロー図である。

解析サーバ１は、参加者のユーザ端末２からのリアルタイムのリアクション分析結果の要求を受け付けると（ＳＴ２０１）、リアクション分析ループに係る処理を開始する（ＳＴ２０２～ＳＴ２１０）。リアクション分析ループは、所定の周期で、ユーザ端末２からの要求が終了するまで繰り返される。

リアクション分析ループでは、まず、解析サーバ１は、参加者各人の最新のリアクション検知結果（リアクション種別）を取得する（ＳＴ２０３）。次に、ユーザ端末２から要求された情報が、レベル情報と比率情報とのいずれであるかを判定する（ＳＴ２０４）。

ここで、ユーザ端末２から要求された情報がレベル情報である場合には（ＳＴ２０４で「レベル情報」）、解析サーバ１は、参加者各人の最新のリアクション検知結果（リアクション種別）を集約して、最新のレベル情報、具体的には、参加者全員に対する、ポジティブなリアクションを示した参加者の割合に関する情報を生成する（ＳＴ２０５）。次に、解析サーバ１は、最新のレベル情報を可視化した表示情報を生成する（ＳＴ２０６）。

一方、ユーザ端末２から要求された情報が比率情報である場合には（ＳＴ２０４で「比率情報」）、解析サーバ１は、参加者各人の最新のリアクション検知結果（リアクション種別）を集約して、最新の比率情報、具体的には、リアクション種別ごとの参加者の比率に関する情報を生成する（ＳＴ２０７）。次に、解析サーバ１は、最新の比率情報を可視化した表示情報を生成する（ＳＴ２０８）。

次に、解析サーバ１は、ユーザ端末２から要求された情報、すなわち、最新のレベル情報または比率情報を可視化した表示情報をユーザ端末２に送信する（ＳＴ２０９）。これにより、ユーザ端末２では、プレゼンテーション画面１０１（図２参照）の分析結果表示部１０５にリアクションレベルを表す画像１０６が表示され、あるいは、プレゼンテーション画面１１１（図３参照）の分析結果表示部１０５にリアクション比率を表す画像１１２が表示される。

次に、解析サーバ１で行われる事後のリアクション分析処理の手順について説明する。図１２は、事後のリアクション分析処理の手順を示すフロー図である。

解析サーバ１は、参加者のユーザ端末２からの事後のリアクション分析結果の要求を受け付けると（ＳＴ３０１）、対象とするプレゼンテーション（オンライン会議）に関係する参加者各人の各時刻のリアクション検知結果を、リアクションＤＢ（図９（Ｂ）参照）から取得する（ＳＴ３０２）。

次に、解析サーバ１は、参加者各人の各時刻のリアクション検知結果を集約して、ページの表示期間（開始時刻から終了時刻まで）ごとのレベル情報（リアクション情報）、具体的には、参加者全員に対するポジティブなリアクションを示した参加者の割合に関する情報を生成する（ＳＴ３０３）。

また、解析サーバ１は、参加者各人の各時刻のリアクション検知結果を集約して、ページの表示期間ごとの比率情報（リアクション情報）、具体的には、リアクション種別（集中、疲れ、納得、不満、および疑問）ごとの参加者の比率に関する情報を生成する（ＳＴ３０４）。

次に、解析サーバ１は、ページの表示期間ごとのレベル情報を可視化した表示情報と、ページの表示期間ごとの比率情報を可視化した表示情報を生成する（ＳＴ３０５）。

次に、解析サーバ１は、レベル情報および比率情報に関する表示情報をユーザ端末２に送信する（ＳＴ３０６）。これにより、ユーザ端末２では、事後分析結果画面１２１（図４参照）において棒グラフ１２２および折れ線グラフ１２３が表示される。

次に、解析サーバ１で行われるドキュメントＤＢに関する情報管理処理の手順について説明する。図１３は、ドキュメントＤＢに関する情報管理処理の手順を示すフロー図である。

解析サーバ１では、オンライン会議で用いられるドキュメント、具体的にはプレゼンテーション資料に関する情報が登録されるドキュメントＤＢ（図９（Ａ）参照）が管理される（情報管理処理）。プレゼンター（主催者）のユーザ端末２では、プレゼンテーション画面１３１，１４１（図５，図６参照）において、プレゼンターが、ドキュメントＩＤ（プレゼンテーションＩＤ）やプレゼンターの名前を入力する操作を行い、また、プレゼンテーションを開始する操作を行い、また、ページを遷移させる操作を行い、また、プレゼンテーションを終了する操作を行う。解析サーバ１では、プレゼンターの操作に応じてユーザ端末２から送信される通知に基づいて情報管理処理が行われる。

具体的には、解析サーバ１は、まず、ユーザ端末２からのプレゼンテーション開始通知を受け付けると（ＳＴ４０１）、そのときの時刻を、プレゼンテーション資料の最初のページの開始時刻に設定して、今回のプレゼンテーションに関する新規のドキュメントをドキュメントＤＢに登録する（ＳＴ４０２）。

次に、解析サーバ１は、情報管理ループに係る処理を開始する（ＳＴ４０３～ＳＴ４０６）。情報管理ループに係る処理は、今回のオンライン会議（プレゼンテーション）が終了するまで定期的に繰り返される。

情報管理ループでは、解析サーバ１は、ユーザ端末２からのページ遷移通知を受け付けると（ＳＴ４０４）、そのときの時刻を、遷移元のページの終了時刻、および遷移先のページの開始時刻に設定して、今回のプレゼンテーションに関するドキュメントＤＢの登録情報を更新する（ＳＴ４０５）。

情報管理ループに係る処理は、今回のプレゼンテーションが終了するまで、具体的には、ユーザ端末２からのプレゼンテーション終了通知を受け付けるまで繰り返される。

次に、解析サーバ１は、ユーザ端末２からのプレゼンテーション終了通知を受け付けたときの時刻を、最後のページの終了時刻に設定して、今回のプレゼンテーションに関するドキュメントＤＢの登録情報を更新する（ＳＴ４０７）。

なお、リアクション検知システムとして、解析サーバ１において、参加者を撮影したカメラ画像を参加者のユーザ端末２から取得して、そのカメラ画像に対して画像解析処理を実施して、参加者が示すリアクションを検知するものとした。これ以外の構成として、参加者を撮影したカメラ画像を参加者のユーザ端末２において、そのカメラ画像に対する画像解析処理を実施し、参加者が示すリアクション検知結果をサーバ装置へ送信し、リアクションＤＢに蓄積するようにしてもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係るリアクション検知システムおよびリアクション検知結果表示方法は、オンラインイベントの参加者が示すリアクションの状況を利用者に提示する際に個人が特定されないことで、リアクション検知が行われていることを参加者が意識せずに済むようにして、参加者が自然に示すリアクションの状況を利用者が把握することができる効果を有し、オンラインイベントの参加者が示すリアクションを検知して、その検知結果を可視化して提示するリアクション検知システムおよびリアクション検知結果表示方法などとして有用である。

１ 解析サーバ（サーバ装置、情報処理装置）
２ ユーザ端末（端末装置）
５ カメラ
６ ディスプレイ
１１ 通信部
１２ 記憶部
１３ プロセッサ

Claims (6)

1. オンラインイベントの参加者が示すリアクションを検知して、その検知結果を可視化して提示するリアクション検知システムであって、
   各参加者を撮影するカメラを有する端末装置と、
   各参加者を撮影したカメラ画像を前記端末装置から取得して、各参加者のカメラ画像に基づいて、各参加者が示すリアクションが複数のリアクション種別のいずれに該当するかを検知して、参加者全員を対象にしたリアクションの状況を可視化した分析結果表示情報を生成するサーバ装置と、を備え、
   前記サーバ装置は、
   参加者全員を対象にした前記分析結果表示情報の表示モードとして、所定の前記リアクション種別が検知された程度を表すレベル情報を表示する第１のモードと、検知された前記リアクション種別ごとの比率を表す比率情報を表示する第２のモードとを設定し、前記第１のモードと前記第２のモードのいずれかに遷移させる操作部を有する分析結果表示画面を生成することを特徴とするリアクション検知システム。
2. 前記サーバ装置は、
   参加者ごとのリアルタイムの前記リアクション種別の検知結果に基づいて、前記分析結果表示情報を生成することを特徴とする請求項１に記載のリアクション検知システム。
3. 前記サーバ装置は、
   前記分析結果表示情報として、参加者全員を対象にしたポジティブなリアクションまたはネガティブなリアクションの程度を表すレベル情報を生成することを特徴とする請求項２に記載のリアクション検知システム。
4. 前記サーバ装置は、
   さらに、オンラインイベントが終了した後に、前記分析結果表示情報として、オンラインイベントの各段階におけるリアクションの変化状況を表すグラフを生成することを特徴とする請求項１に記載のリアクション検知システム。
5. 前記サーバ装置は、
   前記リアクション種別として、対象とする参加者が示すリアクションが、集中、疲れ、納得、不満、および疑問のいずれであるかを判定することを特徴とする請求項１に記載のリアクション検知システム。
6. オンラインイベントの参加者が示すリアクションを検知して、その検知結果を可視化して提示する処理を情報処理装置により行うリアクション検知結果表示方法であって、
   各参加者を撮影するカメラを有する端末装置から、各参加者を撮影したカメラ画像を取得し、
   各参加者のカメラ画像に基づいて、各参加者が示すリアクションが複数のリアクション種別のいずれに該当するかを検知して、参加者全員を対象にしたリアクションの状況を可視化した分析結果表示情報を生成し、
   参加者全員を対象にした前記分析結果表示情報の表示モードとして、所定の前記リアクション種別が検知された程度を表すレベル情報を表示する第１のモードと、検知された前記リアクション種別ごとの比率を表す比率情報を表示する第２のモードとを設定し、前記第１のモードと前記第２のモードのいずれかに遷移させる操作部を有する分析結果表示画面を生成することを特徴とするリアクション検知結果表示方法。