Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7742745B2 - Information processing device, information processing method, and information processing program - Google Patents
[go: Go Back, main page]

JP7742745B2 - Information processing device, information processing method, and information processing program - Google Patents

Information processing device, information processing method, and information processing program

Info

Publication number
JP7742745B2
JP7742745B2 JP2021151434A JP2021151434A JP7742745B2 JP 7742745 B2 JP7742745 B2 JP 7742745B2 JP 2021151434 A JP2021151434 A JP 2021151434A JP 2021151434 A JP2021151434 A JP 2021151434A JP 7742745 B2 JP7742745 B2 JP 7742745B2
Authority
JP
Japan
Prior art keywords
participant
speak
information
speech
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021151434A
Other languages
Japanese (ja)
Other versions
JP2023043684A (en
Inventor
剛至 荻野
知紘 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2021151434A priority Critical patent/JP7742745B2/en
Publication of JP2023043684A publication Critical patent/JP2023043684A/en
Application granted granted Critical
Publication of JP7742745B2 publication Critical patent/JP7742745B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.

近年、オンラインで会議等のミーティングを行う技術が提案されている(例えば、特許文献1参照)。この種のミーティングでは、遠隔地の相手と映像や音声を共有することで対話を実現する。 In recent years, technologies for holding meetings such as conferences online have been proposed (see, for example, Patent Document 1). In these types of meetings, conversations are realized by sharing video and audio with people in remote locations.

特開2012-150561号公報JP 2012-150561 A

しかしながら、従来の技術では、ミーティングをスムーズに行えるように発話を支援する点で改善の余地があった。特に、相手の映像が供給されない場合、相手が発話するタイミングがわからず、自分の発話が相手の発話と重なる(バッティングする)ことを恐れてスムーズな対話を行えないおそれがあった。 However, conventional technology leaves room for improvement in supporting speech to ensure smooth meetings. In particular, when video of the other party is not provided, it is difficult to know when the other party will speak, and there is a risk that your speech will overlap (clash) with that of the other party, preventing a smooth conversation.

本願は、上記に鑑みてなされたものであって、参加者の発話を適切に支援することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。 This application has been made in light of the above, and aims to provide an information processing device, information processing method, and information processing program that can appropriately support participants' speech.

本願に係る情報処理装置は、取得部と、検出部と、発話支援部とを備える。前記取得部は、オンラインでのミーティングに参加している参加者からセンサによって検出される参加者情報を取得する。前記検出部は、前記参加者情報に基づいて、前記ミーティングにおける前記参加者の発話意思を検出する。前記発話支援部は、検出した前記発話意思に基づいて、前記参加者の発話を支援する発話支援処理を行う。 The information processing device according to the present application comprises an acquisition unit, a detection unit, and a speech support unit. The acquisition unit acquires participant information detected by a sensor from participants participating in an online meeting. The detection unit detects the participant's intention to speak in the meeting based on the participant information. The speech support unit performs speech support processing to support the participant's speech based on the detected intention to speak.

実施形態の一態様によれば、参加者の発話を適切に支援することができるという効果を奏する。 According to one aspect of the embodiment, it is possible to provide appropriate support for participants' speech.

図1は、実施形態に係る情報処理その1を示す図である。FIG. 1 is a diagram showing information processing part 1 according to the embodiment. 図2は、実施形態に係る情報処理その2を示す図である。FIG. 2 is a diagram illustrating a second information processing according to the embodiment. 図3は、実施形態に係る情報処理システムの構成例を示す図である。FIG. 3 is a diagram illustrating an example of the configuration of an information processing system according to the embodiment. 図4は、実施形態に係る情報処理装置の構成例を示す図である。FIG. 4 is a diagram illustrating an example of the configuration of an information processing apparatus according to the embodiment. 図5は、参加者情報の一例を示す図である。FIG. 5 is a diagram illustrating an example of participant information. 図6は、実施形態に係る情報処理装置が実行する情報処理その1の処理手順を示すフローチャートである。FIG. 6 is a flowchart showing the processing procedure of information processing 1 executed by the information processing apparatus according to the embodiment. 図7は、実施形態に係る情報処理装置が実行する情報処理その2の処理手順を示すフローチャートである。FIG. 7 is a flowchart showing the processing procedure of information processing part 2 executed by the information processing apparatus according to the embodiment. 図8は、ハードウェア構成の一例を示す図である。FIG. 8 is a diagram illustrating an example of a hardware configuration.

以下に、本願に係る情報処理装置、情報処理方法および情報処理プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Below, detailed explanations will be given of the information processing device, information processing method, and information processing program (hereinafter referred to as "embodiments") according to the present application, with reference to the drawings. Note that the information processing device, information processing method, and information processing program according to the present application are not limited to these embodiments. Furthermore, identical components in the following embodiments will be designated by the same reference numerals, and duplicate explanations will be omitted.

(実施形態)
まず、図1を用いて、実施形態に係る情報処理装置が実行する情報処理その1について説明する。図1は、実施形態に係る情報処理その1を示す図である。なお、図1では、実施形態に係る情報処理装置1を含む情報処理システムSの動作例を示している。図1に示すように、実施形態に係る情報処理システムSは、情報処理装置1と、複数の参加者端末50とを含む。
(Embodiment)
First, information processing 1 executed by an information processing device according to an embodiment will be described with reference to Fig. 1. Fig. 1 is a diagram showing information processing 1 according to an embodiment. Fig. 1 also shows an example of the operation of an information processing system S including an information processing device 1 according to an embodiment. As shown in Fig. 1, the information processing system S according to an embodiment includes the information processing device 1 and a plurality of participant terminals 50.

実施形態に係る情報処理その1では、センサにより検出される参加者情報に基づいて、ミーティングに参加している参加者の発話意思を検出し、発話意思に基づいて参加者の発話を支援する処理を行う。 Information processing 1 according to this embodiment detects the intention of participants in a meeting to speak based on participant information detected by a sensor, and performs processing to support the participants' speech based on their intention to speak.

具体的には、まず、実施形態に係る情報処理装置1は、参加者毎に、オンラインでのミーティングに参加している参加者からセンサによって検出される参加者情報を取得する(ステップS1)。参加者情報は、例えば、参加者端末50に備えられたセンサによって検出される情報である。センサは、例えば、カメラや、加速度センサ、生体センサ(脈拍センサや、体温センサ等)、タッチセンサ(タッチパネルの場合)、マイク等である。 Specifically, first, the information processing device 1 according to the embodiment acquires participant information detected by a sensor from each participant participating in an online meeting (step S1). The participant information is, for example, information detected by a sensor provided in the participant terminal 50. The sensor may be, for example, a camera, an acceleration sensor, a biosensor (such as a pulse sensor or a body temperature sensor), a touch sensor (in the case of a touch panel), a microphone, etc.

つづいて、実施形態に係る情報処理装置1は、参加者毎に、参加者情報に基づいて、ミーティングにおける参加者の発話意思を検出する(ステップS2)。情報処理装置1は、参加者情報に基づいて、参加者のミーティングへの集中度や、発話をしようとしているか否か、顔の動き(口の動き等)を特定し、特定した情報に基づいて発話意思を検出する。 Next, the information processing device 1 according to the embodiment detects, for each participant, the participant's intention to speak in the meeting based on the participant information (step S2). Based on the participant information, the information processing device 1 identifies the participant's level of concentration in the meeting, whether or not they are about to speak, and facial movements (mouth movements, etc.), and detects the participant's intention to speak based on the identified information.

発話意思は、今まさに発話をしようとしているか否かや、あと何分後に発話をしようとしているか否か、ミーティング全体を通して発話をする可能性があるか否かを検出する。情報処理装置1は、例えば、機械学習により生成したモデルを用いて発話意思を検出可能である。 Speaking intention is detected by detecting whether or not a person is about to speak, how many minutes remaining before they speak, and whether or not they are likely to speak throughout the entire meeting. The information processing device 1 can detect speaking intention using, for example, a model generated by machine learning.

例えば、情報処理装置1は、参加者情報から抽出される特徴を説明変数とし、発話意思の有無を目的変数として生成されるモデルを用いて発話意思の有無を検出する。 For example, the information processing device 1 detects whether or not a participant has the intention to speak using a model generated using features extracted from participant information as explanatory variables and the presence or absence of an intention to speak as a target variable.

つづいて、実施形態に係る情報処理装置1は、検出した発話意思に基づいて、参加者の発話を支援する発話支援処理を行う(ステップS3)。図1に示す例では、参加者Cの発話意思があることを検出したとする。かかる場合、情報処理装置1は、参加者Cに対して参加者端末50を介して発話を促す通知を行う。 Next, the information processing device 1 according to the embodiment performs speech support processing to support the participants' speech based on the detected intention to speak (step S3). In the example shown in FIG. 1, it is assumed that participant C's intention to speak is detected. In this case, the information processing device 1 notifies participant C via the participant terminal 50 to encourage him or her to speak.

また、情報処理装置1は、ミーティングの状況に基づいて発話支援処理を行ってもよい。例えば、情報処理装置1は、他の参加者AまたBが発話中である場合には、かかる発話が終了した後に、参加者Cに発話を促す通知を行ってもよい。 The information processing device 1 may also perform speech support processing based on the situation of the meeting. For example, if another participant A or B is speaking, the information processing device 1 may notify participant C to speak after the other participant A or B has finished speaking.

また、情報処理装置1は、参加者Cが発話を始めたタイミングで、参加者AおよびBの発話を禁止する発話支援処理を行ってもよい。参加者AおよびBの発話を禁止する発話支援処理とは、例えば、参加者AおよびBの発話をミュートする処理等である。 In addition, the information processing device 1 may perform speech support processing to prohibit participants A and B from speaking when participant C begins speaking. Speech support processing to prohibit participants A and B from speaking is, for example, processing to mute the speech of participants A and B.

このように、実施形態に係る情報処理装置1では、参加者情報に基づいて参加者の発話意思を検出し、発話意思に基づいて発話を支援する処理を行うことで、発話意思がある参加者の発話を適切に支援することができる。 In this way, the information processing device 1 according to the embodiment detects a participant's intention to speak based on the participant information and performs processing to support speech based on that intention, thereby enabling appropriate support for speech from participants who intend to speak.

次に、図2を用いて、実施形態に係る情報処理装置1が実行する情報処理その2について説明する。図2は、実施形態に係る情報処理その2を示す図である。図2では、ミーティングに参加している参加者のうち、ミーティングの進行を促進する進行者、いわゆるファシリテータが存在していることとする。なお、図2では、参加者Aが進行者であることとする。進行者は、ミーティングで予め設定されたアジェンダについて、予め定められた時間で結論を導く役割を担う。 Next, information processing part 2 executed by the information processing device 1 according to the embodiment will be described using FIG. 2. FIG. 2 is a diagram showing information processing part 2 according to the embodiment. In FIG. 2, it is assumed that among the participants taking part in the meeting, there is a person who promotes the progress of the meeting, a so-called facilitator. Note that in FIG. 2, participant A is assumed to be the facilitator. The facilitator is responsible for drawing a conclusion at a predetermined time regarding the agenda that has been set in advance for the meeting.

実施形態に係る情報処理その2では、センサにより検出される参加者情報に基づいて、ミーティングに参加している参加者の発話意思と、ミーティングの状況を検出し、進行者に対してミーティングの進行を支援する支援情報を提供する。 Information processing part 2 of this embodiment detects the intention of participants in a meeting to speak and the situation of the meeting based on participant information detected by a sensor, and provides support information to the facilitator to help the meeting proceed.

具体的には、まず、実施形態に係る情報処理装置1は、参加者毎に、オンラインでのミーティングに参加している参加者からセンサによって検出される参加者情報を取得する(ステップS11)。なお、参加者情報の取得は、上記したステップS1と同様の処理であるため、記載を省略する。 Specifically, first, the information processing device 1 according to the embodiment acquires participant information for each participant who is participating in the online meeting, detected by a sensor (step S11). Note that since the acquisition of participant information is the same process as step S1 described above, a description thereof will be omitted.

つづいて、実施形態に係る情報処理装置1は、参加者情報に基づいて、ミーティングにおける参加者毎の発話意思と、ミーティングの状況を検出する(ステップS12)。なお、発話意思の検出は、上述したステップS2と同様の処理であるため、記載を省略する。 Next, the information processing device 1 according to the embodiment detects the intention to speak of each participant in the meeting and the situation of the meeting based on the participant information (step S12). Note that the detection of intention to speak is the same process as step S2 described above, and therefore will not be described again.

ミーティングの状況は、例えば、ミーティングの進捗状況(アジェンダの進捗状況)や、ミーティング終了(あるいは、各アジェンダ終了)までの残り時間、ミーティングで発話履歴、ミーティングの全体状況(話が盛り上がっているか否か、全員が発話しているか否か)等である。 The meeting status may include, for example, the progress of the meeting (progress of the agenda), the time remaining until the end of the meeting (or the end of each agenda item), the speech history during the meeting, and the overall status of the meeting (whether the conversation is lively or not, whether everyone is speaking or not), etc.

つづいて、実施形態に係る情報処理装置1は、検出した発話意思およびミーティングの状況に基づいて、ミーティングの進行を支援する支援情報を進行者へ提供する(ステップS13)。例えば、実施形態に係る情報処理装置1は、発話意思がある参加者Cの情報と、ミーティング(あるいは各アジェンダ)の残り時間とを進行者へ提供する。これにより、進行者は、残り時間の状況から参加者Cに対して発話を許可するかどうかを容易に判断できるため、ミーティング進行を適切に行うことができる。 Next, the information processing device 1 according to the embodiment provides the facilitator with support information to assist in the progress of the meeting based on the detected intention to speak and the meeting status (step S13). For example, the information processing device 1 according to the embodiment provides the facilitator with information about participant C who intends to speak and the remaining time in the meeting (or each agenda item). This allows the facilitator to easily determine whether to allow participant C to speak based on the remaining time, thereby allowing the meeting to proceed appropriately.

また、情報処理装置1は、例えば、残り時間の状況から、参加者Cに対してどの程度の時間の発話を許可できるかの情報を提供してもよい。また、情報処理装置1は、参加者毎に、発話意思の度合い(どの程度発話したいかの度合い)を示す表示情報を提供してもよい。 In addition, the information processing device 1 may provide information to participant C indicating how much time they are allowed to speak based on the remaining time, for example. In addition, the information processing device 1 may provide display information indicating the degree of intention to speak (the extent to which they want to speak) for each participant.

次に、図3を用いて、実施形態に係る情報処理システムSの構成例について説明する。図3は、実施形態に係る情報処理システムSの構成例を示すブロック図である。図3に示すように、実施形態に係る情報処理システムSは、情報処理装置1と、複数の参加者端末50とがネットワークNに対して有線又は無線により接続される。ネットワークNは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)等のネットワークである。 Next, an example configuration of an information processing system S according to an embodiment will be described using FIG. 3. FIG. 3 is a block diagram showing an example configuration of an information processing system S according to an embodiment. As shown in FIG. 3, in the information processing system S according to an embodiment, an information processing device 1 and multiple participant terminals 50 are connected to a network N via a wired or wireless connection. The network N is, for example, the Internet, a WAN (Wide Area Network), a LAN (Local Area Network), or the like.

情報処理装置1は、情報処理方法を実行するサーバ装置である。情報処理装置1は、参加者情報を取得して参加者の発話意思や、ミーティングの状況を検出することで、参加者の発話支援処理や、進行者への支援情報の提供等を行う。 The information processing device 1 is a server device that executes an information processing method. The information processing device 1 acquires participant information and detects participants' intentions to speak and the meeting situation, thereby providing speech support processing for participants and providing support information to the facilitator.

情報処理装置1は、各参加者の参加者端末50と連携し、各参加者の参加者端末50に対して、オンラインでのミーティングを行うアプリケーション(以下、アプリ)等に対するAPI(Application Programming Interface)サービス等と、各種データを提供する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。 The information processing device 1 is an information processing device that works in conjunction with each participant's participant terminal 50 and provides each participant's participant terminal 50 with API (Application Programming Interface) services for applications (hereinafter referred to as apps) that conduct online meetings, as well as various data, and is realized by a server device, cloud system, etc.

また、情報処理装置1は、各利用者の参加者端末50に対して、オンラインでのミーティングを行うWebサービスを提供する情報処理装置であってもよい。 In addition, the information processing device 1 may be an information processing device that provides a web service for conducting online meetings to each user's participant terminal 50.

参加者端末50は、参加者が所持する端末装置である。参加者端末50は、スマートフォン、デスクトップ型PC、ノート型PC、タブレット型PC等の任意のタイプの端末装置を用いることができる。参加者端末50は、参加者情報を検出する各種センサを備え、検出した参加者情報を情報処理装置1へ送信したり、情報処理装置1から提供される情報を受信したりする。 The participant terminal 50 is a terminal device carried by a participant. The participant terminal 50 can be any type of terminal device, such as a smartphone, desktop PC, notebook PC, or tablet PC. The participant terminal 50 is equipped with various sensors that detect participant information, and transmits the detected participant information to the information processing device 1 and receives information provided by the information processing device 1.

次に、図4を参照して、情報処理装置1の構成例について説明する。 Next, an example configuration of the information processing device 1 will be described with reference to Figure 4.

図4は、実施形態に係る情報処理装置1の構成例を示す図である。図4に示されるように、情報処理装置1は、通信部2と、制御部3と、記憶部4とを有する。制御部3は、取得部31と、検出部32と、MT制御部33とを備える。記憶部4は、参加者情報41を記憶する。 Figure 4 is a diagram showing an example configuration of an information processing device 1 according to an embodiment. As shown in Figure 4, the information processing device 1 has a communication unit 2, a control unit 3, and a memory unit 4. The control unit 3 includes an acquisition unit 31, a detection unit 32, and an MT control unit 33. The memory unit 4 stores participant information 41.

通信部2は、例えば、NIC(Network Interface Card)等によって実現される。通信部2は、有線または無線によりネットワーク網と接続される。 The communication unit 2 is realized, for example, by a network interface card (NIC). The communication unit 2 is connected to the network via a wired or wireless connection.

制御部3は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、情報処理装置1内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等を作業領域として実行されることにより実現される。また、制御部3は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、GPGPU(General Purpose Graphic Processing Unit)等の集積回路により実現されてもよい。 The control unit 3 is a controller, and is realized by a processor such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit) executing various programs (equivalent to examples of information processing programs) stored in a storage device within the information processing device 1 using RAM or the like as a working area. The control unit 3 may also be a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), or GPGPU (General Purpose Graphics Processing Unit).

記憶部4は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。 The storage unit 4 is realized, for example, by a semiconductor memory element such as RAM (Random Access Memory) or flash memory, or by a storage device such as a hard disk or optical disk.

参加者情報41は、参加者に関する情報である。図5は、参加者情報41の一例を示す図である。図5に示すように、参加者情報41は、「参加者ID」、「属性情報」、「MT履歴情報」等の項目を含む。 Participant information 41 is information about participants. Figure 5 shows an example of participant information 41. As shown in Figure 5, participant information 41 includes items such as "Participant ID," "Attribute information," and "MT history information."

「参加者ID」は、参加者を識別する識別情報である。「属性情報」は、参加者の属性に関する情報であり、サイコグラフィック属性や、デモグラフィック属性等を含む。「MT履歴情報」は、参加者が過去に参加したミーティングでの発話状況を履歴に関する情報であり、例えば、発話の頻度や、発話1回あたりの長さ、発話の積極性等を含む。 "Participant ID" is identification information that identifies a participant. "Attribute information" is information about the participant's attributes, including psychographic attributes and demographic attributes. "MT history information" is information about the history of speech in meetings that a participant has previously attended, including, for example, the frequency of speech, the length of each speech, and the activeness of speech.

次に、情報処理装置1の制御部3の各機能(取得部31、検出部32およびMT制御部33)について説明する。 Next, we will explain each function of the control unit 3 of the information processing device 1 (acquisition unit 31, detection unit 32, and MT control unit 33).

取得部31は、参加者情報を取得する。例えば、取得部31は、参加者端末50が備えるカメラで撮像された画像を参加者情報として取得する。また、取得部31は、参加者端末50が備える加速度センサの検出値を参加者情報として取得する。また、取得部31は、参加者端末50が備える(あるいは、参加者端末50と有線または無線接続される)生体センサ(脈拍センサや、体温センサ等)の検出値を参加者情報として取得する。また、取得部31は、参加者端末50が備えるタッチセンサ(タッチパネルの場合)の検出値(タッチ状況)を参加者情報として取得する。また、取得部31は、参加者端末50が備えるマイクによって集音した音声情報(発話の有無を含む)を参加者情報として取得する。 The acquisition unit 31 acquires participant information. For example, the acquisition unit 31 acquires, as participant information, an image captured by a camera provided in the participant terminal 50. The acquisition unit 31 also acquires, as participant information, the detection value of an acceleration sensor provided in the participant terminal 50. The acquisition unit 31 also acquires, as participant information, the detection value of a biosensor (such as a pulse sensor or a body temperature sensor) provided in the participant terminal 50 (or connected to the participant terminal 50 via a wired or wireless connection). The acquisition unit 31 also acquires, as participant information, the detection value (touch status) of a touch sensor (in the case of a touch panel) provided in the participant terminal 50. The acquisition unit 31 also acquires, as participant information, audio information (including whether or not there is speech) collected by a microphone provided in the participant terminal 50.

検出部32は、参加者毎の発話意思を検出する。例えば、検出部32は、カメラの画像に基づいて検出した参加者の動きから発話意思を検出する。例えば、検出部32は、参加者の口の動きから発話しようとしているか否かの発話意思を検出する。 The detection unit 32 detects each participant's intention to speak. For example, the detection unit 32 detects the participant's intention to speak from the participant's movements detected based on camera images. For example, the detection unit 32 detects the participant's intention to speak from the movement of their mouth.

また、検出部32は、参加者がマイクに近づいたり、喉を鳴らして声帯を整えたりした場合に、発話意思があることを検出する。また、検出部32は、カメラの画像に基づいて参加者のミーティングへの集中度を検出し、かかる集中度に基づいて発話意思を検出する。 The detection unit 32 also detects an intention to speak when a participant approaches the microphone or clears their throat to adjust their vocal cords. The detection unit 32 also detects the participant's level of concentration in the meeting based on camera images, and detects an intention to speak based on this level of concentration.

例えば、検出部32は、参加者がミーティングで共有された資料を見ていない場合や、他の画面を使って検索行動等を行っている場合には、集中度が低いとして、発話意思が無いことを検出する。 For example, if a participant is not looking at materials shared in a meeting or is performing searches or the like on another screen, the detection unit 32 determines that the participant is not concentrating and detects that the participant has no intention to speak.

また、検出部32は、参加者情報から検出(抽出)される上記の特徴(参加者の動き等)を説明変数とし、発話意思の有無を目的変数として生成されたモデルを用いて、発話意思の有無を検出してもよい。 The detection unit 32 may also detect the presence or absence of an intention to speak using a model generated using the above-mentioned features (participant movements, etc.) detected (extracted) from the participant information as explanatory variables and the presence or absence of an intention to speak as a target variable.

また、この説明変数には、例えば、ミーティングにおいてすべての参加者が発話していない無音期間や、参加者のMT履歴情報等をさらに加味してもよい。 Furthermore, this explanatory variable may also take into account, for example, silent periods in which none of the participants are speaking during the meeting, or participants' MT history information.

また、検出部32は、発話意思の有無に限らず、発話意思の程度(どの程度発話したいか)を検出してもよい。発話意思の程度は、例えば、上記した参加者情報や、無音期間、MT履歴情報を説明変数とし、発話意思の度合いを目的変数として生成されたモデルを用いて検出可能である。 Furthermore, the detection unit 32 may detect not only the presence or absence of an intention to speak, but also the degree of intention to speak (how much one wants to speak). The degree of intention to speak can be detected using, for example, a model generated using the above-mentioned participant information, silent periods, and MT history information as explanatory variables and the degree of intention to speak as the objective variable.

また、検出部32は、ミーティングの状況を検出する。例えば、検出部32は、ミーティングの進捗状況(アジェンダの進捗状況)や、ミーティング終了(あるいは、各アジェンダ終了)までの残り時間、ミーティングで発話履歴、ミーティングの全体状況(話が盛り上がっているか否か、全員が発話しているか否か)等の状況を検出する。 The detection unit 32 also detects the status of the meeting. For example, the detection unit 32 detects the progress of the meeting (progress of the agenda), the time remaining until the end of the meeting (or the end of each agenda item), the speech history during the meeting, and the overall status of the meeting (whether the conversation is lively or not, whether everyone is speaking or not), etc.

例えば、検出部32は、参加者のスケジュール情報によりミーティング終了の残り時間を検出したり、参加者の発話内容を解析して現在のアジェンダやミーティングの進捗状況を検出したりしてもよい。また、検出部32は、参加者(進行者)からアジェンダが移り変わったことを示す操作を受け付けてもよい。 For example, the detection unit 32 may detect the remaining time until the end of the meeting based on the participants' schedule information, or may analyze the content of participants' speech to detect the current agenda or the progress of the meeting. The detection unit 32 may also accept an operation from a participant (moderator) indicating that the agenda has changed.

MT制御部33は、ミーティングに関する各種制御を行う。図4に示すように、MT制御部33は、発話支援部331と、提供部332とを備える。 The MT control unit 33 performs various controls related to the meeting. As shown in FIG. 4, the MT control unit 33 includes a speech support unit 331 and a provision unit 332.

発話支援部331は、検出した発話意思に基づいて、参加者の発話を支援する発話支援処理を行う。例えば、発話支援部331は、発話意思がある参加者に対して発話を促す通知を行う。例えば、発話支援部331は、現在の発話している他の参加者の発話時間を予測し、予測した発話時間後に発話が可能である旨の通知を行う。発話時間は、例えば、他の参加者のMT履歴情報に基づいて予測可能である。 The speech support unit 331 performs speech support processing to support participants' speech based on the detected intention to speak. For example, the speech support unit 331 notifies participants who intend to speak to encourage them to speak. For example, the speech support unit 331 predicts the speaking time of other participants who are currently speaking, and notifies them that they will be able to speak after the predicted speaking time. The speaking time can be predicted, for example, based on the MT history information of the other participants.

また、発話支援部331は、発話意思がある参加者が発話を開始したタイミングで他の参加者の発話を禁止する処理を行ってもよい。発話を禁止する処理は、例えば、ミュート処理や、他の参加者へ発話を禁止する旨を示す通知を行う処理である。 The speech support unit 331 may also perform processing to prohibit other participants from speaking when a participant who intends to speak begins speaking. Processing to prohibit speaking may include, for example, muting, or notifying other participants that speaking is prohibited.

また、発話支援部331は、複数の参加者が発話意思を有する場合、例えば、参加者の属性情報や、ミーティングの状況に基づいて、発話を促す通知の順序を決定してもよい。例えば、発話支援部331は、参加者の役職が上位のものから順に発話を促す通知を行ったり、ミーティングの残り時間が少ない場合には、ミーティングのアジェンダと関わりが深い参加者(アジェンダに関わる職務内容の参加者等)に優先的に発話を促す通知を行ってもよい。また、発話支援部331は、過去のミーティングにおける参加者の発話の積極性に基づいて発話を促す通知の順序を決定してもよい。例えば、発話支援部331は、発話に積極的な参加者および消極的な参加者それぞれが発話意思を示した場合、消極的な参加者に対して優先して発話を促す通知を行う。また、発話支援部331は、MT履歴情報により、ミーティングの終了間際に発話する参加者については、発話を促す通知の優先度を下げるようにしてもよい。また、発話支援部331は、参加者毎の発話意思の度合いに応じて優先度を付けてもよい。 Furthermore, when multiple participants intend to speak, the speech support unit 331 may determine the order of notifications encouraging speech based on, for example, the participant's attribute information or the meeting situation. For example, the speech support unit 331 may issue notifications encouraging speech in order of the participant's position, or, if there is little time left in the meeting, may prioritize notifications encouraging speech to participants who are closely involved in the meeting agenda (e.g., participants whose job duties are related to the agenda). The speech support unit 331 may also determine the order of notifications encouraging speech based on the participants' proactiveness in speaking in past meetings. For example, when both an active participant and a passive participant express an intention to speak, the speech support unit 331 may prioritize notifications encouraging speech to the passive participant. The speech support unit 331 may also lower the priority of notifications encouraging speech for participants who are likely to speak near the end of the meeting based on MT history information. Additionally, the speech support unit 331 may assign priorities to each participant according to their level of willingness to speak.

提供部332は、検出した発話意思およびミーティングの状況に基づいて、ミーティングの進行を支援する支援情報を進行者へ提供する。例えば、提供部332は、発話意思がある参加者Cの情報と、ミーティング(あるいは各アジェンダ)の残り時間とを進行者へ提供する。これにより、進行者は、残り時間の状況から参加者Cに対して発話を許可するかどうかを容易に判断できるため、ミーティング進行を適切に行うことができる。 The providing unit 332 provides the facilitator with support information to assist in the progress of the meeting based on the detected intention to speak and the status of the meeting. For example, the providing unit 332 provides the facilitator with information about participant C who intends to speak and the remaining time in the meeting (or each agenda item). This allows the facilitator to easily determine whether to allow participant C to speak based on the remaining time, thereby allowing the meeting to proceed appropriately.

また、提供部332は、例えば、残り時間の状況から、参加者Cに対してどの程度の時間の発話を許可できるか(発話可能時間)の情報を提供してもよい。つまり、提供部332は、ミーティングの進捗状況に基づいて、発話許可に関する許可情報を提供する。また、提供部332は、参加者毎に、発話意思の度合い(どの程度発話したいかの度合い)を示す表示情報を提供してもよい。例えば、提供部332は、発話意思の度合いに応じた表示態様の支援情報を表示する。これにより、参加者がどの程度発話意思があるのかを進行者が容易に判断できる。 The providing unit 332 may also provide information on how much time participant C is allowed to speak (allowed speaking time), for example, based on the remaining time. In other words, the providing unit 332 provides permission information regarding speaking permission based on the progress of the meeting. The providing unit 332 may also provide display information indicating the degree of willingness to speak (the extent to which the participant wants to speak) for each participant. For example, the providing unit 332 displays support information in a display format according to the degree of willingness to speak. This allows the facilitator to easily determine the extent to which the participants intend to speak.

また、提供部332は、検出部32によって検出されたアジェンダ毎の状況に基づいて、アジェンダ単位で支援情報を提供する。これにより、アジェンダ毎に適切に進行することができる。 In addition, the providing unit 332 provides support information on an agenda-by-agenda basis based on the status of each agenda detected by the detecting unit 32. This allows for appropriate progress to be made for each agenda.

次に、図6および図7を用いて、実施形態に係る情報処理装置1が実行する情報処理その1およびその2の処理手順について説明する。図6は、実施形態に係る情報処理装置1が実行する情報処理その1の処理手順を示すフローチャートである。図7は、実施形態に係る情報処理装置1が実行する情報処理その2の処理手順を示すフローチャートである。 Next, the processing procedures for information processing part 1 and part 2 executed by the information processing device 1 according to the embodiment will be described using Figures 6 and 7. Figure 6 is a flowchart showing the processing procedures for information processing part 1 executed by the information processing device 1 according to the embodiment. Figure 7 is a flowchart showing the processing procedures for information processing part 2 executed by the information processing device 1 according to the embodiment.

図6に示すように、情報処理その1では、制御部3は、まず、参加者端末50を介して、参加者情報を取得する(ステップS101)。つづいて、制御部3は、参加者情報に基づいて、参加者の発話意思を検出する(ステップS102)。つづいて、制御部3は、検出した発話意思に基づいて、参加者の発話を支援する発話支援処理を行い(ステップS103)、処理を終了する。 As shown in FIG. 6, in information processing 1, the control unit 3 first acquires participant information via the participant terminal 50 (step S101). Next, the control unit 3 detects the participant's intention to speak based on the participant information (step S102). Next, the control unit 3 performs speech support processing to support the participant's speech based on the detected intention to speak (step S103), and then ends the processing.

次に、図7に示すように、情報処理その2では、制御部3は、まず、参加者端末50を介して、参加者情報を取得する(ステップS201)。つづいて、制御部3は、参加者情報に基づいて、参加者の発話意思およびミーティングの状況を検出する(ステップS202)。つづいて、制御部3は、検出した発話意思およびミーティングの状況に基づいて、ミーティングの進行を支援する支援情報を進行者へ提供し(ステップS203)、処理を終了する。 Next, as shown in FIG. 7, in information processing 2, the control unit 3 first acquires participant information via the participant terminal 50 (step S201). Next, the control unit 3 detects the participants' intention to speak and the meeting situation based on the participant information (step S202). Next, the control unit 3 provides the facilitator with support information to support the progress of the meeting based on the detected intention to speak and the meeting situation (step S203), and then ends the processing.

〔その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の一部を手動的に行うこともできる。あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
〔others〕
Furthermore, among the processes described in the above embodiments, some of the processes described as being performed automatically can also be performed manually. Alternatively, all or some of the processes described as being performed manually can be performed automatically using known methods. In addition, the information including the processing procedures, specific names, various data, and parameters shown in the above documents and drawings can be changed as desired unless otherwise specified. For example, the various information shown in each drawing is not limited to the information shown in the drawings.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Furthermore, the components of each device shown in the figure are functional concepts and do not necessarily have to be physically configured as shown. In other words, the specific form of distribution and integration of each device is not limited to that shown, and all or part of them can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.

例えば、図4に示した記憶部4の一部又は全部は、各装置によって保持されるのではなく、ストレージサーバ等に保持されてもよい。この場合、各装置は、ストレージサーバにアクセスすることで、各種情報を取得する。 For example, part or all of the memory unit 4 shown in FIG. 4 may be stored in a storage server or the like, rather than being stored in each device. In this case, each device obtains various information by accessing the storage server.

〔ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置1は、例えば図8に示すような構成のコンピュータ1000によって実現される。図8は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
[Hardware configuration]
The information processing device 1 according to the embodiment described above is realized by, for example, a computer 1000 configured as shown in Fig. 8. Fig. 8 is a diagram showing an example of a hardware configuration. The computer 1000 is connected to an output device 1010 and an input device 1020, and has a configuration in which a calculation device 1030, a primary storage device 1040, a secondary storage device 1050, an output IF (Interface) 1060, an input IF 1070, and a network IF 1080 are connected via a bus 1090.

演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。 The arithmetic device 1030 operates based on programs stored in the primary storage device 1040 and secondary storage device 1050, and programs read from the input device 1020, and executes various processes. The primary storage device 1040 is a memory device, such as RAM, that temporarily stores data used by the arithmetic device 1030 for various calculations. The secondary storage device 1050 is a storage device in which data used by the arithmetic device 1030 for various calculations and various databases are registered, and is realized by a ROM (Read Only Memory), HDD (Hard Disk Drive), flash memory, etc.

出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。 The output IF 1060 is an interface for transmitting information to be output to an output device 1010, such as a monitor or printer, which outputs various types of information. It is implemented, for example, by a connector conforming to a standard such as USB (Universal Serial Bus), DVI (Digital Visual Interface), or HDMI (High Definition Multimedia Interface). The input IF 1070 is an interface for receiving information from various input devices 1020, such as a mouse, keyboard, and scanner, and is implemented, for example, by USB.

なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。 The input device 1020 may be a device that reads information from optical recording media such as a CD (Compact Disc), DVD (Digital Versatile Disc), or PD (Phase Change Rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. The input device 1020 may also be an external storage medium such as a USB memory.

ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。 Network IF 1080 receives data from other devices via network N and sends it to the computing device 1030, and also transmits data generated by the computing device 1030 to other devices via network N.

演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。 The arithmetic unit 1030 controls the output device 1010 and the input device 1020 via the output IF 1060 and the input IF 1070. For example, the arithmetic unit 1030 loads a program from the input device 1020 or the secondary storage device 1050 onto the primary storage device 1040 and executes the loaded program.

例えば、コンピュータ1000が情報処理装置1として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部3の機能を実現する。 For example, when the computer 1000 functions as the information processing device 1, the arithmetic unit 1030 of the computer 1000 realizes the functions of the control unit 3 by executing a program loaded onto the primary storage device 1040.

〔効果〕
上述してきたように、実施形態に係る情報処理装置1は、取得部31と、検出部32と、発話支援部331とを備える。取得部31は、オンラインでのミーティングに参加している参加者からセンサによって検出される参加者情報を取得する。検出部32は、参加者情報に基づいて、ミーティングにおける参加者の発話意思を検出する。発話支援部331は、検出した発話意思に基づいて、参加者の発話を支援する発話支援処理を行う。取得部31は、参加者が所持する参加者端末50に備えられたカメラの画像を参加者情報として取得する。検出部32は、カメラの画像に基づいて検出された参加者の動きに基づいて発話意思を検出する。検出部32は、参加者の動きとして、参加者の口の動きを検出する。検出部32は、カメラの画像に基づいて検出された参加者のミーティングへの集中度に基づいて発話意思を検出する。取得部31は、参加者の現在の発話の有無を参加者情報として取得する。検出部32は、ミーティングにおいてすべての参加者が発話していない無音期間を検出し、無音期間に基づいて発話意思を検出する。取得部31は、参加者の過去のミーティングにおける発話状況の情報を取得する。検出部32は、過去のミーティングにおける発話状況に基づいて発話意思を検出する。発話支援部331は、発話意思があると検出された参加者に対して、発話を促す通知を行う。発話支援部331は、発話意思があると検出された参加者が発話を開始したタイミングで、他の参加者の発話を禁止する処理を行う。発話を禁止する処理は、ミュート処理である。このような構成により、参加者の発話を適切に支援することができる。
〔effect〕
As described above, the information processing device 1 according to the embodiment includes an acquisition unit 31, a detection unit 32, and a speech support unit 331. The acquisition unit 31 acquires participant information detected by a sensor from participants participating in an online meeting. The detection unit 32 detects the participants' intention to speak in the meeting based on the participant information. The speech support unit 331 performs speech support processing to support the participants' speech based on the detected intention to speak. The acquisition unit 31 acquires, as participant information, images captured by a camera provided in the participant terminal 50 carried by the participant. The detection unit 32 detects the participants' intention to speak based on the movements of the participants detected based on the camera images. The detection unit 32 detects the participants' mouth movements as the movements of the participants. The detection unit 32 detects the participants' intention to speak based on the participants' levels of concentration on the meeting detected based on the camera images. The acquisition unit 31 acquires whether or not the participants are currently speaking as participant information. The detection unit 32 detects silent periods in the meeting in which none of the participants are speaking, and detects the participants' intention to speak based on the silent periods. The acquisition unit 31 acquires information on the speech situations of participants in past meetings. The detection unit 32 detects an intention to speak based on the speech situations in past meetings. The speech support unit 331 notifies participants who are detected as intending to speak to encourage them to speak. When a participant who is detected as intending to speak starts speaking, the speech support unit 331 performs processing to prohibit other participants from speaking. The processing to prohibit speaking is muting processing. With this configuration, it is possible to appropriately support participants' speech.

また、上述してきたように、実施形態に係る情報処理装置1は、取得部31と、検出部32と、提供部332とを備える。取得部31は、オンラインでのミーティングに参加している参加者それぞれからセンサによって検出される参加者情報を取得する。検出部32は、参加者情報に基づいて、ミーティングにおける参加者の発話意思と、ミーティングの状況とを検出する。提供部332は、検出した発話意思およびミーティングの状況に基づいて、ミーティングの進行を支援する支援情報をミーティングの進行者へ提供する。検出部32は、ミーティングの進捗状況を検出する。提供部332は、進捗状況に基づいて、発話意思がある参加者の発話許可に関する許可情報を進行者へ提供する。許可情報は、ミーティングの残り時間に基づく発話許可時間の情報を含む。検出部32は、ミーティングにおけるアジェンダ毎に状況を検出する。提供部332は、アジェンダ単位で支援情報を進行者へ提供する。検出部32は、発話意思の度合いを検出する。提供部332は、発話意思の度合いに応じた支援情報を提供する。提供部332は、発話意思の度合いに応じた表示態様の情報を提供する。取得部31は、参加者が所持する参加者端末50に備えられたカメラの画像を参加者情報として取得する。検出部32は、カメラの画像に基づいて検出された参加者の動きに基づいて発話意思を検出する。検出部32は、参加者の動きとして、参加者の口の動きを検出する。検出部32は、カメラの画像に基づいて検出された参加者のミーティングへの集中度に基づいて発話意思を検出する。取得部31は、参加者の過去のミーティングにおける発話状況の情報を取得する。検出部32は、過去のミーティングにおける発話状況に基づいて発話意思を検出する。このような構成により、ミーティング進行を適切に行うことができる。 As described above, the information processing device 1 according to the embodiment includes an acquisition unit 31, a detection unit 32, and a provision unit 332. The acquisition unit 31 acquires participant information detected by a sensor from each participant participating in an online meeting. The detection unit 32 detects the participant's intention to speak in the meeting and the status of the meeting based on the participant information. The provision unit 332 provides support information to the meeting facilitator to support the progress of the meeting based on the detected intention to speak and the status of the meeting. The detection unit 32 detects the progress of the meeting. The provision unit 332 provides the facilitator with permission information regarding speech permission for participants who intend to speak based on the progress status. The permission information includes information on the permitted speaking time based on the remaining time of the meeting. The detection unit 32 detects the status for each agenda item in the meeting. The provision unit 332 provides the facilitator with support information for each agenda item. The detection unit 32 detects the degree of intention to speak. The provision unit 332 provides support information according to the degree of intention to speak. The providing unit 332 provides information on the display mode according to the degree of intention to speak. The acquiring unit 31 acquires, as participant information, images from a camera provided on the participant terminal 50 carried by the participant. The detecting unit 32 detects an intention to speak based on the movement of the participant detected based on the camera image. The detecting unit 32 detects the movement of the participant's mouth as the movement of the participant. The detecting unit 32 detects an intention to speak based on the participant's level of concentration on the meeting detected based on the camera image. The acquiring unit 31 acquires information on the participant's speech situation in past meetings. The detecting unit 32 detects an intention to speak based on the speech situation in past meetings. This configuration allows the meeting to proceed appropriately.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 The above describes in detail some of the embodiments of the present application based on the drawings, but these are merely examples, and the present invention can be implemented in other forms that incorporate various modifications and improvements based on the knowledge of those skilled in the art, including the aspects described in the Disclosure of the Invention section.

〔その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
〔others〕
Furthermore, among the processes described in the above embodiments, all or part of the processes described as being performed automatically can be performed manually, or all or part of the processes described as being performed manually can be performed automatically using known methods. In addition, the information including the processing procedures, specific names, various data, and parameters shown in the above documents and drawings can be changed as desired unless otherwise specified. For example, the various information shown in each drawing is not limited to the information shown in the drawings.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Furthermore, the components of each device shown in the figure are functional concepts and do not necessarily have to be physically configured as shown. In other words, the specific form of distribution and integration of each device is not limited to that shown, and all or part of them can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.

また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Furthermore, the processes described in the above embodiments can be combined as appropriate to the extent that the processing content is not contradictory.

また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、制御部3は、制御手段や制御回路に読み替えることができる。 Furthermore, the above-mentioned "section, module, unit" can be interpreted as "means" or "circuit." For example, the control unit 3 can be interpreted as control means or control circuit.

1 情報処理装置
2 通信部
3 制御部
4 記憶部
31 取得部
32 検出部
33 MT制御部
41 参加者情報
50 参加者端末
331 発話支援部
332 提供部
S 情報処理システム
REFERENCE SIGNS LIST 1 Information processing device 2 Communication unit 3 Control unit 4 Storage unit 31 Acquisition unit 32 Detection unit 33 MT control unit 41 Participant information 50 Participant terminal 331 Speech support unit 332 Provision unit S Information processing system

Claims (10)

オンラインでのミーティングに参加している参加者からセンサによって検出される参加者情報を取得する取得部と、
前記参加者情報に基づいて、前記ミーティングにおける前記参加者が発話しようとしていることを示す発話意思を検出する検出部と、
検出した前記発話意思に基づいて、前記参加者の発話を支援する発話支援処理を行う発話支援部と
を備え
前記取得部は、
前記参加者の過去の前記ミーティングにおける発話状況の情報を取得し、
前記検出部は、
前記過去の前記ミーティングにおける発話状況に基づいて前記発話意思を検出すること
を特徴とする情報処理装置。
an acquisition unit that acquires participant information detected by a sensor from participants participating in an online meeting;
a detection unit that detects, based on the participant information, an intention to speak, which indicates that the participant in the meeting is about to speak;
a speech support unit that performs speech support processing to support the speech of the participant based on the detected intention to speak ;
Equipped with
The acquisition unit
Acquire information about the participants' speech situations in the past meetings;
The detection unit
Detecting the intention to speak based on the speech situations in the past meetings.
An information processing device characterized by:
前記取得部は、
参加者が所持する参加者端末に備えられたカメラの画像を前記参加者情報として取得し、
前記検出部は、
前記カメラの画像に基づいて検出された参加者の動きに基づいて前記発話意思を検出すること
を特徴とする請求項1に記載の情報処理装置。
The acquisition unit
Acquires an image from a camera equipped on a participant terminal carried by the participant as the participant information;
The detection unit
The information processing device according to claim 1 , wherein the intention to speak is detected based on the movement of the participant detected based on the image captured by the camera.
前記検出部は、
前記参加者の動きとして、前記参加者の口の動きを検出すること
を特徴とする請求項2に記載の情報処理装置。
The detection unit
The information processing device according to claim 2 , wherein the movement of the participant is detected by detecting the movement of the mouth of the participant.
前記検出部は、
前記カメラの画像に基づいて検出された前記参加者の前記ミーティングへの集中度に基づいて前記発話意思を検出すること
を特徴とする請求項2または3に記載の情報処理装置。
The detection unit
The information processing device according to claim 2 or 3, wherein the intention to speak is detected based on the degree of concentration of the participants in the meeting detected based on the image from the camera.
前記取得部は、
前記参加者の現在の発話の有無を前記参加者情報として取得し、
前記検出部は、
前記ミーティングにおいてすべての前記参加者が発話していない無音期間を検出し、前記無音期間に基づいて前記発話意思を検出すること
を特徴とする請求項1~4のいずれか1つに記載の情報処理装置。
The acquisition unit
acquiring, as the participant information, whether or not the participant is currently speaking;
The detection unit
5. The information processing device according to claim 1, further comprising: detecting a silent period in which none of the participants is speaking in the meeting; and detecting the intention to speak based on the silent period.
前記発話支援部は、
前記発話意思があると検出された前記参加者に対して、前記発話を促す通知を行うこと
を特徴とする請求項1~のいずれか1つに記載の情報処理装置。
The speech support unit
The information processing device according to claim 1 , further comprising: a notification that prompts the participant who is detected as having the intention to speak to speak.
前記発話支援部は、
前記発話意思があると検出された前記参加者が発話を開始したタイミングで、他の前記参加者の発話を禁止する処理を行うこと
を特徴とする請求項1~のいずれか1つに記載の情報処理装置。
The speech support unit
The information processing device according to any one of claims 1 to 6 , wherein when the participant detected as having the intention to speak starts speaking, a process of prohibiting other participants from speaking is performed.
前記発話を禁止する処理は、
ミュート処理であること
を特徴とする請求項に記載の情報処理装置。
The process of prohibiting speech includes:
The information processing device according to claim 7 , wherein the processing is a muting process.
コンピュータが実行する情報処理方法であって、
オンラインでのミーティングに参加している参加者からセンサによって検出される参加者情報を取得する取得工程と、
前記参加者情報に基づいて、前記ミーティングにおける前記参加者が発話しようとしていることを示す発話意思を検出する検出工程と、
検出した前記発話意思に基づいて、前記参加者の発話を支援する発話支援処理を行う発話支援工程と
を含み、
前記取得工程は、
前記参加者の過去の前記ミーティングにおける発話状況の情報を取得し、
前記検出工程は、
前記過去の前記ミーティングにおける発話状況に基づいて前記発話意思を検出すること
を特徴とする情報処理方法。
1. A computer-implemented information processing method, comprising:
an acquisition step of acquiring participant information detected by a sensor from participants participating in an online meeting;
a detecting step of detecting an intention to speak based on the participant information, the intention indicating that the participant in the meeting is about to speak;
a speech support step of performing a speech support process to support the speech of the participant based on the detected intention to speak ;
Including,
The obtaining step includes:
Acquire information about the participants' speech situations in the past meetings;
The detecting step
Detecting the intention to speak based on the speech situations in the past meetings.
An information processing method comprising:
オンラインでのミーティングに参加している参加者からセンサによって検出される参加者情報を取得する取得手順と、
前記参加者情報に基づいて、前記ミーティングにおける前記参加者が発話しようとしていることを示す発話意思を検出する検出手順と、
検出した前記発話意思に基づいて、前記参加者の発話を支援する発話支援処理を行う発話支援手順と
をコンピュータに実行させ
前記取得手順は、
前記参加者の過去の前記ミーティングにおける発話状況の情報を取得し、
前記検出手順は、
前記過去の前記ミーティングにおける発話状況に基づいて前記発話意思を検出すること
を特徴とする情報処理プログラム。
An acquisition step of acquiring participant information detected by a sensor from participants participating in an online meeting;
a detection step of detecting an intention to speak, which indicates that the participant in the meeting is about to speak, based on the participant information;
a speech support procedure for performing a speech support process to support the speech of the participant based on the detected intention to speak ;
on the computer ,
The acquisition procedure includes:
Acquire information about the participants' speech situations in the past meetings;
The detection procedure comprises:
Detecting the intention to speak based on the speech situations in the past meetings.
An information processing program characterized by:
JP2021151434A 2021-09-16 2021-09-16 Information processing device, information processing method, and information processing program Active JP7742745B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021151434A JP7742745B2 (en) 2021-09-16 2021-09-16 Information processing device, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021151434A JP7742745B2 (en) 2021-09-16 2021-09-16 Information processing device, information processing method, and information processing program

Publications (2)

Publication Number Publication Date
JP2023043684A JP2023043684A (en) 2023-03-29
JP7742745B2 true JP7742745B2 (en) 2025-09-22

Family

ID=85725348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021151434A Active JP7742745B2 (en) 2021-09-16 2021-09-16 Information processing device, information processing method, and information processing program

Country Status (1)

Country Link
JP (1) JP7742745B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337659A (en) 2005-06-01 2006-12-14 Nissan Motor Co Ltd Voice input device and voice recognition device
JP2012198726A (en) 2011-03-20 2012-10-18 Univ Of Tokyo Conversation support device and conversation support method
JP2014053890A (en) 2012-09-10 2014-03-20 Polycom Inc Automatic microphone muting of undesired noises
JP2017188133A (en) 2017-05-25 2017-10-12 富士通株式会社 Display program, display method and display device
JP2019046331A (en) 2017-09-06 2019-03-22 公立大学法人岡山県立大学 Information processing system using pupillary reaction
JP2020088637A (en) 2018-11-27 2020-06-04 株式会社イトーキ Conference support system and conference robot
JP2020537777A (en) 2017-10-20 2020-12-24 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited Methods and devices for identifying the user's intent of speech

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797794B2 (en) * 1986-07-16 1995-10-18 株式会社金門製作所 Signal transmission device for conference call system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337659A (en) 2005-06-01 2006-12-14 Nissan Motor Co Ltd Voice input device and voice recognition device
JP2012198726A (en) 2011-03-20 2012-10-18 Univ Of Tokyo Conversation support device and conversation support method
JP2014053890A (en) 2012-09-10 2014-03-20 Polycom Inc Automatic microphone muting of undesired noises
JP2017188133A (en) 2017-05-25 2017-10-12 富士通株式会社 Display program, display method and display device
JP2019046331A (en) 2017-09-06 2019-03-22 公立大学法人岡山県立大学 Information processing system using pupillary reaction
JP2020537777A (en) 2017-10-20 2020-12-24 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited Methods and devices for identifying the user's intent of speech
JP2020088637A (en) 2018-11-27 2020-06-04 株式会社イトーキ Conference support system and conference robot

Also Published As

Publication number Publication date
JP2023043684A (en) 2023-03-29

Similar Documents

Publication Publication Date Title
US20210029131A1 (en) Conditional provision of access by interactive assistant modules
Fogarty et al. Predicting human interruptibility with sensors
JP6494640B2 (en) Privacy mode activated by privacy filtering and status of requested user data
Mehrotra et al. Intelligent notification systems: A survey of the state of the art and research challenges
CN116210217B (en) Method and apparatus for video conferencing
KR20170058997A (en) Device-specific user context adaptation of computing environment
CN107924267A (en) Situation privacy engine for notice
Glasser et al. Understanding Deaf and Hard-of-Hearing users' interest in sign-language interaction with personal-assistant devices
US11928649B2 (en) Resolving remote meeting conflicts using learned attributes and context information
CN118318226A (en) Generates notifications providing context for predicted content outages
US20210233524A1 (en) Placing a voice response system into a forced sleep state
JP7742745B2 (en) Information processing device, information processing method, and information processing program
JP7723549B2 (en) Information processing device, information processing method, and information processing program
JP7561101B2 (en) Information processing device, information processing method, and information processing program
JP7263471B2 (en) Information processing device, information processing method and information processing program
Nihei et al. Change in the relationship between the elderly and information support robot system living together
JP7335299B2 (en) Information processing device, information processing method and information processing program
JP6590859B2 (en) Determination apparatus, determination method, and determination program
JP6496220B2 (en) Information distribution apparatus and information distribution program
JP2023138095A (en) Support device, support method, and support program
US8140979B2 (en) System and method for managing computer operations according to stored user preferences
JP6130027B1 (en) Determination apparatus, determination method, and determination program
CN112204937A (en) Method and system for enabling digital assistants to generate context-aware responses
Fowler Google is always listening. Now it's watching, too, with the Nest Hub Max
Hahn et al. How to Respect Bystanders' Privacy in Smart Homes-A Co-Creation Study

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20231026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250909

R150 Certificate of patent or registration of utility model

Ref document number: 7742745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150