JP6957915B2

JP6957915B2 - Information processing equipment, alert methods, and programs

Info

Publication number: JP6957915B2
Application number: JP2017054206A
Authority: JP
Inventors: 翔平福山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-03-21
Filing date: 2017-03-21
Publication date: 2021-11-02
Anticipated expiration: 2037-03-21
Also published as: JP2018156522A

Description

本発明は、テレフォンオペレータの業務を支援する技術に関する。 The present invention relates to a technique for supporting the work of a telephone operator.

テレフォンオペレータの業務を支援する技術の一例が下記特許文献１に開示されている。下記特許文献１の技術では、まず、顧客とオペレータとの間の会話（音声）を解析することによって顧客およびオペレータの怒りの感情度合が数値化される。それぞれ数値化された感情度合はオペレータを統轄する管理者が使用する端末上に表示され、当該管理者は、端末上に表示される感情度合に基づいて、顧客との通話をオペレータと交代すべきか否かを判断する。そして、顧客との通話をオペレータと交代すべきと判断される場合には、管理者は、顧客の通話先を自身の端末に切り替えるための要求を送信する操作を行い、通話をオペレータから引き継ぐことができる。 An example of a technique for supporting the work of a telephone operator is disclosed in Patent Document 1 below. In the technique of Patent Document 1 below, first, the emotional degree of anger of the customer and the operator is quantified by analyzing the conversation (voice) between the customer and the operator. Each quantified emotional level is displayed on the terminal used by the administrator who controls the operator, and should the administrator replace the call with the customer with the operator based on the emotional level displayed on the terminal? Judge whether or not. Then, when it is determined that the call with the customer should be replaced by the operator, the administrator performs an operation of sending a request for switching the customer's call destination to his / her own terminal, and takes over the call from the operator. Can be done.

また、感情認識に関する技術の一例が下記特許文献２に開示されている。下記特許文献２には、ヒューマノイドエージェントに応用される、画像処理を用いた人物の表情認識技術が開示されている。 Further, an example of a technique related to emotion recognition is disclosed in Patent Document 2 below. Patent Document 2 below discloses a facial expression recognition technique for a person using image processing, which is applied to a humanoid agent.

特開２０１５−１４１４２８号公報Japanese Unexamined Patent Publication No. 2015-141428 特開２００５−２９３５３９号公報Japanese Unexamined Patent Publication No. 2005-293539

コンタクトセンターでは、業務に不慣れなオペレータであっても基本的に一人で業務に携わらなければならないことがある。このようなオペレータによる対応では、顧客と十分にコミュニケーションが取れない可能性が比較的高い。このような場合、一般的には、各オペレータを統轄するスーパーバイザが、コミュニケーション不足によるトラブルが発生する前（トラブルが発生した場合は出来る限り早い段階）にそのオペレータを支援するのが望ましい。 At a contact center, even an operator who is unfamiliar with work may basically have to work alone. With such an operator response, there is a relatively high possibility that sufficient communication with the customer will not be possible. In such a case, it is generally desirable that the supervisor who controls each operator assists the operator before the trouble occurs due to lack of communication (when the trouble occurs, as soon as possible).

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、テレフォンオペレータを統轄するスーパーバイザによる、各オペレータの業務支援作業を円滑にする技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is to provide a technique for facilitating the business support work of each operator by the supervisor who controls the telephone operator.

本発明の第１の情報処理装置は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析手段と、（２）前記オペレータの画像データを解析する画像解析手段と、（３）前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力手段と、を備え、前記音声解析手段は、前記音声データのうち、前記顧客の発話データのみを解析する。
本発明の第２の情報処理装置は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析手段と、（２）前記オペレータの画像データを解析する画像解析手段と、（３）前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力手段と、を備え、前記アラーム出力手段は、前記顧客とオペレータとの間の通話時間、または、前記音声データの解析結果の変化もしくは前記画像データの解析結果の変化を示す情報を取得し、前記通話時間または前記情報に基づいて前記アラームの優先度を決定し、当該アラームの優先度を前記スーパーバイザの端末に通知する。
本発明の第３の情報処理装置は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析手段と、（２）前記オペレータの画像データを解析する画像解析手段と、（３）前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力手段と、を備え、前記アラーム出力手段は、前記顧客と前記オペレータとの通話時間が所定の閾値以上の場合に、前記音声データの解析結果および前記画像データの解析結果を用いて前記アラームを出力するか否かを判断する。
本発明の第４の情報処理装置は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析手段と、（２）前記オペレータの画像データを解析する画像解析手段と、（３）前記音声データの解析結果と前記画像データの解析結果のそれぞれを所定のアラーム出力条件と比較し、前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が前記所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力手段と、を備える。 The first information processing apparatus of the present invention includes (1) a voice analysis means for analyzing voice data indicating a call content between a customer and an operator, and (2) an image analysis means for analyzing the image data of the operator. (3) An alarm output means that outputs an alarm to the terminal of the supervisor that manages the operator when at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition. The voice analysis means analyzes only the speech data of the customer among the voice data .
The second information processing apparatus of the present invention includes (1) a voice analysis means for analyzing voice data indicating the content of a call between a customer and an operator, and (2) an image analysis means for analyzing the image data of the operator. (3) An alarm output means that outputs an alarm to the terminal of the supervisor that manages the operator when at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition. The alarm output means acquires information indicating a change in the talk time between the customer and the operator, a change in the analysis result of the voice data, or a change in the analysis result of the image data, and the talk time or The priority of the alarm is determined based on the information, and the priority of the alarm is notified to the terminal of the supervisor.
The third information processing apparatus of the present invention includes (1) a voice analysis means for analyzing voice data indicating the content of a call between a customer and an operator, and (2) an image analysis means for analyzing the image data of the operator. (3) An alarm output means that outputs an alarm to the terminal of the supervisor that manages the operator when at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition. Whether or not the alarm output means outputs the alarm using the analysis result of the voice data and the analysis result of the image data when the talk time between the customer and the operator is equal to or longer than a predetermined threshold value. To judge.
The fourth information processing apparatus of the present invention includes (1) a voice analysis means for analyzing voice data indicating the content of a call between a customer and an operator, and (2) an image analysis means for analyzing the image data of the operator. (3) Each of the analysis result of the voice data and the analysis result of the image data is compared with a predetermined alarm output condition, and at least one of the analysis result of the voice data and the analysis result of the image data is the predetermined alarm. An alarm output means for outputting an alarm to a supervisor terminal that manages the operator when the output condition is satisfied is provided.

本発明の第１の注意喚起方法は、コンピュータによって実行される。当該注意喚起方法は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析し、（２）前記オペレータの画像データを解析し、（３）前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力する、ことを含み、前記コンピュータが、前記音声データのうち、前記顧客の発話データのみを解析する。
本発明の第２の注意喚起方法は、コンピュータによって実行される。当該注意喚起方法は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析し、（２）前記オペレータの画像データを解析し、（３）前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力する、ことを含み、前記コンピュータが、前記顧客とオペレータとの間の通話時間、または、前記音声データの解析結果の変化もしくは前記画像データの解析結果の変化を示す情報を取得し、前記通話時間または前記情報に基づいて前記アラームの優先度を決定し、当該アラームの優先度を前記スーパーバイザの端末に通知する。
本発明の第３の注意喚起方法は、コンピュータによって実行される。当該注意喚起方法は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析し、（２）前記オペレータの画像データを解析し、（３）前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力する、ことを含み、前記コンピュータが、前記顧客と前記オペレータとの通話時間が所定の閾値以上の場合に、前記音声データの解析結果および前記画像データの解析結果を用いて前記アラームを出力するか否かを判断する。
本発明の第４の注意喚起方法は、コンピュータによって実行される。当該注意喚起方法は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析し、（２）前記オペレータの画像データを解析し、（３）前記音声データの解析結果と前記画像データの解析結果のそれぞれを所定のアラーム出力条件と比較し、前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が前記所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力する、ことを含む。 The first alerting method of the present invention is performed by a computer. The alerting method includes (1) analyzing voice data indicating the content of a call between a customer and an operator, (2) analyzing image data of the operator, and (3) analyzing the voice data and the image. when at least one of the analysis result of the data meets a predetermined alarm output condition, and outputs an alarm to the supervisor terminal for managing the operator, seeing including that, the computer is, among the voice data, the customer Analyze only the utterance data of .
The second alerting method of the present invention is performed by a computer. The alerting method includes (1) analyzing voice data indicating the content of a call between a customer and an operator, (2) analyzing image data of the operator, and (3) analyzing the voice data and the image. When at least one of the data analysis results satisfies a predetermined alarm output condition, the computer outputs an alarm to the terminal of the supervisor that manages the operator, and the computer makes a call between the customer and the operator. Information indicating the time or the change in the analysis result of the voice data or the change in the analysis result of the image data is acquired, the priority of the alarm is determined based on the talk time or the information, and the priority of the alarm is determined. Notify the supervisor terminal of the degree.
The third alerting method of the present invention is performed by a computer. The alerting method includes (1) analyzing voice data indicating the content of a call between a customer and an operator, (2) analyzing image data of the operator, and (3) analyzing the voice data and the image. When at least one of the data analysis results satisfies a predetermined alarm output condition, the computer outputs an alarm to the terminal of the supervisor that manages the operator, and the computer talks with the customer and the operator. When is equal to or greater than a predetermined threshold value, it is determined whether or not to output the alarm by using the analysis result of the audio data and the analysis result of the image data.
The fourth alerting method of the present invention is performed by a computer. The alerting method includes (1) analyzing voice data indicating the content of a call between the customer and the operator, (2) analyzing the image data of the operator, and (3) analyzing the analysis result of the voice data and the image. Each of the data analysis results is compared with a predetermined alarm output condition, and when at least one of the audio data analysis result and the image data analysis result satisfies the predetermined alarm output condition, the operator is managed. Includes outputting an alarm to the supervisor's terminal.

本発明のプログラムは、本発明の注意喚起方法をコンピュータに実行させる。 The program of the present invention causes a computer to execute the alerting method of the present invention.

本発明によれば、テレフォンオペレータを統轄するスーパーバイザが、各オペレータの支援業務を円滑に進めることが可能となる。 According to the present invention, the supervisor who controls the telephone operator can smoothly proceed with the support work of each operator.

コンタクトセンター等で稼働するシステムを概略的に示す図である。It is a figure which shows roughly the system which operates in a contact center and the like. 第１実施形態における情報処理装置の機能構成を概念的に示すブロック図である。It is a block diagram which conceptually shows the functional structure of the information processing apparatus in 1st Embodiment. 情報処理装置のハードウエア構成を概念的に示す図である。It is a figure which shows the hardware structure of an information processing apparatus conceptually. 第１実施形態における情報処理装置の処理の流れを例示するフローチャートである。It is a flowchart which illustrates the process flow of the information processing apparatus in 1st Embodiment. 第２実施形態における情報処理装置の処理の流れを例示するフローチャートである。It is a flowchart which illustrates the process flow of the information processing apparatus in 2nd Embodiment. 第３実施形態における情報処理装置の処理の流れを例示するフローチャートである。It is a flowchart which illustrates the process flow of the information processing apparatus in 3rd Embodiment. 第３実施形態における情報処理装置の処理の流れを例示するフローチャートである。It is a flowchart which illustrates the process flow of the information processing apparatus in 3rd Embodiment.

＜概要説明＞
本発明の概要について図１を用いて説明する。図１は、コンタクトセンター等で稼働するシステムを概略的に示す図である。 <Overview>
The outline of the present invention will be described with reference to FIG. FIG. 1 is a diagram schematically showing a system operating in a contact center or the like.

まず、顧客端末２０からの通話要求（発呼）が、コンタクトセンターで働くオペレータが使用するオペレータ端末３０に届けられる。オペレータは、オペレータ端末３０上で通話要求に対する応答操作を行う。これにより、顧客端末２０とオペレータ端末３０との間で通信が確立され、オペレータと顧客との通話が可能となる。 First, the call request (calling) from the customer terminal 20 is delivered to the operator terminal 30 used by the operator working at the contact center. The operator performs a response operation in response to a call request on the operator terminal 30. As a result, communication is established between the customer terminal 20 and the operator terminal 30, and a call between the operator and the customer becomes possible.

情報処理装置１０は、例えば通話録音エンジン（図示せず）などによって生成される、オペレータと顧客との間の通話の音声データを取得する。また、情報処理装置１０は、オペレータ端末３０の近傍に設けられた、或いは、オペレータ端末３０のディスプレイと一体となった撮像装置（図示せず）によって生成される、通話中のオペレータの画像データを取得する。また、情報処理装置１０は、取得された音声データおよび画像データを用いて、オペレータや顧客の感情を認識し、その認識結果を基に必要と判断された場合に、スーパーバイザが使用する管理者端末４０に、支援要請を知らせるアラーム情報を出力する。 The information processing device 10 acquires voice data of a call between an operator and a customer, which is generated by, for example, a call recording engine (not shown). Further, the information processing device 10 obtains image data of the operator during a call, which is generated by an imaging device (not shown) provided in the vicinity of the operator terminal 30 or integrated with the display of the operator terminal 30. get. Further, the information processing device 10 recognizes the emotions of the operator and the customer by using the acquired voice data and image data, and when it is determined to be necessary based on the recognition result, the administrator terminal used by the supervisor. The alarm information notifying the support request is output to 40.

管理者端末４０は、情報処理装置１０から出力されたアラーム情報をディスプレイ上に表示するなどして、オペレータから支援要請をスーパーバイザに通知する。スーパーバイザは、このアラーム情報を確認し、オペレータの業務支援（例えば、通話を引き継ぎ、オペレータに変わって顧客に応対するなど）を行う。 The administrator terminal 40 notifies the supervisor of the support request from the operator by displaying the alarm information output from the information processing device 10 on the display. The supervisor confirms this alarm information and provides business support for the operator (for example, taking over the call and responding to the customer on behalf of the operator).

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all drawings, similar components are designated by the same reference numerals, and description thereof will be omitted as appropriate. Further, unless otherwise specified, in each block diagram, each block represents a configuration of a functional unit, not a configuration of a hardware unit.

［第１実施形態］
〔情報処理装置１０の機能構成〕
図２は、第１実施形態における情報処理装置１０の機能構成を概念的に示すブロック図である。図２に示されるように、本実施形態の情報処理装置１０は、音声解析部１１０と、画像解析部１２０と、アラーム出力部１３０とを有する。 [First Embodiment]
[Functional configuration of information processing device 10]
FIG. 2 is a block diagram conceptually showing the functional configuration of the information processing apparatus 10 according to the first embodiment. As shown in FIG. 2, the information processing device 10 of the present embodiment includes a voice analysis unit 110, an image analysis unit 120, and an alarm output unit 130.

音声解析部１１０は、顧客とオペレータとの間の通話内容を示す音声データを解析し、その解析結果をアラーム出力部１３０に出力する。顧客端末２０とオペレータ端末３０との間で伝達される音声データは、例えば、通話録音エンジン（図示せず）によって記録されており、音声解析部１１０は、通話録音エンジンから音声データを取得することができる。音声解析部１１０は、既知の感情認識技術を用いて、音声データから顧客やオペレータの感情の認識結果を出力することができる。一例として、音声解析部１１０は、音声データを解析することによって当該音声データから抽出可能な各種特徴量に基づいて、音声データにおける話者の感情（例えば、「怒り」や「不満」など）を認識することができる。感情認識に用いる特徴量の具体例としては、例えば、周波数スペクトルの形状（声色）、基本周波数（声の高さ）、音声データの振幅（声の大きさ）、単位時間あたりのモーラ数（話速）などが挙げられる。なお、感情認識に用いる特徴量はここで挙げた例に制限されない。また、音声解析部１１０は、各種感情を連想できる特定のキーワードの出現回数などを、解析結果として出力してもよい。その他にも、音声解析部１１０は、音声データに対する処理において抽出した特徴量に基づいて、感情のレベルを示す情報を解析結果に含めてもよい。 The voice analysis unit 110 analyzes voice data indicating the content of a call between the customer and the operator, and outputs the analysis result to the alarm output unit 130. The voice data transmitted between the customer terminal 20 and the operator terminal 30 is recorded by, for example, a call recording engine (not shown), and the voice analysis unit 110 acquires the voice data from the call recording engine. Can be done. The voice analysis unit 110 can output the recognition result of the emotion of the customer or the operator from the voice data by using the known emotion recognition technology. As an example, the voice analysis unit 110 detects the speaker's emotions (for example, "anger" or "dissatisfaction") in the voice data based on various features that can be extracted from the voice data by analyzing the voice data. Can be recognized. Specific examples of feature quantities used for emotion recognition include the shape of the frequency spectrum (voice color), the fundamental frequency (voice pitch), the amplitude of voice data (voice volume), and the number of moras per unit time (talk). Fast) and so on. The features used for emotion recognition are not limited to the examples given here. Further, the voice analysis unit 110 may output the number of appearances of a specific keyword that can be associated with various emotions as an analysis result. In addition, the voice analysis unit 110 may include information indicating the emotional level in the analysis result based on the feature amount extracted in the processing for the voice data.

画像解析部１２０は、オペレータの画像データを解析し、その解析結果をアラーム出力部１３０に出力する。オペレータの画像データは、オペレータの顔部分を少なくも含んでおり、顧客端末２０とオペレータ端末３０との間の通信が確立している期間に取得される。なお、オペレータの画像データは、例えば、オペレータ端末３０の近傍に設けられた、或いは、オペレータ端末３０のディスプレイと一体化されたＷｅｂカメラなどの撮像装置（図示せず）を用いて取得することができる。画像解析部１２０は、オペレータの顔部分を少なくとも含む画像データに対して、例えば既知の画像処理アルゴリズムを適用することにより、オペレータの表情や仕草を認識することができる。そして、画像解析部１２０は、認識した表情や仕草に対応する感情（例えば、視線が頻繁に動く仕草が認識された場合には「動揺」、眉尻を下げる表情が認識された場合には「困惑」、眉尻を上げる表情が認識された場合には「怒り」など）を解析結果として出力する。また、音声解析部１１０は、画像データに対する処理において抽出した特徴量の大きさに基づいて、各感情のレベルを示す情報を解析結果に含めることもできる。 The image analysis unit 120 analyzes the image data of the operator and outputs the analysis result to the alarm output unit 130. The image data of the operator includes at least the face portion of the operator, and is acquired during the period when the communication between the customer terminal 20 and the operator terminal 30 is established. The image data of the operator can be acquired by using, for example, an image pickup device (not shown) such as a Web camera provided in the vicinity of the operator terminal 30 or integrated with the display of the operator terminal 30. can. The image analysis unit 120 can recognize the facial expression and gesture of the operator by applying, for example, a known image processing algorithm to the image data including at least the face portion of the operator. Then, the image analysis unit 120 indicates an emotion corresponding to the recognized facial expression or gesture (for example, "upset" when the gesture in which the line of sight moves frequently is recognized, and "upset" when the facial expression lowering the end of the eyebrow is recognized. "Puzzle", "anger" when a facial expression that raises the end of the eyebrows is recognized) is output as the analysis result. In addition, the voice analysis unit 110 can also include information indicating the level of each emotion in the analysis result based on the magnitude of the feature amount extracted in the processing on the image data.

アラーム出力部１３０は、音声解析部１１０による音声データの解析結果と、画像解析部１２０による画像データの解析結果の少なくとも一方が、所定のアラーム出力条件を満たしているか否かを判定する。アラーム出力条件は、スーパーバイザによる業務支援の要否と判断するための条件である。アラーム出力条件の具体例としては、例えば、「特定の感情（例：怒り、動揺、困惑など）が検出されたか否か」や「特定の感情のレベルが基準を超えたか否か」などが挙げられる。アラーム出力部１３０は、音声データの解析結果および画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、各データに対応するオペレータを管理する立場にあるスーパーバイザの端末にアラーム情報を出力する。アラーム情報は、オペレータを識別可能な情報（オペレータの名称など）を少なくとも含む。スーパーバイザがアラーム情報の緊急性を把握できるようにするため、アラーム出力部１３０は、音声データおよび画像データの解析結果をアラーム情報に含めてもよい。 The alarm output unit 130 determines whether or not at least one of the analysis result of the voice data by the voice analysis unit 110 and the analysis result of the image data by the image analysis unit 120 satisfies a predetermined alarm output condition. The alarm output condition is a condition for determining the necessity of business support by the supervisor. Specific examples of the alarm output condition include "whether a specific emotion (eg, anger, agitation, embarrassment, etc.) is detected" or "whether a specific emotion level exceeds the standard". Be done. When at least one of the audio data analysis result and the image data analysis result satisfies a predetermined alarm output condition, the alarm output unit 130 sends alarm information to the supervisor terminal in a position of managing the operator corresponding to each data. Is output. The alarm information includes at least information that can identify the operator (such as the operator's name). In order to enable the supervisor to grasp the urgency of the alarm information, the alarm output unit 130 may include the analysis result of the voice data and the image data in the alarm information.

〔ハードウエア構成〕
情報処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 [Hardware configuration]
Each functional component of the information processing apparatus 10 may be realized by hardware that realizes each functional component (eg, a hard-wired electronic circuit, etc.), or a combination of hardware and software (eg, example). It may be realized by a combination of an electronic circuit and a program that controls it). Hereinafter, a case where each functional component of the information processing apparatus 10 is realized by a combination of hardware and software will be further described.

図３は、情報処理装置１０のハードウエア構成を概念的に示す図である。図３に示されるように、情報処理装置１０は、バス１０１、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６を含んで構成される。 FIG. 3 is a diagram conceptually showing the hardware configuration of the information processing device 10. As shown in FIG. 3, the information processing apparatus 10 includes a bus 101, a processor 102, a memory 103, a storage device 104, an input / output interface 105, and a network interface 106.

バス１０１は、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６などを互いに接続する方法は、バス接続に限定されない。 The bus 101 is a data transmission line for the processor 102, the memory 103, the storage device 104, the input / output interface 105, and the network interface 106 to transmit and receive data to and from each other. However, the method of connecting the processor 102, the memory 103, the storage device 104, the input / output interface 105, the network interface 106, and the like to each other is not limited to the bus connection.

プロセッサ１０２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ１０３は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置である。 The processor 102 is an arithmetic unit such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). The memory 103 is a main storage device realized by using a RAM (Random Access Memory), a ROM (Read Only Memory), or the like. The storage device 104 is an auxiliary storage device realized by using an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, or the like.

ストレージデバイス１０４は、情報処理装置１０の各機能構成部（音声解析部１１０、画像解析部１２０、およびアラーム出力部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２は、これら各プログラムモジュールをメモリ１０３に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。 The storage device 104 stores a program module that realizes each functional configuration unit (voice analysis unit 110, image analysis unit 120, and alarm output unit 130) of the information processing device 10. The processor 102 realizes the function corresponding to each program module by reading each of these program modules into the memory 103 and executing the module.

入出力インタフェース１０５は、情報処理装置１０と周辺機器（図示せず）とを接続するためのインタフェースである。キーボードやマウスといった入力用デバイス、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイといった出力用デバイスが、入出力インタフェース１０５を介して接続され得る。 The input / output interface 105 is an interface for connecting the information processing device 10 and a peripheral device (not shown). An input device such as a keyboard or a mouse and an output device such as an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube) display can be connected via the input / output interface 105.

ネットワークインタフェース１０６は、情報処理装置１０を各種通信網に接続するためのインタフェースである。この通信網は、例えば社内ネットワーク７０（社内ＬＡＮ（Local Area Network））などである。図３に示されるように、情報処理装置１０は、ネットワークインタフェース１０６を介して通信網に接続することで、オペレータ端末３０、撮像装置３２、管理者端末４０、通話録音エンジン６０などと通信することができる。なお、通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。 The network interface 106 is an interface for connecting the information processing device 10 to various communication networks. This communication network is, for example, an in-house network 70 (in-house LAN (Local Area Network)). As shown in FIG. 3, the information processing device 10 communicates with the operator terminal 30, the image pickup device 32, the administrator terminal 40, the call recording engine 60, and the like by connecting to the communication network via the network interface 106. Can be done. The method of connecting to the communication network may be a wireless connection or a wired connection.

オペレータ端末３０は、各オペレータが業務に利用する端末である。少なくとも１台以上のオペレータ端末３０が社内ネットワーク７０に接続される。オペレータ端末３０は、キーボードやマウスといった入力用デバイス、および、情報表示用のディスプレイ装置と共に、顧客との通話を行うための通話装置（例えば、ヘッドセットなど）を備える。 The operator terminal 30 is a terminal used by each operator for business. At least one or more operator terminals 30 are connected to the in-house network 70. The operator terminal 30 includes an input device such as a keyboard and a mouse, a display device for displaying information, and a communication device (for example, a headset) for making a call with a customer.

撮像装置３２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを備え、オペレータの顔部分を撮像範囲に含むように配置される。撮像装置３２は、１人のオペレータに対して少なくとも１台用意される。撮像装置３２は、例えば外付け型のＷｅｂカメラ等であり、オペレータの座席付近を撮像範囲に含むように配置される。また、撮像装置３２は、オペレータ端末３０のディスプレイと一体的に構成されていてもよい。撮像装置３２は、例えば、顧客端末２０とオペレータ端末３０との間の通信の確立および切断と連動して、オペレータ端末３０の顔部分を含む画像データの生成を開始および終了する。撮像装置３２により生成される画像データには、画像内のオペレータを識別可能な情報（例えば、撮像装置３２の識別情報、リストなどによって撮像装置３２と予め対応付けられたオペレータ端末３０やオペレータの識別情報など）が付与される。情報処理装置１０は、撮像装置３２より生成されたオペレータの画像データは、情報処理装置１０または図示しないファイルサーバ等に送信される。画像解析部１２０に対する入力として利用される。 The image pickup device 32 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and is arranged so as to include the operator's face portion in the image pickup range. At least one image pickup device 32 is prepared for one operator. The image pickup device 32 is, for example, an external Web camera or the like, and is arranged so as to include the vicinity of the operator's seat in the image pickup range. Further, the image pickup device 32 may be integrally configured with the display of the operator terminal 30. The image pickup apparatus 32 starts and ends the generation of image data including the face portion of the operator terminal 30 in conjunction with the establishment and disconnection of communication between the customer terminal 20 and the operator terminal 30, for example. The image data generated by the image pickup device 32 includes information that can identify the operator in the image (for example, identification information of the image pickup device 32, identification of the operator terminal 30 and the operator associated with the image pickup device 32 in advance by a list or the like. Information etc.) is given. In the information processing device 10, the operator's image data generated by the image pickup device 32 is transmitted to the information processing device 10 or a file server (not shown). It is used as an input to the image analysis unit 120.

管理者端末４０は、少なくとも１人以上のオペレータを統轄するスーパーバイザが業務に利用する端末である。少なくとも１台以上の管理者端末４０が社内ネットワーク７０に接続される。管理者端末４０は、キーボードやマウスといった入力用デバイス、および、顧客情報等を表示するディスプレイ装置を備える。また、管理者端末４０は、顧客との通話をオペレータから引き継ぐ際に使用する通話装置（例えば、ヘッドセットなど）を備えていてもよい。情報処理装置１０のアラーム出力部１３０から出力されるアラームは、社内ネットワーク７０を介して管理者端末４０に送信され、管理者端末４０のディスプレイに表示される。 The administrator terminal 40 is a terminal used for business by a supervisor who controls at least one operator. At least one or more administrator terminals 40 are connected to the in-house network 70. The administrator terminal 40 includes an input device such as a keyboard and a mouse, and a display device for displaying customer information and the like. Further, the administrator terminal 40 may be provided with a communication device (for example, a headset) used when taking over a call with a customer from an operator. The alarm output from the alarm output unit 130 of the information processing device 10 is transmitted to the administrator terminal 40 via the in-house network 70 and displayed on the display of the administrator terminal 40.

交換機５０は、顧客端末２０からの発呼をＰＳＴＮ（Public Switched Telephone Networks）８０経由で受け取り、着呼可能な状態のオペレータ端末３０に発呼を転送する。発呼の転送先のオペレータ端末３０においてオペレータが着呼操作を行うと、そのオペレータ端末３０と顧客端末２０との間で通信が確立し、顧客とオペレータとの間で通話が可能となる。 The exchange 50 receives the call from the customer terminal 20 via the PSTN (Public Switched Telephone Networks) 80, and transfers the call to the operator terminal 30 in a state where the call can be received. When the operator performs an incoming call operation at the operator terminal 30 at the transfer destination of the outgoing call, communication is established between the operator terminal 30 and the customer terminal 20, and a call can be made between the customer and the operator.

通話録音エンジン６０は、通信が確立した顧客端末２０とオペレータ端末３０との間で伝送される音声データを捕捉する。通話録音エンジン６０によって捕捉された音声データは、音声解析部１１０に対する入力として利用される。通話録音エンジン６０は、音声データを捕捉する際、通話のセッション情報などから顧客およびオペレータを識別可能な情報を取得して、音声データに対応付ける。そして、通話録音エンジン６０は、顧客およびオペレータを識別可能な情報を付加した音声データを情報処理装置１０に送信する。なお、通話録音エンジン６０は、捕捉した音声データを、例えば図示しないファイルサーバに出力するように構成されていてもよい。この場合、情報処理装置１０は、ファイルサーバを介して音声データを取得することができる。 The call recording engine 60 captures voice data transmitted between the customer terminal 20 and the operator terminal 30 for which communication has been established. The voice data captured by the call recording engine 60 is used as an input to the voice analysis unit 110. When the call recording engine 60 captures voice data, it acquires information that can identify the customer and the operator from the session information of the call and the like, and associates it with the voice data. Then, the call recording engine 60 transmits voice data to which information that can identify the customer and the operator is added to the information processing device 10. The call recording engine 60 may be configured to output the captured voice data to, for example, a file server (not shown). In this case, the information processing device 10 can acquire voice data via the file server.

なお、図３に示されるハードウエア構成は、あくまで一例であり、本発明は図３の例に制限されない。例えば、音声解析部１１０、画像解析部１２０、及びアラーム出力部１３０の機能が、複数の情報処理装置１０に分散または多重化されていてもよい。その他にも、顧客端末からの発呼に応じて当該顧客端末に対応する顧客情報を読み出し、オペレータ端末３０に送信するＣＴＩ（Computer Telephony Integration）サーバが備えられていてもよい。 The hardware configuration shown in FIG. 3 is merely an example, and the present invention is not limited to the example shown in FIG. For example, the functions of the voice analysis unit 110, the image analysis unit 120, and the alarm output unit 130 may be distributed or multiplexed in a plurality of information processing devices 10. In addition, a CTI (Computer Telephony Integration) server that reads customer information corresponding to the customer terminal in response to a call from the customer terminal and transmits the customer information to the operator terminal 30 may be provided.

〔動作例〕
図４を用いて、第１実施形態における情報処理装置１０の動作例を説明する。図４は、第１実施形態における情報処理装置１０の処理の流れを例示するフローチャートである。 [Operation example]
An operation example of the information processing apparatus 10 according to the first embodiment will be described with reference to FIG. FIG. 4 is a flowchart illustrating the processing flow of the information processing apparatus 10 according to the first embodiment.

音声解析部１１０は、顧客とオペレータとの間の会話の音声データを取得する（Ｓ１０２）。音声データは、顧客端末２０とオペレータ端末３０との間を流れており、例えば通話録音エンジン６０によって捕捉される。なお、音声データの捕捉時に、顧客およびオペレータを識別可能な情報が対応付けられる。音声解析部１１０は、通話録音エンジン６０から直接、或いは、図示しないファイルサーバ経由で、音声データを取得することができる。そして、音声解析部１１０は、Ｓ１０２で取得した音声データを解析する（Ｓ１０４）。音声解析部１１０は、解析を行った音声データに対応付けられている顧客およびオペレータを識別可能な情報を含めて、Ｓ１０４の解析結果をアラーム出力部１３０に出力する。 The voice analysis unit 110 acquires voice data of the conversation between the customer and the operator (S102). The voice data flows between the customer terminal 20 and the operator terminal 30, and is captured by, for example, the call recording engine 60. At the time of capturing the voice data, information that can identify the customer and the operator is associated. The voice analysis unit 110 can acquire voice data directly from the call recording engine 60 or via a file server (not shown). Then, the voice analysis unit 110 analyzes the voice data acquired in S102 (S104). The voice analysis unit 110 outputs the analysis result of S104 to the alarm output unit 130, including information that can identify the customer and the operator associated with the analyzed voice data.

画像解析部１２０は、顧客との通話時に撮影されたオペレータの画像データを取得する（Ｓ１０６）。オペレータの画像データは、例えば、顧客端末２０との通信の確立をトリガとして撮像装置３２により生成される。なお、画像データには、画像内のオペレータを識別可能な情報が付与される。画像解析部１２０は、撮像装置３２（又は撮像装置３２が組み込まれたオペレータ端末３０）から直接、或いは、図示しないファイルサーバ経由で、オペレータの画像データを取得することができる。そして、画像解析部１２０は、Ｓ１０６で取得した画像データを解析する（Ｓ１０８）。画像解析部１２０は、解析を行った画像データに対応付けられているオペレータを識別可能な情報を含めて、Ｓ１０６の解析結果をアラーム出力部１３０に出力する。 The image analysis unit 120 acquires the image data of the operator taken during a call with the customer (S106). The image data of the operator is generated by the image pickup apparatus 32, for example, triggered by the establishment of communication with the customer terminal 20. Information that can identify the operator in the image is added to the image data. The image analysis unit 120 can acquire the image data of the operator directly from the image pickup device 32 (or the operator terminal 30 in which the image pickup device 32 is incorporated) or via a file server (not shown). Then, the image analysis unit 120 analyzes the image data acquired in S106 (S108). The image analysis unit 120 outputs the analysis result of S106 to the alarm output unit 130, including information that can identify the operator associated with the analyzed image data.

アラーム出力部１３０は、音声解析部１１０から出力された音声データの解析結果および画像解析部１２０から出力された画像データの解析結果のそれぞれをアラーム出力条件と比較して、管理者端末４０にアラームを出力すべきか否かを判定する（Ｓ１１０）。一例として、アラーム出力部１３０は、次のように動作することができる。まず、アラーム出力部１３０は、音声データの解析結果と、音声データの解析結果に対する第１の出力条件とを比較する。また、アラーム出力部１３０は、画像データの解析結果と、画像データの解析結果に対する第２の出力条件とを比較する。ここで、それぞれの解析結果が何らかのスコアとして算出される場合、第１および第２の出力条件は例えば当該スコアに関して定義される閾値であり、例えばメモリ１０３やストレージデバイス１０４などに予め記憶される。そして、第１および第２の出力条件のうちの少なくとも一方が満たされる場合に、アラーム出力部１３０は、管理者端末４０にアラームを出力すべきと判断する。なお、アラーム出力部１３０は、例えば、各解析結果に含められたオペレータを識別可能な情報に基づいて、音声データの解析結果と画像データの解析結果との対応関係を把握することができる。 The alarm output unit 130 compares each of the analysis result of the voice data output from the voice analysis unit 110 and the analysis result of the image data output from the image analysis unit 120 with the alarm output condition, and alarms the administrator terminal 40. Is determined (S110). As an example, the alarm output unit 130 can operate as follows. First, the alarm output unit 130 compares the analysis result of the voice data with the first output condition for the analysis result of the voice data. Further, the alarm output unit 130 compares the analysis result of the image data with the second output condition for the analysis result of the image data. Here, when each analysis result is calculated as some score, the first and second output conditions are, for example, threshold values defined for the score, and are stored in advance in, for example, a memory 103 or a storage device 104. Then, when at least one of the first and second output conditions is satisfied, the alarm output unit 130 determines that the alarm should be output to the administrator terminal 40. The alarm output unit 130 can grasp the correspondence between the analysis result of the voice data and the analysis result of the image data, for example, based on the information included in each analysis result that can identify the operator.

音声データの解析結果と画像データの解析結果のいずれもアラーム出力条件を満たさない場合（Ｓ１１０：ＮＯ）、以降の処理は実行されない。なお、その後において新たな音声データおよび画像データが取得されると、上述のアラーム出力を判定する処理が実行される。 If neither the analysis result of the audio data nor the analysis result of the image data satisfies the alarm output condition (S110: NO), the subsequent processing is not executed. After that, when new audio data and image data are acquired, the above-mentioned processing for determining the alarm output is executed.

一方、音声データの解析結果と画像データの解析結果のうち、少なくとも一方がアラーム出力条件を満たす場合（Ｓ１１０：ＹＥＳ）、アラーム出力部１３０はアラーム情報を生成する（Ｓ１１２）。アラーム出力部１３０は、例えば、オペレータを識別可能な情報と共に、音声データおよび画像データの解析結果（例えば、オペレータや顧客の感情およびその感情のレベルなど）を含むアラーム情報を生成することができる。 On the other hand, when at least one of the analysis result of the audio data and the analysis result of the image data satisfies the alarm output condition (S110: YES), the alarm output unit 130 generates the alarm information (S112). The alarm output unit 130 can generate alarm information including, for example, information that can identify the operator, as well as analysis results of voice data and image data (for example, the emotion of the operator or the customer and the level of the emotion).

そして、アラーム出力部１３０は管理者端末４０に対してアラーム情報を出力する（Ｓ１１４）。アラーム出力部１３０は、スーパーバイザとオペレータとの対応関係を示す情報を用いて、アラームの出力先を特定することができる。一例として、アラーム出力部１３０は、管理者端末４０の宛先情報（ＩＰ（Internet Protocol）アドレスなど）とオペレータを識別可能な情報とを互いに対応付けたテーブルなどを用いて、アラーム情報の出力先とする管理者端末４０を特定することができる。このテーブルは、例えばメモリ１０３やストレージデバイス１０４などに予め記憶されている。アラーム出力部１３０は、各解析結果に紐付けられたオペレータを識別可能な情報を用いてテーブルを参照することにより、そのオペレータに対応するスーパーバイザの管理者端末４０（即ち、アラーム情報の出力先とする管理者端末４０）を特定することができる。 Then, the alarm output unit 130 outputs alarm information to the administrator terminal 40 (S114). The alarm output unit 130 can specify the alarm output destination by using the information indicating the correspondence between the supervisor and the operator. As an example, the alarm output unit 130 uses a table or the like in which the destination information (IP (Internet Protocol) address, etc.) of the administrator terminal 40 and the information that can identify the operator are associated with each other, and sets the output destination of the alarm information. The administrator terminal 40 to be used can be specified. This table is stored in advance in, for example, a memory 103 or a storage device 104. The alarm output unit 130 refers to the table using information that can identify the operator associated with each analysis result, so that the administrator terminal 40 of the supervisor corresponding to the operator (that is, the output destination of the alarm information) The administrator terminal 40) can be specified.

〔作用・効果〕
以上、本実施形態では、音声データの解析結果と画像データの解析結果を基にアラーム情報の出力要否が客観的に判断され、アラーム情報の出力が必要と判断された場合には、スーパーバイザの使用する管理者端末４０にアラーム情報が自動的に出力される。これにより、オペレータが自身の主観で支援要請を意図的に行わない、或いは、余裕のない状況によってオペレータが支援要請を失念しているといった理由により、非常事態のアラームがスーパーバイザに届かないといった問題を回避できる。そして、管理者端末４０に対して自動的に出力されるアラーム情報に基づいて、スーパーバイザがオペレータの業務支援作業を円滑に進めることが可能となる。 [Action / effect]
As described above, in the present embodiment, the necessity of outputting the alarm information is objectively determined based on the analysis result of the voice data and the analysis result of the image data, and when it is determined that the output of the alarm information is necessary, the supervisor Alarm information is automatically output to the administrator terminal 40 to be used. This causes the problem that the emergency alarm does not reach the supervisor because the operator does not intentionally make a request for assistance on his own subjectivity, or the operator forgets to request assistance due to a situation where he cannot afford it. It can be avoided. Then, based on the alarm information automatically output to the administrator terminal 40, the supervisor can smoothly proceed with the business support work of the operator.

また、テレフォンオペレータは、接客業の一種であるが、基本的に顧客と顔を合わせることがない。このテレフォンオペレータの業務環境に鑑みて、オペレータの感情は、音声よりも表情や仕草に表れやすいと言える。そこで、本実施形態における情報処理装置１０は、オペレータの表情や仕草が分かる画像データをオペレータの感情認識に利用している。これにより、音声データのみを用いる場合と比較してオペレータの感情の認識精度が向上し、より好ましいタイミングでアラームの出力することが可能となる。つまり、本実施形態の情報処理装置１０によれば、スーパーバイザによるオペレータの業務支援作業をより円滑に進めることが可能となる。 In addition, the telephone operator is a kind of customer service business, but basically does not meet the customer. In view of the telephone operator's work environment, it can be said that the operator's emotions are more likely to appear in facial expressions and gestures than in voice. Therefore, the information processing device 10 in the present embodiment uses image data that shows the operator's facial expressions and gestures for the operator's emotion recognition. As a result, the accuracy of the operator's emotion recognition is improved as compared with the case where only the voice data is used, and the alarm can be output at a more preferable timing. That is, according to the information processing apparatus 10 of the present embodiment, it is possible to more smoothly proceed with the work support work of the operator by the supervisor.

〔第１実施形態の変形例〕
通話録音エンジン６０は、顧客端末２０とオペレータ端末３０との間で捕捉した音声データを、顧客の発話に応じて生成されるデータとオペレータの発話に応じて生成されるデータとに分割して記憶することもできる。一例として、通話録音エンジン６０は、顧客端末２０とオペレータ端末３０との間の通信経路を流れる音声データ（電気信号）の向きに基づいて、当該音声データが顧客の発話に応じて生成されたデータかオペレータの発話に応じて生成されたデータかを判別することができる。音声データが顧客の発話データとオペレータの発話データとに分けて記憶されている場合において、音声解析部１１０は、上述のＳ１０４の処理で、オペレータの発話データは解析せずに、顧客の発話データのみを解析するように構成されていてもよい。上述したように、テレフォンオペレータの業務環境に鑑みて、オペレータの感情は、音声よりも表情や仕草に表われやすい。つまり、画像データは、音声データよりもオペレータの感情を認識しやすい。本変形例によれば、音声データの解析処理にかかる負荷を低減すると共に、上述したような効果を得ることができる。 [Modified example of the first embodiment]
The call recording engine 60 divides and stores the voice data captured between the customer terminal 20 and the operator terminal 30 into data generated in response to the customer's utterance and data generated in response to the operator's utterance. You can also do it. As an example, the call recording engine 60 is based on the direction of voice data (electrical signal) flowing through the communication path between the customer terminal 20 and the operator terminal 30, and the voice data is generated in response to the customer's utterance. It is possible to determine whether the data is generated according to the operator's utterance. When the voice data is stored separately as the customer's utterance data and the operator's utterance data, the voice analysis unit 110 does not analyze the operator's utterance data in the above-mentioned process of S104, but the customer's utterance data. It may be configured to analyze only. As described above, in view of the business environment of the telephone operator, the operator's emotions are more likely to appear in facial expressions and gestures than in voice. That is, the image data is easier to recognize the operator's emotion than the voice data. According to this modification, it is possible to reduce the load on the analysis process of voice data and obtain the above-mentioned effects.

また、アラーム出力部１３０は、顧客とオペレータとの通話時間が所定の閾値以上である場合に、音声解析部１１０による音声データの解析結果と、画像解析部１２０による画像データの解析結果とを用いて、アラーム情報を出力するか否かを判定してもよい。所定の閾値は、例えば、情報処理装置１０のメモリ１０３やストレージデバイス１０４に予め記憶されている。アラームを出力する条件に「オペレータと顧客との通話時間の長さ」という新たな条件を加えることによって、多数のアラーム情報が集中してスーパーバイザによる業務支援作業が却って阻害されてしまうことを防止できる。また、この場合において、アラーム出力部１３０は、通話時間に対する閾値を、オペレータの属性情報を用いて変更してもよい。オペレータの属性情報は、例えば、情報処理装置１０のメモリ１０３やストレージデバイス１０４に予め記憶されており、アラーム出力部１３０は、メモリ１０３やストレージデバイス１０４を参照してオペレータの属性情報を取得することができる。また、オペレータの属性情報は、オペレータの習熟度（例えば、新人／中堅／ベテランといったオペレータのランクやオペレータの実務経験の長さ（勤続年数）など）を示す情報である。一般的に、オペレータの習熟度が低いほどコミュニケーション不足となる可能性が高まるため、アラーム出力部１３０は、オペレータの習熟度が低いほど、通話時間に対する閾値を短く設定する。これにより、習熟度の低いオペレータからのアラーム情報ほど早く出力されるようになるため、スーパーバイザが習熟度の低いオペレータをより早い段階で支援することが可能となる。 Further, the alarm output unit 130 uses the analysis result of the voice data by the voice analysis unit 110 and the analysis result of the image data by the image analysis unit 120 when the talk time between the customer and the operator is equal to or longer than a predetermined threshold value. It may be determined whether or not to output the alarm information. The predetermined threshold value is stored in advance in, for example, the memory 103 or the storage device 104 of the information processing device 10. By adding a new condition of "length of talk time between the operator and the customer" to the condition for outputting the alarm, it is possible to prevent a large amount of alarm information from being concentrated and obstructing the business support work by the supervisor. .. Further, in this case, the alarm output unit 130 may change the threshold value for the talk time by using the attribute information of the operator. The operator attribute information is stored in advance in the memory 103 or the storage device 104 of the information processing device 10, for example, and the alarm output unit 130 refers to the memory 103 or the storage device 104 to acquire the operator attribute information. Can be done. In addition, the attribute information of the operator is information indicating the proficiency level of the operator (for example, the rank of the operator such as newcomer / mid-level / veteran and the length of practical experience of the operator (years of service)). In general, the lower the operator's proficiency level, the higher the possibility that communication will be insufficient. Therefore, the alarm output unit 130 sets the threshold value for the talk time to be shorter as the operator's proficiency level is lower. As a result, the alarm information from the less proficient operator is output earlier, so that the supervisor can support the less proficient operator at an earlier stage.

［第２実施形態］
本実施形態は、以下の点を除き、第１実施形態と同様である。 [Second Embodiment]
The present embodiment is the same as the first embodiment except for the following points.

〔機能構成〕
本実施形態の情報処理装置１０は、第１実施形態と同様の機能構成（例：図２）を有する。本実施形態のアラーム出力部１３０は、各アラーム情報の優先度を決定し、当該アラーム情報の優先度をスーパーバイザの管理者端末４０に通知する。 [Functional configuration]
The information processing device 10 of the present embodiment has the same functional configuration (example: FIG. 2) as that of the first embodiment. The alarm output unit 130 of the present embodiment determines the priority of each alarm information, and notifies the supervisor's administrator terminal 40 of the priority of the alarm information.

例えば、アラーム出力部１３０は、音声データの解析結果および画像データの解析結果の双方がアラーム出力条件を満たしている場合の優先度を、それらのいずれか一方がアラーム出力条件を満たしている場合の優先度よりも高く設定してもよい。その他の例として、アラーム出力部１３０は、出力するアラーム情報に関連するオペレータの属性情報を更に取得し、当該オペレータの属性情報を用いてアラームの優先度を設定してもよい。オペレータの属性情報は、オペレータの習熟度（例えば、新人／中堅／ベテランといったオペレータのランクやオペレータの実務経験の長さ（勤続年数）など）を示す情報である。一般的に、オペレータの習熟度が低いほどコミュニケーション不足となる可能性が高まるため、アラーム出力部１３０は、習熟度が低いオペレータに関するアラーム情報ほど高い優先度を設定して、管理者端末４０に通知する。 For example, the alarm output unit 130 sets the priority when both the analysis result of the audio data and the analysis result of the image data satisfy the alarm output condition, and when one of them satisfies the alarm output condition. It may be set higher than the priority. As another example, the alarm output unit 130 may further acquire the attribute information of the operator related to the alarm information to be output, and set the priority of the alarm by using the attribute information of the operator. The operator attribute information is information indicating the operator's proficiency level (for example, the rank of the operator such as newcomer / mid-level / veteran, the length of work experience of the operator (years of service), etc.). In general, the lower the operator's proficiency level, the higher the possibility of communication shortage. Therefore, the alarm output unit 130 sets a higher priority for the alarm information about the operator with a lower proficiency level and notifies the administrator terminal 40. do.

また、アラーム出力部１３０は、アラーム情報の優先度を、音声データおよび画像データの解析結果（例えば、感情のレベル）に基づく絶対的な評価値として決定してもよい。また、アラーム出力部１３０は、アラーム情報の優先度を、他のアラーム情報と比較したときの相対的な評価値として決定してもよい。この場合、情報処理装置１０は、例えば、管理者端末４０に表示中のアラーム情報（未解決のアラーム情報）を管理するリストをストレージデバイス１０４などに保持しておき、当該リストのアラーム情報との比較によって、相対的な評価値を求めることができる。 Further, the alarm output unit 130 may determine the priority of the alarm information as an absolute evaluation value based on the analysis result (for example, emotional level) of the voice data and the image data. Further, the alarm output unit 130 may determine the priority of the alarm information as a relative evaluation value when compared with other alarm information. In this case, the information processing device 10 holds, for example, a list for managing the alarm information (unresolved alarm information) displayed on the administrator terminal 40 in the storage device 104 or the like, and the list is combined with the alarm information in the list. Relative evaluation values can be obtained by comparison.

なお、あるオペレータからのアラーム情報が管理者端末４０に出力されたとしても、スーパーバイザが即座に対応できるとは限らない。この場合、顧客とオペレータの会話はそのまま継続される。この場合、会話を継続しているうちに状況が変わり、アラーム情報の緊急性（優先度）が変動することもある。アラーム出力部１３０は、管理者端末４０に出力したアラーム情報の優先度をこのような状況の変化に応じて更新するように構成されていてもよい。 Even if the alarm information from a certain operator is output to the administrator terminal 40, the supervisor may not always be able to respond immediately. In this case, the conversation between the customer and the operator continues as it is. In this case, the situation may change while the conversation is continued, and the urgency (priority) of the alarm information may change. The alarm output unit 130 may be configured to update the priority of the alarm information output to the administrator terminal 40 in response to such a change in the situation.

アラーム情報の優先度を変える指標の一例として、顧客とオペレータとの通話時間が利用できる。通話時間は、顧客の抱える問題がオペレータの応対によっても解消できていない状態が継続している期間を示すとも言える。通話が長引いている場合には、顧客とオペレータとの間でコミュニケーション不足等の問題が発生していることが疑われる。この点に鑑みて、アラーム出力部１３０は、顧客とオペレータとの通話時間に応じて、出力したアラーム情報の優先度を更新してもよい。具体的には、アラーム出力部１３０は、顧客とオペレータとの通話時間の長さに応じて、該オペレータに関連付けて管理者端末４０に出力したアラーム情報の優先度を高くする。なお、顧客とオペレータとの通話時間は、例えば顧客端末２０とオペレータ端末３０との間のセッション情報などから取得することができる。 As an example of an index for changing the priority of alarm information, the talk time between the customer and the operator can be used. It can be said that the talk time indicates the period during which the customer's problem has not been solved even by the operator's response. If the call is prolonged, it is suspected that a problem such as lack of communication has occurred between the customer and the operator. In view of this point, the alarm output unit 130 may update the priority of the output alarm information according to the talk time between the customer and the operator. Specifically, the alarm output unit 130 raises the priority of the alarm information output to the administrator terminal 40 in association with the operator according to the length of the talk time between the customer and the operator. The talk time between the customer and the operator can be obtained from, for example, session information between the customer terminal 20 and the operator terminal 30.

また、アラーム情報の優先度を変える指標の他の例として、アラーム情報を出力した後の会話における、顧客またはオペレータの特定感情の変化が利用できる。例えば、コミュニケーション不足によって、顧客の怒りや不満といった特定感情が強まる、或いは、オペレータの動揺や困惑といった特定感情が強まることもある。また例えば、コミュニケーションが上手く取れたことにより、顧客の怒りや不満といった特定感情が弱まる、或いは、オペレータの動揺や困惑といった特定感情が弱まることもある。なお、前者の場合には、管理者端末４０にアラーム情報を出力したときよりも緊急性が増加していると言える。また、後者の場合には、管理者端末４０にアラーム情報を出力したときよりも緊急性が減少していると言える。この点に鑑みて、アラーム出力部１３０は、音声データの解析結果の変化、または、画像データの解析結果の変化に基づいて、アラーム情報の優先度を更新してもよい。例えば、アラーム出力部１３０は、顧客とオペレータとの会話の音声データの解析結果又はオペレータの画像データの解析結果の変化から、状況が悪化していると判別できる場合（例えば、顧客やオペレータの特定感情が強まった場合）、当該オペレータに関連付けて管理者端末４０に出力したアラームの優先度を高くする。また、アラーム出力部１３０は、顧客とオペレータとの会話の音声データの解析結果又はオペレータの画像データの解析結果の変化から、状況が改善していると判別できる場合（例えば、顧客やオペレータの特定感情が弱まった場合）、当該オペレータに関連付けて管理者端末４０に出力したアラームの優先度を低くする。 Further, as another example of the index for changing the priority of the alarm information, a change in the specific emotion of the customer or the operator in the conversation after the alarm information is output can be used. For example, lack of communication may intensify specific emotions such as customer anger and dissatisfaction, or may increase specific emotions such as operator upset and embarrassment. In addition, for example, good communication may weaken specific emotions such as customer anger and dissatisfaction, or weaken specific emotions such as operator upset and embarrassment. In the former case, it can be said that the urgency is increased as compared with the case where the alarm information is output to the administrator terminal 40. Further, in the latter case, it can be said that the urgency is less than when the alarm information is output to the administrator terminal 40. In view of this point, the alarm output unit 130 may update the priority of the alarm information based on the change in the analysis result of the voice data or the change in the analysis result of the image data. For example, when the alarm output unit 130 can determine that the situation is worsening from the change in the analysis result of the voice data of the conversation between the customer and the operator or the analysis result of the image data of the operator (for example, identification of the customer or the operator). (When the emotion becomes stronger), the priority of the alarm output to the administrator terminal 40 in association with the operator is increased. Further, when the alarm output unit 130 can determine that the situation is improving from the change in the analysis result of the voice data of the conversation between the customer and the operator or the analysis result of the image data of the operator (for example, identification of the customer or the operator). (When emotions weaken), the priority of the alarm output to the administrator terminal 40 in association with the operator is lowered.

〔ハードウエア構成〕
本実施形態の情報処理装置１０は、第１実施形態と同様のハードウエア構成（例：図３）を有する。本実施形態のストレージデバイス１０４は、上述のアラーム出力部１３０の機能を実現するプログラムモジュールを更に記憶しており、プロセッサ１０２がこのプログラムモジュールを実行することによって、上述の本実施形態の機能が実現される。 [Hardware configuration]
The information processing device 10 of the present embodiment has the same hardware configuration as that of the first embodiment (example: FIG. 3). The storage device 104 of the present embodiment further stores a program module that realizes the function of the alarm output unit 130 described above, and the processor 102 executes the program module to realize the function of the present embodiment described above. Will be done.

〔動作例〕
本実施形態における情報処理装置１０の動作例について、図５を用いて説明する。図５は、第２実施形態における情報処理装置１０の処理の流れを例示するフローチャートである。以下では、第１実施形態で例示した処理フロー（図４）をベースとして、第１実施形態と異なる処理（Ｓ２０２、Ｓ２０４）について主に説明する。 [Operation example]
An operation example of the information processing apparatus 10 in this embodiment will be described with reference to FIG. FIG. 5 is a flowchart illustrating the processing flow of the information processing apparatus 10 according to the second embodiment. Hereinafter, processing (S202, S204) different from that of the first embodiment will be mainly described based on the processing flow (FIG. 4) illustrated in the first embodiment.

音声データの解析結果と画像データの解析結果のうち、少なくとも一方がアラーム出力条件を満たす場合（Ｓ１１０：ＹＥＳ）、アラーム出力部１３０は、音声データの解析結果および画像データの解析結果に基づいて、アラーム情報を生成すると共にそのアラーム情報に対して設定する優先度を決定する（Ｓ２０２）。アラーム出力部１３０は、例えば、音声データの解析結果および画像データの解析結果の双方がアラーム出力条件を満たしている場合、それらのいずれか一方がアラーム出力条件を満たしている場合よりも高い優先度をアラーム情報に設定する。また、解析結果に感情のレベルを示す情報が含まれている場合、アラーム出力部１３０は、その感情のレベルに応じた優先度をアラーム情報に設定してもよい。また、アラーム情報に設定される優先度は、音声データおよび画像データの解析結果に基づく絶対的な評価値であってもよいし、他のアラーム情報と比較したときの相対的な評価値であってもよい。そして、アラーム出力部１３０は、Ｓ２０２で生成されたアラーム情報と、そのアラーム情報に対して設定された優先度を示す情報と共に、管理者端末４０に出力する（Ｓ２０４）。 When at least one of the audio data analysis result and the image data analysis result satisfies the alarm output condition (S110: YES), the alarm output unit 130 is based on the audio data analysis result and the image data analysis result. The alarm information is generated and the priority to be set for the alarm information is determined (S202). For example, when both the analysis result of the voice data and the analysis result of the image data satisfy the alarm output condition, the alarm output unit 130 has a higher priority than the case where either one of them satisfies the alarm output condition. Is set in the alarm information. Further, when the analysis result includes information indicating the emotional level, the alarm output unit 130 may set the priority according to the emotional level in the alarm information. Further, the priority set in the alarm information may be an absolute evaluation value based on the analysis result of the voice data and the image data, or a relative evaluation value when compared with other alarm information. You may. Then, the alarm output unit 130 outputs the alarm information generated in S202 and the information indicating the priority set for the alarm information to the administrator terminal 40 (S204).

以上、本実施形態では、アラーム情報が、優先度を示す情報と共に管理者端末４０に出力される。このアラーム情報の優先度に基づいて、管理者端末４０はアラーム情報の表示態様を変えることができる。管理者端末４０は、例えば、字体、文字色、背景色、特定のマークなど、優先度を視認可能な情報を併せて表示することが可能となる。これにより、スーパーバイザが、どのアラームを優先すべきかを容易に把握することができる。結果として、スーパーバイザによるオペレータの業務支援作業をより円滑に進めることが可能となる。 As described above, in the present embodiment, the alarm information is output to the administrator terminal 40 together with the information indicating the priority. Based on the priority of the alarm information, the administrator terminal 40 can change the display mode of the alarm information. The administrator terminal 40 can also display information on which the priority can be visually recognized, such as a font, a character color, a background color, and a specific mark. This allows the supervisor to easily know which alarm should be prioritized. As a result, it becomes possible for the supervisor to smoothly carry out the work support work of the operator.

［第３実施形態］
第２実施形態でも述べたように、アラーム情報の緊急性は、時間と共に変動し得る。例えば、コミュニケーションが上手く取れたことによって、顧客の怒りや不満といった特定感情が弱まる、或いは、オペレータの動揺や困惑といった特定感情が弱まり、その結果、スーパーバイザによる業務支援が不要となることもある。この場合、管理者端末４０に出力されたアラーム情報は不要となる。本実施形態では、不要となったアラーム情報を取り下げる機能を更に有する情報処理装置１０について説明する。 [Third Embodiment]
As mentioned in the second embodiment, the urgency of the alarm information can fluctuate over time. For example, good communication may weaken specific emotions such as customer anger and dissatisfaction, or weaken specific emotions such as operator upset and embarrassment, and as a result, supervisors may not need business support. In this case, the alarm information output to the administrator terminal 40 becomes unnecessary. In the present embodiment, the information processing device 10 further having a function of withdrawing unnecessary alarm information will be described.

〔機能構成〕
本実施形態の情報処理装置１０は、第１実施形態と同様の機能構成（例：図２）を有する。本実施形態のアラーム出力部１３０は、アラームの出力後、音声データの解析結果および画像データの解析結果の変化に基づいて、スーパーバイザが使用する管理者端末４０に出力したアラームを取り下げる。アラーム出力部１３０は、例えば、音声データの解析結果および画像データの解析結果が変化した結果、そのいずれもが所定のアラーム出力条件を満たさなくなった場合に、対応するアラーム情報の取り下げ通知を管理者端末４０に出力する。 [Functional configuration]
The information processing device 10 of the present embodiment has the same functional configuration (example: FIG. 2) as that of the first embodiment. After outputting the alarm, the alarm output unit 130 of the present embodiment withdraws the alarm output to the administrator terminal 40 used by the supervisor based on the change of the analysis result of the voice data and the analysis result of the image data. When, for example, the alarm output unit 130 does not satisfy the predetermined alarm output condition as a result of changes in the analysis result of the voice data and the analysis result of the image data, the administrator notifies the withdrawal of the corresponding alarm information. Output to terminal 40.

〔動作例〕
本実施形態における情報処理装置１０の動作例について、図６および図７を用いて説明する。図６および図７は、第３実施形態における情報処理装置１０の処理の流れを例示するフローチャートである。以下では、第１実施形態で例示した処理フロー（図４）をベースとして、第１実施形態と異なる処理（Ｓ３０２、Ｓ３０４、Ｓ３０６）について主に説明する。 [Operation example]
An operation example of the information processing apparatus 10 in this embodiment will be described with reference to FIGS. 6 and 7. 6 and 7 are flowcharts illustrating the processing flow of the information processing apparatus 10 according to the third embodiment. Hereinafter, processing (S302, S304, S306) different from that of the first embodiment will be mainly described based on the processing flow (FIG. 4) illustrated in the first embodiment.

音声データの解析結果と画像データの解析結果のうち、少なくとも一方がアラーム出力条件を満たす場合（Ｓ１１０：ＹＥＳ）、アラーム出力部１３０は、アラーム情報を生成して管理者端末４０に出力する（Ｓ１１２、Ｓ１１４）。この処理は、図４で説明したとおりである。そして、アラーム出力部１３０は、アラーム情報を出力した後、当該出力したアラーム情報に関連するオペレータを識別可能な情報を所定のリストに記憶する（Ｓ３０２）。この所定のリストは、現在、管理者端末４０上にアラーム情報を出力し、スーパーバイザによる作業支援を待っている状態のオペレータを管理するリストであり、例えば、メモリ１０３やストレージデバイス１０４などに記憶される。なお、Ｓ１１０の判定処理で用いられた解析結果が、このリストに既に記憶されているオペレータのものである場合、Ｓ３０２の処理は実行されない。 When at least one of the audio data analysis result and the image data analysis result satisfies the alarm output condition (S110: YES), the alarm output unit 130 generates alarm information and outputs it to the administrator terminal 40 (S112). , S114). This process is as described in FIG. Then, after outputting the alarm information, the alarm output unit 130 stores information that can identify the operator related to the output alarm information in a predetermined list (S302). This predetermined list is a list that currently outputs alarm information on the administrator terminal 40 and manages operators in a state of waiting for work support by a supervisor, and is stored in, for example, a memory 103 or a storage device 104. NS. If the analysis result used in the determination process of S110 is that of the operator already stored in this list, the process of S302 is not executed.

一方、音声データの解析結果と画像データの解析結果のいずれもアラーム出力条件を満たさない場合（Ｓ１１０：ＮＯ）、アラーム出力部１３０は、Ｓ１１０の判定処理で用いられた解析結果が所定のリストに既に記憶されているオペレータのものか否かを更に判定する（Ｓ３０４）。具体的には、アラーム出力部１３０は、Ｓ１１０の判定処理で用いられた解析結果に紐付けられたオペレータを識別可能な情報と、メモリ１０３やストレージデバイス１０４などに記憶された所定のリストに記憶されたオペレータを識別可能な情報とを突合させる。 On the other hand, when neither the analysis result of the audio data nor the analysis result of the image data satisfies the alarm output condition (S110: NO), the alarm output unit 130 displays the analysis result used in the determination process of S110 in a predetermined list. Further determining whether or not it belongs to an operator that has already been stored (S304). Specifically, the alarm output unit 130 stores information that can identify the operator associated with the analysis result used in the determination process of S110 and a predetermined list stored in the memory 103, the storage device 104, or the like. Match the identified operator with identifiable information.

突合の結果、リスト上で対応するオペレータの情報が見つからなかった場合（Ｓ３０４：ＮＯ）、以降の処理は実行されない。なお、その後において新たな音声データおよび画像データが取得されると、上述のアラーム出力を判定する処理が実行される。 If the corresponding operator information is not found on the list as a result of the matching (S304: NO), the subsequent processing is not executed. After that, when new audio data and image data are acquired, the above-mentioned processing for determining the alarm output is executed.

突合の結果、リスト上で対応するオペレータの情報が見つかった場合（Ｓ３０４：ＹＥＳ）、アラーム出力部１３０は、そのオペレータに関するアラーム情報の取消通知を管理者端末４０に出力する。取消通知は、取消対象のアラーム情報を特定可能な情報（例えば、オペレータ毎に一意に割り当てられた識別子や、アラーム情報毎に一意に割り当てられた識別子など）を含む。 When the corresponding operator information is found on the list as a result of the matching (S304: YES), the alarm output unit 130 outputs a cancellation notification of the alarm information regarding the operator to the administrator terminal 40. The cancellation notification includes information that can identify the alarm information to be canceled (for example, an identifier uniquely assigned to each operator, an identifier uniquely assigned to each alarm information, and the like).

以上、本実施形態では、音声データの解析結果および画像データの解析結果が、スーパーバイザによる業務支援が必要ないレベルまで変化した場合に、管理者端末４０に対してアラーム情報の取消通知が出力される。これにより、管理者端末４０は、受信したアラーム情報であって、業務支援の必要がないオペレータに関するアラーム情報を、管理者端末４０のディスプレイから除去することができる。これにより、真に業務支援が必要なアラーム情報のみが管理者端末４０のディスプレイ上に残るため、スーパーバイザによるオペレータの業務支援作業の効率が向上する。 As described above, in the present embodiment, when the analysis result of the voice data and the analysis result of the image data change to a level at which the business support by the supervisor is not required, the alarm information cancellation notification is output to the administrator terminal 40. .. As a result, the administrator terminal 40 can remove the received alarm information about the operator who does not need business support from the display of the administrator terminal 40. As a result, only the alarm information that really requires business support remains on the display of the administrator terminal 40, so that the efficiency of the operator's business support work by the supervisor is improved.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than the above can be adopted.

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。 Further, in the plurality of flowcharts used in the above description, a plurality of steps (processes) are described in order, but the execution order of the steps executed in each embodiment is not limited to the order of description. In each embodiment, the order of the illustrated steps can be changed within a range that does not hinder the contents. In addition, the above-described embodiments can be combined as long as the contents do not conflict with each other.

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析手段と、
前記オペレータの画像データを解析する画像解析手段と、
前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力手段と、
を備える情報処理装置。
２．
前記音声解析手段は、前記音声データのうち、前記顧客の発話データのみを解析する、
１．に記載の情報処理装置。
３．
前記アラーム出力手段は、前記アラームの優先度を決定し、当該アラームの優先度を前記スーパーバイザの端末に通知する、
１．または２．に記載の情報処理装置。
４．
前記アラーム出力手段は、前記音声データの解析結果と前記画像データの解析結果の双方が前記アラーム出力条件を満たしている場合に出力するアラームの優先度を、一方のみが前記アラーム出力条件を満たしている場合に出力するアラームの優先度よりも高く設定する、
３．に記載の情報処理装置。
５．
前記アラーム出力手段は、前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記アラームの優先度を設定する、
３．または４．に記載の情報処理装置。
６．
前記アラーム出力手段は、前記顧客と前記オペレータとの通話時間、前記音声データの解析結果の変化、又は、前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力したアラームの優先度を更新する、
３．から５．のいずれか１つに記載の情報処理装置。
７．
前記アラーム出力手段は、前記顧客と前記オペレータとの通話時間が所定の閾値以上の場合に、前記音声データの解析結果および前記画像データの解析結果を用いて前記アラームを出力するか否かを判断する、
１．から６．のいずれか１つに記載の情報処理装置。
８．
前記アラーム出力手段は、前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記閾値を変える、
７．に記載の情報処理装置。
９．
前記アラーム出力手段は、前記アラームの出力後、前記音声データの解析結果および前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力した前記アラームを取り下げる、
１．から８．のいずれか１つに記載の情報処理装置。
１０．
コンピュータによって実行される注意喚起方法であって、
顧客とオペレータとの間の通話内容を示す音声データを解析し、
前記オペレータの画像データを解析し、
前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力する、
ことを含む注意喚起方法。
１１．
前記音声データのうち、前記顧客の発話データのみを解析する、
ことを含む１０．に記載の注意喚起方法。
１２．
前記アラームの優先度を決定し、当該アラームの優先度を前記スーパーバイザの端末に通知する、
ことを含む１０．または１１．に記載の注意喚起方法。
１３．
前記音声データの解析結果と前記画像データの解析結果の双方が前記アラーム出力条件を満たしている場合に出力するアラームの優先度を、一方のみが前記アラーム出力条件を満たしている場合に出力するアラームの優先度よりも高く設定する、
ことを含む１２．に記載の注意喚起方法。
１４．
前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記アラームの優先度を設定する、
ことを含む１２．または１３．に記載の注意喚起方法。
１５．
前記顧客と前記オペレータとの通話時間、前記音声データの解析結果の変化、又は、前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力したアラームの優先度を更新する、
ことを含む１２．から１４．のいずれか１つに記載の注意喚起方法。
１６．
前記顧客と前記オペレータとの通話時間が所定の閾値以上の場合に、前記音声データの解析結果および前記画像データの解析結果を用いて前記アラームを出力するか否かを判断する、
ことを含む１０．から１５．のいずれか１つに記載の注意喚起方法。
１７．
前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記閾値を変える、
ことを含む１６．に記載の注意喚起方法。
１８．
前記アラームの出力後、前記音声データの解析結果および前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力した前記アラームを取り下げる、
ことを含む１０．から１７．のいずれか１つに記載の注意喚起方法。
１９．
コンピュータに、１０．から１８のいずれか１つに記載の注意喚起方法を実行させるプログラム。 Some or all of the above embodiments may also be described, but not limited to:
1. 1.
A voice analysis means that analyzes voice data indicating the content of a call between a customer and an operator,
An image analysis means for analyzing the image data of the operator and
An alarm output means that outputs an alarm to the terminal of the supervisor that manages the operator when at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition.
Information processing device equipped with.
2.
The voice analysis means analyzes only the utterance data of the customer among the voice data.
1. 1. The information processing device described in.
3. 3.
The alarm output means determines the priority of the alarm and notifies the supervisor terminal of the priority of the alarm.
1. 1. Or 2. The information processing device described in.
4.
The alarm output means satisfies the priority of the alarm to be output when both the analysis result of the voice data and the analysis result of the image data satisfy the alarm output condition, and only one of them satisfies the alarm output condition. Set higher than the priority of the alarm to be output when
3. 3. The information processing device described in.
5.
The alarm output means acquires the attribute information of the operator and sets the priority of the alarm using the attribute information of the operator.
3. 3. Or 4. The information processing device described in.
6.
The alarm output means has a priority of an alarm output to the terminal of the supervisor based on a talk time between the customer and the operator, a change in the analysis result of the voice data, or a change in the analysis result of the image data. To update,
3. 3. From 5. The information processing device according to any one of the above.
7.
The alarm output means determines whether or not to output the alarm by using the analysis result of the voice data and the analysis result of the image data when the talk time between the customer and the operator is equal to or longer than a predetermined threshold value. do,
1. 1. From 6. The information processing device according to any one of the above.
8.
The alarm output means acquires the attribute information of the operator and changes the threshold value using the attribute information of the operator.
7. The information processing device described in.
9.
After outputting the alarm, the alarm output means withdraws the alarm output to the terminal of the supervisor based on the change of the analysis result of the voice data and the analysis result of the image data.
1. 1. From 8. The information processing device according to any one of the above.
10.
A method of alerting performed by a computer
Analyze voice data showing the content of the call between the customer and the operator,
The image data of the operator is analyzed and
When at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition, an alarm is output to the terminal of the supervisor that manages the operator.
A method of calling attention including that.
11.
Of the voice data, only the utterance data of the customer is analyzed.
Including 10. The method of calling attention described in.
12.
The priority of the alarm is determined, and the priority of the alarm is notified to the terminal of the supervisor.
Including 10. Or 11. The method of calling attention described in.
13.
The priority of the alarm to be output when both the analysis result of the audio data and the analysis result of the image data satisfy the alarm output condition, and the alarm to be output when only one of them satisfies the alarm output condition. Set higher than the priority of
Including 12. The method of calling attention described in.
14.
The attribute information of the operator is acquired, and the priority of the alarm is set using the attribute information of the operator.
Including 12. Or 13. The method of calling attention described in.
15.
The priority of the alarm output to the terminal of the supervisor is updated based on the talk time between the customer and the operator, the change in the analysis result of the voice data, or the change in the analysis result of the image data.
Including 12. From 14. The method of calling attention described in any one of the above.
16.
When the talk time between the customer and the operator is equal to or longer than a predetermined threshold value, it is determined whether or not to output the alarm by using the analysis result of the voice data and the analysis result of the image data.
Including 10. To 15. The method of calling attention described in any one of the above.
17.
The attribute information of the operator is acquired, and the threshold value is changed using the attribute information of the operator.
Including 16. The method of calling attention described in.
18.
After the alarm is output, the alarm output to the supervisor terminal is withdrawn based on the change in the analysis result of the voice data and the analysis result of the image data.
Including 10. From 17. The method of calling attention described in any one of the above.
19.
On the computer, 10. A program that executes the alerting method described in any one of 18 to 18.

１０情報処理装置
１０１バス
１０２プロセッサ
１０３メモリ
１０４ストレージデバイス
１０５入出力インタフェース
１０６ネットワークインタフェース
１１０音声解析部
１２０画像解析部
１３０アラーム出力部
２０顧客端末
３０オペレータ端末
３２撮像装置
４０管理者端末
５０交換機
６０通話録音エンジン
７０社内ネットワーク 10 Information processing device 101 Bus 102 Processor 103 Memory 104 Storage device 105 Input / output interface 106 Network interface 110 Voice analysis unit 120 Image analysis unit 130 Alarm output unit 20 Customer terminal 30 Operator terminal 32 Imaging device 40 Administrator terminal 50 Switch 60 Call recording Engine 70 internal network

Claims

A voice analysis means that analyzes voice data indicating the content of a call between a customer and an operator,
An image analysis means for analyzing the image data of the operator and
An alarm output means that outputs an alarm to the terminal of the supervisor that manages the operator when at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition.
With
The voice analysis means analyzes only the utterance data of the customer among the voice data.
Information processing apparatus.

A voice analysis means that analyzes voice data indicating the content of a call between a customer and an operator,
An image analysis means for analyzing the image data of the operator and
An alarm output means that outputs an alarm to the terminal of the supervisor that manages the operator when at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition.
With
The alarm output means
Obtain information indicating the talk time between the customer and the operator, the change in the analysis result of the voice data, or the change in the analysis result of the image data.
The priority of the alarm is determined based on the talk time or the information, and the priority of the alarm is notified to the terminal of the supervisor.
Information processing apparatus.

The alarm output means satisfies the priority of the alarm to be output when both the analysis result of the voice data and the analysis result of the image data satisfy the alarm output condition, and only one of them satisfies the alarm output condition. Set higher than the priority of the alarm to be output when
The information processing device according to claim 2.

The alarm output means acquires the attribute information of the operator and sets the priority of the alarm using the attribute information of the operator.
The information processing device according to claim 2 or 3.

The alarm output means has a priority of an alarm output to the terminal of the supervisor based on a talk time between the customer and the operator, a change in the analysis result of the voice data, or a change in the analysis result of the image data. To update,
The information processing device according to any one of claims 2 to 4.

A voice analysis means that analyzes voice data indicating the content of a call between a customer and an operator,
An image analysis means for analyzing the image data of the operator and
An alarm output means that outputs an alarm to the terminal of the supervisor that manages the operator when at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition.
With
The alarm output means determines whether or not to output the alarm by using the analysis result of the voice data and the analysis result of the image data when the talk time between the customer and the operator is equal to or longer than a predetermined threshold value. do,
Information processing apparatus.

The alarm output means acquires the attribute information of the operator and changes the threshold value using the attribute information of the operator.
The information processing device according to claim 6.

A voice analysis means that analyzes voice data indicating the content of a call between a customer and an operator,
An image analysis means for analyzing the image data of the operator and
Each of the analysis result of the voice data and the analysis result of the image data is compared with a predetermined alarm output condition, and at least one of the analysis result of the voice data and the analysis result of the image data satisfies the predetermined alarm output condition. When, an alarm output means that outputs an alarm to the terminal of the supervisor that manages the operator, and
Information processing device equipped with.

After outputting the alarm, the alarm output means withdraws the alarm output to the terminal of the supervisor based on the change of the analysis result of the voice data and the analysis result of the image data.
The information processing device according to any one of claims 1 to 8.

A method of alerting performed by a computer
Analyze voice data showing the content of the call between the customer and the operator,
The image data of the operator is analyzed and
When at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition, an alarm is output to the terminal of the supervisor that manages the operator.
Look at including it,
The computer analyzes only the utterance data of the customer among the voice data.
How to call attention.

A method of alerting performed by a computer
Analyze voice data showing the content of the call between the customer and the operator,
The image data of the operator is analyzed and
When at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition, an alarm is output to the terminal of the supervisor that manages the operator.
Including that
The computer
Obtain information indicating the talk time between the customer and the operator, the change in the analysis result of the voice data, or the change in the analysis result of the image data.
The priority of the alarm is determined based on the talk time or the information, and the priority of the alarm is notified to the terminal of the supervisor.
How to call attention.

A method of alerting performed by a computer
Analyze voice data showing the content of the call between the customer and the operator,
The image data of the operator is analyzed and
When at least one of the analysis result of the voice data and the analysis result of the image data satisfies a predetermined alarm output condition, an alarm is output to the terminal of the supervisor that manages the operator.
Including that
When the talk time between the customer and the operator is equal to or longer than a predetermined threshold value, the computer determines whether or not to output the alarm by using the analysis result of the voice data and the analysis result of the image data.
How to call attention.

A method of alerting performed by a computer
Analyze voice data showing the content of the call between the customer and the operator,
The image data of the operator is analyzed and
Each of the analysis result of the voice data and the analysis result of the image data is compared with a predetermined alarm output condition, and at least one of the analysis result of the voice data and the analysis result of the image data satisfies the predetermined alarm output condition. At that time, an alarm is output to the terminal of the supervisor that manages the operator.
A method of calling attention including that.

A program that causes a computer to execute the alerting method according to any one of claims 10 to 13.