Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6957933B2 - Information processing equipment, information processing methods and information processing programs - Google Patents
[go: Go Back, main page]

JP6957933B2 - Information processing equipment, information processing methods and information processing programs - Google Patents

Information processing equipment, information processing methods and information processing programs Download PDF

Info

Publication number
JP6957933B2
JP6957933B2 JP2017067206A JP2017067206A JP6957933B2 JP 6957933 B2 JP6957933 B2 JP 6957933B2 JP 2017067206 A JP2017067206 A JP 2017067206A JP 2017067206 A JP2017067206 A JP 2017067206A JP 6957933 B2 JP6957933 B2 JP 6957933B2
Authority
JP
Japan
Prior art keywords
customer
utterance
amount
feature amount
call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017067206A
Other languages
Japanese (ja)
Other versions
JP2018169843A (en
Inventor
祥史 大西
真 寺尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017067206A priority Critical patent/JP6957933B2/en
Publication of JP2018169843A publication Critical patent/JP2018169843A/en
Priority to JP2021165059A priority patent/JP7238940B2/en
Application granted granted Critical
Publication of JP6957933B2 publication Critical patent/JP6957933B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.

上記技術分野において、特許文献1には、顧客情報と、顧客の行動履歴情報と、解約リスクが高い顧客とみなす顧客抽出ルールと、を比較して、顧客抽出ルールを満たす顧客を解約リスクが高い顧客として抽出する技術が開示されている。また、非特許文献1には、発話区間の検出方法が開示されている。非特許文献2には、感情認識の方法が開示されている。非特許文献3には、機械学習方法が開示されている。非特許文献4には、発話区間の検出方法が開示されている。 In the above technical field, Patent Document 1 compares customer information, customer behavior history information, and a customer extraction rule regarded as a customer with a high churn risk, and a customer who satisfies the customer extraction rule has a high churn risk. The technology to extract as a customer is disclosed. Further, Non-Patent Document 1 discloses a method for detecting an utterance section. Non-Patent Document 2 discloses a method of emotion recognition. Non-Patent Document 3 discloses a machine learning method. Non-Patent Document 4 discloses a method for detecting an utterance section.

特開2002−334200号公報JP-A-2002-334200

Yusuke Kida and Tatsuya Kawahara, "Voice Activity Detection based on Optimally Weighted Combination of Multiple Features," Proc. INTERSPEECH 2005, pp.2621-2624, 2005.Yusuke Kida and Tatsuya Kawahara, "Voice Activity Detection based on Optimally Weighted Combination of Multiple Features," Proc. INTERSPEECH 2005, pp.2621-2624, 2005. Florian Eyben, Martin Wollmer, and Bjorn Schuller, "openEAR - Introducing the Munich Open-Source Emotion and Affect Recognition Toolkit," 2009 3rd International Conference on Affective Computing and Intelligent Interaction and WorkshopsFlorian Eyben, Martin Wollmer, and Bjorn Schuller, "openEAR --Introducing the Munich Open-Source Emotion and Affect Recognition Toolkit," 2009 3rd International Conference on Affective Computing and Intelligent Interaction and Workshops Pedregosa et al., "Scikit-learn: Machine Learning in Python, " JMLR 12, pp. 2825-2830, 2011.Pedregosa et al., "Scikit-learn: Machine Learning in Python," JMLR 12, pp. 2825-2830, 2011. J.P.Yamron, I.Carp, L.Gillick, S.Lowe, and P.van Mulbregt, “A HIDDEN MARKOV MODEL APPROACH TO TEXT SEGMENTATION AND EVENT TRACKING,” IEEE International Conference on Acoustics, Speech and Signal Processing, pp.333-336, 1998.JPYamron, I.Carp, L.Gillick, S.Lowe, and P.van Mulbregt, “A HIDDEN MARKOV MODEL APPROACH TO TEXT SEGMENTATION AND EVENT TRACKING,” IEEE International Conference on Acoustics, Speech and Signal Processing, pp.333- 336, 1998.

しかしながら、上記文献に記載の技術では、顧客の行動履歴情報を用いるため、行動履歴情報を持たない初めてコンタクトしてきた顧客対しても解約リスク予測ができなかった。 However, since the technique described in the above document uses the behavior history information of the customer, it is not possible to predict the churn risk even for the customer who contacts for the first time without the behavior history information.

本発明の目的は、上述の課題を解決する技術を提供することにある。 An object of the present invention is to provide a technique for solving the above-mentioned problems.

上記目的を達成するため、本発明に係る情報処理装置は、
顧客とオペレータとの間の通話中の音声データを取得して、記憶する通話記憶手段と、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの発話量に関する発話量特徴量を算出する発話量特徴算出手段と、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの感情値に関する感情値特徴量を算出する感情値特徴量算出手段と、
前記発話量特徴量と前記感情値特徴量とに基づいて前記顧客の解約リスクを予測する顧客抽出モデルを記憶する顧客抽出モデル記憶手段と、
前記顧客抽出モデルを用いて、前記発話量特徴量と前記感情値特徴量から前記顧客の解約リスクを予測する解約予測手段と、
を備えた。
In order to achieve the above object, the information processing device according to the present invention is
It acquires the audio data during a call between the customer and the operator, the call storage means for storing,
Based on the voice data, the utterance amount feature amount calculating means for calculating the utterance amount feature amount regarding the utterance amount of the customer and the operator during the call, and the utterance amount feature amount calculation means.
An emotion value feature amount calculating means for calculating an emotion value feature amount relating to an emotional value of the customer and the operator during the call based on the voice data, and an emotion value feature amount calculating means.
A customer extraction model storage means for storing a customer extraction model that predicts the churn risk of the customer based on the utterance amount feature amount and the emotion value feature amount.
Using the customer extraction model, and churn predicting means for predicting a churn risk of the customer from said speech content features and the prior SL emotion value feature quantity,
Equipped with.

上記目的を達成するため、本発明に係る情報処理方法は、
顧客とオペレータとの間の通話中の音声データを取得して、記憶する通話記憶ステップと、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの発話量に関する発話量特徴量を算出する発話量特徴算出ステップと、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの感情値に関する感情値特徴量を算出する感情値特徴量算出ステップと、
前記発話量特徴量と前記感情値特徴量とに基づいて前記顧客の解約リスクを予測する顧客抽出モデルを用いて、前記発話量特徴量と前記感情値特徴量から前記顧客の解約リスクを予測する解約予測ステップと、
を含む。
In order to achieve the above object, the information processing method according to the present invention
It acquires the audio data during a call between the customer and the operator, the call storage step of storing,
Based on the voice data, the utterance amount feature amount calculation step for calculating the utterance amount feature amount regarding the utterance amount of the customer and the operator during the call, and the utterance amount feature amount calculation step.
An emotion value feature amount calculation step for calculating an emotion value feature amount relating to an emotional value of the customer and the operator during the call based on the voice data, and a step of calculating the emotion value feature amount.
With customer extraction model for predicting the lapse risk of the customer based on said emotion value feature quantity and said utterances amount characteristic amount, a lapse risk of the customer from said speech content features and the prior SL emotion value feature quantity Predicting churn prediction steps and
including.

上記目的を達成するため、本発明に係る情報処理プログラムは、
顧客とオペレータとの間の通話中の音声データを取得して、記憶する通話記憶ステップと、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの発話量に関する発話量特徴量を算出する発話量特徴算出ステップと、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの感情値に関する感情値特徴量を算出する感情値特徴量算出ステップと、
前記発話量特徴量と前記感情値特徴量とに基づいて前記顧客の解約リスクを予測する顧客抽出モデルを用いて、前記発話量特徴量と前記感情値特徴量から前記顧客の解約リスクを予測する解約予測ステップと、
をコンピュータに実行させる。
In order to achieve the above object, the information processing program according to the present invention
It acquires the audio data during a call between the customer and the operator, the call storage step of storing,
Based on the voice data, the utterance amount feature amount calculation step for calculating the utterance amount feature amount regarding the utterance amount of the customer and the operator during the call, and the utterance amount feature amount calculation step.
An emotion value feature amount calculation step for calculating an emotion value feature amount relating to an emotional value of the customer and the operator during the call based on the voice data, and a step of calculating the emotion value feature amount.
With customer extraction model for predicting the lapse risk of the customer based on said emotion value feature quantity and said utterances amount characteristic amount, a lapse risk of the customer from said speech content features and the prior SL emotion value feature quantity Predicting churn prediction steps and
Let the computer run.

本発明によれば、行動履歴情報を持たない初めてコンタクトしてきた顧客対しても解約リスク予測ができる。 According to the present invention, it is possible to predict the churn risk even for a customer who has contacted for the first time without behavior history information.

本発明の第1実施形態に係る情報処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing apparatus which concerns on 1st Embodiment of this invention. 本発明の第2実施形態に係る情報処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第2実施形態に係る情報処理装置の感情特徴算出部の構成を示すブロック図である。It is a block diagram which shows the structure of the emotion characteristic calculation part of the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第2実施形態に係る情報処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第2実施形態に係る情報処理装置の処理手順を説明するフローチャートである。It is a flowchart explaining the processing procedure of the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第3実施形態に係る情報処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing apparatus which concerns on 3rd Embodiment of this invention. 本発明の第3実施形態に係る情報処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the information processing apparatus which concerns on 3rd Embodiment of this invention. 本発明の第3実施形態に係る情報処理装置の処理手順を説明するフローチャートである。It is a flowchart explaining the processing procedure of the information processing apparatus which concerns on 3rd Embodiment of this invention.

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。 Hereinafter, embodiments for carrying out the present invention will be described in detail exemplarily with reference to the drawings. However, the configuration, numerical values, processing flow, functional elements, etc. described in the following embodiments are merely examples, and modifications and changes thereof are free, and the technical scope of the present invention is described below. It is not intended to be limited.

[第1実施形態]
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、通話における発話量特徴と感情とに基づいて、通話における解約リスクを予測する装置である。
[First Embodiment]
The information processing device 100 as the first embodiment of the present invention will be described with reference to FIG. The information processing device 100 is a device that predicts the churn risk in a call based on the utterance volume characteristics and emotions in the call.

図1に示すように、情報処理装置100は、通話記憶部101と、発話量特徴算出部102と、感情認識部103と、解約予測部104と、を含む。通話記憶部101は、顧客とオペレータとの間の通話を取得して、記憶する。発話量特徴算出部102は、記憶した通話の発話量特徴量を算出する。感情認識部103は、発話区間の感情を認識する。解約予測部104は、発話量特徴量と、認識した感情と、に基づいて、通話における解約リスクを予測する。 As shown in FIG. 1, the information processing device 100 includes a call storage unit 101, an utterance amount feature calculation unit 102, an emotion recognition unit 103, and a churn prediction unit 104. The call storage unit 101 acquires and stores a call between the customer and the operator. The utterance amount feature calculation unit 102 calculates the utterance amount feature amount of the stored call. The emotion recognition unit 103 recognizes the emotions in the utterance section. The churn prediction unit 104 predicts the churn risk in a call based on the utterance volume feature amount and the recognized emotion.

本実施形態によれば、行動履歴情報を持たない初めてコンタクトしてきた顧客対しても解約リスク予測ができる。 According to this embodiment, it is possible to predict the churn risk even for a customer who has contacted for the first time without behavior history information.

[第2実施形態]
次に本発明の第2実施形態に係る情報処理装置について、図2乃至図5を用いて説明する。図2は、本実施形態に係る情報処理装置の構成を示すブロック図である。
[Second Embodiment]
Next, the information processing apparatus according to the second embodiment of the present invention will be described with reference to FIGS. 2 to 5. FIG. 2 is a block diagram showing a configuration of an information processing device according to the present embodiment.

本実施形態に係る情報処理装置は、コールセンタなどにおいて、通話から、解約リスクの高い顧客や、継続が見込める顧客などを抽出することができ、それぞれの顧客に対して選択的に適切なフォローアップを実施できる装置である。 The information processing device according to the present embodiment can extract customers with a high risk of cancellation, customers who are expected to continue, etc. from calls at a call center or the like, and selectively and appropriately follow up with each customer. It is a device that can be implemented.

情報処理装置200は、通話記憶部201、発話量特徴算出部202、感情認識部203、感情特徴算出部204、顧客抽出モデル記憶部205、解約予測部206および抽出顧客出力部207を有する。 The information processing device 200 includes a call storage unit 201, an utterance amount feature calculation unit 202, an emotion recognition unit 203, an emotion feature calculation unit 204, a customer extraction model storage unit 205, a cancellation prediction unit 206, and an extraction customer output unit 207.

通話記憶部201は、顧客とオペレータとの間の通話を通話音声データとして取得する。そして、通話記憶部201は、取得した通話音声データをファイルまたはストリームデータとして記憶する。 The call storage unit 201 acquires a call between the customer and the operator as call voice data. Then, the call storage unit 201 stores the acquired call voice data as a file or stream data.

通話音声データを記憶する際に、通話記憶部201は、記憶する通話音声データに対して、通話(コール)を特定する通話ID(Identifier)(コールID)を付与して、記憶する。さらに、通話記憶部201は、記憶する通話音声データに対して、通話音声データの発話区間を検出し、検出した発話区間のそれぞれに対して発話者情報、すなわち、オペレータ情報または顧客情報を付与して、記憶する。さらにまた、通話記憶部201は、記憶する通話音声データに対して、検出した発話区間のそれぞれに対して発話時刻情報、すなわち、発話始端の時刻および発話終端の時刻を付与して、記憶する。よって、通話記憶部201は、通話音声データを記憶する際に、記憶する通話音声データに対して、コールID、オペレータ情報、顧客情報、発話時刻情報を付与して、記憶する。 When storing the call voice data, the call storage unit 201 assigns a call ID (Identifier) (call ID) for specifying the call (call) to the stored call voice data and stores the call voice data. Further, the call storage unit 201 detects the utterance section of the call voice data with respect to the call voice data to be stored, and adds speaker information, that is, operator information or customer information to each of the detected utterance sections. And remember. Furthermore, the call storage unit 201 adds utterance time information, that is, the utterance start time and the utterance end time to each of the detected utterance sections, and stores the utterance voice data to be stored. Therefore, when the call storage unit 201 stores the call voice data, the call ID, the operator information, the customer information, and the utterance time information are added to the stored call voice data and stored.

なお、発話区間の検出方法には様々な方法が開示されており、例えば、非特許文献1に記載されている方法を用いてもよい。 Various methods are disclosed as methods for detecting the utterance section, and for example, the method described in Non-Patent Document 1 may be used.

コールIDについては、例えば、近年のコールセンタにおいては、CTI(Computer Telephony Integration)システムによりコールIDを取得することができる。また、顧客側の信号とオペレータ側の信号とは、別のチャンネルとしてデータを記録することが可能である。したがって、コールIDおよび発話者情報は、CTIシステムにより取得したコールIDとチャンネル情報とを用いて付与することができる。 Regarding the call ID, for example, in a recent call center, the call ID can be acquired by a CTI (Computer Telephony Integration) system. Further, it is possible to record data as different channels for the signal on the customer side and the signal on the operator side. Therefore, the call ID and the speaker information can be given by using the call ID and the channel information acquired by the CTI system.

また、発話時刻情報は、検知された発話区間の絶対時刻、または、システムが規定する時刻情報を始端および終端について取得することで付与できる。 Further, the utterance time information can be given by acquiring the absolute time of the detected utterance section or the time information specified by the system for the start and end.

発話量特徴算出部202は、通話記憶部201に記憶された各発話区間の時刻情報から、オペレータと顧客との発話量の特徴を算出する。すなわち、各コールにおけるオペレータおよび顧客のそれぞれの発話区間の総時間、各コールにおけるオペレータと顧客との発話区間の総時間の比率、各コールにおけるオペレータおよび顧客のそれぞれの発話区間長の平均値、分散値、中央値、最頻値、あるいはその他の統計処理によって算出される値の少なくともいずれか一つを用いる。 The utterance amount characteristic calculation unit 202 calculates the characteristics of the utterance amount between the operator and the customer from the time information of each utterance section stored in the call storage unit 201. That is, the total time of each utterance section of the operator and the customer in each call, the ratio of the total time of the utterance section between the operator and the customer in each call, the average value of the utterance section lengths of the operator and the customer in each call, and the variance. Use at least one of values, median, mode, or any other value calculated by statistical processing.

感情認識部203は、通話記憶部201に記憶された各発話区間について、valence(感情の質を示す感情価、感情のpositiveとnegativeとの度合)、arousal(覚醒か沈静かを示す覚醒度、感情の興奮度合)、納得感および期待感の少なくとも一つの感情値を算出する。感情認識方法は様々な方法が開示されており、例えば、非特許文献2に記載されている方法を用いることができる。 The emotion recognition unit 203 has valence (emotion value indicating the quality of emotion, degree of positive and negative emotion), arousal (awakening degree indicating arousal or calmness), for each speech section stored in the call storage unit 201. Calculate at least one emotional value of emotional excitement), conviction, and expectation. Various methods are disclosed as the emotion recognition method, and for example, the method described in Non-Patent Document 2 can be used.

いずれの感情も、事前に指定した範囲の数値、または、有限個のカテゴリを感情値として算出される。すなわち、感情認識部203は、例えば、valenceについて、−3〜3の範囲の値、または、{−3,−2,−1,0,1,2,3}といったカテゴリを算出する。arousal、納得感、期待感も同様であるが、各感情で指定する範囲やカテゴリは同一のものである必要はない。 Each emotion is calculated using a numerical value in a predetermined range or a finite number of categories as an emotion value. That is, the emotion recognition unit 203 calculates, for example, a value in the range of -3 to 3 or a category such as {-3, -2, -1, 0, 1, 2, 3} for valence. The same applies to arousal, conviction, and expectation, but the range and category specified for each emotion do not have to be the same.

感情特徴算出部204は、感情認識部203で算出された各発話区間の感情値から、オペレータおよび顧客の感情特徴量を算出する。感情特徴量には、各コールにおけるオペレータと顧客とのそれぞれの感情値の総和、感情値比率、感情値の平均値、分散値、中央値、最頻値、あるいはその他の統計処理によって算出される値の少なくともいずれか一つが含まれる。 The emotional feature calculation unit 204 calculates the emotional feature amount of the operator and the customer from the emotional value of each utterance section calculated by the emotional recognition unit 203. The emotion feature is calculated by the sum of the emotion values of the operator and the customer in each call, the emotion value ratio, the average value of the emotion values, the variance value, the median value, the mode value, or other statistical processing. At least one of the values is included.

図3は、本実施形態に係る情報処理装置の感情特徴算出部の構成を示すブロック図である。感情特徴算出部204は、図3に示す構成により、通話音声データ内の特定の区間に含まれる各発話区間の感情値のみを用いて、オペレータおよび顧客の感情特徴量を算出してもよい。図3に示す感情特徴算出部204は、話題区間検出部241と、絞込み部242と、特徴算出部243と、を含む。 FIG. 3 is a block diagram showing a configuration of an emotional feature calculation unit of the information processing device according to the present embodiment. The emotional feature calculation unit 204 may calculate the emotional feature amount of the operator and the customer by using only the emotional value of each utterance section included in the specific section in the call voice data according to the configuration shown in FIG. The emotional feature calculation unit 204 shown in FIG. 3 includes a topic section detection unit 241, a narrowing-down unit 242, and a feature calculation unit 243.

話題区間検出部241は、通話記憶部201に記憶された通話音声データに含まれる話題区間を検出し、検出した話題区間のそれぞれに対して話題始端の時刻および話題終端の時刻を付与する。話題としては、例えば、オープニング、クロージング、製品・サービス説明、料金説明、勧誘、ヒアリング、個人情報確認、事務手続き、などが挙げられる。 The topic section detection unit 241 detects a topic section included in the call voice data stored in the call storage unit 201, and assigns a topic start time and a topic end time to each of the detected topic sections. Topics include, for example, opening, closing, product / service explanation, fee explanation, solicitation, hearing, personal information confirmation, paperwork, and the like.

話題区間の検出方法は様々な方法が開示されており、例えば、音声認識と非特許文献4に記載されている方法を組合せて用いることができる。具体的には、様々な話題に対する単語の出現頻度をあらかじめ学習した話題モデルを用いて、音声認識で得られる単語列を複数の話題区間へと分割することができる。 Various methods are disclosed as methods for detecting the topic section. For example, voice recognition and the methods described in Non-Patent Document 4 can be used in combination. Specifically, a word string obtained by voice recognition can be divided into a plurality of topic sections by using a topic model in which the frequency of appearance of words for various topics is learned in advance.

また、話題区間検出部241は、時刻情報や発話数に基づいて話題区間を検出しても良い。例えば、通話の先頭30秒区間や先頭5発話区間をオープニングの話題区間として検出できる。また、通話の末尾30秒区間や末尾5発話区間をクロージングの話題区間として検出できる。さらに、通話の後半1/3区間(例えば、9分間の通話であれば6分〜9分の区間)を1つの話題区間として検出しても良い。 Further, the topic section detection unit 241 may detect the topic section based on the time information and the number of utterances. For example, the first 30 seconds section and the first 5 utterance sections of a call can be detected as the opening topic section. In addition, the last 30 seconds section and the last 5 utterance sections of the call can be detected as the closing topic section. Further, the latter half 1/3 section of the call (for example, a section of 6 to 9 minutes in the case of a 9-minute call) may be detected as one topic section.

絞込み部242は、感情認識部203が感情値を付与した各発話区間のうち、話題区間検出部208が検出した特定の話題に含まれる発話区間のみを特徴算出部243へ出力する。例えば、クロージングの話題区間に含まれる発話区間とそれらの感情値のみを特徴算出部243へ出力する。 The narrowing-down unit 242 outputs only the utterance section included in the specific topic detected by the topic section detection unit 208 to the feature calculation unit 243 among the utterance sections to which the emotion recognition unit 203 has given the emotion value. For example, only the utterance section included in the closing topic section and their emotional values are output to the feature calculation unit 243.

特徴算出部243は、絞込み部242から出力された各発話区間の感情値から、オペレータおよび顧客の感情特徴量を算出する。感情特徴量には、特定の話題区間におけるオペレータと顧客とのそれぞれの感情値の総和、感情値比率、感情値の平均値、分散値、中央値、最頻値、あるいはその他の統計処理によって算出される値の少なくともいずれか一つが含まれる。例えば、オープニングまたはクロージングの話題区間に含まれる顧客の発話のvalenceや期待感の感情値の総和や平均値を感情特徴量として算出する。 The feature calculation unit 243 calculates the emotional feature amount of the operator and the customer from the emotional value of each utterance section output from the narrowing-down unit 242. The emotional feature is calculated by the sum of the emotional values of the operator and the customer in a specific topic section, the emotional value ratio, the average emotional value, the variance value, the median value, the mode value, or other statistical processing. At least one of the values to be created is included. For example, the sum or average value of the valence of the customer's utterance and the emotional value of the expectation included in the topic section of the opening or closing is calculated as the emotional feature amount.

顧客抽出モデル記憶部205は、感情特徴算出部204で算出されたオペレータおよび顧客の感情特徴量と、発話量特徴算出部202で算出されたオペレータおよび顧客の発話量と、を特徴量とし、解約リスクが高い顧客が予測するモデルを顧客抽出モデルとして記憶する。 The customer extraction model storage unit 205 cancels the contract by using the emotional feature amount of the operator and the customer calculated by the emotional feature calculation unit 204 and the speech amount of the operator and the customer calculated by the speech amount characteristic calculation unit 202 as the feature amount. Store the model predicted by high-risk customers as a customer extraction model.

客抽出モデルは、あらかじめ各通話データに対応した解約したか否かの正解ラベル情報を与えて、解約リスクを予測するモデルを機械学習手法により学習しておく。機械学習手法は様々な方法が開示されており、例えば、非特許文献3には、その詳細および実行可能なプログラムが開示されている。解約予測は、当該モデルの学習手法に対応した予測手法を用いることができる。 In the customer extraction model, the correct label information of whether or not the contract is canceled corresponding to each call data is given in advance, and the model for predicting the cancellation risk is learned by the machine learning method. Various methods of machine learning methods are disclosed. For example, Non-Patent Document 3 discloses the details thereof and an executable program. For the churn prediction, a prediction method corresponding to the learning method of the model can be used.

解約予測部206は、顧客抽出モデルを用いて、各コールに対して解約リスクを予測(算出)する。 The churn prediction unit 206 predicts (calculates) the churn risk for each call using the customer extraction model.

抽出顧客出力部207は、予測された各コールの解約リスクと、あらかじめ指定した解約リスクの閾値や対象コール数における高解約リスク者割合と、を比較し、解約リスクの高い顧客、すなわち、解約リスクが高いコールの顧客を抽出する。 The extracted customer output unit 207 compares the predicted churn risk of each call with the churn risk threshold specified in advance and the ratio of high churn risk persons in the number of target calls, and the customer with a high churn risk, that is, the churn risk. Extract customers with high calls.

なお、本実施形態の説明では、解約を予測する例で説明をしたが、本実施形態は継続予測についても同様に適用できる。 In the description of the present embodiment, an example of predicting churn has been described, but the present embodiment can be similarly applied to continuous prediction.

図4は、本実施形態に係る情報処理装置200のハードウェア構成を説明するブロック図である。CPU(Central Processing Unit)410は、演算制御用のプロセッサであり、プログラムを実行することで図2の情報処理装置200の機能構成部を実現する。CPU410は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ROM(Read Only Memory)420は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース430は、ネットワークを介して他の装置などと通信する。なお、CPU410は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース430は、CPU410とは独立したCPUを有して、RAM(Random Access Memory)440の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAM440とストレージ450との間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい(図示なし)。さらに、CPU410は、RAM440にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU410は、処理結果をRAM440に準備し、後の送信あるいは転送はネットワークインタフェース430やDMACに任せる。 FIG. 4 is a block diagram illustrating a hardware configuration of the information processing apparatus 200 according to the present embodiment. The CPU (Central Processing Unit) 410 is a processor for arithmetic control, and realizes the functional component of the information processing device 200 of FIG. 2 by executing a program. The CPU 410 has a plurality of processors, and may execute different programs, modules, tasks, threads, and the like in parallel. The ROM (Read Only Memory) 420 stores fixed data such as initial data and programs, and other programs. Further, the network interface 430 communicates with other devices and the like via the network. The CPU 410 is not limited to one, and may be a plurality of CPUs, or may include a GPU (Graphics Processing Unit) for image processing. Further, it is desirable that the network interface 430 has a CPU independent of the CPU 410 and writes or reads transmission / reception data in the area of the RAM (Random Access Memory) 440. Further, it is desirable to provide a DMAC (Direct Memory Access Controller) for transferring data between the RAM 440 and the storage 450 (not shown). Further, the CPU 410 recognizes that the data has been received or transferred to the RAM 440 and processes the data. Further, the CPU 410 prepares the processing result in the RAM 440, and the subsequent transmission or transfer is left to the network interface 430 or the DMAC.

RAM440は、CPU410が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM440には、本実施形態の実現に必要なデータを記憶する領域が確保されている。通話ID441は、オペレータと顧客との間の通話(コール)を識別するデータであり、各通話に割り当てられている。発話量特徴442は、オペレータと顧客との間の通話において、算出された発話量の特徴である。感情値443は、各コールにおける各発話区間の算出された感情値である。感情特徴444は、各発話区間の感情値から算出された感情の特徴である、顧客抽出モデル445は、解約リスクが高い顧客を予測するためのモデルである。解約予測446は、顧客抽出モデルを用いて各コールに対して予測された解約リスクの予測である。 The RAM 440 is a random access memory used by the CPU 410 as a temporary storage work area. The RAM 440 has an area for storing data necessary for realizing the present embodiment. The call ID 441 is data that identifies a call (call) between the operator and the customer, and is assigned to each call. The utterance volume feature 442 is a feature of the utterance volume calculated in a call between the operator and the customer. The emotion value 443 is a calculated emotion value of each utterance section in each call. The emotional feature 444 is an emotional feature calculated from the emotional value of each utterance section, and the customer extraction model 445 is a model for predicting a customer with a high churn risk. The churn prediction 446 is a prediction of the churn risk predicted for each call using the customer extraction model.

入出力データ447は、入出力インタフェース460を介して入出力されるデータである。送受信データ448は、ネットワークインタフェース430を介して送受信されるデータである。また、RAM440は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域449を有する。 The input / output data 447 is data input / output via the input / output interface 460. The transmission / reception data 448 is data transmitted / received via the network interface 430. Further, the RAM 440 has an application execution area 449 for executing various application modules.

ストレージ450には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ450は、発話量特徴算出モジュール453、感情認識モジュール454、感情特徴算出モジュール455および解約予測モジュール457を格納する。 The storage 450 stores a database, various parameters, and the following data or programs necessary for realizing the present embodiment. The storage 450 stores the utterance amount feature calculation module 453, the emotion recognition module 454, the emotion feature calculation module 455, and the churn prediction module 457.

発話量特徴算出モジュール453は、オペレータと顧客との間の通話の発話量の特徴を算出するモジュールである。感情認識モジュール454は、オペレータと顧客との間の通話の発話区間における感情値を算出するモジュールである。感情特徴算出モジュール455は、算出された発話区間の感情値から感情の特徴を算出するモジュールである。解約予測モジュール457は、発話量特徴量と認識した感情とに基づいて、通話における解約リスクを予測するモジュールである。これらのモジュール453〜457は、CPU410によりRAM440のアプリケーション実行領域449に読み出され、実行される。制御プログラム456は、情報処理装置200の全体を制御するためのプログラムである。 The utterance amount characteristic calculation module 453 is a module for calculating the utterance amount characteristic of the call between the operator and the customer. The emotion recognition module 454 is a module for calculating an emotion value in the utterance section of a call between the operator and the customer. The emotional feature calculation module 455 is a module for calculating emotional features from the calculated emotional values of the utterance section. The churn prediction module 457 is a module that predicts the churn risk in a call based on the utterance volume feature amount and the recognized emotion. These modules 453 to 457 are read by the CPU 410 into the application execution area 449 of the RAM 440 and executed. The control program 456 is a program for controlling the entire information processing apparatus 200.

入出力インタフェース460は、入出力機器との入出力データをインタフェースする。入出力インタフェース460には、表示部461、操作部462、が接続される。また、入出力インタフェース460には、さらに、記憶媒体464が接続されてもよい。さらに、音声出力部であるスピーカ463や、音声入力部であるマイク(図示せず)、あるいは、GPS位置判定部が接続されてもよい。なお、図4に示したRAM440やストレージ450には、情報処理装置200が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。 The input / output interface 460 interfaces input / output data with an input / output device. A display unit 461 and an operation unit 462 are connected to the input / output interface 460. Further, a storage medium 464 may be further connected to the input / output interface 460. Further, a speaker 463 which is a voice output unit, a microphone (not shown) which is a voice input unit, or a GPS position determination unit may be connected. The RAM 440 and the storage 450 shown in FIG. 4 do not show programs or data related to general-purpose functions and other feasible functions of the information processing device 200.

図5は、本実施形態に係る情報処理装置200の処理手順を説明するフローチャートである。このフローチャートは、図4のCPU410がRAM440を使用して実行し、図2の情報処理装置200の機能構成部を実現する。 FIG. 5 is a flowchart illustrating a processing procedure of the information processing apparatus 200 according to the present embodiment. This flowchart is executed by the CPU 410 of FIG. 4 using the RAM 440, and realizes the functional component of the information processing apparatus 200 of FIG.

ステップS501において、情報処理装置200は、オペレータと顧客との間の通話を取得する。ステップS503において、情報処理装置200は、取得した通話の発話区間を検出し、検出した各発話区間に対して、発話者情報および発話時刻情報を付与する。ステップS505において、情報処理装置200は、通話におけるオペレータと顧客との発話量の特徴を算出する。ステップS507において、情報処理装置200は、発話区間の感情値を算出する。ステップS509において、情報処理装置200は、算出した発話区間の感情値から、感情特徴を算出する。ステップS513において、情報処理装置200は、顧客抽出モデルを用いて、各コールに対して解約リスクを予測する。ステップS515において、情報処理装置200は、予測された解約リスクに基づいて、解約リスクが高いコールの顧客を抽出する。 In step S501, the information processing apparatus 200 acquires a call between the operator and the customer. In step S503, the information processing device 200 detects the utterance section of the acquired call, and adds speaker information and utterance time information to each of the detected utterance sections. In step S505, the information processing device 200 calculates the characteristics of the amount of speech between the operator and the customer in the call. In step S507, the information processing device 200 calculates the emotion value of the utterance section. In step S509, the information processing device 200 calculates an emotional feature from the calculated emotional value of the utterance section. In step S513, the information processing apparatus 200 predicts the churn risk for each call using the customer extraction model. In step S515, the information processing apparatus 200 extracts the customers of the call having a high churn risk based on the predicted churn risk.

本実施形態によれば、顧客の商品やサービスへの問い合わせ、申し込み時の通話データを用いることで、初めてコンタクトしてくるような行動履歴が取得できない顧客に対しても解約予測をすることができる。 According to this embodiment, by using the customer's inquiries about products and services and the call data at the time of application, it is possible to predict the cancellation even for the customer who cannot acquire the behavior history such as the first contact. ..

また、本実施形態によれば、発話特徴としてオペレータと顧客とのどちらが主体的に会話を行っていたかといった情報を、人手でルール化できない情報も含め統計処理を用いることで算出する。同じく、感情特徴として満足、不満といった、人が解釈し得る感情値ではなく、感情値から人手でルール化できない情報も含め統計処理を用いて算出することで、高精度に解約リスクを推定するモデルの学習および予測が可能となる。 Further, according to the present embodiment, information such as which of the operator and the customer is proactively having a conversation as a utterance feature is calculated by using statistical processing including information that cannot be manually ruled. Similarly, a model that estimates churn risk with high accuracy by calculating using statistical processing including information that cannot be manually ruled from emotional values, rather than emotional values that can be interpreted by humans, such as satisfaction and dissatisfaction as emotional characteristics. Can be learned and predicted.

解約する、解約しないについては、顧客の商品やサービスの問い合せや申し込み時のやり取りで決まるわけではない。一部の顧客において、アップセルやクロスセルにより、本来意図しなかった商品を購入した場合に解約する傾向がある。本発明者は、そのような場合に、解約または継続を予測するのに、サービスへの問い合わせ、申し込み時のやり取りの会話情報が有効であること、その際、発話特徴および感情特徴が有効であることを見出したものである。 Cancellation or non-cancellation is not determined by inquiries about customers' products and services or exchanges at the time of application. Some customers tend to cancel when they purchase an unintended product through upsell or cross-sell. In such a case, the present inventor is effective in inquiring about the service and conversation information of the exchange at the time of application in predicting the cancellation or continuation, and in that case, the utterance feature and the emotional feature are effective. I found that.

そのため、本実施形態では、予測(算出)したリスクと、あらかじめ指定した解約リスクの閾値や対象コール数における高解約リスク者割合と、を比較し、解約リスクが高いと判断された顧客を抽出する。これにより、本実施形態では、電話での対応を主要因とする解約リスクが高い顧客を抽出することができる。 Therefore, in the present embodiment, the predicted (calculated) risk is compared with the threshold value of the churn risk specified in advance and the ratio of high churn risk persons in the number of target calls, and the customers judged to have a high churn risk are extracted. .. As a result, in the present embodiment, it is possible to extract customers who have a high risk of churn, mainly due to telephone correspondence.

また、本発明者は、顧客が将来解約するかどうかが、通話内の特定の話題区間におけるオペレータや顧客の感情に依存することを見出した。例えば、オープニングやクロージングの話題区間における顧客のpositive感情や期待感の感情値が大きい場合は、解約リスクが低いことを見出した。 The present inventor has also found that whether or not a customer cancels in the future depends on the emotions of the operator and the customer in a specific topic section in the call. For example, we found that the risk of churn is low when the customer's positive emotions and expectations are high in the topic section of opening and closing.

そのため、本実施形態では、通話における特定の話題区間におけるオペレータや顧客の感情に着目した感情特徴に基づいて解約リスクを推定する。これにより、本実施形態では、解約リスクが高い顧客を高い精度で抽出することができる。 Therefore, in the present embodiment, the churn risk is estimated based on the emotional characteristics focusing on the emotions of the operator and the customer in a specific topic section in the call. As a result, in the present embodiment, customers with a high risk of churn can be extracted with high accuracy.

[第3実施形態]
次に本発明の第3実施形態に係る情報処理装置について、図6乃至図9を用いて説明する。図6は、本実施形態に係る情報処理装置の構成を示すブロック図である。本実施形態に係る情報処理装置は、上記第2実施形態と比べると、フレーズ記憶部、フレーズ認識部およびフレーズ特徴算出部を有する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
[Third Embodiment]
Next, the information processing apparatus according to the third embodiment of the present invention will be described with reference to FIGS. 6 to 9. FIG. 6 is a block diagram showing a configuration of an information processing device according to the present embodiment. The information processing apparatus according to the present embodiment is different from the second embodiment in that it has a phrase storage unit, a phrase recognition unit, and a phrase feature calculation unit. Since other configurations and operations are the same as those in the second embodiment, the same configurations and operations are designated by the same reference numerals and detailed description thereof will be omitted.

情報処理装置600は、フレーズ記憶部601、フレーズ認識部602およびフレーズ特徴算出部を有する。 The information processing device 600 has a phrase storage unit 601, a phrase recognition unit 602, and a phrase feature calculation unit.

フレーズ記憶部601は、あらかじめ指定したフレーズを記憶する。フレーズ記憶部601は、納得、非納得、強引さおよび料金へのこだわりの少なくとも一つについて、それらの状況とみなせるフレーズを記憶する。例えば、納得の場合、「わかりました」、「その通り」などである。非納得の場合、「ひとまず」、「とりあえず」、「さしあたって」などである。強引さの場合は、「決めましょう」、「これでいいですね」などである。料金へのこだわりの場合は、「価格」、「料金」、「送料無料」、「消費税」、「もったいない」などである。 The phrase storage unit 601 stores a phrase designated in advance. The phrase storage unit 601 stores phrases that can be regarded as situations for at least one of convincing, non-convincing, brute force, and commitment to fees. For example, if you are satisfied, "OK", "Yes", and so on. In the case of non-convincing, "for the time being", "for the time being", "for the time being", etc. In the case of forcibleness, "let's decide", "this is fine" and so on. In the case of sticking to the price, there are "price", "charge", "free shipping", "consumption tax", "mottainai" and so on.

フレーズ認識部602は、フレーズ記憶部601に記憶されたフレーズの出現を検知して、認識する。フレーズ認識部602は、音声認識やワードスポッティングを行い、フレーズ記憶部601に記憶されたフレーズの出現を検知して、認識する。 The phrase recognition unit 602 detects and recognizes the appearance of the phrase stored in the phrase storage unit 601. The phrase recognition unit 602 performs voice recognition and word spotting, detects the appearance of a phrase stored in the phrase storage unit 601 and recognizes it.

フレーズ特徴算出部603は、オペレータおよび顧客のフレーズの特徴を算出する。フレーズ特徴算出部603は、フレーズ認識部602による認識結果(検知結果)と用いて、納得、非納得、強引さおよび料金へのこだわりの少なくとも一つについて、それぞれ、以下の計算を行う。つまり、フレーズ特徴算出部603は、フレーズ記憶部601に記憶されたフレーズの出現数であるフレーズ出現数を算出する。また、フレーズ特徴算出部603は、フレーズ出現数を発話時間で正規化した正規化フレーズ出現数、および、あらかじめ指定した時間間隔ごとのフレーズ出現数を算出する。フレーズ特徴算出部603は、フレーズ出現数、正規化フレーズ出現数およびあらかじめ指定した時間間隔ごとのフレーズ出現数の少なくとも一つを算出する。 The phrase feature calculation unit 603 calculates the phrase features of the operator and the customer. The phrase feature calculation unit 603 uses the recognition result (detection result) by the phrase recognition unit 602 to perform the following calculations for at least one of convincing, non-convincing, forcible, and sticking to the fee. That is, the phrase feature calculation unit 603 calculates the number of appearances of the phrase, which is the number of appearances of the phrase stored in the phrase storage unit 601. Further, the phrase feature calculation unit 603 calculates the number of appearances of the normalized phrase obtained by normalizing the number of appearances of the phrase by the utterance time, and the number of appearances of the phrase for each time interval specified in advance. The phrase feature calculation unit 603 calculates at least one of the number of phrase appearances, the number of normalized phrases appearing, and the number of phrase appearances for each predetermined time interval.

顧客抽出モデル記憶部205は、上記第2実施形態と同様に、感情特徴算出部204で算出されたオペレータおよび顧客の感情特徴量と、発話量特徴算出部202で算出されたオペレータおよび顧客の発話量特徴とに、次の特徴量を加えてモデルを生成する。すなわち、顧客抽出モデル記憶部205は、感情特徴量と発話量特徴とに、フレーズ特徴算出部603で算出された、オペレータおよび顧客のフレーズ特徴量を加えて、解約リスクが高い顧客を予測する顧客抽出モデルを生成して、記憶する。なお、顧客抽出モデルの学習(生成)、および、学習したモデルを用いた予測は、上述の特徴量(フレーズ特徴量)を用いる点以外は、第2実施形態と同様である。 Similar to the second embodiment, the customer extraction model storage unit 205 has the emotional feature amount of the operator and the customer calculated by the emotional feature calculation unit 204 and the utterance of the operator and the customer calculated by the utterance amount feature calculation unit 202. A model is generated by adding the following feature quantities to the quantity features. That is, the customer extraction model storage unit 205 adds the phrase features of the operator and the customer calculated by the phrase feature calculation unit 603 to the emotional features and the utterance features, and predicts the customer with a high churn risk. Generate and store the extraction model. The learning (generation) of the customer extraction model and the prediction using the learned model are the same as those in the second embodiment except that the above-mentioned feature amount (phrase feature amount) is used.

図7は、本実施形態に係る情報処理装置600のハードウェア構成を説明するブロック図である。CPU(Central Processing Unit)410は、演算制御用のプロセッサであり、プログラムを実行することで図2の情報処理装置600の機能構成部を実現する。 FIG. 7 is a block diagram illustrating a hardware configuration of the information processing apparatus 600 according to the present embodiment. The CPU (Central Processing Unit) 410 is a processor for arithmetic control, and realizes the functional component of the information processing device 600 of FIG. 2 by executing a program.

RAM740は、CPU410が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM740には、本実施形態の実現に必要なデータを記憶する領域が確保されている。記憶フレーズ741は、あらかじめ指定され記憶されたフレーズである。 The RAM 740 is a random access memory used by the CPU 410 as a temporary storage work area. The RAM 740 has an area for storing data necessary for realizing the present embodiment. The storage phrase 741 is a phrase designated and stored in advance.

ストレージ750には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ850は、フレーズ751、フレーズ認識モジュール752およびフレーズ特徴算出モジュール753を格納する。フレーズ751は、あらかじめ指定されたフレーズである。フレーズ認識モジュール752は、音声認識やワードスポッティングにより、記憶されたフレーズの出現を検知して、認識するモジュールである。フレーズ特徴算出モジュール753は、フレーズの認識結果(検知結果)を用いて、フレーズの出現数、フレーズ出現数を発話時間で正規化したもの、および所定時間間隔ごとのフレーズ出現数の少なくとも一つを算出するモジュールである。これらのモジュール752〜753は、CPU410によりRAM840のアプリケーション実行領域449に読み出され、実行される。 The storage 750 stores a database, various parameters, and the following data or programs necessary for realizing the present embodiment. The storage 850 stores the phrase 751, the phrase recognition module 752, and the phrase feature calculation module 753. Phrase 751 is a pre-designated phrase. The phrase recognition module 752 is a module that detects and recognizes the appearance of a memorized phrase by voice recognition or word spotting. The phrase feature calculation module 753 uses the phrase recognition result (detection result) to normalize the number of appearances of the phrase and the number of appearances of the phrase by the utterance time, and at least one of the number of appearances of the phrase at a predetermined time interval. It is a module to calculate. These modules 725 to 753 are read by the CPU 410 into the application execution area 449 of the RAM 840 and executed.

図8は、本実施形態に係る情報処理装置600の処理手順を説明するフローチャートである。このフローチャートは、図7のCPU410がRAM840を使用して実行し、図6の情報処理装置600の機能構成部を実現する。 FIG. 8 is a flowchart illustrating a processing procedure of the information processing apparatus 600 according to the present embodiment. This flowchart is executed by the CPU 410 of FIG. 7 using the RAM 840, and realizes the functional component of the information processing apparatus 600 of FIG.

ステップ801において、情報処理装置600は、あらかじめ指定したフレーズの出現を検知して、認識する。ステップS803において、情報処理装置600は、認識したフレーズの特徴を算出する。フレーズの特徴は、例えば、フレーズの出現数や、フレーズ出現数を発話時間で正規化したもの、所定の時間間隔ごとのフレーズ出現数などである。 In step 801 the information processing apparatus 600 detects and recognizes the appearance of a phrase designated in advance. In step S803, the information processing device 600 calculates the characteristics of the recognized phrase. The characteristics of the phrase are, for example, the number of appearances of the phrase, the number of appearances of the phrase normalized by the utterance time, the number of appearances of the phrase at a predetermined time interval, and the like.

本実施形態によれば、納得、非納得、強引さおよび料金へのこだわりについて、関係するフレーズを検知し、フレーズ特徴を算出して、このフレーズ特徴を加えてモデルを生成するので、解約や継続について、発言内容まで加味して高精度に予測することができる。 [他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
According to the present embodiment, regarding convincing, non-convincing, forcibleness, and commitment to charges, related phrases are detected, phrase features are calculated, and a model is generated by adding these phrase features, so that cancellation or continuation is performed. Can be predicted with high accuracy by taking into account the content of the statement. [Other Embodiments]
Although the invention of the present application has been described above with reference to the embodiment, the invention of the present application is not limited to the above embodiment. Various changes that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the structure and details of the present invention. Also included in the scope of the present invention are systems or devices in which the different features contained in each embodiment are combined in any way.

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable when the information processing program that realizes the functions of the embodiment is supplied directly or remotely to the system or device. Therefore, in order to realize the functions of the present invention on a computer, a program installed on the computer, a medium containing the program, and a WWW (World Wide Web) server for downloading the program are also included in the scope of the present invention. .. In particular, at least a non-transitory computer readable medium containing a program that causes a computer to execute the processing steps included in the above-described embodiment is included in the scope of the present invention.

[実施形態の他の表現]
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
顧客とオペレータとの間の通話を取得して、記憶する通話記憶手段と、
記憶した前記通話の発話量特徴量を算出する発話量特徴算出手段と、
前記発話区間の感情を認識する感情認識手段と、
前記発話量特徴量と、認識した前記感情と、に基づいて、前記通話における解約リスクを予測する解約予測手段と、
を備えた情報処理装置。
(付記2)
前記感情認識手段は、認識された前記感情の感情値をさらに算出し、
前記感情値から感情の特徴である感情特徴を算出する感情特徴算出手段と、
前記発話量特徴量と、前記感情特徴と、に基づいて、解約リスクの高い顧客を予測して、抽出するための、あらかじめ学習された顧客抽出モデルを記憶する顧客抽出モデル記憶手段と、
をさらに備え、
前記解約予測手段は、前記顧客抽出モデルに基づいて、前記解約リスクを予測する付記1に記載の情報処理装置。
(付記3)
前記感情特徴算出手段は、
通話に含まれる特定の話題区間を検出する話題区間検出手段と、
前記特定の話題区間に含まれる発話区間の前記感情値を出力する絞込み手段と、
前記絞込み手段が出力した感情値から感情の特徴である感情特徴を算出する特徴算出手段と、
をさらに備える付記2に記載の情報処理装置。
(付記4)
あらかじめ指定したフレーズを記憶するフレーズ記憶手段と、
前記通話における前記フレーズ記憶手段に記憶されたフレーズの出現を検知して、認識するフレーズ認識手段と、
出現したフレーズの特徴であるフレーズ特徴を算出するフレーズ特徴算出手段と、
をさらに備え、
前記解約予測手段は、さらに、前記フレーズ特徴に基づいて、前記解約リスクを予測する付記1乃至3のいずれか1項に記載の情報処理装置。
(付記5)
前記通話記憶手段は、前記通話の発話区間を検出し、検出した前記発話区間に対して、発話者情報と、発話時刻情報と、を付与して前記発話を記憶する付記1乃至4のいずれか1項に記載の情報処理装置。
(付記6)
前記感情は、valence、arousal、納得感および期待感の少なくとも一つを含む付記1乃至5のいずれか1項に記載の情報処理装置。
(付記7)
前記話題区間は、通話におけるオープニング、クロージング、製品・サービス説明、料金説明、勧誘、ヒアリング、個人情報確認および事務手続きの少なくとも一つを含み、
前記感情は、valenceおよび期待感の少なくとも一つを含む付記3乃至5のいずれか1項に記載の情報処理装置。
(付記8)
前記感情特徴は、前記感情値の感情値の比率、平均値、分散値、中央値および最頻値の少なくとも一つを含む付記2乃至7のいずれか1項に記載の情報処理装置。
(付記9)
前記フレーズ特徴は、前記フレーズの出現数であるフレーズ出現数、前記フレーズ出現数を発話時間で正規化した正規化フレーズ出現数およびあらかじめ指定した時間間隔ごとのフレーズ出現数の少なくとも一つを含む4乃至7のいずれか1項に記載の情報処理装置。
(付記10)
顧客とオペレータとの間の通話を取得して、記憶する通話記憶ステップと、
記憶した前記通話の発話量特徴量を算出する発話量特徴算出ステップと、
前記発話区間の感情を認識する感情認識ステップと、
前記発話量特徴量と、認識した前記感情と、に基づいて、前記通話における解約リスクを予測する解約予測ステップと、
を含む情報処理方法。
(付記11)
顧客とオペレータとの間の通話を取得して、記憶する通話記憶ステップと、
記憶した前記通話の発話量特徴量を算出する発話量特徴算出ステップと、
前記発話区間の感情を認識する感情認識ステップと、
前記発話量特徴量と、認識した前記感情と、に基づいて、前記通話における解約リスクを予測する解約予測ステップと、
をコンピュータに実行させる情報処理プログラム。
[Other expressions of the embodiment]
Some or all of the above embodiments may also be described, but not limited to:
(Appendix 1)
A call storage means that acquires and stores calls between the customer and the operator,
The utterance amount feature calculation means for calculating the utterance amount feature amount of the memorized call, and the utterance amount feature calculation means.
An emotion recognition means for recognizing emotions in the utterance section and
A churn prediction means that predicts the churn risk in the call based on the utterance amount feature amount and the recognized emotion.
Information processing device equipped with.
(Appendix 2)
The emotion recognition means further calculates the recognized emotion value of the emotion,
An emotional feature calculation means for calculating an emotional feature, which is an emotional feature, from the emotional value,
A customer extraction model storage means for storing a pre-learned customer extraction model for predicting and extracting a customer with a high churn risk based on the utterance amount feature amount and the emotional feature.
With more
The information processing device according to Appendix 1, wherein the churn prediction means predicts the churn risk based on the customer extraction model.
(Appendix 3)
The emotional feature calculation means
A topic section detection means that detects a specific topic section included in a call,
A narrowing-down means for outputting the emotional value of the utterance section included in the specific topic section, and
A feature calculation means for calculating an emotional feature, which is an emotional feature, from an emotional value output by the narrowing-down means, and a feature calculation means.
The information processing apparatus according to Appendix 2, further comprising.
(Appendix 4)
Phrase storage means to memorize pre-specified phrases,
A phrase recognition means that detects and recognizes the appearance of a phrase stored in the phrase storage means in the call.
Phrase feature calculation means for calculating phrase features that are features of appearing phrases, and
With more
The information processing device according to any one of Supplementary note 1 to 3, wherein the churn prediction means further predicts the churn risk based on the phrase feature.
(Appendix 5)
The call storage means detects the utterance section of the call, adds speaker information and utterance time information to the detected utterance section, and stores the utterance. The information processing apparatus according to item 1.
(Appendix 6)
The information processing apparatus according to any one of Supplementary note 1 to 5, wherein the emotion includes at least one of valence, atomic, convincing and anticipatory.
(Appendix 7)
The topic section includes at least one of the opening, closing, product / service explanation, charge explanation, solicitation, hearing, personal information confirmation and paperwork in the call.
The information processing device according to any one of Supplementary note 3 to 5, wherein the emotion includes at least one of valence and anticipation.
(Appendix 8)
The information processing apparatus according to any one of Supplementary note 2 to 7, wherein the emotional feature includes at least one of an emotional value ratio, an average value, a variance value, a median value, and a mode value of the emotional value.
(Appendix 9)
The phrase feature includes at least one of the number of appearances of the phrase, which is the number of appearances of the phrase, the number of appearances of the normalized phrase obtained by normalizing the number of appearances of the phrase by the speech time, and the number of appearances of the phrase at each predetermined time interval. The information processing apparatus according to any one of items 7 to 7.
(Appendix 10)
A call memory step that captures and stores calls between the customer and the operator,
The utterance amount feature calculation step for calculating the utterance amount feature amount of the memorized call, and
The emotion recognition step for recognizing the emotions in the utterance section,
A churn prediction step that predicts the churn risk in the call based on the utterance amount feature amount and the recognized emotion.
Information processing methods including.
(Appendix 11)
A call memory step that captures and stores calls between the customer and the operator,
The utterance amount feature calculation step for calculating the utterance amount feature amount of the memorized call, and
The emotion recognition step for recognizing the emotions in the utterance section,
A churn prediction step that predicts the churn risk in the call based on the utterance amount feature amount and the recognized emotion.
An information processing program that causes a computer to execute.

Claims (10)

顧客とオペレータとの間の通話中の音声データを取得して、記憶する通話記憶手段と、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの発話量に関する発話量特徴量を算出する発話量特徴算出手段と、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの感情値に関する感情値特徴量を算出する感情値特徴量算出手段と、
前記発話量特徴量と前記感情値特徴量とに基づいて前記顧客の解約リスクを予測する顧客抽出モデルを記憶する顧客抽出モデル記憶手段と、
前記顧客抽出モデルを用いて、前記発話量特徴量と前記感情値特徴量から前記顧客の解約リスクを予測する解約予測手段と、
を備えた情報処理装置。
It acquires the audio data during a call between the customer and the operator, the call storage means for storing,
Based on the voice data, the utterance amount feature amount calculating means for calculating the utterance amount feature amount regarding the utterance amount of the customer and the operator during the call, and the utterance amount feature amount calculation means.
An emotion value feature amount calculating means for calculating an emotion value feature amount relating to an emotional value of the customer and the operator during the call based on the voice data, and an emotion value feature amount calculating means.
A customer extraction model storage means for storing a customer extraction model that predicts the churn risk of the customer based on the utterance amount feature amount and the emotion value feature amount.
Using the customer extraction model, and churn predicting means for predicting a churn risk of the customer from said speech content features and the prior SL emotion value feature quantity,
Information processing device equipped with.
前記通話記憶手段は、前記音声データに基づいて検出した発話区間の音声データに対して、発話者が前記顧客であるか前記オペレータであるかを示す発話者情報と、発話始端の時刻と発話終端の時刻とを含む発話時刻情報と、を付与して記憶し、
前記発話量特徴量算出手段は、前記発話者情報と前記発話時刻情報とを用いて前記発話量特徴量を算出し、
前記感情値特徴量算出手段は、前記発話区間における感情値を算出する感情値算出手段を有し、前記感情値を用いて前記感情値特徴量を算出する請求項1に記載の情報処理装置。
The call storage means has speaker information indicating whether the speaker is the customer or the operator with respect to the voice data of the utterance section detected based on the voice data, the utterance start time and the utterance end. and speech time information including the time of, granted to the remembers,
The utterance amount feature amount calculating means calculates the utterance amount feature amount by using the speaker information and the utterance time information.
The information processing device according to claim 1, wherein the emotion value feature amount calculating means includes an emotion value calculating means for calculating an emotion value in the utterance section, and calculates the emotion value feature amount using the emotion value.
前記発話量特徴量は、The utterance amount feature amount is
前記顧客および前記オペレータの発話の総時間と、 The total time of speech of the customer and the operator,
前記顧客の発話の総時間と前記オペレータの発話の総時間との比率と、 The ratio of the total time of the customer's utterance to the total time of the operator's utterance,
前記顧客の前記発話区間の長さの平均値および前記オペレータの前記発話区間の長さの平均値と、 The average value of the length of the utterance section of the customer and the average value of the length of the utterance section of the operator.
前記顧客の前記発話区間の長さの分散値および前記オペレータの前記発話区間の長さの分散値と、 The dispersion value of the length of the utterance section of the customer and the dispersion value of the length of the utterance section of the operator.
前記顧客の前記発話区間の長さの中央値および前記オペレータの前記発話区間の長さの中央値と、 The median length of the utterance section of the customer and the median length of the utterance section of the operator.
前記顧客の前記発話区間の長さの最頻値および前記オペレータの前記発話区間の長さの最頻値と、 The mode of the length of the utterance section of the customer and the mode of the length of the utterance section of the operator.
の少なくともいずれか1つを含む請求項2に記載の情報処理装置。 The information processing apparatus according to claim 2, further comprising at least one of the above.
前記感情は、valence(感情の質を示す感情価)、arousal(覚醒か沈静かを示す覚醒度)、納得感および期待感の少なくともつを含む請求項1乃至のいずれか1項に記載の情報処理装置。 The emotional value is according to any one of claims 1 to 3 , which includes at least one of valence (emotion value indicating the quality of emotion) , arousal (alertness indicating arousal or calmness), and convincing and expectation. The information processing device described. 前記感情特徴は、前記感情値の比率、平均値、分散値、中央値および最頻値の少なくとも一つを含む請求項1乃至4のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 4 , wherein the emotion value feature amount includes at least one of the ratio, average value, dispersion value, median value, and mode value of the emotion values. 前記感情値特徴量算出手段は、
通話に含まれる特定の話題区間を検出する話題区間検出手段と、
前記発話区間の音声データ中、前記特定の話題区間に含まれる発話区間の音声データに絞り込んで前記感情値を出力する絞込み手段と、
前記絞込み手段が出力した前記感情値から前記感情値特徴量を算出する特徴算出手段と、
をさらに備える請求項2または3に記載の情報処理装置。
The emotion value feature amount calculation means is
A topic section detection means that detects a specific topic section included in a call,
During the speech data of the speech period, a narrowing means for outputting the feeling information value refine the speech data of the speech interval included in the specific topic section,
A feature quantity calculating means for calculating the emotional value feature quantity from the emotion value said narrowing means has outputted,
The information processing apparatus according to claim 2 or 3.
前記特定の話題区間は、前記通話に含まれるオープニングの話題区間、クロージングの話題区間、製品・サービス説明の話題区間、料金説明の話題区間、勧誘の話題区間、ヒアリングの話題区間、個人情報確認の話題区間および事務手続きの話題区間の少なくとも一つを含請求項に記載の情報処理装置。 The specific topic section, the opening of the topic section that is included in the call, the closing of the topic sections, products and services described topic sections of, topic section of the fee description, solicitation topic section of, hearing of the topic section, the personal information confirmation of the information processing apparatus according to at least one topic section and topic section paperwork to including claim 6. あらかじめ指定したフレーズを記憶するフレーズ記憶手段と、
前記音声データに基づいて、前記フレーズ記憶手段に記憶されたフレーズの、前記通話中における出現を認識して、前記通話中の前記顧客および前記オペレータのフレーズ特徴を算出するフレーズ特徴算出手段と、
をさらに備え、
前記顧客抽出モデル記憶手段は、前記発話量特徴量と前記感情値特徴量と前記フレーズ特徴量とに基づいて前記顧客の解約リスクを予測する顧客抽出モデルを記憶し、
前記解約予測手段は、当該顧客抽出モデルを用いて前記発話量特徴量と前記感情値特徴量と前記フレーズ特徴量とから前記顧客の解約リスクを予測する請求項1乃至のいずれか1項に記載の情報処理装置。
Phrase storage means to memorize pre-specified phrases,
On the basis of the audio data, the phrase storage unit of the stored phrases, recognizing the occurrence during the call, and phrase feature quantity calculating means for calculating the phrase characteristics of the customer and the operator in the call ,
With more
The customer extraction model storage means stores a customer extraction model that predicts the churn risk of the customer based on the utterance amount feature amount, the emotion value feature amount, and the phrase feature amount.
The churn prediction means is any one of claims 1 to 7 , which predicts the churn risk of the customer from the utterance amount feature amount, the emotion value feature amount, and the phrase feature amount using the customer extraction model. The information processing device described in.
顧客とオペレータとの間の通話中の音声データを取得して、記憶する通話記憶ステップと、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの発話量に関する発話量特徴量を算出する発話量特徴算出ステップと、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの感情値に関する感情値特徴量を算出する感情値特徴量算出ステップと、
前記発話量特徴量と前記感情値特徴量とに基づいて前記顧客の解約リスクを予測する顧客抽出モデルを用いて、前記発話量特徴量と前記感情値特徴量から前記顧客の解約リスクを予測する解約予測ステップと、
を含む情報処理方法。
It acquires the audio data during a call between the customer and the operator, the call storage step of storing,
Based on the voice data, the utterance amount feature amount calculation step for calculating the utterance amount feature amount regarding the utterance amount of the customer and the operator during the call, and the utterance amount feature amount calculation step.
An emotion value feature amount calculation step for calculating an emotion value feature amount relating to an emotional value of the customer and the operator during the call based on the voice data, and a step of calculating the emotion value feature amount.
With customer extraction model for predicting the lapse risk of the customer based on said emotion value feature quantity and said utterances amount characteristic amount, a lapse risk of the customer from said speech content features and the prior SL emotion value feature quantity Predicting churn prediction steps and
Information processing methods including.
顧客とオペレータとの間の通話中の音声データを取得して、記憶する通話記憶ステップと、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの発話量に関する発話量特徴量を算出する発話量特徴算出ステップと、
前記音声データに基づいて、前記通話中の前記顧客および前記オペレータの感情値に関する感情値特徴量を算出する感情値特徴量算出ステップと、
前記発話量特徴量と前記感情値特徴量とに基づいて前記顧客の解約リスクを予測する顧客抽出モデルを用いて、前記発話量特徴量と前記感情値特徴量から前記顧客の解約リスクを予測する解約予測ステップと、
をコンピュータに実行させる情報処理プログラム。
It acquires the audio data during a call between the customer and the operator, the call storage step of storing,
Based on the voice data, the utterance amount feature amount calculation step for calculating the utterance amount feature amount regarding the utterance amount of the customer and the operator during the call, and the utterance amount feature amount calculation step.
An emotion value feature amount calculation step for calculating an emotion value feature amount relating to an emotional value of the customer and the operator during the call based on the voice data, and a step of calculating the emotion value feature amount.
With customer extraction model for predicting the lapse risk of the customer based on said emotion value feature quantity and said utterances amount characteristic amount, a lapse risk of the customer from said speech content features and the prior SL emotion value feature quantity Predicting churn prediction steps and
An information processing program that causes a computer to execute.
JP2017067206A 2017-03-30 2017-03-30 Information processing equipment, information processing methods and information processing programs Active JP6957933B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017067206A JP6957933B2 (en) 2017-03-30 2017-03-30 Information processing equipment, information processing methods and information processing programs
JP2021165059A JP7238940B2 (en) 2017-03-30 2021-10-06 Information processing device, information processing method and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017067206A JP6957933B2 (en) 2017-03-30 2017-03-30 Information processing equipment, information processing methods and information processing programs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021165059A Division JP7238940B2 (en) 2017-03-30 2021-10-06 Information processing device, information processing method and information processing program

Publications (2)

Publication Number Publication Date
JP2018169843A JP2018169843A (en) 2018-11-01
JP6957933B2 true JP6957933B2 (en) 2021-11-02

Family

ID=64020412

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017067206A Active JP6957933B2 (en) 2017-03-30 2017-03-30 Information processing equipment, information processing methods and information processing programs
JP2021165059A Active JP7238940B2 (en) 2017-03-30 2021-10-06 Information processing device, information processing method and information processing program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021165059A Active JP7238940B2 (en) 2017-03-30 2021-10-06 Information processing device, information processing method and information processing program

Country Status (1)

Country Link
JP (2) JP6957933B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102850B (en) * 2019-06-18 2023-06-20 杭州海康威视数字技术股份有限公司 Emotion recognition processing method and device, medium and electronic equipment
JP2021076845A (en) * 2019-11-12 2021-05-20 株式会社Empath Information processing device, information processing method, and information processing program
CN113472957B (en) * 2020-03-31 2025-08-19 北京沃东天骏信息技术有限公司 Call processing method, device, medium and electronic equipment
WO2022049613A1 (en) * 2020-09-01 2022-03-10 三菱電機株式会社 Information processing device, estimation method, and estimation program
CN113053388B (en) * 2021-03-09 2023-08-01 北京百度网讯科技有限公司 Voice interaction method, device, device and storage medium
CN114242045A (en) * 2021-12-20 2022-03-25 山东科技大学 Deep learning method for natural language dialogue system intention

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3176744A4 (en) * 2014-07-31 2018-01-17 Nec Corporation Behavioral feature prediction system, behavioral feature prediction device, method and program
US9269374B1 (en) * 2014-10-27 2016-02-23 Mattersight Corporation Predictive video analytics system and methods

Also Published As

Publication number Publication date
JP2018169843A (en) 2018-11-01
JP7238940B2 (en) 2023-03-14
JP2022000825A (en) 2022-01-04

Similar Documents

Publication Publication Date Title
JP6957933B2 (en) Information processing equipment, information processing methods and information processing programs
US11750742B2 (en) Systems and methods for handling calls based on call insight information
CN111028827B (en) Interaction processing method, device, equipment and storage medium based on emotion recognition
US10049664B1 (en) Determining application experience based on paralinguistic information
US8694307B2 (en) Method and apparatus for temporal speech scoring
JP6780033B2 (en) Model learners, estimators, their methods, and programs
JP6839333B2 (en) Selective adaptation and use of noise reduction techniques in call phrase detection
US20150213800A1 (en) Methods for adaptive voice interaction
CN109587360A (en) Electronic device should talk with art recommended method and computer readable storage medium
JP6110283B2 (en) Empathy-reactive spot detection device, empathy-reactive spot detection method, and program
CN111209380B (en) Control method and device for conversation robot, computer equipment and storage medium
JP2017009825A (en) Conversation situation analysis apparatus and conversation situation analysis method
US11895272B2 (en) Systems and methods for prioritizing emergency calls
JP7674493B2 (en) Contextual Suppression of Assistant Commands
JP2017010309A (en) Decision-making support apparatus and decision-making method
TWI669708B (en) Method, apparatus, computer program and computer program product for separating speech data from background data in audio communication
JP5532781B2 (en) Waiting service server, waiting service system using the server, and expected end time calculation method for waiting service
US12482002B2 (en) Method and system for generative AI with dynamic persona adaptation and applications thereof
JP6327252B2 (en) Analysis object determination apparatus and analysis object determination method
CN114067842B (en) Customer satisfaction degree identification method and device, storage medium and electronic equipment
CN113330513B (en) Voice information processing method and device
JP2023009563A (en) Harassment prevention system and harassment prevention method
JP7162783B2 (en) Information processing device, estimation method, and estimation program
WO2023162009A1 (en) Emotion information utilization device, emotion information utilization method, and program
US12094465B2 (en) Method, computer program, device for virtually assisting a user with a digital assistant

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R150 Certificate of patent or registration of utility model

Ref document number: 6957933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150