JP7636590B2 - Method and equipment for evaluating speech manuscripts - Google Patents
Method and equipment for evaluating speech manuscripts Download PDFInfo
- Publication number
- JP7636590B2 JP7636590B2 JP2023577794A JP2023577794A JP7636590B2 JP 7636590 B2 JP7636590 B2 JP 7636590B2 JP 2023577794 A JP2023577794 A JP 2023577794A JP 2023577794 A JP2023577794 A JP 2023577794A JP 7636590 B2 JP7636590 B2 JP 7636590B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- ranking information
- sections
- predetermined
- questions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明の実施例は情報処理の技術分野に関して、特に、スピーチ原稿の評価方法及び機器に関する。 The present invention relates to the technical field of information processing, and more particularly to a method and device for evaluating a speech manuscript.
スピーチは特別な環境での話し・コミュニケーション方式であり、専門的なスピーチ訓練は繰り返す訓練を必要とする。訓練過程で、適時に採点及び評価を行うことで、不備を見つけて、訓練進捗を速めることができる。スピーチに対する採点は表情姿勢、音声速度、及びスピーチ内容などを含む。 Speech is a way of speaking and communicating in a special environment, and professional speech training requires repeated practice. Through timely scoring and evaluation during the training process, deficiencies can be identified and training progress can be accelerated. Speech scoring includes facial expressions, posture, speech rate, and speech content.
スピーチ内容に対する最も通常の採点方法は回帰モデルを確立し、即ち、大量のデータセットを確立することで、異なるスコアレンジにあるスピーチ内容を収集し、人工で特徴を設計し、又はマシンで特徴を自動的に抽出して、各特徴の、スコアに対する貢献度を計算し、有効特徴を抽出して特徴とスコアとの間の関係を確立する。回帰モデルの訓練はスピーチ原稿データセットから特徴を抽出して、特徴とスコアとの間の関係を確立し、重み行列の形態で記憶する。ところが、当該方法は大量のデータに依存し、サンプルは各スコアレンジ、テーマなどのデータをカバーする必要があり、さもなければ、採点結果はランダムに分布され、採点全体の有効性及び公平性に影響する。実際適用において、スピーチ訓練が始まる時、僅かな優秀サンプルしかなく、中～低スコアのサンプルが極めて乏しい。そして、オープンデータリソースにおける他のスピーチデータセットも同じように、最も優れたスピーチのケースのみを保留するため、直接的に転移学習によって学習できない。 The most common scoring method for speech content is to establish a regression model, that is, to establish a large data set, collect speech content in different score ranges, design features artificially or automatically extract features by machine, calculate the contribution of each feature to the score, extract effective features, and establish the relationship between the features and the score. Training the regression model extracts features from the speech manuscript data set, establishes the relationship between the features and the score, and stores it in the form of a weight matrix. However, this method relies on a large amount of data, and the samples need to cover the data of each score range, theme, etc., otherwise the scoring results will be randomly distributed, which will affect the effectiveness and fairness of the overall scoring. In actual application, when speech training begins, there are only a few excellent samples, and very few samples with medium to low scores. And other speech data sets in open data resources are similar, only the best speech cases are reserved, so they cannot be directly learned by transfer learning.
これに鑑みると、本発明の実施例はスピーチ原稿の評価方法及び機器を提供し、伝統の評価方法において必要なサンプルデータが大きい、サンプルタイプが少ない、評価結果の有効性及び公平性が低いという問題を解決することを主な目的とする。 In view of this, the primary objective of the embodiment of the present invention is to provide a method and device for evaluating speech manuscripts, and to solve the problems of traditional evaluation methods, such as the large amount of sample data required, the limited number of sample types, and the low validity and fairness of the evaluation results.
上記の問題を解決するために、本発明の実施例は主に以下の技術案を提供する。 To solve the above problems, the embodiments of the present invention mainly provide the following technical solutions:
第１の態様によれば、本発明の実施例はスピーチ原稿の評価方法を提供し、当該方法は、
複数のスピーチ原稿を取得するステップと、
各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップと、
ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力し、各前記セクションの、所定質問の答えに対する認可度を示すステップと、を含む。
According to a first aspect, an embodiment of the present invention provides a method for evaluating a speech manuscript, the method comprising:
obtaining a plurality of speech transcripts;
Dividing each of said speech manuscripts into a number of sections;
The method includes the steps of using a neural network model to recognize all of the sections and a plurality of different predetermined questions, taking each of the predetermined questions and all of the sections in turn as input data, the neural network model extracting feature data from the input data, and outputting ranking information for all of the sections with respect to the predetermined questions based on the feature data, and indicating the approval degree of each of the sections for the answer to the predetermined question.
全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定する。 The evaluation result of each speech manuscript is determined based on the ranking information for each of the specified questions for all of the sections.
好ましくは、ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識する前、
複数のサンプル答え、１つの所定質問、及び各サンプル答えの、前記所定質問に対するランク付け情報がそれぞれ含まれる複数の訓練データを取得するステップと、
前記複数の訓練データを使用して前記ニューラルネットワークモデルを訓練し、前記ニューラルネットワークモデルは複数のサンプル答え及び１つの所定質問に基づいてランク付け情報を出力して、出力されたランク付け情報と、訓練データにおけるランク付け情報との差に基づいてモデルパラメータを最適化するステップと、をさらに含む。
Preferably, before using a neural network model to recognise all said sections and a plurality of different predetermined questions,
Obtaining a plurality of training data, each of which includes a plurality of sample answers, one predetermined question, and ranking information of each sample answer with respect to the predetermined question;
The method further includes the steps of training the neural network model using the plurality of training data, the neural network model outputting ranking information based on a plurality of sample answers and a predetermined question, and optimizing model parameters based on a difference between the output ranking information and the ranking information in the training data.
好ましくは、複数の訓練データを取得するステップは具体的に、
指定したいくつかのウェブページから、前記所定質問に関連付けられるコンテキスト及び相応的な回答内容をクローリングするステップと、
各回答内容の前記ウェブページにおけるランク付け状況に基づいて、前記ランク付け情報を取得するステップと、を含む。
Preferably, the step of acquiring a plurality of training data specifically comprises:
Crawling through a number of designated web pages for contexts and corresponding answer contents associated with the predetermined questions;
and acquiring the ranking information based on a ranking status of each answer content on the web page.
好ましくは、全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定するステップは具体的に、
全ての前記セクションの、各前記所定質問に対するランク付け情報から、同一スピーチ原稿に属する各セクションの、各所定質問に対する最高ランク付け情報を取得するステップと、
同一スピーチ原稿の各前記最高ランク付け情報に基づいて前記スピーチ原稿に対する評価結果を取得するステップと、を含む。
Preferably, the step of determining an evaluation result of each speech manuscript based on the ranking information of all the sections with respect to each of the predetermined questions specifically includes:
obtaining the highest ranking information for each of the predetermined questions of each of the sections belonging to the same speech manuscript from the ranking information for each of the predetermined questions of all of the sections;
and obtaining an evaluation result for the speech manuscript based on the highest ranking information of each of the same speech manuscripts.
好ましくは、前記ランク付け情報は所定スコア値に対応し、前記評価結果は各所定スコア値に基づいて取得されるスコア値である。 Preferably, the ranking information corresponds to a predetermined score value, and the evaluation result is a score value obtained based on each of the predetermined score values.
好ましくは、前記スピーチ原稿はスピーチ録音に対して音声認識を行うことで取得される文字データであり、音声認識の過程で音声の停頓期間を記録し、各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップでは、スピーチ原稿のセマンティック及びスピーチ音声中の停頓期間に基づいてスピーチ原稿をいくつかのセクションに分割する。 Preferably, the speech manuscript is text data obtained by performing voice recognition on speech recordings, and speech pauses are recorded during the voice recognition process. In the step of dividing each of the speech manuscripts into a number of sections, the speech manuscripts are divided into a number of sections based on the semantics of the speech manuscript and the pauses in the speech audio.
好ましくは、前記ランク付け情報には空のランク付け及び／又は並列するランク付け情報が含まれる。 Preferably, the ranking information includes empty rankings and/or parallel ranking information.
好ましくは、前記ニューラルネットワークモデルが入力データに対して特徴データを抽出する過程で、アテンションメカニズムを使用して前記セクションからのテキストデータ、及び前記所定質問からのテキストデータを処理して、処理後の特徴データに基づいてランク付け情報を出力する。 Preferably, in the process of extracting feature data from the input data, the neural network model processes the text data from the section and the text data from the given question using an attention mechanism, and outputs ranking information based on the processed feature data.
第２の態様によれば、本発明の実施例はスピーチ原稿の評価機器を提供し、当該機器は少なくとも１つのプロセッサー、及び前記少なくとも１つのプロセッサーと通信するように接続されるメモリを含み、前記メモリには、前記１つのプロセッサーが実行可能な指令が記憶され、前記指令は前記少なくとも１つのプロセッサーによって実行されることで、前記少なくとも１つのプロセッサーに上記のスピーチ原稿の評価方法を実行させる。 According to a second aspect, an embodiment of the present invention provides a speech manuscript evaluation device, the device including at least one processor and a memory connected to communicate with the at least one processor, the memory storing instructions executable by the at least one processor, the instructions being executed by the at least one processor to cause the at least one processor to perform the speech manuscript evaluation method described above.
第３の態様によれば、本発明の実施例は指令を含むコンピュータプログラム製品を提供し、コンピュータで運転すると、前記コンピュータに上記のスピーチ原稿の評価方法を実行させる。 According to a third aspect, an embodiment of the present invention provides a computer program product including instructions which, when run on a computer, cause the computer to perform the method for evaluating a speech manuscript described above.
本発明が提供するスピーチ原稿の評価方法及び機器によれば、スピーチ原稿全体に対する評価タスクを、質問及び答えの認可度に対する評価に変換し、品質が異なる大量のスピーチ原稿をニューラルネットワークの学習サンプルとして提供する必要がなく、スピーチ原稿テーマに関する質問を予め設定して、認可度が異なる相応的な答えを準備すれば、ニューラルネットワークモデルを訓練でき、さらに、複数のスピーチ原稿に対する評価を完成し、従来技術においてサンプルが乏しいためスピーチ原稿を評価しがたいという問題を解決し、且つ、本解決策の正確率を高くできる。 According to the speech manuscript evaluation method and device provided by the present invention, the evaluation task for the entire speech manuscript is converted into an evaluation of the approval degree of questions and answers, and there is no need to provide a large number of speech manuscripts of different qualities as learning samples for the neural network. By presetting questions related to the speech manuscript theme and preparing corresponding answers with different approval degrees, the neural network model can be trained, and the evaluation of multiple speech manuscripts can be completed, solving the problem in the prior art that speech manuscripts are difficult to evaluate due to a lack of samples, and increasing the accuracy rate of the present solution.
以下の好適な実施形態に対する詳しい記載によって、他の各種利点は当業者にとって明瞭になる。図面は本発明の実施例を限定していなく、単に好適な実施形態を示すことを目的とする。図面全体において、同じ符号で同じ部材を示す。
以下、図面を参照して本開示の例示的な実施例をより詳しく記載する。図面は本開示の例示的な実施例を示したが、理解できるように、ここに記載の実施例に限定されず、いろんな形態で本開示を実現できる。逆に、これらの実施例を提供することで、本開示をより十分に理解できるとともに、本開示の範囲を当業者に完全に伝達できる。 The exemplary embodiments of the present disclosure will now be described in more detail with reference to the drawings. Although the drawings illustrate exemplary embodiments of the present disclosure, it will be understood that the present disclosure is not limited to the embodiments described herein and may be embodied in various forms. On the contrary, the present embodiments are provided to allow the present disclosure to be more fully understood and to fully convey the scope of the present disclosure to those skilled in the art.
本発明はスピーチ原稿の評価方法を提供し、当該方法はコンピュータ、サーバーなどの電子機器によって実行され、図１に示すように、当該方法は以下のステップを含む。 The present invention provides a method for evaluating a speech manuscript, the method being executed by an electronic device such as a computer or a server, and as shown in FIG. 1, the method includes the following steps:
１０１：複数のスピーチ原稿を取得する。 101: Obtain multiple speech manuscripts.
１０２：前記各スピーチ原稿をいくつかのセクションにそれぞれ分割する。 102: Divide each of the speech manuscripts into several sections.
本発明の実施例において、前記いくつかのセクションはある論点を表現する段落であり、１つの形式段落であってもよいし、複数の形式段落であってもよい。例示的に、複数の形式段落は何れも製品の利点を説明すれば、これらの複数の形式段落を１つの段落とする。Ｃ１１……Ｃ１ｎを１番目のスピーチ原稿のセクションとし、Ｃ２１……Ｃ２ｎを２番目のスピーチ原稿のセクションとし、Ｃｎ１……Ｃｎｎをｎ番目のスピーチ原稿のｎ個のセクションとする。スピーチ原稿の分割方式は以下の方式を含むが、これらに限定されず、即ち、従来のセマンティック認識技術によって、テキスト内容のセマンティックに基づいて原稿全体をいくつかのセクションに分ける。さらに、音声認識の結果に基づいて、停頓、セマンティックを総合してセクションを形成してもよく、具体的に限定していない。 In an embodiment of the present invention, the several sections are paragraphs expressing a certain point, and may be one formal paragraph or several formal paragraphs. For example, if the several formal paragraphs all describe the advantages of a product, these several formal paragraphs are regarded as one paragraph. C11...C1n is the section of the first speech manuscript, C21...C2n is the section of the second speech manuscript, and Cn1...Cnn are the n sections of the nth speech manuscript. The speech manuscript division method includes, but is not limited to, the following methods, that is, the entire manuscript is divided into several sections based on the semantics of the text content by using conventional semantic recognition technology. Furthermore, based on the results of voice recognition, the pauses and semantics may be synthesized to form sections, and there is no specific limitation.
１０３：ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力し、各前記セクションの、所定質問に対する認可度を示す。 103: Using a neural network model, all of the sections and a plurality of different predetermined questions are recognized, and each of the predetermined questions and all of the sections are input data in turn. The neural network model extracts feature data from the input data, and outputs ranking information for the predetermined questions of all of the sections based on the feature data, indicating the approval level of each of the sections for the predetermined questions.
認可度は人気度として解釈されてもよく、ニューラルネットワークを使用して訓練データを認識することで学習される。例えば、ニューラルネットワークを訓練する時、人工で答え及び質問を準備して、これらの答えの、相応的な質問に対するランク付け状況を与え、即ち、各答えの人気度／認可度を人工で決定し、無論、ニューラルネットワークを訓練するためのサンプルデータとして、他の質疑応答データベースからデータを転移させてもよい。ニューラルネットワークの訓練方法、サンプルデータの設置及び取得方法は複数であり、具体的に以降の実施例において紹介する。これから分かるように、本解決策のニューラルネットワークは答えと質問との間の浅層のセマンティック関連を認識していなく、学習した知識に基づいて人間の思惟をシミュレーションして複数の答えをランク付けして、上位の答えであるほど、その認可度／人気度が高く、当該答えが好まれる。ところが、セマンティックから見れば、下位の答えよりも、上位の答えと所定質問との関連性が必ずしも高いわけではない。 The approval level may be interpreted as popularity, and is learned by using a neural network to recognize training data. For example, when training a neural network, answers and questions are prepared artificially, and the ranking status of these answers for the corresponding questions is given, i.e., the popularity/approval level of each answer is determined artificially. Of course, data may be transferred from other question and answer databases as sample data for training the neural network. There are multiple methods for training a neural network and setting and obtaining sample data, which will be specifically introduced in the following examples. As can be seen, the neural network of this solution does not recognize the shallow semantic relationship between answers and questions, but ranks multiple answers by simulating human thinking based on learned knowledge, and the higher the answer, the higher its approval/popularity, and the more the answer is preferred. However, from a semantic perspective, the higher the answer is not necessarily more relevant to a given question than the lower answers.
図４はニューラルネットワークの動作過程概略図であり、本解決策において訓練されたニューラルネットワークを使用して、分割されたセクションを認識して、ランク付け情報を出力する。具体的に、所定質問及び分割されたセクションをネットワークの入力とし、例えば、質問１＋Ｃ１１……Ｃｎｎを入力とし、Ｃ１１……Ｃｎｎの、所定質問１に対するランク付け情報を出力し、同じように、質問２＋Ｃ１１……Ｃｎｎを入力とし、Ｃ１１……Ｃｎｎの、所定質問２に対するランク付け情報を出力する。前記所定質問はスピーチ原稿の内容に基づいて設定され、具体的に、スピーチ原稿のテーマに基づいて所定質問として関連問題を設定する。上位のセクションであるほど、所定質問の答えに対する認可度／人気度が高い。 Figure 4 is a schematic diagram of the operation process of a neural network, in which the trained neural network is used in this solution to recognize the divided sections and output ranking information. Specifically, the given questions and the divided sections are input to the network, for example, question 1+C11...Cnn is input and ranking information of C11...Cnn for given question 1 is output, and similarly, question 2+C11...Cnn is input and ranking information of C11...Cnn for given question 2 is output. The given questions are set based on the content of the speech manuscript, and specifically, related questions are set as the given questions based on the theme of the speech manuscript. The higher the section, the higher the recognition/popularity of the answer to the given question.
１０４：全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定する。 104: Determine an evaluation result for each speech manuscript based on the ranking information for each of the predetermined questions for all of the sections.
１つの実施例において、評価結果はスコア値であり、ランク付け状況に基づいて得点を与える前、ランクと得点との対応関係を設定し、例えば、１位にある場合、１０点に対応し、２位にある場合、８点に対応するなど。所定の質問は２つがあり、当該２つの質問に対して段落Ｃ１１……Ｃ１ｎは何れも相応的なランク付け状況があり、ここでランクが最も高いものを選択し、例えば、Ｃ１１の、質問１に対するランクは２位（最高）であれば、得点は８であり、Ｃ１４の、質問２に対するランクは３位（最高）であれば、得点は６である。当該スピーチ原稿の、当該２つの質問に対する総得点の計算方法は、直接加算、加重加算、加重平均などを含むが、これらに限定されていない。 In one embodiment, the evaluation result is a score value, and before giving the score based on the ranking situation, a corresponding relationship between the rank and the score is set, for example, if it is ranked 1st, it corresponds to 10 points, if it is ranked 2nd, it corresponds to 8 points, etc. There are two given questions, and paragraphs C11...C1n for the two questions have corresponding ranking situations, and the one with the highest rank is selected, for example, if C11 is ranked 2nd (highest) for question 1, the score is 8, and if C14 is ranked 3rd (highest) for question 2, the score is 6. The method of calculating the total score for the two questions of the speech manuscript includes, but is not limited to, direct addition, weighted addition, weighted average, etc.
他の実施例において、評価結果は分類結果であってもよく、例えば、「優秀」、「良好」、「中等」、「不良」などのカテゴリを予め設定し、ニューラルネットワークから出力されるランク付け情報を分類して、各スピーチ原稿が所属するカテゴリを取得する。 In another embodiment, the evaluation result may be a classification result, for example, categories such as "excellent," "good," "average," and "poor" are preset, and the ranking information output from the neural network is classified to obtain the category to which each speech manuscript belongs.
本発明が提供するスピーチ原稿の評価方法及び機器によれば、スピーチ原稿全体に対する評価タスクを、質問及び答えの認可度に対する評価に変換し、品質が異なる大量のスピーチ原稿をニューラルネットワークの学習サンプルとして提供する必要がなく、スピーチ原稿テーマに関する質問を予め設定して、認可度が異なる相応的な答えを準備すれば、ニューラルネットワークモデルを訓練でき、さらに、複数のスピーチ原稿に対する評価を完成し、従来技術においてサンプルが乏しいため、スピーチ原稿を評価しがたいという問題を解決して、且つ、本解決策の正確率を高くできる。 According to the speech manuscript evaluation method and device provided by the present invention, the evaluation task for the entire speech manuscript is converted into an evaluation of the approval degree of questions and answers, and there is no need to provide a large number of speech manuscripts of different qualities as learning samples for the neural network. By presetting questions related to the speech manuscript theme and preparing corresponding answers with different approval degrees, the neural network model can be trained, and the evaluation of multiple speech manuscripts can be completed, solving the problem in the prior art that speech manuscripts are difficult to evaluate due to a lack of samples, and increasing the accuracy rate of the present solution.
本発明の実施例はスピーチ原稿の評価方法をさらに提供し、図２に示すように、前記方法は以下のステップ含む。 An embodiment of the present invention further provides a method for evaluating a speech manuscript, as shown in FIG. 2, the method includes the following steps:
２０１：複数のサンプル答え、１つの所定質問、及び各サンプル答えの、前記所定質問に対するランク付け情報がそれぞれ含まれる複数の訓練データを取得する。 201: Obtain multiple training data, each of which includes multiple sample answers, one specific question, and ranking information for each sample answer with respect to the specific question.
本発明の実施例において、ニューラルネットワークモデルを訓練し、１組の訓練データは１つの所定質問及び対応する複数の候補答えを含み、例えば、所定質問は、「以下、どの基本的な事実を記載するか？」ということがあり、対応する候補答えは４０個があり、ラベルは４０個の答えのランク付け状況であり、人間の主観的な意志に基づいて付与される。ランクが高いほど、答えの品質が高く、上位のサンプル答えであるほど、その認可度及び人気度が高く、より好まれる。 In an embodiment of the present invention, a neural network model is trained, and a set of training data includes one given question and a number of corresponding candidate answers, for example, the given question may be "Which basic fact is described below?", there are 40 corresponding candidate answers, and the label is a ranking status of the 40 answers, which is assigned based on the subjective will of a human being. The higher the rank, the higher the quality of the answer, and the higher the sample answer, the higher its approval and popularity, and the more it is preferred.
本発明の実施例において、複数の訓練データの取得方式は、指定したいくつかのウェブページから、前記所定質問に関連付けられるコンテキスト及び相応的な回答内容をクローリングし、ここで、重複する回答内容が存在すると、マージしてからサンプル答えを取得し、各回答内容の、前記ウェブページにおけるランク付け状況に基づいて前記ランク付け情報を取得する。例示的に、あるテーマのスピーチ原稿の所定質問について、インターネットから（例えば質疑応答システム）合致する質問を検索できるとともに、当該質問に対する回答を取得でき、質問者はそのうちの１つの回答を最適な答えとして選んで、他の回答はその後に並んで、質問者と回答者との間のインタラクション状況、例えば人気などのランクに従って、当該ランクングを直接的に訓練データのラベルとしてもよい。 In an embodiment of the present invention, the method of acquiring multiple training data involves crawling through several specified web pages to find the context and corresponding answer contents associated with the given question, merging any duplicated answer contents before acquiring sample answers, and acquiring the ranking information based on the ranking status of each answer content on the web page. For example, for a given question in a speech manuscript on a certain topic, the Internet can be searched for matching questions (e.g., a Q&A system) and answers to the question can be obtained. The questioner can select one of the answers as the best answer, and the other answers can be lined up behind it. The ranking can be directly used as the label of the training data according to the interaction status between the questioner and the answerer, such as the ranking of popularity.
ここで、ランクの数は候補答えの数に等しくなく、例えば４０個の候補答えが存在するが、ランク数が１０個である。ランクにおいて並列及び空白があってもよい。例えば、１位の答えは０個であり、２位の答えは０個であり、３位の答えは２つ又は３つであり、従って、前記ランク付け情報には空のランク付け及び／又は並列するランク付け情報が含まれる。 Here, the number of ranks is not equal to the number of candidate answers, for example, there are 40 candidate answers, but the number of ranks is 10. There may be parallels and blanks in the ranks. For example, the first answer has 0, the second answer has 0, and the third answer has 2 or 3, and thus the ranking information includes blank rankings and/or parallel ranking information.
所定質問はスピーチ原稿の内容に基づいて設定され、各回の評価は同一のテーマのスピーチ原稿に対応し、質問を予め設定する時、スピーチ原稿のテーマに対していくつかの質問を設定し、例示的に、「以下、どの基本的な事実を記載するか？」、「他の製品に対してどの利点があるのか？」、「使用者はどのような利益を取得できるか？」、「主人公は何をしたか？」、「主人公はどんな先進的事績を行ったのか？」など。通常の質疑応答システムの答えのランク付け方法を参照し、ｋ個の候補答えを選択してスピーチ原稿と結合する。ｔｏｐＫアルゴリズムはまず、指定した質問文に対して、ｔｏｐ―ｎ（例示的に、ｎ＝１０）個の関連ドキュメントを見つけて、ｔｆ―ｉｄｆ又はｂｍ２５アルゴリズムを使用してもよい。そして、ｎ個のドキュメントを段落に分割して、ｎより遥かに大きい候補答え組を取得して、その中からｔｏｐｋ個の候補答え（例示的に、ｋ＝４０）を選択し、ここで、上記の例示的な関連ドキュメント及び候補答えの数はその数を限定していなく、単に例である。 The predetermined questions are set based on the content of the speech manuscript, and each evaluation corresponds to a speech manuscript of the same theme. When setting the questions in advance, several questions are set for the theme of the speech manuscript, for example, "Which basic facts are described below?", "What advantages does it have over other products?", "What benefits can users obtain?", "What did the protagonist do?", "What advanced achievements has the protagonist made?", etc. Referring to the answer ranking method of a normal Q&A system, k candidate answers are selected and combined with the speech manuscript. The topK algorithm first finds top-n (exemplarily, n=10) related documents for a specified question sentence, and may use the tf-idf or bm25 algorithm. Then, the n documents are divided into paragraphs to obtain a set of candidate answers that is much larger than n, and topk candidate answers (exemplarily, k=40) are selected from them, where the above exemplary related documents and candidate answers are not limited in number and are merely examples.
２０２：前記複数の訓練データを使用して前記ニューラルネットワークモデルを訓練し、前記ニューラルネットワークは複数のサンプル答え及び１つの所定質問に基づいてランク付け情報を出力して、出力されたランク付け情報と、訓練データにおけるランク付け情報との差に基づいてモデルパラメータを最適化する。 202: Train the neural network model using the plurality of training data, and the neural network outputs ranking information based on the plurality of sample answers and one predetermined question, and optimizes model parameters based on the difference between the output ranking information and the ranking information in the training data.
本発明の実施例において、２層のフィードフォワードニューラルネットワークを選択して、所定質問及びいくつかの候補答えを入力し、いくつかの候補答えのラベルを出力する。上記の複数の訓練データを使用してネットワークを訓練し、ネットワークから出力されたランク及びラベルの差はｌｏｓｓを決定して、ネットワークパラメータを最適化する。 In an embodiment of the present invention, a two-layer feedforward neural network is selected to input a given question and several candidate answers, and output the labels of the several candidate answers. The above multiple training data are used to train the network, and the difference between the ranks and labels output from the network is used to determine the loss and optimize the network parameters.
ネットワークはｆ（ｘｉ）＝ＲｅＬＵ（ｘｉＡＴ＋ｂ１）ＢＴ＋ｂ２として示される。 The network is shown as f(xi) = ReLU(xiAT + b1)BT + b2.
Ｘｉはａｔｔｅｎｔｉｏｎ後の特徴を示し、Ａ∈Ｒｍ＊ｄ且つＢ∈Ｒ１＊ｍは最適化された重み行列パラメータであり、ｂ１∈Ｒｍ且つｂ２∈Ｒは線形バイアスベクトルである。 Xi denotes the feature after attention, A∈Rm*d and B∈R1*m are the optimized weight matrix parameters, and b1∈Rm and b2∈R are linear bias vectors.
２０３：複数のスピーチ原稿を取得する。 203: Obtain multiple speech manuscripts.
２０４：各前記スピーチ原稿をいくつかのセクションにそれぞれ分割する。 204: Divide each of the speech manuscripts into several sections.
具体的な実施過程で、前記スピーチ原稿はスピーチ録音に対して音声認識を行うことで取得される文字データであり、音声認識の過程で音声の停頓期間を記録し、各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップでは、スピーチ原稿のセマンティック及びスピーチ録音中の停頓期間に基づいて、スピーチ原稿をいくつかのセクションに分割する。 In a specific implementation process, the speech manuscript is text data obtained by performing voice recognition on the speech recording, and speech pauses are recorded during the voice recognition process. In the step of dividing each of the speech manuscripts into several sections, the speech manuscript is divided into several sections based on the semantics of the speech manuscript and the pauses in the speech recording.
２０５：ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力し、各前記セクションの、所定質問の答えに対する認可度／人気度を示す。 205: Using a neural network model, all of the sections and a plurality of different predetermined questions are recognized, and each of the predetermined questions and all of the sections are input data in turn. The neural network model extracts feature data from the input data, and outputs ranking information for all of the sections with respect to the predetermined questions based on the feature data, indicating the approval/popularity of each of the sections with respect to the answers to the predetermined questions.
図３はニューラルネットワークモデルの評価過程を示し、好適な実施例において、ニューラルネットワークモデルが入力データに対して特徴データを抽出する過程で、アテンションメカニズム（ａｔｔｅｎｔｉｏｎ）を使用して前記セクションからのテキストデータ、及び前記所定質問からのテキストデータを処理し、処理後の特徴データに基づいてランク付け情報を出力する。 Figure 3 shows the evaluation process of the neural network model. In a preferred embodiment, the neural network model uses an attention mechanism to process the text data from the section and the text data from the given question during the process of extracting feature data from the input data, and outputs ranking information based on the processed feature data.
２０６：全ての前記セクションの、各前記所定質問に対するランク付け情報から、同一スピーチ原稿に属する各セクションの、各所定質問に対する最高ランク付け情報を取得する。 206: From the ranking information for each of the specified questions for all of the sections, obtain the highest ranking information for each of the specified questions for each of the sections belonging to the same speech manuscript.
本発明の実施例において、各ランク付け情報は何れも１つの所定スコア値に対応し、例えば、１位の状況は１０点に対応し、２位の状況は８点に対応するなど、具体的に、実際ニーズに基づいてランクとスコア値との対応関係を設定すればよい。 In an embodiment of the present invention, each piece of ranking information corresponds to a predetermined score value, for example, the first place situation corresponds to 10 points, the second place situation corresponds to 8 points, etc. Specifically, the correspondence between the rank and the score value can be set based on actual needs.
２０７：同一スピーチ原稿の各前記最高ランク付け情報に基づいて前記スピーチ原稿に対する評価結果を取得する。 207: Obtain an evaluation result for the speech manuscript based on the highest ranking information for each of the same speech manuscripts.
本発明の実施例において、同一スピーチ原稿における各質問に対して、スピーチ内容から、最も関連する答えを見つけて得点を決定し、例示的に、所定の質問は２つがあり、当該２つの質問に対して段落Ｃ１１……Ｃ１ｎは何れも相応的なランク付け状況があり、ここで、ランクが最も高いものを選択し、例えば、Ｃ１１の、質問１に対するランクが２位（最高）であれば、得点は８であり、Ｃ１４の、質問２に対するランクは３位（最高）であれば、得点は６である。 In an embodiment of the present invention, for each question in the same speech manuscript, the most relevant answer is found from the speech content and the score is determined. For example, there are two given questions, and paragraphs C11...C1n for the two questions have corresponding ranking situations, and the one with the highest rank is selected. For example, if C11 is ranked 2nd (highest) for question 1, the score is 8, and if C14 is ranked 3rd (highest) for question 2, the score is 6.
ここで、総合得点の計算方式は、各質問の得点を直接的に加算することで総合得点を取得し、質問の重要度に基づいて重みを設置してもよく、例示的に、図１に示すように、各答えの得点を加算して最終の得点である３５＋３０を取得できる。質問の重要度に基づいて重みを設置してもよく、例えば、質問１の重みを１.２に設置し、質問２の重みを０.８に設置すれば、最終の得点は１.２＊３５＋０.８＊３０であり、具体的な総合得点の計算方式及び重みの設置に対して限定していない。 Here, the method of calculating the total score is to directly add up the scores of each question to obtain the total score, and weights can be set based on the importance of the questions. For example, as shown in FIG. 1, the scores of each answer can be added up to obtain a final score of 35+30. Weights can also be set based on the importance of the questions. For example, if the weight of question 1 is set to 1.2 and the weight of question 2 is set to 0.8, the final score is 1.2*35+0.8*30. There are no limitations on the specific method of calculating the total score and the setting of weights.
本発明の実施例において知識質疑応答システムの技術及びデータを転移して、データが乏しいため、採点しがたいスピーチ原稿の評価方法を構造し、当該評価モデルの正確率が高く、解釈可能性が強く、スコアを与えるとともに、相応的なスコア値の類似ケースを与える。 In an embodiment of the present invention, the technology and data of a knowledge question and answer system are transferred to construct an evaluation method for speech manuscripts that are difficult to score due to a lack of data, and the evaluation model has a high accuracy rate and strong interpretability, and can provide scores and similar cases with corresponding score values.
本発明の実施例はスピーチ原稿の評価機器をさらに提供し、少なくとも１つのプロセッサー、及び前記少なくとも１つのプロセッサーと通信するように接続されるメモリを含み、前記メモリには、前記１つのプロセッサーが実行可能な指令が記憶され、前記指令は前記少なくとも１つのプロセッサーによって実行されることで、前記少なくとも１つのプロセッサーに上記の実施例に記載の方法を実行させる。 An embodiment of the present invention further provides a speech manuscript evaluation device, comprising at least one processor and a memory connected in communication with the at least one processor, the memory storing instructions executable by the at least one processor, the instructions being executed by the at least one processor to cause the at least one processor to perform a method according to the above embodiment.
本発明の実施例は指令を含むコンピュータプログラム製品をさらに提供し、コンピュータで運転すると、前記コンピュータに上記の実施例に記載の方法を実行させる。 An embodiment of the present invention further provides a computer program product including instructions that, when run on a computer, cause the computer to perform the method described in the above embodiment.
当業者であれば分かるように、本発明の実施例は方法、システム、又はコンピュータプログラム製品として提供されることができる。従って、本発明は、完全なハードウェアの実施例、完全なソフトウェアの実施例、又はソフトウェアとハードウェアとを結合した実施例の形態を採用できる。そして、本発明は、コンピュータ利用可能なプログラムコードが含まれる１つ又は複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ―ＲＯＭ、光メモリなどを含むが、これらに限定されていない）で実施されるコンピュータプログラム製品の形態を採用できる。 As will be appreciated by those skilled in the art, embodiments of the present invention may be provided as a method, a system, or a computer program product. Thus, the present invention may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware. And, the present invention may take the form of a computer program product embodied in one or more computer usable storage media (including, but not limited to, magnetic disk memory, CD-ROM, optical memory, etc.) containing computer usable program code.
本発明は、本発明の実施例による方法、機器（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して記載する。ここで、コンピュータプログラム指令によって、フローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの結合を実現できる。これらのコンピュータプログラム指令を汎用コンピュータ、専用コンピュータ、埋込型プロセッサー又は他のプログラマブルデータ処理機器のプロセッサーに提供することで、マシンを生成し、コンピュータ又は其他プログラマブルデータ処理機器のプロセッサーによって実行される指令は、フローチャートの１つ又は複数のフロー、及び／又はブロック図の１つ又は複数のブロックにおいて指定した機能を実現する装置を生成する。 The present invention will be described with reference to flowcharts and/or block diagrams of methods, devices (systems), and computer program products according to embodiments of the present invention, where each flow and/or block in the flowcharts and/or block diagrams, and combinations of flows and/or blocks in the flowcharts and/or block diagrams, can be implemented by computer program instructions. These computer program instructions can be provided to a processor of a general purpose computer, a special purpose computer, an embedded processor, or other programmable data processing device to generate a machine, and the instructions executed by the processor of the computer or other programmable data processing device generate an apparatus that implements the functionality specified in one or more flows in the flowcharts and/or one or more blocks in the block diagrams.
これらのコンピュータプログラム指令はさらに、特定の方式で動作させるようにコンピュータ又は他のプログラマブルデータ処理機器をガイドできるコンピュータ可読メモリに記憶されることで、当該コンピュータ可読メモリに記憶される指令は、指令装置を含む製品を生成し、当該指令装置はフローチャートの１つ又は複数のフロー、及び／又はブロック図の１つ又は複数のブロックにおいて指定した機能を実現する。 These computer program instructions may further be stored in a computer readable memory capable of directing a computer or other programmable data processing device to operate in a particular manner such that the instructions stored in the computer readable memory produce a product that includes a command device that implements the functions specified in one or more flows of the flowchart and/or one or more blocks of the block diagram.
これらのコンピュータプログラム指令はさらに、コンピュータ又は他のプログラマブルデータ処理機器に搭載されることで、コンピュータ又は他のプログラマブル機器に一連の操作ステップを実行させて、コンピュータが実現する処理を生成し、さらに、コンピュータ又は他のプログラマブル機器で実行される指令は、フローチャートの１つ又は複数のフロー、及び／又はブロック図の１つ又は複数のブロックにおいて指定した機能を実現するステップを提供する。 These computer program instructions, when loaded into a computer or other programmable data processing device, further cause the computer or other programmable device to perform a series of operational steps to generate a computer-implemented process, and the instructions executed on the computer or other programmable device provide steps to implement the functions specified in one or more flows of the flowcharts and/or one or more blocks of the block diagrams.
明らかに、上記の実施例は実施形態を限定していなく、単にその例示を明らかに説明するためのものである。当業者にとって、上記の説明に基づいて他の異なる形態の変更又は改良を行ってもよい。ここで全ての実施形態を網羅できず、且つその必要がない。そこから得られる明らかな変更又は改良は依然的に本発明創造の保護範囲に該当する。 Obviously, the above examples do not limit the embodiments, but are merely for the purpose of clearly illustrating the examples. Those skilled in the art may make other different forms of modifications or improvements based on the above description. It is not possible and is not necessary to cover all the embodiments here. Any obvious modifications or improvements obtained therefrom still fall within the scope of protection of the present invention.
Claims (9)
複数のスピーチ原稿を取得するステップと、
各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップと、
ニューラルネットワークモデルを使用して全ての前記セクション及び複数の異なる所定質問を認識し、各前記所定質問及び全ての前記セクションを順に入力データとし、前記ニューラルネットワークモデルは入力データに対して特徴データを抽出して、前記特徴データに基づいて全ての前記セクションの、所定質問に対するランク付け情報を出力することで、各前記セクションの、所定質問の答えに対する認可度を示すステップと、
全ての前記セクションの、各前記所定質問に対するランク付け情報に基づいて、各スピーチ原稿の評価結果を決定するステップと、を含むことを特徴とする方法。 A method for evaluating a speech manuscript, comprising:
obtaining a plurality of speech transcripts;
Dividing each of said speech manuscripts into a number of sections;
using a neural network model to recognize all of the sections and a plurality of different predetermined questions, taking each of the predetermined questions and all of the sections as input data in turn, the neural network model extracting feature data from the input data, and outputting ranking information for all of the sections with respect to the predetermined questions based on the feature data, thereby indicating the approval degree of each of the sections with respect to the answer to the predetermined question;
determining an evaluation result for each speech manuscript based on the ranking information for each of the predetermined questions for all of the sections.
複数のサンプル答え、１つの所定質問、及び各サンプル答えの、前記所定質問に対するランク付け情報がそれぞれ含まれる複数の訓練データを取得するステップと、
前記複数の訓練データを使用して前記ニューラルネットワークモデルを訓練し、前記ニューラルネットワークモデルは複数のサンプル答え及び１つの所定質問に基づいてランク付け情報を出力して、出力されたランク付け情報と、訓練データにおけるランク付け情報との差に基づいてモデルパラメータを最適化するステップと、をさらに含むことを特徴とする請求項１に記載の方法。 before using a neural network model to recognize all of said sections and a plurality of different predetermined questions;
Obtaining a plurality of training data, each of which includes a plurality of sample answers, one predetermined question, and ranking information of each sample answer with respect to the predetermined question;
2. The method of claim 1, further comprising: training the neural network model using the plurality of training data, the neural network model outputting ranking information based on a plurality of sample answers and a predetermined question, and optimizing model parameters based on a difference between the output ranking information and ranking information in the training data.
指定したいくつかのウェブページから、前記所定質問に関連付けられるコンテキスト及び相応的な回答内容をクローリングするステップと、
各回答内容の前記ウェブページにおけるランク付け状況に基づいて、前記ランク付け情報を取得するステップと、を含むことを特徴とする請求項２に記載の方法。 Specifically, the steps of acquiring multiple training data are as follows:
Crawling through a number of designated web pages for contexts and corresponding answer contents associated with the predetermined questions;
The method of claim 2 , further comprising: obtaining the ranking information based on a ranking status of each answer content on the web page.
全ての前記セクションの、各前記所定質問に対するランク付け情報から、同一スピーチ原稿に属する各セクションの、各所定質問に対する最高ランク付け情報を取得するステップと、
同一スピーチ原稿の各前記最高ランク付け情報に基づいて前記スピーチ原稿に対する評価結果を取得するステップと、を含むことを特徴とする請求項１～３の何れか１項に記載の方法。 The step of determining an evaluation result of each speech manuscript based on the ranking information of all the sections with respect to each of the predetermined questions specifically includes:
obtaining the highest ranking information for each of the predetermined questions of each of the sections belonging to the same speech manuscript from the ranking information for each of the predetermined questions of all of the sections;
The method according to any one of claims 1 to 3, further comprising the step of: obtaining an evaluation result for the speech manuscript based on the highest ranking information of each of the same speech manuscripts.
各前記スピーチ原稿をいくつかのセクションにそれぞれ分割するステップでは、スピーチ原稿のセマンティック及びスピーチ音声中の停頓期間に基づいてスピーチ原稿をいくつかのセクションに分割することを特徴とする請求項１に記載の方法。 The speech manuscript is text data obtained by performing voice recognition on a speech recording, and voice pauses are recorded during the voice recognition process;
2. The method of claim 1, wherein the step of dividing each of the speech manuscripts into several sections comprises dividing the speech manuscripts into several sections based on semantics of the speech manuscript and pauses in the speech audio.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110759496.0 | 2021-07-06 | ||
| CN202110759496.0A CN113255843B (en) | 2021-07-06 | 2021-07-06 | Speech manuscript evaluation method and device |
| PCT/CN2021/133041 WO2023279631A1 (en) | 2021-07-06 | 2021-11-25 | Speech manuscript evaluation method and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024527185A JP2024527185A (en) | 2024-07-22 |
| JP7636590B2 true JP7636590B2 (en) | 2025-02-26 |
Family
ID=77190758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023577794A Active JP7636590B2 (en) | 2021-07-06 | 2021-11-25 | Method and equipment for evaluating speech manuscripts |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7636590B2 (en) |
| CN (1) | CN113255843B (en) |
| WO (1) | WO2023279631A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255843B (en) * | 2021-07-06 | 2021-09-21 | 北京优幕科技有限责任公司 | Speech manuscript evaluation method and device |
| CN115545042B (en) * | 2022-11-25 | 2023-04-28 | 北京优幕科技有限责任公司 | Lecture draft quality assessment method and lecture draft quality assessment equipment |
| CN119293240A (en) * | 2024-12-11 | 2025-01-10 | 云袭网络技术河北有限公司 | An artificial intelligence text evaluation method and device for short videos |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014044346A (en) | 2012-08-28 | 2014-03-13 | Casio Comput Co Ltd | Information processing device and program |
| JP6288748B1 (en) | 2017-11-30 | 2018-03-07 | ジャパンモード株式会社 | Evaluation support system and evaluation support apparatus |
| CN110874716A (en) | 2019-09-23 | 2020-03-10 | 平安科技（深圳）有限公司 | Interview assessment method, device, electronic equipment and storage medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10289729B2 (en) * | 2016-03-17 | 2019-05-14 | Google Llc | Question and answer interface based on contextual information |
| US10255273B2 (en) * | 2017-06-15 | 2019-04-09 | Microsoft Technology Licensing, Llc | Method and system for ranking and summarizing natural language passages |
| CN108304587B (en) * | 2018-03-07 | 2020-10-27 | 中国科学技术大学 | Community question-answering platform answer sorting method |
| CN110210301B (en) * | 2019-04-26 | 2023-10-03 | 平安科技（深圳）有限公司 | Method, device, equipment and storage medium for evaluating interviewee based on micro-expression |
| CN113255843B (en) * | 2021-07-06 | 2021-09-21 | 北京优幕科技有限责任公司 | Speech manuscript evaluation method and device |
-
2021
- 2021-07-06 CN CN202110759496.0A patent/CN113255843B/en active Active
- 2021-11-25 JP JP2023577794A patent/JP7636590B2/en active Active
- 2021-11-25 WO PCT/CN2021/133041 patent/WO2023279631A1/en not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014044346A (en) | 2012-08-28 | 2014-03-13 | Casio Comput Co Ltd | Information processing device and program |
| JP6288748B1 (en) | 2017-11-30 | 2018-03-07 | ジャパンモード株式会社 | Evaluation support system and evaluation support apparatus |
| CN110874716A (en) | 2019-09-23 | 2020-03-10 | 平安科技（深圳）有限公司 | Interview assessment method, device, electronic equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113255843B (en) | 2021-09-21 |
| JP2024527185A (en) | 2024-07-22 |
| WO2023279631A1 (en) | 2023-01-12 |
| CN113255843A (en) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117009490B (en) | Training method and device for generating large language model based on knowledge base feedback | |
| JP7636590B2 (en) | Method and equipment for evaluating speech manuscripts | |
| Kumar et al. | Earth mover's distance pooling over siamese LSTMs for automatic short answer grading | |
| CN110175229B (en) | Method and system for on-line training based on natural language | |
| CN117480543A (en) | System and method for automatically generating paragraph-based items for testing or evaluation | |
| WO2025077885A1 (en) | Method and apparatus for text sentiment recognition, computer storage medium, and electronic device | |
| CN114625858A (en) | A kind of intelligent reply method and device for government question and answer based on neural network | |
| CN118350459A (en) | A method for generating dual-model corpus | |
| CN113254647A (en) | Course quality analysis method, device and system | |
| CN116049557A (en) | A method for recommending educational resources based on a multimodal pre-training model | |
| CN115617974A (en) | Dialogue processing method, device, equipment and storage medium | |
| AlShikh et al. | Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning | |
| Alahmed et al. | “How Does ChatGPT Work” Examining Functionality To The Creative AI CHATGPT on X's (Twitter) Platform | |
| CN115062627A (en) | Method and apparatus for computer-aided uniform system based on artificial intelligence | |
| WO2024108885A1 (en) | Speech draft quality evaluation method and device | |
| Yan et al. | Exploring learner engagement patterns in teach-outs using topic, sentiment and on-topicness to reflect on pedagogy | |
| Ye et al. | A sentiment based non-factoid question-answering framework | |
| Cetintas et al. | A joint probabilistic classification model of relevant and irrelevant sentences in mathematical word problems | |
| Lopatovska et al. | Assessing user reactions to intelligent personal assistants’ humorous responses | |
| CN115878752A (en) | Text emotion analysis method, device, equipment, medium and program product | |
| CN113657097B (en) | A method and system for evaluating and verifying the consistency of summary facts | |
| CN117093898A (en) | Classification method of teachers’ teaching behavior based on classroom speech text analysis | |
| CN115630147A (en) | Response method, response device, electronic equipment and storage medium | |
| Zajíc et al. | First insight into the processing of the language consulting center data | |
| JP7057229B2 (en) | Evaluation device, evaluation method and evaluation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7636590 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |