CN110598041A - 一种FlACS实时分析方法与装置 - Google Patents
一种FlACS实时分析方法与装置 Download PDFInfo
- Publication number
- CN110598041A CN110598041A CN201910843037.3A CN201910843037A CN110598041A CN 110598041 A CN110598041 A CN 110598041A CN 201910843037 A CN201910843037 A CN 201910843037A CN 110598041 A CN110598041 A CN 110598041A
- Authority
- CN
- China
- Prior art keywords
- audio
- text
- category
- codes
- text message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/65—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种FlACS实时分析方法与装置，该方法先获取教学课堂内的拾音信号；提取拾音信号中的所有音频，并根据语音识别技术，将音频转化为多个文本信息；其中一个音频对应一个文本信息；将各个文本信息，结合预设的文本分析方法，为各个文本信息匹配对应的类别编码，从而识别出每个音频分别一一对应的类别编码；将每个音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。采用本发明技术方案在不依赖人工观察的情况下，实现时间片段的自动标注，从而有效地提高工作效率。
Description
技术领域
本发明涉及教学技术领域，尤其涉及一种FlACS实时分析方法与装置。
背景技术
Flanders interaction analysis category system(简称FlACS)，FlACS是一种定量描述分析课堂中师生教学互动行为的观察系统，FlACS系统能够有效帮助教师了解当前的课堂模式，从而引导教师改进教学行为。
现有的FlACS系统，普遍采用人工观察和记录的方法来完成课堂互动类别的编码。人工观察和记录方法首先将教学课堂音频按照时间序列，从头到尾划分为连续的3秒时间片段；其次，研究人员依次记录每个时间片段对应的类别编码；接着，计算每个类别编码在整个教学课堂音频中的比例；最后，根据每个类别编码在整个教学课堂音频中的比例，从而分析出教学课堂的模式与风格。但目前人工观察方法，效率低；并且现有FIACS的人工观察方式，在教学过程中，不能实时反馈当前教学课堂的模式，不利于教师及时调整教学课堂的模式。
发明内容
本发明实施例提供一种FlACS实时分析方法与装置，在不依赖人工观察的情况下，实现时间片段的自动标注，从而有效地提高工作效率。
本发明实施例提供一种FlACS实时分析方法，包括：
获取教学课堂内的拾音信号；
提取所述拾音信号中的所有音频，并根据语音识别技术，将所述音频转化为多个文本信息；其中一个音频对应一个文本信息；
将各个所述文本信息，结合预设的文本分析方法，为各个所述文本信息匹配对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码；
将每个所述音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个所述第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。
作为优选方案，所述将各个所述文本信息，结合预设的文本分析方法，为各个所述文本信息匹配对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码，具体为：
收集所有与FlACS类别编码相关的词汇，组成静态词表；其中，所述静态词表中的词汇根据所述类别编码进行分类；
将各个所述文本信息进行分词，获得每个所述文本信息分别一一对应的文本集，其中，每个所述文本集包含若干个词组；
将各个所述文本集中的词组与所述静态词表中的词汇进行匹配，获得每个所述文本集对应的类别编码，从而匹配出各个所述文本信息对应的类别编码；
根据所述文本信息的类别编码，从而识别出每个所述音频分别一一对应的类别编码。
作为优选方案，所述将各个所述文本信息，结合预设的文本分析方法，为各个所述文本信息匹配对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码，具体为：
收集语料；其中，所述语料包括若干个句子；
分别将每个所述句子，结合关键词的FIACS分析方法，获得每个句子分别一一对应的类别编码；
分别将每个所述句子及其对应的编码作为输入量，对深度学习模型进行训练，获得分类器模型；
将各个所述文本信息输入到所述分类器模型中，获得各个所述文本信息对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码。
作为优选方案，所述拾音信号是经过声纹识别技术分类后的音频数据；
所述经过声纹识别技术分类后的音频数据包括教师音频数据、学生音频数据或沉寂音频数据。
作为优选方案，所述类别编码包括三类分别为教师语言、学生语言、无有效语言；
所述教师语言包括：表达情感、鼓励表扬、采纳意见、提问、讲授、指令、批判；所述学生语言包括：应答、交流；所述无有效语言为沉寂声音。
相应地，本发明实施例还提供一种FlACS实时分析装置，包括：
音频获取模块，用于获取教学课堂内的拾音信号；
音频转换模块，用于提取所述拾音信号中的所有音频，并根据语音识别技术，将所述音频转化为多个文本信息；其中一个音频对应一个文本信息；
文本分类模块，用于将各个所述文本信息，结合预设的文本分析方法，为各个所述文本信息匹配对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码；
音频拆分模块，用于将每个所述音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个所述第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。
作为优选方案，所述文本分类模块包括：第一收集单元、第一分词单元、第一匹配单元和第一识别单元；
所述第一收集单元，用于收集所有与FlACS类别编码相关的词汇，组成静态词表；其中，所述静态词表中的词汇根据所述类别编码进行分类；
所述第一分词单元，用于将各个所述文本信息进行分词，获得每个所述文本信息分别一一对应的文本集，其中，每个所述文本集包含若干个词组；
所述第一匹配单元，用于将各个所述文本集中的词组与所述静态词表中的词汇进行匹配，获得每个所述文本集对应的类别编码，从而匹配出各个所述文本信息对应的类别编码；
所述第一识别单元，用于根据所述文本信息的类别编码，从而识别出每个所述音频分别一一对应的类别编码。
作为优选方案，所述文本分类模块包括：第二收集单元、第二分析单元、第二训练单元和第二识别单元；
所述第二收集单元，用于收集语料；其中，所述语料包括若干个句子；
所述第二分析单元，用于分别将每个所述句子，结合关键词的FIACS分析方法，获得每个句子分别一一对应的类别编码；
所述第二训练单元，用于分别将每个所述句子及其对应的编码作为输入量，对深度学习模型进行训练，获得分类器模型；
所述第二识别单元，用于将各个所述文本信息输入到所述分类器模型中，获得各个所述文本信息对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的FlACS实时分析方法与装置，该方法先获取教学课堂内的拾音信号；提取拾音信号中的所有音频，并根据语音识别技术，将音频转化为多个文本信息；其中一个音频对应一个文本信息；将各个文本信息，结合预设的文本分析方法，为各个文本信息匹配对应的类别编码，从而识别出每个音频分别一一对应的类别编码；将每个音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。相比于现有技术采用人工观察和记录的方法，本发明技术方案不需要人工观察和记录教学课堂的每个时间片段，而是会将音频实时转化为文本信息，并根据文本信息匹配到相应的编码类别，实现时间片段的自动标注，从而有效地提高工作效率。
附图说明
图1是本发明提供的FlACS实时分析方法的第一实施例的流程示意图；
图2是本发明提供的FlACS实时分析装置的第二实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例：
参见图1，是本发明提供的FlACS实时分析方法的一种实施例的流程示意图。如图1，该构建方法包括步骤101至步骤104，各步骤具体如下：
步骤101：获取教学课堂内的拾音信号。
在本实施例中，拾音信号是经过声纹识别技术分类后的音频数据；其中，经过声纹识别技术分类后的音频数据包括教师音频数据、学生音频数据或沉寂音频数据。经过声纹识别技术分类后的音频数据，能够有效防止教师音频数据与学生音频数据、沉寂音频数据被划入同一个时间片段中，从而使得每个时间片段的类别编码更加准确。
步骤102：提取拾音信号中的所有音频，并根据语音识别技术，将音频转化为多个文本信息；其中一个音频对应一个文本信息。
步骤103：将各个文本信息，结合预设的文本分析方法，为各个文本信息匹配对应的类别编码，从而识别出每个音频分别一一对应的类别编码。
在本实施例中，步骤103具体为：收集所有与FlACS类别编码相关的词汇，组成静态词表；其中，静态词表中的词汇根据类别编码进行分类；将各个文本信息进行分词，获得每个文本信息分别一一对应的文本集，其中，每个文本集包含若干个词组；将各个文本集中的词组与静态词表中的词汇进行匹配，获得每个文本集对应的类别编码，从而匹配出各个文本信息对应的类别编码；根据文本信息的类别编码，从而识别出每个音频分别一一对应的类别编码。
在本实施例中，步骤103具体为：收集语料；其中，语料包括若干个句子；分别将每个句子，结合关键词的FIACS分析方法或者人工标注的方法，获得每个句子分别一一对应的类别编码；分别将每个句子及其对应的编码作为输入量，对深度学习模型进行训练，获得分类器模型；将各个文本信息输入到分类器模型中，获得各个文本信息对应的类别编码，从而识别出每个音频分别一一对应的类别编码；其中，深度学习模型为带RNN、TRANSFORMER、LSTM、BERT、CNN结构的神经网络。
在本实施例中，类别编码包括三类分别为教师语言、学生语言、无有效语言；其中，教师语言包括：表达情感、鼓励表扬、采纳意见、提问、讲授、指令、批判；学生语言包括：应答、交流；无有效语言为沉寂声音。
在本实施例中，表达情感，指代接纳学生的情感；鼓励表扬，指代称赞或鼓励学生的语言；采纳意见，指代接受学生想法的语言；提问，指代教师向学生提问题；讲授，指代教师讲授课程的内容；指令，指代教师对学生指示的做法、下达命令，期望学生服从的言语；批判，指代批评学生的言语；应答，指代学生回应教师说表达的语言；交流，指代学生主动开放对话，表达自身的想法；无有效语言为沉寂声音。
步骤104：将每个音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。
在本实施例中，将每个音频，拆分成多个3秒的第一时间片段，若不足3秒的时间片段根据实际情况将其作为一个完整的3秒片段或丢弃；为拆分后的每个第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，并将全部第二时间片段，按照时间序列进行排列，依次录入到10行10列的矩阵中，填写规则为在课堂编码时间序列的前后加一个10，并依次提取类别编码，每一个编码使用两次即与前一个和后一个编码各组成一对，每一对类别编码的前一个数字表示行数，后一个数字表示列数。例如，在课堂编码时间序列中记录的类别编码为4，4，4，10，10，10，5，5，5……，首先将前后两项类别编码组合配对，例如，(4，4)，(4，4)，(4，10)，(10，10)，(10，10)，(10，10)，(10，5)，(5，5)，(5，5)……，其次，把相同的类别编码组合进行统计，将总计的频次填写在10*10的矩阵中。其中，FICAS互动分析矩阵是一个对称矩阵，它的行和列的意义由编码系统的规定类别编码所代表，矩阵中的每个单元格中填写一对编码，主要用于记录每个课堂行为出现的频次。根据矩阵中各种课堂行为频次之间的比例关系以及各种课堂行为在矩阵中的分布情况，从而推断出课堂教学的情况。
在本实施例中，根据每个类别编码组合出现的频次按照下列公式进行计算，获得若干个标准指标，根据各个标准指标所占的比例，推算出教学课堂的风格。其中标准指标包括教师话语百分比、学生话语百分比、沉寂声音百分比、教师间接影响比率、教师直接影响比率、教师反应比率、教师发问比率、学生发问比率、教师即时反应比率、教师即时发问比率、内容十字区域比率、稳定状态比率、学生稳定状态比率。
在本实施例中，教师话语百分比计算公式如下：学生话语百分比，计算公式如下：沉寂声音百分比，计算公式如下：教师间接影响比率，计算公式如下：教师直接影响比率，计算公式如下：教师反应比率，计算公式如下：教师发问比率，计算公式如下：学生发问比率，计算公式如下：教师即时反应比率，计算公式如下：教师即时发问比率，计算公式如下：内容十字区域比率，计算公式如下：稳定状态比率，计算公式如下：；学生稳定状态比率，计算公式如下：其中cell(i,j)表示为FlAS中矩阵各行列构成的元素；表示为各列的加总；表示为各行的加总；表示为全部矩阵的加总。
由上可见，本发明实施例提供的FlACS实时分析方法先获取教学课堂内的拾音信号；提取拾音信号中的所有音频，并根据语音识别技术，将音频转化为多个文本信息；其中一个音频对应一个文本信息；将各个文本信息，结合预设的文本分析方法，为各个文本信息匹配对应的类别编码，从而识别出每个音频分别一一对应的类别编码；将每个音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。相比于现有技术采用人工观察和记录的方法，本发明技术方案不需要人工观察和记录教学课堂的每个时间片段，而是会将音频实时转化为文本信息，并根据文本信息匹配到相应的编码类别，实现时间片段的自动标注，从而有效地提高工作效率。
第二实施例：
请参见图2，是本发明提供的一种FlACS实时分析装置的第二实施例的结构示意图。该装置包括：音频获取模块201、音频转换模块202、文本分类模块203、音频拆分模块204。
音频获取模块201，用于获取教学课堂内的拾音信号；
音频转换模块202，用于提取拾音信号中的所有音频，并根据语音识别技术，将音频转化为多个文本信息；其中一个音频对应一个文本信息；
文本分类模块203，用于将各个文本信息，结合预设的文本分析方法，为各个文本信息匹配对应的类别编码，从而识别出每个音频分别一一对应的类别编码；
音频拆分模块204，用于将每个音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。
在本实施例中，文本分类模块203包括：第一收集单元、第一分词单元、第一匹配单元和第一识别单元；第一收集单元用于收集所有与FlACS类别编码相关的词汇，组成静态词表；其中，静态词表中的词汇根据类别编码进行分类；第一分词单元用于将各个文本信息进行分词，获得每个文本信息分别一一对应的文本集，其中，每个文本集包含若干个词组；第一匹配单元用于将各个文本集中的词组与静态词表中的词汇进行匹配，获得每个文本集对应的类别编码，从而匹配出各个文本信息对应的类别编码；第一识别单元用于根据文本信息的类别编码，从而识别出每个音频分别一一对应的类别编码。
在本实施例中，文本分类模块203包括：第二收集单元、第二分析单元、第二训练单元和第二识别单元；第二收集单元，用于收集语料；其中，语料包括若干个句子；第二分析单元，用于分别将每个句子，结合关键词的FIACS分析方法或者人工标注的方法，获得每个句子分别一一对应的类别编码；第二训练单元，用于分别将每个句子及其对应的编码作为输入量，对深度学习模型进行训练，获得分类器模型；第二识别单元，用于将各个文本信息输入到分类器模型中，获得各个文本信息对应的类别编码，从而识别出每个音频分别一一对应的类别编码。
本实施例更详细的工作原理和流程可以但不限于参见第一实施例的FlACS实时分析方法。
由上可见，本发明实施例提供的FlACS实时分析装置，不需要人工观察和记录教学课堂的每个时间片段，而是会将音频实时转化为文本信息，并根据文本信息匹配到相应的编码类别，实现时间片段的自动标注，从而有效地提高工作效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.一种FlACS实时分析方法，其特征在于，包括：
获取教学课堂内的拾音信号；
提取所述拾音信号中的所有音频，并根据语音识别技术，将所述音频转化为多个文本信息；其中一个音频对应一个文本信息；
将各个所述文本信息，结合预设的文本分析方法，为各个所述文本信息匹配对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码；
将每个所述音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个所述第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。
2.如权利要求1所述的FlACS实时分析方法，其特征在于，所述将各个所述文本信息，结合预设的文本分析方法，为各个所述文本信息匹配对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码，具体为：
收集所有与FlACS类别编码相关的词汇，组成静态词表；其中，所述静态词表中的词汇根据所述类别编码进行分类；
将各个所述文本信息进行分词，获得每个所述文本信息分别一一对应的文本集，其中，每个所述文本集包含若干个词组；
将各个所述文本集中的词组与所述静态词表中的词汇进行匹配，获得每个所述文本集对应的类别编码，从而匹配出各个所述文本信息对应的类别编码；
根据所述文本信息的类别编码，从而识别出每个所述音频分别一一对应的类别编码。
3.如权利要求1所述的FlACS实时分析方法，其特征在于，所述将各个所述文本信息，结合预设的文本分析方法，为各个所述文本信息匹配对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码，具体为：
收集语料；其中，所述语料包括若干个句子；
分别将每个所述句子，结合关键词的FIACS分析方法，获得每个句子分别一一对应的类别编码；
分别将每个所述句子及其对应的编码作为输入量，对深度学习模型进行训练，获得分类器模型；
将各个所述文本信息输入到所述分类器模型中，获得各个所述文本信息对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码。
4.如权利要求1至3任意一项所述的FlACS实时分析方法，其特征在于，所述拾音信号是经过声纹识别技术分类后的音频数据；
所述经过声纹识别技术分类后的音频数据包括教师音频数据、学生音频数据或沉寂音频数据。
5.如权利要求1至3任意一项所述的FlACS实时分析方法，其特征在于，所述类别编码包括三类分别为教师语言、学生语言、无有效语言；
所述教师语言包括：表达情感、鼓励表扬、采纳意见、提问、讲授、指令、批判；所述学生语言包括：应答、交流；所述无有效语言为沉寂声音。
6.一种FlACS实时分析装置，其特征在于，包括：
音频获取模块，用于获取教学课堂内的拾音信号；
音频转换模块，用于提取所述拾音信号中的所有音频，并根据语音识别技术，将所述音频转化为多个文本信息；其中一个音频对应一个文本信息；
文本分类模块，用于将各个所述文本信息，结合预设的文本分析方法，为各个所述文本信息匹配对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码；
音频拆分模块，用于将每个所述音频，拆分成多个具有相同时间间隔的第一时间片段，并为拆分后的每个所述第一时间片段关联对应音频的类别编码，获得多个带有类别编码的第二时间片段，以便于系统根据周期内的所有第二时间片段，推算出教学课堂的风格。
7.根据权利要求6所述的FlACS实时分析装置，其特征在于，所述文本分类模块包括：第一收集单元、第一分词单元、第一匹配单元和第一识别单元；
所述第一收集单元，用于收集所有与FlACS类别编码相关的词汇，组成静态词表；其中，所述静态词表中的词汇根据所述类别编码进行分类；
所述第一分词单元，用于将各个所述文本信息进行分词，获得每个所述文本信息分别一一对应的文本集，其中，每个所述文本集包含若干个词组；
所述第一匹配单元，用于将各个所述文本集中的词组与所述静态词表中的词汇进行匹配，获得每个所述文本集对应的类别编码，从而匹配出各个所述文本信息对应的类别编码；
所述第一识别单元，用于根据所述文本信息的类别编码，从而识别出每个所述音频分别一一对应的类别编码。
8.根据权利要求6所述的FlACS实时分析装置，其特征在于，所述文本分类模块包括：第二收集单元、第二分析单元、第二训练单元和第二识别单元；
所述第二收集单元，用于收集语料；其中，所述语料包括若干个句子；
所述第二分析单元，用于分别将每个所述句子，结合关键词的FIACS分析方法，获得每个句子分别一一对应的类别编码；
所述第二训练单元，用于分别将每个所述句子及其对应的编码作为输入量，对深度学习模型进行训练，获得分类器模型；
所述第二识别单元，用于将各个所述文本信息输入到所述分类器模型中，获得各个所述文本信息对应的类别编码，从而识别出每个所述音频分别一一对应的类别编码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910843037.3A CN110598041A (zh) | 2019-09-06 | 2019-09-06 | 一种FlACS实时分析方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910843037.3A CN110598041A (zh) | 2019-09-06 | 2019-09-06 | 一种FlACS实时分析方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110598041A true CN110598041A (zh) | 2019-12-20 |
Family
ID=68858067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910843037.3A Pending CN110598041A (zh) | 2019-09-06 | 2019-09-06 | 一种FlACS实时分析方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110598041A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274401A (zh) * | 2020-01-20 | 2020-06-12 | 华中师范大学 | 基于多特征融合的课堂话语分类方法和装置 |
| CN112669885A (zh) * | 2020-12-31 | 2021-04-16 | 咪咕文化科技有限公司 | 一种音频剪辑方法、电子设备及存储介质 |
| CN113051426A (zh) * | 2021-03-18 | 2021-06-29 | 深圳市声扬科技有限公司 | 音频信息分类方法、装置、电子设备及存储介质 |
| CN118427393A (zh) * | 2024-03-04 | 2024-08-02 | 华中师范大学 | 一种基于大语言模型的课堂教学模式分析系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958433A (zh) * | 2017-12-11 | 2018-04-24 | 吉林大学 | 一种基于人工智能的在线教育人机交互方法与系统 |
| WO2018204696A1 (en) * | 2017-05-03 | 2018-11-08 | Tableau Software, Inc. | Systems and methods of applying pragmatics principles for interaction with visual analytics |
| CN108874861A (zh) * | 2018-04-19 | 2018-11-23 | 华南师范大学 | 一种教学大数据可视化分析系统及方法 |
| CN109447863A (zh) * | 2018-10-23 | 2019-03-08 | 广州努比互联网科技有限公司 | 一种4mat实时分析方法及系统 |
| JP2019061050A (ja) * | 2017-09-26 | 2019-04-18 | カシオ計算機株式会社 | 対話装置、対話方法及びプログラム |
| CN110136703A (zh) * | 2019-03-25 | 2019-08-16 | 视联动力信息技术股份有限公司 | 一种模糊回答方法和视联网系统 |
-
2019
- 2019-09-06 CN CN201910843037.3A patent/CN110598041A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018204696A1 (en) * | 2017-05-03 | 2018-11-08 | Tableau Software, Inc. | Systems and methods of applying pragmatics principles for interaction with visual analytics |
| JP2019061050A (ja) * | 2017-09-26 | 2019-04-18 | カシオ計算機株式会社 | 対話装置、対話方法及びプログラム |
| CN107958433A (zh) * | 2017-12-11 | 2018-04-24 | 吉林大学 | 一种基于人工智能的在线教育人机交互方法与系统 |
| CN108874861A (zh) * | 2018-04-19 | 2018-11-23 | 华南师范大学 | 一种教学大数据可视化分析系统及方法 |
| CN109447863A (zh) * | 2018-10-23 | 2019-03-08 | 广州努比互联网科技有限公司 | 一种4mat实时分析方法及系统 |
| CN110136703A (zh) * | 2019-03-25 | 2019-08-16 | 视联动力信息技术股份有限公司 | 一种模糊回答方法和视联网系统 |
Non-Patent Citations (1)
| Title |
|---|
| 孙晓梅: ""基于弗兰德斯互动分析的英语课师生语言互动研究"", 《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274401A (zh) * | 2020-01-20 | 2020-06-12 | 华中师范大学 | 基于多特征融合的课堂话语分类方法和装置 |
| CN112669885A (zh) * | 2020-12-31 | 2021-04-16 | 咪咕文化科技有限公司 | 一种音频剪辑方法、电子设备及存储介质 |
| CN113051426A (zh) * | 2021-03-18 | 2021-06-29 | 深圳市声扬科技有限公司 | 音频信息分类方法、装置、电子设备及存储介质 |
| CN118427393A (zh) * | 2024-03-04 | 2024-08-02 | 华中师范大学 | 一种基于大语言模型的课堂教学模式分析系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kazu et al. | The Influence of Pronunciation Education via Artificial Intelligence Technology on Vocabulary Acquisition in Learning English. | |
| CN103151042B (zh) | 全自动口语评测管理与评分系统及其评分方法 | |
| CN110489756A (zh) | 会话式人机交互口语测评系统 | |
| CN110598041A (zh) | 一种FlACS实时分析方法与装置 | |
| CN102034475A (zh) | 一种运用计算机对开放式短对话进行交互式评分的方法 | |
| CN103761975A (zh) | 一种口语评测方法及装置 | |
| KR100995847B1 (ko) | 인터넷상에서의 소리분석 기반 어학 학습방법 및 시스템 | |
| CN112767940B (zh) | 一种语音培训识别方法、系统、设备及存储介质 | |
| McCrocklin | Dictation programs for second language pronunciation learning: Perceptions of the transcript, strategy use and improvement | |
| Zhou | Real time feedback and E-learning intelligent entertainment experience in computer English communication based on deep learning | |
| Baur et al. | A shared task for spoken CALL? | |
| Escudero et al. | A database of multilingual child speech with recordings from a longitudinal project for multilingual education | |
| Sampath et al. | E-learning education system for children with Down Syndrome | |
| Yu | Evaluation of English pronunciation quality based on decision tree algorithm | |
| Lin et al. | Native Listeners' Shadowing of Non-native Utterances as Spoken Annotation Representing Comprehensibility of the Utterances. | |
| Li et al. | English sentence pronunciation evaluation using rhythm and intonation | |
| Wang et al. | Classroom Observation: Evaluating Instructional Support Automatically in Classroom for Young Children | |
| CN111968434A (zh) | 一种线上无纸化语言训练与评测的方法和存储介质 | |
| CN120236608B (zh) | 基于大语言模型和智能语音的口语问答评测方法及系统 | |
| KR102959442B1 (ko) | 영어 학습 시스템 | |
| Ykhlef et al. | Towards building an emotional speech corpus of Algerian dialect: criteria and preliminary assessment results | |
| CN111967703A (zh) | 课堂教学“言语——行为”大数据同步分析系统 | |
| Li et al. | A preliminary study on the recognition of speech acts performed by international chinese teachers in class based on deep learning | |
| Wang et al. | A teaching method of deaf-mute based on artificial intelligence | |
| Ayu | Improving students' pronouncing of Friction Consonants through dubbing Video at the first grade of SMA Negeri 1 Way Jepara |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |
|
| RJ01 | Rejection of invention patent application after publication |