JP6656529B2 - Foreign language conversation training system - Google Patents
Foreign language conversation training system Download PDFInfo
- Publication number
- JP6656529B2 JP6656529B2 JP2015110853A JP2015110853A JP6656529B2 JP 6656529 B2 JP6656529 B2 JP 6656529B2 JP 2015110853 A JP2015110853 A JP 2015110853A JP 2015110853 A JP2015110853 A JP 2015110853A JP 6656529 B2 JP6656529 B2 JP 6656529B2
- Authority
- JP
- Japan
- Prior art keywords
- learner
- conversation
- text
- evaluation
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims description 56
- 238000011156 evaluation Methods 0.000 claims description 49
- 239000000463 material Substances 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000035484 reaction time Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Landscapes
- Electrically Operated Instructional Devices (AREA)
Description
本発明は外国語の会話訓練システムに係わり、特に、外国語の会話力の習得において、学習者の対話内容、発音、抑揚、会話スピードなどの多角的な矯正および、会話における言語の運用能力の向上のための練習が母国語を介さずに効率よく行える外国語の会話訓練システムに関する。 The present invention relates to a foreign language conversation training system, and in particular, in the acquisition of foreign language conversation skills, diversified correction of learner's conversation contents, pronunciation, intonation, conversation speed, and the like, and improvement of language operation ability in conversation. The present invention relates to a foreign language conversation training system in which training for improvement can be efficiently performed without involving a native language.
日本人は、一般的に英語を始めとする外国語の会話を決して得意とはしていない。その原因としては、義務教育から高等教育に至るまでの学校の授業において、主に読み書きに重点が置かれてきたことが否めない。また、長年の歴史による要因のみならず、言語学的に文章における語順の違いや、言葉の発声方法や発音の違い、文章で言葉を一語ずつはっきり発音する日本語と、例えば英語のように言語をつなげたり一部の音を省略して発音するといった言語慣習の違いなど、様々な要因があげられている。 Japanese people are generally not good at speaking English and other foreign languages. The reason for this is that in school classes from compulsory education to higher education, the emphasis has been placed on literacy. In addition to the factors of long-term history, linguistically differences in word order in sentences, differences in vocalization methods and pronunciations, Japanese in which sentences clearly pronounce words one by one, such as English There are various factors such as differences in language customs, such as connecting languages and omitting some sounds.
そのような状況において、外国語の会話力を向上させるための方策としては、相手と正確に意思疎通を図るために正しい文法と単語を用いた文章でしゃべることができるようになる練習をすることである。更には出来るだけ正しい発音、抑揚、会話スピードでしゃべることができるようになる練習をすることである。 In such situations, strategies to improve foreign language speaking skills include practicing to be able to speak with correct grammar and words in order to communicate accurately with the other party. It is. In addition, practice to be able to speak with correct pronunciation, intonation, and conversation speed as much as possible.
その練習を支援するためには、実際の対話場面を想定した映像教材を作成し、その教材の中で講師と学習者とが対話する必要がある。 In order to support the practice, it is necessary to create a video teaching material assuming an actual dialogue scene, and the instructor and the learner interact in the teaching material.
この点、従来のオーディオテープやビデオテープ、光ディスクなどの録音、録画された会話教材では、それらの媒体に納められている定型の対話場面を見たり文章を聞いたりして、それをその通りリピート練習することしか出来なかった。
ここに最近は、情報通信技術(Information & Communication Technology(ICT))の発達に伴ない、学習システムが種々提案されている。例えば、特許文献1〜4では、様々な外国語教育や会話訓練、語学学習のシステムが開示されている。
In this regard, conventional audio and video tapes, optical discs, and other recordings and recorded conversational teaching materials use standard conversation scenes and listen to sentences contained in those media, and repeat them accordingly. I could only practice.
Recently, various learning systems have been proposed with the development of Information & Communication Technology (ICT). For example, Patent Literatures 1 to 4 disclose various foreign language education, conversation training, and language learning systems.
しかしながら、上記の特許文献1〜4を含めて、従来の情報通信技術を利用した学習訓練システムでは、録音、録画された会話教材でそれらに納められている対話場面を視聴して、それをその通りにリピートしておこなう練習であったり、情報通信技術(ICT)を駆使して発音のみのような狭い領域に絞った訓練システムであった。 However, in the learning training system using the conventional information communication technology, including the above-mentioned Patent Documents 1 to 4, the user listens to a dialogue scene included in the recorded and recorded conversational teaching materials and views it. The training system was practiced by repeating the street, or by using information and communication technology (ICT), the training system was narrowed down to a narrow area such as pronunciation only.
このため、学習者がしゃべる内容について、文法、単語、発音、抑揚、会話スピードなどで問題のある部分や弱点をその場で指摘、矯正しながら練習することが出来なかった。
また、自分自身の情報(名前や生年月日、出身地、趣味など)を文章の中に組み入れてしゃべる練習をすることができず、実際に役立つ会話力を効率よく向上させることは非常に難しかった。
For this reason, the learner could not practice while pointing out and correcting problems and weaknesses in the grammar, words, pronunciation, intonation, conversation speed, etc. in the content spoken by the learner.
Also, it is difficult to practice speaking by incorporating your own information (name, date of birth, place of birth, hobbies, etc.) into the text, and it is very difficult to efficiently improve the practical useful conversation skills. Was.
本発明はこのような従来の課題に鑑みてなされたもので、外国語の会話力の習得において、学習者の対話内容、発音、抑揚、会話スピードなどの多角的な矯正および、会話における言語の運用能力の向上のための練習が母国語を介さずに効率よく行える外国語の会話訓練システムを提供することを目的とする。 The present invention has been made in view of such conventional problems, and in learning a foreign language's conversational ability, the learner's dialogue content, pronunciation, intonation, diversified correction of conversation speed, etc. An object of the present invention is to provide a foreign language conversation training system in which practice for improving operational skills can be efficiently performed without involving a native language.
このため本発明(請求項1)は、映像、音声、テキストのいずれか少なくとも一つにより外国語の会話を訓練する外国語の会話訓練システムであって、映像、音声、テキストのいずれか少なくとも一つによる練習テーマを含み講師のパートと学習者のパートとに分けて予め作成された外国語の訓練教材と、該訓練教材を講師のパートと学習者のパートを繰り返すことで再生する再生手段と、前記学習者のパートにおいて学習者の発した音声を電気信号に変換する音声変換手段と、前記講師のパートでの案内に従い台詞としてのテキストの内の少なくとも一つの単語を入れ換えた文章、若しくは質問に対する答えとなる少なくとも一つの単語を含む文章を学習者に対し想起させ、前記学習者のパート中に該学習者により前記文章での音声を発生させ、該学習者の発した音声を前記音声変換手段を介して抽出する会話抽出手段と、該会話抽出手段で抽出された前記学習者の音声を所定の基準の下に評価する評価手段と、該評価手段による評価の結果を前記学習者に対して表示する評価表示手段とを備え、前記単語が予め用意された質問毎に前記学習者により入力され固有情報保存部に保存された情報を含み、前記訓練教材が前記質問に対応して予め用意され保存された文章を含む教材であり、該教材の前記質問に対応する部分が前記学習者毎に保存された前記単語を含む形で前記学習者に対し提供され、前記評価手段による評価は、前記学習者に対し提供された前記固有情報保存部に保存された情報を含む教材を正解のテキストとして、前記会話抽出手段で抽出された音声から変換されたテキストとの間で行われたテキスト同士の対比に基づき判断される、若しくは、前記正解のテキストを音声に変換し、前記会話抽出手段で抽出された音声との間で行われた音声同士の対比に基づき判断される学習者の話した文章の正誤、発音、抑揚、会話のスピード、これらの総合評価のいずれか少なくとも一つに基づくことを特徴とする。 Therefore, the present invention (claim 1) is a foreign language conversation training system for training a foreign language conversation by at least one of video, audio, and text, wherein at least one of video, audio, and text is used. A training material for a foreign language, which is prepared in advance into a teacher's part and a learner's part, including a practice theme, and a playback means for playing back the training material by repeating the teacher's part and the learner's part. Voice conversion means for converting a voice uttered by the learner into an electric signal in the part of the learner, and a sentence or question in which at least one word in a text as a speech is replaced according to the guidance in the part of the instructor Reminds the learner of a sentence containing at least one word that is an answer to, and generates a speech in the sentence by the learner during the learner's part So, a conversation extracting means for the sound produced by the said learner extracted through the voice conversion means, an evaluation means for evaluating a voice of the learner extracted with associative talk extraction means under a predetermined criterion, Evaluation display means for displaying the result of the evaluation by the evaluation means to the learner , wherein the word includes information stored in the unique information storage unit which is input by the learner for each prepared question. a educational material including text the training materials are prepared in advance corresponding to the questions stored in a form that includes the word portion corresponding to the questions of該教material is stored for each of the learner provided over the previous SL learner evaluation by said evaluation means, the educational material including information stored in the unique information storage unit provided to the learner as the correct text extracted by the conversation extracting means Converted from the audio Judgment is made based on the comparison between the texts performed with the text, or the correct text is converted into speech, and the speech is compared with the speech extracted by the conversation extraction means. Based on at least one of correctness, pronunciation, intonation, speed of conversation, and a comprehensive evaluation of a sentence spoken by a learner determined based on the above.
講師のパートでは学習者に対し入れ換えさせる単語を提示したり、学習者に対しその単語を想起させる。この場合に台詞は表示しない。学習者のパートでは、学習者はこの入れ換え単語を含んだ文章を話す。学習者の発した音声は音声変換手段を介して抽出される。
このことにより、学習者は基本となる文章を確実に覚えることができる。また、応用範囲も広がる。このため、外国語の会話力を向上させることができる。
学習者固有のテキストを会話文に用いることでより一層実践的な会話を確実に習得できる。
学習者の音声を所定の基準の下に評価し表示をする。このことにより、学習者にとって間違えや弱点、問題点が分かり易くなる。従って、学習者の矯正を促しながら、これを繰り返しおこなうことができる。
In the instructor's part, the learner presents the words to be exchanged or reminds the learners of the words. In this case, no dialog is displayed. In the learner's part, the learner speaks a sentence containing the replacement word. The voice uttered by the learner is extracted via voice conversion means.
This ensures that the learner can remember the basic sentence. In addition, the range of application expands. For this reason, foreign language conversation ability can be improved.
By using the learner's unique text in the conversation, even more practical conversations can be reliably acquired.
The voice of the learner is evaluated and displayed based on a predetermined standard. This makes it easier for learners to understand mistakes, weaknesses, and problems. Therefore, this can be repeatedly performed while encouraging the learner to correct.
また、本発明(請求項2)は、映像、音声、テキストのいずれか少なくとも一つにより外国語の会話を訓練する外国語の会話訓練システムであって、映像、音声、テキストのいずれか少なくとも一つによる練習テーマを含み講師のパートと学習者のパートとに分けて予め作成された外国語の訓練教材と、該訓練教材を講師のパートと学習者のパートを繰り返すことで再生する再生手段と、前記学習者のパートにおいて学習者の発した音声を電気信号に変換する音声変換手段と、前記再生手段で再生された台詞の一部又はすべてをテキストとして表示する台詞テキスト表示手段と、前記講師のパートでの案内に従い台詞としてのテキストの内の少なくとも一つの単語を入れ換えた文章、若しくは質問に対する答えとなる少なくとも一つの単語を含む文章を学習者に対し想起させ、前記学習者のパート中に該学習者により前記文章での音声を発生させ、該学習者の発した音声を前記音声変換手段を介して抽出する会話抽出手段と、該会話抽出手段で抽出された前記学習者の音声を所定の基準の下に評価する評価手段と、該評価手段による評価の結果を前記学習者に対して表示する評価表示手段とを備え、前記単語が予め用意された質問毎に前記学習者により入力され固有情報保存部に保存された情報を含み、前記訓練教材が前記質問に対応して予め用意され保存された文章を含む教材であり、該教材の前記質問に対応する部分が前記学習者毎に保存された前記単語を含む形で前記学習者に対し提供され、前記評価手段による評価は、前記学習者に対し提供された前記固有情報保存部に保存された情報を含む教材を正解のテキストとして、前記会話抽出手段で抽出された音声から変換されたテキストとの間で行われたテキスト同士の対比に基づき判断される、若しくは、前記正解のテキストを音声に変換し、前記会話抽出手段で抽出された音声との間で行われた音声同士の対比に基づき判断される学習者の話した文章の正誤、発音、抑揚、会話のスピード、これらの総合評価のいずれか少なくとも一つに基づくことを特徴とする。 Further, the present invention (claim 2) is a foreign language conversation training system for training a foreign language conversation by at least one of video, audio, and text, and comprises at least one of video, audio, and text. A training material for a foreign language, which is prepared in advance into a teacher's part and a learner's part, including a practice theme, and a playback means for playing back the training material by repeating the teacher's part and the learner's part. Voice conversion means for converting a voice uttered by the learner into an electric signal in the part of the learner; speech text display means for displaying a part or all of the speech reproduced by the reproduction means as text; A sentence in which at least one word in the text as a dialog has been replaced according to the guidance in the part, or at least one word that answers the question Conversation extracting means for reminding a learner of a sentence to a learner, generating a speech in the sentence by the learner during the learner's part, and extracting a sound emitted by the learner via the speech converting means. Evaluation means for evaluating the learner's voice extracted by the conversation extraction means under a predetermined standard; and evaluation display means for displaying a result of the evaluation by the evaluation means to the learner. includes the information stored in the unique information storage unit is input by the learner for each question the word is prepared in advance, educational material including text the training materials are prepared in advance corresponding to the questions stored , and the offered over the previous SL learner forms containing the word portion corresponding to the questions of該教material is stored for each of the students, evaluation by the evaluation means, provided to said learner Stored in the unique information storage unit The teaching material containing the obtained information is determined as a correct answer text based on a comparison between the texts converted from the text converted from the voice extracted by the conversation extracting means, or the correct answer text is determined. It is converted into speech and judged based on the comparison between the speeches performed between the speech extracted by the speech extraction means and the correctness of the sentences spoken by the learner, pronunciation, intonation, speed of conversation, and a total of these. It is characterized by being based on at least one of the evaluations .
請求項1とは異なり、台詞の一部又はすべてをテキストとして表示する。そして、この台詞テキストの内の少なくとも一つの単語を入れ換えた文章を学習者に対し想起させる。学習者の発した音声は音声変換手段を介して抽出される。 Different from claim 1, part or all of the dialogue is displayed as text. Then, the learner is reminded of a sentence in which at least one word in the dialogue text is replaced. The voice uttered by the learner is extracted via voice conversion means.
このことにより、学習初心者であっても学習者は基本となる文章を確実に覚えることができる。 As a result, even a beginner of learning can surely learn the basic sentences.
更に、本発明(請求項3)は、前記評価表示手段は前記評価した結果をレーダーチャートで画面表示することを特徴とする。 Further, the present invention (claim 3 ) is characterized in that the evaluation display means displays the evaluation result on a screen in a radar chart.
レーダーチャートで画面表示するので視覚的に自分の欠点を把握できる。 Since the screen is displayed on the radar chart, you can visually grasp your own defects.
更に、本発明(請求項4)は、前記評価を練習テーマ毎に履歴として蓄積する蓄積手段と、該蓄積手段で蓄積された練習テーマの内から評価を所定の基準の下に判断することで少なくとも一つの練習テーマを抽出する抽出手段と、該抽出手段で抽出された練習テーマを表示する表示手段と、該表示手段で表示された練習テーマの内から前記学習者が選択できることを特徴とする。 Further, according to the present invention (claim 4 ), the accumulating means for accumulating the evaluation as a history for each practice theme, and judging the evaluation based on a predetermined standard from the practice themes accumulated by the accumulating means. Extraction means for extracting at least one practice theme, display means for displaying the practice theme extracted by the extraction means, and the learner can select from among the practice themes displayed on the display means. .
評価を練習テーマ毎に履歴として蓄積し、学習者は例えば成績の悪かったテーマを再び選択することが可能である。このため、外国語の会話力をより一層向上させることができる。 The evaluation is accumulated as a history for each practice theme, and the learner can select, for example, a theme with a poor score again. For this reason, the conversation ability in a foreign language can be further improved.
以上説明したように本発明(請求項1)によれば、講師のパートでの案内に従い台詞としてのテキストの内の少なくとも一つの単語を入れ換えた文章を学習者に対し想起させ、前記学習者のパート中に該学習者により前記文章での音声を発生させるように構成したので、学習者は基本となる文章を確実に覚えることができる。また、応用範囲も広がる。このため、外国語の会話力を向上させることができる。 As described above, according to the present invention (claim 1), the learner is reminded of a sentence in which at least one word in the text as a dialog has been replaced according to the guidance of the participant's part, Since the learner is configured to generate the speech in the sentence during the part, the learner can surely remember the basic sentence. In addition, the range of application expands. For this reason, foreign language conversation ability can be improved.
以下、本発明の実施形態について説明する。本発明の実施形態である外国語の会話訓練システムの全体構成図を図1に示す。図1において、インターネット1には外国語の会話訓練システムを管理する管理部3と、訓練教材を蓄積しているデータ保存部5と、インターフェース7を介してデータをローカルとの間で送受信するデータ送受信部9を備えるセンターサーバー10が接続されている。そして、このセンターサーバー10はインターネット1を介して少なくとも1台の情報端末装置20と接続されている。情報端末装置20にはセンターサーバー10よりコンテンツである訓練教材がダウンロードされるようになっている。 Hereinafter, embodiments of the present invention will be described. FIG. 1 shows an overall configuration diagram of a foreign language conversation training system according to an embodiment of the present invention. In FIG. 1, the Internet 1 has a management unit 3 for managing a conversation training system in a foreign language, a data storage unit 5 storing training materials, and data for transmitting and receiving data to and from a local via an interface 7. A center server 10 having a transmitting / receiving unit 9 is connected. The center server 10 is connected to at least one information terminal device 20 via the Internet 1. The information terminal device 20 is configured to download training materials as contents from the center server 10.
インターフェース21を介してデータ送受信部9によりダウンロードされたデータは情報端末装置20の教材保存部25に保存されるようになっている。この情報端末装置20にはマイク27が内蔵若しくは接続され、このマイク27で拾われた音声が情報端末装置20内の音声抽出部29でディジタル信号変換されるようになっている。音声抽出部29で抽出された音声は音声解析部31で台詞としてのテキスト化がされるようになっている。但し、この音声解析部31は台詞としてのテキストが教材保存部25より入力されることで音声に変換される構造であってもよい。 The data downloaded by the data transmission / reception unit 9 via the interface 21 is stored in the teaching material storage unit 25 of the information terminal device 20. A microphone 27 is built in or connected to the information terminal device 20, and a voice picked up by the microphone 27 is converted into a digital signal by a voice extraction unit 29 in the information terminal device 20. The speech extracted by the speech extraction unit 29 is converted into text as speech by the speech analysis unit 31. However, the voice analysis unit 31 may have a structure in which a text as a speech is input from the teaching material storage unit 25 to be converted into a voice.
教材保存部25に保存されている教材データは再生部33で再生され表示部35で表示されるようになっている。評価部37では音声抽出部29で抽出された音声若しくは音声解析部31で変換されたテキストが教材保存部25に予め保存されている音声データ若しくはテキストとどの程度一致しているか、あるいは相違しているかが判断されるようになっている。 The teaching material data stored in the teaching material storage unit 25 is played back by the playback unit 33 and displayed on the display unit 35. The evaluation unit 37 determines how much the speech extracted by the speech extraction unit 29 or the text converted by the speech analysis unit 31 matches the speech data or text stored in the teaching material storage unit 25 in advance, or differs. Is determined.
このように教材保存部25には模範となる音声データが保存されてもよいが、評価の都度模範となるテキストより音声変換がされた形で対比するようにしてもよい。
演算部39では本会話訓練システムの動作に必要な様々な演算がされるようになっている。また、学習者がキーボード41をキー操作することで学習者の固有の情報が固有情報保存部43に保存されるようになっている。
As described above, the teaching material storage unit 25 may store the model voice data, but may compare the model text with the voice converted from the model text each time the evaluation is performed.
The arithmetic unit 39 performs various arithmetic operations required for the operation of the conversation training system. In addition, when the learner operates the keyboard 41 with keys, the learner's unique information is stored in the unique information storage unit 43.
情報端末装置20としては、ウェアラブルコンピュータ(メガネ型など)、スマートフォン、タブレット型コンピュータ、PDA、ゲーム機、電子辞書、ナビゲーション端末、パーソナルコンピュータ、デジタルテレビなど、インターネットに接続可能な情報端末装置であればよい。 The information terminal device 20 can be any information terminal device that can be connected to the Internet, such as a wearable computer (eg, glasses), a smartphone, a tablet computer, a PDA, a game machine, an electronic dictionary, a navigation terminal, a personal computer, and a digital television. Good.
訓練教材は、例えば、設定された会話シーンの会話のやり取りの動作画像と会話音声と台詞(テキスト)である。また、その会話における非学習者(会話相手)のみの動作画像と会話音声と台詞(テキスト)であってもよい。更には、学習者に対して投げかけられる基本文章の音声、台詞(テキスト)と、それに関連した動画、静止画(写真)、絵、図柄、グラフなどであってもよい。 The training materials are, for example, an action image of a conversation exchange of a set conversation scene, a conversation voice, and a dialogue (text). In addition, an action image of only a non-learner (a conversation partner) in the conversation, a conversation voice, and a dialogue (text) may be used. Further, it may be a voice of a basic sentence, a dialogue (text), and a moving image, a still image (photograph), a picture, a design, a graph, or the like associated with the learner.
次に、本発明の実施形態である外国語の会話訓練システムによる訓練方法を概念フローチャート及び画面遷移図に基づき説明する。
本外国語の会話訓練システムは、情報端末装置20において、複数の異なった会話練習タイプ(プラクティスタイプ)から使用者に選択させる。そして、情報端末装置20の表示画面に対話場面や講師のしゃべっている場面の音声入りの画像を表示する。
Next, a training method by a foreign language conversation training system according to an embodiment of the present invention will be described based on a conceptual flowchart and a screen transition diagram.
In this foreign language conversation training system, the information terminal device 20 allows the user to select from a plurality of different conversation practice types (practice types). Then, on the display screen of the information terminal device 20, an image with sound of a dialogue scene or a scene where the lecturer is speaking is displayed.
学習者は指定された人のパートを講師と対話形式でしゃべったり、示された文章をリピートしたり、講師の指示に従って文章を自分で考えて声に出して言ったり、教材の指示に従って自分自身の情報を入力して、その文章を声に出して言ったりした後、それぞれの内容が多角的、総合的に評価され、間違えあるいは弱点、問題点が学習者へ伝えられることによって学習者の矯正を促しながら、これを繰り返しおこなう仕組みにした会話訓練システムである。 The learner can speak the designated part of the person with the instructor interactively, repeat the indicated sentences, think and write out the sentences according to the instructions of the instructor, and follow the instructions of the teaching materials themselves. After inputting the information and saying the text aloud, each content is evaluated from multiple perspectives and comprehensively, and mistakes, weaknesses, and problems are communicated to the learner to correct the learner. It is a conversation training system with a mechanism that repeatedly performs this while prompting the user.
また、情報端末装置20にはメガネタイプのウェアラブルコンピュータを使用することによって、使用者の視点から見た対話場面に似た状況を作り出せることから臨場感が増したり、講師と向き合っての現実の会話と同様のシチュエーションを作り出したりすることが、会話力の向上に好影響をもたらすものである。 In addition, by using a glasses-type wearable computer for the information terminal device 20, it is possible to create a situation similar to a dialogue scene viewed from the user's point of view, thereby increasing the sense of realism or real conversation with the instructor. Creating situations similar to that described above has a positive effect on improving conversational ability.
図2の概念フローチャートにおいて、ステップ1(図中S1と略す。以下同様)では、アプリケーションソフトをあらかじめインストールしておいた情報端末装置20で起動する。
アプリケーションソフトが起動するとステップ2に示すようにメニューが表示される。画面構成としては図7の画面1(図中P1と略す。以下同様)が表示される。学習者は3つの項目の中から希望するものを指定する。3つの項目の内、一つ目は「新しいテーマでプラクティス」、二つ目は「推薦テーマでプラクティス 」、三つ目は「プラクティス履歴を閲覧」である。
In the conceptual flowchart of FIG. 2, in step 1 (abbreviated as S1 in the figure; the same applies hereinafter), the information terminal device 20 in which application software is installed in advance is started.
When the application software starts, a menu is displayed as shown in step 2. As a screen configuration, a screen 1 of FIG. 7 (abbreviated as P1 in the figure; the same applies hereinafter) is displayed. The learner specifies a desired one of the three items. Of the three items, the first is "practice on a new theme", the second is "practice on a recommended theme", and the third is "view practice history".
一つ目の「新しいテーマでプラクティス」は、本会話訓練システムの提供側があらかじめ作成しておいた訓練教材のテーマ一覧がステップ3で表示され、その中からステップ4で学習者はプラクティス(練習)したいテーマを選択する。このテーマは例えば、画面3に示すように「初対面の会話」、「自己紹介」、「道を尋ねる」等である。 In the first "practice with new theme", the list of training material themes prepared in advance by the provider of this conversation training system is displayed in step 3, and the learner practices in step 4 out of them. Select the theme you want. This theme includes, for example, “first face-to-face conversation”, “self-introduction”, “ask for directions” and the like as shown in screen 3.
二つ目の「推薦テーマでプラクティス 」は、学習者が過去にプラクティスした中からさらなるプラクティスが必要なテーマの一覧がステップ5で表示されるものである。このテーマは例えば、画面5に示すように「買い物をする」、「食事をする」等と項目表示され、提供側があらかじめ推薦をしたものである。その中からステップ6で学習者はプラクティスしたいテーマを選択する。 The second “Recommended Themes with Practices” is a list of themes that the learner has practiced in the past and needs more practice is displayed in step 5. For example, as shown in the screen 5, this theme is displayed as items such as "shopping" and "mealing", and is provided by the provider in advance. In step 6, the learner selects a theme to practice in.
三つ目の「プラクティス履歴を閲覧」は、画面7に示すように「買い物をする」、「食事をする」等と項目表示される。処理フローとしては、ステップ7でプラクティス履歴を学習者が過去にプラクティスした履歴およびそれらの成績に基づき自動抽出して表示される。各項目は成績と共に表示されてもよい。また、学習者はプラクティスしたいテーマをこの表示された項目の中から選択できるようにしてもよい。 The third item “view practice history” is displayed as items such as “shopping” and “eating” as shown in the screen 7. As the processing flow, the practice history is automatically extracted and displayed based on the history of the practice performed by the learner in the past and their results in step 7. Each item may be displayed together with the grade. In addition, the learner may be allowed to select a theme to be practiced from the displayed items.
各画面において、学習者は内容を閲覧したらメインメニュー(各画面においてMMと略記載)に戻ることができる。
ステップ2での選択が行われるとステップ8でセンターサーバー10から選択された訓練教材がダウンロードされ、情報端末装置20に読込まれる。但し、DVD等の記憶媒体から選択されたテーマのプラクティス教材を情報端末装置20に直接読込むようにしてもよい。
In each screen, the learner can return to the main menu (abbreviated as MM in each screen) after browsing the contents.
When the selection in step 2 is performed, the selected training material is downloaded from the center server 10 in step 8 and read into the information terminal device 20. However, the practice teaching material of the theme selected from a storage medium such as a DVD may be directly read into the information terminal device 20.
本発明の外国語の会話訓練システムでは、ステップ9に示す通り、タイプ A、タイプ B、タイプ Cの3つのタイプのプラクティスが設定されている。そして、学習者はその中から希望するプラクティスを選択するようになっている。画面9に示すようにタイプAは会話プラクティスである。この会話プラクティスは、あらかじめ作成しておいた会話演習を画面上の画像、音声、台詞のテキストで学習者に見せ、その後に講師と学習者との掛け合いスタイルで行なうものである。 In the foreign language conversation training system of the present invention, as shown in step 9, three types of practices, type A, type B, and type C, are set. The learner then chooses the desired practice. As shown in screen 9, type A is a conversation practice. In this conversation practice, a conversation exercise that has been created in advance is shown to the learner in the form of images, sounds, and dialogue text on the screen, and is then performed in a negotiating style between the instructor and the learner.
また、タイプBは入れ換えプラクティスである。この入れ換えプラクティスは、あらかじめ作成しておいた基本文章を画面上の画像、音声、台詞のテキストで講師が学習者に見せ、それに続いて学習者がリピートする。その後、基本文章の一部の入れ換え語句が講師によって与えられ、学習者は入れ換えて語句を使って正しい文章を作成して音声で返答することを繰り返すスタイルで行なうものである。 入れ換え語句は例えば、主語、動詞、目的語等であり少なくとも一つの単語である。 Type B is a replacement practice. In this replacement practice, the instructor shows the learner a basic sentence created in advance in the form of images, sounds, and dialogue text on the screen, and then the learner repeats. After that, a part of the basic sentence is replaced by the instructor, and the learner repeats the process of creating a correct sentence using the replaced phrase and responding by voice. The replacement phrase is, for example, a subject, a verb, an object, or the like, and is at least one word.
更に、タイプCはマイ・プラクティスである。このマイ・プラクティスは、あらかじめ作成しておいた会話演習および基本文章に関して、学習者自身の固有の情報をキーボード41等から入力し固有情報保存部43に保存した上で、この固有の情報を用いて講師と会話のやり取りや基本文章の語句の入れ換えを行なうものである。 Further, type C is my practice. This My Practice uses the learner's own information about the conversation exercises and basic sentences created in advance from the keyboard 41 or the like, saves it in the unique information storage unit 43, and uses this unique information. It is used to exchange conversations with the instructor and exchange words in basic sentences.
なお、各プラクティスは必ずしも画像、音声、台詞のテキストのすべてが揃って必要という訳ではなく、この内のいずれか少なくとも一つであっても構成可能である。 Note that each practice does not necessarily require all of the images, sounds, and dialogue texts, and can be configured with at least one of them.
まず、タイプAの会話プラクティスについてその実行方法を説明する。
タイプAの会話プラクティスでは、図3のステップ10でこの会話プラクティスが実行され、ステップ11で手本会話の紹介が行われる。この紹介は、当該システムの提供側があらかじめ作成しておいた会話演習を画面上の画像、音声、台詞のテキストで学習者に見せることで行われる。
First, a method of executing the type A conversation practice will be described.
In the type A conversation practice, the conversation practice is executed in step 10 of FIG. 3 and an example conversation is introduced in step 11. This introduction is performed by showing the learner a conversation exercise prepared in advance by the provider of the system using images, sounds, and dialogue text on the screen.
具体的には、図7の画面11で会話の再生が開始され、画面13で学習者は手本となる会話を画面と音声とで試聴して覚える。画面は実際の人が演じてもよいし、漫画として作成されてもよい。もし学習者が充分に理解できないことなどによってもう一度視聴したい場合には、ステップ13(図8の画面15に相当する)に示すようにもう一度ボタンを押すことで再度視聴ができるようになっている。 Specifically, reproduction of the conversation is started on the screen 11 of FIG. 7, and the learner listens to the sample conversation on the screen 13 by listening to the screen and voice. The screen may be played by a real person or created as a cartoon. If the learner wants to view the content again because he / she cannot fully understand it, the user can press the button again as shown in step 13 (corresponding to the screen 15 in FIG. 8) so that the user can view the content again.
一通り試聴が完了したら図3のステップ13(図8の画面15に相当する)において学習者は「次へ」ボタンを押す。 そして、続いてステップ14(画面17に相当する)でプラクティス画面の表示選択を行う。これは、学習者が当該会話プラクティスを行なう上で、講師と学習者のそれぞれの台詞を画面上にテキストで表示するか、表示しないかを学習者が選択するものである。 When the trial listening is completed, the learner presses the “next” button in step 13 of FIG. 3 (corresponding to the screen 15 of FIG. 8). Then, in step 14 (corresponding to the screen 17), the display of the practice screen is selected. In this case, when the learner performs the conversation practice, the learner selects whether to display the dialog of the instructor and the learner in text on the screen or not.
まず、台詞が画面上にテキストで表示されるモードを選択した場合について説明する。この場合、ステップ15(画面19に相当する)で会話プラクティスを開始する。ここから講師と学習者との掛け合いスタイルでプラクティスが行なわれる。画面21は講師のパートで、講師は映像と音声によって学習者に語りかける。講師と学習者の台詞のテキストは画面下部にテロップとして表示される。 First, a case where a mode in which dialogue is displayed as text on a screen is selected will be described. In this case, the conversation practice starts in step 15 (corresponding to the screen 19). From here, the practice is conducted in a style of interaction between the instructor and the learner. The screen 21 is the part of the instructor who speaks to the learner by video and audio. The instructor and learner's dialogue text is displayed as a telop at the bottom of the screen.
ステップ16(画面23に相当する)は学習者のパートであり、学習者が講師に対して返答をする。即ち、講師からの語りかけに反応して、学習者は自分のパートの台詞で返答する。返答した音声はマイク27で抽出される。講師のパートと学習者のパートを繰り返す。このように、講師とのやり取りの繰り返しによって会話を進める。もし学習者が充分に理解できないことなどによってもう一度視聴したい場合には、画面25に示すようにもう一度ボタンを押すことで再度視聴ができる。 Step 16 (corresponding to the screen 23) is the part of the learner, who responds to the instructor. In other words, in response to the speech from the instructor, the learner replies with the dialogue of his part. The replied voice is extracted by the microphone 27. Repeat the instructor part and the learner part. In this way, the conversation is advanced by repeating the exchange with the instructor. If the learner wants to watch again because he / she cannot understand enough, the user can press the button again as shown in the screen 25 to view again.
ステップ17では、学習者の返答を評価し採点する。会話における学習者の返答は返答内容の正誤、発音、抑揚、反応時間、総合評価の5つの点からそれぞれ一定の基準で評価され、採点(スコア化)される。返答内容の正誤は例えば以下のように判断される。即ち、返答された音声を音声解析部31でテキストに変換した後、予め教材保存部25に保存されている正解のテキストとテキスト同士を対比することでその一致度を評価部37で算出し正誤を判断する。 In step 17, the response of the learner is evaluated and scored. The response of the learner in the conversation is evaluated and scored (scored) from the five points of correctness, pronunciation, intonation, reaction time, and comprehensive evaluation of the response content, respectively. The correctness of the reply content is determined, for example, as follows. That is, after the returned voice is converted into a text by the voice analyzing unit 31, the correct text stored in the teaching material storing unit 25 is compared with the texts, and the matching degree is calculated by the evaluation unit 37, and the correctness is calculated. Judge.
但し、学習者により返答された音声は予め教材保存部25に保存されている正解のテキストを音声解析部31で音声変換した形で評価部37に入力し音声同士で対比するようにしてもよい。この場合には、その音声同士の一致度がどの程度かにより正誤が判断される。この際には予め設定したしきい値との間で一致度を比較することで正誤を判断する。 However, the voice replied by the learner may be input to the evaluation unit 37 in a form in which the correct text stored in advance in the learning material storage unit 25 is voice-converted by the voice analysis unit 31, and the voices may be compared. . In this case, the correctness is determined based on the degree of coincidence between the voices. In this case, correctness is determined by comparing the degree of coincidence with a preset threshold value.
発音、抑揚、反応時間については音声抽出部29で抽出した学習者の音声を音声解析部31で音声分析することで行う。この音声分析は既に普及し使用されている公知の音声認識技術を利用することで可能である。音声分析は例えば周波数パターンをもって分析がされる。 The pronunciation, intonation, and reaction time are performed by analyzing the speech of the learner extracted by the speech extraction unit 29 with the speech analysis unit 31. This voice analysis can be performed by using a well-known and widely used voice recognition technology. The voice analysis is performed using, for example, a frequency pattern.
総合評価は、例えば、返答内容の正誤、発音、抑揚、反応時間のそれぞれの項目を100点満点で評価したものを要素A、要素B、要素C、要素Dとする。これに対しそれぞれの要素の重み付けをa、b、c、dとして総合評価T(%)は数1のように演算部39で算出する。重み付けa、b、c、dは例えば1である。
(数1)
T=(a×要素A+b×要素B+c×要素C+d×要素D)×100/(a+b+c+d)
In the comprehensive evaluation, for example, each of the items of the correctness of the response content, pronunciation, intonation, and reaction time is evaluated on a 100-point scale as elements A, B, C, and D. On the other hand, the overall evaluation T (%) is calculated by the calculation unit 39 as in Equation 1 with weights of the respective elements being a, b, c, and d. The weights a, b, c, and d are, for example, 1.
(Equation 1)
T = (a × element A + b × element B + c × element C + d × element D) × 100 / (a + b + c + d)
図3のステップ18(図9の画面27に相当する)では、評価し採点された結果を例えば五角形のレーダーチャートで画面表示する。なお、このレーダーチャートは改めて画面27のように示すのではなく、画面23において画面の側部にリアルタイムに表示されてもよい。このレーダーチャートによって学習者は自分の改善点を確認してプラクティスを続けることができるようになる。 In step 18 in FIG. 3 (corresponding to the screen 27 in FIG. 9), the result of evaluation and scoring is displayed on a screen, for example, as a pentagonal radar chart. The radar chart may be displayed on the screen 23 in real time on the side of the screen instead of being shown again as the screen 27. The radar chart allows learners to see their improvements and continue their practice.
ステップ19(図9の画面29に相当する)では、学習者はプラクティスを終了することができる。また、プラクティスを続行する場合、学習者はステップ11の「手本会話の紹介」に戻って講師による会話の全体を再び視聴してからプラクティスを再開するか、ステップ14の「プラクティス画面の表示選択」に戻って台詞のテキスト表示をするようにするか、逆にしないようにするかを再び選択してからプラクティスを再開するかを選ぶことができる。 In step 19 (corresponding to the screen 29 in FIG. 9), the learner can end the practice. When continuing the practice, the learner returns to step 11 "Introduction of sample conversation" to view the entire conversation by the instructor again and then resumes the practice, or the learner selects "display of practice screen display" in step 14. To return to displaying the text of the dialogue or not to reverse, and then resume the practice.
評価し採点された結果はプラクティスデータとして各テーマ毎にまとめられて図2のステップ51に示すようにセンターサーバー10に送られ、ステップ52で管理部3においてプラクティスの履歴が取られるようになっている。このプラクティスの履歴を元にステップ53では学習者に対してプラクティステーマを推薦したり、この履歴を学習者に対して開示する。プラクティステーマの推薦は、例えば成績の悪かったテーマを抽出する等で実施する。 The results of evaluation and scoring are compiled as practice data for each theme, sent to the center server 10 as shown in step 51 of FIG. 2, and a history of practices is taken in the management unit 3 in step 52. I have. In step 53, a practice theme is recommended to the learner based on the history of the practice, and the history is disclosed to the learner. The recommendation of the practice theme is performed by, for example, extracting a theme with poor performance.
また、複数の学習者についてこの履歴の統計をとることで、複数の学習者に共通して困難な会話テーマを見つけることができる。また、複数の学習者にとって興味を引き易い利用の多い会話テーマを見つけたりすることもできる。これらの情報を元に新しい教材を学習者に合わせた形で効率的に開発することができる。 In addition, by collecting the statistics of the history for a plurality of learners, it is possible to find a difficult conversation theme common to a plurality of learners. In addition, it is possible to find a conversation theme that is frequently used by a plurality of learners and is easily attracted. Based on this information, new teaching materials can be efficiently developed in a form tailored to the learner.
但し、センターサーバー10は必ずしも必須のものではなく、情報端末装置20のみの構成であっても本実施形態である外国語の会話訓練システムは実現可能である。 However, the center server 10 is not always indispensable, and the foreign language conversation training system according to the present embodiment can be realized even with the configuration of only the information terminal device 20.
次に台詞が画面上にテキストで表示されるモードを選択しなかった場合について説明する。図8の画面17において台詞のテキスト表示をしないモードが選択されたとき、図8の画面31〜図9の画面41に示すようにテロップにおけるテキストの表示がされない。このため、より上級者レベルとして利用が可能である。処理の流れとしては、画面19〜画面29の各画面が画面31〜画面41の各画面にそれぞれ対応しているので説明は省略する。 Next, a case where the mode in which the dialogue is displayed in text on the screen is not selected will be described. When a mode in which no dialog text is displayed is selected on the screen 17 in FIG. 8, the text is not displayed in the telop as shown in the screens 31 to 41 in FIG. Therefore, it can be used as a more advanced level. As the flow of the processing, the screens 19 to 29 correspond to the screens 31 to 41, respectively, and the description is omitted.
次に、タイプBの入れ換えプラクティスについてその実行方法を説明する。
図4のステップ21(図9の画面43に相当する)でこの入れ換えプラクティスが実行される。まず、学習者は図4のステップ23〜ステップ24(図9の画面45〜図10の画面49に相当する)で講師パートと学習者パートを含む手本となる会話動画を1度若しくは繰り返し試聴する。
Next, a method of executing the type B replacement practice will be described.
This replacement practice is executed in step 21 of FIG. 4 (corresponding to the screen 43 of FIG. 9). First, the learner listens once or repeatedly to the model conversational video including the instructor part and the learner part in steps 23 to 24 of FIG. 4 (corresponding to the screens 45 to 49 of FIG. 9). I do.
一通り試聴が完了したらステップ24(図10の画面49に相当する)において学習者は「次へ」ボタンを押す。 そして、続いてステップ25(画面51に相当する)でプラクティス画面の表示選択を行う。これは、学習者が当該会話プラクティスを行なう上で、講師と学習者のそれぞれの台詞が画面上にテキストで表示するか、表示しないかを学習者が選択するものである。 When the trial listening is completed, the learner presses the “next” button in step 24 (corresponding to the screen 49 in FIG. 10). Then, in step 25 (corresponding to the screen 51), the display of the practice screen is selected. In this case, when the learner performs the conversation practice, the learner selects whether the dialog of the instructor and the learner is displayed as text on the screen or not.
まず、台詞が画面上にテキストで表示されるモードを選択した場合について説明する。この場合、図4のステップ26(図10の画面53に相当する)で会話プラクティスを開始する。画面55は講師のパートで、講師は映像と音声によって学習者に語りかける。講師の台詞のテキストは画面下部にテロップとして表示される。 First, a case where a mode in which dialogue is displayed as text on a screen is selected will be described. In this case, the conversation practice starts in step 26 of FIG. 4 (corresponding to the screen 53 of FIG. 10). The screen 55 is a part of the instructor, and the instructor speaks to the learner by video and audio. The text of the instructor's dialogue is displayed as a telop at the bottom of the screen.
ステップ27(画面57に相当する)で学習者は講師の言った台詞(例えば、I went to the hospital yesterday)をリピートする。リピートした音声はマイク27で抽出される。もし学習者が充分に理解できないことなどによってもう一度視聴したい場合には、図11の画面59に示すようにもう一度ボタンを押すことで再度視聴ができる。 In step 27 (corresponding to the screen 57), the learner repeats the line (for example, I sent to the hospital yesterday) spoken by the instructor. The repeated sound is extracted by the microphone 27. If the learner does not understand enough and wants to view again, the user can press the button again as shown in a screen 59 in FIG. 11 to view again.
図4のステップ28では学習者の返答を評価し採点し、ステップ29(図11の画面61に相当する)でその結果をレーダーチャートで画面表示する。続いて、図5のステップ30(図11の画面63に相当する)で講師が例えばyesterdayに代えて入れ換え語句であるtomorrowを音声で案内する。テロップにもこのテキストを表示する。 In step 28 of FIG. 4, the response of the learner is evaluated and scored. In step 29 (corresponding to the screen 61 of FIG. 11), the result is displayed on a radar chart. Subsequently, in step 30 in FIG. 5 (corresponding to the screen 63 in FIG. 11), the instructor provides voice guidance for the replacement word tomorrow instead of, for example, yesterday. This text is also displayed on the telop.
ステップ31(画面65に相当する)は学習者のパートであり、学習者がこの語句を入れ換えた文章をもって返答をする。この返答をした音声はマイク27で抽出される。入れ換え語句を提供する講師の案内の方法はこの音声で案内する以外に、テキストを直接見せたり、学習者に対して絵(例えばリンゴの図)を示してその絵に関する語句(apple)を学習者に想起させる等で実施してもよい。 Step 31 (corresponding to the screen 65) is a part of the learner, and the learner replies with a sentence in which this word is replaced. The reply voice is extracted by the microphone 27. The method of guiding the instructor who provides the exchanged words is not only the voice guidance but also showing the text directly or showing the picture (for example, an apple figure) to the learner and giving the learner a word (apple) related to the picture. It may be implemented by reminding the user.
ステップ32では学習者の返答を評価し採点し、ステップ33(画面67に相当する)でその結果をレーダーチャートで画面表示する。
図5のステップ34(図11の画面69に相当する)では、学習者はプラクティスを終了することができる。また、プラクティスを続行する場合、学習者はステップ23の「講師が基本文章の紹介」に戻って講師による会話を再び視聴してからプラクティスを再開するか、ステップ25の「プラクティス画面の表示選択」に戻って台詞のテキスト表示をするようにするか、逆にしないようにするかを再び選択してからプラクティスを再開するかを選ぶことができる。
評価し採点された結果はプラクティスデータとして各テーマ毎にまとめられてセンターサーバー10に送られ管理部3で履歴が取られるようになっている。
In step 32, the response of the learner is evaluated and scored, and in step 33 (corresponding to the screen 67), the result is displayed on a radar chart on a screen.
In step 34 of FIG. 5 (corresponding to the screen 69 of FIG. 11), the learner can end the practice. When continuing the practice, the learner returns to step 23 “the instructor introduces the basic sentence” and again listens to the conversation by the instructor and resumes the practice, or the step 25 “selects the display of the practice screen”. You can choose to go back to displaying the text of the line or not, and then restart the practice.
The results of the evaluation and scoring are compiled as practice data for each theme, sent to the center server 10, and the history is taken by the management unit 3.
次に図4のステップ25(図10の画面51に相当する)で台詞が画面上にテキストで表示されるモードを選択しなかった場合について説明する。
図10の画面51において台詞のテキスト表示をしないモードが選択されたとき、図10の画面71〜図11の画面87に示すようにテロップにおけるテキストの表示がされない。このため、より上級者レベルとして利用が可能である。処理の流れとしては、画面53〜画面69の各画面が画面71〜画面87の各画面にそれぞれ対応しているので説明は省略する。
Next, the case where the mode in which the dialog is displayed in text on the screen in step 25 (corresponding to the screen 51 in FIG. 10) in FIG. 4 is not described will be described.
When a mode in which no dialog text is displayed is selected on the screen 51 in FIG. 10, the text in the telop is not displayed as shown in the screens 71 to 87 in FIG. Therefore, it can be used as a more advanced level. As the processing flow, the screens 53 to 69 correspond to the screens 71 to 87, respectively, and the description is omitted.
次に、タイプCのマイ・プラクティスについてその実行方法を説明する。
図6のステップ35(図12の画面89に相当する)でこの入れ換えプラクティスが実行される。まず、学習者はステップ36(画面91と画面93に相当する)でキーボード41等のテキスト入力装置により質疑応答形式でテキストを入力する。このテキストの入力は音声入力によってもよい。
Next, a method of executing type C my practice will be described.
This replacement practice is executed in step 35 of FIG. 6 (corresponding to the screen 89 of FIG. 12). First, at step 36 (corresponding to the screens 91 and 93), the learner inputs text in a question and answer format using a text input device such as the keyboard 41. This text input may be by voice input.
このテキストは例えば、この学習者個人に関する固有の情報である。画面91と画面93に示すように、質問のYour place of birth?に対し、学習者はTokyo を入力している。但し、必ずしも学習者個人に関する情報に限るものではない。また、質疑応答による入力でなくてもよい。入力されたデータは固有情報保存部43に保存される。 This text is, for example, unique information on the individual learner. As shown in screens 91 and 93, the question "Your place of second?" On the other hand, the learner inputs "Tokyo". However, the information is not necessarily limited to information on the individual learner. Further, the input may not be based on the question and answer. The input data is stored in the unique information storage unit 43.
続いて図6のステップ37(図12の画面95に相当する)でプラクティス画面の表示選択を行う。これは、学習者が当該会話プラクティスを行なう上で、講師と学習者のそれぞれの台詞が画面上にテキストで表示するか、表示しないかを学習者が選択するものである。 Subsequently, the display of the practice screen is selected in step 37 of FIG. 6 (corresponding to the screen 95 of FIG. 12). In this case, when the learner performs the conversation practice, the learner selects whether the dialog of the instructor and the learner is displayed as text on the screen or not.
まず、台詞が画面上にテキストで表示されるモードを選択した場合について説明する。この場合、図6のステップ38(図13の画面97に相当する)で会話プラクティスを開始する。画面99は講師のパートで、講師は映像と音声によって学習者に語りかける。講師の台詞のテキストは画面下部にテロップとして表示される。 First, a case where a mode in which dialogue is displayed as text on a screen is selected will be described. In this case, the conversation practice starts in step 38 of FIG. 6 (corresponding to the screen 97 of FIG. 13). The screen 99 is the part of the instructor, who speaks to the learner by video and audio. The text of the instructor's dialogue is displayed as a telop at the bottom of the screen.
ステップ39(画面101に相当する)で学習者は講師の言った質問の台詞(例えば、Where were you born? )に対して返答をする。返答の音声は例えばI was born in Tokyo であり、Tokyoの部分がこの学習者の固有の情報部分である。ここで返答した音声はマイク27で抽出される。Tokyoのテキストは予め固有情報保存部43に保存されているので、上記と同様に音声/テキスト変換がされた後に正誤の対比等が可能である。 In step 39 (corresponding to the screen 101), the learner replies to the dialogue of the question (for example, Where there you born?) Spoken by the instructor. The voice of the reply is, for example, I was born in Tokyo, and the portion of Tokyo is an information portion unique to the learner. The voice replied here is extracted by the microphone 27. Since the text of Tokyo is stored in the unique information storage unit 43 in advance, it is possible to make a right / wrong comparison or the like after voice / text conversion in the same manner as described above.
ステップ40では学習者の返答を評価し採点し、ステップ41(画面103に相当する)でその結果をレーダーチャートで画面表示する。
ステップ42(画面105に相当する)では、学習者はプラクティスを終了することができる。
In step 40, the response of the learner is evaluated and scored, and in step 41 (corresponding to the screen 103), the result is displayed on the screen in a radar chart.
In step 42 (corresponding to screen 105), the learner can end the practice.
また、プラクティスを続行する場合、学習者はステップ38の「講師の会話の部」に戻って講師による会話を再び視聴してからプラクティスを再開するか、ステップ37の「プラクティス画面の表示選択」に戻って台詞のテキスト表示をするようにするか、逆にしないようにするかを再び選択してからプラクティスを再開するかを選ぶことができる。
評価し採点された結果はプラクティスデータとして各テーマ毎にまとめられてセンターサーバー10に送られ管理部3で履歴が取られるようになっている。
When continuing the practice, the learner returns to the “Lecturer Conversation Section” in step 38 to view the conversation by the instructor again and resumes the practice, or the learner selects the “display of practice screen” in step 37. You can choose to go back and display the text of the dialog or not, and then restart the practice.
The results of the evaluation and scoring are compiled as practice data for each theme, sent to the center server 10, and the history is taken by the management unit 3.
次に図6のステップ37(図12の画面95に相当する)で台詞が画面上にテキストで表示されるモードを選択しなかった場合について説明する。画面95において台詞のテキスト表示をしないモードが選択されたとき、図13の画面107〜図13の画面115に示すようにテロップにおけるテキストの表示がされない。 Next, the case where the mode in which the dialogue is displayed in text on the screen in step 37 (corresponding to the screen 95 in FIG. 12) in FIG. 6 is not described will be described. When a mode in which no dialog text is displayed is selected on the screen 95, the text in the telop is not displayed as shown in the screen 107 in FIG. 13 to the screen 115 in FIG.
このため、より上級者レベルとして利用が可能である。処理の流れとしては、画面97〜画面105の各画面が画面107〜画面115の各画面にそれぞれ対応しているので説明は省略する。
なお、情報端末装置20として図7の画面120に示すようにウェアラブルコンピュータ(メガネ型など)を利用した場合には、人と会話をしているように練習ができる。
Therefore, it can be used as a more advanced level. The flow of the processing will not be described because the screens 97 to 105 correspond to the screens 107 to 115, respectively.
When a wearable computer (glasses or the like) is used as the information terminal device 20 as shown on a screen 120 in FIG. 7, it is possible to practice as if having a conversation with a person.
1 インターネット
3 管理部
5 データ保存部
7、21 インターフェース
9、23 データ送受信部
10 センターサーバー
20 情報端末装置
25 教材保存部
27 マイク
29 音声抽出部
31 音声解析部
33 再生部
35 表示部
37 評価部
39 演算部
41 キーボード
43 固有情報保存部
1 Internet 3 Management unit 5 Data storage unit 7, 21 Interface 9, 23 Data transmission / reception unit 10 Center server 20 Information terminal device 25 Teaching material storage unit 27 Microphone 29 Voice extraction unit 31 Voice analysis unit 33 Playback unit 35 Display unit 37 Evaluation unit 39 Operation unit 41 Keyboard 43 Unique information storage unit
Claims (4)
映像、音声、テキストのいずれか少なくとも一つによる練習テーマを含み講師のパートと学習者のパートとに分けて予め作成された外国語の訓練教材と、
該訓練教材を講師のパートと学習者のパートを繰り返すことで再生する再生手段と、
前記学習者のパートにおいて学習者の発した音声を電気信号に変換する音声変換手段と、
前記講師のパートでの案内に従い台詞としてのテキストの内の少なくとも一つの単語を入れ換えた文章、若しくは質問に対する答えとなる少なくとも一つの単語を含む文章を学習者に対し想起させ、前記学習者のパート中に該学習者により前記文章での音声を発生させ、該学習者の発した音声を前記音声変換手段を介して抽出する会話抽出手段と、
該会話抽出手段で抽出された前記学習者の音声を所定の基準の下に評価する評価手段と、
該評価手段による評価の結果を前記学習者に対して表示する評価表示手段とを備え、
前記単語が予め用意された質問毎に前記学習者により入力され固有情報保存部に保存された情報を含み、
前記訓練教材が前記質問に対応して予め用意され保存された文章を含む教材であり、
該教材の前記質問に対応する部分が前記学習者毎に保存された前記単語を含む形で前記学習者に対し提供され、
前記評価手段による評価は、前記学習者に対し提供された前記固有情報保存部に保存された情報を含む教材を正解のテキストとして、前記会話抽出手段で抽出された音声から変換されたテキストとの間で行われたテキスト同士の対比に基づき判断される、若しくは、前記正解のテキストを音声に変換し、前記会話抽出手段で抽出された音声との間で行われた音声同士の対比に基づき判断される学習者の話した文章の正誤、発音、抑揚、会話のスピード、これらの総合評価のいずれか少なくとも一つに基づくことを特徴とする外国語の会話訓練システム。 A foreign language conversation training system for training a foreign language conversation by at least one of video, audio, and text,
A training material for a foreign language, which is prepared in advance and divided into an instructor part and a learner part including a practice theme based on at least one of video, audio, and text,
Playback means for playing back the training material by repeating the instructor part and the learner part;
Voice conversion means for converting the voice emitted by the learner into an electric signal in the learner's part,
According to the guidance of the instructor's part, the learner recalls a sentence in which at least one word in the text as a line is replaced or a sentence including at least one word that is an answer to the question, A conversation extracting unit for generating a voice in the sentence by the learner during the process, and extracting the voice uttered by the learner through the voice converting unit;
Evaluation means for evaluating the learner's voice extracted by the conversation extraction means under a predetermined standard;
Evaluation display means for displaying the result of the evaluation by the evaluation means to the learner ,
The word includes information stored in the unique information storage unit that is input by the learner for each prepared question,
Is a teaching materials, including the sentence that the training materials are prepared in advance so as to correspond to the quality question has been saved,
Provided over the previous SL learner in a manner corresponding portion to the Questions of該教material comprises said words stored in each of the learner,
The evaluation by the evaluation means is performed by using, as a correct text, a teaching material including information stored in the unique information storage unit provided to the learner and a text converted from a voice extracted by the conversation extraction means. It is determined based on the comparison between the texts performed between the texts, or based on the comparison between the voices performed between the correct text and the voice extracted by the conversation extracting means. A foreign language conversation training system characterized in that it is based on at least one of correctness, pronunciation, intonation, speed of conversation, and overall evaluation of a sentence spoken by a learner .
映像、音声、テキストのいずれか少なくとも一つによる練習テーマを含み講師のパートと学習者のパートとに分けて予め作成された外国語の訓練教材と、
該訓練教材を講師のパートと学習者のパートを繰り返すことで再生する再生手段と、
前記学習者のパートにおいて学習者の発した音声を電気信号に変換する音声変換手段と、
前記再生手段で再生された台詞の一部又はすべてをテキストとして表示する台詞テキスト表示手段と、
前記講師のパートでの案内に従い台詞としてのテキストの内の少なくとも一つの単語を入れ換えた文章、若しくは質問に対する答えとなる少なくとも一つの単語を含む文章を学習者に対し想起させ、前記学習者のパート中に該学習者により前記文章での音声を発生させ、該学習者の発した音声を前記音声変換手段を介して抽出する会話抽出手段と、
該会話抽出手段で抽出された前記学習者の音声を所定の基準の下に評価する評価手段と、
該評価手段による評価の結果を前記学習者に対して表示する評価表示手段とを備え、
前記単語が予め用意された質問毎に前記学習者により入力され固有情報保存部に保存された情報を含み、
前記訓練教材が前記質問に対応して予め用意され保存された文章を含む教材であり、
該教材の前記質問に対応する部分が前記学習者毎に保存された前記単語を含む形で前記学習者に対し提供され、
前記評価手段による評価は、前記学習者に対し提供された前記固有情報保存部に保存された情報を含む教材を正解のテキストとして、前記会話抽出手段で抽出された音声から変換されたテキストとの間で行われたテキスト同士の対比に基づき判断される、若しくは、前記正解のテキストを音声に変換し、前記会話抽出手段で抽出された音声との間で行われた音声同士の対比に基づき判断される学習者の話した文章の正誤、発音、抑揚、会話のスピード、これらの総合評価のいずれか少なくとも一つに基づくことを特徴とする外国語の会話訓練システム。 A foreign language conversation training system for training a foreign language conversation by at least one of video, audio, and text,
A training material for a foreign language, which is prepared in advance and divided into an instructor part and a learner part including a practice theme based on at least one of video, audio, and text,
Playback means for playing back the training material by repeating the instructor part and the learner part;
Voice conversion means for converting the voice emitted by the learner into an electric signal in the learner's part,
Dialogue text display means for displaying, as text, part or all of the speech reproduced by the reproduction means,
According to the guidance of the instructor's part, the learner recalls a sentence in which at least one word in the text as a line is replaced or a sentence including at least one word that is an answer to the question, A conversation extracting unit for generating a voice in the sentence by the learner during the process, and extracting the voice uttered by the learner through the voice converting unit;
Evaluation means for evaluating the learner's voice extracted by the conversation extraction means under a predetermined standard;
Evaluation display means for displaying the result of the evaluation by the evaluation means to the learner ,
The word includes information stored in the unique information storage unit that is input by the learner for each prepared question,
Is a teaching materials, including the sentence that the training materials are prepared in advance so as to correspond to the quality question has been saved,
Provided over the previous SL learner in a manner corresponding portion to the Questions of該教material comprises said words stored in each of the learner,
The evaluation by the evaluation means is performed by using, as a correct text, a teaching material including information stored in the unique information storage unit provided to the learner and a text converted from a voice extracted by the conversation extraction means. It is determined based on the comparison between the texts performed between the texts, or based on the comparison between the voices performed between the correct text and the voice extracted by the conversation extracting means. A foreign language conversation training system characterized in that it is based on at least one of correctness, pronunciation, intonation, speed of conversation, and overall evaluation of a sentence spoken by a learner .
該蓄積手段で蓄積された練習テーマの内から評価を所定の基準の下に判断することで少なくとも一つの練習テーマを抽出する抽出手段と、
該抽出手段で抽出された練習テーマを表示する表示手段と、
該表示手段で表示された練習テーマの内から前記学習者が選択できることを特徴とする請求項1〜3のいずれか一項に記載の外国語の会話訓練システム。 Accumulation means for accumulating the evaluation as a history for each practice theme,
Extracting means for extracting at least one practice theme by judging an evaluation based on a predetermined criterion from the practice themes accumulated by the accumulation means;
Display means for displaying the practice theme extracted by the extraction means;
The foreign language conversation training system according to any one of claims 1 to 3 , wherein the learner can select one of the practice themes displayed on the display means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015110853A JP6656529B2 (en) | 2015-05-29 | 2015-05-29 | Foreign language conversation training system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015110853A JP6656529B2 (en) | 2015-05-29 | 2015-05-29 | Foreign language conversation training system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016224283A JP2016224283A (en) | 2016-12-28 |
| JP6656529B2 true JP6656529B2 (en) | 2020-03-04 |
Family
ID=57747918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015110853A Active JP6656529B2 (en) | 2015-05-29 | 2015-05-29 | Foreign language conversation training system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6656529B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7135358B2 (en) * | 2018-03-22 | 2022-09-13 | カシオ計算機株式会社 | Pronunciation learning support system, pronunciation learning support device, pronunciation learning support method, and pronunciation learning support program |
| JP2020129023A (en) * | 2019-02-07 | 2020-08-27 | 株式会社Ecc | Language learning device and language learning program |
| JP2023076106A (en) * | 2021-11-22 | 2023-06-01 | Nttビジネスソリューションズ株式会社 | FOREIGN LANGUAGE LEARNING SUPPORT DEVICE, FOREIGN LANGUAGE LEARNING SUPPORT METHOD, AND COMPUTER PROGRAM |
| KR102678364B1 (en) * | 2024-02-02 | 2024-06-26 | 주식회사 공터영어 | Online based multi learning system |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6050575A (en) * | 1983-08-30 | 1985-03-20 | カシオ計算機株式会社 | Electronic grammer learning machine |
| JPH03233671A (en) * | 1990-02-09 | 1991-10-17 | Toshiba Corp | Sentence editing method and sentence generating device using this method |
| JP2002341735A (en) * | 2001-05-16 | 2002-11-29 | Alice Factory:Kk | Broadband digital learning system |
| JP3964159B2 (en) * | 2001-06-25 | 2007-08-22 | 株式会社ノヴァ | Education service system using communication line and education service providing method |
| JP3975899B2 (en) * | 2002-11-28 | 2007-09-12 | カシオ計算機株式会社 | Electronic device and program having sound reproduction function |
| US8272874B2 (en) * | 2004-11-22 | 2012-09-25 | Bravobrava L.L.C. | System and method for assisting language learning |
| JP2010282058A (en) * | 2009-06-05 | 2010-12-16 | Tokyobay Communication Co Ltd | Foreign language learning assistance method and apparatus |
| JP2013246283A (en) * | 2012-05-25 | 2013-12-09 | Nec Casio Mobile Communications Ltd | Information distribution system, server, communication terminal, information distribution method and program |
| JP5254487B1 (en) * | 2012-11-19 | 2013-08-07 | プラト株式会社 | Portable information terminal, shadow voice management method, and computer program |
-
2015
- 2015-05-29 JP JP2015110853A patent/JP6656529B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016224283A (en) | 2016-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Siegel et al. | Getting to the bottom of L2 listening instruction: Making a case for bottom-up activities | |
| JP2018180299A (en) | Word acquisition training system | |
| Cowie | Student transcription for reflective language learning | |
| KR101822026B1 (en) | Language Study System Based on Character Avatar | |
| Gürbüz | Understanding fluency and disfluency in non-native speakers' conversational English | |
| Ockey et al. | Evaluating technology-mediated second language oral communication assessment delivery models | |
| JP6656529B2 (en) | Foreign language conversation training system | |
| May et al. | Bottom-up, top-down and interactive processing in listening comprehension | |
| Hayrapetyan | Teaching listening: Problems and solutions | |
| JP2020038371A (en) | Computer program, pronunciation learning support method and pronunciation learning support device | |
| KR20150126176A (en) | A word study system using infinity mnemotechniques and method of the same | |
| Ismailia et al. | Implementing a video project for assessing students’ speaking skills: A case study in a non-English department context | |
| Havrylenko | ESP Listening in Online Learning to University Students | |
| Walker et al. | Teaching English pronunciation for a global world | |
| Akapo et al. | Use of technology to enhance the teaching of listening skill | |
| KR20140087956A (en) | Apparatus and method for learning phonics by using native speaker's pronunciation data and word and sentence and image data | |
| Asmar et al. | Listening media” application in preparing listening material | |
| KR101681673B1 (en) | English trainning method and system based on sound classification in internet | |
| Al-Otaibi | The Effectiveness of Using Multimedia in Developing the English Language Listening Skills of Intermediate Female Students | |
| Shukla | Development of a human-AI teaming based mobile language learning solution for dual language learners in early and special educations | |
| Al-Jarf | Online Videos and Podcasts for Language learning in the Saudi Context: A Systematic Review (2010-2025) | |
| Angkasa et al. | Effective strategies for teaching listening comprehension in EFL contexts: A systematic review | |
| Madarbakus | Using metacognitive strategy instruction in a TED Talks-based L2 listening programme | |
| Boglarka et al. | Listening development strategies in and out of EFL instructional settings | |
| KR20140073768A (en) | Apparatus and method for language education using meaning unit and pronunciation data of native speakers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6656529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |