JP3986015B2 - 音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラム - Google Patents
音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラム Download PDFInfo
- Publication number
- JP3986015B2 JP3986015B2 JP2003017623A JP2003017623A JP3986015B2 JP 3986015 B2 JP3986015 B2 JP 3986015B2 JP 2003017623 A JP2003017623 A JP 2003017623A JP 2003017623 A JP2003017623 A JP 2003017623A JP 3986015 B2 JP3986015 B2 JP 3986015B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- terminal
- text data
- correction
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、音声認識誤りを修正する音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラムに関するものである。
【０００２】
【従来の技術】
従来、音声認識技術を用いた音声認識誤り修正装置には、音声字幕化装置や文字データ修正装置がある（特許文献１、特許文献２を参照）。
前者は、音声認識結果をリアルタイムで字幕化するために、音声認識誤りを修正する際に、音声認識に供された話者の音声の提示と、音声認識結果であるテキストデータの提示とのタイミングの適正化によって、音声認識誤りの修正作業の効率化を図ったものである。
後者は、音声認識結果をリアルタイムで字幕化するために、テキストデータ出力装置（音声認識装置）から出力されたテキストデータ（音声認識結果）の音声認識誤りを見つけて選択する指摘端末（ポインティング用端末装置）と、この音声認識の誤りを修正して置き換える修正端末（修正用端末装置）とにそれぞれ役割を分担することによって、音声認識結果の誤りの修正作業の効率化を図ったものである。
【０００３】
【特許文献１】
特開２００１−１４２４８２号公報（段落番号００１８〜００４３、第１図）
【特許文献２】
特開２００１−６０１９２号公報（段落番号００２３〜００４３、第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の音声認識誤り修正装置では、音声認識の誤りを発見する発見オペレータ（以下、発見者という）と、その誤りを修正する修正オペレータ（以下、修正者という）とに作業の役割が分担されて音声認識結果の誤りが修正されるため、発見者と修正者の作業内容が異なることから生ずる次のような弊害があった。
【０００５】
１．発見者と修正者の人数の均衡を考慮しなければならず、人員配置などの人事労務管理の点で不都合が生じること。
２．発見者と修正者に対して各々別々に教育訓練をする必要があること。
３．音声認識誤り修正装置を用いて、音声認識結果の誤りを修正する際に、常に発見者と修正者が対で作業を行う必要があるため、同時に、かつ、同一箇所での作業をせざるを得ず、作業効率が良くないこと。
また、作業場所の制約も生じることなどの問題があった。
【０００６】
そこで、本発明はこのような問題を解決するために、発見者と修正者の人数の均衡を考慮することなく、また、別々に教育訓練をする必要がなく作業場所の制約も最小限にして、効率よく誤り修正作業をすることができる音声認識誤り修正装置、その方法およびそのプログラムを提供することを目的としたものである。
【０００７】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正装置であって、前記音声データおよび前記テキストデータを前記端末に提示する提示手段と、この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段と、このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段と、前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段と、を備えることを特徴とする。
【０００８】
かかる構成によれば、音声認識装置から出力された音声データおよびテキストデータを受信して複数の修正端末に提示される。そして、これら端末から音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータが受信され、テキストデータ保護手段によって、この指摘データを送信した指摘データ送信端末以外の端末は当該指摘データ送信端末による修正が完了するまでの間、音声認識誤りを指摘することができない。つまり、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされ、指摘データ送信端末から送信された修正テキストデータが受信され、テキストデータが修正される。そして出力手段により最新の修正情報が逐次各端末に送信されて通知され、修正作業が続行される。
なお、端末を使用する修正者が、誤って正しい音声認識結果であるテキストデータを修正文字範囲として指摘してしまった場合には、例えば、削除キーを選択するなどの方法により、当該修正文字範囲の指定操作結果を操作前の状態に戻すことができる。
【０００９】
請求項２に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記複数の端末は、ネットワークを介して前記音声認識誤り修正装置と接続されることを特徴とする。
【００１０】
かかる構成によれば、音声認識誤り修正装置は、ネットワークで接続される各端末により操作される。そのため、各端末の設置場所、すなわち、修正作業場の設定に柔軟に対応することができる。
【００１１】
請求項３に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記提示手段は、前記指摘データに含まれる文字について、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字の属性の変更を行うことによって、前記指摘データ送信端末以外の端末にも当該文字属性の変更を提示する指摘文字属性変更機能と、前記指摘データ送信端末によって指摘データを修正中である場合に、修正中の前記指摘データの文字属性を前記指摘文字属性変更機能で変更した文字属性とは異なる文字属性とする修正文字属性変更機能と、を備えることを特徴とする。
【００１２】
かかる構成によれば、指摘文字属性変更機能によって、音声認識結果であるテキストデータのうち音声認識誤り部分を指摘した文字の属性が変更され、当該音声認識誤りを指摘した指摘データ送信端末以外の端末に対しても、この変更された文字属性のテキストデータが提示される。そして、修正文字属性変更機能によって、修正作業をしている文字の属性が音声認識誤りの文字の指摘時に変更された文字属性以外の文字属性に変更され、修正作業中の端末以外の端末に対しても、この変更された文字属性のテキストデータが提示される。
【００１３】
請求項４に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記提示手段は、前記音声認識結果であるテキストデータに係る品詞のうち少なくとも助詞について、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字の属性を変更する文字品詞属性変更機能を備えることを特徴とする。
【００１４】
かかる構成によれば、文字属性変更機能によって、音声認識結果であるテキストデータの品詞のうち少なくとも助詞について前記した文字属性が変更されるため、特に音声認識誤りの発生頻度の高い助詞についての注意の喚起を促すことができる。
【００１５】
請求項５に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記提示手段は、前記端末に提示している前記音声認識結果であるテキストデータに係る文字列の表示領域の表示幅と背景色との少なくとも一方を任意に設定できる表示領域設定機能を備えることを特徴とする。
【００１６】
かかる構成によれば、表示領域設定機能によって、音声認識結果であるテキストデータの表示領域について、端末の使用者からの要望に基づいて、表示幅と背景色との少なくとも一方を設定（変更）すれば、当該テキストデータの表示領域が見易くなり、表示画面の見易さが向上される。
【００１７】
請求項６に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記提示手段は、前記端末に提示している前記音声認識結果であるテキストデータ中に不要文字を挿入する不要文字挿入機能を備えることを特徴とする。
【００１８】
かかる構成によれば、不要文字挿入機能によって、音声認識結果であるテキストデータ中に不要文字が挿入されるため、端末を使用する修正者は、この不要文字を削除する作業が必要となり、端末に提示されるテキストデータの音声認識誤り率が低く、修正すべきテキストデータが少なく単調作業が継続する場合においても、修正作業に対する集中力の維持がなされる。
【００１９】
請求項７に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正方法であって、前記音声データおよび前記テキストデータを前記端末に提示する提示ステップと、この提示ステップによって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信ステップと、このデータ受信ステップで受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護ステップと、前記データ受信ステップで受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力ステップと、を含むことを特徴とする。
【００２０】
かかる音声認識誤り修正方法によれば、まず、提示ステップで音声認識装置から出力された音声データおよび音声認識結果であるテキストデータが前記した端末に提示される。続いてデータ受信ステップで、前記した提示ステップによって前記端末に提示されたテキストデータのうち音声認識誤りを前記端末の使用者によって指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータを受信する。そして、テキストデータ保護ステップで、当該指摘データに基づいて、前記した音声認識誤りのテキストデータを指摘データ送信端末以外の端末による指摘から当該指摘データ送信端末による修正作業が完了するまでの間、保護する。そして、データ受信ステップで受信した修正テキストデータに基づいて、音声認識誤りに係るテキストデータが修正される。つまり、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされ、指摘データ送信端末から送信された修正テキストデータが受信され、テキストデータが修正される。次に出力ステップで、当該修正されたテキストデータが最新の修正情報として逐次各端末に送信し、修正作業が続行される。
【００２１】
請求項８に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正装置を、前記音声データおよび前記テキストデータを前記端末に提示する提示手段、この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段、このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段、前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段、として機能させることを特徴とする。
【００２２】
かかる音声認識誤り修正プログラムによれば、音声認識誤り修正装置としての機能を生じさせて、このプログラムの処理手順に従って実行させることができるので、音声認識装置から出力された音声データおよびテキストデータを受信して複数の修正端末に提示され、これら端末を使用する使用者が音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正データを受信し、テキストデータ保護手段が、この指摘データに基づいて、当該指摘データを送信した端末以外の端末について、当該指摘データ送信端末による修正作業が完了するまでの間、音声認識誤りを指摘することを不可能とする。このことによって、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされる。そして、受信された指摘データ送信端末から送信された修正テキストデータに基づいて、テキストデータが修正されて最新の修正情報として逐次各端末に送信され、修正作業が続行される。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
（音声認識誤り修正システムの概略）
まず、図１を参照しながら、音声認識誤り修正システムの概略について説明する。
図１は、本発明の一実施形態に係る音声認識誤り修正システムの構成を示す概略図である。
【００２４】
本発明の一実施形態に係る音声認識誤り修正システムは、発声者が発声した音声を音声認識装置２によって音声認識した結果であるテキストデータおよび音声認識の対象となった音声データを、ネットワークを介して接続されている各修正端末４１に提示し、これら修正端末４１によって修正された修正テキストデータを統合する音声認識誤り修正装置１と、当該音声認識結果であるテキストデータから修正文字範囲を指摘して正確な文字に修正する修正端末４１により構成されている。
なお、本実施の形態では、修正端末４１が特許請求の範囲に記載の端末に相当する。
【００２５】
また、本実施の形態においては、音声認識誤り修正装置１の修正対象となるテキストデータを出力する装置として音声認識装置２を例とするが、テキストデータを出力する装置であれば、ワードプロセッサ機能や音声認識機能を搭載したパーソナルコンピュータ等であってもよい。
【００２６】
本実施の形態では、当該テキストデータを音声認識誤り修正装置１に接続されている修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）によって修正テキストデータに修正し、当該修正テキストデータを音声認識誤り修正装置１が受信して音声認識誤り修正装置１上の当該テキストデータを、修正して統合した修正統合テキストデータをリアルタイムで出力する（ここまでが音声認識誤り修正システムの動作）。
そして、この修正統合テキストデータを、字幕送出装置４３を利用して、放送通信網（放送波ＥＷ）を介して、テレビジョン４５またはテレビジョン４５としての機能を搭載したパーソナルコンピュータ等へ文字放送として放送する場合を例として説明する。
【００２７】
以下、この実施の形態では、当該音声認識誤り修正装置１から送信されたテキストデータに含まれる音声認識誤りを指摘した指摘データ（詳細は後記）を当該音声認識誤り修正装置１に送信した、この修正端末４１を指摘データ送信端末４１と表記することとする。
【００２８】
（音声認識誤り修正装置の構成）
次に、図１、図２を参照しながら音声認識誤り修正装置１の構成について説明する。
図２は、本発明の一実施形態に係る音声認識誤り修正装置１の構成を示すブロック構成図である。
音声認識誤り修正装置１は、図１に示すように、テキストデータ修正部１３と、音声再生部３を備え、修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）とネットワークを介して接続されている。
【００２９】
テキストデータ修正部１３は、図２に示すように、文字データ受信部１５、修正情報受信部１７、修正端末動作判定部１９、文字提示速度可変部２１、文字属性変更部２３、文字属性情報送信部２５、表示領域設定部２７、不要文字挿入部２９、提示情報送信部３１、テキストデータ保護部３３、文字列統合部３５、画面表示情報送信部３７および字幕出力構成部３９により構成されている。
【００３０】
なお、本実施の形態では、文字データ受信部１５および修正情報受信部１７が特許請求の範囲に記載のデータ受信手段に相当し、文字提示速度可変部２１および文字属性変更部２３が特許請求の範囲に記載の提示手段に相当し、テキストデータ保護部３３が特許請求の範囲に記載のテキストデータ保護手段に相当し、文字属性情報送信部２５および提示情報送信部３１が特許請求の範囲に記載の出力手段に相当し、表示領域設定部２７が特許請求の範囲に記載の表示領域設定機能に相当し、不要文字挿入部２９が特許請求の範囲に記載の不要文字挿入機能に相当するものである。
【００３１】
文字データ受信部１５は、音声認識装置２（図１参照）の音声認識結果であるテキストデータを受信するものである。
修正情報受信部１７は、修正端末１５から修正テキストＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、修正端末ＩＤ、制御情報および音声認識装置２の音声認識誤りを修正端末４１によって正確なテキストデータに修正された修正テキストデータを受信するものである。
【００３２】
なお、「修正テキストＩＤ」とは、修正端末４１が修正作業に入る際に音声認識結果であるテキストデータの誤り部分を指摘した修正文字範囲を識別するための識別記号（指摘データ。後記する）のことである。「修正端末ＩＤ」とは、修正端末１５が修正作業に入る際に音声認識結果であるテキストデータの誤り部分である修正文字範囲を指摘した修正端末４１を識別するための識別記号のことである。「制御情報」とは、修正端末４１から修正情報受信部１７によって受信され、修正端末４１へのテキストデータの提示動作について、その再生速度または停止に関する制御命令の基準となる情報と、修正端末４１への音声データの提示動作について、その再生速度または停止に関する制御命令の基準となる情報とのことである。
【００３３】
修正端末動作判定部１９は、修正情報受信部１７から受信した修正端末ＩＤおよび制御情報を文字提示速度可変部２１（詳細は後記する）へ送出する機能と、音声データの修正端末４１への提示タイミングの基準となる文字提示タイミング情報および制御情報を音声提示速度可変部１１（詳細は後記する）へ送出する機能とを有するものである。また、修正端末４１へのテキストデータまたは音声データの提示を一時停止した場合において、その一時停止における遅延分を判定し、テキストデータまたは音声データの修正端末４１への高速提示命令を行うものである。さらに、全ての修正端末４１が修正作業に入ると、修正端末４１へのテキストデータおよび音声データの提示の一時停止命令を文字提示速度可変部２１（後記する）および音声提示速度可変部１１（後記する）へ送信するものである。
【００３４】
なお、「文字提示タイミング情報」とは、修正文字範囲のテキストデータを正しい文字に修正する作業を支援するための音声データを修正端末４１へ提示するタイミングとなる基準情報のことである。この文字提示タイミング情報によって音声提示速度可変部１１（後記する）は、修正端末４１への音声データの提示のタイミングを制御するものである。
【００３５】
文字提示速度可変部２１は、修正端末動作判定部１９から受信した修正端末ＩＤおよび制御情報に基づいて、テキストデータの修正端末４１への提示動作について、その再生速度または停止に関する制御命令を修正端末ＩＤに係る修正端末４１へ送信するものである。また、全ての修正端末４１が修正作業に着手した場合において、修正端末４１へのテキストデータの提示の一時停止命令を修正端末動作判定部１９から受信して、全ての修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）へ当該命令を送信するものである。
【００３６】
文字属性変更部２３は、指摘文字属性変更部２３ａと、修正文字属性変更部２３ｂと、文字品詞属性変更部２３ｃとを備えている。
なお、本実施の形態では、指摘文字属性変更部２３ａが特許請求の範囲に記載の指摘文字属性変更機能に相当し、修正文字属性変更部２３ｂが特許請求の範囲に記載の修正文字属性変更機能に相当し、文字品詞属性変更部２３ｃが特許請求の範囲に記載の文字品詞属性変更機能に相当する。
【００３７】
指摘文字属性変更部２３ａは、修正端末４１によって音声認識誤りを指摘したテキストデータである修正文字範囲を指摘した際に修正端末４１から修正情報受信部１７へ送信する修正テキストＩＤに係る修正文字範囲の文字に関して、修正端末４１から修正情報受信部１７によって受信した修正テキストデータについて、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字属性の変更を行うものである。また、当該指摘データ（修正テキストＩＤ）を送信した修正端末４１（指摘データ送信端末４１）以外の修正端末４１に、当該修正文字範囲の文字属性が変更された修正テキストデータを提示することによって、当該指摘データに係る指摘状況を当該修正端末４１（指摘データ送信端末４１）以外の修正端末からも確認可能となる。
【００３８】
なお、「指摘データ」とは、指摘データ送信端末４１によって指摘した修正文字範囲または当該指摘データ送信端末４１を示すデータをいい、具体的には、前記した修正テキストＩＤまたは修正端末ＩＤを示す。この修正テキストＩＤを送信した指摘データ送信端末４１は、前記した修正端末ＩＤを修正情報受信部１７へ送信する。
また、文字属性の変更には、例えば、字体を斜体、ボールド（ｂｏｌｄ）、影付け、立体文字、袋文字等に変更したり、文字に網掛け、飾り網点等の模様を付けたり、その他、下線、文字囲み等の文字修飾を含むものである。
【００３９】
修正文字属性変更部２３ｂは、修正文字範囲を修正中の文字について、指摘文字属性変更部２３ａで修正文字範囲の文字属性を変更した文字属性以外の文字属性に変更するものである。また、当該修正文字範囲を修正中の端末４１（修正文字範囲のテキストデータを修正中の指摘データ送信端末４１）以外の修正端末４１に当該修正文字範囲の修正中の文字の文字属性が変更された修正テキストデータが提示されることによって、当該指摘データに係る修正状況を修正中の端末４１以外の修正端末４１からも確認可能となる。
なお、文字属性の変更については、指摘文字属性変更部２３ａでの説明と同様なので、その説明を省略する。
【００４０】
文字品詞属性変更部２３ｃは、文字データ受信部１５から送出されたテキストデータ中の文字列の品詞のうち少なくとも助詞について、図４に示すように、文字の表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字属性を変更して修正端末４１（指摘データ送信端末４１）から修正情報受信部１７よって受信した修正テキストデータを変更するものである。特に助詞は発現頻度が高く、修正者による音声認識誤りの発見を看過することが非常に多いため、助詞の文字属性を変化させ、修正者に特に助詞の音声認識誤りの発見について注意の喚起を行うものである。助詞の文字表示を大きくする文字属性の変更は、ポインティングデバイスとしてタッチパネルを使用する場合に、助詞の音声認識誤りの発見の精度を高め、また、タッチパネル上で指摘（選択）し易くなるため特に有効である。
【００４１】
なお、図示していない制御部によって、テキストデータ中の文字列の品詞のうち少なくとも助詞について、予め文字属性の変更後に修正端末４１へテキストデータを送信するように初期設定することもできる。
なお、文字属性の変更については、指摘文字属性変更部２３ａでの説明と同様なので、その説明を省略する。
【００４２】
図２に戻って説明を続ける。
文字属性情報送信部２５は、前記した指摘文字属性変更部２３ａ、修正文字属性変更部２３ｂ、文字品詞属性変更部２３ｃによって、変更された文字属性の情報である文字属性情報を各修正端末４１へ送信するものである。
【００４３】
表示領域設定部２７は、表示画面の見易さを向上させるため、図５の（ａ）に示すように、修正端末４１に提示している音声認識結果であるテキストデータの表示領域ＡＲの表示幅と背景色との少なくとも一方を任意に設定可能とするものである。
【００４４】
再び図２に戻って説明を続ける。
不要文字挿入部２９は、修正端末４１に提示している音声認識結果であるテキストデータ中に不要文字を挿入するものである。図５の（ｂ）では、不要文字としてアスタリスクマーク「＊」をテキストデータ中に挿入した例を示している。音声認識率が高く、音声認識誤りが少ない場合、修正作業は音声認識誤りを発見するための単調な作業となる。その結果、修正者の修正作業に対する集中力の低下、修正作業の精度の低下を招く。そこでそれを防止するために、音声認識結果であるテキストデータに不要文字を挿入し、修正者に当該不要文字の削除作業をしてもらうことによって集中力を持続させるものである。
【００４５】
再び図２に戻って説明を続ける。
提示情報送信部３１は、表示領域設定部２７による表示領域設定情報、不要文字挿入部２９による不要文字挿入情報を修正端末４１へ送信するものである。
テキストデータ保護部３３は、修正ガード端末判定部３３ａ、修正ガードテキスト判定部３３ｂを備えている。
【００４６】
テキストデータ保護部３３は、修正情報受信部１７で受信した指摘データ（修正テキストＩＤ、修正端末ＩＤ）に基づいて、音声認識誤りのテキストデータを、当該指摘データを送信した指摘データ送信端末４１以外の修正端末４１による指摘から当該指摘データ送信端末４１による修正作業が完了するまでの間、保護するものである。
【００４７】
図３を参照しながら、テキストデータ保護部３３によるテキストデータの保護がどのように実現されるかについて、その一例を説明する。図３には、音声認識結果のテキストデータである「当時多発テロ事件」のテキストデータが、修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃに提示されている。この場合、テキストデータ「当時」の部分（修正文字範囲）が音声認識誤りに相当するが、修正端末４１Ａの修正者が最も早くこの音声認識誤りを発見して指摘したときは、他の修正端末４１の修正者、すなわち、修正端末４１Ｂの修正者および修正端末４１Ｃの修正者が、修正文字範囲「当時」の部分と同一箇所（「当時」）については、指摘することができないようにガードされる。
【００４８】
この際、修正端末４１Ｂの修正者および修正端末４１Ｃの修正者は、同一箇所以外の部分については指摘可能である。また、同一箇所であっても修正端末４１Ａの修正者が当該修正作業を終了した後は、修正端末４１Ｂの修正者および修正端末４１Ｃの修正者は、当該同一箇所であった箇所（「当時」）について指摘し、修正作業を行うことができるものである。
【００４９】
次に、再び図２に戻って、テキストデータ保護部３３の構成要素について説明する。
修正ガード端末判定部３３ａは、修正情報受信部１７から送出された修正端末ＩＤ（修正端末４１が修正作業に入る際に音声認識結果であるテキストデータの誤り部分である修正文字範囲を指摘した修正端末４１を識別するための識別記号）を受信して、修正文字範囲（「当時」）を指摘した修正端末４１（修正端末４１Ａ）を識別し、その識別した情報を修正ガード端末情報として、修正端末４１（修正端末４１Ｂおよび修正端末４１Ｃ）へ送信するものである。
【００５０】
修正ガードテキスト判定部３３ｂは、修正情報受信部１７から送出された修正テキストＩＤ（修正端末１５が修正作業に入る際に音声認識結果であるテキストデータの誤り部分を指摘した修正文字範囲を識別するための識別記号）を受信して、修正端末４１（修正端末４１Ａ）によって指摘された修正文字範囲（「当時」）を識別し、その識別した情報を修正ガードテキスト情報として、修正端末４１（修正端末４１Ｂおよび修正端末４１Ｃ）へ送信するものである。
【００５１】
続いて文字列統合部３５に関して説明する。
文字列統合部３５は、修正情報受信部１７によって受信した各修正端末４１による修正テキストデータを修正テキストＩＤに基づいて、１つの統一された文章に統合するものである。この文字列統合部３５によって統合された修正テキスト統合データは、逐次各修正端末４１にフィードバックされ、常に最新の修正情報（修正統合テキストデータ）が反映される。また、この修正統合テキストデータは、字幕送出装置４３（図１参照）によって、字幕放送用のデータとして利用される。
【００５２】
画面表示情報送信部３７は、文字列統合部３５によって、修正テキストデータが修正テキストＩＤに基づいて、１つの文章に統合された修正統合テキストデータを各修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）へ送信するものである。
【００５３】
字幕出力構成部３９は、文字列統合部３５によって、修正テキストデータが修正テキストＩＤに基づいて１つの文章に統合された修正統合テキストデータを文字放送として利用するために、修正統合テキストデータを字幕出力データとして、字幕送出装置４３（図１参照）へ送信するものである。
【００５４】
次に、音声再生部３について説明する。
音声再生部３は、音声受信部５、音声蓄積部７、音声データ送信部９、音声提示速度可変部１１から構成されている。
音声再生部３は、音声認識の対象となった音声データを再生するものである。
この音声データが文字提示タイミング情報に同期してネットワークを介して修正端末４１に送信され、修正端末４１に接続されているヘッドフォンで出力された音声と、音声認識結果であるテキストデータとを各修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）の修正者が比較照合することによって、修正者の修正作業が支援される。
【００５５】
音声受信部５は、音声認識の対象となった音声データを音声認識装置２（図１参照）から受信するものである。
音声蓄積部７は、音声受信部５で受信した音声認識の対象となった音声データを各修正端末４１へ提示するために一時的にまたは長期保存用に蓄積するものである。
一般に、一時記憶用には半導体メモリを利用した主記憶装置(メインメモリ)が利用され、長期保存用にはハードディスク、フレキシブルディスク、ＤＡＴ（Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ ｒｅｃｏｒｄｅｒ）などの外部記憶装置(補助記憶装置)が利用されている。
【００５６】
音声データ送信部９は、音声蓄積部７から音声データを受信して各修正端末４１に提示するために各修正端末４１へ送信するものである。
【００５７】
音声提示速度可変部１１は、音声認識装置２（図１参照）による音声認識の対象となった音声データの修正端末４１への提示動作について、修正端末動作判定部１９から受信した文字提示タイミング情報および制御情報に基づいて、その再生速度または停止に関する制御命令を修正端末４１へ送信するものである。また、全ての修正端末４１が修正作業に着手した場合において、修正端末４１への音声データの提示の一時停止命令を修正端末動作判定部１９から受信して、全ての修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）へ当該命令を、音声データ送信部９を介して送信するものである。
【００５８】
したがって、音声提示速度可変部１１は、音声認識装置２（図１参照）による音声認識の対象となった音声データを音声認識装置２（図１参照）の音声認識結果であるテキストデータと同時に（テキストデータの修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）への提示タイミングと同期して）各修正端末４１に提示させることもできるし、また、文字提示タイミング情報に同期して修正端末４１への音声データの提示に関して、一時停止させて遅く提示させることや、この一時停止による遅延を回復するための高速提示、繰り返し当該音声データの提示を行うリプレイ動作を行わせることもできるものである。
【００５９】
続いて、図１に戻って修正端末４１について説明する。
修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）は、音声認識誤り修正装置１を使用するための装置であり、ディスプレイ、キーボード、修正文字範囲を指定等するためのタッチパネル、音声データを出力するためのヘッドフォン、音声データの再生について、その高速化または一時停止若しくは再開の切替え信号を図示していない制御部に送出して、音声データの再生動作をコントロールするための足入力インターフェース（フットペダル）等を備え、一般にパーソナルコンピュータが利用されている。
【００６０】
なお、フットペダルは、音声データの再生停止を制御する足踏スイッチとＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）またはＲＳ２３２Ｃ等のインターフェースを備えており、これらのインターフェースを介してパーソナルコンピュータに接続している。このフットペダルは、足踏スイッチ（ペダル）の「踏込」または「放す」操作によって、スイッチＯＮ／ＯＦＦの切替操作を行うもので、記録テープに録音されている記録テープ内容（音声データ）の再生動作の制御をする際に利用されるものである。
【００６１】
また、音声認識誤り修正装置１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）接続されており、修正端末４１の設置場所に制約されず、任意にシステム設計が行えるものである。よって、遠隔地間での音声認識誤り修正作業も可能である。
【００６２】
また、ネットワークについては、前記したようにＬＡＮ、ＷＡＮなどその形態を問わないが、ネットワークケーブル、無線、赤外線等、その方式も問わない。しかし、通信パケット漏れなどの安全面や高速処理の観点からネットワークケーブルを使用することが好ましい。
さらにまた、音声認識誤り修正装置１によって、修正者（修正端末４１）を複数設定でき、かつ、修正文字範囲の指摘および修正作業を修正者１人単位で行うことができるものである。
【００６３】
（音声認識誤り修正システムの動作）
次に、図６（適宜図２参照）のシーケンシャルチャートを参照しながら音声認識誤り修正システムの動作の一例について説明する。
まず、発話者の発声により生じた音声を音声認識装置２（図１参照）が音声認識を行い、その音声認識の結果であるテキストデータをテキストデータ修正部１３へ送信し、音声認識の対象となった音声データを音声再生部３へ送信する（Ａ１）。
【００６４】
なお、ここでは、発話者が「こんにちは、お昼のニュースです。」と発声し、この音声について、音声認識装置２が誤った音声認識結果として「こんにちは、御ひるのニュースです」のテキストデータを音声認識誤り修正装置１（テキストデータ修正部１３および音声再生部３）へ送信する場合を例に説明する。
【００６５】
次に、当該音声データを受信した音声認識誤り修正装置１のテキストデータ修正部１３は、当該テキストデータ「こんにちは、御ひるのニュースです」を修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃへ送信すると同時に、音声再生部３へ文字提示タイミング情報および制御情報を送出する（Ｂ１）。これを受けた音声再生部３は、音声認識の対象となった音声データ「こんにちは、お昼のニュースです」を当該文字提示タイミング情報および制御情報に基づいて（例えば、音声認識の結果であるテキストデータの修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃへの提示と同時に）、修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃへ送信する（Ｂ２）。
【００６６】
当該テキストデータ「こんにちは、御ひるのニュースです」および当該音声データ「こんにちは、お昼のニュースです」を受信した各修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）は、修正端末４１の修正者によって、音声認識の誤り部分の文字「御ひる」（修正文字範囲）がタッチパネルをタッチすることにより指摘され、キーボードで正確な文字「お昼」への修正作業が行われる。
【００６７】
このとき、例えば、修正端末４１Ａの修正者が最も早く音声認識誤り部分の文字「御ひる」を指摘した場合（Ｃ１）、指摘データ（修正テキストＩＤ、修正端末ＩＤ）が、修正端末４１Ａからテキストデータ修正部１３へ送信され（Ｃ２）、これを受信したテキストデータ修正部１３は、修正端末４１Ｂおよび修正端末４１Ｃへ修正ガード端末情報および修正ガードテキスト情報を送信する（Ｂ３）。そして、これを受信した修正端末４１Ｂおよび修正端末４１Ｃは、修正端末４１Ａの修正作業中は修正作業を行うことができず、修正端末４１Ａのみが優先的に修正作業が可能となる。
【００６８】
なお、修正端末４１Ａの修正者が修正作業を行う際に、音声再生部３から送出された音声データ「こんにちは、お昼のニュースです」を修正者がヘッドフォンで聴取し、修正端末１５Ａに提示されているテキストデータ「こんにちは、御ひるのニュースです」と比較照合することによって修正精度を高め、修正作業が行われる。
【００６９】
そして、修正端末４１Ａは、修正結果である修正テキストデータ「お昼」をテキストデータ修正部１３へ送信し（Ｃ３）、これを受信したテキストデータ修正部１３は、修正テキストデータ「お昼」を１つの文章に統合した修正統合テキストデータ「こんにちは、お昼のニュースです」を作成し、当該修正統合テキストデータが逐次、修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃへ送信され最新の修正情報が全ての端末（本実施の形態の一例としては修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃ）に反映され、修正作業が行われる（Ｂ４）。
【００７０】
次に、修正テキストデータの有無が判断され（Ｂ５）、修正テキストデータがある場合（Ｂ５、ＹＥＳ）は、当該修正テキストデータを修正統合テキストデータに統合して当該修正統合テキストデータが正しいテキストデータとして確定される（Ｂ６）。そして、テキストデータ修正部１３から字幕送出装置４３へ当該修正統合テキストデータ「こんにちは、お昼のニュースです」が送信される（Ｂ７）。
【００７１】
修正テキストデータがない場合（Ｂ５、ＮＯ）は、例えば、各修正端末４１へテキストデータを送信後、1分間を経過しているか否かを判断（Ｂ８）し、経過している場合（Ｂ８、ＹＥＳ）はＢ６へすすみ修正統合テキストデータが確定され、経過していない場合（Ｂ８、ＮＯ）はＢ５へ戻る。
なお、このフローチャートに示していないが、音声認識結果であるテキストデータの提示がある間、音声認識誤り修正システムとして、Ａ１からＢ７までのステップが繰り返され、このテキストデータがなくなった時点で音声認識誤り修正システムの動作が終了する。
【００７２】
また、本実施の形態の一例として、Ｂ７で送信された修正統合テキストデータを受信した字幕送出装置４３から当該修正統合テキストデータをテレビジョン４５へ放送波ＥＷ（図１参照）を介して送信され（Ｄ１）、テレビジョン４５によって、「こんにちは、お昼のニュースです」の字幕付きの文字放送として受信される（Ｅ１）場合の一例をこのフローチャートに図示（図６の左下に示す破線より内側部分）しておく。
【００７３】
なお、Ｂ６における修正統合テキストデータの確定にあたっては、テキストデータ修正部１３が、最も遅く修正テキストデータを送信した修正端末４１から修正テキストデータを受信した後に修正テキストデータを統合し、この修正統合テキストデータを作成した時点をもって確定することもできる。
【００７４】
以上、本発明の実施の形態について説明したが、本発明は、前記した実施の形態に限定されることなく、様々な形態で実施可能である。
また、音声認識誤り修正方法と、このような音声認識誤り修正方法を音声認識誤り修正装置１に実現させる音声認識誤り修正プログラムと、音声認識誤り修正プログラムを記録した記録媒体も本発明の対象とするものである。
【００７５】
【発明の効果】
以上説明したように、本発明によれば以下の効果を奏する。
請求項１、７、８に記載の発明によれば、音声認識誤り修正装置に接続されている端末から音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータを受信する。そして、テキストデータ保護手段によって、この指摘データを送信した指摘データ送信端末以外の端末については、当該指摘データ送信端末による修正が完了するまでの間、音声認識誤りを指摘して修正作業をすることができないようにすることができる。
【００７６】
そのため、音声認識誤り部分である修正文字範囲の発見者と修正者とに修正作業を分担することなく、修正者一人単位で修正作業を行うことができる。そのため、修正作業の効率化を図ることができる。また、人員配置や人員確保など人事労務管理が容易となり、教育講習についても修正者単位でできるため、効率的に講習を行うことができる。そして省力化したシステム設計を行うことができる。
また、音声認識誤り部分の文字を最初に指摘した修正者（端末）に対して、優先的に修正作業を可能とすることにより、修正作業の効率化を実現することができる。
【００７７】
請求項２に記載の発明によれば、音声認識誤り修正装置と端末間をネットワークで接続することにより、作業場所について柔軟に対応することが可能となり、簡素化したシステム設計をすることができる。そのため、効率化した音声認識誤り修正システムの構築が実現できる。
【００７８】
請求項３および請求項４に記載の発明によれば、音声認識誤り部分（修正文字範囲）の文字について、その文字属性を変更して各端末に提示することにより、指摘作業または修正作業状況の明確化を図ることができる。そのため、修正作業を効率化することができる。
【００７９】
請求項５に記載の発明によれば、音声認識結果であるテキストデータの表示領域について、端末の使用者からの要望に基づいて、表示幅と背景色との少なくとも一方を設定することができるので、当該テキストデータの表示領域が見易くなる。そのため、表示画面の見易さを向上させることができる。
【００８０】
請求項６に記載の発明によれば、音声認識結果であるテキストデータ中に不要文字を挿入し、当該不要文字を修正者に削除してもらうことによって、音声認識誤りが少なく単調作業の傾向が強い場合においても、修正者の集中力を持続させることができる。そのため修正作業を高精度に維持することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る音声認識誤り修正システムの構成を示す概略図である。
【図２】本発明の一実施形態に係る音声認識誤り修正装置の構成を示すブロック構成図である。
【図３】本発明の一実施形態に係るテキストデータ修正部の誤りテキストデータ保護部の動作の一例を説明するための図である。
【図４】本発明の一実施形態に係るテキストデータ修正部の文字属性変更部の動作の一例を説明するための図である。
【図５】（ａ）本発明の一実施形態に係るテキストデータ修正部の不要文字挿入部の動作の一例を説明するための図である。
（ｂ）本発明の一実施形態に係るテキストデータ修正部の表示領域設定部の動作の一例を説明するための図である。
【図６】本発明の一実施形態に係る音声認識誤り修正装置の動作の一例を説明するためのシーケンシャルチャートである。
【符号の説明】
１ 音声認識誤り修正装置
２ 音声認識装置
３ 音声再生部
５ 音声受信部
７ 音声蓄積部
９ 音声データ送信部
１１ 音声提示速度可変部
１３ テキストデータ修正部
１５ 文字データ受信部（データ受信手段）
１７ 修正情報受信部（データ受信手段）
１９ 修正端末動作判定部
２１ 文字提示速度可変部（提示手段）
２３ 文字属性変更部（提示手段）
２３ａ 指定文字属性変更部（指摘文字属性変更機能）
２３ｂ 修正文字属性変更部（修正文字属性変更機能）
２３ｃ 文字品詞属性変更部(文字品詞属性変更機能)
２５ 文字属性情報送信部（出力手段）
２７ 表示領域設定部（表示領域設定機能）
２９ 不要文字挿入部（不要文字挿入機能）
３１ 提示情報送信部（出力手段）
３３ テキストデータ保護部（テキストデータ保護手段）
３３ａ 修正ガード端末判定部
３３ｂ 修正ガードテキスト判定部
３５ 文字列統合部
３７ 画面表示情報送信部（出力手段）
３９ 字幕出力構成部（出力手段）
４１（４１Ａ〜４１Ｃ） 修正端末、指摘データ送信端末（端末）
４３ 字幕送出装置
４５ テレビジョン
ＡＲ テキストデータの表示領域
ＡＦ 修正文字入力枠
【発明の属する技術分野】
本発明は、音声認識誤りを修正する音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラムに関するものである。
【０００２】
【従来の技術】
従来、音声認識技術を用いた音声認識誤り修正装置には、音声字幕化装置や文字データ修正装置がある（特許文献１、特許文献２を参照）。
前者は、音声認識結果をリアルタイムで字幕化するために、音声認識誤りを修正する際に、音声認識に供された話者の音声の提示と、音声認識結果であるテキストデータの提示とのタイミングの適正化によって、音声認識誤りの修正作業の効率化を図ったものである。
後者は、音声認識結果をリアルタイムで字幕化するために、テキストデータ出力装置（音声認識装置）から出力されたテキストデータ（音声認識結果）の音声認識誤りを見つけて選択する指摘端末（ポインティング用端末装置）と、この音声認識の誤りを修正して置き換える修正端末（修正用端末装置）とにそれぞれ役割を分担することによって、音声認識結果の誤りの修正作業の効率化を図ったものである。
【０００３】
【特許文献１】
特開２００１−１４２４８２号公報（段落番号００１８〜００４３、第１図）
【特許文献２】
特開２００１−６０１９２号公報（段落番号００２３〜００４３、第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の音声認識誤り修正装置では、音声認識の誤りを発見する発見オペレータ（以下、発見者という）と、その誤りを修正する修正オペレータ（以下、修正者という）とに作業の役割が分担されて音声認識結果の誤りが修正されるため、発見者と修正者の作業内容が異なることから生ずる次のような弊害があった。
【０００５】
１．発見者と修正者の人数の均衡を考慮しなければならず、人員配置などの人事労務管理の点で不都合が生じること。
２．発見者と修正者に対して各々別々に教育訓練をする必要があること。
３．音声認識誤り修正装置を用いて、音声認識結果の誤りを修正する際に、常に発見者と修正者が対で作業を行う必要があるため、同時に、かつ、同一箇所での作業をせざるを得ず、作業効率が良くないこと。
また、作業場所の制約も生じることなどの問題があった。
【０００６】
そこで、本発明はこのような問題を解決するために、発見者と修正者の人数の均衡を考慮することなく、また、別々に教育訓練をする必要がなく作業場所の制約も最小限にして、効率よく誤り修正作業をすることができる音声認識誤り修正装置、その方法およびそのプログラムを提供することを目的としたものである。
【０００７】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正装置であって、前記音声データおよび前記テキストデータを前記端末に提示する提示手段と、この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段と、このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段と、前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段と、を備えることを特徴とする。
【０００８】
かかる構成によれば、音声認識装置から出力された音声データおよびテキストデータを受信して複数の修正端末に提示される。そして、これら端末から音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータが受信され、テキストデータ保護手段によって、この指摘データを送信した指摘データ送信端末以外の端末は当該指摘データ送信端末による修正が完了するまでの間、音声認識誤りを指摘することができない。つまり、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされ、指摘データ送信端末から送信された修正テキストデータが受信され、テキストデータが修正される。そして出力手段により最新の修正情報が逐次各端末に送信されて通知され、修正作業が続行される。
なお、端末を使用する修正者が、誤って正しい音声認識結果であるテキストデータを修正文字範囲として指摘してしまった場合には、例えば、削除キーを選択するなどの方法により、当該修正文字範囲の指定操作結果を操作前の状態に戻すことができる。
【０００９】
請求項２に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記複数の端末は、ネットワークを介して前記音声認識誤り修正装置と接続されることを特徴とする。
【００１０】
かかる構成によれば、音声認識誤り修正装置は、ネットワークで接続される各端末により操作される。そのため、各端末の設置場所、すなわち、修正作業場の設定に柔軟に対応することができる。
【００１１】
請求項３に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記提示手段は、前記指摘データに含まれる文字について、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字の属性の変更を行うことによって、前記指摘データ送信端末以外の端末にも当該文字属性の変更を提示する指摘文字属性変更機能と、前記指摘データ送信端末によって指摘データを修正中である場合に、修正中の前記指摘データの文字属性を前記指摘文字属性変更機能で変更した文字属性とは異なる文字属性とする修正文字属性変更機能と、を備えることを特徴とする。
【００１２】
かかる構成によれば、指摘文字属性変更機能によって、音声認識結果であるテキストデータのうち音声認識誤り部分を指摘した文字の属性が変更され、当該音声認識誤りを指摘した指摘データ送信端末以外の端末に対しても、この変更された文字属性のテキストデータが提示される。そして、修正文字属性変更機能によって、修正作業をしている文字の属性が音声認識誤りの文字の指摘時に変更された文字属性以外の文字属性に変更され、修正作業中の端末以外の端末に対しても、この変更された文字属性のテキストデータが提示される。
【００１３】
請求項４に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記提示手段は、前記音声認識結果であるテキストデータに係る品詞のうち少なくとも助詞について、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字の属性を変更する文字品詞属性変更機能を備えることを特徴とする。
【００１４】
かかる構成によれば、文字属性変更機能によって、音声認識結果であるテキストデータの品詞のうち少なくとも助詞について前記した文字属性が変更されるため、特に音声認識誤りの発生頻度の高い助詞についての注意の喚起を促すことができる。
【００１５】
請求項５に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記提示手段は、前記端末に提示している前記音声認識結果であるテキストデータに係る文字列の表示領域の表示幅と背景色との少なくとも一方を任意に設定できる表示領域設定機能を備えることを特徴とする。
【００１６】
かかる構成によれば、表示領域設定機能によって、音声認識結果であるテキストデータの表示領域について、端末の使用者からの要望に基づいて、表示幅と背景色との少なくとも一方を設定（変更）すれば、当該テキストデータの表示領域が見易くなり、表示画面の見易さが向上される。
【００１７】
請求項６に記載の発明は、請求項1または請求項２に記載の音声認識誤り修正装置において、前記提示手段は、前記端末に提示している前記音声認識結果であるテキストデータ中に不要文字を挿入する不要文字挿入機能を備えることを特徴とする。
【００１８】
かかる構成によれば、不要文字挿入機能によって、音声認識結果であるテキストデータ中に不要文字が挿入されるため、端末を使用する修正者は、この不要文字を削除する作業が必要となり、端末に提示されるテキストデータの音声認識誤り率が低く、修正すべきテキストデータが少なく単調作業が継続する場合においても、修正作業に対する集中力の維持がなされる。
【００１９】
請求項７に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正方法であって、前記音声データおよび前記テキストデータを前記端末に提示する提示ステップと、この提示ステップによって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信ステップと、このデータ受信ステップで受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護ステップと、前記データ受信ステップで受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力ステップと、を含むことを特徴とする。
【００２０】
かかる音声認識誤り修正方法によれば、まず、提示ステップで音声認識装置から出力された音声データおよび音声認識結果であるテキストデータが前記した端末に提示される。続いてデータ受信ステップで、前記した提示ステップによって前記端末に提示されたテキストデータのうち音声認識誤りを前記端末の使用者によって指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータを受信する。そして、テキストデータ保護ステップで、当該指摘データに基づいて、前記した音声認識誤りのテキストデータを指摘データ送信端末以外の端末による指摘から当該指摘データ送信端末による修正作業が完了するまでの間、保護する。そして、データ受信ステップで受信した修正テキストデータに基づいて、音声認識誤りに係るテキストデータが修正される。つまり、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされ、指摘データ送信端末から送信された修正テキストデータが受信され、テキストデータが修正される。次に出力ステップで、当該修正されたテキストデータが最新の修正情報として逐次各端末に送信し、修正作業が続行される。
【００２１】
請求項８に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正装置を、前記音声データおよび前記テキストデータを前記端末に提示する提示手段、この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段、このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段、前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段、として機能させることを特徴とする。
【００２２】
かかる音声認識誤り修正プログラムによれば、音声認識誤り修正装置としての機能を生じさせて、このプログラムの処理手順に従って実行させることができるので、音声認識装置から出力された音声データおよびテキストデータを受信して複数の修正端末に提示され、これら端末を使用する使用者が音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正データを受信し、テキストデータ保護手段が、この指摘データに基づいて、当該指摘データを送信した端末以外の端末について、当該指摘データ送信端末による修正作業が完了するまでの間、音声認識誤りを指摘することを不可能とする。このことによって、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされる。そして、受信された指摘データ送信端末から送信された修正テキストデータに基づいて、テキストデータが修正されて最新の修正情報として逐次各端末に送信され、修正作業が続行される。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
（音声認識誤り修正システムの概略）
まず、図１を参照しながら、音声認識誤り修正システムの概略について説明する。
図１は、本発明の一実施形態に係る音声認識誤り修正システムの構成を示す概略図である。
【００２４】
本発明の一実施形態に係る音声認識誤り修正システムは、発声者が発声した音声を音声認識装置２によって音声認識した結果であるテキストデータおよび音声認識の対象となった音声データを、ネットワークを介して接続されている各修正端末４１に提示し、これら修正端末４１によって修正された修正テキストデータを統合する音声認識誤り修正装置１と、当該音声認識結果であるテキストデータから修正文字範囲を指摘して正確な文字に修正する修正端末４１により構成されている。
なお、本実施の形態では、修正端末４１が特許請求の範囲に記載の端末に相当する。
【００２５】
また、本実施の形態においては、音声認識誤り修正装置１の修正対象となるテキストデータを出力する装置として音声認識装置２を例とするが、テキストデータを出力する装置であれば、ワードプロセッサ機能や音声認識機能を搭載したパーソナルコンピュータ等であってもよい。
【００２６】
本実施の形態では、当該テキストデータを音声認識誤り修正装置１に接続されている修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）によって修正テキストデータに修正し、当該修正テキストデータを音声認識誤り修正装置１が受信して音声認識誤り修正装置１上の当該テキストデータを、修正して統合した修正統合テキストデータをリアルタイムで出力する（ここまでが音声認識誤り修正システムの動作）。
そして、この修正統合テキストデータを、字幕送出装置４３を利用して、放送通信網（放送波ＥＷ）を介して、テレビジョン４５またはテレビジョン４５としての機能を搭載したパーソナルコンピュータ等へ文字放送として放送する場合を例として説明する。
【００２７】
以下、この実施の形態では、当該音声認識誤り修正装置１から送信されたテキストデータに含まれる音声認識誤りを指摘した指摘データ（詳細は後記）を当該音声認識誤り修正装置１に送信した、この修正端末４１を指摘データ送信端末４１と表記することとする。
【００２８】
（音声認識誤り修正装置の構成）
次に、図１、図２を参照しながら音声認識誤り修正装置１の構成について説明する。
図２は、本発明の一実施形態に係る音声認識誤り修正装置１の構成を示すブロック構成図である。
音声認識誤り修正装置１は、図１に示すように、テキストデータ修正部１３と、音声再生部３を備え、修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）とネットワークを介して接続されている。
【００２９】
テキストデータ修正部１３は、図２に示すように、文字データ受信部１５、修正情報受信部１７、修正端末動作判定部１９、文字提示速度可変部２１、文字属性変更部２３、文字属性情報送信部２５、表示領域設定部２７、不要文字挿入部２９、提示情報送信部３１、テキストデータ保護部３３、文字列統合部３５、画面表示情報送信部３７および字幕出力構成部３９により構成されている。
【００３０】
なお、本実施の形態では、文字データ受信部１５および修正情報受信部１７が特許請求の範囲に記載のデータ受信手段に相当し、文字提示速度可変部２１および文字属性変更部２３が特許請求の範囲に記載の提示手段に相当し、テキストデータ保護部３３が特許請求の範囲に記載のテキストデータ保護手段に相当し、文字属性情報送信部２５および提示情報送信部３１が特許請求の範囲に記載の出力手段に相当し、表示領域設定部２７が特許請求の範囲に記載の表示領域設定機能に相当し、不要文字挿入部２９が特許請求の範囲に記載の不要文字挿入機能に相当するものである。
【００３１】
文字データ受信部１５は、音声認識装置２（図１参照）の音声認識結果であるテキストデータを受信するものである。
修正情報受信部１７は、修正端末１５から修正テキストＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、修正端末ＩＤ、制御情報および音声認識装置２の音声認識誤りを修正端末４１によって正確なテキストデータに修正された修正テキストデータを受信するものである。
【００３２】
なお、「修正テキストＩＤ」とは、修正端末４１が修正作業に入る際に音声認識結果であるテキストデータの誤り部分を指摘した修正文字範囲を識別するための識別記号（指摘データ。後記する）のことである。「修正端末ＩＤ」とは、修正端末１５が修正作業に入る際に音声認識結果であるテキストデータの誤り部分である修正文字範囲を指摘した修正端末４１を識別するための識別記号のことである。「制御情報」とは、修正端末４１から修正情報受信部１７によって受信され、修正端末４１へのテキストデータの提示動作について、その再生速度または停止に関する制御命令の基準となる情報と、修正端末４１への音声データの提示動作について、その再生速度または停止に関する制御命令の基準となる情報とのことである。
【００３３】
修正端末動作判定部１９は、修正情報受信部１７から受信した修正端末ＩＤおよび制御情報を文字提示速度可変部２１（詳細は後記する）へ送出する機能と、音声データの修正端末４１への提示タイミングの基準となる文字提示タイミング情報および制御情報を音声提示速度可変部１１（詳細は後記する）へ送出する機能とを有するものである。また、修正端末４１へのテキストデータまたは音声データの提示を一時停止した場合において、その一時停止における遅延分を判定し、テキストデータまたは音声データの修正端末４１への高速提示命令を行うものである。さらに、全ての修正端末４１が修正作業に入ると、修正端末４１へのテキストデータおよび音声データの提示の一時停止命令を文字提示速度可変部２１（後記する）および音声提示速度可変部１１（後記する）へ送信するものである。
【００３４】
なお、「文字提示タイミング情報」とは、修正文字範囲のテキストデータを正しい文字に修正する作業を支援するための音声データを修正端末４１へ提示するタイミングとなる基準情報のことである。この文字提示タイミング情報によって音声提示速度可変部１１（後記する）は、修正端末４１への音声データの提示のタイミングを制御するものである。
【００３５】
文字提示速度可変部２１は、修正端末動作判定部１９から受信した修正端末ＩＤおよび制御情報に基づいて、テキストデータの修正端末４１への提示動作について、その再生速度または停止に関する制御命令を修正端末ＩＤに係る修正端末４１へ送信するものである。また、全ての修正端末４１が修正作業に着手した場合において、修正端末４１へのテキストデータの提示の一時停止命令を修正端末動作判定部１９から受信して、全ての修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）へ当該命令を送信するものである。
【００３６】
文字属性変更部２３は、指摘文字属性変更部２３ａと、修正文字属性変更部２３ｂと、文字品詞属性変更部２３ｃとを備えている。
なお、本実施の形態では、指摘文字属性変更部２３ａが特許請求の範囲に記載の指摘文字属性変更機能に相当し、修正文字属性変更部２３ｂが特許請求の範囲に記載の修正文字属性変更機能に相当し、文字品詞属性変更部２３ｃが特許請求の範囲に記載の文字品詞属性変更機能に相当する。
【００３７】
指摘文字属性変更部２３ａは、修正端末４１によって音声認識誤りを指摘したテキストデータである修正文字範囲を指摘した際に修正端末４１から修正情報受信部１７へ送信する修正テキストＩＤに係る修正文字範囲の文字に関して、修正端末４１から修正情報受信部１７によって受信した修正テキストデータについて、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字属性の変更を行うものである。また、当該指摘データ（修正テキストＩＤ）を送信した修正端末４１（指摘データ送信端末４１）以外の修正端末４１に、当該修正文字範囲の文字属性が変更された修正テキストデータを提示することによって、当該指摘データに係る指摘状況を当該修正端末４１（指摘データ送信端末４１）以外の修正端末からも確認可能となる。
【００３８】
なお、「指摘データ」とは、指摘データ送信端末４１によって指摘した修正文字範囲または当該指摘データ送信端末４１を示すデータをいい、具体的には、前記した修正テキストＩＤまたは修正端末ＩＤを示す。この修正テキストＩＤを送信した指摘データ送信端末４１は、前記した修正端末ＩＤを修正情報受信部１７へ送信する。
また、文字属性の変更には、例えば、字体を斜体、ボールド（ｂｏｌｄ）、影付け、立体文字、袋文字等に変更したり、文字に網掛け、飾り網点等の模様を付けたり、その他、下線、文字囲み等の文字修飾を含むものである。
【００３９】
修正文字属性変更部２３ｂは、修正文字範囲を修正中の文字について、指摘文字属性変更部２３ａで修正文字範囲の文字属性を変更した文字属性以外の文字属性に変更するものである。また、当該修正文字範囲を修正中の端末４１（修正文字範囲のテキストデータを修正中の指摘データ送信端末４１）以外の修正端末４１に当該修正文字範囲の修正中の文字の文字属性が変更された修正テキストデータが提示されることによって、当該指摘データに係る修正状況を修正中の端末４１以外の修正端末４１からも確認可能となる。
なお、文字属性の変更については、指摘文字属性変更部２３ａでの説明と同様なので、その説明を省略する。
【００４０】
文字品詞属性変更部２３ｃは、文字データ受信部１５から送出されたテキストデータ中の文字列の品詞のうち少なくとも助詞について、図４に示すように、文字の表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字属性を変更して修正端末４１（指摘データ送信端末４１）から修正情報受信部１７よって受信した修正テキストデータを変更するものである。特に助詞は発現頻度が高く、修正者による音声認識誤りの発見を看過することが非常に多いため、助詞の文字属性を変化させ、修正者に特に助詞の音声認識誤りの発見について注意の喚起を行うものである。助詞の文字表示を大きくする文字属性の変更は、ポインティングデバイスとしてタッチパネルを使用する場合に、助詞の音声認識誤りの発見の精度を高め、また、タッチパネル上で指摘（選択）し易くなるため特に有効である。
【００４１】
なお、図示していない制御部によって、テキストデータ中の文字列の品詞のうち少なくとも助詞について、予め文字属性の変更後に修正端末４１へテキストデータを送信するように初期設定することもできる。
なお、文字属性の変更については、指摘文字属性変更部２３ａでの説明と同様なので、その説明を省略する。
【００４２】
図２に戻って説明を続ける。
文字属性情報送信部２５は、前記した指摘文字属性変更部２３ａ、修正文字属性変更部２３ｂ、文字品詞属性変更部２３ｃによって、変更された文字属性の情報である文字属性情報を各修正端末４１へ送信するものである。
【００４３】
表示領域設定部２７は、表示画面の見易さを向上させるため、図５の（ａ）に示すように、修正端末４１に提示している音声認識結果であるテキストデータの表示領域ＡＲの表示幅と背景色との少なくとも一方を任意に設定可能とするものである。
【００４４】
再び図２に戻って説明を続ける。
不要文字挿入部２９は、修正端末４１に提示している音声認識結果であるテキストデータ中に不要文字を挿入するものである。図５の（ｂ）では、不要文字としてアスタリスクマーク「＊」をテキストデータ中に挿入した例を示している。音声認識率が高く、音声認識誤りが少ない場合、修正作業は音声認識誤りを発見するための単調な作業となる。その結果、修正者の修正作業に対する集中力の低下、修正作業の精度の低下を招く。そこでそれを防止するために、音声認識結果であるテキストデータに不要文字を挿入し、修正者に当該不要文字の削除作業をしてもらうことによって集中力を持続させるものである。
【００４５】
再び図２に戻って説明を続ける。
提示情報送信部３１は、表示領域設定部２７による表示領域設定情報、不要文字挿入部２９による不要文字挿入情報を修正端末４１へ送信するものである。
テキストデータ保護部３３は、修正ガード端末判定部３３ａ、修正ガードテキスト判定部３３ｂを備えている。
【００４６】
テキストデータ保護部３３は、修正情報受信部１７で受信した指摘データ（修正テキストＩＤ、修正端末ＩＤ）に基づいて、音声認識誤りのテキストデータを、当該指摘データを送信した指摘データ送信端末４１以外の修正端末４１による指摘から当該指摘データ送信端末４１による修正作業が完了するまでの間、保護するものである。
【００４７】
図３を参照しながら、テキストデータ保護部３３によるテキストデータの保護がどのように実現されるかについて、その一例を説明する。図３には、音声認識結果のテキストデータである「当時多発テロ事件」のテキストデータが、修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃに提示されている。この場合、テキストデータ「当時」の部分（修正文字範囲）が音声認識誤りに相当するが、修正端末４１Ａの修正者が最も早くこの音声認識誤りを発見して指摘したときは、他の修正端末４１の修正者、すなわち、修正端末４１Ｂの修正者および修正端末４１Ｃの修正者が、修正文字範囲「当時」の部分と同一箇所（「当時」）については、指摘することができないようにガードされる。
【００４８】
この際、修正端末４１Ｂの修正者および修正端末４１Ｃの修正者は、同一箇所以外の部分については指摘可能である。また、同一箇所であっても修正端末４１Ａの修正者が当該修正作業を終了した後は、修正端末４１Ｂの修正者および修正端末４１Ｃの修正者は、当該同一箇所であった箇所（「当時」）について指摘し、修正作業を行うことができるものである。
【００４９】
次に、再び図２に戻って、テキストデータ保護部３３の構成要素について説明する。
修正ガード端末判定部３３ａは、修正情報受信部１７から送出された修正端末ＩＤ（修正端末４１が修正作業に入る際に音声認識結果であるテキストデータの誤り部分である修正文字範囲を指摘した修正端末４１を識別するための識別記号）を受信して、修正文字範囲（「当時」）を指摘した修正端末４１（修正端末４１Ａ）を識別し、その識別した情報を修正ガード端末情報として、修正端末４１（修正端末４１Ｂおよび修正端末４１Ｃ）へ送信するものである。
【００５０】
修正ガードテキスト判定部３３ｂは、修正情報受信部１７から送出された修正テキストＩＤ（修正端末１５が修正作業に入る際に音声認識結果であるテキストデータの誤り部分を指摘した修正文字範囲を識別するための識別記号）を受信して、修正端末４１（修正端末４１Ａ）によって指摘された修正文字範囲（「当時」）を識別し、その識別した情報を修正ガードテキスト情報として、修正端末４１（修正端末４１Ｂおよび修正端末４１Ｃ）へ送信するものである。
【００５１】
続いて文字列統合部３５に関して説明する。
文字列統合部３５は、修正情報受信部１７によって受信した各修正端末４１による修正テキストデータを修正テキストＩＤに基づいて、１つの統一された文章に統合するものである。この文字列統合部３５によって統合された修正テキスト統合データは、逐次各修正端末４１にフィードバックされ、常に最新の修正情報（修正統合テキストデータ）が反映される。また、この修正統合テキストデータは、字幕送出装置４３（図１参照）によって、字幕放送用のデータとして利用される。
【００５２】
画面表示情報送信部３７は、文字列統合部３５によって、修正テキストデータが修正テキストＩＤに基づいて、１つの文章に統合された修正統合テキストデータを各修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）へ送信するものである。
【００５３】
字幕出力構成部３９は、文字列統合部３５によって、修正テキストデータが修正テキストＩＤに基づいて１つの文章に統合された修正統合テキストデータを文字放送として利用するために、修正統合テキストデータを字幕出力データとして、字幕送出装置４３（図１参照）へ送信するものである。
【００５４】
次に、音声再生部３について説明する。
音声再生部３は、音声受信部５、音声蓄積部７、音声データ送信部９、音声提示速度可変部１１から構成されている。
音声再生部３は、音声認識の対象となった音声データを再生するものである。
この音声データが文字提示タイミング情報に同期してネットワークを介して修正端末４１に送信され、修正端末４１に接続されているヘッドフォンで出力された音声と、音声認識結果であるテキストデータとを各修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）の修正者が比較照合することによって、修正者の修正作業が支援される。
【００５５】
音声受信部５は、音声認識の対象となった音声データを音声認識装置２（図１参照）から受信するものである。
音声蓄積部７は、音声受信部５で受信した音声認識の対象となった音声データを各修正端末４１へ提示するために一時的にまたは長期保存用に蓄積するものである。
一般に、一時記憶用には半導体メモリを利用した主記憶装置(メインメモリ)が利用され、長期保存用にはハードディスク、フレキシブルディスク、ＤＡＴ（Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ ｒｅｃｏｒｄｅｒ）などの外部記憶装置(補助記憶装置)が利用されている。
【００５６】
音声データ送信部９は、音声蓄積部７から音声データを受信して各修正端末４１に提示するために各修正端末４１へ送信するものである。
【００５７】
音声提示速度可変部１１は、音声認識装置２（図１参照）による音声認識の対象となった音声データの修正端末４１への提示動作について、修正端末動作判定部１９から受信した文字提示タイミング情報および制御情報に基づいて、その再生速度または停止に関する制御命令を修正端末４１へ送信するものである。また、全ての修正端末４１が修正作業に着手した場合において、修正端末４１への音声データの提示の一時停止命令を修正端末動作判定部１９から受信して、全ての修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）へ当該命令を、音声データ送信部９を介して送信するものである。
【００５８】
したがって、音声提示速度可変部１１は、音声認識装置２（図１参照）による音声認識の対象となった音声データを音声認識装置２（図１参照）の音声認識結果であるテキストデータと同時に（テキストデータの修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）への提示タイミングと同期して）各修正端末４１に提示させることもできるし、また、文字提示タイミング情報に同期して修正端末４１への音声データの提示に関して、一時停止させて遅く提示させることや、この一時停止による遅延を回復するための高速提示、繰り返し当該音声データの提示を行うリプレイ動作を行わせることもできるものである。
【００５９】
続いて、図１に戻って修正端末４１について説明する。
修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）は、音声認識誤り修正装置１を使用するための装置であり、ディスプレイ、キーボード、修正文字範囲を指定等するためのタッチパネル、音声データを出力するためのヘッドフォン、音声データの再生について、その高速化または一時停止若しくは再開の切替え信号を図示していない制御部に送出して、音声データの再生動作をコントロールするための足入力インターフェース（フットペダル）等を備え、一般にパーソナルコンピュータが利用されている。
【００６０】
なお、フットペダルは、音声データの再生停止を制御する足踏スイッチとＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）またはＲＳ２３２Ｃ等のインターフェースを備えており、これらのインターフェースを介してパーソナルコンピュータに接続している。このフットペダルは、足踏スイッチ（ペダル）の「踏込」または「放す」操作によって、スイッチＯＮ／ＯＦＦの切替操作を行うもので、記録テープに録音されている記録テープ内容（音声データ）の再生動作の制御をする際に利用されるものである。
【００６１】
また、音声認識誤り修正装置１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）接続されており、修正端末４１の設置場所に制約されず、任意にシステム設計が行えるものである。よって、遠隔地間での音声認識誤り修正作業も可能である。
【００６２】
また、ネットワークについては、前記したようにＬＡＮ、ＷＡＮなどその形態を問わないが、ネットワークケーブル、無線、赤外線等、その方式も問わない。しかし、通信パケット漏れなどの安全面や高速処理の観点からネットワークケーブルを使用することが好ましい。
さらにまた、音声認識誤り修正装置１によって、修正者（修正端末４１）を複数設定でき、かつ、修正文字範囲の指摘および修正作業を修正者１人単位で行うことができるものである。
【００６３】
（音声認識誤り修正システムの動作）
次に、図６（適宜図２参照）のシーケンシャルチャートを参照しながら音声認識誤り修正システムの動作の一例について説明する。
まず、発話者の発声により生じた音声を音声認識装置２（図１参照）が音声認識を行い、その音声認識の結果であるテキストデータをテキストデータ修正部１３へ送信し、音声認識の対象となった音声データを音声再生部３へ送信する（Ａ１）。
【００６４】
なお、ここでは、発話者が「こんにちは、お昼のニュースです。」と発声し、この音声について、音声認識装置２が誤った音声認識結果として「こんにちは、御ひるのニュースです」のテキストデータを音声認識誤り修正装置１（テキストデータ修正部１３および音声再生部３）へ送信する場合を例に説明する。
【００６５】
次に、当該音声データを受信した音声認識誤り修正装置１のテキストデータ修正部１３は、当該テキストデータ「こんにちは、御ひるのニュースです」を修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃへ送信すると同時に、音声再生部３へ文字提示タイミング情報および制御情報を送出する（Ｂ１）。これを受けた音声再生部３は、音声認識の対象となった音声データ「こんにちは、お昼のニュースです」を当該文字提示タイミング情報および制御情報に基づいて（例えば、音声認識の結果であるテキストデータの修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃへの提示と同時に）、修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃへ送信する（Ｂ２）。
【００６６】
当該テキストデータ「こんにちは、御ひるのニュースです」および当該音声データ「こんにちは、お昼のニュースです」を受信した各修正端末４１（４１Ａ、４１Ｂ、４１Ｃ）は、修正端末４１の修正者によって、音声認識の誤り部分の文字「御ひる」（修正文字範囲）がタッチパネルをタッチすることにより指摘され、キーボードで正確な文字「お昼」への修正作業が行われる。
【００６７】
このとき、例えば、修正端末４１Ａの修正者が最も早く音声認識誤り部分の文字「御ひる」を指摘した場合（Ｃ１）、指摘データ（修正テキストＩＤ、修正端末ＩＤ）が、修正端末４１Ａからテキストデータ修正部１３へ送信され（Ｃ２）、これを受信したテキストデータ修正部１３は、修正端末４１Ｂおよび修正端末４１Ｃへ修正ガード端末情報および修正ガードテキスト情報を送信する（Ｂ３）。そして、これを受信した修正端末４１Ｂおよび修正端末４１Ｃは、修正端末４１Ａの修正作業中は修正作業を行うことができず、修正端末４１Ａのみが優先的に修正作業が可能となる。
【００６８】
なお、修正端末４１Ａの修正者が修正作業を行う際に、音声再生部３から送出された音声データ「こんにちは、お昼のニュースです」を修正者がヘッドフォンで聴取し、修正端末１５Ａに提示されているテキストデータ「こんにちは、御ひるのニュースです」と比較照合することによって修正精度を高め、修正作業が行われる。
【００６９】
そして、修正端末４１Ａは、修正結果である修正テキストデータ「お昼」をテキストデータ修正部１３へ送信し（Ｃ３）、これを受信したテキストデータ修正部１３は、修正テキストデータ「お昼」を１つの文章に統合した修正統合テキストデータ「こんにちは、お昼のニュースです」を作成し、当該修正統合テキストデータが逐次、修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃへ送信され最新の修正情報が全ての端末（本実施の形態の一例としては修正端末４１Ａ、修正端末４１Ｂおよび修正端末４１Ｃ）に反映され、修正作業が行われる（Ｂ４）。
【００７０】
次に、修正テキストデータの有無が判断され（Ｂ５）、修正テキストデータがある場合（Ｂ５、ＹＥＳ）は、当該修正テキストデータを修正統合テキストデータに統合して当該修正統合テキストデータが正しいテキストデータとして確定される（Ｂ６）。そして、テキストデータ修正部１３から字幕送出装置４３へ当該修正統合テキストデータ「こんにちは、お昼のニュースです」が送信される（Ｂ７）。
【００７１】
修正テキストデータがない場合（Ｂ５、ＮＯ）は、例えば、各修正端末４１へテキストデータを送信後、1分間を経過しているか否かを判断（Ｂ８）し、経過している場合（Ｂ８、ＹＥＳ）はＢ６へすすみ修正統合テキストデータが確定され、経過していない場合（Ｂ８、ＮＯ）はＢ５へ戻る。
なお、このフローチャートに示していないが、音声認識結果であるテキストデータの提示がある間、音声認識誤り修正システムとして、Ａ１からＢ７までのステップが繰り返され、このテキストデータがなくなった時点で音声認識誤り修正システムの動作が終了する。
【００７２】
また、本実施の形態の一例として、Ｂ７で送信された修正統合テキストデータを受信した字幕送出装置４３から当該修正統合テキストデータをテレビジョン４５へ放送波ＥＷ（図１参照）を介して送信され（Ｄ１）、テレビジョン４５によって、「こんにちは、お昼のニュースです」の字幕付きの文字放送として受信される（Ｅ１）場合の一例をこのフローチャートに図示（図６の左下に示す破線より内側部分）しておく。
【００７３】
なお、Ｂ６における修正統合テキストデータの確定にあたっては、テキストデータ修正部１３が、最も遅く修正テキストデータを送信した修正端末４１から修正テキストデータを受信した後に修正テキストデータを統合し、この修正統合テキストデータを作成した時点をもって確定することもできる。
【００７４】
以上、本発明の実施の形態について説明したが、本発明は、前記した実施の形態に限定されることなく、様々な形態で実施可能である。
また、音声認識誤り修正方法と、このような音声認識誤り修正方法を音声認識誤り修正装置１に実現させる音声認識誤り修正プログラムと、音声認識誤り修正プログラムを記録した記録媒体も本発明の対象とするものである。
【００７５】
【発明の効果】
以上説明したように、本発明によれば以下の効果を奏する。
請求項１、７、８に記載の発明によれば、音声認識誤り修正装置に接続されている端末から音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータを受信する。そして、テキストデータ保護手段によって、この指摘データを送信した指摘データ送信端末以外の端末については、当該指摘データ送信端末による修正が完了するまでの間、音声認識誤りを指摘して修正作業をすることができないようにすることができる。
【００７６】
そのため、音声認識誤り部分である修正文字範囲の発見者と修正者とに修正作業を分担することなく、修正者一人単位で修正作業を行うことができる。そのため、修正作業の効率化を図ることができる。また、人員配置や人員確保など人事労務管理が容易となり、教育講習についても修正者単位でできるため、効率的に講習を行うことができる。そして省力化したシステム設計を行うことができる。
また、音声認識誤り部分の文字を最初に指摘した修正者（端末）に対して、優先的に修正作業を可能とすることにより、修正作業の効率化を実現することができる。
【００７７】
請求項２に記載の発明によれば、音声認識誤り修正装置と端末間をネットワークで接続することにより、作業場所について柔軟に対応することが可能となり、簡素化したシステム設計をすることができる。そのため、効率化した音声認識誤り修正システムの構築が実現できる。
【００７８】
請求項３および請求項４に記載の発明によれば、音声認識誤り部分（修正文字範囲）の文字について、その文字属性を変更して各端末に提示することにより、指摘作業または修正作業状況の明確化を図ることができる。そのため、修正作業を効率化することができる。
【００７９】
請求項５に記載の発明によれば、音声認識結果であるテキストデータの表示領域について、端末の使用者からの要望に基づいて、表示幅と背景色との少なくとも一方を設定することができるので、当該テキストデータの表示領域が見易くなる。そのため、表示画面の見易さを向上させることができる。
【００８０】
請求項６に記載の発明によれば、音声認識結果であるテキストデータ中に不要文字を挿入し、当該不要文字を修正者に削除してもらうことによって、音声認識誤りが少なく単調作業の傾向が強い場合においても、修正者の集中力を持続させることができる。そのため修正作業を高精度に維持することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る音声認識誤り修正システムの構成を示す概略図である。
【図２】本発明の一実施形態に係る音声認識誤り修正装置の構成を示すブロック構成図である。
【図３】本発明の一実施形態に係るテキストデータ修正部の誤りテキストデータ保護部の動作の一例を説明するための図である。
【図４】本発明の一実施形態に係るテキストデータ修正部の文字属性変更部の動作の一例を説明するための図である。
【図５】（ａ）本発明の一実施形態に係るテキストデータ修正部の不要文字挿入部の動作の一例を説明するための図である。
（ｂ）本発明の一実施形態に係るテキストデータ修正部の表示領域設定部の動作の一例を説明するための図である。
【図６】本発明の一実施形態に係る音声認識誤り修正装置の動作の一例を説明するためのシーケンシャルチャートである。
【符号の説明】
１ 音声認識誤り修正装置
２ 音声認識装置
３ 音声再生部
５ 音声受信部
７ 音声蓄積部
９ 音声データ送信部
１１ 音声提示速度可変部
１３ テキストデータ修正部
１５ 文字データ受信部（データ受信手段）
１７ 修正情報受信部（データ受信手段）
１９ 修正端末動作判定部
２１ 文字提示速度可変部（提示手段）
２３ 文字属性変更部（提示手段）
２３ａ 指定文字属性変更部（指摘文字属性変更機能）
２３ｂ 修正文字属性変更部（修正文字属性変更機能）
２３ｃ 文字品詞属性変更部(文字品詞属性変更機能)
２５ 文字属性情報送信部（出力手段）
２７ 表示領域設定部（表示領域設定機能）
２９ 不要文字挿入部（不要文字挿入機能）
３１ 提示情報送信部（出力手段）
３３ テキストデータ保護部（テキストデータ保護手段）
３３ａ 修正ガード端末判定部
３３ｂ 修正ガードテキスト判定部
３５ 文字列統合部
３７ 画面表示情報送信部（出力手段）
３９ 字幕出力構成部（出力手段）
４１（４１Ａ〜４１Ｃ） 修正端末、指摘データ送信端末（端末）
４３ 字幕送出装置
４５ テレビジョン
ＡＲ テキストデータの表示領域
ＡＦ 修正文字入力枠
Claims (8)
- 音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正装置であって、
前記音声データおよび前記テキストデータを前記端末に提示する提示手段と、
この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段と、
このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段と、
前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段と、
を備えることを特徴とする音声認識誤り修正装置。 - 前記複数の端末は、ネットワークを介して接続されることを特徴とする請求項１に記載の音声認識誤り修正装置。
- 前記提示手段は、前記修正文字範囲の文字について、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字の属性の変更を行うことによって、前記指摘データ送信端末以外の端末にも当該文字属性の変更を提示する指摘文字属性変更機能と、
前記指摘データ送信端末によって前記修正文字範囲を修正中である場合に、修正中の前記修正文字範囲の文字属性を前記指摘文字属性変更機能で変更した文字属性とは異なる文字属性とする修正文字属性変更機能と、
を備えることを特徴とする請求項１に記載の音声認識誤り修正装置。 - 前記提示手段は、前記音声認識結果であるテキストデータに係る品詞のうち少なくとも助詞について、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字の属性を変更する文字品詞属性変更機能を備えることを特徴とする請求項１または請求項２に記載の音声認識誤り修正装置。
- 前記提示手段は、前記端末に提示している前記音声認識結果であるテキストデータの表示領域の表示幅と背景色との少なくとも一方を任意に設定できる表示領域設定機能を備えることを特徴とする請求項１または請求項２に記載の音声認識誤り修正装置。
- 前記提示手段は、前記端末に提示している前記音声認識結果であるテキストデータ中に不要文字を挿入する不要文字挿入機能を備えることを特徴とする請求項１または請求項２に記載の音声認識誤り修正装置。
- 音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正方法であって、
前記音声データおよび前記テキストデータを前記端末に提示する提示ステップと、
この提示ステップによって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信ステップと、
このデータ受信ステップで受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護ステップと、
前記データ受信ステップで受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力ステップと、
を含むことを特徴とする音声認識誤り修正方法。 - 音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正装置を、
前記音声データおよび前記テキストデータを前記端末に提示する提示手段、
この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段、
このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段、
前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段、
として機能させることを特徴とする音声認識誤り修正プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003017623A JP3986015B2 (ja) | 2003-01-27 | 2003-01-27 | 音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003017623A JP3986015B2 (ja) | 2003-01-27 | 2003-01-27 | 音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004226910A JP2004226910A (ja) | 2004-08-12 |
| JP3986015B2 true JP3986015B2 (ja) | 2007-10-03 |
Family
ID=32904736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003017623A Expired - Fee Related JP3986015B2 (ja) | 2003-01-27 | 2003-01-27 | 音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3986015B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9188456B2 (en) | 2011-04-25 | 2015-11-17 | Honda Motor Co., Ltd. | System and method of fixing mistakes by going back in an electronic device |
| JP2017040806A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社フェイス | 字幕制作装置および字幕制作方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4158937B2 (ja) | 2006-03-24 | 2008-10-01 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 字幕修正装置 |
| US20100070263A1 (en) * | 2006-11-30 | 2010-03-18 | National Institute Of Advanced Industrial Science And Technology | Speech data retrieving web site system |
| JP6327745B2 (ja) * | 2014-02-24 | 2018-05-23 | 日本放送協会 | 音声認識装置、及びプログラム |
| JP6485977B2 (ja) * | 2017-12-25 | 2019-03-20 | 株式会社フェイス | 字幕制作装置および字幕制作方法 |
| JP6949075B2 (ja) * | 2018-05-08 | 2021-10-13 | 日本放送協会 | 音声認識誤り修正支援装置およびそのプログラム |
-
2003
- 2003-01-27 JP JP2003017623A patent/JP3986015B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9188456B2 (en) | 2011-04-25 | 2015-11-17 | Honda Motor Co., Ltd. | System and method of fixing mistakes by going back in an electronic device |
| JP2017040806A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社フェイス | 字幕制作装置および字幕制作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004226910A (ja) | 2004-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109379641B (zh) | 一种字幕生成方法和装置 | |
| US9437246B2 (en) | Information processing device, information processing method and program | |
| US7500193B2 (en) | Method and apparatus for annotating a line-based document | |
| KR101939253B1 (ko) | 음성 녹음 중에 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 | |
| KR101977072B1 (ko) | 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기 | |
| KR101897774B1 (ko) | 녹음된 음성의 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 | |
| US9344878B2 (en) | Method and system for operating communication service | |
| EP1611570B1 (en) | System for correction of speech recognition results with confidence level indication | |
| EP4021004B1 (en) | Matching method, terminal and readable storage medium | |
| JPWO2018051570A1 (ja) | 音声提示方法、音声提示プログラム、音声提示システム及び端末装置 | |
| WO2006048963A1 (ja) | 字幕付き静止画コンテンツ作成装置、字幕付き静止画コンテンツ作成プログラム及び字幕付き静止画コンテンツ作成システム | |
| JP2008084320A (ja) | 携帯用端末のマルチメディアコンテンツの管理装置及び方法 | |
| JP3986015B2 (ja) | 音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラム | |
| JP4159043B2 (ja) | テレビジョン放送システム | |
| CN112565860B (zh) | 信息处理装置、计算机存储介质及计算机程序产品 | |
| KR20160129787A (ko) | 디지털 녹취 파일 녹취록 생성 방법 | |
| JP6443205B2 (ja) | コンテンツ再生システム、コンテンツ再生装置、コンテンツ関連情報配信装置、コンテンツ再生方法、及びコンテンツ再生プログラム | |
| JP2002056006A (ja) | 映像・音声検索装置 | |
| JP2005284651A (ja) | 航空管制用インタフェース装置、その表示制御方法およびコンピュータプログラム | |
| JP4149370B2 (ja) | オーダー処理装置、オーダー処理方法、オーダー処理プログラム、オーダー処理プログラム記録媒体及びオーダー処理システム | |
| US20050120046A1 (en) | User interaction and operation-parameter determination system and operation-parameter determination method | |
| JP6766981B2 (ja) | 放送システム、端末装置、放送方法、端末装置の動作方法、および、プログラム | |
| KR20220040045A (ko) | 자막 동기화를 제공하는 영상 재생 장치 및 그 동작 방법 | |
| EP2642408A1 (en) | Information processing apparatus and information processing method | |
| CN113381922B (zh) | 电子装置以及信息的再生控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070706 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3986015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140720 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |