JP4528705B2 - Character recognition device and character recognition method - Google Patents
Character recognition device and character recognition method Download PDFInfo
- Publication number
- JP4528705B2 JP4528705B2 JP2005287413A JP2005287413A JP4528705B2 JP 4528705 B2 JP4528705 B2 JP 4528705B2 JP 2005287413 A JP2005287413 A JP 2005287413A JP 2005287413 A JP2005287413 A JP 2005287413A JP 4528705 B2 JP4528705 B2 JP 4528705B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- dictionary
- knowledge
- matching
- knowledge dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
Description
本発明は、例えばデジタルビデオレコーダなどにおいて番組のテロップ認識のために用いられる文字認識装置に関する。 The present invention relates to a character recognition device used for recognizing a program telop in a digital video recorder, for example.
文字認識の後処理工程において、知識辞書を用いた誤り訂正・語句置換などの知識処理が行われている。例えば住所を認識する装置であれば、全国の住所を登録した知識辞書との単語照合処理を行っている。また、文書を読取る装置であれば、一般の単語辞書を知識辞書として用いて単語照合処理を行っている。 In the post-processing step of character recognition, knowledge processing such as error correction and phrase replacement using a knowledge dictionary is performed. For example, if it is an apparatus which recognizes an address, the word collation process with the knowledge dictionary which registered the address of the whole country is performed. Further, if the device reads a document, word matching processing is performed using a general word dictionary as a knowledge dictionary.
しかしながら、これらの辞書は、通常、事前に準備したものを用いるため、必要な単語を想定しきれないような場合は、辞書の作成が困難であるという問題があった。 However, since these dictionaries are usually prepared in advance, there is a problem that it is difficult to create dictionaries when necessary words cannot be assumed.
また、文字認識においては、誤読が生じやすい単語は修正を行った方が良く、誤読が生じにくい単語は修正を行わない方が良い。 In character recognition, it is better to correct words that are likely to be misread, and it is better not to correct words that are less likely to be misread.
この対応として、これまでの単語処理では、誤修正が生じ易い単語を事前に知識辞書から削除しておく必要があり、このため認識部に変更を加えた場合には知識辞書の見直しを行う必要があった。 As a response to this, in conventional word processing, it is necessary to delete words that are likely to be erroneously corrected in advance from the knowledge dictionary. Therefore, if the recognition unit is changed, it is necessary to review the knowledge dictionary was there.
例えばデジタルビデオレコーダなどに、知識処理の一つである単語照合処理を用いたテロップ認識機能を搭載するような場合、単語照合を行うための知識辞書として必要な辞書は、使用する利用者に応じて変化する。 For example, when a digital video recorder or the like is equipped with a telop recognition function using word matching processing, which is one of knowledge processing, a dictionary required as a knowledge dictionary for performing word matching depends on the user to use. Change.
これは、利用者が録画する番組に応じて出現する単語の傾向が変化するためであり、このような場合には知識辞書の修正を行って性能を向上させることが必要である。
知識辞書修正を行う場合の、簡単な修正法としては、新たに出現した単語を追加していく方法があるが、これによって単語照合処理の性能は必ずしも向上しない。
This is because the tendency of the words appearing changes according to the program recorded by the user. In such a case, it is necessary to improve the performance by correcting the knowledge dictionary.
As a simple correction method for correcting the knowledge dictionary, there is a method of adding a newly appearing word, but this does not necessarily improve the performance of the word matching process.
これは、例えば「ティー」と「フィー」のように類似度の高い単語が辞書中にある場合はどちらが適切であるかを機械的には必ずしも判断できない、例えば「カー」のように短い単語は知識辞書の多くの用語に対してマッチするため、誤読が起きた場合には、別の単語の正解と判断され易い、などの理由からである。 This is because, for example, when a word with high similarity such as “tee” and “fee” is in the dictionary, it is not always possible to mechanically determine which one is appropriate. For example, a short word such as “car” This is because many words in the knowledge dictionary are matched, so that when a misreading occurs, it is easy to determine that it is a correct answer of another word.
このため、知識辞書を、認識対象によって切り分けることや出現頻度を考慮することが一般に行われるが、これらは事前に設定されたものであり、必ずしも利用者毎の文字の使い方の傾向が考慮されるものではない。 For this reason, the knowledge dictionary is generally classified according to the recognition target and the appearance frequency is considered, but these are set in advance, and the tendency of how to use characters for each user is always considered. It is not a thing.
本発明はこのような課題を解決するためになされたもので、ある傾向に合わせて知識性能を高め、これにより、文字認識精度を向上することができる文字認識装置および文字認識方法を提供することを目的としている。 The present invention has been made to solve such a problem, and provides a character recognition device and a character recognition method capable of improving knowledge performance according to a certain tendency and thereby improving character recognition accuracy. It is an object.
上記した課題を解決するために、本発明の文字認識装置は、テレビ番組のテロップを文字認識するテロップ認識部と、複数の単語と、各単語を分類する条件としてのテレビ番組のジャンルを含む付加情報と、各ジャンルにおける該単語の出現回数を含む評価の基となる統計値とが記憶された知識辞書と、前記テレビ番組の電子番組ガイド情報を外部の情報提供手段から取得し、前記電子番組ガイド情報から、テレビ番組のジャンル名を含む予め設定された情報を、照合用の辞書に加える単語を抽出するためのキーワードとして抽出し、前記キーワードによって前記知識辞書から単語を抽出し、抽出した前記単語に付与されていた付加情報を調べて、調べた付加情報に前記電子番組ガイド情報から得た単語と、この単語の出現回数とジャンルの照合回数から割り出される出現率とを対応させた前記照合用の辞書を作成する照合用辞書作成手段と、前記テロップ認識部により文字認識された単語と、前記キーワードを基に前記照合用の辞書から抽出された単語とを比較し互いの類似性を計算することにより前記文字認識結果の単語に対する評価尺度を算出する照合処理手段と、前記照合処理手段により算出された単語の評価尺度が予め設定した閾値を超えた場合に前記知識辞書のテロップ認識に用いた単語とその付加情報および統計値を更新する知識辞書更新手段とを具備する。 In order to solve the above-described problem, the character recognition device of the present invention includes a telop recognition unit that recognizes characters of a television program, a plurality of words, and a television program genre as a condition for classifying each word. A knowledge dictionary storing information and a statistical value as a basis of evaluation including the number of occurrences of the word in each genre, and electronic program guide information of the television program is acquired from an external information providing means, and the electronic program from the guide information, the preset information including the genre name of the television program, and extracted as a keyword for extracting a word to be added to the dictionary for matching, extracting words from the knowledge dictionary by the keyword extracted The additional information given to the word is examined, the word obtained from the electronic program guide information in the examined additional information, the number of appearances of this word and the genre A collation dictionary creating means for creating a dictionary for collation in which the appearance rate calculated from the number of matches is matched; a word recognized by the telop recognition unit; and the dictionary for collation based on the keyword The word processing result of the word recognition result is calculated by comparing the words extracted from the words and calculating the similarity between them, and the word evaluation value calculated by the matching processing means is preset. And a knowledge dictionary updating means for updating the word used for the telop recognition of the knowledge dictionary and its additional information and statistics when the threshold is exceeded.
本発明の文字認識方法は、テロップ認識部、複数の単語と、各単語を分類する条件としてのテレビ番組のジャンルを含む付加情報と、各ジャンルにおける該単語の出現回数を含む評価の基となる統計値とが記憶された知識辞書、照合用辞書作成手段、照合処理手段および知識辞書更新手段を備える文字認識装置による文字認識方法において、前記テレビ番組のテロップを前記テロップ認識部が文字認識するステップと、前記照合用辞書作成手段が、外部の情報提供手段から取得されたテレビ番組の電子番組ガイド情報から、テレビ番組のジャンル名を含む予め設定された情報を、照合用の辞書に加える単語を抽出するためのキーワードとして抽出し、前記キーワードによって前記知識辞書から単語を抽出し、抽出した前記単語に付与されていた付加情報を調べて、調べた付加情報に前記電子番組ガイド情報から得た単語と、この単語の出現回数とジャンルの照合回数から割り出される出現率とを対応させた前記照合用の辞書を作成するステップと、前記テロップ認識部により文字認識された単語と、前記キーワードを基に前記照合用の辞書から抽出された単語とを比較し互いの類似性を計算することにより前記文字認識結果の単語に対する評価尺度を算出するステップと、前記単語の評価尺度が予め設定した閾値を超えた場合に前記知識辞書更新手段が前記知識辞書のテロップ認識に用いた単語とその付加情報および統計値を更新するステップとを有する。 The character recognition method of the present invention is a telop recognition unit, based on an evaluation including a plurality of words, additional information including a genre of a television program as a condition for classifying each word, and the number of appearances of the word in each genre. In a character recognition method by a character recognition device comprising a knowledge dictionary storing statistical values, a collation dictionary creating means, a collation processing means, and a knowledge dictionary updating means, the telop recognition unit recognizes characters of the telop of the television program When the word the collation dictionary creation means, adding the electronic program guide information of a television program obtained from the outside information providing means, the preset information including the genre name of the television program, the dictionary for matching Is extracted as a keyword for extracting, and a word is extracted from the knowledge dictionary by the keyword, and is assigned to the extracted word The additional information is examined, and the collation dictionary is created by associating the word obtained from the electronic program guide information with the examined additional information and the appearance rate calculated from the number of appearances of this word and the number of genre comparisons. Comparing the word recognized by the telop recognition unit with the word extracted from the dictionary for matching based on the keyword and calculating the similarity between them, Calculating an evaluation scale for the word, and when the evaluation scale of the word exceeds a preset threshold, the knowledge dictionary updating means updates the word used for telop recognition of the knowledge dictionary, its additional information, and a statistical value. Steps.
本発明では、外部の情報提供手段から取得されたテレビ番組の電子番組ガイド情報から、照合用の辞書に加える単語を抽出するためのキーワードおよび照合用の辞書に加える単語を取得し、キーワードによって知識辞書から抽出した単語、および照合用の辞書に加える単語を基に照合用の辞書を作成し、テロップの文字認識により得られた単語と照合用の辞書の情報とを照合し、互いの類似性を計算することにより文字認識結果の単語に対する評価尺度を算出し、単語の評価尺度が予め設定した閾値を超えた場合に知識辞書の該当情報を更新する。すなわち、認識の対象に対する知識を外部から取得し、取得した知識を用いて知識処理の性能を向上すると共に、知識処理の結果から知識辞書を更新する。これにより、ある傾向に合わせて知識処理の性能を向上し、文字認識精度を高めることができる。 In the present invention, keywords for extracting words to be added to a matching dictionary and words to be added to a matching dictionary are acquired from electronic program guide information of a television program acquired from an external information providing means, and knowledge is acquired by using the keywords. Create a collation dictionary based on the words extracted from the dictionary and the words to be added to the collation dictionary , collate the words obtained by telop character recognition with the collation dictionary information, and make similarities to each other Is used to calculate the evaluation scale for the word of the character recognition result, and when the evaluation scale of the word exceeds a preset threshold, the corresponding information in the knowledge dictionary is updated. That is, the knowledge about the recognition target is acquired from the outside, the performance of the knowledge processing is improved using the acquired knowledge, and the knowledge dictionary is updated from the result of the knowledge processing. Thereby, according to a certain tendency, the performance of knowledge processing can be improved and the character recognition accuracy can be improved.
以上説明したように本発明によれば、ある傾向に合わせて知識性能を高め、これにより、文字認識精度を向上することができる。 As described above, according to the present invention, it is possible to improve knowledge performance in accordance with a certain tendency, thereby improving character recognition accuracy.
(第1実施形態)
以下、図面を参照して本発明の実施の形態を図面を参照して詳細に説明する。
図1は本発明に係る第1実施形態のデジタルビデオレコーダの構成を示す図である。
(First embodiment)
Embodiments of the present invention will be described below in detail with reference to the drawings.
FIG. 1 is a diagram showing the configuration of a digital video recorder according to the first embodiment of the present invention.
この第1実施形態のデジタルビデオレコーダ1は、レコーダとしての基本機能であるTVチューナー部、デジタルビデオ録画部、表示操作部などの他、図1に示すように、知識辞書11、照合用辞書作成部12、照合用辞書13、テロップ認識部14、単語照合処理部15、知識辞書更新部16、更新用情報17、処理結果の出力部としてのテレビモニター18、外部情報取得部19などテロップ認識および知識辞書更新手段を備えている。
The
TVチューナー部は、アナログ放送またはデジタル放送のテレビ番組を受信する。TVチューナー部は、受信したテレビ番組の映像情報をテロップ認識部14へ出力する。デジタルビデオ録画部は、TVチューナー部により受信されたテレビ番組をハードディスク装置、DVD、DVテープ、フラッシュメモリなどのいずれかの記憶媒体にデジタル録画する。表示操作部は、利用者からの入力操作を受け付ける。入力操作とは、チャネル切り替え操作、音量調整操作、番組録画予約操作、番組録画操作、デジタルビデオ再生操作などである。
The TV tuner unit receives an analog broadcast or a digital broadcast television program. The TV tuner unit outputs the received video information of the TV program to the
このデジタルビデオレコーダ1は、CPU、メモリ、ハードディスク装置などのハードウェアを備える。照合用辞書13および更新用情報17などは一時的に作成される情報であり、メモリまたはハードディスク装置などに記憶される。知識辞書11は、ハードディスク装置などに記憶されている。
The
外部情報取得部19、知識辞書11、照合用辞書作成部12、単語照合用の一時辞書としての照合用辞書13、単語照合処理部15、知識辞書更新部16などは、文字認識処理の後に知識辞書11の更新を行うため後処理部10と称す。後処理部10は、ハードウェアでもソフトウェアでも実現できる。この後処理部10に対してテロップ認識部14およびテレビモニター18などは外部の構成要素といえる。つまりテロップ認識部14は、外部に存在する認識手段である。
The external
外部情報取得部19は、例えばインターネット上のEPGサーバにアクセスし、EPGサーバより電子番組情報A(以下EPG情報Aと称す)をダウンロードし取得する。EPG情報Aは、インターネット上に公開されている外部の情報であり、単語または単語のジャンルに関する情報などを有している。外部情報取得部19は、具体的には、例えば光モデムに接続されるLANカード、ルータ、無線LANなどのインターネットへアクセスする装置が該当する。
The external
照合用辞書作成部12は、外部情報取得部19が外部から取得したEPG情報Aと知識辞書11の情報とを用いて単語照合処理部15において用いる照合用辞書13を作成する照合用辞書作成手段として機能する。
The collation
テロップ認識部14は、例えば利用者がニュース番組などを視聴中に、TVチューナー部から入力されたニュース番組の映像情報からテロップを認識し、認識結果として、ニュース番組の司会者の氏名などを文字列として取得する。また、音楽番組では、歌手名や歌詞などをテロップの認識結果として得る。
The
テロップ認識技術については画像(イメージデータ)から文字列(テキストデータ)を認識する既存の文字認識技術が利用されている。具体的には、テロップ認識部14は、画像から文字の範囲を検出および切り出し、文字イメージとテキストデータとを対応させた辞書を用いて切り出した文字イメージとのマッチングを行い、文字イメージが一致または類似するテキストデータを辞書から読み出して出力する。
As the telop recognition technology, an existing character recognition technology for recognizing a character string (text data) from an image (image data) is used. Specifically, the
知識辞書更新部16は、テロップ認識部14により認識されたテロップの認識結果に対して、照合用辞書作成部12により作成された照合用辞書13を用いて知識処理、つまり単語の照合処理を行い、テロップ認識部14による文字認識結果を評価して知識辞書11を更新するための更新用情報17を作成し、評価結果を例えばテレビモニター18へ出力する。また、単語照合処理部15は、単語の照合処理(知識処理)により作成した更新用情報17をメモリに一時記憶し、知識辞書更新部16からの読み出で出力する。
The knowledge
以下、このデジタルビデオレコーダ1において、知識処理を行う手段としてのテロップ認識部14、外部情報としてインターネット上のEPGサーバにより公開されているEPG情報Aをダウンロードして利用する場合を例にして説明する。
Hereinafter, in this
知識辞書11は、知識処理に用いるジャンル情報を付加された単語のうち既に登録されたものを含む辞書データベースである。
The
図2に示すように、知識辞書11には、各単語に対して、該単語が出現するジャンル、及び各ジャンルにおける該単語の出現回数、該単語への置換数、該単語への置換が誤りであった回数(以下誤置換数と称す)などの評価の基となる値が記憶されている。
As shown in FIG. 2, in the
ここで、該単語への置換数とは、認識結果中の該単語であると判断された部分が該単語と異なっていたため該単語への置き換えを実行した回数、誤置換数は置き換えのうちテロップ認識部14が誤った置き換えを行っていた回数である。
このように知識辞書11は、単語のジャンルに対して個別に情報を持っているが、必ずしもジャンル毎に持つ必要はなく、複数のジャンルをまとめて扱ってもよい。また、知識辞書11は、各ジャンルに対して、該ジャンルであると判断して照合を行った回数を保持する。
Here, the number of replacements with the word is the number of times the replacement was performed because the portion determined to be the word in the recognition result is different from the word, and the number of replacements is the telop of the replacements. This is the number of times that the
As described above, the
本実施形態における知識辞書11は、上記した内容を含むものとするが、知識辞書11に含まれる内容は上記に限らず、例えば各単語の最終出現時刻などを含んでいてもよく、また、1週間毎、1ヶ月毎などでの出現数を統計的に分析したヒストグラムを含んでいてもよい。また、知識辞書11において単語を分類(または区分)する条件は、ジャンルだけに限らず、例えば該単語を発しやすい人物などの氏名情報などを加え、単語を分類するための条件の一つとしてもよい。
The
照合用辞書作成部12は、認識結果の文字列または単語などをキーにして、外部情報取得部19がインターネット上のEPGサーバよりダウンロードしたEPG情報Aから、知識辞書11から照合用辞書13に加える単語を抽出するためのキーワードおよび照合用辞書13に加える単語を取得し、キーワードによって知識辞書11から抽出した単語、ジャンルおよび照合用辞書13に加える単語を基に照合用辞書13を作成し、後述の単語照合処理部15に照合用辞書13を与える機能を有している。
The collation
本実施形態では、キーワードは番組のジャンル(ニュース、スポーツ、経済、社会など)、照合用辞書13に加える単語は、番組の出演者の名前とするが、キーワードとしては、単語自体を使っても良く、これ以外に例えば番組名や放送日時を使っても良い。また、照合用辞書13に加える単語としては、番組の出演者の名前だけでなく、例えば番組の内容説明文から構文解析によって抜き出した単語など、他の情報を用いてもよい。
In this embodiment, the keyword is the genre of the program (news, sports, economy, society, etc.), and the word added to the
つまり、照合用辞書作成部12は、文字認識により得られた単語またはジャンルをキーにして、知識辞書11と外部の情報提供手段であるEPGサーバから文字列または単語とこれらの文字列または単語を分類する情報とを取得し照合用の辞書を作成する照合用辞書作成手段として機能する。
That is, the collation
ここで、図3を参照してこのデジタルビデオレコーダ1における照合用辞書13の作成動を説明する。図3はキーワードとしてジャンル「スポーツ」、照合用辞書13に加える単語として番組の出演者の名前「東京太郎」、知識辞書11として図3の中に示した知識辞書11を用い、照合用辞書13を作成する流れを説明するための図である。
Here, with reference to FIG. 3, the creation operation of the
図3に示すように、照合用辞書作成部12は、まず知識辞書11の各単語に付加された出現ジャンル情報を調べて「スポーツ」を含む単語を抽出し、ジャンル「スポーツ」の照合回数と抽出された単語の情報を用いて照合用辞書13を作成する。
As shown in FIG. 3, the collation
出現率は単語の出現回数/ジャンルの照合回数を、置換率は単語の置換回数/単語の出現回数を、誤置換率は、単語の誤置換回数/単語の置換回数を、それぞれ割り合い(%)を換算することによって計算する。 The appearance rate is the number of occurrences of words / the number of genre matching, the replacement rate is the number of replacements of words / the number of appearances of words, and the error replacement rate is the ratio of the number of word replacements / the number of word replacements (% ) By converting.
次に、照合用辞書13に加える単語として指定された単語に対して適当な出現率・置換率・誤置換率を与え、元の照合用辞書13に追加する。以上により、新たな照合用辞書13が作成される。
Next, an appropriate appearance rate / replacement rate / error replacement rate is given to the word specified as a word to be added to the
なお、照合用辞書13は、上記形式に限定されず、例えば最終出現時刻など上記以外の情報を用いてもよく、各比率の計算方法として例えば全ての分母をジャンルの出現回数とするなど他の方法を用いてもよい。また、本実施例では上記のように計算を行っているが、単純に出現ジャンル情報に「スポーツ」を含む単語を抽出するだけでもよい。
Note that the
単語照合処理部15は、照合用辞書作成部12によって作成された新たな照合用辞書13を用いて、テロップ認識部14のテロップ認識結果の「東京大郎大活躍!」という文字列に対して知識処理、つまり単語照合処理を行うことで、テロップ認識結果を評価し、知識辞書11を更新するための更新用情報17を作成する。
The word
本実施形態では、知識処理として動的計画法に基づく単語照合処理の例を説明するが、これ以外に形態素解析を行って形態素単位に分割し、形態素単位で単語照合処理を行うなどの処理を行ってもよい。 In this embodiment, an example of word matching processing based on dynamic programming is described as knowledge processing. However, other processing such as morpheme analysis is performed to divide into morpheme units, and word matching processing is performed in morpheme units. You may go.
動的計画法は、2つの系列データの類似性を計算する場合に一般に用いられる手法である。動的計画法の最も基本的な計算方法を図4に示す。 Dynamic programming is a method generally used when calculating the similarity of two series data. The most basic calculation method of dynamic programming is shown in FIG.
図4に示すように、cost_u(n)は、照合先の第n文字目を照合元のいずれの文字にも割り当てられない文字であるとするコスト、cost_r(n)は、照合元の第n文字目が照合先のいずれの文字にも割り当てられない文字であるとするコスト、cost_p(n,m)は照合元の第n文字目を照合先の第m文字目に割り当てるコストである。 As shown in FIG. 4, cost_u (n) is a cost that the nth character of the collation destination is a character that is not assigned to any character of the collation source, and cost_r (n) is the nth character of the collation source The cost that the character is a character that cannot be assigned to any character of the collation destination, and cost_p (n, m) is the cost that the nth character of the collation source is assigned to the mth character of the collation destination.
動的計画法は、上記した計算を左下の点から右上の点へと順次行い、各点に対して到達するために必要となる最小コスト、およびその最小コストを生み出す経路を計算し、上記の経路を照合結果とする手法である。 The dynamic programming sequentially performs the above calculation from the lower left point to the upper right point, calculates the minimum cost required to reach each point, and the path that generates the minimum cost. This is a method of using a route as a matching result.
従って、最右最上の点における最小コストを計算すれば、照合元の中で最も照合先に近い部分を求めることができる。この処理を以下マッチングと称する。 Therefore, if the minimum cost at the uppermost rightmost point is calculated, it is possible to obtain the portion closest to the collation destination among the collation sources. This process is hereinafter referred to as matching.
本実施形態では、照合用辞書13に登録されている各単語が図4の中の照合先、テロップ認識部14により認識されたテロップの認識結果が、図4の中の照合元である。
In the present embodiment, each word registered in the
また、コストを求める各コスト関数は、照合元(認識結果)のn番目の要素をY(n)、照合先(照合用辞書13の単語)のm文字目をD(m)として、例えば
但し、照合元(認識結果)における各文字の類似度および大きさは、テロップ認識部14から与えられるものとする。また、Cost(1,1)=0とする。
In addition, each cost function for obtaining a cost is represented by assuming that the nth element of the collation source (recognition result) is Y (n) and the m-th character of the collation destination (word of the collation dictionary 13) is D (m), for example.
However, the similarity and size of each character in the collation source (recognition result) are given from the
但し、各コスト関数の計算法は、上記に限らず、例えば図5に一例を示す各文字の情報を保持するデータベースを使って計算してもよい。
この場合、S(n)を照合元(認識結果)のn文字目、D(m)を照合先(照合用辞書13の単語)のm文字目とすると、例えば
In this case, if S (n) is the nth character of the collation source (recognition result) and D (m) is the mth character of the collation destination (word of the collation dictionary 13), for example
図6は、単語照合処理部15が、上記式(2)のコスト関数を用いてテロップの認識結果「東京大郎大活躍!」に対して照合用辞書13内の単語w「東京太郎」をマッチングした結果を示す図である。
In FIG. 6, the word
図6において、太線矢印は、最終的なマッチング結果を示しており、照合用辞書13のエントリ「東京太郎」は、認識結果「東京大郎大活躍!」の1文字目から4文字目にマッチングし、そのマッチングコストは3.0であることになる。
In FIG. 6, the bold arrow indicates the final matching result, and the entry “Tokyo Taro” in the
図7は、図6に示したマッチング結果を求める計算過程の一部を詳細に示した図である。以上のようにして求めたコストを、各単語の計算コストC(w)とする。新たな照合用辞書13に含まれる該単語の出現率、置換率、誤置換率、および計算コストC(w)を用いて、各単語の最終的なコストF(w)を計算する。コストF(w)は、例えば
この場合は、上記式(3)に最終出現時刻から現在までの時間をかけたものを新たなF(w)とするなどの方法がある。 In this case, there is a method such that a new F (w) is obtained by multiplying the above expression (3) by the time from the last appearance time to the present time.
次に、単語照合処理部15は、照合用辞書13に登録された全単語wから、単語Xを例えば
単語照合処理部15は、単語Xの認識結果「東京大郎大活躍!」に対するマッチング位置を調べ、該位置の認識結果が単語Xと異なれば、該当部分を単語Xに置換するなどの知識処理を行い、該知識処理の結果を出力する。
Next, the word
The word
上記の例では、単語Xは「東京太郎」であり、認識結果におけるマッチング位置の内容は「東京大郎」であるため、認識結果の当該部分「東京大郎」が単語X「東京太郎」に置換されて置換された全体の文字列は「東京太郎大活躍!」となる。 In the above example, since the word X is “Tokyo Taro” and the content of the matching position in the recognition result is “Tokyo Taro”, the portion “Tokyo Taro” in the recognition result is changed to the word X “Taro Taro”. The entire character string replaced is “Tokyo Taro Great!”.
最後に、単語照合処理部15は、マッチング結果および置換を行った置換情報から、例えば図8に示すような知識辞書11の更新用情報17を作成し、それをメモリに記憶または知識辞書更新部16へ出力する。本実施形態における更新用情報17は、図8に示すように、「スポーツ」というジャンルに単語「東京太郎」が、出現したか「Yes」、置換を行ったか「Yes」、置換は正しかったか「Yes」などのように設定される。
Finally, the word
知識辞書更新部16は、図5のような文字毎の情報を用いる場合には、上記単語照合処理部15によるマッチング結果を基に文字毎の情報を更新する。
知識辞書更新部16は、文字の修正を行う場合、例えば文字毎の情報として出現数・正読数・消失数を、他の情報として照合の全実行数を用いて文字の修正を行う。
When the information for each character as shown in FIG. 5 is used, the knowledge
When correcting the character, the knowledge
上記の情報を用いることで出現率は出現数/照合の全実行数、正読率は正読数/出現数、消失率は消失数/出現数の%換算とそれぞれ定義できる。
また、知識辞書11の情報の更新は、置換した単語に含まれる全ての文字に対して出現数を、上記のうち単語照合処理部15による修正が行われていない全ての文字に対して正読数を、置換した単語に含まれる文字のうち単語照合処理部15によって置換元の単語に追加された文字に対して消失数を、無条件に照合の全実行数を、それぞれ1だけ加算することにより実現できる。
By using the above information, the appearance rate can be defined as the number of appearances / the total number of collations, the correct reading rate can be defined as the number of correct readings / the number of appearances, and the disappearance rate can be defined as a percentage conversion of the number of disappearances / the number of appearances.
In addition, the information in the
図8において、知識辞書更新部16は、知識辞書11に対して最初に新たな単語の追加・更新を行う。この場合、知識辞書11に新たに加えられる単語は「東京太郎」、ジャンルは「スポーツ」である。
In FIG. 8, the knowledge
まず、更新用情報17に含まれるジャンル情報の照合回数を1だけ増やす。これにより、知識辞書11に当初「100」と設定されていた照合回数が+1カウントされて「101」に更新される。
First, the number of verifications of the genre information included in the
次に、知識辞書更新部16は、知識辞書11の中で単語を探し、該単語が知識辞書11に存在した場合、その単語の出現回数を1だけ増やす。置換が行われていない場合は、これで更新処理を終了する。つまり、知識辞書更新部16は、知識辞書11に新たに加えた単語「東京太郎」、ジャンル「スポーツ」について、更新用情報17の、出現したか「Yes」という設定に従い、出現回数を「1」と設定する。
Next, the knowledge
続いて、知識辞書更新部16は、置換が行われている場合、該単語の置換数を1だけ増やす。つまり、知識辞書更新部16は、更新用情報17の、置換を行ったか「Yes」という設定に従い、置換数を「1」と設定する。
Subsequently, the knowledge
さらに、知識辞書更新部16は、置換が誤りである場合には、誤置換数も1だけ増やす。つまり、知識辞書更新部16は、更新用情報17の、置換は正しいか「Yes」という設定に従い、誤った置換はなかったため、誤置換数を「0」のままとする。以上のようにして知識辞書11の更新を行うことができる。
Furthermore, the knowledge
なお、該単語が知識辞書11に存在する場合は、新たに単語としてはないので、出現回数を「0」に設定し、置換数と誤置換数は、更新用情報17を参照して設定する。以上で単語の追加・更新が終了する。
なお、知識辞書11の更新は上記のみに限らず、例えば各単語の最終出現時刻を用いる場合には該単語の最終出現時刻を更新処理を行った時間に設定するなどしてもよい。
If the word exists in the
The update of the
また、知識辞書更新部16は、単語の削除を行う。以下には、単語の削除を行う場合の追加処理の一例を示す。
知識辞書更新部16は、まず、知識辞書11に含まれる単語の数が知識辞書11の単語の最大値を超えていないかを調べる。
Moreover, the knowledge
The knowledge
知識辞書更新部16は、単語の数が知識辞書11の単語の最大値を超えていない場合、単語の削除を終了する。また、知識辞書更新部16は、単語の数が知識辞書11の単語の最大値を超えている場合には、各単語wに対して評価尺度T(w)を計算する。評価尺度T(w)は、Jを該単語に与えられているジャンルの集合であるものとすると、例えば
次に、全単語wから、削除する単語Zを、例えば
以上の処理を、知識辞書11に含まれる単語の数が最大値以下になるまで繰り返す。
なお、本実施形態では、単語数の制限を用いて削除を行っているが、例えば評価尺度T(w)の値が一定以下になった場合に削除するなど、他の基準で削除を行ってもよい。
The above processing is repeated until the number of words included in the
In this embodiment, deletion is performed by using the restriction on the number of words. However, deletion is performed based on other criteria such as deletion when the value of the evaluation scale T (w) is below a certain value. Also good.
以上説明したように、本実施形態のデジタルビデオレコーダ1によれば、利用者である視聴者がテレビ番組を視聴する際のテレビ番組のジャンル毎の情報に関して視聴者毎の番組の嗜好に応じて知識辞書11を更新してゆくことで、よりジャンルに適応した知識処理が可能となり、その結果、知識処理の性能を向上することができる。
As described above, according to the
また、視聴者の選択した番組の内容と単語照合処理部15の単語照合結果に応じて知識辞書11を変更することにより、視聴者の嗜好を取り入れることができる。
Further, by changing the
すなわち、視聴者の選択と単語照合結果(知識処理結果)に応じて知識辞書11を更新するので、視聴者の選択する内容や単語照合処理部15の照合特性に応じて単語の認識精度を向上することができる。
この結果、ある傾向(この例の場合は視聴者が視聴する番組の好み)に合わせて知識性能を高め、これにより、文字認識精度を向上することができる。
That is, since the
As a result, the knowledge performance can be enhanced in accordance with a certain tendency (in this example, the preference of the program viewed by the viewer), and thereby the character recognition accuracy can be improved.
なお、本発明は上記実施形態のみに限定されるものではない。
上記実施形態では、デジタルビデオレコーダ1において番組のテロップ認識を行う場合について説明したが、この他、本発明は、例えばカメラによる顔認識などにも適用できる。
In addition, this invention is not limited only to the said embodiment.
In the above embodiment, the case where the telop recognition of a program is performed in the
1…デジタルビデオレコーダ、10…後処理部、11…知識辞書、12…照合用辞書作成部、13…照合用辞書、13…照合用辞書、14…テロップ認識部、15…単語照合処理部、16…知識辞書更新部、17…更新用情報、18…テレビモニター、19…外部情報取得部。
DESCRIPTION OF
Claims (6)
複数の単語と、各単語を分類する条件としてのテレビ番組のジャンルを含む付加情報と、各ジャンルにおける該単語の出現回数を含む評価の基となる統計値とが記憶された知識辞書と、
前記テレビ番組の電子番組ガイド情報を外部の情報提供手段から取得し、前記電子番組ガイド情報から、テレビ番組のジャンル名を含む予め設定された情報を、照合用の辞書に加える単語を抽出するためのキーワードとして抽出し、前記キーワードによって前記知識辞書から単語を抽出し、抽出した前記単語に付与されていた付加情報を調べて、調べた付加情報に前記電子番組ガイド情報から得た単語と、この単語の出現回数とジャンルの照合回数から割り出される出現率とを対応させた前記照合用の辞書を作成する照合用辞書作成手段と、
前記テロップ認識部により文字認識された単語と、前記キーワードを基に前記照合用の辞書から抽出された単語とを比較し互いの類似性を計算することにより前記文字認識結果の単語に対する評価尺度を算出する照合処理手段と、
前記照合処理手段により算出された単語の評価尺度が予め設定した閾値を超えた場合に前記知識辞書のテロップ認識に用いた単語とその付加情報および統計値を更新する知識辞書更新手段と
を具備することを特徴とする文字認識装置。 A telop recognition unit that recognizes characters in TV program telops;
A knowledge dictionary storing a plurality of words, additional information including a genre of a television program as a condition for classifying each word, and statistical values serving as a basis for evaluation including the number of appearances of the word in each genre;
Acquires electronic program guide information of the television program from an external information providing device, from the electronic program guide information, the preset information including the genre name of the television program, and extracts the words added to the dictionary for matching And extracting the word from the knowledge dictionary by the keyword, examining the additional information attached to the extracted word, the word obtained from the electronic program guide information to the additional information examined, A matching dictionary creating means for creating the matching dictionary in which the number of appearances of the word and the appearance rate calculated from the number of matching of the genre are associated;
By comparing the word recognized by the telop recognition unit with the word extracted from the matching dictionary based on the keyword and calculating the similarity between them, an evaluation scale for the word of the character recognition result is obtained. Collation processing means to calculate;
A knowledge dictionary updating means for updating the word used for telop recognition of the knowledge dictionary and its additional information and statistical values when the word evaluation scale calculated by the matching processing means exceeds a preset threshold value. A character recognition device.
文字認識および/または電子番組ガイド情報から得られた前記単語と前記付加情報を前記知識辞書に追加して前記知識辞書を更新することを特徴とする請求項1記載の文字認識装置。 The knowledge dictionary update means
2. The character recognition apparatus according to claim 1, wherein the knowledge dictionary is updated by adding the word obtained from character recognition and / or electronic program guide information and the additional information to the knowledge dictionary.
前記知識辞書を更新する際に、前記単語の統計値を増やすことを特徴とする請求項2記載の文字認識装置。 The knowledge dictionary updating means
The character recognition device according to claim 2, wherein a statistical value of the word is increased when the knowledge dictionary is updated.
前記テレビ番組のテロップを前記テロップ認識部が文字認識するステップと、
前記照合用辞書作成手段が、外部の情報提供手段から取得されたテレビ番組の電子番組ガイド情報から、テレビ番組のジャンル名を含む予め設定された情報を、照合用の辞書に加える単語を抽出するためのキーワードとして抽出し、前記キーワードによって前記知識辞書から単語を抽出し、抽出した前記単語に付与されていた付加情報を調べて、調べた付加情報に前記電子番組ガイド情報から得た単語と、この単語の出現回数とジャンルの照合回数から割り出される出現率とを対応させた前記照合用の辞書を作成するステップと、
前記テロップ認識部により文字認識された単語と、前記キーワードを基に前記照合用の辞書から抽出された単語とを比較し互いの類似性を計算することにより前記文字認識結果の単語に対する評価尺度を算出するステップと、
前記単語の評価尺度が予め設定した閾値を超えた場合に前記知識辞書更新手段が前記知識辞書のテロップ認識に用いた単語とその付加情報および統計値を更新するステップと
を有することを特徴とする文字認識方法。 Knowledge in which a telop recognition unit stores a plurality of words, additional information including a genre of a television program as a condition for classifying each word, and statistical values serving as a basis for evaluation including the number of appearances of the word in each genre In a character recognition method by a character recognition device comprising a dictionary, a collation dictionary creation means, a collation processing means and a knowledge dictionary update means,
Recognizing the telop of the television program by the telop recognition unit;
Extracting the collation dictionary creating means, from the electronic program guide information of a television program obtained from the outside information providing means, the preset information including the genre name of the television program, the word is added to the dictionary for matching And extracting the word from the knowledge dictionary by the keyword, examining the additional information given to the extracted word, and adding the word obtained from the electronic program guide information to the examined additional information Creating a dictionary for matching, in which the number of appearances of the word and the appearance rate calculated from the number of matching of the genre are associated with each other;
By comparing the word recognized by the telop recognition unit with the word extracted from the matching dictionary based on the keyword and calculating the similarity between them, an evaluation scale for the word of the character recognition result is obtained. A calculating step;
The knowledge dictionary updating means updates the word used for telop recognition of the knowledge dictionary and its additional information and statistical values when the word evaluation scale exceeds a preset threshold. Character recognition method.
文字認識および/または電子番組ガイド情報から得られた前記単語と前記付加情報を前記知識辞書に追加して前記知識辞書を更新することを特徴とする請求項4記載の文字認識方法。 The knowledge dictionary updating means
5. The character recognition method according to claim 4, wherein the knowledge dictionary is updated by adding the word obtained from character recognition and / or electronic program guide information and the additional information to the knowledge dictionary.
前記知識辞書を更新する際に、前記単語の統計値を増やすことを特徴とする請求項5記載の文字認識方法。 The knowledge dictionary updating means
6. The character recognition method according to claim 5, wherein a statistical value of the word is increased when the knowledge dictionary is updated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005287413A JP4528705B2 (en) | 2005-09-30 | 2005-09-30 | Character recognition device and character recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005287413A JP4528705B2 (en) | 2005-09-30 | 2005-09-30 | Character recognition device and character recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007102264A JP2007102264A (en) | 2007-04-19 |
| JP4528705B2 true JP4528705B2 (en) | 2010-08-18 |
Family
ID=38029185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005287413A Expired - Fee Related JP4528705B2 (en) | 2005-09-30 | 2005-09-30 | Character recognition device and character recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4528705B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4916950B2 (en) * | 2007-05-14 | 2012-04-18 | ヤフー株式会社 | Moving image comparison apparatus, moving image comparison method, and moving image comparison program |
| JP5095518B2 (en) * | 2008-06-20 | 2012-12-12 | シャープ株式会社 | CHARACTER STRING GENERATION DEVICE AND METHOD, CHARACTER STRING GENERATION PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE CHARACTER STRING GENERATION PROGRAM |
| JP5091806B2 (en) | 2008-09-01 | 2012-12-05 | 株式会社東芝 | Video processing apparatus and method |
| JP5101584B2 (en) * | 2009-09-16 | 2012-12-19 | 東芝テック株式会社 | Dictionary update device, dictionary update program, character recognition device, and character recognition program |
| JP5845764B2 (en) * | 2011-09-21 | 2016-01-20 | 富士ゼロックス株式会社 | Information processing apparatus and information processing program |
| CN105095837B (en) * | 2014-05-15 | 2018-11-30 | Tcl集团股份有限公司 | A kind of TV station symbol recognition method and system |
| CN107135402A (en) * | 2016-02-29 | 2017-09-05 | 无锡天脉聚源传媒科技有限公司 | A kind of method and device for recognizing TV station's icon |
| CN107133631A (en) * | 2016-02-29 | 2017-09-05 | 无锡天脉聚源传媒科技有限公司 | A kind of method and device for recognizing TV station's icon |
| CN113705300B (en) * | 2021-03-16 | 2025-07-22 | 腾讯科技(深圳)有限公司 | Method, device and equipment for acquiring phonetic and text training corpus and storage medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274702A (en) * | 1993-03-23 | 1994-09-30 | Oki Electric Ind Co Ltd | Character recognizing device |
| JPH07200743A (en) * | 1994-01-06 | 1995-08-04 | Nippon Telegr & Teleph Corp <Ntt> | Word recognition accuracy estimation device |
| JP3274014B2 (en) * | 1994-03-28 | 2002-04-15 | 松下電器産業株式会社 | Character recognition device and character recognition method |
| JP2000251017A (en) * | 1999-02-25 | 2000-09-14 | Toshiba Corp | Word dictionary creation device and word recognition device |
| JP2003173421A (en) * | 2001-12-07 | 2003-06-20 | Hitachi Ltd | Character recognition result correction device |
-
2005
- 2005-09-30 JP JP2005287413A patent/JP4528705B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007102264A (en) | 2007-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8316014B2 (en) | Recording medium storing information attachment program, information attachment apparatus, and information attachment method | |
| US7809568B2 (en) | Indexing and searching speech with text meta-data | |
| US8311807B2 (en) | Periodically extracting and evaluating frequency of occurrence data of unregistered terms in a document for updating a dictionary | |
| US20060200464A1 (en) | Method and system for generating a document summary | |
| CN101778233B (en) | Data processing apparatus, data processing method | |
| JP6857983B2 (en) | Metadata generation system | |
| JP4580885B2 (en) | Scene information extraction method, scene extraction method, and extraction apparatus | |
| WO2005122144A1 (en) | Speech recognition device, speech recognition method, and program | |
| JP6406988B2 (en) | Speech recognition error correction device | |
| JP5296598B2 (en) | Voice information extraction device | |
| CN101770507A (en) | Data processing apparatus, data processing method, and program | |
| CN113779970B (en) | Text error correction method, device, equipment and computer readable storage medium | |
| CN114547370A (en) | Video abstract extraction method and system | |
| JP4528705B2 (en) | Character recognition device and character recognition method | |
| US20100262994A1 (en) | Content processing device and method, program, and recording medium | |
| US7739111B2 (en) | Pattern matching method and apparatus and speech information retrieval system | |
| JP2012053403A (en) | Language model processing device and voice recognition device, and program | |
| Witbrock et al. | Speech recognition for a digital video library | |
| Moscato et al. | Multiple regression techniques for modelling dates of first performances of Shakespeare-era plays | |
| JP2004295102A5 (en) | ||
| JP6358744B2 (en) | Speech recognition error correction device | |
| US20060047647A1 (en) | Method and apparatus for retrieving data | |
| JP4239850B2 (en) | Video keyword extraction method, apparatus and program | |
| JP2007058562A (en) | Content classification device, content classification method, content classification program, and recording medium | |
| JP2004240488A (en) | Document management device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091030 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100323 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100607 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4528705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |