Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JPH079654B2 - 片仮名単語誤り検出訂正装置 - Google Patents
[go: Go Back, main page]

JPH079654B2 - 片仮名単語誤り検出訂正装置 - Google Patents

片仮名単語誤り検出訂正装置

Info

Publication number
JPH079654B2
JPH079654B2 JP1198692A JP19869289A JPH079654B2 JP H079654 B2 JPH079654 B2 JP H079654B2 JP 1198692 A JP1198692 A JP 1198692A JP 19869289 A JP19869289 A JP 19869289A JP H079654 B2 JPH079654 B2 JP H079654B2
Authority
JP
Japan
Prior art keywords
katakana
word
character
character string
string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1198692A
Other languages
English (en)
Other versions
JPH0362260A (ja
Inventor
伸一郎 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP1198692A priority Critical patent/JPH079654B2/ja
Publication of JPH0362260A publication Critical patent/JPH0362260A/ja
Publication of JPH079654B2 publication Critical patent/JPH079654B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、日本文の文書データベース等を作成するにあ
たり、入力された日本文文字列に含まれる片仮名の誤字
や表記の不統一を自動的に検出し、さらに誤字の場合に
は、訂正のための候補文字列を自動的に抽出する片仮名
単語誤り検出訂正装置に関する。
〔従来の技術〕
各種技術や情報の国際化、さらには日本語の変遷などに
伴って、日本語の文書内に片仮名表記の単語が多用され
るようになった。このため、各種マニュアルや科学技術
論文、出版用原稿、事務文書などの日本文の文書を電子
ファイル化する場合に、専門用語や固有名詞あるいは一
部の一般語について片仮名語が頻出し、これに伴って、
作成者の思い違い(誤:インターフェイス/正:インタ
フェース)や日本語ワードプロセッサに代表される文書
入力装置の入力誤り(誤:コンピュター/正:コンピュ
ーター)や漢字OCRに代表される文字認識誤り(誤差:
ピツチ/正:ピッチ)など種々の誤りが発生する。ま
た、誤字ばかりではなく、片仮名単語には文書作成者に
応じた表記のゆらぎも頻発する。たとえば、ファックス
/ファクス/ファクシミリなどはどれも個々の用語とし
ては必ずしも誤りといえないが、同一の意味を示す用語
なので、表記は統一すべきである。
従来、こうした状況に対して、人手で行う校正におい
て、片仮名用語の誤りや表記のゆらぎを検出する作業
は、片仮名用語が外来語に由来するものの数が多く、ま
た発音をそのまま片仮名表記する傾向もあるために、漢
字用語や平仮名用語に比べて、 (1)用語の正しい表記をすべて覚えきれない 例:正シミュレート/シュミレート(疑似すること) (2)文字の類似性により誤りが見過ごされやすい 例:正デバグ/デバッグ(プログラムの誤りを検出する
こと) (3)文書中に点在した表記のゆらぎがある用語の抽出
が難しい (4)表記のゆらぎのある用語についてそのゆらぎ表記
と統一表記とをすべて覚えきれないなどの要因により、
片仮名文字の誤りや不統一表記の検出処理や、検出され
た場合での正解の候補単語の抽出処理が困難であり、校
正の精度の低下や処理時間の増大という問題があった。
一方、単語認識の精度向上のために、認識装置の読み取
り結果と正しい用語で構成される認識用辞書とを高速に
照合し、その照合値の度合によって認識誤りを排除する
方式が考案されている(例えば、特願昭61−248415
号)。この方式の文字照合法による訂正手段の処理の流
れを第6図に示す。ここで、101は検出された片仮名の
誤り文字列、102は誤字、103は正字、104は予め作成さ
れた片仮名単語候補列(認識用辞書の一部)、105は照
合値1.0が与えられる文字とその位置、106は照合値0.8
が与えられる文字とその位置で、106を1文字後方に移
動したもの、107は照合値0.8が与えられる文字とその位
置で、105を1文字前方に移動したもの、108は各単語候
補との照合結果、109は評価値、110は評価値が最も高い
単語候補である。
この例では、認識結果が101で示す片仮名の誤り文字列
「デコタル」(正解は「デジタル」)であった場合にお
いて、該片仮名文字列を認識結果から抽出して、各文字
の位置に応じた照合値105,106,107をそれぞれ設定す
る。ここで、106,107のように、前後に1文字移動した
文字に対して照合値を付与するのは、誤字のほかに脱字
や誤挿を想定しているからである。この際には、脱字や
誤挿の発生頻度が一般に誤字より低いため、照合値も0.
8と下げてある。こうして照合値を設定した後、認識用
辞書の一部である片仮名単語候補列104のそれぞれの候
補に対して、105,106,107で設定した照合値を一致した
文字位置に応じて付与する。ここで、該当する文字がな
い場合には0を付与する。この後で各候補に対して評価
値(照合値の合計値)109を算出し、評価値が最も高い
単語候補110として「デジタル」を抽出する。
このように、片仮名文字とその位置に応じた照合値を設
定し、単語候補との照合によって、誤った片仮名単語
「デコタル」に対する訂正候補「デジタル」を抽出する
ことができる。しかし、この方式では、実際の文書に出
現する片仮名単語を対象とする場合には、単語候補が膨
大となり、したがって、照合対象が多数となり、単語候
補の検索時間や照合時間が増大する問題がある。また、
片仮名単語での拗音などに誤りが発生した場合には、文
字の形が異なるため、誤った単語候補を抽出することが
あるという問題がある。
拗音の誤り発生による誤った訂正候補抽出の事例を第7
図に示す。ここで、「×」印の111は誤って抽出された
単語候補である。この例は、日本語ワードプロセッサの
ローマ字入力の片仮名漢字変換で頻繁に発生する拗音へ
の誤りの場合である。すなわち、「ソ(SO)」と「ショ
(SYO)」は入力時の1つのキー操作の誤りで発生し、
かつ文字の形が全く異なるために、「ショ」を含む片仮
名単語候補の方が「ソ」を含む片仮名単語候補より高い
評価値が与えられ、正解語の「ソリッド」が上位で抽出
されず誤った単語候補を抽出することとなる。
さらに、文書中には、同一の片仮名単語を何度も使用す
る場合が多いが、この際には同一の意味の片仮名単語で
も、その表記にゆらぎがあるものを適当に使用してしま
うことがある。たとえば、ファックス/ファクス/ファ
クシミリなどは同一の意味を示す用語なので、表記は統
一するべきである。しかし、どの片仮名単語表記も個々
には正しい表記であり、誤りとしては検出されないこと
から、従来は表記のゆらぎによる片仮名単語の誤りの検
出ができず、これに伴って訂正候補を抽出することがで
きなかった。
〔発明が解決しようとする課題〕
以上のように、従来は片仮名単語の候補の増大に伴い、
人手での誤りの検出精度や訂正候補の抽出精度の低下や
処理時間の増大、という校正作業の負荷となる問題があ
った。また、片仮名文字列を正しい片仮名単語の候補辞
書と高速に照合することにより訂正候補を抽出する方式
では、実際の文書に出現する片仮名単語を対象とする場
合に単語候補が膨大となり単語候補の検索時間や照合時
間などの処理時間が増大するという問題、あるいは拗音
などに誤りが発生した場合の訂正候補の抽出精度が低下
するという問題があった。さらに、表記にゆらぎがある
片仮名単語に対する訂正候補の抽出ができないという問
題があった。
本発明の目的は、上記従来の問題点を解決し、処理速度
の向上および訂正精度の向上を図った片仮名単語誤り検
出訂正装置を提供することにある。
〔課題を解決するための手段〕
上記の目的を実現するために、本発明の片仮名単語誤り
検出訂正装置においては、入力された日本文文字列に対
して日本語単語辞書および文法辞書を用いて単語分割お
よび品詞認定を行う形態素解析手段と、上記単語分割お
よび品詞認定により認識された片仮名文字列からなる片
仮名単語を、その分割情報と認定情報とともに抽出する
片仮名単語抽出手段と、日本語単語辞書に該当の片仮名
単語がない場合や文法的な接続関係がない場合を認識し
て、片仮名単語の誤りを検出する片仮名単語誤り検出手
段と、訂正候補となる片仮名単語について文字列を構成
する連続の2文字とその位置をキーとする片仮名単語候
補辞書を予め作成する手段と、誤り検出された片仮名文
字列とこの文字列を前後に1文字ずらした文字列とで隣
合う全ての組み合せの片仮名2文字とその位置をキーと
して、片仮名単語候補辞書を検索して、正解の片仮名単
語を含む第1次の訂正候補群を抽出する片仮名単語訂正
候補群抽出手段と、誤り検出された片仮名文字列と前記
抽出した片仮名単語訂正候補群について、それぞれ片仮
名の文字列をローマ字に変換し、さらに子音列と母音列
の記号列に分離する片仮名単語子音母音分離手段と、誤
り検出された片仮名文字列と前記抽出した片仮名単語訂
正候補群について、子音列と母音列とに分離された記号
列を別々に前方および後方から照合し照合値を求める片
仮名単語照合手段と、照合値が予め設定した値より高い
場合に、抽出した片仮名単語訂正候補を正解候補として
選択する片仮名単語候補選択手段とを備えることを特徴
とする。
さらに、文書中で表記のゆらぎがある片仮名単語にし
て、文書入力装置により入力された日本文文字列から、
片仮名文字列を抽出する片仮名文字列抽出手段と、抽出
された片仮名文字列をローマ字に変換し、さらに子音列
と母音列の記号列を分離する片仮名文字列子音母音分離
手段と、抽出された相互の片仮名文字列について、それ
ぞれ片仮名文字列の子音列と母音列とに分離された記号
列を別々に前方および後方から照合し照合値を求める手
段と、照合する相互の文字列が同一ではない場合で、か
つ照合値が予め設定した値より高い場合に、抽出した片
仮名文字列の間に片仮名単語の表記の不統一があると検
出する手段とを備えることを特徴とする。
〔作用〕
本発明においては、片仮名単語に混入する入力誤りや文
字認識誤りを訂正するために、訂正候補となる片仮名単
語について文字列を校正する連続の2文字とその位置を
キーとする片仮名単語候補辞書を予め作成し、認定結果
が未知語であることにより検出された片仮名文字列とこ
の文字列を前後に1文字ずらした文字列とで隣合う全て
の組み合わせの片仮名2文字とその位置をキーとして、
片仮名単語候補辞書を検索して、該当の正解の片仮名単
語を含む第1次の訂正候補群を抽出し、さらに検出され
た片仮名文字列と前記抽出した片仮名単語候補群につい
て、それぞれ片仮名の文字列をローマ字に変換し、さら
に子音列と母音列の記号列に分離して、分離された記号
列を別々に前方および後方から照合し照合値を算出し
て、照合値が予め設定した値より高い場合に、抽出した
片仮名単語訂正候補が正解候補として選択する。
さらに、文書中で表記のゆらぎがある片仮名単語に対し
て、文書中の片仮名文字列を抽出し、抽出されたそれぞ
れの片仮名文字列をローマ字に変換し、さらに子音列と
母音列の記号列に分離し、それぞれの子音列と母音列と
に分離された記号列を別々に前方および後方から照合し
照合値を算出して、照合する相互の文字列が同一ではな
い場合で、かつ照合値が予め設定した値より高い場合
に、抽出した片仮名文字列の間に片仮名単語の表記の不
統一があることを検出する。
これにより、日本語ワードプロセッサなどの文書入力装
置の入力誤りや文字認識誤りや作成者の思い違いなどに
よって混入する誤りのうち、人手では校正が困難である
片仮名単語の誤りを検出し、拗音などを含む場合でも訂
正精度が高い訂正候補の抽出が可能となり、しかも少な
くとも1箇所以上の2文字部分が一致する訂正候補を照
合すべき第1次の訂正候補群として絞り込むので、処理
速度を大幅に向上させることができる。さらに、入力さ
れた文書に含まれる片仮名単語の表記の不統一を検出
し、訂正候補の抽出を行うので、人手による表記の不統
一の校正作業の負荷の軽減と訂正精度の向上を図ること
ができる。
〔実施例〕
以下、本発明の一実施例について図面により説明する。
第1図は、本発明の一実施例を示す片仮名単語誤り検出
訂正装置のブロック図である。第1図において、10は文
書入力装置、20はCPUおよびメモリからなる処理装置、3
0は日本語単語辞書、40は文法辞書、50は片仮名2文字
とその位置をキーとする片仮名単語候補辞書、60は誤り
訂正済み文書である。CPU/メモリからなる処理装置20
は、処理機能上、入力処理部21と、辞書30および40を用
いて単語分割および品詞認定を行う形態素解析処理部22
と、該形態素解析処理部22の単語分割および品詞認定を
用いた片仮名単語抽出処理部23と、片仮名単語の誤りを
検出する片仮名単語誤り検出処理部24と、片仮名単語候
補辞書50を検索して第1次の訂正候補群を抽出する片仮
名単語訂正候補群抽出処理部25と、片仮名の文字列をロ
ーマ字に変換し、さらに子音列と母音列の記号列に分離
する片仮名単語子音母音分離処理部26と、子音列と母音
列とに分離された記号列を照合して照合値を抽出する片
仮名単語照合処理部27と、正解候補として選択する片仮
名単語候補選択処理部28とに分けられる。
処理装置20では、入力処理部21において、文書入力装置
10より、入力された文字コードを処理可能な日本文文字
列に変換した後、日本語単語辞書30および文法辞書40を
用いて形態素解析部22により単語分割および品詞認定を
行う。この単語分割および品詞認定結果について、片仮
名単語抽出処理部23において、片仮名文字列からなる片
仮名単語を該分割情報と認定情報とともに抽出し、片仮
名単語誤り検出処理部24で、日本語単語辞書30に該当の
片仮名単語がない場合や文法的な接続関係がない場合に
発生する未知語認定結果を用いて片仮名単語の誤りを検
出する。
一方、訂正候補となる片仮名単語について文字列を構成
する連続の2文字とその位置をキーとする片仮名単語候
補辞書50を予め作成しておく。
片仮名単語訂正候補群抽出処理部25において、片仮名単
語誤り検出処理部24で誤りの検出された片仮名文字列と
この文字列を前後に1文字ずらした文字列とで隣合う全
ての組み合わせの片仮名2文字とその位置をキーとし
て、片仮名単語候補辞書50を検索して正解の片仮名単語
を含む第1次の訂正候補群を抽出する。次に、片仮名単
語誤り検出処理部24で検出された片仮名文字列と片仮名
単語訂正候補群抽出処理部25で抽出した第1次の片仮名
単語の訂正候補群について、片仮名単語子音母音分離処
理部26において、それぞれ片仮名の文字列をローマ字に
変換し、さらに子音列と母音列の記号列に分離し、さら
に片仮名単語照合処理部27において、分離された子音お
よび母音の各記号列を別々に前方および後方から照合し
照合値を算出する。そして、片仮名単語候補選択処理部
28において、照合値が予め設定した値より高い場合に、
抽出した片仮名単語訂正候補を正解候補として選択し
て、誤り訂正済み文書60を作成する。
第2図は、第1図における第1次の片仮名単語訂正候補
群を抽出する片仮名単語候補群抽出処理部25の処理の具
体例を示す説明図である。
第2図において、101は検出された片仮名の誤り文字
列、102は誤字、103は正字である。121は第1次の訂正
候補群の抽出用文字列、121−1は誤り文字列101からそ
のまま抽出した文字列、121−2は121−1を前方に1文
字移動した文字列、121−3は121−1を後方に1文字移
動した文字列である。122は121−1と121−2と121−3
の各文字について隣合う全ての2文字の組み合せから抽
出した片仮名2文字とその位置とからなり、片仮名単語
候補辞書50を検索するキーとなる訂正候補検索用データ
である。123は122の片仮名2文字部分、124は123の先頭
の文字の文字位置、123−1〜123−3と124−1〜124−
3はそれぞれの訂正候補検索用データの一部である。13
0は片仮名単語候補辞書50のキー部、131は片仮名単語の
見出し部、131−1は本例で抽出された第1次の訂正候
補群、131−2は抽出されなかった片仮名単語候補、132
は片仮名単語候補辞書のキー部130の片仮名2文字部
分、133はキー部130の文字位置、134はキー部130で示す
片仮名単語の見出し部131へのポインタである。135は抽
出された第1次の片仮名単語訂正候補群である。
ここでは、検出された片仮名文字列について照合処理の
対象となる少数の第1次の片仮名単語訂正候補群を片仮
名単語候補辞書50より抽出する処理を説明する。
まず、検出された片仮名文字列101の「モダニブヌ」か
ら片仮名単語候補辞書50を検出するためのキーとして訂
正候補検索用データ122を作成する。このために、片仮
名文字列121−1の「モダニブヌ」と該文字列121−1を
前方に1文字移動した文字列121−2の「ダニブヌ」と
文字列121−1を後方に1文字移動した文字列121−3の
「△モダニブヌ」(△は空白文字)を訂正候補抽出用デ
ータ121として作成し、隣合う全ての組み合せの片仮名
2文字とその先頭の文字位置からなる訂正候補検索用デ
ータ122を抽出する。
たとえば、121−2の第1文字目「ダ」はその2文字の
組み合せとして「ダニ」、「ダダ」、「ダモ」があり、
この中の123−1の「ダニ」はその先頭の文字の文字位
置が第1文字なので、124−1は「1」となる。同様
に、121−1の第1文字目「モ」はその2文字の組み合
わせとして「モニ」、「モダ」、「モモ」があり、この
中の123−2の「モダ」はその先頭の文字の文字位置が
第1文字なので、124−2は「1」となる。また同様
に、121−2の第2文字目「ニ」はその2文字の組み合
せとして「ニブ」、「ニニ」、「ニダ」があり、この中
の123−3の「ニブ」はその先頭の文字の文字位置は第
2文字なので、124−3は「2」となる。
第2図では、訂正候補検索用データ122において、文字
位置の違いに応じて123,124をずらして表示している。
ここで、訂正候補抽出用文字列121を作成するために、
検出された文字列101を前後に1文字ずらしているの
は、検出された文字列が誤字ばかりではなく、脱字や誤
挿や文字置換を含んでいる可能性があり、これを考慮し
て訂正候補群を網羅的に検索する必要があるからであ
る。
次に、抽出された訂正候補検索用データ122を使用して
片仮名単語候補辞書50を検索する。たとえば、123−2
の「モダ」と124−2の「1」の場合、1文字目からの
2文字「モダ」をキーとして片仮名単語候補辞書50を検
索するので、本例では、「モダニスト」、「モダニズ
ム」、「モダニティー」、「モダンマダム」の4個の訂
正候補131−1を抽出できる。同様に、訂正候補検索用
データ122の全ての2文字およびその文字位置情報をキ
ーとして片仮名単語候補辞書50を検索することにより、
第1次の訂正候補群135を抽出できる。ここで、131−2
の「モーメント」は訂正候補検索用データと全く関連し
ないので抽出されない。
このように、照合処理の対象となる片仮名単語候補を少
なくとも1箇所以上の2文字部分が一致することに限定
して検索し、絞り込むことができるので、従来の人手に
よる処理や計算機による全ての片仮名単語候補の検索を
前提とした照合に比べて、検索時間を大幅に削減するこ
とができ、また、処理精度を向上させることができる。
第3図は、第1図における片仮名単語訂正候補を照合し
正解候補を選択するための片仮名単語子音母音分離処理
部26、片仮名単語照合処理部27及び片仮名候補選択処理
部28の処理の具体例を示す説明図である。
第3図において、101は検出された片仮名の誤り文字
列、102は誤字、103は正字である。141は片仮名文字か
ら子音と母音の記号列を分離するための変換テーブルで
ある。142は検出された片仮名文字列01の分離対象文
字、143は子音記号列、144は母音記号列である。145は
片仮名単語候補である。146は各候補との前方からの照
合、147は各候補との後方からの照合、148は子音記号列
の照合、149は母音記号列の照合を示している。150は記
号列の一致の結果であり、150−1は一致した箇所、150
−2は先頭から全く一致しない箇所、151は子音記号列
の一致した文字列による照合値、152は前方からの照合
における照合値の合計、153は照合対象の記号列数、154
は総合照合値である。155は総合照合値により選択され
た訂正候補である。
ここで、検出された片仮名文字列101の「ショリッド」
と抽出した第1の片仮名単語候補群(本例では、「ショ
ッピング」と「ソリッド」)について、それぞれ片仮名
の文字列をローマ字に変換し、さらに子音列と母音列の
記号列に分離して、分離された子音記号列と母音記号列
について前方および後方から別々に照合し、照合値を算
出して、候補ごとの総合照合値154を求める。たとえ
ば、子音列と母音列として、それぞれ「ソリッド」から
「SYRD」「OIO」、訂正候補の「ショッピング」から「S
YPNG」「OIU」、「ソリッド」から「SYD」「OIO」が変
換分離される。さらに、146で前方からの照合、147で後
方からの照合を行い、一致した数を照合値として算出す
る。全く一致しない場合には0.0となる。次に、照合の
度合を示す総合評価値154を次式で求める。
この結果、総合照合値が予め設定した値より高い場合
(本例では、1.0)に、片仮名単語訂正候補として選択
する。本例では、「ソリッド」が総合照合値1.5である
ので、155として選択される。
このように、従来の文字の形による単語照合の方法で対
処できなかった拗音を含む片仮名単語の誤りについて
も、訂正候補ときめ細かく照合することによって正解の
訂正候補を選択することができ、訂正精度を向上させる
ことができる。
第4図は本発明の他の実施例を示すブロック図で、片仮
名単語の表記の不統一検出の機能を有する片仮名単語誤
り検出訂正装置を示したものである。第4図において、
10は文書入力装置、20はCPUおよびメモリからなる処理
装置である。ここで、処理装置20は、処理機能上、入力
処理部21と、入力された文書の文字列の中から片仮名文
字列を抽出する片仮名文字列抽出処理部23′と、片仮名
の文字列をローマ字に変換しさらに子音列と母音列の記
号列に分離する片仮名単語子音母音分離処理部26と、子
音列と母音列とに分離された記号列を照合して照合値を
算出する片仮名単語照合処理部27と、片仮名単語の表記
の不統一を検出する片仮名単語表記不統一検出処理部29
とに分けられる。
処理装置20では、入力処理部21において、文書入力装置
10より入力された文字コードを処理可能な日本文文字列
に変換した後、片仮名文字列を片仮名文字列抽出処理部
23′において抽出する。この抽出された片仮名文字列の
すべてについて、まず、片仮名単語子音母音分離処理部
26において、それぞれ片仮名の文字列をローマ字に変換
し、さらに子音列と母音列の記号列に分離し、次に、片
仮名単語照合処理部27において、この分離された子音お
よび母音の各記号列を前方および後方から照合して照合
値を算出する。そして、片仮名単語表記不統一検出処理
部29において、照合する相互の文字列が同一でない場合
で、かつ照合値が予め設定した値より高い場合に、抽出
した片仮名文字列の間に表記の不統一の可能性があるこ
とを検出する。
第5図は、第4図における片仮名単語の表記の不統一を
検出する処理の具体例を示す説明図である。
第5図において、161は入力された日本文文字列から抽
出された片仮名文字列、162は表記の不統一に対する正
字、163は各片仮名文字列から変換分離された子音の記
号列、164は変換分離された母音の記号列、165は処理例
である。
この例は、入力された文書中に片仮名文字列として「ホ
トグラフ」や「カットグラス」などの正しい表記の片仮
名単語と「フォトグラク」のように表記のゆらぎ「フォ
ト」「ホト」(正解:ホト)や誤字「グラク」(正解:
グラフ)を含む単語が存在している場合である。この場
合でも、入力された片仮名単語を子音と母音の記号列に
分離して照合することによって、「フォトグラフ」は
「ホトグラク」とは、総合照合値が1.0(実施例では、
表記のゆらぎとみなう照合値の設定値を1.0とする)な
ので、片仮名単語の表記のゆらぎによる表記不統一であ
ることがわかる。しかし、「カットグラス」と「フォト
グラク」あるいは「ホトグラフ」とは総合照合値がそれ
ぞれ0.4なので、類似の度合は低く全く異なる単語であ
ることがわかる。このように、入力された文書に含まれ
る点在する片仮名単語の表記の不統一を、たとえそれが
誤りでなくても片仮名単語候補辞書を検索する処理を行
わず、その文書中から抽出された片仮名文字列同士の照
合によって検出するとができるので、片仮名単語の不統
一表記の検出精度、処理効率を向上させることができ
る。
このように、本発明の片仮名単語誤り検出訂正装置で
は、訂正候補となる片仮名単語について文字列を構成す
る連続の2文字とその文字位置をキーとする片仮名単語
候補辞書を予め作成しておき、文書入力装置から入力さ
れた文字コードを処理可能な日本文文字列に変換して、
変換された日本文文字列に対する形態素解析の認定結果
が未知語であることにより片仮名単語の誤りを検出され
た場合に、検出された片仮名文字列の片仮名2文字とそ
の文字位置をキーとして、予め作成した該当の片仮名単
語候補辞書を検索して第1次の訂正候補群を抽出し、検
出された片仮名単語と抽出した第1次の訂正候補群につ
いて、それぞれ片仮名の文字列をローマ字に変換し、さ
らに子音列と母音列の記号列に分離し、分離された記号
列を別々に前方および後方から照合して照合値を抽出
し、照合値が予め設定した値より高い場合に、抽出した
片仮名単語訂正候補を正解候補として選択する。
さらに、文書中で表記のゆらぎがある片仮名単語に対し
て、文書中の片仮名文字列を抽出し、抽出されたそれぞ
れの片仮名文字列をローマ字に変換し、さらに子音列と
母音列の記号列に分離し、それぞれの子音列と母音列と
に分離された記号列を別々に前方および後方から照合し
て照合値を算出し、照合する相互の文字列が同一ではな
い場合で、かつ照合値が予め設定した値より高い場合
に、抽出した片仮名文字列の間に片仮名単語の表記の不
統一があることを検出する。
これにより、人手では校正が困難である片仮名単語の誤
りを検出し、拗音などを含む場合でも訂正精度が高い訂
正候補の抽出が可能となり、しかも少なくとも1箇所以
上の2文字部分が一致する訂正候補を照合すべき第1次
の訂正候補群として絞り込むので、処理速度を大幅に向
上させることができる。さらに、入力された文書に含ま
れる片仮名単語の表記の不統一を検出し、訂正候補の抽
出を行うので、人手による表記の不統一の校正作業の負
荷の軽減と訂正精度の向上を図ることができる。
〔発明の効果〕
請求項(1)の発明によれば、日本語ワードプロセッサ
などの文書入力装置の入力誤りや文字認識誤りや作成者
の思い違いなどによって混入する人手では校正が困難で
ある片仮名単語の誤りを検出し、拗音などを含む場合で
も訂正精度が高い訂正候補の抽出が可能となり、しかも
少なくとも1箇所以上の2文字部分が一致する訂正候補
を照合すべき第1次の訂正候補群として絞り込むので、
処理速度を大幅に向上させることができる。
さらに、請求項(2)の発明によれば、入力された文書
に含まれる片仮名単語の表記の不統一を検出し、訂正候
補の抽出を行うので、人手による表記の不統一の校正作
業の負荷と訂正精度の向上を図ることができる。
【図面の簡単な説明】
第1図は本発明の一実施例を示す片仮名単語誤り検出訂
正装置ブロック図、第2図は本発明において第1次の片
仮名単語訂正候補群を抽出する処理の具体例を示す説明
図、第3図は本発明において片仮名単語訂正候補を照合
し正解候補を選択する処理の具体例を示す説明図、第4
図は本発明の他の実施例を示す片仮名単語の表記の不統
一検出の機能を有する片仮名単語誤り検出訂正装置のブ
ロック図、第5図は本発明における片仮名単語の表記の
不統一を検出する処理の具体例を示す説明図、第6図は
従来の方法における訂正候補抽出の処理の流れを示す説
明図、第7図は従来の方法における誤った訂正候補抽出
の事例を示す説明図である。 10…文書入力装置、20…処理装置、21…入力処理部、22
…形態素解析処理部、23…片仮名単語抽出処理部、23′
…片仮名文字列抽出処理部、24…片仮名単語誤り検出処
理部、25…片仮名単語訂正候補群抽出処理部、26…片仮
名単語子音母音分離処理部、27…片仮名単語照合処理
部、28…片仮名単語候補選択処理部、29…片仮名単語表
記不統一検出処理部、30…日本語単語辞書、40…文法辞
書、50…片仮名単語候補辞書、60…誤り訂正済み文書。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】片仮名単語に混入する入力誤りや文字認識
    誤りを検出し、その訂正候補を抽出する片仮名単語誤り
    検出訂正装置において、 入力された日本文文字列に対して日本語単語辞書および
    文法辞書を用いて単語分割および品詞認定を行う形態素
    解析手段と、 上記単語分割および品詞認定により認識された片仮名文
    字列からなる片仮名単語を、その分割情報と認定情報と
    ともに抽出する片仮名単語抽出手段と、 日本語単語辞書に該当の片仮名単語がない場合や文法的
    な接続関係がない場合を認識して、片仮名単語の誤りを
    検出する片仮名単語誤り検出手段と、 訂正候補となる片仮名単語について文字列を構成する連
    続の2文字とその位置をキーとする片仮名単語候補辞書
    を予め作成する手段と、 上記誤り検出された片仮名文字列とこの文字列を前後に
    1文字ずらした文字列とで隣合う全ての組み合せの片仮
    名2文字とその位置をキーとして、片仮名単語候補辞書
    を検索して、正解の片仮名単語を含む第1次の訂正候補
    群を抽出する片仮名単語訂正候補群抽出手段と、 上記誤り検出された片仮名文字列と前記抽出した片仮名
    単語訂正候補群について、それぞれ片仮名の文字列をロ
    ーマ字に変換し、さらに子音列と母音列の記号列に分離
    する片仮名単語子音母音分離手段と、 上記誤り検出された片仮名文字列と前記抽出した片仮名
    単語訂正候補群について、子音列と母音列とに分離され
    た記号列を別々に前方および後方から照合し照合値を求
    める片仮名単語照合手段と、 上記照合値が予め設定した値より高い場合に、抽出した
    片仮名単語訂正候補を正解候補として選択する片仮名単
    語候補選択手段とを備えることを特徴とする片仮名単語
    誤り検出訂正装置。
  2. 【請求項2】入力された日本文文字列から、片仮名文字
    列を抽出する片仮名文字列抽出手段と、 上記抽出された片仮名文字列をローマ字に変換し、さら
    に子音列と母音列の記号列に分離する片仮名文字列子音
    母音分離手段と、 上記抽出された相互の片仮名文字列について、それぞれ
    片仮名文字列の子音列と母音列とに分離された記号列を
    別々に前方および後方から照合し照合値を求める手段
    と、 上記照合する相互の文字列が同一ではない場合で、かつ
    照合値が予め設定した値より高い場合に、抽出した片仮
    名文字列の間に片仮名単語の表記の不統一があると検出
    する手段とを備えることを特徴とする請求項(1)記載
    の片仮名単語誤り検出訂正装置。
JP1198692A 1989-07-31 1989-07-31 片仮名単語誤り検出訂正装置 Expired - Lifetime JPH079654B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1198692A JPH079654B2 (ja) 1989-07-31 1989-07-31 片仮名単語誤り検出訂正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1198692A JPH079654B2 (ja) 1989-07-31 1989-07-31 片仮名単語誤り検出訂正装置

Publications (2)

Publication Number Publication Date
JPH0362260A JPH0362260A (ja) 1991-03-18
JPH079654B2 true JPH079654B2 (ja) 1995-02-01

Family

ID=16395449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1198692A Expired - Lifetime JPH079654B2 (ja) 1989-07-31 1989-07-31 片仮名単語誤り検出訂正装置

Country Status (1)

Country Link
JP (1) JPH079654B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059389A (ja) * 2006-08-31 2008-03-13 Mizuho Information & Research Institute Inc 語彙候補出力システム、語彙候補出力方法及び語彙候補出力プログラム
JP5203324B2 (ja) * 2009-09-16 2013-06-05 日本電信電話株式会社 誤字脱字対応テキスト解析装置及び方法及びプログラム
JP6277655B2 (ja) * 2013-10-03 2018-02-14 富士通株式会社 文字列検索プログラム、文字列検索方法及び文字列検索装置

Also Published As

Publication number Publication date
JPH0362260A (ja) 1991-03-18

Similar Documents

Publication Publication Date Title
Kissos et al. OCR error correction using character correction and feature-based word classification
EP0686286B1 (en) Text input transliteration system
Carrasco An open-source OCR evaluation tool
JP2001505330A (ja) テキストストリーム中の単語の切れ目を与える方法及び装置
Volk et al. Strategies for reducing and correcting OCR errors
Bhatti et al. Word segmentation model for Sindhi text
Liyanapathirana et al. Sinspell: A comprehensive spelling checker for sinhala
Chaudhuri Reversed word dictionary and phonetically similar word grouping based spell-checker to Bangla text
Kashefi et al. A novel string distance metric for ranking Persian respelling suggestions
Maxwell et al. Endangered data for endangered languages: Digitizing print dictionaries
EP0271664B1 (en) A morphological/phonetic method for ranking word similarities
Al Azawi et al. WFST-based ground truth alignment for difficult historical documents with text modification and layout variations
JPH079654B2 (ja) 片仮名単語誤り検出訂正装置
Prinsloo et al. Optical Character Recognition and text cleaning in the indigenous South African languages
Kaur et al. Improving the accuracy of tesseract OCR engine for machine printed Hindi documents
Baird et al. A family of European page readers
JP3274014B2 (ja) 文字認識装置および文字認識方法
CIUBOTARU et al. Regeneration of cultural heritage: Problems related to Moldavian Cyrillic alphabet
JP2575947B2 (ja) 文節切出し装置
JPH077414B2 (ja) 日本文誤字自動修正装置
JP2592993B2 (ja) 文節切り出し装置
Dhanju et al. Design and implementation of Shahmukhi spell checker
JP2599973B2 (ja) 日本文訂正候補文字抽出装置
JPS62249269A (ja) 文書処理装置
JP2939945B2 (ja) ローマ字住所認識装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090201

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090201

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100201

Year of fee payment: 15

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100201

Year of fee payment: 15