Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JPH0320781B2 - - Google Patents
[go: Go Back, main page]

JPH0320781B2 - - Google Patents

Info

Publication number
JPH0320781B2
JPH0320781B2 JP57220529A JP22052982A JPH0320781B2 JP H0320781 B2 JPH0320781 B2 JP H0320781B2 JP 57220529 A JP57220529 A JP 57220529A JP 22052982 A JP22052982 A JP 22052982A JP H0320781 B2 JPH0320781 B2 JP H0320781B2
Authority
JP
Japan
Prior art keywords
kanji
code
byte
data
proper noun
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP57220529A
Other languages
English (en)
Other versions
JPS59109937A (ja
Inventor
Yasuji Kobuchi
Shinobu Shiotani
Akira Hamada
Shigeaki Harada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer Basic Technology Research Association Corp
Original Assignee
Computer Basic Technology Research Association Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Basic Technology Research Association Corp filed Critical Computer Basic Technology Research Association Corp
Priority to JP57220529A priority Critical patent/JPS59109937A/ja
Publication of JPS59109937A publication Critical patent/JPS59109937A/ja
Publication of JPH0320781B2 publication Critical patent/JPH0320781B2/ja
Granted legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/53Processing of non-Latin text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Description

【発明の詳細な説明】 技術分野 この発明は、日本語ワードプロセツサやオフイ
スコンピユータ等の日本語情報処理に用いられる
固有名詞辞書に係り、特に、固有名詞辞書の漢字
部のデータ圧縮方式に関する。
背景技術 項目入力方式または仮名漢字変換方式等の日本
語情報処理装置に、固有名詞辞書をもつことによ
り処理効率を上げる工夫が行われている。固有名
詞辞書は、共通の属性を有する漢字表記の固有名
詞のそれぞれを索引データとそれに対応する漢字
データをもつて記憶手段に記憶させたものであ
る。
上記項目入力方式では、索引データを項目キー
とし、固有名詞と1対1に対応させキーの指定で
漢字の固有名詞を取り出す。
一方、仮名漢字変換方式では、索引データを固
有名詞の読み仮名とし、入力した読み仮名を辞書
中の仮名の見出しと対応をとり漢字の固有名詞を
取り出す。
いずれの方式においても、従来の固有名詞辞書
は、漢字部の漢字1字を表すのに2バイトの情報
を必要としていた。
一例として、以下、仮名漢字変換方式で具体的
に説明する。なお、説明の便宜上、漢字コード体
系としてJIS規格C6226を使用するものとし、デ
ータ表現は16進である。
固有名詞の処理方法の概念を示す第1図におい
て、1は仮名入力装置、2は処理装置、3は固有
名詞辞書、4は表示装置、5は出力装置である。
仮名入力装置1で“とうきよう”と入力する
と、処理装置2が固有名詞辞書3にアクセスし、
例えば第2図に示す仮名部3aを順次検索し、
“とうきよう”とのマツチングを調べる。マツチ
ングがとれると、漢字部3bの漢字コード“東
京”が出力され、処理装置2を経由して表示装置
4又は出力装置5に送られる。第1図中の矢印付
点線でそのデータの流れを示す。
第2図の固有名詞辞書3は固定長の形式で表現
されているが、メモリ容量の削減を前提とした辞
書では、例えば第3図Aのように、可変長レコー
ドの形式で1組の仮名と漢字のデータを表すのが
一般的である。具体的な1つのレコードの例を第
3図Bに示す。
仮名部3aaに“とうきよう”の仮名コードが
10バイト分、漢字部3bbに“東京”の漢字コー
ド「456C」「357E」の4バイト分記憶されている
が、従来、たとえば可変長形式でデータを構成し
ても漢字1字は2バイトで表現されるので、何千
件、何万件の固有名詞辞書を構成しようとする
と、辞書の容量の膨大化は避け難いものがあつ
た。
発明の目的 本発明の目的は、漢字表記の固有名詞の集合を
仮名コードで表される索引データと対応する漢字
データをもつて構成した固有名詞辞書において、
文字コードの限られた空きビツトの範囲内で、本
来の見出し部と漢字部の区切情報および漢字部の
圧縮コードの区切情報を確保し、見出し部、漢字
部、漢字コード及び圧縮コードを判別するととも
に、固有名詞辞書の容量の削減をはかつた固有名
詞辞書の圧縮方式を提供するものである。
発明の要約 本発明の固有名詞辞書の圧縮方式は、漢字表記
の固有名詞の集合を仮名コードで表される索引デ
ータとそれに対応する漢字データをもつて構成し
た固有名詞辞書において、 上記固有名詞辞書の各固有名詞を構成する漢字
の出現頻度を調べ、所定の出現頻度未満の各漢字
を所定のデータ長を有する漢字コードで表し、上
記所定の出現頻度以上の各漢字を上記漢字コード
のデータ長よりも短いデータ長を有する圧縮コー
ドで表し、上記圧縮コードに上記漢字コードと区
別するための識別子を付した上記漢字データを格
納するフアイルと、 上記圧縮コードを見出し語とし上記圧縮コード
が指定されると、これに対応する漢字コードに変
換する変換テーブルとを備え、 上記索引データの各仮名の仮名コードの最上位
ビツトを0又は1のいずれか一方とし、 上記所定の出現頻度以上の各漢字を1バイトの
圧縮コードで表し、上記所定の出現頻度未満の各
漢字を上位バイトと下位バイトからなる2バイト
の漢字コードで表すとともに、上記1バイトの圧
縮データの最上位ビツトを0又は1のいずれか他
方とし、上記2バイトの漢字コードの上位バイト
の最上位ビツトを0又は1のいずれか他方とし、
その下位バイトの最上位ビツトを0又は1のいず
れか一方としたことを特徴とする。
実施例 本発明をその着想するとともに、以下、実施例
によつて説明する。
第4図は、第2図の漢字部3bのデータすべて
を磁気テープ6に写し取つたものを示すが、これ
をコンピユータにかけ、各漢字の出現頻度を調べ
ることができる。これにより、姓名、地名等に使
用される固有名詞の漢字ごとの出現度数の分布を
集計すると、以下の特異な性質が判明した。
(1) 自立語辞書に使用される漢字の字種に比べる
とより少ない字種で構成されていること。
(2) 漢字の字種に応じて出現度数に著しい偏りが
あること。
の2点である。そして、本発明は、上記(2)の特性
に着目したものである。
すなわち、何種類かの固有名詞の集合から統計
をとると、田、川、野、山、大、島、原、井、
小、上、……等の出現度数が非常に高いことが判
明し、また、出現度数の高順位に例えば128字を
抽出してみると、固有名詞辞書中の総漢字数のほ
ぼ2/3をカバーしていることがわかつた。更にこ
のカバー率は、固有名詞辞書のデータ件数にそれ
ほど依存せずに常に2/3程度であることもわかつ
た。
実施例は、これらの固有名詞辞書の漢字に関す
る性質を利用し、高頻度漢字を通常の2バイト表
現から1バイトのみの特有のコード表現に置き換
えることにより、固有名詞辞書を圧縮するもので
ある。
第5図はJIS・C6226の2バイトコードを1バ
イトコードに置き換えた一例を示している。たと
えば高頻度漢字の「山」はJISでは「3B33」とあ
らわされるが、それを1バイトの「03」で表現す
る。「田」は「4544」であるが、1バイトの「00」
と表現する。したがつて、「山田」という固有名
詞は、「3B33 4544」から「03 00」と置き換えら
れ、4バイトのものが2バイトで表される。
10000件の固有名詞のデータを考えた場合、1
データ当りの漢字数は〜2.5字、即ち〜5バイト
である。10000件のデータでは、漢字数が約25000
字で約50000バイトである。高頻度漢字の高位か
ら128字を1バイトで表わすものと仮定すると、
前述のカバー率から、25000×2/3≒16700(字)
が1バイトで表わされることになる。即ち、約
16.7Kバイトのメモリ容量を削減することができ
る。
このように圧縮したデータからもとの2バイト
コードを復元しなければならないが、そのために
第6図で示すような変換テーブル7を備える。
すなわち、1バイトコードを相対アドレスとし
て設定すると、それに対応したJIS・C6226の漢
字コードが出力できる変換テーブルである。この
変換テーブルの容量は、1字につき2バイトであ
るから128字の場合でも256バイトの小容量です
む。
また、圧縮辞書の漢字部においては、1バイト
表現と2バイト表現とが混在することになる、即
ち1バイトに変換したコードと本来の漢字コード
とが混在することになるのでこれを区別する必要
がある。上の例では、1バイトのうち下位7ビツ
ト(128字分)のみを用いているのでその最上位
ビツト(MSB)を利用する。このMSBを高頻度
漢字以外の本来の漢字コードと区別するための識
別子として用い、1バイトコードの先頭を常に
「1」とする。この識別子との関連で、本来の漢
字コードと区別する手法の例を、最7図A,Bに
示す。同図Aで、8,10はMSBに1を立てた
1バイトコードを示し、9は両者に挾まれた2バ
イトコードである。2バイトコードは本来の漢字
コードのまま上位バイト、下位バイトのMSBの
双方を「φ」のままにしておく。これにより、漢
字部を1バイト単位で読み出してゆくとき、
MSBが「1」なら1バイトコード、「φ」なら続
く1バイトと合わせて2バイトコードであると判
断できる。次にMSBが「1」に変ればその1バ
イトが1バイトコードである。1バイトコードで
あるとき、第6図の変換テーブル7をアクセスす
るに際し、MSBを「φ」に反転させるのはもち
ろんである。
第2の手法は第7図bに示す手法で、2バイト
コード9′の下位バイトのMSBはそのままで上位
バイトのMSBを「1」とするものである。この
手法によれば、第3図で述べた仮名部3aaとの
関連で(仮名部のMSBは仮名コードのままで
「φ」であるとする)、第8図に示すように、漢字
部3bbの先頭が常に「1」となり、仮名部3aa
と漢字部3bbの境界の判別が容易となる。
なお、第8図では、1バイト単位のMSBのみ
でレコードを示している。なおまた、ここの実施
例では漢字部の圧縮方式のみに言及し仮名部の圧
縮には何ら関与していないが、第8図に示した如
く、仮名部3aaの表現方法と密接な関係を有し
ていることから、仮名部の各種圧縮方式たとえば
特開昭57−150070号公報開示の技術と本実施例の
圧縮方式を組み合わせることも可能である。
上記実施例においては、JIS・C6226のコード
体系をもつて説明したが、このコード体系に限定
されるものではなく、他のコード体系でも実施例
に準じた方法が適用できる。
また、固有名詞辞書も、実施例のような人名、
地名に限ることなく、その属性として会社名、商
標名、物品名等いろいろ考えられる。さらに、漢
字の出現度数の分布が、一部の漢字に偏るような
各種の計算機処理用の辞書にも上記圧縮方式が同
様に適用可能である。
効 果 以上詳述したように、本発明によれば、漢字表
記の固有名詞の集合を仮名コードで表される索引
データとそれに対応する漢字データをもつて構成
した固有名詞辞書において、固有名詞辞書の中の
漢字の内、使用頻度が低い漢字は2バイト構成の
本来の漢字コードで記憶させ、使用頻度の高い漢
字は1バイト構成の圧縮コードで記憶するととも
に、索引データの各仮名コードの最上位ビツト、
漢字データの漢字コードの上位バイト及び下位バ
イトの各最上位ビツト、漢字データの圧縮コード
の最上位ビツトの値により、本来の見出し部と漢
字部の区切情報の確保および圧縮コードの区切情
報の確保を行なうようにしたので、文字コードの
限られた空きビツトの範囲内で、1ビツトの識別
子によりコード長が異なる4種類の情報を判別す
ることができ、しかも、固有名詞の辞書容量が有
効に削減される。
【図面の簡単な説明】
第1図は仮名漢字変換方式による固有名詞の処
理方法の概念図、第2図は固有名詞辞書の模式
図、第3図は辞書の要素をなす可変長コードを示
し、Aは一般形を、Bはその一例の説明図であ
る。第4図は漢字部のみを抽出したデータフアイ
ルの模式図、第5図は本発明の実施例の説明図、
第6図は変換テーブルの模式図、第7図A,Bは
それぞれ、変換したコードを識別するための手法
の説明図、第8図は第7図Bの手法を用いた場合
の可変長レコードの一例の説明図である。 3……固有名詞辞書、3aa……仮名部、3bb
……漢字部、7……変換テーブル、8,10……
1バイトコード、9,9′……2バイトコード。

Claims (1)

  1. 【特許請求の範囲】 1 漢字表記の固有名詞の集合を仮名コードで表
    される索引データとそれに対応する漢字データを
    もつて構成した固有名詞辞書において、 上記固有名詞辞書の各固有名詞を構成する漢字
    の出現頻度を調べ、所定の出現頻度未満の各漢字
    を所定のデータ長を有する漢字コードで表し、上
    記所定の出現頻度以上の各漢字を上記漢字コード
    のデータ長よりも短いデータを有する圧縮コード
    で表し、上記圧縮コードに上記漢字コードと区別
    するための識別子を付した上記漢字データを格納
    するフアイルと、 上記圧縮コードを見出し語とし上記圧縮コード
    が指定されると、これに対応する漢字コードに変
    換する変換テーブルとを備え、 上記索引データの各仮名の仮名コードの最上位
    ビツトを0又は1のいずれか一方とし、 上記所定の出現頻度以上の各漢字を1バイトの
    圧縮コードで表し、上記所定の出現頻度未満の各
    漢字を上位バイトと下位バイトからなる2バイト
    の漢字コードで表すとともに、上記1バイトの圧
    縮データの最上位ビツトを0又は1のいずれか他
    方とし、上記2バイトの漢字コードの上位バイト
    の最上位ビツトを0又は1のいずれか他方とし、
    その下位バイトの最上位ビツトを0又は1のいず
    れか一方としたことを特徴とする固有名詞辞書の
    圧縮方式。
JP57220529A 1982-12-15 1982-12-15 固有名詞辞書の圧縮方式 Granted JPS59109937A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP57220529A JPS59109937A (ja) 1982-12-15 1982-12-15 固有名詞辞書の圧縮方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP57220529A JPS59109937A (ja) 1982-12-15 1982-12-15 固有名詞辞書の圧縮方式

Publications (2)

Publication Number Publication Date
JPS59109937A JPS59109937A (ja) 1984-06-25
JPH0320781B2 true JPH0320781B2 (ja) 1991-03-20

Family

ID=16752422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP57220529A Granted JPS59109937A (ja) 1982-12-15 1982-12-15 固有名詞辞書の圧縮方式

Country Status (1)

Country Link
JP (1) JPS59109937A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01196667A (ja) * 1988-02-01 1989-08-08 Sanyo Electric Co Ltd 電子式辞書の圧縮方式

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5779552A (en) * 1980-11-05 1982-05-18 Casio Comput Co Ltd Data processor
JPS57187768A (en) * 1981-05-14 1982-11-18 Mitsubishi Electric Corp Kana (japanese syllabary)-kanji (chinese character) conversion method

Also Published As

Publication number Publication date
JPS59109937A (ja) 1984-06-25

Similar Documents

Publication Publication Date Title
CN1531692B (zh) 用于处理大量字符的高效整理元素结构
JPH026252B2 (ja)
EP0168814B1 (en) Language processing dictionary for bidirectionally retrieving morphemic and semantic expressions
CN105144157B (zh) 用于压缩数据库中的数据的系统和方法
US5383121A (en) Method of providing computer generated dictionary and for retrieving natural language phrases therefrom
JP4003854B2 (ja) データ圧縮装置及び復元装置並びにその方法
JPS6115243A (ja) メモリ割当て方法
US6247015B1 (en) Method and system for compressing files utilizing a dictionary array
US5710919A (en) Record compression
US8463759B2 (en) Method and system for compressing data
JP3531281B2 (ja) 文書登録検索装置
JPH0320781B2 (ja)
Schieber et al. An algorithm for compaction of alphanumeric data
US11323132B2 (en) Encoding method and encoding apparatus
JPH0554077A (ja) 単語辞書検索装置
US8171037B1 (en) System and method for reference number expansion
JPS60241157A (ja) 電子辞書を利用した文章デ−タ圧縮方法
US6373409B1 (en) Method and computer program product for implementing text conversion table compression
JPH0326420B2 (ja)
JPH0772898B2 (ja) インデックスの作成方式
EP1324215A1 (en) Electronically archiving and retrieving data objects
Wichaiwong et al. A Simple Approach to Optimized Text Compression
JPS6382061A (ja) デ−タ圧縮方式
JPS61232724A (ja) 文字コ−ドデ−タの圧縮方式
JP3127969B2 (ja) 辞書記憶装置
</