JP4729151B2 - 分類装置、方法およびファイル検索方法 - Google Patents
分類装置、方法およびファイル検索方法 Download PDFInfo
- Publication number
- JP4729151B2 JP4729151B2 JP13900198A JP13900198A JP4729151B2 JP 4729151 B2 JP4729151 B2 JP 4729151B2 JP 13900198 A JP13900198 A JP 13900198A JP 13900198 A JP13900198 A JP 13900198A JP 4729151 B2 JP4729151 B2 JP 4729151B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- samples
- data
- sample
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ファイル内の複数のデータを関連の深いもの同士にまとめ分類する分類装置、方法およびファイル検索方法に関する。
【０００２】
【従来の技術】
データの自己組織化すなわち、関連の深いデータを１つにまとめ、複数のグループに分類することはパターン認識においてモデルの自動生成として位置付けられ、重要なテーマの一つである。データの自己組織化については次の文献が知られている。
【０００３】
（１）T. Kohonen : Self-Organization maps : Springer-Verlarg, (1995)
例えば動画画像認識や音声認識に関する自己組織化では、時間的な連続性を相互関係とみて、入力データを自己組織化することが試みられ、次の文献が発表されている。
【０００４】
（２）遠藤隆，他：動画像の自己組織化ネットワークモデル−そのトポロジーと動的特徴の解析−：人工知能学会情報統合研究会ＳＩＧ−ＣＩＩ−９７０７，（１９９７．７）
また文書処理等でも同一文書中に依存している共起性によって自己組織化を試みており、単語やドキュメントの空間配置問題として扱い、検索や分類に用いることも行われていて、以下の文献が発表されている。
【０００５】
（３）豊浦潤，岡隆一：テキスト検索のためのテキストデータの自己組織化について：人工知能学会情報統合研究会ＳＩＧ−ＣＩＩ−９６０３，ｐｐ．１６−２３，（１９９７．３）
（４）本間直人，石川真澄：数量化ＩＩＩ類の逆問題を用いたキーワードと文献の双方向的空間配置：信学会誌Ｄ−ＩＩ，Ｊ８１−ＤＩＩ，３，ｐｐ．５６４−５７３，（１９９８．３）
さらに本発明に関する文献としては、
（５）林知己夫，他：数量化理論とデータ処理：朝倉書店，（１９８７）
が知られている。ここで述べられ、数量化ＩＶ類と呼ばれている分類方法を説明する。
【０００６】
数量化ＩＶ類は有限個の標本が与えられ標本相互の親和度の強さが定義されている時に、親和度の高いものほど有限次元の空間で近傍に配置するようにしている。これによって相互に親和度の高い標本が空間中に集まり自己組織化することが期待できる。例えば音声や画像の時系列データの解析では、一定時間内での各事象を標本とし、連続性を親和性と見なすことができる。文書の理解では、文字や形態素を標本とみて、同一の文書やコンテキストでの共起を親和度と見ることができる。
【０００７】
統計をとる標本をＮ次元空間に配置する問題を考える。各標本に任意の番号付けをしｉとする。その標本の空間中の位置をｘi とする。標本ｉとｊの間の親和度が与えられておりＭijとする。Ｍijは正の値をとり、親近度が高いものほど大きな値をとる。
【０００８】
各標本間の距離が親近度に対応するように、標本間の距離の２乗にマイナス１をかけたものを距離関係として定義する。
【０００９】
【数１】
ｄij＝−（ｘj −ｘi ）2
次のように対応する標本間ごとに親近度と距離関係の積をとり、この総和が最大となるｘi を求める。
【００１０】
【数２】
【００１１】
しかしこの条件式だけでは、すべての標本が同一の点に位置した場合に０となり、最大となって条件が満たされてしまう。このため標本の位置ｘi 2が一定の分散を持つように次の条件式を加える。
【００１２】
【数３】
【００１３】
上記条件式の数２式，数３式は行列の固有値問題に帰着する解法が知られていて、解析的に解を求めることができる。
【００１４】
【発明が解決しようとする課題】
このような手法をたとえば、文書に適用する場合、上記標本が単語となり、親近度の高い標本ｘi が文書の特徴を表す単語として抽出される。しかしながら、この手法を実世界のデータに適用すると、親近度にランダムなノイズ（出現頻度が極端に低いデータ）が加わり、関係の深いデータ（この場合、単語）を分離（抽出）することが困難になるという解決すべき課題があった。
【００１５】
そこで、本発明の目的は、ノイズの影響の少ない分類装置、方法およびファイル検索方法を提供することにある。
【００１６】
【課題を解決するための手段】
このような目的を達成するために、請求項１の発明は、ファイルの中の複数のデータを関連の深いデータ同士にまとめて分類するために、前記データを標本とみなし、２つの標本の間の関連の度合いを示す親近度および２つの標本の間の距離に関する複数の標本全体の分布を統計解析する分類装置において、
前記複数の標本の分布の偏りを原点が分布の中心となるように平行移動させた後、共分散行列を求めて固有地分解を行うことで補正する第１の補正手段と、
前記第１の補正手段により補正された複数の標本の分布の中心から標本までの距離に比例して標本の個数が多くなるようにすべての標本について乱数を用いた配置を繰り返すことで前記複数の標本の距離を補正する第２の補正手段と
を具えたことを特徴とする。
【００１７】
請求項２の発明は、請求項１に記載の分類装置において、前記ファイルは複数の単語を含む文書であり、前記標本を前記単語とすることを特徴とする。
【００１８】
請求項３の発明は、請求項１に記載の分類装置において、前記ファイルは複数の音声要素からなるファイルであり、前記標本を前記音声要素とすることを特徴とする。
【００１９】
請求項４の発明は、請求項１に記載の分類装置において、前記ファイルは複数の静止画を有する動画であり、前記標本を前記静止画とすることを特徴とする。
【００２０】
請求項５の発明は、ファイルの中の複数のデータを関連の深いデータ同士にまとめて分類するために、前記データを標本とみなし、２つの標本の間の関連の度合いを示す親近度および２つの標本の間の距離に関する複数の標本全体の分布をコンピュータにより統計解析する分類方法において、前記コンピュータが
前記複数の標本の分布の偏りを原点が分布の中心となるように平行移動させた後、共分散行列を求めて固有地分解を行うことで前記コンピュータにより補正する第１の補正手段と、
前記第１の補正手段により補正された複数の標本の分布の中心から標本までの距離に比例して標本の個数が多くなるようにすべての標本について乱数を用いた配置を繰り返すことで前記複数の標本の距離を前記コンピュータにより補正する第２の補正手段と
として動作することを特徴とする。
【００２１】
請求項６の発明は、請求項５に記載の分類方法において、前記ファイルは複数の単語を含む文書であり、前記標本を前記単語とすることを特徴とする。
【００２２】
請求項７の発明は、請求項５に記載の分類方法において、前記ファイルは複数の音声要素からなるファイルであり、前記標本を前記音声要素とすることを特徴とする。
【００２３】
請求項８の発明は、請求項５に記載の分類方法において、前記ファイルは複数の静止画を有する動画であり、前記標本を前記静止画とすることを特徴とする。
【００２４】
請求項９の発明は、データベースに登録されたファイルをコンピュータにより検索するファイル検索方法において、前記コンピュータが、前記データベースに登録されたファイルを構成するデータと種類が同一で、検索目的のデータを入力する手段と、前記データベースに登録されたファイルの中に含まれるデータに対して請求項５に記載の分類方法を適用し、当該分類方法により分類されたデータが、前記入力する手段で入力されたデ−タと合致するか否かの判定を、前記データベースに登録されたファイル全てに対して行う手段ととして動作し、合致するの判定が得られたファイルを検索結果とすることを特徴とする。
【００２５】
請求項１０の発明は、請求項９に記載のファイル検索方法において、前記コンピュータが、検索策結果として得られるファイルをそのファイル名でリストアップするステップと、当該リストアップされたファイル名を、合致した前記データの有する親近度の順にソーティングする手段ととしてさらに動作することを特徴とする。
【００２６】
請求項１１の発明は、請求項９に記載のファイル検索方法において、前記コンピュータが、前記ファイルの中に含まれるデータの出現頻度を計数するステップと、検索策結果として得られるファイルをそのファイル名でリストアップする手段と、当該リストアップされたファイル名を、合致した前記データの有する出現頻度の順にソーティングする手段ととしてさらに動作することを特徴とする。
【００２７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２８】
最初に、本発明に関わる分類方法を説明する。上述の数量化ＩＶ類による解析では、後のシミュレーションで実験で示すように実世界データにしばしばあるように親近度にランダムなノイズが加わると、関係の深いものだけを分類することが困難になる。他の標本との関係によらず親近度の高い標本は中心付近に集中し、親近度が低い標本が中心から離れることで上記の条件式が満たされるようになる。
【００２９】
この問題について検討した結果、距離の定義式の数１式を変更し、一定距離以上に離れた場合のペナルティを緩和することで上記問題２に対処できることを本願発明者は発見した。本発明の方法を用いると、ノイズ（出現頻度が極端に低い標本）などによって弱い関係を持つ標本間を放して配置しても、数２式の変化が非線形化により緩和されるので、分離しクラスタリングすることが可能となる。
【００３０】
数１式を非線型関数Ｆにより変形し次のように定義する。
【００３１】
【数４】
【００３２】
Ｆは近傍（＜ａ）については２次関数であり、その外側では１次関数となる次の式で定義する。
【００３３】
【数５】
【００３４】
この関数によって閾値ａ以内の近傍では２乗と同じとなり、その外側では対象間の距離が大きくなっても評価値の減少が小さいので目的とする効果が得られる。
【００３５】
上記のように最小２乗項を非線形化すると、解析解を得られない。そこで次の節のように繰り返し法による数値解法が必要となる。さらに与えられた親近度の分布やａの値によっては特定の標本の位置だけを無限遠に置くことで最大化式が満たされてしまい数値計算が収束しない。
【００３６】
また、数量化ＩＶ類に比べて標本の中心付近への集積が緩和されるものの、中心付近で異なるグループに所属する標本間の距離ａ以下になると、非線形化による効果が失われてしまう。
【００３７】
この発散と中心への集中を防ぐために標本の位置を一定の超球内に閉じ込めて、この超球内での標本の分布を一様にとなるように以下の条件を加える。
【００３８】
１．標本の分布の中心は原点である。
【００３９】
２．標本の分布について主成分分析をしても分布にかたよりが見られない。
【００４０】
３．一定半径の球殻内にすべての標本が存在し、中心から半径方向への分布が空間内での球体積に比例した分布となっている。
【００４１】
最大化（最適化）と超球内一様化の条件を単一の式として解くことも可能であるが、データ規模によっては大規模行列計算となってしまう。そのため以下のように最適化と各制約を順次満たすような、繰り返し法で解を求める。
【００４２】
数６式に数４式を代入すると次の式が得られる。
【００４３】
【数６】
【００４４】
特定の標本（ｘi ）について偏微分すると次の式が得られ、Ｊが最大値を取るとき恒等的に０となる。
【００４５】
【数７】
【００４６】
【数８】
【００４７】
Ｆ′は数５式の微分なので次のように与えられる。
【００４８】
【数９】
【００４９】
Ｆ′の展開のためにＤを次のように定める。
【００５０】
【数１０】
【００５１】
【数１１】
【００５２】
これを数８式に代入しｘi について解き、それを逐次近似法の漸化式として利用する。
【００５３】
【数１２】
【００５４】
これだけでは収束性については保証されないので次の超球内一様化を行う。
【００５５】
原点への移動と特定方向へのかたよりの解消を次に説明する。
【００５６】
まず原点が分布の中心となるように平行移動する。
【００５７】
【数１３】
【００５８】
次に統計における主成分分析と同様に、共分散行列を求めて固有値分解によりどの方向に対する分散も同じ値となるようにする。
【００５９】
【外１】
【００６０】
【数１４】
【００６１】
これを固有値分解する。
【００６２】
【数１５】
Ａ＝Ｕt ＢＵ
得られた固有値σ1 ，σ2 ，…，σN に対して次のような逆変換行列を作る。
【００６３】
【数１６】
【００６４】
以下の変換を行う。
【００６５】
【数１７】
【００６６】
次に球の半径方向の標本の分布について統計をとる。図１に示したように超球の一定半径ｒ内に存在する標本の数を、標本の総数で割って規格化した値を求める。これをｒに対する関数と見てＵ（ｒ）とする。なお数値処理のためにあらかいめ標本の分布している半径の範囲を定めて１００段階に分割し、折線近似関数で代用している。
【００６７】
理想的に標本が一様に分布していれば、半径方向に対して体積に比例することが期待されるので、閉じ込める超球の半径を１とし、空間の次元がＮなのでＵ（ｒ）はｒN に一致する。そこで
【００６８】
【外２】
【００６９】
次の変換を行う。
【００７０】
【数１８】
【００７１】
次の手順ですべての標本について繰り返し方によって位置を求める。
【００７２】
１．初期値として標本ｉを一定半径の球内に一様分布となるように乱数を用いて配置する。
【００７３】
【外３】
【００７４】
２．ｔを繰り返し回数とし、すべての標本ｉについて数１２式を計算し
【００７５】
【外４】
【００７６】
３．求められた
【００７７】
【外５】
【００７８】
球内一様化の処理を行う。
【００７９】
４．ｔに１を加えて１に戻る。
【００８０】
シミュレーションによって数量化ＩＶ類と本実施形態の方法の能力を比較する。ここでは標本数を１０００とした。これらを１００のクラスに分割し、各クラスは１０ずつの標本を含む。同じクラスに所属する標本間の親近度は区間［０，１）の一様乱数で与えた。一方クラスの異なる標本間の親近度をノイズとして区間［０，α）の一様乱数で与える。αが１に近づくほど大きなノイズとなる。理想的なクラスタリングでは同一クラスに所属する１０の標本ごとに空間中で集まることになる。
【００８１】
ここではαが０．０１と０．１の場合について示す。この場合の親近度を図２と図３に示した。１０００の標本のうち３つのクラスに属する３０の標本の相互関係を示している。縦横の軸は各標本であり、各交点上で親近度を四角形の大きさで示している。
【００８２】
この標本に対して数量化ＩＶ類と本実施形態による分類を行い比較する。それぞれの手法を用いて１０次元空間中に配置する。なお本実施形態では超球の半径を１とし、ａを０．１とした。その結果５０回の繰り返しによりほぼ収束した。各１０００の標本は１０次元空間中に位置しているので、可視化のためにすべての点を２次元平面上に正照影した結果を図４から図７に示している。
【００８３】
数量化ＩＶ類によってもαが０．０１の場合（図４）には、クラスごとに分離できている。しかし原点付近に位置したクラスでは近傍に集まってしまっている。同じデータで本実施形態によった場合は（図６）クラスごとに明確に分離していることがわかる。
【００８４】
αが０．１になると、図５のように数量化ＩＶ類では大半の標本が超空間中の細い棒状の空間に集中してしまいクラスタに分離することができなくなる。これに対して本実施形態では（図７）個々のクラスの分散が大きくなるが明確に分離できている。
【００８５】
認識や検索への利用を考えた場合には、例えばあるquery に対してその再近傍にある標本によってクラスを判別することをする。そこでアルゴリズムの能力を調べるために、１０００個の各標本について、それぞれのもっとも近傍にある標本が本来想定した同じクラスにあるかどうかを調べた。表１にあるように、αが０．０１以下ではどちらも正しく判別できている。しかしαがその値を超えると数量化ＩＶ類では判別が困難になってしまい、明らかに能力が劣っていることがわかる。
【００８６】
【表１】
【００８７】
なお、このシミュレーションに要したＣＰＵ時間は５０回の繰り返しで２１５秒であった（Gray CS6400, SUN SPARC 85MHz）。
【００８８】
本実施形態を適用したネットニュースの記事検索システムを説明する。
【００８９】
インターネット上でのニュースシステムは日本では１９８５年からｆｊカテゴリーの運用が開始されている。発足以来現在までの約２３５万件の記事を収集しており、これに対する検索を提供することを目的としている。
【００９０】
前処理としてすべての記事の本文について、Chasenを用いて形態素解析をし、単語に分類する。この単語すべてを統計処理すべき標本とみなして本実施形態の方法により超空間に配置する。
【００９１】
各単語間の神話度については、まず収集された記事本文の中で、前後５単語以内に共起した単語の組についてすべてカウントしＮijとする。次に助詞「は」や接尾辞のように出現頻度の高いものに標本が集中することを避けるため、各単語の出現数をＮi として規格化し親和度Ｍijとしている。
【００９２】
【数１９】
【００９３】
本実施形態の分類方法によって、標本ｉが座標ｘi に配置されるので、次に標本（単語）ごとに、空間内で近くに配置されている単語をあらかじめ検索してある。近傍にある単語は単一の文書中で共起性が高いので、関連の深いものと考えられ、これによって単語や文章の曖昧検索を可能としている。
【００９４】
ユーザは、一般の日本文を与えることで検索できる。与えられた文章はChasenによって単語（形態素）に分割され、その単語とその近傍の単語を含む記事を検索する。
【００９５】
検索された記事は、共有する単語数や単語ごとの出現頻度およびGalaxy空間中での距離から点数が付けられ、関連が深いと考えられるものから順に表示される。
【００９６】
上述のネットニュースの検索を行うための分類装置内蔵のファイル検索システムの構成を図８に示す。ファイル検索システムとしは汎用のコンピュータ、たとえば、パーソナルコンピュータやワークステーションを使用可能であるが、本発明に関わるので、簡単にハード構成を説明しておく。図８において、１はＣＰＵであり、システムメモリ２およびハードディスク記憶装置（ＨＤＤ）４に記憶されたシステムプログラムにしたがって、構成各部のシステム制御を行う。さらにＨＤＤ４に記憶された図９の検索プログラムにしたがって、ネットニュースの検索を行う。この検索プログラムの中の後述の分類処理を実行する時のＣＰＵが分類装置として機能する。
【００９７】
システムメモリ２は上述のシステムプログラムおよびＣＰＵ１の演算に使用する各種のデータを記憶する。入力装置３は、データベースに登録するニュース（文書ファイル）を入力する。本例では、入力装置としてキーボードを使用するが、文書ファイルを入力できるものとしては、インターネットと接続する通信装置、フロッピーディスク等の記録媒体から文書ファイルを読み取る記録媒体読み取り装置を入力装置としても使用することができる。なお、入力装置３からは検索する内容（日本語文）をも入力する。
【００９８】
ＨＤＤ４は上述のシステムプログラムの一部および図９の検索プログラムを保存するとともに、さらには検索の対象となるネットニュースを蓄積しておくデータベースを保存する。さらに、ＨＤＤ４にはデータの分類（関連のあるものを１つのグループにまとめること）処理で使用する単語間の親近度およびそれらの単語がテーブル形態で記憶されている。また、日本語の形態素解析を行うための単語辞書もＨＤＤ４に記憶されている。表示装置５には検索結果として得られるファイル名を表示する。
【００９９】
このようなシステム構成において実行される検索処理を図９のフローチャートを参照して説明する。説明の便宜上、図９のフローチャートは機能表現で記載しているが、実際には、ＣＰＵ１が読み取り実行可能なプログラム言語で記載され、ＨＤＤ４に記憶されている。入力装置３からの起動の指示に応じて、図９のプログラムがＨＤＤ４からシステムメモリ２に読み出され、ＣＰＵ１により実行される。
【０１００】
図９において、ユーザは、たとえば、「自己組織化を行う装置」という日本語文を入力装置３から入力する。入力された日本語文からはＣＰＵ１の周知の形態素分析により、「自己」「組織化」「装置」の単語が抽出され、システムメモリ２に一時記憶される（ステップＳ１０）。
【０１０１】
ＣＰＵ１はＨＤＤ４に格納されたデータベースの中から第１番目のニュース、すなわち、文書ファィルをシステムメモリ２に読み出す。読み出された文書についても形態素解析が行われ、単語が抽出される（ステップＳ２０）。ここで、上述した分類方法に従った分類処理が開始される。より具体的には、単語を標本として、ＣＰＵ１は数２から数４式を満足する標本の分布をシステムメモリ２上に作成する。なお、この標本分布の作成と同時に、数４式の条件が組み込まれる。なお、数４式では、閾値ａより距離が大きい標本と上記距離が小さい標本とでは、異なる距離の算出式を使用するので、２つの標本の距離が離れている場合、分布の中心から距離の離れた標本については評価値を大きくする補正が数５式により行われる。次に、ＣＰＵ１は数６式から数１８式を実行して、標本の分布の偏りを補正する。乱数を使用した標本の再配置の繰り返しにより標本が分布の中心からの距離に比例してそれらの個数が多くなるように標本の距離が補正される（ステップＳ３０）。
【０１０２】
このように補正された標本の分布を使用して、従来と同様に主成分分析を行うと、関連のある標本（この場合）がシステムメモリ２上で１つのグループ（いわゆるクラス）に分類される（ステップＳ４０）。以上の分類処理に平行して、各標本の文書ファイル中の出現頻度もＣＰＵ１により計数され、その計数結果と、上述の分類処理で得られる単語の親近度がこのシステムメモリ２に格納される。
【０１０３】
次にＣＰＵ１はステップＳ１０で抽出された検索目的の単語（いわゆるキーワード）、すなわち、「自己」「組織化」「装置」とステップＳ４０で分類された単語とを比較し、すべて合致する場合には、上記分類の対象となった文書ファイルのファイル名、合致した単語の出現頻度をシステムメモリ２上にリストアップする（ステップ５０→Ｓ６０）。この後、手順はステップＳ７０を経由してステップＳ２０に戻り、ステップＳ２０〜Ｓ４０でデータベースに保存された次の文書ファイルのデータ分類処理が行われる。
【０１０４】
一方、ステップＳ５０の単語の合致判定処理で不一致の判定が得られた場合には手順をステップＳ２０に戻し、データベースに保存された次のファイルについての分類処理が行われる。
【０１０５】
このようにして、データベース上のすべての文書ファイルについて、上述の分類処理および単語の合致判定処理、ファイル名リストアップ処理を行うと（ステップＳ７０のＹＥＳ判定）、ＣＰＵ１はシステムメモリ２上にリストアップされたファイル名をソータティング（並べ替え）する。並べ替えの判断基準は、親近度および出現頻度の高いファイル名が上位に位置する。ソーティングの処理自体は周知であり、詳細な説明を要しないであろう。このようにして、得られたファイル名のリストが表示装置５に可視表示される（ステップＳ８０）。
【０１０６】
上述の実施形態の他に次の形態を実施できる。
【０１０７】
１）上述の実施形態はデータファイルが文書ファイル、すなわち、複数の単語を有する文書（テキストとも称する）であったが、データファイルとしては、音声（人間の声）データ、動画データ、音響データさらには楽譜データ等のファイルについても本発明を適用できる。この場合には、音声データを複数の音声単位、たとえば、音素、音韻、単語等所定の音声長さ単位で区切った音声データを標本と使用すればよい。動画は複数の静止画で構成されているので、静止画を標本として使用する。音楽のような音響データ、楽譜データはたとえば、１小節のような長さの音楽データを標本として使用するとよい。このような、音声データ、動画、音響データファイルを対象とする検索システムでは、検索目的のデータをデータベースに登録されたデータと同一の種類の音声データ、動画データ、音響データで与えることができる。このようなファイル検索の用途としてはたとえば、小説、音楽、楽譜をデータベースに登録しておき、著作権の侵害の有無の判定のために対象のデータを検索にかけるといった用途も考えられる。
【０１０８】
２）上述の実施形態では、検索により取得したファイル名のソーティングについては出現頻度および親近度の双方を並び替えの判断基準として使用したが、いずれか一方のみを使用してもよいこと勿論である。
【０１０９】
３）図９に示すプログラムをフロッピーディスクやＣＤＲＯＭ等の各種の記録媒体に記録して、図８のＨＤＤ４にインストールしてもよいこと勿論である。
【０１１０】
【発明の効果】
以上、説明したように、請求項１、５の発明では、親近度が高く、意味内容の異なる標本の分布上の集中が緩和され、逆に分布上で集中がない標本については、個数が増やされる。これにより、ノイズの影響をなくし、さらには分布上で集中した標本を別のグループに分類することができ、従来よりも分類精度を向上させることができる。
【０１１１】
請求項２、６の発明では、コンピュータが処理する各種の文書ファイルに含まれるデータを精度よく自己組織化することができる。
【０１１２】
請求項３、７の発明では、コンピュータが処理する各種の音声データファイルに含まれるデータを精度よく自己組織化することができる。
【０１１３】
請求項４、８の発明では、コンピュータが処理する各種の動画データファイルに含まれるデータを精度よく自己組織化することができる。
【０１１４】
請求項９〜１１の発明では、検索目的のデータ（文字の場合、キーワード）が複数有る場合には、個々のデータに合致するだけでなく、データの間の最も関連の深い（親近度の高い）ファイルやデータの出現頻度の高いファイルが検索結果の上位として得られる。
【図面の簡単な説明】
【図１】本発明実施形態の標本分布と標本位置の補正を説明するための説明図である。
【図２】本発明実施形態のシミュレーション結果を示す説明図である。
【図３】本発明実施形態のシミュレーション結果を示す説明図である。
【図４】従来の標本分布を示す説明図である。
【図５】従来の標本分布を示す説明図である。
【図６】本発明実施形態の標本分布を示す説明図である。
【図７】本発明実施形態の標本分布を示す説明図である。
【図８】本発明実施形態のシステム構成を示すブロック図である。
【図９】本発明実施形態の処理手順を示すフローチャートである。
【符号の説明】
１ ＣＰＵ
２ システムメモリ
３ 入力装置
４ ＨＤＤ
５ 表示装置
【発明の属する技術分野】
本発明は、ファイル内の複数のデータを関連の深いもの同士にまとめ分類する分類装置、方法およびファイル検索方法に関する。
【０００２】
【従来の技術】
データの自己組織化すなわち、関連の深いデータを１つにまとめ、複数のグループに分類することはパターン認識においてモデルの自動生成として位置付けられ、重要なテーマの一つである。データの自己組織化については次の文献が知られている。
【０００３】
（１）T. Kohonen : Self-Organization maps : Springer-Verlarg, (1995)
例えば動画画像認識や音声認識に関する自己組織化では、時間的な連続性を相互関係とみて、入力データを自己組織化することが試みられ、次の文献が発表されている。
【０００４】
（２）遠藤隆，他：動画像の自己組織化ネットワークモデル−そのトポロジーと動的特徴の解析−：人工知能学会情報統合研究会ＳＩＧ−ＣＩＩ−９７０７，（１９９７．７）
また文書処理等でも同一文書中に依存している共起性によって自己組織化を試みており、単語やドキュメントの空間配置問題として扱い、検索や分類に用いることも行われていて、以下の文献が発表されている。
【０００５】
（３）豊浦潤，岡隆一：テキスト検索のためのテキストデータの自己組織化について：人工知能学会情報統合研究会ＳＩＧ−ＣＩＩ−９６０３，ｐｐ．１６−２３，（１９９７．３）
（４）本間直人，石川真澄：数量化ＩＩＩ類の逆問題を用いたキーワードと文献の双方向的空間配置：信学会誌Ｄ−ＩＩ，Ｊ８１−ＤＩＩ，３，ｐｐ．５６４−５７３，（１９９８．３）
さらに本発明に関する文献としては、
（５）林知己夫，他：数量化理論とデータ処理：朝倉書店，（１９８７）
が知られている。ここで述べられ、数量化ＩＶ類と呼ばれている分類方法を説明する。
【０００６】
数量化ＩＶ類は有限個の標本が与えられ標本相互の親和度の強さが定義されている時に、親和度の高いものほど有限次元の空間で近傍に配置するようにしている。これによって相互に親和度の高い標本が空間中に集まり自己組織化することが期待できる。例えば音声や画像の時系列データの解析では、一定時間内での各事象を標本とし、連続性を親和性と見なすことができる。文書の理解では、文字や形態素を標本とみて、同一の文書やコンテキストでの共起を親和度と見ることができる。
【０００７】
統計をとる標本をＮ次元空間に配置する問題を考える。各標本に任意の番号付けをしｉとする。その標本の空間中の位置をｘi とする。標本ｉとｊの間の親和度が与えられておりＭijとする。Ｍijは正の値をとり、親近度が高いものほど大きな値をとる。
【０００８】
各標本間の距離が親近度に対応するように、標本間の距離の２乗にマイナス１をかけたものを距離関係として定義する。
【０００９】
【数１】
ｄij＝−（ｘj −ｘi ）2
次のように対応する標本間ごとに親近度と距離関係の積をとり、この総和が最大となるｘi を求める。
【００１０】
【数２】
しかしこの条件式だけでは、すべての標本が同一の点に位置した場合に０となり、最大となって条件が満たされてしまう。このため標本の位置ｘi 2が一定の分散を持つように次の条件式を加える。
【００１２】
【数３】
上記条件式の数２式，数３式は行列の固有値問題に帰着する解法が知られていて、解析的に解を求めることができる。
【００１４】
【発明が解決しようとする課題】
このような手法をたとえば、文書に適用する場合、上記標本が単語となり、親近度の高い標本ｘi が文書の特徴を表す単語として抽出される。しかしながら、この手法を実世界のデータに適用すると、親近度にランダムなノイズ（出現頻度が極端に低いデータ）が加わり、関係の深いデータ（この場合、単語）を分離（抽出）することが困難になるという解決すべき課題があった。
【００１５】
そこで、本発明の目的は、ノイズの影響の少ない分類装置、方法およびファイル検索方法を提供することにある。
【００１６】
【課題を解決するための手段】
このような目的を達成するために、請求項１の発明は、ファイルの中の複数のデータを関連の深いデータ同士にまとめて分類するために、前記データを標本とみなし、２つの標本の間の関連の度合いを示す親近度および２つの標本の間の距離に関する複数の標本全体の分布を統計解析する分類装置において、
前記複数の標本の分布の偏りを原点が分布の中心となるように平行移動させた後、共分散行列を求めて固有地分解を行うことで補正する第１の補正手段と、
前記第１の補正手段により補正された複数の標本の分布の中心から標本までの距離に比例して標本の個数が多くなるようにすべての標本について乱数を用いた配置を繰り返すことで前記複数の標本の距離を補正する第２の補正手段と
を具えたことを特徴とする。
【００１７】
請求項２の発明は、請求項１に記載の分類装置において、前記ファイルは複数の単語を含む文書であり、前記標本を前記単語とすることを特徴とする。
【００１８】
請求項３の発明は、請求項１に記載の分類装置において、前記ファイルは複数の音声要素からなるファイルであり、前記標本を前記音声要素とすることを特徴とする。
【００１９】
請求項４の発明は、請求項１に記載の分類装置において、前記ファイルは複数の静止画を有する動画であり、前記標本を前記静止画とすることを特徴とする。
【００２０】
請求項５の発明は、ファイルの中の複数のデータを関連の深いデータ同士にまとめて分類するために、前記データを標本とみなし、２つの標本の間の関連の度合いを示す親近度および２つの標本の間の距離に関する複数の標本全体の分布をコンピュータにより統計解析する分類方法において、前記コンピュータが
前記複数の標本の分布の偏りを原点が分布の中心となるように平行移動させた後、共分散行列を求めて固有地分解を行うことで前記コンピュータにより補正する第１の補正手段と、
前記第１の補正手段により補正された複数の標本の分布の中心から標本までの距離に比例して標本の個数が多くなるようにすべての標本について乱数を用いた配置を繰り返すことで前記複数の標本の距離を前記コンピュータにより補正する第２の補正手段と
として動作することを特徴とする。
【００２１】
請求項６の発明は、請求項５に記載の分類方法において、前記ファイルは複数の単語を含む文書であり、前記標本を前記単語とすることを特徴とする。
【００２２】
請求項７の発明は、請求項５に記載の分類方法において、前記ファイルは複数の音声要素からなるファイルであり、前記標本を前記音声要素とすることを特徴とする。
【００２３】
請求項８の発明は、請求項５に記載の分類方法において、前記ファイルは複数の静止画を有する動画であり、前記標本を前記静止画とすることを特徴とする。
【００２４】
請求項９の発明は、データベースに登録されたファイルをコンピュータにより検索するファイル検索方法において、前記コンピュータが、前記データベースに登録されたファイルを構成するデータと種類が同一で、検索目的のデータを入力する手段と、前記データベースに登録されたファイルの中に含まれるデータに対して請求項５に記載の分類方法を適用し、当該分類方法により分類されたデータが、前記入力する手段で入力されたデ−タと合致するか否かの判定を、前記データベースに登録されたファイル全てに対して行う手段ととして動作し、合致するの判定が得られたファイルを検索結果とすることを特徴とする。
【００２５】
請求項１０の発明は、請求項９に記載のファイル検索方法において、前記コンピュータが、検索策結果として得られるファイルをそのファイル名でリストアップするステップと、当該リストアップされたファイル名を、合致した前記データの有する親近度の順にソーティングする手段ととしてさらに動作することを特徴とする。
【００２６】
請求項１１の発明は、請求項９に記載のファイル検索方法において、前記コンピュータが、前記ファイルの中に含まれるデータの出現頻度を計数するステップと、検索策結果として得られるファイルをそのファイル名でリストアップする手段と、当該リストアップされたファイル名を、合致した前記データの有する出現頻度の順にソーティングする手段ととしてさらに動作することを特徴とする。
【００２７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２８】
最初に、本発明に関わる分類方法を説明する。上述の数量化ＩＶ類による解析では、後のシミュレーションで実験で示すように実世界データにしばしばあるように親近度にランダムなノイズが加わると、関係の深いものだけを分類することが困難になる。他の標本との関係によらず親近度の高い標本は中心付近に集中し、親近度が低い標本が中心から離れることで上記の条件式が満たされるようになる。
【００２９】
この問題について検討した結果、距離の定義式の数１式を変更し、一定距離以上に離れた場合のペナルティを緩和することで上記問題２に対処できることを本願発明者は発見した。本発明の方法を用いると、ノイズ（出現頻度が極端に低い標本）などによって弱い関係を持つ標本間を放して配置しても、数２式の変化が非線形化により緩和されるので、分離しクラスタリングすることが可能となる。
【００３０】
数１式を非線型関数Ｆにより変形し次のように定義する。
【００３１】
【数４】
Ｆは近傍（＜ａ）については２次関数であり、その外側では１次関数となる次の式で定義する。
【００３３】
【数５】
この関数によって閾値ａ以内の近傍では２乗と同じとなり、その外側では対象間の距離が大きくなっても評価値の減少が小さいので目的とする効果が得られる。
【００３５】
上記のように最小２乗項を非線形化すると、解析解を得られない。そこで次の節のように繰り返し法による数値解法が必要となる。さらに与えられた親近度の分布やａの値によっては特定の標本の位置だけを無限遠に置くことで最大化式が満たされてしまい数値計算が収束しない。
【００３６】
また、数量化ＩＶ類に比べて標本の中心付近への集積が緩和されるものの、中心付近で異なるグループに所属する標本間の距離ａ以下になると、非線形化による効果が失われてしまう。
【００３７】
この発散と中心への集中を防ぐために標本の位置を一定の超球内に閉じ込めて、この超球内での標本の分布を一様にとなるように以下の条件を加える。
【００３８】
１．標本の分布の中心は原点である。
【００３９】
２．標本の分布について主成分分析をしても分布にかたよりが見られない。
【００４０】
３．一定半径の球殻内にすべての標本が存在し、中心から半径方向への分布が空間内での球体積に比例した分布となっている。
【００４１】
最大化（最適化）と超球内一様化の条件を単一の式として解くことも可能であるが、データ規模によっては大規模行列計算となってしまう。そのため以下のように最適化と各制約を順次満たすような、繰り返し法で解を求める。
【００４２】
数６式に数４式を代入すると次の式が得られる。
【００４３】
【数６】
特定の標本（ｘi ）について偏微分すると次の式が得られ、Ｊが最大値を取るとき恒等的に０となる。
【００４５】
【数７】
【数８】
Ｆ′は数５式の微分なので次のように与えられる。
【００４８】
【数９】
Ｆ′の展開のためにＤを次のように定める。
【００５０】
【数１０】
【数１１】
これを数８式に代入しｘi について解き、それを逐次近似法の漸化式として利用する。
【００５３】
【数１２】
これだけでは収束性については保証されないので次の超球内一様化を行う。
【００５５】
原点への移動と特定方向へのかたよりの解消を次に説明する。
【００５６】
まず原点が分布の中心となるように平行移動する。
【００５７】
【数１３】
次に統計における主成分分析と同様に、共分散行列を求めて固有値分解によりどの方向に対する分散も同じ値となるようにする。
【００５９】
【外１】
【数１４】
これを固有値分解する。
【００６２】
【数１５】
Ａ＝Ｕt ＢＵ
得られた固有値σ1 ，σ2 ，…，σN に対して次のような逆変換行列を作る。
【００６３】
【数１６】
以下の変換を行う。
【００６５】
【数１７】
次に球の半径方向の標本の分布について統計をとる。図１に示したように超球の一定半径ｒ内に存在する標本の数を、標本の総数で割って規格化した値を求める。これをｒに対する関数と見てＵ（ｒ）とする。なお数値処理のためにあらかいめ標本の分布している半径の範囲を定めて１００段階に分割し、折線近似関数で代用している。
【００６７】
理想的に標本が一様に分布していれば、半径方向に対して体積に比例することが期待されるので、閉じ込める超球の半径を１とし、空間の次元がＮなのでＵ（ｒ）はｒN に一致する。そこで
【００６８】
【外２】
次の変換を行う。
【００７０】
【数１８】
次の手順ですべての標本について繰り返し方によって位置を求める。
【００７２】
１．初期値として標本ｉを一定半径の球内に一様分布となるように乱数を用いて配置する。
【００７３】
【外３】
２．ｔを繰り返し回数とし、すべての標本ｉについて数１２式を計算し
【００７５】
【外４】
３．求められた
【００７７】
【外５】
球内一様化の処理を行う。
【００７９】
４．ｔに１を加えて１に戻る。
【００８０】
シミュレーションによって数量化ＩＶ類と本実施形態の方法の能力を比較する。ここでは標本数を１０００とした。これらを１００のクラスに分割し、各クラスは１０ずつの標本を含む。同じクラスに所属する標本間の親近度は区間［０，１）の一様乱数で与えた。一方クラスの異なる標本間の親近度をノイズとして区間［０，α）の一様乱数で与える。αが１に近づくほど大きなノイズとなる。理想的なクラスタリングでは同一クラスに所属する１０の標本ごとに空間中で集まることになる。
【００８１】
ここではαが０．０１と０．１の場合について示す。この場合の親近度を図２と図３に示した。１０００の標本のうち３つのクラスに属する３０の標本の相互関係を示している。縦横の軸は各標本であり、各交点上で親近度を四角形の大きさで示している。
【００８２】
この標本に対して数量化ＩＶ類と本実施形態による分類を行い比較する。それぞれの手法を用いて１０次元空間中に配置する。なお本実施形態では超球の半径を１とし、ａを０．１とした。その結果５０回の繰り返しによりほぼ収束した。各１０００の標本は１０次元空間中に位置しているので、可視化のためにすべての点を２次元平面上に正照影した結果を図４から図７に示している。
【００８３】
数量化ＩＶ類によってもαが０．０１の場合（図４）には、クラスごとに分離できている。しかし原点付近に位置したクラスでは近傍に集まってしまっている。同じデータで本実施形態によった場合は（図６）クラスごとに明確に分離していることがわかる。
【００８４】
αが０．１になると、図５のように数量化ＩＶ類では大半の標本が超空間中の細い棒状の空間に集中してしまいクラスタに分離することができなくなる。これに対して本実施形態では（図７）個々のクラスの分散が大きくなるが明確に分離できている。
【００８５】
認識や検索への利用を考えた場合には、例えばあるquery に対してその再近傍にある標本によってクラスを判別することをする。そこでアルゴリズムの能力を調べるために、１０００個の各標本について、それぞれのもっとも近傍にある標本が本来想定した同じクラスにあるかどうかを調べた。表１にあるように、αが０．０１以下ではどちらも正しく判別できている。しかしαがその値を超えると数量化ＩＶ類では判別が困難になってしまい、明らかに能力が劣っていることがわかる。
【００８６】
【表１】
なお、このシミュレーションに要したＣＰＵ時間は５０回の繰り返しで２１５秒であった（Gray CS6400, SUN SPARC 85MHz）。
【００８８】
本実施形態を適用したネットニュースの記事検索システムを説明する。
【００８９】
インターネット上でのニュースシステムは日本では１９８５年からｆｊカテゴリーの運用が開始されている。発足以来現在までの約２３５万件の記事を収集しており、これに対する検索を提供することを目的としている。
【００９０】
前処理としてすべての記事の本文について、Chasenを用いて形態素解析をし、単語に分類する。この単語すべてを統計処理すべき標本とみなして本実施形態の方法により超空間に配置する。
【００９１】
各単語間の神話度については、まず収集された記事本文の中で、前後５単語以内に共起した単語の組についてすべてカウントしＮijとする。次に助詞「は」や接尾辞のように出現頻度の高いものに標本が集中することを避けるため、各単語の出現数をＮi として規格化し親和度Ｍijとしている。
【００９２】
【数１９】
本実施形態の分類方法によって、標本ｉが座標ｘi に配置されるので、次に標本（単語）ごとに、空間内で近くに配置されている単語をあらかじめ検索してある。近傍にある単語は単一の文書中で共起性が高いので、関連の深いものと考えられ、これによって単語や文章の曖昧検索を可能としている。
【００９４】
ユーザは、一般の日本文を与えることで検索できる。与えられた文章はChasenによって単語（形態素）に分割され、その単語とその近傍の単語を含む記事を検索する。
【００９５】
検索された記事は、共有する単語数や単語ごとの出現頻度およびGalaxy空間中での距離から点数が付けられ、関連が深いと考えられるものから順に表示される。
【００９６】
上述のネットニュースの検索を行うための分類装置内蔵のファイル検索システムの構成を図８に示す。ファイル検索システムとしは汎用のコンピュータ、たとえば、パーソナルコンピュータやワークステーションを使用可能であるが、本発明に関わるので、簡単にハード構成を説明しておく。図８において、１はＣＰＵであり、システムメモリ２およびハードディスク記憶装置（ＨＤＤ）４に記憶されたシステムプログラムにしたがって、構成各部のシステム制御を行う。さらにＨＤＤ４に記憶された図９の検索プログラムにしたがって、ネットニュースの検索を行う。この検索プログラムの中の後述の分類処理を実行する時のＣＰＵが分類装置として機能する。
【００９７】
システムメモリ２は上述のシステムプログラムおよびＣＰＵ１の演算に使用する各種のデータを記憶する。入力装置３は、データベースに登録するニュース（文書ファイル）を入力する。本例では、入力装置としてキーボードを使用するが、文書ファイルを入力できるものとしては、インターネットと接続する通信装置、フロッピーディスク等の記録媒体から文書ファイルを読み取る記録媒体読み取り装置を入力装置としても使用することができる。なお、入力装置３からは検索する内容（日本語文）をも入力する。
【００９８】
ＨＤＤ４は上述のシステムプログラムの一部および図９の検索プログラムを保存するとともに、さらには検索の対象となるネットニュースを蓄積しておくデータベースを保存する。さらに、ＨＤＤ４にはデータの分類（関連のあるものを１つのグループにまとめること）処理で使用する単語間の親近度およびそれらの単語がテーブル形態で記憶されている。また、日本語の形態素解析を行うための単語辞書もＨＤＤ４に記憶されている。表示装置５には検索結果として得られるファイル名を表示する。
【００９９】
このようなシステム構成において実行される検索処理を図９のフローチャートを参照して説明する。説明の便宜上、図９のフローチャートは機能表現で記載しているが、実際には、ＣＰＵ１が読み取り実行可能なプログラム言語で記載され、ＨＤＤ４に記憶されている。入力装置３からの起動の指示に応じて、図９のプログラムがＨＤＤ４からシステムメモリ２に読み出され、ＣＰＵ１により実行される。
【０１００】
図９において、ユーザは、たとえば、「自己組織化を行う装置」という日本語文を入力装置３から入力する。入力された日本語文からはＣＰＵ１の周知の形態素分析により、「自己」「組織化」「装置」の単語が抽出され、システムメモリ２に一時記憶される（ステップＳ１０）。
【０１０１】
ＣＰＵ１はＨＤＤ４に格納されたデータベースの中から第１番目のニュース、すなわち、文書ファィルをシステムメモリ２に読み出す。読み出された文書についても形態素解析が行われ、単語が抽出される（ステップＳ２０）。ここで、上述した分類方法に従った分類処理が開始される。より具体的には、単語を標本として、ＣＰＵ１は数２から数４式を満足する標本の分布をシステムメモリ２上に作成する。なお、この標本分布の作成と同時に、数４式の条件が組み込まれる。なお、数４式では、閾値ａより距離が大きい標本と上記距離が小さい標本とでは、異なる距離の算出式を使用するので、２つの標本の距離が離れている場合、分布の中心から距離の離れた標本については評価値を大きくする補正が数５式により行われる。次に、ＣＰＵ１は数６式から数１８式を実行して、標本の分布の偏りを補正する。乱数を使用した標本の再配置の繰り返しにより標本が分布の中心からの距離に比例してそれらの個数が多くなるように標本の距離が補正される（ステップＳ３０）。
【０１０２】
このように補正された標本の分布を使用して、従来と同様に主成分分析を行うと、関連のある標本（この場合）がシステムメモリ２上で１つのグループ（いわゆるクラス）に分類される（ステップＳ４０）。以上の分類処理に平行して、各標本の文書ファイル中の出現頻度もＣＰＵ１により計数され、その計数結果と、上述の分類処理で得られる単語の親近度がこのシステムメモリ２に格納される。
【０１０３】
次にＣＰＵ１はステップＳ１０で抽出された検索目的の単語（いわゆるキーワード）、すなわち、「自己」「組織化」「装置」とステップＳ４０で分類された単語とを比較し、すべて合致する場合には、上記分類の対象となった文書ファイルのファイル名、合致した単語の出現頻度をシステムメモリ２上にリストアップする（ステップ５０→Ｓ６０）。この後、手順はステップＳ７０を経由してステップＳ２０に戻り、ステップＳ２０〜Ｓ４０でデータベースに保存された次の文書ファイルのデータ分類処理が行われる。
【０１０４】
一方、ステップＳ５０の単語の合致判定処理で不一致の判定が得られた場合には手順をステップＳ２０に戻し、データベースに保存された次のファイルについての分類処理が行われる。
【０１０５】
このようにして、データベース上のすべての文書ファイルについて、上述の分類処理および単語の合致判定処理、ファイル名リストアップ処理を行うと（ステップＳ７０のＹＥＳ判定）、ＣＰＵ１はシステムメモリ２上にリストアップされたファイル名をソータティング（並べ替え）する。並べ替えの判断基準は、親近度および出現頻度の高いファイル名が上位に位置する。ソーティングの処理自体は周知であり、詳細な説明を要しないであろう。このようにして、得られたファイル名のリストが表示装置５に可視表示される（ステップＳ８０）。
【０１０６】
上述の実施形態の他に次の形態を実施できる。
【０１０７】
１）上述の実施形態はデータファイルが文書ファイル、すなわち、複数の単語を有する文書（テキストとも称する）であったが、データファイルとしては、音声（人間の声）データ、動画データ、音響データさらには楽譜データ等のファイルについても本発明を適用できる。この場合には、音声データを複数の音声単位、たとえば、音素、音韻、単語等所定の音声長さ単位で区切った音声データを標本と使用すればよい。動画は複数の静止画で構成されているので、静止画を標本として使用する。音楽のような音響データ、楽譜データはたとえば、１小節のような長さの音楽データを標本として使用するとよい。このような、音声データ、動画、音響データファイルを対象とする検索システムでは、検索目的のデータをデータベースに登録されたデータと同一の種類の音声データ、動画データ、音響データで与えることができる。このようなファイル検索の用途としてはたとえば、小説、音楽、楽譜をデータベースに登録しておき、著作権の侵害の有無の判定のために対象のデータを検索にかけるといった用途も考えられる。
【０１０８】
２）上述の実施形態では、検索により取得したファイル名のソーティングについては出現頻度および親近度の双方を並び替えの判断基準として使用したが、いずれか一方のみを使用してもよいこと勿論である。
【０１０９】
３）図９に示すプログラムをフロッピーディスクやＣＤＲＯＭ等の各種の記録媒体に記録して、図８のＨＤＤ４にインストールしてもよいこと勿論である。
【０１１０】
【発明の効果】
以上、説明したように、請求項１、５の発明では、親近度が高く、意味内容の異なる標本の分布上の集中が緩和され、逆に分布上で集中がない標本については、個数が増やされる。これにより、ノイズの影響をなくし、さらには分布上で集中した標本を別のグループに分類することができ、従来よりも分類精度を向上させることができる。
【０１１１】
請求項２、６の発明では、コンピュータが処理する各種の文書ファイルに含まれるデータを精度よく自己組織化することができる。
【０１１２】
請求項３、７の発明では、コンピュータが処理する各種の音声データファイルに含まれるデータを精度よく自己組織化することができる。
【０１１３】
請求項４、８の発明では、コンピュータが処理する各種の動画データファイルに含まれるデータを精度よく自己組織化することができる。
【０１１４】
請求項９〜１１の発明では、検索目的のデータ（文字の場合、キーワード）が複数有る場合には、個々のデータに合致するだけでなく、データの間の最も関連の深い（親近度の高い）ファイルやデータの出現頻度の高いファイルが検索結果の上位として得られる。
【図面の簡単な説明】
【図１】本発明実施形態の標本分布と標本位置の補正を説明するための説明図である。
【図２】本発明実施形態のシミュレーション結果を示す説明図である。
【図３】本発明実施形態のシミュレーション結果を示す説明図である。
【図４】従来の標本分布を示す説明図である。
【図５】従来の標本分布を示す説明図である。
【図６】本発明実施形態の標本分布を示す説明図である。
【図７】本発明実施形態の標本分布を示す説明図である。
【図８】本発明実施形態のシステム構成を示すブロック図である。
【図９】本発明実施形態の処理手順を示すフローチャートである。
【符号の説明】
１ ＣＰＵ
２ システムメモリ
３ 入力装置
４ ＨＤＤ
５ 表示装置
Claims (11)
- ファイルの中の複数のデータを関連の深いデータ同士にまとめて分類するために、前記データを標本とみなし、２つの標本の間の関連の度合いを示す親近度および２つの標本の間の距離に関する複数の標本全体の分布を統計解析する分類装置におい
て、
前記複数の標本の分布の偏りを原点が分布の中心となるように平行移動させた後、共分散行列を求めて固有地分解を行うことで補正する第１の補正手段と、
前記第１の補正手段により補正された複数の標本の分布の中心から標本までの距離に比例して標本の個数が多くなるようにすべての標本について乱数を用いた配置を繰り返すことで前記複数の標本の距離を補正する第２の補正手段と
を具えたことを特徴とする分類装置。 - 請求項１に記載の分類装置において、前記ファイルは複数の単語を含む文書であり、前記標本を前記単語とすることを特徴とする分類装置。
- 請求項１に記載の分類装置において、前記ファイルは複数の音声要素からなるファイルであり、前記標本を前記音声要素とすることを特徴とする分類装置。
- 請求項１に記載の分類装置において、前記ファイルは複数の静止画を有する動画であり、前記標本を前記静止画とすることを特徴とする分類装置。
- ファイルの中の複数のデータを関連の深いデータ同士にまとめて分類するために、前記データを標本とみなし、２つの標本の間の関連の度合いを示す親近度および２つの標本の間の距離に関する複数の標本全体の分布をコンピュータにより統計解析する分類方法において、前記コンピュータが
前記複数の標本の分布の偏りを原点が分布の中心となるように平行移動させた後、共分散行列を求めて固有地分解を行うことで前記コンピュータにより補正する第１の補正手段と、
前記第１の補正手段により補正された複数の標本の分布の中心から標本までの距離に比例して標本の個数が多くなるようにすべての標本について乱数を用いた配置を繰り返すことで前記複数の標本の距離を前記コンピュータにより補正する第２の補正手段と
として動作することを特徴とする分類方法。 - 請求項５に記載の分類方法において、前記ファイルは複数の単語を含む文書であり、前記標本を前記単語とすることを特徴とする分類方法。
- 請求項５に記載の分類方法において、前記ファイルは複数の音声要素からなるファイルであり、前記標本を前記音声要素とすることを特徴とする分類方法。
- 請求項５に記載の分類方法において、前記ファイルは複数の静止画を有する動画であり、前記標本を前記静止画とすることを特徴とする分類方法。
- データベースに登録されたファイルをコンピュータにより検索するファイル検索方法において、前記コンピュータが、
前記データベースに登録されたファイルを構成するデータと種類が同一で、検索目的のデータを入力する手段と、
前記データベースに登録されたファイルの中に含まれるデータに対して請求項５に記載の分類方法を適用し、当該分類方法により分類されたデータが、前記入力する手段で入力されたデ−タと合致するか否かの判定を、前記データベースに登録されたファイル全てに対して行う手段と
として動作し、合致する判定が得られたファイルを検索結果とすることを特徴とするファイル検索方法。 - 請求項９に記載のファイル検索方法において、前記コンピュータが、検索策結果として得られるファイルをそのファイル名でリストアップするステップと、当該リストアップされたファイル名を、合致した前記データの有する親近度の順にソーティングする手段としてさらに動作することを特徴とするファイル検索方法。
- 請求項９に記載のファイル検索方法において、前記コンピュータが、前記ファイルの中に含まれるデータの出現頻度を計数するステップと、検索策結果として得られるファイルをそのファイル名でリストアップする手段と、当該リストアップされたファイル名を、合致した前記データの有する出現頻度の順にソーティングする手段としてさらに動作することを特徴とするファイル検索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13900198A JP4729151B2 (ja) | 1998-05-20 | 1998-05-20 | 分類装置、方法およびファイル検索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13900198A JP4729151B2 (ja) | 1998-05-20 | 1998-05-20 | 分類装置、方法およびファイル検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11328184A JPH11328184A (ja) | 1999-11-30 |
| JP4729151B2 true JP4729151B2 (ja) | 2011-07-20 |
Family
ID=15235165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13900198A Expired - Fee Related JP4729151B2 (ja) | 1998-05-20 | 1998-05-20 | 分類装置、方法およびファイル検索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4729151B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7672369B2 (en) | 2002-02-13 | 2010-03-02 | Reify Corporation | Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals |
| JP6070951B2 (ja) * | 2013-12-17 | 2017-02-01 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 評価の分析を支援する装置及び方法 |
| CN109919186A (zh) * | 2019-01-28 | 2019-06-21 | 平安科技（深圳）有限公司 | 异常点比例优化方法、装置、计算机设备及存储介质 |
-
1998
- 1998-05-20 JP JP13900198A patent/JP4729151B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11328184A (ja) | 1999-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102640152B (zh) | 根据检索关键词检索文档数据的方法及其计算机系统 | |
| KR101757499B1 (ko) | 관계 정보 확장 장치, 관계 정보 확장 방법, 및 프로그램 | |
| US20180196881A1 (en) | Domain review system for identifying entity relationships and corresponding insights | |
| JP2004005668A (ja) | 膨大な異種ドキュメント集合内のドキュメントについて信頼度の等級付け、推定、分類を行うシステムおよび方法 | |
| CN111753048B (zh) | 文档检索方法、装置、设备及存储介质 | |
| JP2004005667A (ja) | 膨大な異種ドキュメント集合内のドキュメントについて信頼度の等級付け、推定、分類を行うシステムおよび方法 | |
| US11893537B2 (en) | Linguistic analysis of seed documents and peer groups | |
| US20080215313A1 (en) | Speech and Textual Analysis Device and Corresponding Method | |
| JP2009093655A (ja) | 単語親和度による単語クラスタの識別 | |
| US20180341686A1 (en) | System and method for data search based on top-to-bottom similarity analysis | |
| JP2011227688A (ja) | テキストコーパスにおける２つのエンティティ間の関係抽出方法及び装置 | |
| KR20070089449A (ko) | 문서 분류방법 및 그 문서 분류방법을 컴퓨터에서 실행시키기 위한 프로그램을 포함하는 컴퓨터로 읽을 수있는 기록매체. | |
| Pargent et al. | Predictive modeling with psychological panel data | |
| Tahmasebi et al. | Computational modeling of semantic change | |
| JP3847273B2 (ja) | 単語分類装置、単語分類方法及び単語分類プログラム | |
| CN120218247B (zh) | 基于贝叶斯推理的本地知识库rag方法及装置 | |
| JP4729151B2 (ja) | 分類装置、方法およびファイル検索方法 | |
| JP7110554B2 (ja) | オントロジー生成装置、オントロジー生成プログラム及びオントロジー生成方法 | |
| CN118094019B (zh) | 一种文本关联内容推荐方法、装置及电子设备 | |
| JP2011248827A (ja) | 言語横断型情報検索方法、言語横断型情報検索システム及び言語横断型情報検索プログラム | |
| Mesquita et al. | Depression detection using deep learning and natural language processing techniques: a comparative study | |
| BAZRFKAN et al. | Using machine learning methods to summarize persian texts | |
| CN114860936A (zh) | 一种基于热点榜单的话题生成系统及方法 | |
| JP4539616B2 (ja) | 意見収集分析装置及びそれに用いる意見収集分析方法並びにそのプログラム | |
| CN112215006A (zh) | 机构命名实体归一化方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080129 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080222 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20080326 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080326 |
|
| RD16 | Notification of change of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7431 Effective date: 20100603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |