JP6983105B2 - データ蓄積システム及びデータ検索方法 - Google Patents

Description

本発明は、データ蓄積システム及びデータ検索方法に関し、オープンデータを蓄積し、ＳＱＬによる検索を可能とするデータ蓄積システム及びデータ検索方法に適用して好適なものである。

近年、インターネット上では、地図データや気象データ、あるいは人口統計等、様々なデータが公開されており、これらのオープンデータを検索して分析や価値の創出を行う活動が活発になっている。

例えば特許文献１には、検索エンジンがウェブページを巡回してページに関する情報を自サーバに収集し（クロール）、収集した情報からインデックスを作成することによって検索データベースを作成する技術が開示されている。特許文献１に開示された検索エンジンによれば、複数のサーバにより順次行われる処理の状態を確認し、当該順次行われる処理を中断することなく問題を引き起こしているサーバを特定することに期待できる。

特開２０１１−２１５８５７号公報

しかし、特許文献１に開示された技術の場合、多くのデータを検索対象とする高速な検索サービスを目的としているため、検索によるヒット数の向上に期待できる一方、検索精度がそれほど高くないデータも検索結果として表示されてしまう。

例えば、創薬や素材等の研究者や開発者は、標的分子や新材料を探索・発見するために、公開された論文データ等を検索することがあるが、このとき、多くの検索結果が得られても、その全てを検証することは容易ではなく、精度の高い検索結果だけが絞り込まれることが有用となる。このように、専門的な分野における検索では、多くの検索結果が得られることよりも、精度の高い検索結果への絞り込みが要求される。

また、このような精度の高い検索結果を得ることができる検索データベースとしては、例えば所定の構造化がなされたデータを検索対象とする検索データベースが知られているが、オープンデータの多くは画像データのように構造化されていない非構造データであり、このような非構造データが検索対象から除外されることも好ましくない。

本発明は以上の点を考慮してなされたもので、画像データ（非構造データ）を含むオープンデータに対する検索を可能とするデータ蓄積システム及びデータ検索方法を提案しようとするものである。

かかる課題を解決するため本発明においては、画像データを含むデータを収集し、ストレージに記憶するデータ収集部と、前記収集されたデータに含まれる、スケールを有する画像データからスケールを抽出してメタデータにするメタデータ作成部と、前記メタデータとしてのスケールが比較対象の画像データのスケールに整合するように、前記画像データまたは前記比較対象の画像データの変換を行うスケール変換部と、前記スケール変換部による変換が行われた前記画像データと前記比較対象の画像データとのマッチングを行うマッチング部と、を備えることを特徴とするデータ蓄積システムが提供される。

また、かかる課題を解決するため本発明においては、データ収集部が、画像データを含むデータを収集し、ストレージに記憶させ、メタデータ作成部が、前記収集されたデータに含まれる、スケールを有する画像データからスケールを抽出してメタデータを作成し、スケール変換部が、前記メタデータとしてのスケールが比較対象の画像データのスケールに整合するように、前記画像データまたは前記比較対象の画像データの変換を行い、マッチング部が、前記スケール変換部による変換が行われた前記画像データと前記比較対象の画像データとのマッチングを行う、ことを特徴とするデータ検索方法が提供される。

本発明によれば、画像データ（非構造データ）を含むオープンデータに対する検索を可能とするデータ蓄積システム及びデータ検索方法を提供することができる。

本発明の一実施の形態に係るデータ蓄積システム１の構成例を示すブロック図である。 検索部による検索処理のイメージを説明するための図である。 検索入力画面の一例を説明するための図である。 検索部による検索処理の処理手順の一例を説明するフローチャートである。 スケールの異なる図形の第１の具体例を示す図である。 スケールの異なる図形の第２の具体例を示す図である。

以下図面について、本発明の一実施の形態を詳述する。

（１）データ蓄積システムの構成
図１は、本発明の一実施の形態に係るデータ蓄積システム１の構成例を示すブロック図である。図１に示すように、データ蓄積システム１は、端末２と通信可能に接続され、また、ネットワーク４を介してオープンデータ３と通信可能に接続されている。

データ蓄積システム１は、非構造データを含むオープンデータ３を収集してローカルなストレージ（ストレージ１３）に蓄積する情報処理装置であって、情報処理装置のＣＰＵ（Central Processing Unit）がＲＯＭ（Read Only Memory）に記憶された所定のプログラムを読み出して実行すること等によって、後述する各構成（データ収集部１１、スキーマ管理部１２、特徴抽出部１４、及び検索部１５）による機能を実現する。

端末２は、データ蓄積システム１に蓄積されたデータに対する検索操作や検索結果の表示を行うことができる情報処理装置であって、例えば、検索を行うユーザが保持するタブレット等が想定される。簡略のため、図１には１つの端末２しか示していないが、本実施の形態では、複数の端末２がデータ蓄積システム１に通信可能に接続される構成を想定することができる。

図１に示すように、端末２は、検索操作が行われる検索操作部２１と、画像を表示する表示部２２とを備える。

検索操作部２１は、検索操作用のアプリケーションプログラムである検索アプリ２１１が動作することによって、データ蓄積システム１のストレージ１３に蓄積されたオープンデータ３（データ１６）を対象とする検索の検索条件等をユーザによって指定する操作（検索操作）を実現する。この検索操作では、具体的には例えば、表示部２２において、ＧＵＩ（Graphical User Interface）を用いて所定の検索入力画面が表示され、この検索入力画面に対してユーザが検索条件等を指定する操作を行う。そして、検索操作が行われると、指定された検索条件等を示す検索条件データ１９が、データ蓄積システム１の検索部１５に送信される。詳細は後述するが、検索条件データ１９には、指定されたキーワードや原画データ等が含まれる。また、表示部２２は、上記のように検索入力画面を表示する他に、データ蓄積システム１の検索部１５による検索処理の結果として出力される検索結果データ１８に基づいて、検索結果を表示する（検索結果画面の表示）。

検索入力画面は、後述する図２，図３に具体例が示され、検索結果画面は、後述する図２に具体例が示される。

オープンデータ３は、ウェブページ等に公開された、自由に使用・再利用・再配布を行うことができるオープンデータである。具体的には、論文データや地図データ、気象データ、あるいは人口統計等の様々なデータに相当する。一般に、これらのオープンデータの多くは、所定の構造定義がされていない非構造データである。以降、本明細書においては、本発明を適用可能な非構造データのオープンデータの代表例として、画像を含む論文データを中心に説明する。なお、図１に示したオープンデータ３は、ウェブページ等に公開されたあらゆる種類のオープンデータのうち、本実施の形態においてデータ蓄積システム１に収集されるオープンデータを意味している。また、データ蓄積システム１がオープンデータ３を収集する際に介在するネットワーク４は、例えばインターネットであるが、これに限定されるものではない。

（２）各構成による機能
図１に示すように、データ蓄積システム１は、データ収集部１１と、スキーマ管理部１２と、ストレージ１３と、特徴抽出部１４と、検索部１５と、を備えて構成される。以下に、各構成による機能について詳しく説明する。

（２−１）データ収集部
データ収集部１１は、非構造データを含むオープンデータ３を収集し、ストレージ１３に記憶する。図１に示すように、データ収集部１１は、データ取得部１１１と、構文解析部１１２と、スキーマ生成部１１３と、データ登録部１１４とを備えている。

データ取得部１１１は、ネットワーク４を介してオープンデータ３を取得する。オープンデータ３の取得方法は、プログラムの実行に基づいて自動実行するようにしてもよいし、管理者による手動操作に基づいて実行するようにしてもよい。

構文解析部１１２は、データ取得部１１１が取得したオープンデータ３の構文解析を行う。具体的には例えば、オープンデータ３がＸＭＬ（eXtensible Markup Language）形式の文書やファイルである場合に、テキストデータの部分だけを抜き出して変換するＸＭＬパース機能等を実行する。構文解析によって得られる結果は、例えばＣＳＶ（Comma-Separated Values）形式のテキストデータ（またはテキストファイル）にまとめられる（図１に示すＣＳＶデータに相当）。なお、構文解析部１１２による構文解析の手法については特に限定されない。

スキーマ生成部１１３は、構文解析部１１２による構文解析の結果を用いて、スキーマ管理部１２によるスキーマ管理を行うためのスキーマ情報（図１に示すスキーマに相当）を生成し、スキーマ管理部１２に登録する。なお、データ蓄積システム１においてスキーマ管理を行わない場合は、スキーマ生成部１１３やスキーマ管理部１２は不要としてもよい。

データ登録部１１４は、構文解析部１１２による構文解析後のオープンデータ３（データ１６）をストレージ１３に格納する。なお、データ１６の格納形式は特に限定されるものではないが、例えば、テキストデータ部分をＣＳＶ形式とし、画像データ部分を所定の画像ファイル形式とする等が考えられる。また、構文解析部１１２による構文解析を行わずに、データ取得部１１１が取得したままのオープンデータ３（所謂、生のオープンデータ）をデータ１６としてストレージ１３に格納するようにしてもよい。

また、データ登録部１１４は、上記のようにオープンデータ３をデータ１６に格納する際に、オープンデータ３に含まれる画像データにおける各軸の単位やスケールを所定の単位やスケールに変換しておくことが好ましい。画像データの色彩（濃淡や輝度を含む）が値を表している場合、色彩と値が所定の関係になるように規格化してもよい。スケール変換は、単位のみならず、次元の変換も含んでいてよい。例えば、長さにかかるデータを乗算することで面積にしたり、重さにかかるデータを体積で除算して密度にしたりすることが、次元の変換に該当する。このような事前変換を行ったデータ１６をストレージ１３に格納することにより、後述する特徴抽出部１４における特徴抽出の処理負荷を低減することができる。

（２−２）スキーマ管理部
スキーマ管理部１２は、データ蓄積システム１において、ストレージ１３に蓄積するデータ１６を所定のスキーマ情報を用いて管理（スキーマ管理）するための機能を有する。具体的には例えば、オープンデータ３のスキーマ情報を生成したスキーマ生成部１１３からの登録要求を受けて、当該スキーマ情報の属性を定義してデータ辞書に格納する等の処理を行う。そして、前述したように、構文解析部１１２によって生成されるＣＳＶデータは、取得したオープンデータ３がスキーマ情報に基づくデータ構造に変換されたものであり、このＣＳＶデータに基づくデータ１６がストレージ１３に蓄積される。したがって、スキーマ管理部１２は、ストレージ１３に蓄積されるデータ１６をスキーマ管理することができる。なお、スキーマ管理の具体的な方法は、データベース管理システム（ＤＢＭＳ）で従来知られている種々の方法を採用することができるため、詳細な説明は省略する。

本実施の形態に係るデータ蓄積システム１では、ストレージ１３に蓄積するデータ１６に対して必ずしもスキーマ管理を行う必要はないが、スキーマ管理を行うことによって、大量に蓄積されるデータ１６を構造的に管理することができ、例えば検索部１５による検索処理（特にＳＱＬクエリエンジン１５１による処理）において処理負荷を低減することができる。

（２−３）ストレージ
ストレージ１３は、データ蓄積システム１のローカルなストレージである。本実施の形態に係るデータ蓄積システム１では、ウェブサイト等に公開されているオープンデータ３（データ１６）をローカルなストレージに蓄積することによって、蓄積したデータ１６に対する後述の処理（特徴抽出部１４による特徴抽出や、特徴抽出によって生成される高度メタデータ１７の付加）を実現可能としている。

なお、本明細書における「ローカルなストレージ」とは、オープンデータ３が置かれたウェブサイトのようなグローバル環境に対する「ローカル環境」のストレージを意味している。したがって、ストレージ１３は、必ずしも、データ蓄積システム１の情報処理装置において物理的な内部に配置されるストレージに限定されるものではなく、例えば、リモート接続されるストレージ（データセンタのストレージやＶＰＮで接続されるクラウドストレージ等）であってもよい。

（２−４）特徴抽出部
特徴抽出部１４は、ストレージ１３に蓄積されたデータ１６（以後、広義にはオープンデータ３と読み替えられる）の内容に基づく特徴抽出を行って当該データ１６の高度メタデータ１７を生成し、生成した高度メタデータ１７を当該データ１６に紐付けてストレージ１３に記憶する。以降ではこのような特徴抽出部１４による処理をまとめて高度メタデータ付加処理とも称する。

ここで、高度メタデータ１７について詳しく説明する。まず、メタデータとは、データについてのデータを意味する。ファイルシステムにおいて、データはファイルやディレクトリに含まれ、これらの各オブジェクトに関する情報がメタデータに記録される。データ収集部１１が収集するオープンデータ３には、例えば、データ名、データサイズ、及びデータ作成日等が一般的なメタデータとして付随している。特に、オープンデータ３が画像を含む論文データである場合は、著者、サマリー（要約）、分野等もメタデータに記録され得る。本明細書では、このような一般的なメタデータを「第１のメタデータ」とも称する。これら第１のメタデータは、オープンデータ３の内容を確認しなくても（すなわち、オープンデータ３を開くことなく）取得可能な情報であるという特徴を有する。

これに対し、本実施の形態における特徴抽出部１４は、オープンデータ３（ストレージ１３に記憶されたデータ１６）の内容に基づく特徴抽出によって、一般的なメタデータ（第１のメタデータ）とは別に、当該データ１６に対する新たなメタデータとして高度メタデータ１７を生成する。本明細書では、この新たなメタデータ（高度メタデータ１７）を「第２のメタデータ」とも称する。この第２のメタデータは、オープンデータ３の内容を確認しないと把握することができない（すなわち、オープンデータ３を開いて初めて取得可能な）情報であって、具体的には例えば、オープンデータ３が画像を含む論文データである場合、当該論文におけるキーワードやキーセンテンス等の他、画像データの特徴（グラフにおける各軸の単位やスケール、変曲点、面積、形状等）が第２のメタデータに相当する。

前述したように、本実施の形態では、オープンデータ３（データ１６）を収集してローカルなストレージ１３に蓄積するため、特徴抽出部１４は、ストレージ１３に記憶されたデータ１６を開いて特徴抽出を行うことにより、その内容を確認することができる。データ（テキストデータ及び画像データ）の特徴抽出を行う方法は、従来様々な解析方法が知られており、それらの何れかを採用すればよい。

例えば、ストレージ１３に記憶されたデータ１６（オープンデータ３）が画像を含む論文データであるとき、当該論文データには、論文を記述するテキストデータと、論文に添付される画像データとが含まれる。特徴抽出部１４は、このような論文データを解析して特徴抽出を行うことにより、テキストデータに含まれるキーワードや画像データの特徴等を抽出し、これらを高度メタデータ１７とする。抽出可能な画像データの特徴として、より具体的には、画像データに示されたグラフにおける各軸（例えばＸ軸，Ｙ軸）の単位やスケールが挙げられる。また、画像データの切り出し解析によって、グラフ中の変曲点（その位置や個数等）、面積、形状等も特徴として抽出することができる。

以上に説明したように、特徴抽出部１４による高度メタデータ付加処理が行われることによって、ストレージ１３に蓄積された非構造データ（データ１６，オープンデータ３）には、元々付随する第１のメタデータとは別に、第２のメタデータ（高度メタデータ１７）が紐付けられることになる。そして、紐付けされた第２のメタデータ（高度メタデータ１７）の各情報項目は、ストレージ１３に蓄積された非構造データに対する処理（検索処理と呼び、詳細は後述する）が行われるときに、その検索条件として指定可能である。

また、本実施の形態において、特徴抽出部１４による高度メタデータ付加処理は、端末２におけるユーザによる検索操作に応じて検索部１５による検索処理が行われる前に実行される。具体的には例えば、ストレージ１３にデータ１６が記憶されるごとに高度メタデータ付加処理が行われてもよいし、定期的にストレージ１３に蓄積されたデータ１６に対して高度メタデータ付加処理が行われてもよい。さらに、何れのパターンにおいても、データ蓄積システム１におけるその他の処理の進行を妨げずにバックグラウンドで処理を実行することが好ましい。

また、本実施の形態に係るデータ蓄積システム１では、特徴抽出部１４によってストレージ１３に記憶されたデータ１６に付加された（または付加される）高度メタデータ１７について、管理者やユーザによって手動でこれらの追加や修正が行えるように構成されてもよい。このように構成されることによって、例えば、過去と現在とで呼称が異なる語句が存在するとき、付加された高度メタデータ１７におけるキーワードが過去の呼称であった場合に、現在の呼称に置き換える（修正）ことができる。この結果、同一内容をキーワードに持つ過去の論文データと現在の論文データとを関連付けて検索することが可能となり、検索精度の向上に期待できる。

（２−５）検索部
図２は、検索部による検索処理のイメージを説明するための図である。図２には、端末２の表示部２２における検索入力画面２３及び検索結果画面２４の一例が示されている。なお、図２に示す検索入力画面２３は、図３に詳述するものと同じである。また、図２に示されたイメージのうち、検索部１５側の処理については、以下に詳述する。

検索部１５は、端末２においてオープンデータ３（データ１６）の検索操作が行われた場合に（換言すれば、検索操作部２１が操作されて、所定の検索入力画面において検索条件等が指定された場合に）、当該検索条件等（検索条件データ１９）に基づいて、ストレージ１３に記憶された高度メタデータ１７を検索し、該当する高度メタデータ１７に紐付けられたデータ１６を検索結果（検索結果データ１８）として出力する検索処理を行う。

検索部１５による検索処理では、検索操作において検索条件として与えられたキーワード等について、該当する高度メタデータ１７を検索する「キーワード検索（本例ではＳＱＬ検索に相当）」が行われ、また、検索操作において原画データとして与えられた画像データについて、当該画像データに示される画像（例えば、グラフ等の図形）と、キーワード検索でヒットした高度メタデータ１７に紐付いたデータ１６に含まれる画像と、の比較検索を行う「画像マッチング検索」が行われる。画像マッチング検索には、画像同士の類似度を算出して類似の画像を抽出する公知の様々な検索方法を適用可能である。なお、画像マッチング検索における画像の比較検索では、完全一致の判定に限らず、所定の類似精度に従って類似性を判断する類似性検索を行うことができる。類似精度は、ユーザ等によって指定することができる（不図示）。

また、本実施の形態では、検索操作において詳細検索条件が与えられた場合に、指定された詳細検索条件に基づいて、画像マッチング検索（画像の比較検索）における類似性の判定基準を変更することができる。例えば、詳細検索条件で、「グラフ形状の類似（相似）」が指定されたときには、画像に示された図形（グラフ）の形状について、軸のスケールが一致しなくても形状が類似していることを重視して画像マッチング検索を行う。このように詳細検索条件を反映することによって、より多様な類似性について画像マッチング検索を行うことができる。

以上をまとめると、以下のようにも言える。すなわち、検索部１５は、検索操作においてキーワード等による検索条件のみが指定された場合は、キーワード検索だけを行い、その検索結果を出力する（簡単検索）。また、検索操作においてキーワード等による検索条件と原画データとが指定された場合には、キーワード検索と画像マッチング検索とを組み合わせて行い、その検索結果を出力する（拡張検索）。さらに、検索操作において詳細検索条件が指定された場合には、検索部１５は、指定された詳細検索条件に基づいた類似性を比較するように画像マッチング検索を行い、その検索結果を出力する（類似性拡張検索）。

（２−５−１）検索入力画面
ここで、端末２の説明で前述した「検索入力画面」について、具体例を示して詳述する。

図３は、検索入力画面の一例を説明するための図である。図３に示した検索入力画面２３は、表示領域２３１〜２３３を有している。

このうち、表示領域２３１では、検索における比較元の画像データ（原画データ）を指定するための操作が行われる。比較元の画像データとしては、端末から指定された画像データを用い、ストレージ１３に格納してある画像データや、端末２から送信される画像データが比較元の画像データになりうる。検索操作で原画データが指定された場合は、検索部１５によって、原画データに一致または類似する画像を有するオープンデータ３が検索される。例えば図３の表示領域２３１では、「A0001.jpg」というファイルが指定され、そのサムネイル画像２３４が表示されている。

表示領域２３２では、グラフの軸の単位（Ｘ軸，Ｙ軸）、検索結果の上限数（Ｍａｘ件数）、キーワード（関連キーワード）等の検索条件を指定するための操作が行われる。例えば図３の表示領域２３２では、グラフの軸の単位はＸ軸、Ｙ軸ともに「nm」、検索結果は最大２０件まで、検索するキーワードとしては「電子顕微鏡」、「磁性体」、「白」が指定されている。

なお、表示領域２３２に配置された「検索開始」のボタン２３５を押下すると、検索入力画面２３で指定した検索条件等が確定し、検索条件データ１９としてデータ蓄積システム１に送信される。また、表示領域２３２に配置された「表示」のボタン２３６を押下すると、表示部２２の表示は、指定した検索条件等に基づく検索結果を示す検索結果画面（図２の検索結果画面２４を参照）の表示に切り替わる。

表示領域２３３は、表示領域２３２における「詳細検索条件」のプルタブを選択することによって表示される領域であって、表示領域２３２で指定する検索条件に加えて、類似性の判断基準とする検索基準を指定するための操作が行われる。図３の表示領域２３３では、「グラフ形状」の詳細検索条件として「面積（絶対値）」が選択されているが、これは、グラフが示す面積（例えば、グラフとＸ軸とで閉じられた部分の面積）の絶対値が、原画データにおける当該面積に類似することを重視して検索することを指定するものである。

また例えば、表示領域２３３で「類似（相似）」が選択された場合は、仮に軸の単位が異なっていたとしても、図形（例えばグラフ）の形状が、原画データにおける図形の形状に類似することを重視して検索することを指定するものである。「類似（相似）」が選択されていない場合には、グラフであれば大きさ(軸における範囲)のみならず、位置(軸における値)まで考慮することが可能である。検索におけるグラフの重ね合わせに軸における位置を考慮してもよい。「色彩（彩度）」が選択された場合は、画像データにおける色彩が、彩度の点で原画データにおける色彩に類似することを重視して検索することを指定するものである。色彩が数値を表している場合、実質的には数値による検索になる。

なお、当然のことながら、図３に示した検索条件及び詳細検索条件の各項目は一例に過ぎず、他の情報項目が設定されてもよい。また、表示領域２３１における原画データの指定、並びに表示領域２３３における詳細検索条件の指定は、必須の操作項目ではない。

（２−５−２）ＳＱＬ検索
検索部１５の説明に戻る。図１に示したように、検索部１５は、ＳＱＬクエリエンジン１５１、スケール単位変換部１５２、変換テーブル１５３、及びマッチング判定部１５４を備える。

ＳＱＬクエリエンジン１５１は、ＳＱＬ検索を行う検索エンジンである。ユーザによる検索操作によって検索アプリ２１１上でキーワード等の語句が検索条件として指定されると（図３の表示領域２３２参照）、ＳＱＬクエリエンジン１５１は、当該キーワード等の語句（検索キーワード）についてストレージ１３に記憶された高度メタデータ１７をＳＱＬ検索する。

なお、ＳＱＬクエリエンジン１５１は、ＳＱＬ検索を行う際に、スキーマ管理部１２を参照してストレージ１３におけるデータ構造を把握することによって、効率的にストレージ１３に記憶された高度メタデータ１７を検索することができる。

また、ＳＱＬクエリエンジン１５１は、ストレージ１３にアクセスする際に、スケール単位変換部１５２を介することにより、検索対象のデータ１６に含まれる画像（例えばグラフ）の単位やスケールを変換した上で、ＳＱＬ検索を行うことができる。すなわち、画像（例えばグラフ）に関する高度メタデータ１７の単位やスケールを、スケール単位変換部１５２が検索条件に合わせて変換し、変換後の高度メタデータ１７に対してＳＱＬクエリエンジン１５１がＳＱＬ検索を行うものであり、このようにすることで検索精度を高めることができる。

そして、ＳＱＬクエリエンジン１５１によるＳＱＬ検索で選ばれた高度メタデータ１７は、マッチング判定部１５４に送られてマッチング判定される。

（２−５−３）スケール単位変換
スケール単位変換部１５２は、検索条件で指定された情報項目（あるいは、原画データに示される図形の軸）のスケールや単位に合わせて、高度メタデータ１７のスケールや単位を変換する機能（スケール単位変換）を有する。なお、上記単位やスケールの変換規則は変換テーブル１５３に登録されているが、これらの変換規則は予め用意されるとしてもよいし、適宜更新可能としてもよい。

また、スケール単位変換部１５２が、画像に関する高度メタデータ１７のスケールや単位を変換した場合、当該変換に応じて、画像に示された図形（例えばグラフ）の形状も変換される。

なお、本実施の形態に係るデータ蓄積システム１においては、原画データに示された図形（グラフ等）に関するスケールや単位等を示す情報は、ユーザが毎回登録（入力）するのではなく、既存のマッチングエンジンを用いて自動解析されることが好ましい。このように構成されることによって、ユーザによる登録の手間を省くことができ、検索操作全体におけるユーザの負担や時間消費を大きく抑えることができる。

（２−５−４）マッチング判定
マッチング判定部１５４は、検索操作で指定された検索条件等（原画データ及び検索条件）と、スケール単位変換部１５２によって変換された後の高度メタデータ１７（あるいは、変換が行われない場合は、ＳＱＬクエリエンジン１５１によるＳＱＬ検索で選ばれたままの高度メタデータ１７）とのマッチング判定を行う。マッチング判定に用いられる判定アルゴリズムは、既存の検索アルゴリズムを利用可能である。

図４は、検索部による検索処理の処理手順の一例を説明するフローチャートである。図４には、端末２における検索操作において検索条件等（原画データ及び検索条件）が指定された場合に、検索部１５で実行される検索処理のうち、特にスケール単位変換からマッチング判定に係る処理を中心に処理手順の一例が示されている（すなわち、必ずしも検索部１５による検索処理のすべての処理手順を示すものではない）。

図４によれば、まず、ステップＳ１１において、スケール単位変換部１５２が、所定の初期設定を行う。初期設定の項目としては例えば、詳細検索条件のＯＮ／ＯＦＦ、分析対象範囲の指定、判定精度（認識精度や類似精度等）の指定、並びに、使用する変換テーブル１５３の指定等が挙げられるが、これらに限定されるものではない。

次にステップＳ１２において、スケール単位変換部１５２は、ストレージ１３から蓄積されたデータ１６を読み出す。ステップＳ１２で読み出したデータ１６は、所定の記憶領域に保存され、ステップＳ１３以降の変換処理が行なわれる（このデータを、以後は比較対象データと呼ぶ）。なお、ステップＳ１２では、ストレージ１３に蓄積された全てのデータ１６を一気に読みだすのではなく、段階的に（例えば１個ずつ）読み出すようにしてもよく、読み出したデータ１６のそれぞれについて、ステップＳ１３以降の処理が行われる。

また、検索条件でキーワード等が指定されている場合には、当該キーワード等によるＳＱＬ検索を行い、ＳＱＬ検索で該当したデータ１６だけ（具体的には例えば、当該キーワード等に関する画像を有するデータ１６だけ）をステップＳ１３において読み出すようにすると、読み出すデータ量を低減でき、処理性能を高めることができる。

ステップＳ１３において、スケール単位変換部１５２は、ステップＳ１２で読み出した各データ１６（比較対象データ）について、データ１６に含まれる画像のスケール単位情報を原画情報に合わせて変換する。ここで、「スケール単位情報」とは、画像が示す図形（グラフなど）における軸の単位やスケール等の情報を意味し、原画情報とは、原画データに示された図形における「スケール単位情報」を意味する。

次に、ステップＳ１４では、スケール単位変換部１５２は、ステップＳ１３におけるスケール単位情報の変換に応じて、比較対象データにおける画像の図形の形状を変換する。ステップＳ１３，Ｓ１４の処理が行われることにより、非構造データである比較対象データに含まれる画像の図形は、原画データに示された図形と、スケール単位情報が共通化される。

次に、ステップＳ１５では、マッチング判定部１５４が、ステップＳ１４で変換された比較対象データの図形と、原画データに示された図形とを比較する（マッチング判定）。マッチング判定は、既存の検索アルゴリズムを利用して行われ、ステップＳ１１の初期設定で設定された類似精度の範囲内で、類似性の有無を判断する。前述したように、ステップＳ１３，Ｓ１４に処理によって、比較対象データと原画データとは、スケール単位情報が共通化されている（共通の構造化されたデータとなっている）ので、ステップＳ１５では、既存の検索アルゴリズム（類似性検索）を利用することができる。

そしてステップＳ１６では、マッチング判定部１５４は、ステップＳ１５において類似性が検出されたか否かを確認する。なお、ここでの「類似」には「一致」を含んでよい。

ステップＳ１６において類似性が検出された場合は（ステップＳ１６のＹｅｓ）、ステップＳ１５においてマッチング判定を行った比較対象データの変換前のデータ１６を、所定の記憶領域（サムネイル候補格納領域）に転送する（ステップＳ１７）。その後、ステップＳ１９に進む。

サムネイル候補格納領域に保存されたデータ１６は、すべての比較対象データに対するステップＳ１２〜Ｓ１８の処理が終了したのち、検索結果の上限数（Ｍａｘ件数）の範囲内で検索結果として出力される。また、検索結果表示画面において何れかの検索結果が選択された場合には、選択されたデータ１６のサムネイル画像が表示される（図２の検索結果画面２４を参照）。なお、サムネイル画像は、単位スケール変換が行われる前の形式（すなわち、元のデータ１６の形式のまま）で表示することが好ましい。

一方、ステップＳ１６において類似性が検出されなかった場合は(ステップＳ１６のＮｏ)、ステップＳ１５においてマッチング判定を行った比較対象データを廃棄し（ステップＳ１８）、ステップＳ１９に進む。なお、ステップＳ１８において廃棄（削除）されるデータは、ステップＳ１２でストレージ１３から読み出されたデータ（比較対象データ）であって、ストレージ１３に蓄積されたデータ１６そのものではない。

なお、検索操作において詳細検索条件が指定された場合には、ステップＳ１６において類似性が検出されなかった比較対象データに対して、指定された詳細検索条件に応じたスケール単位変換を再度行ってマッチング判定を行うようにする。そしてこの再度のマッチング判定において類似性が検出された場合は、ステップＳ１７に進み、それでも類似性が検出されなかった場合は、ステップＳ１８に進んで比較対象データを廃棄（削除）する。

ステップＳ１９では、全ての比較対象データについてステップＳ１２〜Ｓ１８の処理が終わったか否かを判断する。処理が残っている比較対象データがあった場合は（ステップＳ１９のＮｏ）、次の比較対象データについてステップＳ１２からの処理を繰り返す。全ての比較対象データについて処理済みと判断した場合は（ステップＳ１９のＹｅｓ）、全体の処理を終了する。

以上、説明したように、検索部１５の各部による処理が行なわれることによって、検索操作において指定された検索条件等に基づいて、ストレージ１３に記憶された高度メタデータ１７を検索し、さらに原画データが指定された場合には、高度メタデータ１７のスケール単位変換を行って画像マッチング検索が行われ、これらの検索によって類似性が検出されたデータ１６（高度メタデータ１７に紐付けられたデータ１６）が、検索結果（検索結果データ１８）として端末２に出力される。そして、検索結果が入力された端末２では、検索結果画面２４が表示部２２に表示される。

表示部２２における検索結果画面２４の表示態様は特に限定されるものではないが、例えば、図３に例示した検索結果画面２４をイメージすることができる。図３の検索結果画面２４は、表示領域２４１及び表示領域２４２を有している。このうち、表示領域２４１には、原画データのサムネイル画像（例えば、図３の検索入力画面２３の表示領域２３１を参照）が表示される。また、表示領域２４２には、検索結果として選ばれたデータ１６のうちの１つのサムネイル画像が表示される。なお、表示領域２４２に表示されるサムネイル画像は、検索部１５による検索処理によって最も類似性が高いと判定されたデータ１６のサムネイル画像であってもよいし、検索結果として複数のデータ１６が提示されたうちから、ユーザが選択した１つのデータ１６のサムネイル画像であってもよい。図３の検索結果画面２４のように、比較元の画像（原画データ）と比較先の画像（検索結果）とが並べて表示されることによって、視覚上で容易に類似点及び相違点を把握でき、優れた比較効果を奏することができる。なお、図３の検索結果画面２４にように、サムネイル画像だけを比較表示するのではなく、対象画像を含むデータ全体（または１ページ分）を比較表示するようにしてもよい。また、前述した通り、図３の検索結果画面２４は一例に過ぎないため、例えば、比較結果として選ばれたデータ１６だけを検索結果画面に表示する等であってもよい。

また、本実施の形態に係るデータ蓄積システム１では、検索結果画面２４において、検索結果に対応するサムネイル画像が自動で表示されるように構成すれば、例えば、検索結果として選択されたデータ１６が複数ページに亘る論文データ等の場合であっても、原画データと最も関係する部分を、ユーザが簡単に把握できる態様で表示できるため、検索の利便性を更に高めることができる。

（３）効果
以上に説明したように、本実施の形態に係るデータ蓄積システム１によれば、オープンデータ３をローカルなストレージ１３に収集し、その内容に基づいた高度メタデータ１７（第２のメタデータ）を生成して当該データに紐付け、検索時には高度メタデータ１７を検索することにより、オープンデータ３が非構造データであっても検索可能なデータ蓄積システム及びデータ検索方法を実現することができる。

より詳細には、検索部１５による検索処理において、スケール単位変換部１５２が、検索の基準として指定された検索条件（キーワード等）や原画データにおけるスケールや単位に基づいて、ストレージ１３に収集された比較先のデータ１６におけるスケールや単位を変換することにより、比較元と比較先とを同一構造（比較可能な構造）にすることができるため、キーワード等の検索条件によるキーワード検索（ＳＱＬ検索）や、原画データとの画像マッチング検索において、既存の検索アルゴリズムを利用して類似性検索を実行することができる（簡単検索や拡張検索）。

ここで上述したスケールや単位の変換による効果について、図５の具体例を用いて補足する。図５は、スケールの異なる図形の第１の具体例を示す図である。なお、図５（Ａ）及び図５（Ｂ）に示された図形（グラフ）における各軸の単位は共通とする。

図５（Ａ）と図５（Ｂ）とを比較すると、各軸のスケールが異なっていることが分かる。具体的には、図５（Ａ）では、縦軸は「ａ」をおよその上限とし、横軸は「ｄ」をおよその上限としているのに対し、図５（Ｂ）では、縦軸は「ａ」よりも大きい「ｃ」をおよその上限とし、横軸は「ｄ」よりも小さい「ｂ」をおよその上限としている。

このような図５（Ａ）及び図５（Ｂ）は、一見すると異なる内容を示すグラフのように考えられるが、各図のグラフの軸のスケールに注視すると、異なる見解が見えてくる。すなわち、図５（Ａ）及び図５（Ｂ）の何れも、グラフの縦軸の最大値は「ａ」で、横軸の最大値は「ｂ」であり、共通している。また、変曲点の個数（ここでは縦軸方向で３個）や縦軸の最大値をとる横軸の値の相対位置等を加味すると、両図のグラフは極めて類似していることが分かる。すなわち、本実施の形態においてスケール単位変換部１５２が行うように、図５（Ａ）のグラフのスケールに合わせて図５（Ｂ）のグラフのスケールを変換することによって、両図のグラフは高い類似性を持つ形状に変換され、このような変換後に類似性検索を行うことによって、図５（Ｂ）の図形（グラフ）は図５（Ａ）の図形（グラフ）に類似しているという検索結果を容易に得ることができる。このような検索結果の具体的な表示例として、前述した図３では、原画データのサムネイル画像が表示される表示領域２４１に図５（Ａ）のサムネイル画像が示され、検索結果の１つのサムネイル画像が表示される表示領域２４２に図５（Ｂ）のサムネイル画像が示されている。

以上のように、本実施の形態に係るデータ蓄積システム１によれば、比較先の画像における図形のスケールが異なっていた場合に、そのスケールを共通化させるように変換することで、類似性の判断を容易に行うことができ、構造の異なるデータ間であっても検索を可能とすることができる。すなわち、従来のデータ蓄積システムでは、非構造データが検索対象となった場合には、単位やスケールの不一致によって、類似性検索を行うことが困難であるという課題があったが、本実施の形態に係るデータ蓄積システム１は、このような従来の課題を解決することができ、類似性検索が可能な対象を増やすことができ、画像データ（非構造データ）を含むオープンデータに対する精度の高い検索を実現することができる。なお、図５の第１の具体例では、スケールの相違例を示したが、単位が相違する場合も、適宜変換を行うことによって、検索処理による同様の効果を得ることができる。

また、前述したように、本実施の形態に係るデータ蓄積システム１によれば、検索操作において詳細検索条件が指定された場合には、指定された詳細検索条件に応じたスケール単位変換を再度行ってマッチング判定を行うことから、画像データ（非構造データ）を含むオープンデータに対してより多様な類似性検索を行うことが可能となる（類似性拡張検索）。

ここで上述した類似性拡張検索におけるスケールや単位の変換による効果について、図６の具体例を用いて補足する。図６は、スケールの異なる図形の第２の具体例を示す図である。図６（Ａ）は、検索操作において指定された原画データに示された図形を示し、図６（Ｂ）は、検索対象とされる１つの画像データに示された図形を示している。図６（Ｃ）については後述する。なお、図６（Ａ）〜図６（Ｃ）に示されたグラフにおける各軸の単位が共通とする。

ここで、図６（Ａ）と図６（Ｂ）とを比較すると、何れも、縦軸の上限は「ａ」、横軸の上限は「ｂ」であり、類似した楕円状の図形が示されている点で共通している。すなわち、図６（Ｂ）は、図５の第１の具体例で説明したところの、各軸のスケールを共通化するスケール単位変換が行われた後の比較画像データと捉えることもできる。このような図６（Ａ）及び図６（Ｂ）は、画像全体のスケールが共通となっているなかで、図形の形状が類似（相似）しているように見える。

しかし、楕円状の図形を詳細に比べると、横軸の最大値は何れも「ｂ」であるが、縦軸の最大値は、図６（Ａ）では「ｂ」であるのに対し、図６（Ｂ）では「ｃ」と異なる値となっている。すなわち、図６（Ａ）と図６（Ｂ）とでは、縦軸と横軸とのスケール比が異なっているために類似（相似）に見えるだけで、実際には類似性が低い可能性がある。

すなわち、上記の拡張検索におけるスケール単位変換だけでは、詳細検索条件で指定された項目に着目した類似性検索が十分に行えない可能性があり、このような場合でも適切な画像マッチング検索を実現するために、本実施の形態では、詳細検索条件で「図形の類似（相似）」が指定された場合の類似性拡張検索において、スケール単位変換部１５２が、図６（Ａ）の各軸のスケール比に基づいて、図６（Ｂ）の各軸のスケール比をさらに変換（再変換）することができる。具体的な再変換処理としては、例えば、図６（Ｂ）の図形を縦軸方向に「ａ／ｃ」倍することによって、図６（Ｂ）における縦軸の最大値「ｃ」を図６（Ａ）における縦軸の最大値「ａ」に合わせ、両画像に示された図形の各軸方向の最大値のスケールを一致させる。図６（Ｃ）には、図６（Ｂ）にこのような再変換を行った後の図形が示されている。図６（Ｃ）の図形の形状を図６（Ａ）と比較すると、類似性が低いことが分かる。

そして、このように比較元（原画データ）の図形のスケール比に応じて拡大または縮小の再変換を行った図６（Ｃ）を図６（Ａ）と比較することによって、本実施の形態に係るデータ蓄積システム１は、類似性拡張検索において「図形の類似（相似）」が指定された場合でも、適切に類似性の判断を行うことが可能となる。なお、上述した再変換の具体的な処理は一例であって、他にも例えば、縦軸方向の再変換は行わずに、図６（Ｂ）の横軸の「ｂ」の位置を、図６（Ａ）の横軸の「ｂ」と同じ位置になるように拡大／縮小する再変換を行うようにしてもよい。

以上のように、本実施の形態に係るデータ蓄積システム１によれば、構造の異なるデータ間であっても、検索操作において詳細検索条件が指定された場合には、指定された詳細検索条件に応じたスケール単位変換を再度行ってマッチング判定を行うことで、詳細検索条件に基づいた類似性の判断を容易に行うことができる。なお、図６ではスケールの相違例（より厳密には、図形の最大スケール比の相違例）を示したが、単位が相違する場合も、適宜再変換を行うことによって、検索処理による同様の効果を得ることができる。

（４）補足
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。実施の形態の構成の一部について、必要に応じて構成の追加・削除・置換をすることが可能である。

例えば、本実施の形態に係るデータ蓄積システム１では、ストレージ１３に蓄積したデータ１６は、所定の処理を行う等の目的のために、一時的に外部システムと送受信されるように構成されてもよい。具体的には例えば、データ１６をＰＤＦ（Portable Document Format）形式に変換するためにＰＤＦ変換サーバに送信し、ＰＤＦ形式に変換したデータ１６を再度ストレージ１３に蓄積する等の構成が考えられる。この他にも例えば、ストレージ１３に蓄積されたオープンデータ３（データ１６）に対して公的な認証を得るために、当該データを所定の外部機関に一旦送信し、与信確認を行ったうえで、再度ストレージ１３に蓄積する等の構成も考えられる。

また例えば、本実施の形態に係るデータ蓄積システム１では、特徴抽出部１４または検索部１５の少なくとも一部の機能について、外部システム（外部アルゴリズムエンジン）が代行するように構成されてもよい。具体的には例えば、特徴抽出部１４による特徴抽出を学習できるようにする場合に、学習を行う外部システムを利用して特徴抽出を行うようにする構成が考えられる。また例えば、検索部１５において、マッチング判定部１５４によるマッチング判定に利用するためのデータ処理の一部を外部システムで実行するようにしたり、スケール単位変換部１５２によるスケール単位変換において内部の変換テーブル１５３ではなく外部の変換テーブルを参照するようにしたりする構成が考えられる。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現したり、ネットワークを介して接続される複数の情報処理装置によって実現したりしてもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実施には殆ど全ての構成が相互に接続されていると考えてもよい。

１ データ蓄積システム
２ 端末
３ オープンデータ
４ ネットワーク
１１ データ収集部
１２ スキーマ管理部
１３ ストレージ
１４ 特徴抽出部
１５ 検索部
１６ データ
１７ 高度メタデータ
１８ 検索結果データ
１９ 検索条件データ
２１ 検索操作部
２２ 表示部
２３ 検索入力画面
２４ 検索結果画面
１１１ データ取得部
１１２ 構文解析部
１１３ スキーマ生成部
１１４ データ登録部
１５１ ＳＱＬクエリエンジン
１５２ スケール単位変換部
１５３ 変換テーブル
１５４ マッチング判定部
２１１ 検索アプリ

Claims (10)

1. 画像データを含むデータを収集し、ストレージに記憶するデータ収集部と、
   前記収集されたデータに含まれる、スケールを有する画像データからスケールを抽出してメタデータにするメタデータ作成部と、
   前記メタデータとしてのスケールが比較対象の画像データのスケールに整合するように、前記画像データまたは前記比較対象の画像データの変換を行うスケール変換部と、
   前記スケール変換部による変換が行われた前記画像データと前記比較対象の画像データとのマッチングを行うマッチング部と、
   を備えることを特徴とするデータ蓄積システム。
2. 前記ストレージは所定のスキーマ情報を用いて管理されるデータベースであり、
   前記データ収集部は、前記収集したデータを前記スキーマ情報に基づくデータ構造に変換した後に前記ストレージに記憶し、
   前記メタデータ作成部は、前記変換した後のデータから前記メタデータを生成し、当該データに紐付けて前記ストレージに記憶する
   ことを特徴とする請求項１に記載のデータ蓄積システム。
3. 前記マッチングは、画像マッチングである
   ことを特徴とする請求項１に記載のデータ蓄積システム。
4. 前記画像データ及び前記比較対象の画像データは、複数のスケールを有しており、
   前記スケール変換部は、前記複数のスケールのそれぞれについて、前記画像データまたは前記比較対象の画像データの変換を行う
   ことを特徴とする請求項３に記載のデータ蓄積システム。
5. 前記画像データは、グラフであり、前記複数のスケールには複数の軸情報が含まれる
   ことを特徴とする請求項４に記載のデータ蓄積システム。
6. 前記画像データは、色彩を有する画像データであり、前記スケールには色彩が含まれる
   ことを特徴とする請求項４に記載のデータ蓄積システム。
7. 前記マッチング部によるマッチング処理は、ユーザが指定した画像マッチングの類似条件に基づいて実行される
   ことを特徴とする請求項３に記載のデータ蓄積システム。
8. 前記画像マッチングの類似条件には、面積によるマッチング、相似によるマッチング、色彩によるマッチングのうちのいずれかが含まれている
   ことを特徴とする請求項７に記載のデータ蓄積システム。
9. 端末から前記比較対象の画像データの指定を受け付け、前記マッチングにより抽出した画像データを前記端末に返信する
   ことを特徴とする請求項３に記載のデータ蓄積システム。
10. データ収集部が、画像データを含むデータを収集し、ストレージに記憶させ、
    メタデータ作成部が、前記収集されたデータに含まれる、スケールを有する画像データからスケールを抽出してメタデータを作成し、
    スケール変換部が、前記メタデータとしてのスケールが比較対象の画像データのスケールに整合するように、前記画像データまたは前記比較対象の画像データの変換を行い、
    マッチング部が、前記スケール変換部による変換が行われた前記画像データと前記比較対象の画像データとのマッチングを行う、
    ことを特徴とするデータ検索方法。
    

Images