Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4075460B2 - Image data search method and data input method - Google Patents
[go: Go Back, main page]

JP4075460B2 - Image data search method and data input method - Google Patents

Image data search method and data input method Download PDF

Info

Publication number
JP4075460B2
JP4075460B2 JP2002147990A JP2002147990A JP4075460B2 JP 4075460 B2 JP4075460 B2 JP 4075460B2 JP 2002147990 A JP2002147990 A JP 2002147990A JP 2002147990 A JP2002147990 A JP 2002147990A JP 4075460 B2 JP4075460 B2 JP 4075460B2
Authority
JP
Japan
Prior art keywords
image data
search
keyword
position information
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002147990A
Other languages
Japanese (ja)
Other versions
JP2003345817A (en
Inventor
秀二 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2002147990A priority Critical patent/JP4075460B2/en
Publication of JP2003345817A publication Critical patent/JP2003345817A/en
Application granted granted Critical
Publication of JP4075460B2 publication Critical patent/JP4075460B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は画像データ検索方法およびデータ入力方法に関し、特に、所望する画像を的確かつ容易に検索できる画像データ検索方法およびデータ入力方法に関する。
【0002】
【従来の技術】
従来の画像データの検索方法では、付与されているキーワードは、全て1枚の画像に対して関連付けられていた。そのために、キーワードに関する内容が画像のどの位置にあるかに関わらず検索結果として検出されてしまうという問題があった。
【0003】
この問題を解決するために、特開平11−53370号公報では、画像をタイルに分割し、各タイルごとにキーワードを関連付けておく方法が開示されている。
【0004】
【発明が解決しようとする課題】
しかし、上述の方法では、各タイルに対してキーワードを関連付ける作業が非常に大変であり、タイルを細かく分割するほど、キーワード付与の作業固定が増大するという問題があった。
【0005】
また、検索時には「中央」、「右下」等の単語により検索範囲を指定することになっており、1回の検索で所望の画像が検出されなかった場合、検索範囲を少しだけ広げて検索し直すことができないという問題があった。
【0006】
本発明はこれらの問題に鑑みてなされたものであって、所望する画像を、的確かつ容易に検索できる画像データ検索方法およびデータ入力方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、画像データ検索方法は、所定の記憶媒体に蓄積されている画像データから所望する画像データを検索する画像データ検索方法であって、検索キーワードと、所望する画像データにおける検索対象となる範囲を示す位置情報との入力を受付ける入力ステップと、検索キーワードと、検索キーワードに付与されている位置情報と、対応する画像データ名とを関連付けしたテーブルを読込む読込ステップと、読込んだテーブルより、受付けた検索キーワードと受付けた位置情報とに対応する画像データを検索する検索ステップと、検索された画像データを所望する画像データとして出力する出力ステップとを備える。
【0008】
本発明の他の局面に従うと、画像データ検索方法は、所定の記憶媒体に蓄積されている画像データから所望する画像データを検索する画像データ検索方法であって、検索キーワードと、検出の可否を判断するしきい値との入力を受付ける入力ステップと、検索キーワードと検索キーワードに付与されている位置情報と対応する画像データ名とを関連付けした第1のテーブルと、位置情報と位置における重付けデータとの関係を記憶した第2のテーブルとを読込む読込ステップと、読込んだ第1のテーブルより、受付けた検索キーワードに付与されている位置情報と対応する画像データとを検索する検索ステップと、読込んだ第2のテーブルより検索した位置情報における重付けデータを読出し、読出した重付けデータが受付けたしきい値以上かを判断する判断ステップと、読出した重付けデータが受付けたしきい値以上であると判断された場合には、対応する画像データを所望する画像データとして出力する出力ステップとを備える。
【0009】
また、上述の位置情報は、画像データにおける座標により特定される範囲を示す情報であることが望ましい。
【0010】
本発明の他の局面に従うと、データ入力方法は、画像データに対して、キーワードと、キーワードに対応するコンテンツが画像データにおいて存在する位置を示す位置情報とを付与する付与ステップと、画像データの画像データ名と、付与したキーワードと、付与した位置情報とを関連付けしたテーブルを格納する格納ステップとを備える。
【0011】
また、上述の位置情報は、画像データにおける座標により特定される座標情報であることが望ましい。
【0012】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【0013】
図1は、本実施の形態における画像データ検索システム(以下、単にシステムと称する)のハードウェア構成を示す図である。
【0014】
図1を参照して、本実施の形態におけるシステムは、CPU(Central Processing Unit)等から構成され、システム全体の制御を行なう制御部101と、制御部101で実行されるプログラムや、以下に説明する各種テーブル等を記憶するメモリ105とを備える。また、ディスプレイ等から構成されるモニタ102、マウス103やキーボード104等の入力装置、ハードディスク105、CD−ROM(Compact Disk Read Only Memory)ドライブ107、およびMO(Magneto-Optical disc)ドライブ108と接続される。
【0015】
なお、図1に示されるシステムは、一般的なパーソナルコンピュータやワークステーション等で構築されるシステムであるため、図1に示されるハードウェア構成は、一般的なパーソナルコンピュータやワークステーション等のハードウェア構成である。そのため、本実施の形態におけるシステムの構成は、図1に示される構成に限定されるものではない。
【0016】
次に、図2は、本実施の形態のシステムにおいて実行される画像データ検索プログラムの、処理機能を示すブロック図である。図2においては、本実施の形態における画像データ検索プログラムに含まれる複数のプログラムモジュールと、これらにより利用されるデータとを示している。
【0017】
具体的には図2を参照して、検索キーワード等読取部201は、マウス103やキーボード104でユーザより受付けた検索キーワードと、検索範囲の中心座標および中心座標からの距離とを読取る処理を行なうプログラムモジュールである。
【0018】
検索指示部202は、検索キーワード等読取部201で読取った値により、後述する画像データ検索部204に対して検索を指示する処理を行なうプログラムモジュールである。
【0019】
検索結果表示部203は、後述する画像データ検索部204で検索した結果検出された画像データ名を、モニタ102に表示させる処理を行なうプログラムモジュールである。
【0020】
画像データ検索部204は、検索指示部202より指示された検索キーワードと、後に説明するキーワードテーブル205の記載とを照合し、検索条件に合致するキーワードが付与された画像データ名を取得して、検索結果表示部203に検索結果を渡す処理を行なうプログラムモジュールである。
【0021】
キーワードテーブル205、検出ファイル名206、および画像データ207は、記憶部に格納されたデータを指す。キーワードテーブル205は、画像データファイルと、当該画像データファイルに付与されたキーワードとを関連付けしたデータを指す。検出ファイル名206は、検索条件に合致したキーワードが付与された画像データ名を記憶しておくデータを指す。画像データ207は、キーワードと共に関連付けられた画像データを記憶するデータを指す。なお、キーワードテーブル205、検出ファイル名206、および画像データ207に示されるデータは、メモリ105に格納されていてもよいし、ハードディスク106等、その他の記憶部に格納されていてもよい。
【0022】
OCR(Optical Character Reader)処理部208は、画像データより文字を認識する処理を行なうプログラムモジュールである。
【0023】
キーワードテーブル作成部209は、上述のキーワードテーブル205を作成する処理を行なうプログラムモジュールである。
【0024】
本システムにおいては、制御部101がメモリ105から上述の画像データ検索プログラムを読出し、制御部101が該プログラムに含まれる上述のモジュールを適宜動作させることで画像データ207の検索が実行される。
【0025】
なお、本システムで画像データの検索処理を行なうためには、検索される画像データにキーワードが付与されていることが必要となる。そこで、検索対象である画像データにキーワードを付与するキーワード付与処理について、図3に示されるフローチャートで説明する。なお、図3のフローチャートに示される処理を説明する際に、図4および図5に示される検索対象である画像データを具体例とする。また、図3のフローチャートに示される処理が実行される際に、本システムのモニタ102に表示される、キーワード入力画面の具体例を図6に示す。
【0026】
図3を参照して、まず始めに、キーワードを付与したい画像データ名をマウス103やキーボード104等でユーザから受付け、受付けた画像データをモニタ102上に開く(S11)。具体的には、ここで画像データ名Sports.bmpの入力を受付けることで、図4に示される画像データをモニタ102上に開く。
【0027】
次に、キーワードの追加処理の選択を受付け(S12)、また、マウス103でクリックされることで当該画像上のコンテンツの位置を示す1点を受付け(S13)、図6に示されるキーワード入力画面をモニタ102上に開く(S14)。ステップS14では、ステップS13で受付けた位置情報である座標値と、ステップS11で受付けた画像データ名とを、キーワード入力画面のそれぞれの入力域にデフォルト値として入力された状態でキーワード入力画面を開く。そして、このキーワード入力画面上で、これらの値の変更を受付ける。
【0028】
具体的には、図4に示される画像データのうち、スキーをしている人物が示されるコンテンツ付近の一点をクリックすることで、図6に示されるキーワード入力画面をモニタ102上が開かれる。
【0029】
次に、キーワード入力画面上でキーワードの入力を受付け(S15)、OKボタンが押下されることで(S16でOK)、キーワードテーブル205を開く(S17)。キーワードテーブル205の具体例については後に示す。そして、入力されたキーワード、座標、および画像データ名を、キーワードテーブル205に1行追加し(S18)、キーワードテーブル205を閉じる(S19)。すなわち、図6に示される入力画面において、キーワード「スキー」と入力してOKボタンを押下することで、キーワードテーブル205に、キーワード「スキー」と、先にクリックした(その後変更されてもよい)座標と、画像データ名Sports.bmpとが1行追加される。
【0030】
その後、キーワード入力画面を閉じ(S20)、画像データを閉じる(S21)。
【0031】
ステップS16でOKボタンが押下されず、Cancelボタンが押下された場合には、ステップS17〜S19の処理は実行せず、キーワード入力画面を閉じ、画像データを閉じる(S20,21)。
【0032】
以上で、キーワード付与処理が終了する。
上述の処理を、付与したいキーワードの数だけ繰返すことによってキーワードテーブル205を作成することができる。
【0033】
上述の、キーワードテーブル205の作成は、システムの制御部101がプログラムモジュールであるキーワードテーブル作成部209を動作させることで実行される。
【0034】
なお、図7および図8は、上述の処理が実行され、図4および図5に示される画像データにキーワードが付与された具体例を示す図である。また、図9は、図4および図5に示される画像データに付与されたキーワードから作成されたキーワードテーブル205の具体例を示す図である。
【0035】
上述のキーワード付与処理が実行されることで、図7および図8に示される如く、図4および図5上でユーザに選択された位置にキーワードが付与される。
【0036】
また、上述の処理で画像データに付与されたキーワードと、当該キーワードに付与される位置情報である座標と、当該キーワードが付与された画像データ名とは、図9に示される如く、キーワードテーブル205に1行ずつ追加される。なお、図9に具体例が示されるキーワードテーブル205は、本システムが格納している全ての画像データ207に対して1つ作成されるものであってもよいし、所定数の画像データ207に対して作成されるものであってもよいし、画像データ207ごとに作成されるものであってもよい。
【0037】
このようにして作成されたキーワードテーブル205は、本システムのメモリ105等の記憶装置に記憶される。
【0038】
なお、画像データに含まれる文字列からキーワードテーブル205を作成することもできる。この場合、システムの制御部101が、プログラムモジュールであるOCR処理部208を動作させることで、画像データに含まれる文字列を抽出する。例えば、図10に具体例が示されるPDF(Portable Document Format)ファイル等の、レイアウトやフォントの属性情報がファイル内に含まれる画像データである場合には、OCR処理部208で画像データに含まれる文字列を抽出することが有効である。そして、システムの制御部101がキーワードテーブル作成部209を動作させることで、抽出されたキーワードと、当該文字列の存在する位置を示す座標とによってキーワードテーブル205が作成される。図10に具体例が示される画像データより抽出されたキーワードで作成されたキーワードテーブル205の具体例を図11に示す。
【0039】
このようにして作成されたキーワードテーブル205もまた、本システムのメモリ105等の記憶装置に記憶される。
【0040】
次に、本実施のシステムにおいて、上述の画像データ207を検索する処理について、具体例を挙げながら説明する。
【0041】
図12は、画像データ検索処理を示すフローチャートである。
始めに、マウス103やキーボード104等の入力部が、ユーザより検索キーワードを受付ける(S001)。続いて、検索範囲を指定するための座標と距離とを受付ける(S002)。
【0042】
ステップS001およびステップS002で受付けたキーワード等の条件は、プログラムモジュールである検索キーワード等読取部201が動作することによって読取られ、検索指示部202から画像データ検索部204に検索の指示が出される。
【0043】
そして、画像データ検索部204が動作することによって、ステップS001で受付けたキーワードに合致する画像データであって、S002で受付けた検索範囲内に前記キーワードを含む画像データ207を検索するキーワード検索処理が実行される(S003)。
【0044】
本システムにおいては、画像データ207の検索を行なう際に、上述のメインルーチンが実行される。
【0045】
なお、上述のステップS001およびステップS002でユーザから検索条件の入力を受付ける際に本システムのモニタ102に表示される、検索条件指定画面の具体例を図13に示す。図13に示される具体例において、上述のステップS003では、図14を参照して、上述のステップS001で受付けたキーワード「スキー」を、ステップS002で受付けた座標(0,0)を中心に距離50pixelの範囲に含む画像データを検索するキーワード検索処理が実行される。図14は、図13に示す検索条件指定画面において指定された検索範囲の具体例を示す図である。
【0046】
そこで、さらに、上述のステップS003で実行されるキーワード検索処理について図15にサブルーチンを挙げ、図13および図14に示される具体例に沿って説明する。図15のフローチャートに示される処理は、制御部101が、主に画像データ検索部204を動作させることによって実行される。
【0047】
図15を参照して、上述のステップS001およびS002における入力を受付けると、キーワードテーブル205を開き(S201)、キーワードテーブル205の行に記載されるデータのうち、最初の行から1行ずつ読出す(S202,S203)。
【0048】
上述のステップS001において、図13に示されるキーワード「スキー」の入力を受付けた場合、図9に具体例が示されるキーワードテーブル205における当該行のキーワードが、「スキー」に一致するか否かを調べる(S204)。一致した場合には(S204でYes)、当該行に記載されているキーワード「スキー」に付与された位置情報である座標位置を取得する(S205)。さらに、そのキーワード「スキー」の位置座標が、上述のステップS002で受付けた検索範囲に入っているか否かを調べる(S206)。
【0049】
具体的には、ステップS206では、まず、キーワード「スキー」の位置座標(−20,10)を読込む。そして、図13の具体例に示される座標(0,0)とキーワード「スキー」の位置座標(−20,10)との距離を、以下のように算出する。
【0050】
(距離)2=(受付けたX座標−キーワードのX座標)2
+(受付けたY座標−キーワードのY座標)2
(距離)2=(0−(−20))2+(0−10)2=500
距離≒22.36pixel
この算出された距離(22.36pixel)が、受付けた検索範囲である距離(50pixel)内であるか否かを比較する(S207)。比較した結果、当該キーワードが検索範囲内にある場合には(S207でYes)、このキーワードを含む画像データを検索結果として検出するため、キーワードテーブル205から画像データ名を読込んで、検出ファイル名206として記憶する(S208)。
【0051】
上述の具体例においては、キーワード「スキー」の位置座標が、図14に具体例が示される受付けた座標(0,0)から受付けた距離50pixelの検索範囲内にあるため、ステップS207で当該キーワード「スキー」が検索範囲内にあると判断され、図9に示されるキーワードテーブル205の、スキーの行(1行目)にある画像データ名Sports.bmpが検出ファイル名206として記憶される。
【0052】
上述のステップS203〜ステップS208の処理をキーワードテーブル205の最終行まで繰返し(S209,210)、検出ファイル名206として記憶された画像データ名を、全て検索結果としてモニタ102に表示する(S211)。なお、ステップS211においてモニタ102に検索結果を表示させる処理は、検索結果表示部203を動作させることで実行される。
【0053】
そして、キーワードテーブル205を閉じて(S212)、キーワード検索処理を終了し、図12に示されるメインルーチンへ処理を戻す。
【0054】
なお、図16に、上述の画像データ検索処理を行なった結果の検索結果の表示の具体例について示す。
【0055】
ところで、上述のステップS203〜S209の処理を繰返し、図9に具体例が示されるキーワードテーブル205を10行目まで読込んだところで、ステップS204で再度キーワード「スキー」が一致する。そのため、続くステップS205で位置座標(−160,60)を取得する。
【0056】
このとき、図13の具体例に示される座標(0,0)と位置座標(−160,60)との距離は、以下のように算出される。
【0057】
(距離)2=(受付けたX座標−キーワードのX座標)2
+(受付けたY座標−キーワードのY座標)2
(距離)2=(0−(−160))2+(0−60)2=29200
距離≒170.88pixel
上述の算出された距離は、受付けた検索範囲である距離(50pixel)内にないため、ステップS207ではここで一致したキーワード「スキー」は検索範囲にないものであると判断し(S207でNo)、キーワードテーブル205の10行目にある画像データ名(Vehicle.bmp)は検出ファイル名206として記憶されない。
【0058】
上述のように、本実施の形態における画像データ検索システムにおいては、画像データに含まれるコンテンツに対応したキーワードに2次元的な位置情報をもたせ、上述の画像データ検索処理を実行する。そのため、ユーザが検索キーワードと同時に指定する検索範囲において、そのキーワードが示すコンテンツを検索し、当該コンテンツを含む画像データを検索することができる。すなわち、検索する位置を絞って検索処理を実行するため、誤った画像データを検出画像として抽出することを防ぐことができ、確実な画像データの検索を行なうことができる。例えば、画像上の端にあるようなものに対してまで検索処理を行ない当該画像を検索結果として検出してしまうことを防ぐことが可能になる。また、上述のキーワード入力処理が実行されることで、容易な作業で上述の画像データ検索処理を確実にすることができる。
【0059】
さらに、上述の検索処理ではユーザから検索範囲の入力を受付けるため、1回の検索で所望の検索結果が得られなかったときには、検索範囲として指定した座標位置からの距離を変更して検索処理を繰返すことで、容易に検索範囲を広げることができ、確実に所望の画像データを検索することができる。
【0060】
なお、以下に、上述のステップS206に示される、当該キーワードが検索範囲内にあるキーワードか否かを調べる処理において、検索範囲や検索条件の他の指定方法を変形例として挙げる。
【0061】
[変形例1]
第1の変形例としては、検索範囲の中心位置と、画像対角長に対する割合とで検索範囲内を指定する。
【0062】
図17は、第1の変形例における検索条件指定画面の具体例を示す図である。
そして、図17に具体例が示される如く、検索範囲の中心位置を中心座標(0,0)、画像対角長に対する割合を50%と受付けた場合の検索範囲を、図18に示す。
【0063】
ここでは、対角長の半分の距離を100%としているので、画像対角長に対する割合を50%と受付けた場合、検索範囲の半径は対角長の4分の1の距離となる。図15のステップS206では、一致したキーワードが、上述の方法で指定された検索範囲内に入っているか否かを調べる。
【0064】
[変形例2]
第2の変形例としては、エリアと、エリアからの距離とで検索範囲内を指定する。
【0065】
図19は、第2の変形例における検索条件指定画面の具体例を示す図である。図19を参照して、第2の変形例では、具体例として、座標1(−30,30)と、座標2(60,0)とを対角とするエリアと、前記エリアからの距離(50pixel)とを受付ける。
【0066】
そして、図19に具体例が示された場合の検索範囲を、図20に示す。図20を参照して、このときの検索範囲は、座標1(−30,30)と座標2(60,0)とで囲まれる領域の端から、それぞれ50pixelまでの範囲である。あるいは、上述のエリア内の領域も検索範囲に含まれていてもよい。図15のステップS206では、一致したキーワードが、上述の方法で指定された検索範囲内に入っているか否かを調べる。
【0067】
[変形例3]
第3の変形例においては、ユーザは、検索範囲に対して、予め重付けの点数を指定するためのマップを作成しておく。このマップを以降の説明の便宜上点数マップと言う。この点数マップの具体例(点数マップ1)を、図21に示す。
【0068】
また、図21に具体例が示される点数マップは、図22に示すようなデータテーブルとして、本システムのメモリ105等の記憶装置に記憶されている。
【0069】
図21および図22を参照して、例えば、図21の点数マップにおいて、範囲21−1は、点数「9点」の範囲であって、中心座標(0,0)、半径30pixelの円の範囲と指定されているが、図22のデータテーブルにおいては、行22−1のように当該範囲のデータが保持される。
【0070】
同様に、図21の点数マップにおいて、範囲21−2は、点数「8点」の範囲であって、始点(−50,50)、終点(50,50)の四角形の範囲と指定されてるが、図22のデータテーブルにおいては、行22−2のように当該範囲のデータが保持される。
【0071】
変形例3において検索条件を指定するときには、ユーザは、検索キーワードと、点数マップと、しきい値とを指定する。図23は、第3の変形例における検索条件指定画面の具体例を示す図である。
【0072】
このとき、図15のステップS206では、図24のフローチャートに示される処理が実行される。
【0073】
図24を参照して、まず指定された点数マップのデータテーブルを開き(S301)、その1行目から1行ずつ順に点数を読出し(S302,S303)、指定されたしきい値と点数とを比較する(S304)。図23に示される具体例の場合、点数マップ1が指定されているため、ステップS301では、図22に示される点数マップ1が開かれる。
【0074】
読出した点数が、指定されたしきい値以上であれば(S304でYes)、データテーブルから読出した「形状」と「中心座標」と「距離」と(または「形状」と「座標1」と「座標2」と)で表わされる範囲の中に、図15のステップS205で取得した当該キーワードの位置座標が含まれるか否かを計算し(S305,S306)、上記の範囲内に含まれるならば(S307でYes)、検索範囲内フラグを立てる(S308)。そして、さらにデータテーブルの次の行を読出し、データテーブルの最終行になるまで、上述の処理を繰返す。
【0075】
読出した点数が、指定されたしきい値より小さい場合(S304でNo)、あるいは、読出した範囲の中に当該キーワードの位置座標が含まれない場合(S307でNo)には、検索範囲内フラグは立てず、データテーブルの次の行を読出し、同様に最終行になるまで、上述の処理を繰返す。
【0076】
図22に示されるデータテーブルを読出す場合には、行22−1および行22−2(1行目および2行目)の点数のみが指定されたしきい値8以上であるので、当該行から読出した範囲の中にのみ、キーワード「スキー」の位置座標が含まれるか否かを計算する。
【0077】
そして、データテーブルの最終行まで読出して上述の処理を実行すると(S309でYes)、点数マップのデータテーブルを閉じて(S311)、処理を図15に示されるメインルーチンに戻す。
【0078】
さらに、第3の変形例では、図15のステップS207で、上述の検索範囲内フラグが立っている場合にステップS208に処理を進め、検索範囲内フラグが立っていなければステップS208に進まずにステップS209に処理を進める。
【0079】
上述の第3の変形例においては、点数マップを複数用意し、図23に示される検索条件指定画面において、検索処理に用いる点数マップを別の点数マップに変更することにより、簡単に重付けを変えた検索を行なうことができる。
【0080】
図21に示された点数マップとは異なる点数マップ(点数マップ2)の具体例を図25に示し、さらに図25に示される点数マップのデータテーブルを図26に示す。
【0081】
例えば、点数マップを図21に示される点数マップに指定することで、図21に示される点数マップが指定された場合と異なる重付けが設定された検索を行なうことができる。
【0082】
上述の変形例1〜3に示すような様々な検索範囲や条件の指定を行なうことで、より確実にユーザの所望する画像データの検索を行なうことができる。また、ユーザの利便性も多いに向上する。また、変形例3に示すような、画像データ上に重付けを行なって検索を行なうことで、検索範囲を容易に指定することができ、より確実に所望する画像データを検索することができる。
【0083】
なお、本実施の形態においては、所定の記憶装置に記憶された画像データから所望の画像データを検索する画像データ検索装置および検索方法について述べたが、検索する対象である画像データには、文書データ等の、その他の形態のデータも含まれるものとする。
【0084】
さらに、上述の画像データ検索システムにおける画像データの検索方法および画像データへのキーワードの付与方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD−ROM、ROM、RAMおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【0085】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。
【0086】
なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【0087】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図1】 本実施の形態における画像データ検索システムのハードウェア構成を示す図である。
【図2】 本実施の形態の画像データ検索システムにおいて実行される画像データ検索プログラムの、処理機能を示すブロック図である。
【図3】 画像データにキーワードを付与するキーワード付与処理を示すフローチャートである。
【図4】 画像データを具体例を示す図である。
【図5】 画像データを具体例を示す図である。
【図6】 キーワード入力画面の具体例を示す図である。
【図7】 図4に示される画像データにキーワードが付与された具体例を示す図である。
【図8】 図5に示される画像データにキーワードが付与された具体例を示す図である。
【図9】 キーワードから作成されたキーワードテーブル205の具体例を示す図である。
【図10】 PDFファイルである画像データの具体例を示す図である。
【図11】 図10に具体例が示される画像データより抽出されたキーワードで作成されたキーワードテーブル205の具体例を示す図である。
【図12】 画像データ検索処理を示すフローチャートである。
【図13】 検索条件指定画面の具体例を示す図である。
【図14】 検索範囲の具体例を示す図である。
【図15】 キーワード検索処理について示すフローチャートである。
【図16】 検索結果の表示の具体例を示す図である。
【図17】 第1の変形例における検索条件指定画面の具体例を示す図である。
【図18】 第1の変形例における検索範囲の具体例を示す図である。
【図19】 第2の変形例における検索条件指定画面の具体例を示す図である。
【図20】 第2の変形例における検索範囲の具体例を示す図である。
【図21】 点数マップの具体例(点数マップ1)を示す図である。
【図22】 図21の点数マップ1に基づくデータテーブルの具体例を示す図である。
【図23】 第3の変形例における検索条件指定画面の具体例を示す図である。
【図24】 第3の変形例において、検索範囲内か否かを調べる処理を示すフローチャートである。
【図25】 点数マップ(点数マップ2)の具体例を示す図である。
【図26】 図25の点数マップ2に基づくデータテーブルの具体例を示す図である。
【符号の説明】
101 制御部、102 モニタ、103 マウス、104 キーボード、105 メモリ、106 ハードディスク、107 CD−ROMドライブ、108 MOドライブ、201 キーワード等読取部、202 検索指示部、203検索結果表示部、204 画像データ検索部、205 キーワードテーブル、206 検出ファイル名、207 画像データ、208 OCR処理部、209キーワードテーブル作成部。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image data search method and a data input method, and more particularly to an image data search method and a data input method capable of accurately and easily searching for a desired image.
[0002]
[Prior art]
In the conventional image data search method, all assigned keywords are associated with one image. For this reason, there has been a problem that the content relating to the keyword is detected as a search result regardless of where the image is located.
[0003]
In order to solve this problem, Japanese Patent Application Laid-Open No. 11-53370 discloses a method of dividing an image into tiles and associating a keyword with each tile.
[0004]
[Problems to be solved by the invention]
However, in the above-described method, it is very difficult to associate a keyword with each tile, and there is a problem that as the tile is divided finely, the operation of assigning keywords increases.
[0005]
In addition, the search range is specified by words such as “center” and “bottom right” at the time of search. If a desired image is not detected in one search, the search range is slightly expanded. There was a problem that it could not be redone.
[0006]
The present invention has been made in view of these problems, and an object of the present invention is to provide an image data search method and a data input method capable of accurately and easily searching for a desired image.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, according to one aspect of the present invention, an image data search method is an image data search method for searching for desired image data from image data stored in a predetermined storage medium. An input step for receiving an input of a keyword and position information indicating a search target range in desired image data, a search keyword, position information given to the search keyword, and a corresponding image data name A reading step for reading the table, a searching step for searching image data corresponding to the received search keyword and the received position information from the read table, and output for outputting the searched image data as desired image data Steps.
[0008]
According to another aspect of the present invention, an image data search method is an image data search method for searching for desired image data from image data stored in a predetermined storage medium, wherein a search keyword and whether or not detection is possible. An input step for receiving an input of a threshold value to be determined; a first table in which a search keyword is associated with image data names corresponding to position information assigned to the search keyword; A second step of reading a second table storing the relationship between the first search table and a search step of searching the image data corresponding to the positional information given to the received search keyword from the read first table; Read the weight data in the position information retrieved from the read second table, and the read weight data is equal to or greater than the accepted threshold value. When it is determined and a determination step of determining, to be equal to or more than threshold value read out weighting data is accepted, and an output step of outputting as image data desired to be corresponding image data.
[0009]
The position information described above is desirably information indicating a range specified by coordinates in the image data.
[0010]
According to another aspect of the present invention, a data input method includes: an adding step of adding a keyword and position information indicating a position where content corresponding to the keyword exists in the image data to the image data; A storage step of storing a table in which the image data name, the assigned keyword, and the assigned position information are associated with each other.
[0011]
The position information described above is preferably coordinate information specified by coordinates in the image data.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. In the following description, the same parts and components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
[0013]
FIG. 1 is a diagram showing a hardware configuration of an image data search system (hereinafter simply referred to as a system) in the present embodiment.
[0014]
Referring to FIG. 1, the system according to the present embodiment is composed of a CPU (Central Processing Unit) and the like, and controls control unit 101 that controls the entire system, a program executed by control unit 101, and the following description. And a memory 105 that stores various tables and the like. The monitor 102 is configured by a display, input devices such as a mouse 103 and a keyboard 104, a hard disk 105, a CD-ROM (Compact Disk Read Only Memory) drive 107, and an MO (Magneto-Optical disc) drive 108. The
[0015]
Since the system shown in FIG. 1 is a system constructed by a general personal computer, workstation, or the like, the hardware configuration shown in FIG. 1 is a hardware configuration of a general personal computer, workstation, or the like. It is a configuration. Therefore, the configuration of the system in the present embodiment is not limited to the configuration shown in FIG.
[0016]
Next, FIG. 2 is a block diagram showing processing functions of an image data search program executed in the system of the present embodiment. FIG. 2 shows a plurality of program modules included in the image data search program in the present embodiment and data used by these.
[0017]
Specifically, referring to FIG. 2, search keyword and the like reading unit 201 performs a process of reading the search keyword received from the user with the mouse 103 and the keyboard 104, the center coordinates of the search range, and the distance from the center coordinates. It is a program module.
[0018]
The search instruction unit 202 is a program module that performs processing for instructing the image data search unit 204 (to be described later) to perform a search based on a value read by the search keyword reading unit 201.
[0019]
The search result display unit 203 is a program module that performs processing for causing the monitor 102 to display the image data name detected as a result of searching by the image data search unit 204 described later.
[0020]
The image data search unit 204 collates the search keyword instructed by the search instruction unit 202 with the description of the keyword table 205 described later, acquires the image data name to which the keyword that matches the search condition is given, It is a program module that performs processing for passing a search result to the search result display unit 203.
[0021]
The keyword table 205, the detection file name 206, and the image data 207 indicate data stored in the storage unit. The keyword table 205 indicates data in which an image data file and a keyword assigned to the image data file are associated with each other. The detection file name 206 indicates data for storing an image data name to which a keyword matching the search condition is assigned. The image data 207 indicates data that stores image data associated with a keyword. Note that the data shown in the keyword table 205, the detection file name 206, and the image data 207 may be stored in the memory 105, or may be stored in another storage unit such as the hard disk 106.
[0022]
An OCR (Optical Character Reader) processing unit 208 is a program module that performs processing for recognizing characters from image data.
[0023]
The keyword table creation unit 209 is a program module that performs processing for creating the keyword table 205 described above.
[0024]
In this system, the control unit 101 reads the above-described image data search program from the memory 105, and the control unit 101 appropriately operates the above-described modules included in the program, thereby searching for the image data 207.
[0025]
In order to perform image data search processing in this system, it is necessary to add keywords to the searched image data. Thus, a keyword assignment process for assigning a keyword to image data to be searched will be described with reference to the flowchart shown in FIG. In the description of the processing shown in the flowchart of FIG. 3, the image data that is the search target shown in FIGS. 4 and 5 is taken as a specific example. FIG. 6 shows a specific example of the keyword input screen displayed on the monitor 102 of the present system when the processing shown in the flowchart of FIG. 3 is executed.
[0026]
Referring to FIG. 3, first, the image data name to which a keyword is to be assigned is received from the user with the mouse 103, the keyboard 104, etc., and the received image data is opened on the monitor 102 (S11). Specifically, the image data shown in FIG. 4 is opened on the monitor 102 by accepting the input of the image data name Sports.bmp here.
[0027]
Next, selection of keyword addition processing is accepted (S12), and one point indicating the position of the content on the image is accepted by clicking with the mouse 103 (S13), and the keyword input screen shown in FIG. Is opened on the monitor 102 (S14). In step S14, the keyword input screen is opened with the coordinate values, which are the position information received in step S13, and the image data names received in step S11 being input as default values in the respective input areas of the keyword input screen. . Then, change of these values is accepted on the keyword input screen.
[0028]
Specifically, in the image data shown in FIG. 4, the keyword input screen shown in FIG. 6 is opened on the monitor 102 by clicking one point near the content showing the person who skis.
[0029]
Next, the keyword input is accepted on the keyword input screen (S15), and when the OK button is pressed (OK in S16), the keyword table 205 is opened (S17). A specific example of the keyword table 205 will be described later. Then, the input keyword, coordinates, and image data name are added to the keyword table 205 (S18), and the keyword table 205 is closed (S19). That is, on the input screen shown in FIG. 6, the keyword “ski” is input and the OK button is pressed, and the keyword “ski” is clicked first in the keyword table 205 (may be changed thereafter). One line of coordinates and the image data name Sports.bmp are added.
[0030]
Thereafter, the keyword input screen is closed (S20), and the image data is closed (S21).
[0031]
If the OK button is not pressed in step S16 and the Cancel button is pressed, the process of steps S17 to S19 is not executed, the keyword input screen is closed, and the image data is closed (S20, 21).
[0032]
This completes the keyword assignment process.
The keyword table 205 can be created by repeating the above-described processing for the number of keywords to be assigned.
[0033]
The creation of the keyword table 205 described above is executed when the control unit 101 of the system operates the keyword table creation unit 209 that is a program module.
[0034]
7 and 8 are diagrams illustrating specific examples in which the above-described processing is executed and keywords are assigned to the image data illustrated in FIGS. 4 and 5. FIG. 9 is a diagram showing a specific example of the keyword table 205 created from the keywords assigned to the image data shown in FIGS. 4 and 5.
[0035]
By executing the keyword assignment process described above, keywords are assigned to positions selected by the user in FIGS. 4 and 5 as shown in FIGS.
[0036]
In addition, as shown in FIG. 9, the keyword assigned to the image data in the above-described processing, the coordinates that are the position information given to the keyword, and the image data name to which the keyword is assigned are shown in the keyword table 205. Is added one line at a time. Note that one keyword table 205, a specific example of which is shown in FIG. 9, may be created for all the image data 207 stored in the system, or a predetermined number of image data 207 may be stored. It may be created for each image data 207.
[0037]
The keyword table 205 created in this way is stored in a storage device such as the memory 105 of this system.
[0038]
The keyword table 205 can also be created from a character string included in the image data. In this case, the control unit 101 of the system extracts the character string included in the image data by operating the OCR processing unit 208 that is a program module. For example, when the layout and font attribute information is image data included in the file, such as a PDF (Portable Document Format) file whose specific example is shown in FIG. 10, it is included in the image data by the OCR processing unit 208. It is effective to extract a character string. Then, when the control unit 101 of the system operates the keyword table creation unit 209, the keyword table 205 is created based on the extracted keywords and the coordinates indicating the position where the character string exists. FIG. 11 shows a specific example of the keyword table 205 created with keywords extracted from the image data whose specific example is shown in FIG.
[0039]
The keyword table 205 created in this way is also stored in a storage device such as the memory 105 of this system.
[0040]
Next, processing for searching the above-described image data 207 in the system of the present embodiment will be described with a specific example.
[0041]
FIG. 12 is a flowchart showing image data search processing.
First, the input unit such as the mouse 103 and the keyboard 104 receives a search keyword from the user (S001). Subsequently, the coordinates and distance for specifying the search range are received (S002).
[0042]
The keywords and other conditions accepted in steps S001 and S002 are read by operating the search keyword etc. reading unit 201, which is a program module, and a search instruction is issued from the search instruction unit 202 to the image data search unit 204.
[0043]
Then, by the operation of the image data search unit 204, a keyword search process for searching for image data 207 that matches the keyword accepted in step S001 and includes the keyword within the search range accepted in S002. It is executed (S003).
[0044]
In this system, when the image data 207 is searched, the above main routine is executed.
[0045]
FIG. 13 shows a specific example of the search condition designation screen displayed on the monitor 102 of this system when receiving the input of the search condition from the user in the above-described steps S001 and S002. In the specific example shown in FIG. 13, in step S003 described above, referring to FIG. 14, the keyword “ski” received in step S001 described above is a distance centered on the coordinates (0, 0) received in step S002. A keyword search process for searching for image data included in the range of 50 pixels is executed. FIG. 14 is a diagram showing a specific example of the search range designated on the search condition designation screen shown in FIG.
[0046]
Accordingly, the keyword search processing executed in step S003 described above will be described with reference to specific examples shown in FIGS. 13 and 14 with a subroutine shown in FIG. The process shown in the flowchart of FIG. 15 is executed when the control unit 101 mainly operates the image data search unit 204.
[0047]
Referring to FIG. 15, when the input in steps S001 and S002 described above is accepted, keyword table 205 is opened (S201), and data is read line by line from the first line among the data described in the line of keyword table 205. (S202, S203).
[0048]
When the input of the keyword “ski” shown in FIG. 13 is accepted in step S001 described above, it is determined whether or not the keyword in the row in the keyword table 205 whose specific example is shown in FIG. 9 matches “ski”. Check (S204). If they match (Yes in S204), a coordinate position that is position information given to the keyword “ski” described in the row is acquired (S205). Further, it is checked whether or not the position coordinates of the keyword “ski” are within the search range accepted in step S002 described above (S206).
[0049]
Specifically, in step S206, first, the position coordinates (−20, 10) of the keyword “ski” are read. Then, the distance between the coordinates (0, 0) shown in the specific example of FIG. 13 and the position coordinates (−20, 10) of the keyword “ski” is calculated as follows.
[0050]
(distance)2= (Accepted X coordinate-Keyword X coordinate)2
+ (Accepted Y coordinate-keyword Y coordinate)2
(distance)2= (0-(-20))2+ (0-10)2= 500
Distance ≒ 22.36pixel
It is compared whether or not the calculated distance (22.36 pixels) is within the distance (50 pixels) that is the accepted search range (S207). If the keyword is within the search range as a result of the comparison (Yes in S207), the image data name is read from the keyword table 205 and the detected file name 206 is detected in order to detect image data including this keyword as a search result. (S208).
[0051]
In the specific example described above, the position coordinate of the keyword “ski” is within the search range of a distance of 50 pixels received from the received coordinates (0, 0) shown in FIG. It is determined that “ski” is within the search range, and the image data name Sports.bmp in the ski row (first row) of the keyword table 205 shown in FIG. 9 is stored as the detected file name 206.
[0052]
The processes in steps S203 to S208 described above are repeated until the last line of the keyword table 205 (S209, 210), and all the image data names stored as the detected file names 206 are displayed on the monitor 102 as search results (S211). Note that the process of displaying the search result on the monitor 102 in step S211 is executed by operating the search result display unit 203.
[0053]
Then, the keyword table 205 is closed (S212), the keyword search process is terminated, and the process returns to the main routine shown in FIG.
[0054]
FIG. 16 shows a specific example of display of a search result as a result of performing the above-described image data search processing.
[0055]
By the way, when the processes of steps S203 to S209 described above are repeated and the keyword table 205 whose specific example is shown in FIG. 9 is read up to the 10th line, the keyword “ski” again matches in step S204. Therefore, the position coordinates (−160, 60) are acquired in the subsequent step S205.
[0056]
At this time, the distance between the coordinates (0, 0) and the position coordinates (−160, 60) shown in the specific example of FIG. 13 is calculated as follows.
[0057]
(distance)2= (Accepted X coordinate-Keyword X coordinate)2
+ (Accepted Y coordinate-keyword Y coordinate)2
(distance)2= (0-(-160))2+ (0-60)2= 29200
Distance ≒ 170.88pixel
Since the calculated distance is not within the distance (50 pixels) that is the accepted search range, it is determined in step S207 that the matched keyword “ski” is not in the search range (No in S207). The image data name (Vehicle.bmp) on the 10th line of the keyword table 205 is not stored as the detected file name 206.
[0058]
As described above, in the image data search system according to the present embodiment, the above-described image data search process is executed by giving two-dimensional position information to keywords corresponding to content included in image data. Therefore, the content indicated by the keyword can be searched within the search range specified by the user at the same time as the search keyword, and the image data including the content can be searched. That is, since the search process is executed by narrowing down the search position, it is possible to prevent erroneous image data from being extracted as a detected image and to perform reliable image data search. For example, it is possible to prevent the image from being detected as a search result by performing a search process on the image at the edge of the image. In addition, by executing the keyword input process described above, it is possible to ensure the image data search process described above with easy work.
[0059]
Furthermore, in the above search processing, since the input of the search range is accepted from the user, when the desired search result is not obtained by one search, the search processing is performed by changing the distance from the coordinate position designated as the search range. By repeating, the search range can be easily expanded and desired image data can be reliably searched.
[0060]
In the following, in the process of checking whether or not the keyword is in the search range shown in step S206 described above, other methods for specifying the search range and the search condition are given as modified examples.
[0061]
[Modification 1]
As a first modification, the inside of the search range is specified by the center position of the search range and the ratio to the image diagonal length.
[0062]
FIG. 17 is a diagram showing a specific example of a search condition designation screen in the first modification.
Then, as shown in a specific example in FIG. 17, the search range when the center position of the search range is accepted as the center coordinate (0, 0) and the ratio to the image diagonal length is 50% is shown in FIG.
[0063]
Here, since the distance of half of the diagonal length is 100%, if the ratio to the image diagonal length is accepted as 50%, the radius of the search range becomes a distance of one quarter of the diagonal length. In step S206 in FIG. 15, it is checked whether or not the matched keyword is within the search range specified by the above-described method.
[0064]
[Modification 2]
As a second modification, the search range is designated by the area and the distance from the area.
[0065]
FIG. 19 is a diagram showing a specific example of a search condition designation screen in the second modification. Referring to FIG. 19, in the second modification, as a specific example, an area having a coordinate 1 (−30, 30) and a coordinate 2 (60, 0) as a diagonal, and a distance ( 50pixel).
[0066]
FIG. 20 shows a search range when a specific example is shown in FIG. Referring to FIG. 20, the search range at this time is a range from the end of the area surrounded by coordinates 1 (−30, 30) and coordinates 2 (60, 0) to 50 pixels. Or the area | region in the above-mentioned area may also be included in the search range. In step S206 of FIG. 15, it is checked whether or not the matched keyword is within the search range specified by the above-described method.
[0067]
[Modification 3]
In the third modification, the user creates a map for designating the weighting points in advance for the search range. This map is referred to as a score map for convenience of the following description. A specific example of this score map (score map 1) is shown in FIG.
[0068]
21 is stored as a data table as shown in FIG. 22 in a storage device such as the memory 105 of the present system.
[0069]
Referring to FIG. 21 and FIG. 22, for example, in the point map of FIG. 21, a range 21-1 is a range of “9 points”, and a range of a circle with central coordinates (0, 0) and a radius of 30 pixels. However, in the data table of FIG. 22, the data in the range is held as in the row 22-1.
[0070]
Similarly, in the score map of FIG. 21, the range 21-2 is a range of “8 points” and is designated as a rectangular range of the start point (−50, 50) and the end point (50, 50). In the data table of FIG. 22, the data in the range is held as shown in the row 22-2.
[0071]
When designating a search condition in the third modification, the user designates a search keyword, a score map, and a threshold value. FIG. 23 is a diagram showing a specific example of a search condition designation screen in the third modification.
[0072]
At this time, in step S206 of FIG. 15, the process shown in the flowchart of FIG. 24 is executed.
[0073]
Referring to FIG. 24, first, the designated score map data table is opened (S301), the scores are read out in order from the first row (S302, S303), and the designated threshold value and score are obtained. Compare (S304). In the case of the specific example shown in FIG. 23, since the score map 1 is designated, in step S301, the score map 1 shown in FIG. 22 is opened.
[0074]
If the number of points read out is equal to or greater than the specified threshold value (Yes in S304), the “shape”, “center coordinate”, “distance” (or “shape” and “coordinate 1”) read from the data table are displayed. It is calculated whether or not the position coordinates of the keyword acquired in step S205 of FIG. 15 are included in the range represented by “coordinate 2” (S305, S306). If this is the case (Yes in S307), a search range flag is set (S308). Then, the next row of the data table is read, and the above processing is repeated until the last row of the data table is reached.
[0075]
If the read score is smaller than the specified threshold value (No in S304), or if the position coordinates of the keyword are not included in the read range (No in S307), the flag within the search range The next row of the data table is read out, and the above processing is repeated until the last row is reached.
[0076]
When the data table shown in FIG. 22 is read, since only the score of the line 22-1 and the line 22-2 (the first line and the second line) is the specified threshold value 8 or more, It is calculated whether or not the position coordinates of the keyword “ski” are included only in the range read from.
[0077]
When the last row of the data table is read and the above-described processing is executed (Yes in S309), the score map data table is closed (S311), and the processing returns to the main routine shown in FIG.
[0078]
Further, in the third modification, in step S207 of FIG. 15, when the above-described search range flag is set, the process proceeds to step S208. When the search range flag is not set, the process proceeds to step S208. The process proceeds to step S209.
[0079]
In the above-described third modification, a plurality of score maps are prepared, and weighting is easily performed by changing the score map used for search processing to another score map on the search condition designation screen shown in FIG. You can perform changed searches.
[0080]
A specific example of a score map (score map 2) different from the score map shown in FIG. 21 is shown in FIG. 25, and a data table of the score map shown in FIG. 25 is shown in FIG.
[0081]
For example, by designating the score map to the score map shown in FIG. 21, it is possible to perform a search with a weighting different from that when the score map shown in FIG. 21 is designated.
[0082]
By designating various search ranges and conditions as shown in the first to third modifications, image data desired by the user can be searched more reliably. In addition, user convenience is greatly improved. In addition, by performing weighting on image data and performing a search as shown in Modification 3, a search range can be easily specified, and desired image data can be searched more reliably.
[0083]
In this embodiment, the image data search device and the search method for searching for desired image data from the image data stored in a predetermined storage device have been described. Other forms of data, such as data, are also included.
[0084]
Furthermore, a method for retrieving image data and a method for assigning keywords to the image data in the above-described image data retrieval system can be provided as a program. Such a program can be recorded on a computer-readable recording medium such as a flexible disk, a CD-ROM, a ROM, a RAM, and a memory card attached to the computer and provided as a program product. Alternatively, the program can be provided by being recorded on a recording medium such as a hard disk built in the computer. A program can also be provided by downloading via a network.
[0085]
The provided program product is installed in a program storage unit such as a hard disk and executed.
[0086]
The program product includes the program itself and a recording medium on which the program is recorded.
[0087]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a hardware configuration of an image data search system according to an embodiment.
FIG. 2 is a block diagram showing processing functions of an image data search program executed in the image data search system of the present embodiment.
FIG. 3 is a flowchart showing a keyword assignment process for assigning a keyword to image data.
FIG. 4 is a diagram illustrating a specific example of image data.
FIG. 5 is a diagram illustrating a specific example of image data.
FIG. 6 is a diagram illustrating a specific example of a keyword input screen.
7 is a diagram showing a specific example in which a keyword is assigned to the image data shown in FIG.
8 is a diagram showing a specific example in which a keyword is added to the image data shown in FIG.
FIG. 9 is a diagram showing a specific example of a keyword table 205 created from keywords.
FIG. 10 is a diagram illustrating a specific example of image data that is a PDF file.
11 is a diagram showing a specific example of a keyword table 205 created with keywords extracted from the image data whose specific example is shown in FIG.
FIG. 12 is a flowchart showing image data search processing.
FIG. 13 is a diagram showing a specific example of a search condition designation screen.
FIG. 14 is a diagram illustrating a specific example of a search range.
FIG. 15 is a flowchart showing keyword search processing;
FIG. 16 is a diagram illustrating a specific example of display of a search result.
FIG. 17 is a diagram showing a specific example of a search condition designation screen in the first modified example.
FIG. 18 is a diagram showing a specific example of a search range in the first modified example.
FIG. 19 is a diagram showing a specific example of a search condition designation screen in the second modified example.
FIG. 20 is a diagram showing a specific example of a search range in the second modified example.
FIG. 21 is a diagram showing a specific example (score map 1) of a score map.
FIG. 22 is a diagram showing a specific example of a data table based on the score map 1 of FIG.
FIG. 23 is a diagram showing a specific example of a search condition designation screen in the third modified example.
FIG. 24 is a flowchart showing a process for checking whether or not a search range is in the third modified example.
FIG. 25 is a diagram showing a specific example of a score map (score map 2).
FIG. 26 is a diagram showing a specific example of a data table based on the score map 2 of FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 Control part, 102 Monitor, 103 Mouse, 104 Keyboard, 105 Memory, 106 Hard disk, 107 CD-ROM drive, 108 MO drive, 201 Keyword reading part, 202 Search instruction part, 203 Search result display part, 204 Image data search , 205 keyword table, 206 detection file name, 207 image data, 208 OCR processing unit, 209 keyword table creation unit.

Claims (4)

所定の記憶媒体に蓄積されている画像データから所望する画像データを検索する、コンピュータが実行する画像データ検索方法であって、
検索キーワードと、前記所望する画像データにおける検索範囲を示す情報として中心位置および画像対角長に対する割合との入力を受付ける入力ステップと、
検索キーワードと、前記検索キーワードに付与されている位置情報と、対応する画像データ名とを関連付けしたテーブルを読込む読込ステップと、
前記読込んだテーブルより、前記受付けた検索キーワードに付与されている位置情報を取得するステップと、
前記検索範囲として、前記中心位置を中心として前記画像対角長に対する割合で特定される長さを半径とした円領域を前記検索範囲として特定するステップと、
前記検索キーワードに付与されている位置情報が前記検索範囲に含まれているか否かを検索し、含まれている場合に、前記テーブルより、前記検索キーワードに対応する画像データ名を取得する検索ステップと、
前記検索ステップにおいて取得された前記画像データ名を前記所望する画像データの画像データ名として出力する出力ステップとを備える、画像データ検索方法。
A computer-executed image data retrieval method for retrieving desired image data from image data stored in a predetermined storage medium,
An input step for receiving an input of a search keyword and a ratio with respect to a center position and an image diagonal length as information indicating a search range in the desired image data
A reading step of reading a table in which a search keyword, position information given to the search keyword, and a corresponding image data name are associated;
Obtaining the position information given to the accepted search keyword from the read table;
Specifying as the search range a circular area having a radius specified by a ratio to the diagonal length of the image centered on the center position as the search range;
A search step of searching whether or not the position information given to the search keyword is included in the search range, and acquiring the image data name corresponding to the search keyword from the table if included. When,
An image data search method comprising: an output step of outputting the image data name acquired in the search step as an image data name of the desired image data.
前記検索ステップにおいて前記検索範囲に前記検索キーワードに付与されている位置情報が含まれていない場合に、前記検索範囲を拡大するステップをさらに備え、
前記検索ステップは、前記拡大された検索範囲に前記検索キーワードに付与されている位置情報が含まれているか否かを検索する、請求項1に記載の画像データ検索方法。
In the search step, when the search range does not include the position information given to the search keyword, further comprising the step of expanding the search range,
The image data search method according to claim 1, wherein the search step searches for whether or not position information given to the search keyword is included in the expanded search range.
所定の記憶媒体に蓄積されている画像データから所望する画像データを検索する、請求項1に記載の画像データ検索方法において用いられる、検索キーワードと、前記検索キーワードに付与されている位置情報と、対応する画像データ名とを関連付けした前記テーブルを生成するためのデータを入力する、コンピュータが実行するデータ入力方法であって、
画像データを表示するステップと、
前記画像データ上の位置を指定する位置情報の入力を受付けるステップと、
前記位置情報の入力を受付けることによって、前記画像データの、前記位置情報で特定される位置に関連付けるキーワードを入力するための入力画面を表示するステップと、
前記入力画面において前記キーワードの入力を受付けるステップと、
前記画像データの画像データ名と、前記受付けたキーワードと、前記受付けた位置情報とを関連付け、前記テーブルに追加するステップとを備える、データ入力方法。
The search keyword used in the image data search method according to claim 1 , wherein desired image data is searched from image data stored in a predetermined storage medium, and position information given to the search keyword, A computer-executed data input method for inputting data for generating the table associated with corresponding image data names,
Displaying image data; and
Receiving input of position information for specifying a position on the image data;
Displaying an input screen for inputting a keyword associated with the position specified by the position information of the image data by receiving the input of the position information;
Receiving the keyword input on the input screen;
A data input method comprising: associating an image data name of the image data, the received keyword, and the received position information with each other and adding the information to the table.
所定の記憶媒体に蓄積されている画像データから所望する画像データを検索する、請求項1に記載の画像データ検索方法において用いられる、検索キーワードと、前記検索キーワードに付与されている位置情報と、対応する画像データ名とを関連付けした前記テーブルを生成するためのデータを入力する、コンピュータが実行するデータ入力方法であって、
画像データから文字列を抽出するステップと、
前記文字列の存在する前記画像データ上の位置を取得するステップと、
前記文字列をキーワードとして、前記画像データの画像データ名と、前記キーワードと、前記キーワードである前記文字列の前記画像データ上の位置を示す位置情報とを関連付け、前記テーブルに追加するステップとを備える、データ入力方法。
The search keyword used in the image data search method according to claim 1 , wherein desired image data is searched from image data stored in a predetermined storage medium, and position information attached to the search keyword; A computer-implemented data input method for inputting data for generating the table associated with corresponding image data names,
Extracting a character string from image data;
Obtaining a position on the image data where the character string exists;
Using the character string as a keyword, associating the image data name of the image data, the keyword, and position information indicating the position of the character string as the keyword on the image data, and adding to the table A data input method.
JP2002147990A 2002-05-22 2002-05-22 Image data search method and data input method Expired - Fee Related JP4075460B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002147990A JP4075460B2 (en) 2002-05-22 2002-05-22 Image data search method and data input method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002147990A JP4075460B2 (en) 2002-05-22 2002-05-22 Image data search method and data input method

Publications (2)

Publication Number Publication Date
JP2003345817A JP2003345817A (en) 2003-12-05
JP4075460B2 true JP4075460B2 (en) 2008-04-16

Family

ID=29766756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002147990A Expired - Fee Related JP4075460B2 (en) 2002-05-22 2002-05-22 Image data search method and data input method

Country Status (1)

Country Link
JP (1) JP4075460B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5510075B2 (en) 2010-05-28 2014-06-04 ブラザー工業株式会社 Image reading apparatus, information processing apparatus, program, and reading system

Also Published As

Publication number Publication date
JP2003345817A (en) 2003-12-05

Similar Documents

Publication Publication Date Title
JP4364914B2 (en) Image document processing apparatus, image document processing method, program, and recording medium
JP2004348591A (en) Document search method and apparatus
JPH0773190A (en) Emoji naming for pen-based computer systems
EP2806336A1 (en) Text prediction in a text input associated with an image
US20050157952A1 (en) Image retrieval apparatus and method, and image display apparatus and method thereof
JP2005182460A (en) Information processing apparatus, annotation processing method, information processing program, and recording medium storing information processing program
CN113438379B (en) Information processing devices and computer program products
JP4075460B2 (en) Image data search method and data input method
JP2005107931A (en) Image search device
JP4754849B2 (en) Document search device, document search method, and document search program
JP2007065745A (en) Document search method, document search apparatus, and program
JP3383485B2 (en) Information retrieval device
JP2002318812A (en) Similar image search device, similar image search method, and similar image search program
JP3955410B2 (en) Similar information collating device, similar information collating method, and recording medium recording similar information collating program
KR20200110880A (en) Electronic device for selecting important keywords for documents based on style attributes and operating method thereof
JP3812799B2 (en) Document set characterization method, document set search method using the method, and apparatus thereof
JP2005004727A (en) Searching apparatus, searching method and program
JP2011086113A (en) Apparatus, method and program for providing annotation
JP4936635B2 (en) Character string search device, character string search method, and program for causing computer to execute the method
JP2010181991A (en) System for instructing image retrieval and operation-control method for the same
JPH05181912A (en) Document retrieving device
JP2005157763A (en) Search device and search control method
JPH0744656A (en) Handwritten character recognition device
JP2000331027A (en) Similar document search device and similar document search method
JP2007026263A (en) Character recognition device and computer program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040423

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140208

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees