JP4826378B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、検索処理の対象となる画像データに関する情報を保持する画像処理装置、画像処理方法及びプログラムに関する。

例えばプリンタや、複写機、スキャナ、ファックス送受信装置などの、画像データの入出力を行う画像処理装置は、一般に画像データの入出力処理に対するログ情報を生成し、記録している。しかし、単に入出力処理の履歴をログ情報として記録するだけでは、後にログ情報の内容をユーザが確認しても、実際にどのような画像データが入出力されたのか、調査することができない。すなわち、例えば調査対象としたい画像が形成された紙などの記録媒体が手元にあったとしても、ユーザは入出力処理の履歴だけからでは、当該調査対象としたい画像がいつ、誰によって画像形成装置により記録媒体上に形成されたか、調査することができない。

このような問題に対して、画像の印刷に際して、ログ情報に出力画像データ自体を含めることで、後にログ情報を調査して出力画像データを確認することのできる技術がある（例えば特許文献１参照）。
特開２００３−３３０６７７号公報

しかしながら、上記従来例の技術においては、ログ情報を用いて画像データの検索を行う際の便宜について十分に配慮されていない。そのため、検索のキーとなる検索キー画像データ（例えば流出画像など）に類似する画像データを検索対象となる対象画像データの中から検索しようとする場合、検索キー画像データと全ての対象画像データとの比較を一つ一つ実行する必要があり、効率が悪い。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、検索処理の対象となる画像データに関する情報を保持して、当該画像データに対する検索処理を行う場合に、検索処理の効率を向上できる画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するための本発明に係る画像処理装置は、検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段と、前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定手段と、を含むことを特徴とする。

また、上記画像処理装置において、前記画像類否判定手段は、前記保持している画像構造情報に基づいて、前記検索キー画像データと、前記対象画像データと、のそれぞれを構成する比較対象ブロックの位置及び当該比較対象ブロックに含まれる画像の性状が類似するか否かを判定し、当該判定結果に基づいて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することとしてもよい。

また、上記画像処理装置において、前記画像類否判定手段は、前記検索キー画像データと、前記比較対象ブロックと、が類似するか否かを判定し、当該判定結果に基づいて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することとしてもよい。

また、上記画像処理装置において、前記検索キー画像データは、記録媒体上に形成された画像を画像読み取り装置が読み取って得られる画像データであって、前記画像読み取り装置が前記検索キー画像データを取得する際の読み取り設定情報を取得する手段をさらに含み、前記画像類否判定手段は、前記読み取り設定情報を用いて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することとしてもよい。さらに、前記読み取り設定情報は、読み取り時の解像度と、読み取り倍率と、の少なくとも一方を含むこととしてもよい。

また、上記画像処理装置において、前記画像類否判定手段は、前記検索キー画像データと、前記対象画像データと、の少なくとも一方に対して、平行移動、回転、拡大、又は縮小の少なくともいずれか一つの変換を実行した画像データを用いて、前記検索キー画像データと前記対象画像データとが類似するか否かを判定することとしてもよい。

また、本発明に係る画像処理方法は、コンピュータを用いて、検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持するステップと、前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定するステップと、を実行することを特徴とする。

また、本発明に係るプログラムは、検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段、及び前記保持している画像構造情報に基づいて、検索キーとなる検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定手段、としてコンピュータを機能させることを特徴とする。

以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像処理装置１は、図１に示すように、制御部１１、記憶部１２、操作部１３、表示部１４及び通信部１５を含んで構成されている。また、ここでは画像処理装置１は、通信ネットワーク２を介して画像読み取り装置３及び画像形成装置４に接続されていることとする。

なお、画像処理装置１は必ずしも画像読み取り装置３及び画像形成装置４と通信ネットワーク２を介して接続されるのでなくともよく、例えば専用のケーブル等、他の方法で接続されてもよい。あるいは、画像処理装置１は、他の画像入出力処理を行う画像処理装置と通信ネットワーク２を介して接続されることとしてもよい。さらに、画像処理装置１は、画像読み取り装置３又は画像形成装置４と一体に構成されていてもよい。この場合においては、画像読み取り装置又は画像形成装置それ自体が、読み取った画像データ又は媒体上に形成する画像データに基づいて検索用データを生成し、保持する。

制御部１１は、ＣＰＵ等であって、記憶部１２に格納されたプログラムに従って動作する。本実施形態においては、検索処理の対象となる対象画像データに関する情報を含むデータを取得して、当該対象画像データから生成した検索用データを記憶部１２に保持させる。また、保持された情報を用いて対象画像データに対する検索処理を行う。本実施の形態において制御部１１が実行する処理の例については、後述する。

記憶部１２は、制御部１１によって実行されるプログラムを保持するコンピュータで読み取り可能な情報記憶媒体であって、ＲＡＭやＲＯＭ等のメモリ素子とディスクデバイス等との少なくとも一方を含んで構成されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。さらに本実施の形態においては、記憶部１２は、検索対象となる対象画像データに基づいて生成された検索用データを保持する。記憶部１２が保持する検索用データの詳細については、後述する。

操作部１３は、例えばキーボードやマウス等であり、ユーザの指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。表示部１４は、例えばディスプレイ等であり、制御部１１からの指示に従って、情報の表示を行う。

通信部１５は、ネットワークインタフェースであって、制御部１１からの指示に従って、通信ネットワーク２を介して情報を送信する。また、通信部１５は、通信ネットワーク２を介して到来する情報を受信して制御部１１に出力する。

また、画像読み取り装置３は、紙などの記録媒体上に形成されている画像を、光学的に読み取ってスキャン画像データを生成する。画像形成装置４は、例えば通信ネットワーク２を介して到来する画像形成命令に基づいて、当該画像形成命令に含まれる画像データにより表される画像を紙などの記録媒体上に形成する。

次に、本実施形態において画像処理装置１が実現する機能について説明する。画像処理装置１は、機能的には、図２に示すように、対象画像情報取得部２１と、画像分割部２２と、画像構造情報生成部２３と、ブロック画像暗号化部２４と、検索用データ格納部２５と、ブロック画像検査部２６と、検索キー画像取得部２７と、画像構造比較部２８と、画像類否判定部２９と、を含んで構成されている。これらの機能は、例えば制御部１１が記憶部１２に格納されているプログラムを実行することによって実現できる。

まず、対象画像情報取得部２１、画像分割部２２、画像構造情報生成部２３、ブロック画像暗号化部２４及び検索用データ格納部２５が実現する機能について説明する。これらの機能により、画像処理装置１は、対象画像データに基づいて検索用データを生成して記憶部１２に保持させる対象画像情報格納処理を実行する。

対象画像情報取得部２１は、検索処理の対象となる対象画像データに関する情報を取得する。例えば対象画像情報取得部２１は、対象画像を表すラスタ形式などの画像データそのものを取得する。あるいは、対象画像データが画像形成装置４による画像形成の対象となる画像データである場合、当該対象画像データに関する情報を含む画像形成装置４に対する画像形成命令を取得することとしてもよい。ここで画像形成命令は、例えばＰＤＬ（Page Description Language）などによって記述された、対象画像データを構成する各種のオブジェクトに対する描画命令を含んだデータである。

具体例の一つとして、対象画像データが画像読み取り装置３によって得られるスキャン画像データである場合の例について説明する。この場合、まず画像読み取り装置３が、紙などの記録媒体に形成された画像を読み取る画像読み取り処理を実行して、ラスタ形式のスキャン画像データを取得する。続いて画像読み取り装置３は、取得したスキャン画像データを、当該画像読み取り処理のログ情報とともに通信ネットワーク２を介して画像処理装置１に対して送信する。対象画像情報取得部２１は、画像読み取り装置３より送信されたデータを受け取ることにより、スキャン画像データを対象画像データとして取得する。

また、対象画像データが画像形成装置４による画像形成の対象となる画像データである場合の例について説明する。この場合、画像形成装置４は、例えばユーザ端末（不図示）などから通信ネットワーク２を介して到来する画像データの情報を含んだ画像形成命令を取得する。そして、取得した画像形成命令に基づいて、画像形成の対象となる画像を記録媒体上に形成する画像形成処理を実行する。さらに画像形成装置４は、取得した画像形成命令を、当該画像形成処理のログ情報とともに通信ネットワーク２を介して画像処理装置１に対して送信する。対象画像情報取得部２１は、画像形成装置４より送信されたデータを受け取ることにより、画像形成命令を取得する。

画像分割部２２は、対象画像情報取得部２１が取得した対象画像データ又は画像形成命令に基づいて、対象画像データを、予め定めた分割基準に従って複数の比較対象ブロックに分割する。比較対象ブロックは、対象画像データを分割して得られる、対象画像の少なくとも一部を表す画像を含むブロックである。比較対象ブロックの形状及び大きさは、予め定められた固定のものでなくともよく、分割基準によって決定される。

具体的に、例えば画像分割部２２は、公知のＴ／Ｉ（Text/Image）分離処理によって対象画像データを分離することで得られる各画像要素を含む比較対象ブロックに、対象画像データを分割する。このようなＴ／Ｉ分離処理の方法としては、例えば特開２００５−１７５６４１号公報等に開示された方法を用いることができる。このＴ／Ｉ分離処理によって得られる比較対象ブロックは、文字を表す画像からなるブロック（文字ブロック）や、写真や図形、イラスト等の絵柄を表す画像からなるブロック（絵柄ブロック）などである。また、画像分割部２２は、階調特性や色数等の画像の性状に基づいて、さらに絵柄ブロックを写真画像からなる写真画像ブロックや、ペイントツール等により生成されたイラスト画像からなるイラスト画像ブロックなどに分割してもよい。

なお、例えば画像処理装置１が複写機と一体に構成されている場合、当該複写機は一般に記録媒体に形成された画像を読み取った際に、当該読み取った画像に対してＴ／Ｉ分離を行う。これは、Ｔ／Ｉ分離の結果に基づいて分離された各ブロックについてそれぞれ適した複写処理を行うためである。そこで、このように複写機が読み取って得られた対象画像データを分割する場合、画像分割部２２はこのＴ／Ｉ分離処理の結果に基づいて対象画像データを比較対象ブロックに分割することとしてもよい。

また、対象画像情報取得部２１が画像形成命令を取得している場合、画像分割部２２は、画像形成命令に含まれる各描画命令に基づいて対象画像データを比較対象ブロックに分割することとしてもよい。この場合、画像分割部２２は、描画命令によって描画される各オブジェクト、又は複数のオブジェクトを所定条件に基づいてグループ化したオブジェクトグループを単位として対象画像データを分割することにより、比較対象ブロックを得る。ここで所定条件としては、描画命令によって描画されるオブジェクトの種類（文字、図形等）や、オブジェクトの大きさ、位置などに基づく条件を用いることができる。また対象画像情報取得部２１は、一つのオブジェクトを、所定の分割基準によってさらに分割することとしてもよい。

また、対象画像情報取得部２１が対象画像データとして互いに重なり得る複数の画像要素を含む画像データを取得している場合に、画像分割部２２は、当該対象画像データを複数の画像要素をそれぞれ含む複数の比較対象ブロックに分割することとしてもよい。ここで画像要素は、対象画像データにより表される画像を構成する要素であって、例えば描画命令によって描画される対象であるオブジェクトや、性状の共通する部分画像の集合などである。具体的には、例えば背景画像と当該背景画像の中に含まれる文字等からなる画像など、対象画像データ内に互いに重なる複数の画像要素が存在する場合に、画像分割部２２は、対象画像データを複数の階層（プレーン）に分離することにより、それぞれの階層に含まれる画像を比較対象ブロックとしてもよい。この場合、各比較対象ブロックは、対象画像データ内において互いに一部又は全部が重なる位置にあってもよい。これにより、階層化された比較対象ブロックが得られる。例えば前述した画像形成命令に基づいて対象画像データを分割する例においては、画像分割部２２は、互いに重なる領域に描画される複数のオブジェクトを階層化された比較対象ブロックとして決定してもよい。

図３は、対象画像情報取得部２１が取得した対象画像データの一例を表す説明図である。この場合、一例として画像分割部２２は図３において二点鎖線で示されるような比較対象ブロックに対象画像データを分割する。ここで、図中における比較対象ブロックＢ１及びＢ４は文字ブロックであり、比較対象ブロックＢ２は写真画像ブロック、比較対象ブロックＢ３はイラスト画像ブロックである。また、比較対象ブロックＢ０は、対象画像データの全体と大きさが一致するブロックであり、背景画像のみを含んだ比較対象ブロックである。

さらに、画像分割部２２は、文字を表す画像を含む比較対象ブロックに対して、当該比較対象ブロックに含まれる文字画像により表されるテキストデータを生成してもよい。具体的に、例えば対象画像情報取得部２１が画像形成命令を取得している場合であれば、当該画像形成命令に含まれる文字オブジェクトの描画命令に基づいて、対象画像データに含まれるテキストデータを生成できる。

対象画像情報取得部２１がラスタ形式の画像データを取得している場合には、画像分割部２２は、ラスタ画像に対して公知の文字認識技術を適用することにより、比較対象ブロックに含まれる文字画像により表されるテキストデータを生成することとしてもよい。また、対象画像情報取得部２１が画像形成命令を取得している場合であっても、当該画像形成命令にビットマップフォントデータ等のラスタ形式の文字画像データが含まれる場合には、同様に文字認識技術を用いて文字画像により表されるテキストデータを生成することとしてもよい。

さらに、画像分割部２２は、対象画像情報取得部２１が対象画像データに関する情報を取得したタイミングで文字認識の処理を行ってもよい。また、テキストデータを生成する処理を予め定められた時刻に実行することとしてもよい。例えば、対象画像データに関する情報の入力が行われる頻度が比較的少ない夜間などの所定時刻に、文字認識の処理を実行することとしてもよい。これにより、画像処理装置１は比較的ＣＰＵ等のリソースを多く消費する文字認識処理を負荷の少ない時間帯に実行させることができ、コンピュータリソースを効率的に使用できる。

また、対象画像情報取得部２１が画像形成命令を取得している場合、画像分割部２２は、当該画像形成命令に含まれる描画命令に基づいて生成したテキストデータを、予め定められた所定の文字コード（例えばシフトＪＩＳコードなど）に基づくデータに変換することとしてもよい。これにより、画像処理装置１は保持するテキストデータの文字コードを所定の文字コードに統一することができ、テキストデータを検索する場合の処理効率を向上できる。

画像構造情報生成部２３は、画像分割部２２による分割処理によって得られる各比較対象ブロックについて、対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を生成する。ここで位置情報は、対象画像データ内において比較対象ブロックが占める位置を表す情報である。例えば比較対象ブロックの形状が矩形である場合、位置情報は、各比較対象ブロックの対象画像データ内における左上の位置を示す位置座標及び各比較対象ブロックの大きさを示す幅及び高さの値であってもよい。また、比較対象ブロックの形状が多角形である場合、位置情報は当該多角形の各頂点の位置座標であってもよい。

また、性状情報は、各比較対象ブロックに含まれる画像の性状を表す情報であって、例えば当該比較対象ブロックに含まれる画像が背景、文字、写真、イラスト等のいずれを表す画像であるかを識別するための情報である。この場合、画像構造情報生成部２３は、例えばＴ／Ｉ分離処理の結果や画像形成命令に含まれる描画命令の種別に基づいて、性状情報を決定できる。また、画像構造情報生成部２３は、各比較対象ブロックに含まれる画像の色数、エッジ量等の画像特徴量を性状情報として取得してもよい。

また、前述したように複数の比較対象ブロックが互いに重なって階層化されている場合、画像構造情報生成部２３は、これらの比較対象ブロックのうち、いずれが上位（手前）の層であるかを識別するための階層情報をさらに各比較対象ブロックの位置情報及び性状情報に関連づけて画像構造情報を生成することとしてもよい。例えば階層情報は、最下位の層（背景画像ブロックなど）を０として、それより上位にある層に順に番号が付された順位情報であってもよい。また、自分自身より上位（又は下位）にある比較対象ブロックを指し示すポインタ情報であってもよい。この場合、画像処理装置１はポインタ情報を順にたどることによって、各比較対象ブロック間の階層関係を知ることができる。

具体的に、画像構造情報生成部２３が生成する画像構造情報は、例えば図４に示すテーブルによって表されるような情報である。図４においては、各比較対象ブロックは矩形領域であることとしており、各比較対象ブロックの位置及び大きさを示す値に、性状情報及び階層情報が対応づけられている。

ブロック画像暗号化部２４は、比較対象ブロックの画像データを暗号化する。暗号化アルゴリズムとしては、種々の方法を用いることができる。ここで、ブロック画像暗号化部２４は全ての比較対象ブロックを暗号化処理の対象とするとは限らず、所定の条件を満たす比較対象ブロックのみを暗号化することとしてもよい。具体的には、例えば文字ブロックを暗号化の対象とすることとしてもよい。また、後述するブロック画像検査部２６による画像検査処理の結果に基づいて、各比較対象ブロックを暗号化するか否か判定することとしてもよい。

さらに、ブロック画像暗号化部２４は、前述したように文字画像を含んだ比較対象ブロックについてテキストデータが取得されている場合には、当該テキストデータを暗号化することとしてもよい。

また、ブロック画像暗号化部２４は、所定の条件に応じて比較対象ブロック又はテキストデータの暗号化処理を実行した場合には、当該暗号化処理の実行をユーザに通知するために、所定の通知処理を実行することとしてもよい。具体的には、例えば暗号化処理を実行した旨を通知する電子メールを、所定の宛先に対して送信することとする。またこの場合において、当該暗号化処理を必要とした対象画像データの画像読み取り処理を画像読み取り装置３に実行させたユーザ、又は画像形成処理を画像形成装置４に実行させたユーザなどの情報や、これらの画像入出力処理が実行された日時、画像入出力処理が実行された装置の装置ＩＤなどの情報を、電子メールにより送信される情報に含めることとしてもよい。ブロック画像暗号化部２４は、対象画像情報取得部２１が対象画像データに関する情報とともに取得したログ情報に基づいて、これらの情報を取得できる。

また、ブロック画像暗号化部２４が実行する暗号化処理において用いられる暗号化キー及び／又は復号化キーは、所定の管理者権限を持つユーザのみが知りうる状態で管理されることが好ましい。また、画像処理装置１は予め所定のキー情報を設定しておき、ユーザが当該キー情報を入力した場合に限り、暗号化されたデータの復号化を実行することとしてもよい。この場合において、画像処理装置１は、キー情報を入力するユーザとして、暗号化処理を実行する条件を設定したユーザ（例えば後述する検査用画像を画像処理装置１に対して登録したユーザなど）とは異なる少なくとも一人のユーザからの入力を要求することとしてもよい。これにより、保護すべき情報をより安全に管理できる。

このようにブロック画像暗号化部２４が比較対象ブロックに含まれる画像データやテキストデータを暗号化することにより、不正に画像処理装置１にアクセスした第三者に蓄積している画像データに関する情報を読み取られることを防ぐことができる。なお、ブロック画像暗号化部２４により比較対象ブロックの画像データ又はテキストデータを暗号化する処理は、必須のものではない。この場合、ブロック画像暗号化部２４はなくともよい。

検索用データ格納部２５は、画像構造情報生成部２３が生成した画像構造情報を含む検索用データを、記憶部１２に格納することにより、保持させる。なお、ここで検索用データ格納部２５は、各比較対象ブロックの画像データを、画像構造情報内における当該比較対象ブロックに関する情報（位置情報及び性状情報）と関連づけて検索用データとして記憶部１２に保持させることとしてもよい。また、各比較対象ブロックに文字画像が含まれている場合には、これらの文字画像によって表される文字からなるテキストデータを、当該比較対象ブロックに関する情報と関連づけて検索用データとして記憶部１２に保持させることとしてもよい。さらに、これらの画像データやテキストデータがブロック画像暗号化部２４によって暗号化されている場合には、暗号化された各データを各比較対象ブロックに関する情報と関連づけて検索用データとして記憶部１２に格納することとする。

また、検索用データ格納部２５は、これらの対象画像データに基づいて生成された検索用データを、画像読み取り装置３による画像読み取り処理のログ情報や、画像形成装置４による画像形成装置のログ情報などの、当該対象画像データに対する画像入出力処理のログ情報と関連づけて格納することとしてもよい。

さらに検索用データ格納部２５は、これらの情報を予め定められた所定のデータ形式に変換して、変換されたデータを検索用データとして記憶部１２に格納することとしてもよい。具体例として、検索用データ格納部２５は、対象画像データに係る画像構造情報や画像入出力処理のログ情報などを例えばＸＭＬ文書形式などの構造文書に変換して格納する。これにより、格納した検索用データを外部から検索する場合に、データを利用しやすくすることができ、利便性を向上できる。

以上説明した機能によって、画像処理装置１は取得した対象画像データを分割して得られる各比較対象ブロックについて、これらの比較対象ブロックの位置情報、性状情報、当該比較対象ブロックに含まれる画像、また当該比較対象ブロックが文字画像を含む場合にはテキストデータ、などの情報を、関連づけて検索用データとして記憶部１２に保持することができる。画像処理装置１は、この検索用データを用いて対象画像データに対する検索処理を行う。このように比較対象ブロックの位置情報及び性状情報を含んだ画像構造情報を検索用データに含めることで、後に画像処理装置１は画像構造情報に基づいて画像の構造が類似するか否かをまず判定することができ、画像の内容が類似するか否かを全ての対象画像データについて判定する場合に比較して、検索処理の効率を向上できる。

次に、ブロック画像検査部２６が実現する画像検査処理について説明する。

ブロック画像検査部２６は、画像分割部２２による分割処理によって得られる各比較対象ブロックに含まれる画像が、所定の検査用画像と類似するか否かを判定する。この判定結果に基づいて、画像処理装置１は種々の所定処理を実行する。これにより、ブロック画像検査部２６は、検索用データに追加しようとする対象画像データが所定の検査条件を満たすか否かを、比較対象ブロックを用いて判定して、その結果に応じた処理を実行させることができる。このように比較対象ブロックと検査用画像を比較することで、画像処理装置１は、対象画像データ全体から検査用画像に類似する部分を検出する場合に比べて、検査用画像に類似する画像を含む対象画像データを効率よく検出できる。

具体例として、画像処理装置１は、ユーザによる登録指示に基づいて、例えば禁複写のマークを表す画像や、ログマークを表す画像などを検査用画像として保持するものとする。この検査用画像は、複数あってもよい。そして、ブロック画像検査部２６は、比較対象ブロックに含まれる画像と検査用画像とを比較して、互いに類似するか否かを判定する。ここでブロック画像検査部２６は、公知の類似画像判定技術を用いて判定を行うことができる。一例として、ブロック画像検査部２６は、それぞれの画像に対する所定の特徴量を抽出し、抽出された特徴量の差に基づいて画像の類否判定を行う。この場合において、検査用画像との比較を行う比較対象ブロックは全ての比較対象ブロックであってもよいし、所定の条件を満たす比較対象ブロックだけであってもよい。すなわち、ブロック画像検査部２６は、所定の大きさの比較対象ブロックや、対象画像データの中で所定の領域内に位置する比較対象ブロック、あるいは文字ブロック等所定の性状を持つ比較対象ブロックのみを、検査用画像と比較することとしてもよい。

また、ブロック画像検査部２６は、比較対象ブロックに含まれる文字画像により表されるテキストデータの中に、予め保持された所定の検査用文字列が含まれるか否かを判定することとしてもよい。この場合、ブロック画像検査部２６が所定の検査用文字列が含まれるテキストデータを検出することにより、画像処理装置１は所定処理を実行する。

このようにブロック画像検査部２６が比較対象ブロックに含まれる画像又はテキストデータを検査用画像や検査用文字列と比較することにより、画像処理装置１は、所定のマークや文字列等を含む画像を容易に検出することができる。なお、ブロック画像検査部２６による画像検査処理は、必須のものではない。この場合、ブロック画像検査部２６はなくともよい。

ここで、ブロック画像検査部２６が所定処理の実行条件を満たすと判定した場合に、画像処理装置１が実行する所定処理の例について、説明する。例えば画像処理装置１は、ブロック画像検査部２６による検査用画像と類似する比較対象ブロックの検出に応じて、所定の警告情報を出力する。具体的には、例えば条件を満たす比較対象ブロックを検出したことを表す情報を通知する電子メールを、所定の宛先に対して送信することとする。また、警告灯やスピーカなどの警告情報出力装置（不図示）に対して警告情報を出力することにより、警告灯を点灯させたり、スピーカに警告音を鳴動させたりすることとしてもよい。

あるいは、画像処理装置１は、条件を満たす比較対象ブロックを検出した場合に、検出した旨の情報を画像読み取り装置３や画像形成装置４に対して出力することにより、これらの装置による当該比較対象ブロックを含む対象画像データに対する画像入出力処理の実行を制限することとしてもよい。これにより、画像処理装置１は、画像読み取り装置３や画像形成装置４による所定の検査用画像に類似した画像を含む対象画像データの複写や画像形成等の画像入出力処理を制限することができる。

また、画像処理装置１は、条件を満たす比較対象ブロックを検出した場合に、当該比較対象ブロックを含む対象画像データに類似する画像データの検索処理を実行することとしてもよい。この場合、条件を満たすと判定した比較対象ブロックを含む対象画像データを、後述する検索キー画像取得部２７が検索処理における検索キー画像データとして取得する。そして、当該取得した検索キー画像データに基づいて、後述する検索処理を実行する。これにより、例えば検査条件に該当する画像データの画像形成等が行われようとした場合に、過去にこれと類似する画像データの入出力処理が行われたか否かを検索することができる。

また、ブロック画像検査部２６による検査の結果に応じて、検索用データ格納部２５が記憶部１２に格納する検索用データに、比較対象ブロックが所定の検査用画像に類似する画像であることを示す情報を含めることとしてもよい。あるいは、比較対象ブロックに所定の検査用文字列を表す文字画像が含まれることを示す情報を含めることとしてもよい。これにより、所定の検査用画像に類似する画像を含む対象画像データや、所定の検査用文字列を含む対象画像データを後に検索したい場合に、検索処理の効率を向上することができる。

ここで、画像読み取り装置３において画像読み取り処理が実行された場合に、画像処理装置１が実行する対象画像情報格納処理及び画像検査処理のフローの一例について、図５のフロー図に基づいて説明する。

まず、対象画像情報取得部２１が、画像読み取り装置３が送信する送信データを受け入れることにより、当該送信データに含まれるスキャン画像データを対象画像データとして取得する（Ｓ１）。そして、画像分割部２２が、Ｓ１で取得した対象画像データを予め定めた分割基準に従って比較対象ブロックに分割する（Ｓ２）。

続いて、このフローの例においては、ブロック画像検査部２６が、Ｓ２の分割処理によって得られた各比較対象ブロックが、所定の検査用画像と類似するか否かを判定する（Ｓ３）。この判定の結果、検査用画像と類似する比較対象ブロックがあると判定した場合、画像処理装置１は警告情報の出力を行う（Ｓ４）。

さらにこの場合、判定の結果に関わらず、画像処理装置１は対象画像情報格納処理を継続することとする。すなわち、画像構造情報生成部２３が、Ｓ２の分割処理の結果に基づいて、各比較対象ブロックに対する位置情報と性状情報とを関連づけた画像構造情報を生成する（Ｓ５）。また、ブロック画像暗号化部２４が、Ｓ２の分割処理の結果得られた比較対象ブロックに対して、暗号化処理を行う（Ｓ６）。

さらに、検索用データ格納部２５は、Ｓ５で生成された画像構造情報、Ｓ６で得られた暗号化された比較対象ブロックの画像データ、及びＳ１において対象画像データとともに画像読み取り装置３より受け入れた画像読み取り処理のログ情報を、関連づけて構造文書化を行う（Ｓ７）。そして、Ｓ７で生成した構造文書を、検索用データとして、記憶部１２に格納する（Ｓ８）。

これらの処理により、画像処理装置１は、画像読み取り装置３において画像読み取り処理が実行された場合に、当該画像読み取り処理に係る対象画像データに関する情報を、検索時の効率を向上できるような形式で保持することができる。なお、以上のフローは例示であって、例えば対象画像情報格納処理の順序等は異なるものであってもよい。また、一部の処理は、所定の時刻になった際に実行することとしてもよい。また、画像処理装置１は、例えば画像形成装置４において画像形成処理が実行される場合などにおいて、同様にして対象画像情報格納処理を実行することができる。

次に、検索キー画像取得部２７、画像構造比較部２８、及び画像類否判定部２９が実現する機能について説明する。これらの機能により、画像処理装置１は対象画像データに対する検索処理を実行する。ここで検索処理は、画像処理装置１が保持する画像構造情報を含む検索用データに基づいて、検索の際のキーとなる検索キー画像データと、画像処理装置１による検索の対象となる対象画像データと、が類似するか否かを判定することで、対象画像データの中から検索キー画像データと類似する画像データを検索する処理である。

検索キー画像取得部２７は、検索キー画像データに関する情報を取得する。具体的に、例えば検索キー画像取得部２７は、対象画像情報取得部２１が対象画像データを取得したのと同様の方法により、検索キー画像データを取得する。一例として、不正に流出したと思われる画像が形成された記録媒体を入手した場合、ユーザは画像読み取り装置３に対して、検索キー画像であることを指定して、当該記録媒体に形成された画像を読み取らせる。これにより、画像読み取り装置３は、読み取って得られたスキャン画像データを、検索キー画像である旨の情報とともに画像処理装置１に対して送信する。この送信されたデータを受け入れることにより、検索キー画像取得部２７は検索キー画像データを取得できる。

画像構造比較部２８は、検索キー画像取得部２７が取得した検索キー画像データと、記憶部１２に保持されている検索用データに含まれる画像構造情報と、に基づいて、検索キー画像データと、対象画像データと、の間で画像の構造が類似するか否かを判定する画像構造比較処理を行う。具体的に、画像構造比較部２８は、検索キー画像データと対象画像データとのそれぞれを構成する比較対象ブロックの位置及び当該比較対象ブロックに含まれる画像の性状が、類似するか否かを判定する。

画像構造比較部２８が実行する画像構造比較処理の例について、以下説明する。画像構造比較部２８は、まず画像分割部２２が対象画像データに対して実行した処理と同様にして、検索キー画像データを複数の比較対象ブロックに分割する。そして、検索用データに含まれる画像構造情報を参照して、それぞれの画像データに含まれる各比較対象ブロックの位置、及び各比較対象ブロックに含まれる画像の性状が、所定の範囲内で一致するか否かを判定する。例えば、画像の性状が一致する比較対象ブロックの位置が、二つの画像データ間で所定の値以下のずれしかない場合には、二つの画像データの構造が類似すると判定する。また、二つの比較対象ブロックの性状情報が一致しない場合であっても、例えば写真画像ブロックとイラスト画像ブロックとは類似すると判定するなど、所定の条件を満たす場合には性状情報の異なる比較対象ブロック同士が類似すると判定してもよい。

さらに、画像構造比較部２８は、二つの画像データに含まれる比較対象ブロックの数が一致しない場合であっても、所定の条件を満たす場合には両者の構造が類似すると判定することとしてもよい。例えば対象画像データが記録媒体上に形成された後、さらに手書きの文字が書き込まれた場合など、画像読み取り装置３が読み取って得られる検索キー画像データは対象画像データに含まれるものより多くの比較対象ブロック（この場合は、書き込まれた文字からなる文字ブロック）を含む場合がある。しかしながら、このような場合でも、画像全体は類似すると判定したい場合があり得る。そこで、例えば対象画像データと検索キー画像データとの間で一致しない比較対象ブロックが所定の条件を満たす場合、このような比較対象ブロックの有無に関わらず二つの画像データの構造は類似すると判定する。この場合の所定の条件としては、例えば所定の性状情報を持つ、画像データ全体の大きさに対する比較対象ブロックの大きさが所定の値以下である、などの条件を用いることができる。

以上説明した処理により、画像構造比較部２８は、実際に画像の内容による類否判定を行う前に、画像の全体構造が類似するか否かを判定することで、検索キー画像データと類似する可能性のある対象画像データを、類似候補画像データとして抽出することができる。これにより、画像処理装置１は、全ての対象画像データに対して画像の内容が検索キー画像データと類似するか否かの判定を行う場合に比較して、検索処理の際の演算量を低減することができ、検索処理の効率を向上できる。さらに、比較対象ブロックの一部又は全部がブロック画像暗号化部２４により暗号化されている場合であっても、画像構造情報に基づいて画像の構造が類似するか否かをまず判定することができる。これにより、画像処理装置１は、暗号化された画像データを一つ一つ復号化して画像の類否判定を行う場合に比較して、検索処理の効率を向上できる。

また、画像構造比較部２８は、類似候補画像データを絞り込む際に、所定の検査用画像に類似する画像を含むか否かを検索条件として用いることとしてもよい。あるいは、所定の検査用文字列を表す文字画像を含むか否かを検索条件として用いてもよい。画像構造比較部２８は、これらの条件を例えば操作部１３に対するユーザの指示操作により取得する。そして、ブロック画像検査部２６による画像検査処理の結果に応じて検索用データ格納部２５が検索用データに含めた情報を用いて、検査用画像に類似する比較対象ブロックを含む対象画像データや、検査用文字列を含むテキストデータを含む対象画像データを、類似候補画像データとして抽出する。これらの条件を組み合わせることで、画像処理装置１は、検索処理の効率を悪化させずに、所定の情報を含む画像データを検索することができる。

画像類否判定部２９は、画像構造比較部２８による画像の構造に関する類否判定の結果に基づいて、さらに検索キー画像データと、対象画像データとが類似するか否か判定する画像類否判定処理を行う。具体的には、画像構造比較部２８により画像の構造が類似すると判定された類似候補画像データについて、当該対象画像データから得られた各比較対象ブロックと、検索キー画像データから得られた各比較対象ブロックと、にそれぞれ含まれる画像同士が類似するか否かを判定する。この場合において、比較対象ブロックがブロック画像暗号化部２４により暗号化されている場合には、暗号化された比較対象ブロックを復号化して比較を行う。また画像類否判定部２９は、ブロック画像検査部２６が比較対象ブロックに含まれる画像と検査用画像とが類似するか否か判定した際に用いた類似画像判定技術と同様に技術を用いて、画像の類否判定を行うことができる。これにより、画像類否判定部２９は全体として対象画像データと検索キー画像データとが類似するか否かを判定する。

画像類否判定部２９は、判定の結果得られた検索キー画像データと類似する対象画像データの情報を、例えば表示部１４に表示させることで、ユーザに提示する。この場合において、画像類否判定部２９は、画像分割部２２によって分割された各比較対象ブロックに含まれる画像データを合成することにより、検索用データに含まれる情報から元の対象画像データを再生成して、表示部１４に表示させてもよい。あるいは、所定の宛先に対して、電子メールにより検索処理の結果得られた対象画像データの情報を送信することとしてもよい。特にユーザの操作部１３に対する指示操作などではなく、前述したようにブロック画像検査部２６が所定の条件に合致する対象画像データを検知したことに応じて検索処理を実行した場合、このように電子メールを用いて検索処理の結果を通知することにより、管理者等のユーザに見落とされないように、処理結果を提示することができる。

また、この検索処理の結果を出力する際に、画像類否判定部２９は、検索キー画像データに類似すると判定した対象画像データに対応づけられたログ情報を、併せて出力することとしてもよい。すなわち、検索処理の結果得られた対象画像データを、画像読み取り装置３により読み取らせたユーザや画像形成装置４に形成させたユーザの情報、これらの画像入出力処理が実行された日時、実行された装置の装置ＩＤ、などの情報を、対象画像データに関する情報とともに出力する。これにより、検索処理を画像処理装置１に実行させたユーザは、検索キー画像データに類似する画像データがいつ誰によって入出力されたか、追跡調査を行うことができる。

また、画像処理装置１は、検索キー画像データとして、対象画像データの一部分からなる部分画像を用いて検索処理を行うこととしてもよい。例えば不正に流出した画像が、対象画像データの限られた一部分だけであった場合、流出した画像と全体が類似する画像を検索しようとしても、流出した画像の元になった対象画像データを検知することはできない。この場合、画像類否判定部２９が、検索キー画像データと比較対象ブロックとが類似するか否かを判定する。これにより、対象画像データの一部が検索キー画像データと類似するような対象画像データを検索することができる。なお、この場合において、検索キー画像データが元の対象画像データのうちどの範囲を占めるかが分かっている場合、画像処理装置１は、検索用データに含まれる画像構造情報を用いて、効率的に対象画像データの検索を行うことができる。すなわち、まず画像構造比較部２８が、検索キー画像データが占める対象画像データ内の位置及び大きさに基づいて、これと所定のずれ量の範囲内で位置及び大きさが一致する比較対象ブロックを含んだ対象画像データを、類似候補画像データとして取得する。この処理において、画像構造比較部２８は、画像構造情報を用いることによって、画像データの内容の比較を行うことなく、類似候補画像データを取得できる。さらに画像類否判定部２９が類似候補画像データの中から比較対象ブロックが検索キー画像データと類似する対象画像データを抽出することにより、効率的に一部が検索キー画像データと類似する対象画像データを検索できる。

また、画像構造比較部２８及び画像類否判定部２９は、画像読み取り装置３が記録媒体上に形成された画像を読み取って検索キー画像データを取得する際の読み取り設定情報を取得し、当該読み取り設定情報を用いて検索キー画像データと対象画像データとの間の類否判定を行うこととしてもよい。例えば画像処理装置１は、読み取り設定情報として、読み取り時の解像度と、読み取り倍率と、の少なくとも一方を含む情報を取得する。これらの情報は、画像読み取り装置３により、検索キー画像データの情報とともに画像処理装置１に対して送信される。画像構造比較部２８及び画像類否判定部２９は、この読み取り設定情報を取得し、当該読み取り設定情報の内容に基づいて、画像の構造若しくは画像の内容の類否判定基準を変更する。すなわち、例えば元の画像に対して画像読み取り時に拡大や縮小がなされた場合、検索キー画像データの画像サイズから読み取り倍率に応じて元の画像サイズを算出し、当該算出された画像サイズに応じて画像の構造などの類否判定を行う。これにより、画像処理装置１は、検索キー画像データを取得する際の画像読み取り処理の内容に応じた検索処理を行うことができる。

また、画像構造比較部２８及び画像類否判定部２９による検索処理の結果、検索キー画像データに類似する対象画像データを検索できなかった場合、また検索結果にユーザの探している画像データが含まれていなかった場合などにおいては、画像処理装置１は、条件を変更して再度検索を行うこととしてもよい。すなわち、検索キー画像データと、対象画像データと、の少なくとも一方に対して、平行移動、回転、拡大、又は縮小の少なくともいずれか一つの画像変換処理を実行し、当該画像変換処理のなされた画像データを用いて、検索キー画像データと対象画像データとが類似するか否かを判定する。これにより、例えば検索のキーとなる画像を画像読み取り装置３に読み取らせる際にずれが生じて、対象画像データと検索キー画像データがそのままでは類似しなくなってしまうような場合であっても、このようなずれの影響を除いて対象画像データを検索することができる。

さらに、画像処理装置１は、検索キー画像データに代えて、例えばユーザの操作部１３に対する指示操作によって検索のキーとなる文字列（検索キー文字列）を取得し、当該検索キー文字列を含む対象画像データを検索することとしてもよい。この場合、検索用データ格納部２５が各比較対象ブロックに関連づけて格納したテキストデータの中から、検索キー文字列を含むテキストデータを検索する。そして、当該検索したテキストデータに関連づけられた比較対象ブロックを含む対象画像データを、検索処理の結果として出力する。

なお、本発明の実施の形態に係る画像処理装置は、以上説明したようなものに限られない。例えば画像処理装置１は、検索用データを生成して保持する対象画像情報格納処理を実行する画像情報記憶装置と、当該画像情報記憶装置が保持する検索用データを用いて検索処理を実行する画像検索装置と、に分かれていてもよい。また、画像処理装置１は、検索処理の対象となる対象画像データとして、画像読み取り装置３によって読み取られた画像データや、画像形成装置４によって形成された画像データに限らず、種々の画像入出力装置による処理の対象となった画像データを用いることができる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置の機能の一例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置による処理の対象となる対象画像データの一例を表す説明図である。 本発明の実施の形態に係る画像処理装置が生成する画像構造情報の一例を表す説明図である。 本発明の実施の形態に係る画像処理装置によって実行される処理の一例を示すフロー図である。

符号の説明

１ 画像処理装置、２ 通信ネットワーク、３ 画像読み取り装置、４ 画像形成装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 通信部、２１ 対象画像情報取得部、２２ 画像分割部、２３ 画像構造情報生成部、２４ ブロック画像暗号化部、２５ 検索用データ格納部、２６ ブロック画像検査部、２７ 検索キー画像取得部、２８ 画像構造比較部、２９ 画像類否判定部。

Claims (5)

1. 記録媒体上に形成された画像を画像読み取り装置が読み取って得られる画像データである検索キー画像データを前記画像読み取り装置が取得する際の解像度と倍率とのうちの少なくとも一方を含む読み取り設定情報、を取得する設定情報取得手段と、
   検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段、に保持される画像構造情報と、前記設定情報取得手段により取得される読み取り設定情報と、に基づいて、検索キーとなる前記検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定手段と、
   を含み、
   前記画像類否判定手段は、
   前記検索キー画像データと前記対象画像データとが類似していないと判定した場合、平行移動又は回転された前記検索キー画像データと平行移動又は回転された前記対象画像データとが類似するか否か、前記検索キー画像データと平行移動又は回転された前記対象画像データとが類似するか否か、又は、平行移動又は回転された前記検索キー画像データと前記対象画像データとの類似するか否か、を再判定する、
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像類否判定手段は、前記保持している画像構造情報に基づいて、前記検索キー画像データと、前記対象画像データと、のそれぞれを構成する比較対象ブロックの位置及び当該比較対象ブロックに含まれる画像の性状が類似するか否かを、前記設定情報取得手段により取得される読み取り設定情報に応じた類否判定基準に従って判定し、当該判定結果に基づいて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記画像類否判定手段は、前記検索キー画像データに含まれる画像と、前記比較対象ブロックに含まれる画像と、が類似するか否かを判定する手段を含み、当該判定結果に基づいて前記検索キー画像データと前記対象画像データとが類似するか否かを判定することを特徴とする画像処理装置。
4. 画像処理装置が、記録媒体上に形成された画像を画像読み取り装置が読み取って得られる画像データである検索キー画像データを前記画像読み取り装置が取得する際の解像度と倍率とのうちの少なくとも一方を含む読み取り設定情報、を取得する設定情報取得ステップと、
   前記画像処理装置が、検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段、に保持される画像構造情報を読み出し、読み出した画像構造情報と、前記設定情報取得ステップで取得した読み取り設定情報と、に基づいて、検索キーとなる前記検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定ステップと、
   前記画像処理装置が、前記画像類否判定ステップで前記検索キー画像データと前記対象画像データとが類似していないと判定した場合に、平行移動又は回転された前記検索キー画像データと平行移動又は回転された前記対象画像データとが類似するか否か、前記検索キー画像データと平行移動又は回転された前記対象画像データとが類似するか否か、又は、平行移動又は回転された前記検索キー画像データと前記対象画像データとが類似するか否か、を再判定するステップと、
   を含むことを特徴とする画像処理方法。
5. 記録媒体上に形成された画像を画像読み取り装置が読み取って得られる画像データである検索キー画像データを前記画像読み取り装置が取得する際の解像度と倍率とのうちの少なくとも一方を含む読み取り設定情報、を取得する設定情報取得手段、
   検索処理の対象となる対象画像データを予め定めた分割基準に従って分割して得られる複数の比較対象ブロックのそれぞれについて、前記対象画像データ内の位置を表す位置情報と、当該比較対象ブロックに含まれる画像の性状を表す性状情報とを関連づけた画像構造情報を保持する画像構造情報保持手段、に保持される画像構造情報と、前記設定情報取得手段により取得される読み取り設定情報と、に基づいて、検索キーとなる前記検索キー画像データと、前記対象画像データと、が類似するか否かを判定する画像類否判定手段、
   としてコンピュータを機能させるためのプログラムであって、
   前記画像類否判定手段は、
   前記検索キー画像データと前記対象画像データとが類似していないと判定した場合、平行移動又は回転された前記検索キー画像データと平行移動又は回転された前記対象画像データとが類似するか否か、前記検索キー画像データと平行移動又は回転された前記対象画像データとが類似するか否か、又は、平行移動又は回転された前記検索キー画像データと前記対象画像データとが類似するか否か、を再判定する、
   ことを特徴とするプログラム。
   

Images