JP5063422B2 - 画像処理装置、画像処理方法、コンピュータプログラム - Google Patents

Description

本発明は、原稿画像から抽出した複数のオブジェクトをユーザが再利用しやすくなるように、オブジェクトの検索性や操作性を向上させるためのものである。

近年の複写機は、内部画像処理のデジタル化によって、目覚しいスピードで多機能化が進んでいる。例えば、原稿を複写するコピー機能や、ホストコンピュータで作成した文書のプリントが可能なＰＤＬプリント機能や、スキャンした原稿を、ネットワークを介して複写機外部に送信するＳＥＮＤ機能などがある。更に、コピー時やＰＤＬプリント時に生成される原稿画像を複写機内部のハードディスクに保存して再利用を可能とするＢＯＸ機能（ストレージ機能）や、ＢＯＸ機能によって複写機内部に保存した原稿画像を利用して合成や製本などの編集を行う編集機能などもある。このように、数え切れないほどの機能を有している。

一方で、画像の品質に対する要求も高く、原稿の高い再現性を求めるあまり、複写機内部の画像処理解像度は６００ｄｐｉから１２００ｄｐｉ、２４００ｄｐｉへと増加している。また、信号のビット数も８ｂｉｔから１０ｂｉｔ、１２ｂｉｔへと増加の一途を辿っている。このように膨れ上がった情報量を持つ内部処理用のビットマップデータを処理するために、メモリやストレージの追加、高性能なＣＰＵへの置き換えなどが必要になり、機器や開発のコストの増加が無視できない状況になっている。

こうした中で、読み取った原稿をオブジェクト単位に分離した状態で再利用しやすいように保存しておく技術が考えられている。特許文献１では、文書中にある写真や図表等の文書要素に分離して登録しておき、この文書要素を検索して表示できるようにしている。また、特許文献２では、原稿内の部品ごとにベクトルデータに変換し、部品ごとに適したファイル形式のファイルを作成することが記載されている。

また一方、データベースに登録されている画像などのデータを見やすく一覧表示することも考えられている。例えば、特許文献３では、データベースに登録されているカードデータに対して、小サイズと大サイズの縮小イメージを作成しておき、場合に応じて表示を切り替えたり、カード間でリンクを張ったりすることが記載されている。また、特許文献４では、表示する画像の数を指定することができ、元画像のサイズに関わらず、表示領域のサイズに応じた大きさに拡大縮小して表示することが記載されている。
特開平０６−１６２１０４号公報 特開２００６−１４６４８６号公報 特開平０５−２５７７８８号公報 特開２０００−０４０１４２号公報

一方、分離されたオブジェクト（文書要素）を再利用する際は、複数の異なるオブジェクトを組み合わせて用いて新たな文書を作成することが多くなると考えられる。また、再利用の際、同じ組み合わせでオブジェクトを再利用する機会も多くなると考えられる。一方、特許文献１〜４の技術では、そのような特徴については考慮していなかった。

本発明は、ユーザが再利用するオブジェクトを容易に見つけることができ、再利用しやすい環境を提供できるようにすることを目的の１つとする。

本発明の画像処理装置は、通常の検索が指示された場合、検索キーワードに一致するキーワードが付加されているオブジェクトを検索する検索手段と、ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段と、前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段と、前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトを新たなグループとし、当該グループに含まれる前記複数のオブジェクトを検索する際に用いたキーワードをグループキーワードとして、該新たなグループを識別するためのグループ識別子とともに、該新たなグループに含まれる前記複数のオブジェクトそれぞれに関連付けて保存する保存手段と、を備える画像処理装置であって、前記検索手段は、グループ検索が指示された場合、前記保存手段で保存された前記グループキーワードと前記識別子とに基づいて、検索キーワードに一致する前記グループキーワードが関連付けられている各オブジェクトを検索し、当該検索された各オブジェクトをグループ別に並べて表示することを特徴とする。

本発明によれば、各オブジェクトに対してキーワードとともに、再利用した際のグループ情報を関連付けて記憶しておくことにより、オブジェクトに関連するグループの検索が可能となる。過去に使用された組み合わせは、その後に同じ組み合わせや似たような組み合わせで再利用されることが多いと考えられるので、オブジェクトの検索性・操作性があがり、再利用しやすくなる。

また、単なるキーワード検索だけでは見つけることができなかった有用なオブジェクトを簡単に見つけられる可能性が高くなる。

（実施形態１）
図１は本発明の実施形態１の画像処理システム１０の構成例を示すブロック図である。なお、図１の構成は一例であり、これに限るものではない。

この画像処理システムは、インターネット等のネットワーク１０４とプロキシサーバ１０３を介して、オフィス内のＬＡＮ１０７と接続されている。また、ＬＡＮ１０７には、複数種類の機能（複写機能、印刷機能、送信機能等）を有する複合機（ＭＦＰ）１００、ＭＦＰ１００と通信可能なクライアントＰＣ１０２、データベース１０５、及びプロキシサーバ１０３などが接続されている。

また、クライアントＰＣ１０２の各種端末は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ディスプレイ、キーボード、マウス等）で構成されているものとする。

図２は本発明の実施形態１のＭＦＰ１００の詳細構成を示すブロック図である。画像読取部２０１は、オートドキュメントフィーダ（ＡＤＦ）を備えたスキャナであり、複数枚あるいは１枚からなる原稿画像を読み取り、所定解像度（６００ｄｐｉ等）のビットマップデータとして得る。

また、印刷部２０３は、画像読取信号に対応する画像を記録媒体に印刷する複写機能を有し、原稿画像を１つ複写する場合には、画像読取信号をデータ処理部２０６で画像処理して記録信号を生成させ、これを記録媒体上に印刷させる。一方、１枚の原稿画像から複数枚複写する場合には、記憶部２０２に１ページ分の記録信号を一時記憶させ、これを印刷部２０３に複数回出力して記録媒体上に印刷させる。

ネットワークＩ／Ｆ２０５は、画像読取部２０１から得たビットマップデータを後述する処理によってオブジェクトデータに変換してデータベース１０５に送信する際に利用される。また、ネットワークＩ／Ｆ２０５は、データベース１０５に保存されているオブジェクトデータを再利用のため受信する際や、ＸＰＳやＰＤＦ等のベクトルデータファイル形式の画像ファイルに変換してクライアントＰＣ１０２へ送信する際などにも利用される。

また、データ処理装置２０６は、クライアントＰＣ１０２からの印刷データをネットワークＩ／Ｆ２０５経由で受信し、当該受信した印刷データを印刷部２０３で印刷可能な記録信号に変換する。そして、印刷部２０３は、当該記録信号に基づいて印刷媒体上に画像を形成する。

入力部２０４は、操作者からの指示を入力するためのインターフェースで、ここから入力された指示に基づいて、制御部は各種処理を実行するように制御する。また、これらの動作はデータ処理部２０６内の制御部（不図示のＣＰＵ等）によって制御される。また、ユーザの操作入力が行われる際の状態表示や、画像検索時や編集処理時などの画像データの表示は、表示部２０７で行われる。

また、記憶部２０２は、後述する処理によって得られるオブジェクトデータを記憶するハードディスクや、データ処理部において各種画像処理を実行する際に利用される画像処理用バッファメモリなどから構成される。また、そのオブジェクトデータに基づく画像編集を行う場合に用いる画像編集用バッファメモリなどもある。

＜原稿画像のオブジェクト（領域）分離＞
図３に原稿画像のオブジェクト分離に関する全体をフローチャートで示す。

まず、ステップＳ３０１では、原稿がスキャナにより読み込まれ、スキャン時の画像処理が施されて、原稿画像データ（多値の入力画像データ）が得られる。なお、スキャナ時の画像処理とは、色処理やフィルタ処理を指す。なお、本実施例では、ステップＳ３０１において原稿画像データの入力として、紙原稿のスキャンによって得られた原稿画像データを対象として説明したが、これに限るものではない。例えば、ＰＣからネットワークを介して受信した画像データを、前記原稿画像データとして入力されたものとしてもよい。

ステップＳ３０２では、画像の色値分布を調べるためにヒストグラムを生成する。当該生成されたヒストグラムに基づいて、次のステップＳ３０３では、二値化処理に用いる二値化閾値を決定する。ステップＳ３０４では、ステップＳ３０３で決定した二値化閾値を用いて二値化処理を実行して、ニ値化画像を得る。

ステップＳ３０５では、ステップＳ３０４のニ値化処理で得たニ値化画像において、黒画素となった部分を検出する。例えば、公知の黒画素の輪郭追跡処理あるいはラベリング処理などの技術により、黒画素部分を検出する。

ステップＳ３０６では、抽出された黒画素領域内部を解析して、この黒画素領域内部に反転文字（黒の背景に白文字）を含むかどうかを解析する。例えば、黒画素領域内の黒画素数と白画素数とを比較し、黒画素数の方が白画素数より多ければ、更に連結白画素のサイズが予め定めた文字サイズの範囲内であるか判定し、範囲内であれば、反転文字を含むと判定する。

そして、ステップＳ３０７において、反転文字を含むと判定した場合は、当該反転文字を含む黒画素領域部分を白黒反転し、最終的な二値化画像を生成する。

なお、ステップＳ３０２〜Ｓ３０７によるニ値化処理は、公知のニ値化処理を用いることができる。例えば、図４の入力画像４０１に対してニ値化処理を行って、最終的なニ値化画像４０２が得られる。

ステップＳ３０８では、最終的な二値化画像を、属性毎の領域（イメージ領域、グラフィックス領域、テキスト領域など）に分割する。ニ値化画像に対する領域分割処理は公知の技術を用いることが可能である。このようにして、ニ値化画像内に含まれる属性毎の領域（オブジェクト）の位置を判別する。

ステップＳ３０９では、Ｓ３０８の領域分割処理で判別された領域（オブジェクト）それぞれに対して、その領域属性情報と位置情報とを含む領域情報（オブジェクト情報）を生成する。更に、入力画像ごとに付与する原稿画像ＩＤ（識別子）や、当該画像の入力時刻（例えばスキャンした時刻）などを、オブジェクトの検索時に用いる付加情報（インデックス情報）として生成し、当該オブジェクト情報に付加する。したがって、同じ原稿画像から抽出した領域（オブジェクト）に対しては、同じ原稿画像ＩＤが付与されることになる。

ステップＳ３１０では、領域情報に格納された各領域の属性を判断する。判断した属性に応じてステップＳ３１１〜Ｓ３１４の処理を行った後、ステップＳ３１５で各領域に関する情報を記憶部２０２のＢＯＸに保存する。なお、本実施形態では、原稿画像や領域オブジェクトなどの情報が格納される記憶領域（ストレージやデータベース）をＢＯＸと呼ぶこととする。

ステップＳ３１０でイメージ領域と判断された領域オブジェクトに対しては、ステップＳ３１４において、当該領域の位置情報に基づいて元の原稿画像データからそのイメージ領域部分を抽出し、当該抽出したイメージ領域の多値画像に対してＪＰＥＧ圧縮を行う。その後、ステップＳ３１５では、当該ＪＰＥＧ圧縮されたイメージ領域のデータをその領域に関する領域情報（オブジェクト情報）と関連付けてＢＯＸに保存する。

ステップＳ３１０でグラフィックス領域と判断された領域オブジェクトに対しては、ステップＳ３１３にて、当該領域の情報に基づいてニ値化画像からグラフィックス領域部分を抽出し、当該抽出したグラフィックス領域のニ値化画像に対してベクトル化処理を行う。ベクトル化処理では、例えば、ニ値化画像の黒画素の輪郭（アウトライン）を検出して直線及び曲線で関数近似することによって、ベクトル化（パス化）されたデータ（ベクトルデータ）が得られる。このとき、当該グラフィックスと判断されたオブジェクトの位置（ニ値化画像上のグラフィックス領域内の黒画素の位置）に対応する元の原稿画像データの画素について色分布を調べ、当該グラフィックスオブジェクトの代表色を決定する（すなわち、色情報をする）。例えば、色分布に基づいて平均色を取るなどすることにより、代表色を決定することができる。なお、このとき代表色として複数色を選択するようにしてもよい。このようにしてグラフィックス領域に関して得られたベクトル化（パス化）されたデータと代表色情報とを、ステップＳ３１５において、その領域に関する領域情報（オブジェクト情報）と関連付けてＢＯＸに保存する。

ステップＳ３１０でテキスト領域と判断されたオブジェクトに対しては、ステップＳ３１１に進んで、当該テキスト領域から文字を１文字ずつ切り出す文字切り処理（文字抽出処理）を行う。文字切り処理は、例えば、文字領域のニ値化画像に対して横方向・縦方向のヒストグラムの分布を調べて文字行を切り出し、更に文字行と垂直な方向のヒストグラムに基づいて文字を切り出すことにより、１文字単位で文字画像を抽出することができる。なお、文字切り処理はこれに限るものではなく、他の公知の技術を使用するようにしてもよい。次に、ステップＳ３１２において、Ｓ３１１で切り出した文字画像に対してＯＣＲ処理（文字認識処理）を実行し、そのＯＣＲ結果の文字コード情報を得る。また、ステップＳ３１３において、ステップＳ３１１でニ値化画像から切り出した文字画像に対して、ベクトル化処理を実行し、ベクトル化（パス化）されたデータを得る。文字画像に対するベクトル化処理は、例えば、上述したグラフィックス領域に対するベクトル化処理と同様の処理を実行することによりベクトルデータを得ることが可能である。ただし、ベクトル化処理はこれに限るものではなく、他の手法を用いても構わない。例えば、文字画像のフォント種別を識別し、Ｓ３１２で得たＯＣＲ結果と組み合わせることにより、当該識別されたフォントのベクトルデータとＯＣＲ結果の文字コードとから構成されるベクトルデータを生成できる。更に、このとき、各文字と判断されたオブジェクトの位置（ニ値化画像上の文字領域内の黒画素の位置）に対応する元の原稿画像データの画素について、色分布を調べ、当該グラフィックスオブジェクトの代表色を決定する。例えば、各文字における平均色を取るなどすることにより、代表色（各文字の色情報）を決定することができる。そして、ステップＳ３１５において、Ｓ３１２で得たＯＣＲ結果の文字コード情報と、Ｓ３１３で得たベクトル化（パス化）されたデータ（ベクトルデータ）と文字の色情報とを、その領域に関する領域情報（オブジェクト情報）と関連付けてＢＯＸに保存する。また、ＯＣＲ結果から抽出したインデックス（キーワード）をメタデータとして領域情報に格納してもよいし、ＯＣＲ結果の文字列全体を全文検索時に用いることができるようにしてもよい。

ステップＳ３１６では、分離されたオブジェクトを領域ごとに分けて表示する。例えば、図４の入力画像（原稿画像）４０１とその２値化画像４０２とに対して、Ｓ３０８〜Ｓ３１４のオブジェクト抽出処理を行った場合、各領域の領域情報（オブジェクト情報）とその描画情報（ベクトルデータ或いはＪＰＥＧ圧縮データ）とが得られる。それらの情報はＢＯＸに格納される。そして、ステップＳ３１６では、オブジェクト抽出結果を、図５に示すように、該原稿画像を構成する１つ１つのオブジェクト単位（文字領域、イメージ領域、グラフィックス領域など）で表示することができる。

以下では、上述した処理の詳細について述べる。

＜ニ値化処理（ステップＳ３０２〜ステップＳ３０７）＞
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積が予め決定しておいた閾値より大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出し、そして、一定面積以上の白画素の塊がある場合は、更にその白画素の塊の内部から更に黒画素の塊を抽出する。また、反転文字領域に関しては白黒反転して、最終的な２値画像を得る。なお、ニ値化処理はこれに限るものではなく、公知の技術を用いることが可能である。

＜オブジェクト抽出処理（Ｓ３０８〜Ｓ３１５）＞
Ｓ３０８の領域分離処理（オブジェクト分離処理）では、最終的な２値画像から黒画素の塊を抽出し、当該抽出した黒画素の塊を大きさ及び形状で分類し、異なる属性を持つ領域へ分類していく。このとき、所定距離内の黒画素塊は同じ領域であると判断して領域の統合も行う。例えば、縦横比が１に近く、大きさが一定の範囲の領域は文字画像相当の画素塊とし、さらに近接する文字画像相当の画素塊が整列良く並んでいれば、グループ化（統合）して文字領域と判別する。また、不定形の画素塊が散在している領域を写真などのイメージ領域とする。それ以外の任意形状の画素塊をグラフィックス領域とする。なお、本実施形態ではこのようにして分類するものとしたが、これに限るものではなく、公知の領域分離技術を適用することができる。また、領域の属性として表属性（テーブル属性）を更に加えてもよい。この場合、表属性領域内から文字属性領域が抽出できるので、その文字属性部分はＯＣＲ処理・ベクトル化処理が行われる。また、文字属性領域以外の表属性領域部分に対しては、グラフィックス領域と同様にベクトル化処理をして、罫線をベクトルデータに変換するようにしてもよい。このようにして、属性毎の領域（オブジェクト）に分離される。

Ｓ３１２のＯＣＲ処理（文字認識処理）の例について説明する。例えば、テキスト領域から文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。なお、テキスト領域に対する文字認識処理を行う場合は、まず、Ｓ３１１で記載したように、テキスト領域に対して横書き／縦書きの判定を行い、判定された方向に基づいて文字列を切り出し、更にその切り出された文字列から文字を切り出して文字画像を取得する。横書き／縦書きの判定は、例えば、各テキスト領域内で、画素値に対する水平／垂直方向の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。また、文字列及び文字への分解は、横書きのテキスト領域である場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きのテキスト領域に対しては、水平と垂直を逆にすれば良い。なお、この文字認識処理を行う際に、文字のサイズを検出することもできる。

ステップＳ３１３のベクトル化処理について説明する。
文字領域に対してベクトル化処理を適用する場合、まず、ステップＳ３１３のＯＣＲ処理によって得られた文字ブロックの各文字に対してフォント認識処理を行う。フォント認識処理は、例えば、文字認識処理の際に用いる字種数分の辞書特徴ベクトルとして、文字形状種別（すなわちフォント種別）ごとに複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントを認識することができる。そして、文字認識処理及びフォント認識処理によって得られた、文字コード及びフォント情報を用いて、フォント毎にあらかじめ用意されたフォントのアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。尚、原稿画像が多値画像（カラー画像）の場合は、その多値画像に基づき各文字の代表色を決定してベクトルデータとともに記録する。なお、文字領域のベクトル化処理は、後述するグラフィックス領域に対するベクトル化処理と同様の処理を行って、ベクトルデータを生成するようにしても構わない。また、文字認識結果が合っていると判断した文字画像については、フォントのアウトラインデータを用いたベクトル化処理を実行し、一方、文字認識結果が誤認識している可能性が高いと判断した文字画像に対しては、後述するグラフィック領域と同様の画像輪郭に基づくベクトル化処理を実行するようにしても構わない。

グラフィックス領域に対してベクトル化処理を適用する場合、そのグラフィックス領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が所定の閾値より大きくなる点であり、曲率が大となる点は、図６に示すように、任意点Ｐｉに対し左右ｋ個の離れた点Ｐｉ−ｋ、Ｐｉ＋ｋの間に弦を引いたとき、この弦とＰＩの距離ｌが所定閾値より大となる点を曲率が大きい点とみなす。また、Ｐｉ−ｋ、Ｐｉ＋ｋ間の｛（弦の長さ）／（弧の長さ）｝をＲとし、Ｒの値が閾値以下である点を角とみなすようにしてもよい。角によって分割された後の各区間について、直線部分と判断した区間に対しては点列に対する最小二乗法等の計算式を用いて近似し、また、曲線部分と判断した区間に対しては３次スプライン関数等の関数を用いて近似することにより、ベクトルデータを生成することができる。なお、黒画素塊内部の白画素塊に対しても、白画素塊に対するベクトル化処理を同様に行うことによって、ベクトルデータを生成することができる。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化して、ベクトルデータを生成することができる。尚、原稿画像がカラー画像の場合は、そのカラー画像から図形の色を抽出してベクトルデータとともに記録する。

また、上述した例では、図形の輪郭ベクトルデータについて説明したが、線状の図形に関しては、輪郭をそのまま用いるのではなく、線幅情報を有するベクトルデータとして表現するようにしてもよい。例えば、図７に示すように、図形のある区間において２本の輪郭が近接している場合、２つの輪郭線をひとまとめにして、線幅情報を有する１本の線ベクトルデータとして表現することができる。具体的には、ある輪郭の各点Ｐｉから別輪郭上で最短距離となる点Ｑｉまで線を引き、その距離ＰＱｉが、ある注目区間でほぼ一定の長さであった場合、該注目区間はＰＱｉの中点を点列として直線あるいは曲線で近似し、その線幅はＰＱｉの平均値としたベクトルデータに変換できる。

＜メタデータ＞
図８に示すように、メタデータの構成は、階層的である。例えば、基礎情報８０１には、オブジェクトが作成された日時や作成者、原稿ＩＤ等が記載されている。また、各付加情報には、各オブジェクトの形状や原稿における位置などに関する情報が記載されている。また、ＯＣＲ結果から作成したキーワードを、付加情報に格納することもできる。このように、メタデータは、１つの原稿画像から抽出した複数のオブジェクトのそれぞれに対して付与された付加情報８０２−８０４と、該原稿画像全体に対して付加された基礎情報８０１とが原稿画像ごとに関連付けられて保持される。

また、後述するように、本実施形態では、オブジェクトを検索して再利用することが可能である。更に、検索した結果のオブジェクト群の中から、ユーザの指示に基づいて選択したオブジェクトを組み合わせてレイアウトすることにより、新たな文書を作成することができる。このとき、当該新たな文書を作成する際に用いた各オブジェクトを検索する際に用いた検索キーワードを、一緒にレイアウトされた他のオブジェクトのメタデータにも反映する。このように構成することにより、再度似たようなオブジェクトの組み合わせで、別の新たな文書を作成する必要が生じたとき、その組み合わせを容易に検索できるようになり、再利用する際の操作性が向上する。

また、セキュリティに関する情報をメタデータに含むようにしてもよい。この場合、オブジェクトごとに利用可能なユーザを制限することができる。なお、メタデータを付加情報８０２〜８０４のように階層的な構成にするのは、階層に応じてセキュリティのレベルを変えることができ、誰でも見える情報や特定のユーザにしか見えない情報を区別するのに便利であるためである。

なお、メタデータのフォーマットに関しては、ＸＭＬ等の記述言語が使用されるものとするが、これに限るものではなく、テーブル等を用いて管理するようにしても構わない。

＜オブジェクト別ＵＩ画面表示＞
ステップＳ３１６で、入力画像に対して、オブジェクトに分離してＢＯＸに保存する処理が行われた結果が、図９のようなＵＩ画面上に表示される。図９は、図４の原稿を領域毎にオブジェクト分離した後、メタデータの生成処理・ベクトルデータ生成処理・ＢＯＸ保存処理がなされたオブジェクトを、ＭＦＰのＵＩ画面９０１に表示した例である。

図４の原稿から抽出した領域オブジェクトは７つで、ＵＩ画面９０１に示したように、オブジェクト９０３〜９０９が表示される。また、各領域オブジェクトを選択することにより、その領域に関連付けられているメタデータの内容を参照することも可能である（不図示）。

また、９０２のＳＥＮＤボタンがユーザにより押下されると、選択中のオブジェクトをＰＣに送信することが可能である。また、オブジェクトを複数選択し、後述する自動レイアウト処理を実行すると、その選択されたオブジェクトを自動的にレイアウトしたドキュメントを作成することも可能である。

図１０に自動レイアウト処理ＵＩ画面を示す。
図１０の画面９０１内に表示されているオブジェクトは、前述した処理で領域毎に分離されて、ＢＯＸに保存処理されたオブジェクトである。図１０では、複数の原稿から抽出されてＢＯＸに保存された様々なオブジェクトが表示されている。その各々のオブジェクトに対してチェックボタン（１００１〜１０１２）が用意されており、このチェックボタンは、ユーザが各オブジェクトを選択する際に使用されるユーザインターフェースである。ここで示しているオブジェクトは、前述した記憶部２０２のＢＯＸに予め保存されていたものである。

また、複数のオブジェクトの中から所望のオブジェクトをキーワード検索できるように、キーワードを入力するための検索キー入力欄１０１３をＵＩ上に具備している。この検索キー入力欄１０１３に対して入力部２０４を介してキーワードが入力されると、オブジェクトが検索できる構成になっている。

検索は、前述した付加情報（図８）の情報を元におこなう構成である。つまり、各オブジェクトに対して付加された付加情報８０２〜８０４と、検索キー入力欄１０１３に入力されたキーワードとが、一致するか否か判断して検索をおこなう。そして、検索で付加情報が一致したオブジェクトを画面９０１内に表示する。

また、自動レイアウトボタン１０１４がユーザにより押下されると、チェックボタン１００１〜１０１２で選択されているオブジェクトを自動的にレイアウトして、新たな原稿を作成する。

以下では、具体例を用いて説明する。図１１は、入力部２０４を介して「デジタルカメラ」というキーワードがキー入力欄１１０１に入力され、通常の検索ボタン１０１６が押下され、検索処理が実行された状態を示している。図１１の画面９０１内に表示されている複数のオブジェクト１１０２〜１１０７は、キーワード検索でヒットした結果の例をあらわしている。

一方、図１２は、「自然」というキーワードがキー入力欄１２０１に入力され、オブジェクトの検索処理を実行した結果の例を示している。ここでは、キーワード検索した結果として、６つのオブジェクト１２０２〜１２０７が表示された例を示す。

なお、図１１と図１２の画面は、検索キーワードを入力することで、画面表示を切り替えることが可能である。また、それぞれの検索結果を一時保存しておき、不図示の検索結果画面切り替えボタンを操作することで、検索結果を切り替え表示できるようにしてもよい。

次に、オブジェクト選択操作について、図１３、１４を用いて説明する。

図１３は、図１１の「デジタルカメラ」というキーワードで検索した結果を示す画面９０１において、チェックボタン１３０１〜１３０６を用いてオブジェクトを選択している様子を示す。図１３の例では、４つのオブジェクト（１３０２、１３０４、１３０５、１３０６）が選択されている状態を示している。

図１４は、図１２の「自然」というキーワードで検索した結果において、いくつかのオブジェクトが選択されている状態を示している。図１４では、３つのオブジェクト（１４０１、１４０３、１４０４）が選択されている。

図１３、図１４で説明したように、本実施例では合計７つのオブジェクトを選択している。そして、これらのオブジェクトを組み合わせてレイアウトすることによって新たな原稿を作成することを、本実施例では「再レイアウト」処理と呼ぶことにする。すなわち、再レイアウトとは、１乃至複数のキーワードによって検索された複数のオブジェクトの中から、ユーザの操作により選択されたオブジェクトを用いて新たな原稿を生成することを示す。また、この「再レイアウト」処理に関して、選択されたオブジェクトを自動的に配置して、新たな原稿を生成することを特に「自動レイアウト（自動再レイアウト）」と呼ぶことにする。これに対し、ユーザによる配置位置の指示に基づいて、該選択されたオブジェクトを配置していくことにより新たな原稿を生成する場合は、「手動レイアウト（手動再レイアウト）」と呼ぶことにする。

図１３や図１４に示した自動レイアウトボタン（ＡＵＴＯ ＬＡＹＯＵＴボタン）１０１４がユーザによって押下されると、そのときに選択されているオブジェクトが自動的にレイアウトされて、新しい原稿が生成される。この「自動レイアウト」処理を実行した結果を図１５に示す。１５０１のプレビュー画面には、自動レイアウト処理で生成された新しい原稿が表示される。この新しい原稿は、図１３や図１４で選択されたオブジェクト（１３０２、１３０４、１３０５、１３０６、１４０１、１４０３、１４０４）を組み合わせてレイアウトした結果を示している。このとき、編集ボタン（ＥＤＩＴボタン）１５０２がユーザによって押下されると、プレビュー画面に表示されている原稿内のオブジェクトの位置や大きさをユーザの指示にしたがって修正可能になるものとする。更に、保存ボタン（ＳＡＶＥボタン）１５０３がユーザにより押下されると、そのときにプレビュー表示されているレイアウトの原稿を、新たな原稿として保存する。そして、その新たな原稿のレイアウト時に用いたオブジェクトの組み合わせに関する情報（各オブジェクトを検索する際に用いたキーワードや、グループＩＤなど）をグループ情報として、図８の付加情報に追加保存する。このグループ情報を保存しておくことにより、後に、同様の組み合わせで原稿を作成したい場合や、組み合わせに用いるオブジェクトの参考の候補として利用することが可能になる。

図１６は、新たな原稿を作成した際に各オブジェクトに付加された付加情報の例である。図１６において、１６０１と１６０６はオブジェクトの一例である。１６０２と１６０７は、元原稿から各オブジェクトを抽出して作成した際に付加された基礎情報である。１６０３と１６０８は、元原稿から各オブジェクトを抽出して作成した際に、ＯＣＲ結果やユーザによるキー入力に基づいて、各オブジェクトに付加されたキーワードである。１６０３〜１６０５と１６０９〜１６１１は、各オブジェクトを再利用して新たな原稿を作成した際に追加された情報であり、グループＩＤや新たな原稿の作成時に使用されたキーワード、各グループで再利用された回数などが付加されている。なお、グループＩＤは、新たな原稿を作成・保存するたびに自動的に付与される番号であるものとする。オブジェクト１６０１と１６０６は、グループＩＤ＝１の原稿を作成した際に同時に使用されたので、それぞれに、付加情報１６０４と１６０９が付加されている。また、グループＩＤ＝２の原稿を作成した際も、オブジェクト１６０１と１６０６が使用されたので、付加情報１６０５と１６１０が付加されている。また、グループＩＤ＝３の原稿を作成した際、オブジェクト１６０１は使用されておらず、オブジェクト１６０６は使用されたので、オブジェクト１６０６には付加情報１６１１が付加されている。

つまり、各オブジェクトの付加情報部に、原稿作成時に同時に使われたグループが記載され、紐付けが行われていることになる。更に、原稿作成時に利用されたキーワードも一緒に格納しているので、当該オブジェクトと共に使用された別のオブジェクトの検索に用いたキーワードも関連付けられていることになる。これにより、例えば、元々は「自然」というキーワードが関連付けられていないオブジェクト（例えば１６０１）に対して、グループ作成時に用いたキーワード「自然」がグループのキーワードとして付加されることになる。したがって、オブジェクト１６０１は、元々付加されているキーワードだけでは、「自然」というキーワードでは検索されないが、グループ検索を行う際には「自然」というキーワードで検索されうる。したがって、グループの関連性に基づいて各オブジェクトを検索することができるので、オブジェクトの再利用性が向上する。

図１７は、検索キー入力欄１７０１（図１０の１０１３）に「デジタルカメラ」というキーワードが入力され、グループ検索ボタン１７０２（図１０の１０１７）がユーザにより押下されたときのグループ検索の結果を表示する画面の一例である。

通常の検索ボタン１０１６が押下された場合は、各オブジェクトに元々付加されているキーワード（例えば、図１６の１６０３や１６０８）に基づいて検索が行われるので、図１１に示したような検索結果となる。一方、グループ検索ボタン１７０２が押下された場合は、元々のキーワードと共に、グループＩＤとグループキーワード（例えば、図１６の１６０４〜１６０５、１６０９〜１６１１）も用いて検索が行われ、図１７に示したような検索結果となる。すなわち、図１７では、過去の再レイアウトで原稿を作成した際の組み合わせにおいて利用されたオブジェクトも一緒に表示されることになる。

図１７において、１７０３の縦の列は、各オブジェクトに元々付加されているキーワードに基づいて検索した結果の検索一致度が高い順に、各オブジェクトが縦方向に並べられて表示される。そして、１７０３の列の各オブジェクトが以前に再利用された際の各グループに含まれる別のオブジェクトがその右側に隣接する関連オブジェクト表示欄１７０４に表示される。例えば、図１６のオブジェクト１６０１が検索され、そのオブジェクト１６０１に関連するグループＩＤ＝１に属する他のオブジェクトが、図１７の関連オブジェクト表示欄の１行目に表示されている。また、オブジェクト１６０１に関連するグループＩＤ＝２に属する他のオブジェクトは、図１７の関連オブジェクト表示欄の２行目に表示されている。このように、各グループは、グループ別に表示される。また、表示されているオブジェクトごとに、各オブジェクトを選択するためのチェックボックスが設けられている。更に、関連オブジェクト表示欄１７０４の右側にあるグループ情報欄１７０５には、グループ単位でまとめて選択するためのチェックボックスと、グループＩＤと、以前の検索時に利用された１７０１以外のキーワードが表示される。

なお、グループ情報欄１７０５に表示されているキーワード（すなわち、グループ化されたオブジェクトを検索するのに用いたキーワード）をユーザがクリックすると、当該クリックされたキーワードをキーにして通常検索が行われるものとする。すなわち、ユーザはオブジェクト１７０３と過去に一緒に使ったオブジェクト１７０４を検索する際に用いたキーワードを使って簡単に検索できる。類似するオブジェクトには同じキーワードが付加されていることが多いので、過去に一緒に使ったオブジェクトに類似する別のオブジェクトも容易に検索することができ、オブジェクトを利用しやすくなる。

また、検索されたオブジェクト１７０３に関連する各グループは、グループとしての使用回数が高いグループを上位に表示する。使用回数が同じグループに関しては、検索キーワード１７０１と同じキーワードが元々付加されている関連オブジェクトの数が多いグループを上位に表示する。図１７において、検索キーワード１７０１と同じキーワードが元々付加されている関連オブジェクトの背景色（図１７では斜線で示している）は同じ色が表示されている。すなわち、検索キーワードで検索されたオブジェクト１７０３の背景色と、関連するグループに含まれるオブジェクトのうち、同じキーワードが元々付加されているオブジェクトの背景色は同じである。なお、図１７では、同じキーワードが元々付加されているオブジェクトが表示されている領域の背景色は同じであるものとしたが、色に限るものではない。例えば、背景の模様や記号などを用いて同じかどうか識別可能に表示するものであってもよい。

図１８は、検索キーワードが入力されて、グループ検索ボタンが押下されたときに行われるグループ検索処理のフローチャートである。

ステップＳ１８０１では、入力された検索キーワードと各オブジェクトに付加されているキーワードとに基づいて、オブジェクトを検索し、検索結果の一致度が高いものから順にソートする。そして、まず、１番目のオブジェクトを関連グループ検索対象としてステップＳ１８０２に進む。

ステップＳ１８０２では、対象となっているオブジェクトの付加情報に基づいて、関連グループに関する情報（グループＩＤ、使用回数など）を検索する。そして、ステップＳ１８０３では、グループＩＤに基づいて、各関連グループに属する他のオブジェクトを検索する。

ステップＳ１８０４では、関連グループに関する情報と各関連グループに属する他のオブジェクトに関する情報とに基づいて、グループのソートを行う。ここでは、関連グループの使用回数や、各関連グループに属する他のオブジェクトに付加されているキーワードに基づいて、使用される可能性が高いグループが上位になるようにソートする。

ステップＳ１８０５では、ステップＳ１８０１の検索結果における次のオブジェクトがあれば、そのオブジェクトを関連グループ検索対象として、ステップＳ１８０２に戻る。

ステップＳ１８０６では、検索キーワードによる検索結果のオブジェクトと、そのオブジェクトに関連するグループの情報と、各グループに属する他のオブジェクトとを、ソート順にしたがって表示する。この結果、図１７のような表示がなされる。

図１７の結果表示画面において、ユーザは、各オブジェクトのチェックボックスや各グループのチェックボックスをチェックすることで、所望のオブジェクトを選択できる。そして、自動レイアウトボタンを押すと、その選択した所望のオブジェクトを用いて新たな原稿を作成することができる。

以上説明したように、本発明によれば、各オブジェクトに対してキーワードとともに、再利用した際のグループ情報を関連付けて記憶しておくことにより、図１７のような過去の使用履歴に基づくグループ検索を行うことができる。過去に使用された組み合わせは、その後に同じ組み合わせや似たような組み合わせで再利用されることが多いので、図１７のような表示を行うことで、オブジェクトの検索性・操作性があがり、再利用しやすくなる。

（実施形態２）
実施形態２では、グループに関する付加情報（例えば、１６０４〜１６０５、１６０９〜１６１１）に、該グループでの再利用時に加工されたオブジェクトの形状も同時に記憶しておくことを特徴とする。加工される形状とは、例えば拡縮や変形や回転などである。

そして、図１７のようにグループ検索結果を表示する際に、過去の再利用時に加工された形状に基づいて、各オブジェクトを表示するものとする。各オブジェクトは、再利用される度に加工される形状（例えば拡縮や変形や回転など）が異なる場合もあるが、最も多く加工された形状でもって表示する。

これにより、ユーザは、過去に利用されたオブジェクト形状が分かるので、再レイアウト処理で新たな原稿を生成する際のレイアウトの参考として利用することができる。

また、一番多く再利用されている形状は、再利用時にお勧めの形状であることが多いと考えられるので、再利用性も向上する。

（その他の実施形態）
上述した実施形態１〜２では、ＭＦＰ（複合機）の制御部において検索や表示などの制御が行われるものとした。ＭＦＰの制御部はＣＰＵ（コンピュータ）を含み、コンピュータ読み取り可能な記憶媒体（例えば、ハードディスク）に記憶されているコンピュータプログラムを読み込んで実行することにより、上述した検索や表示の処理を行うものとする。すなわち、コンピュータは、プログラムを実行することにより、各処理を行うための制御手段として機能することになる。

なお、本発明は、ＭＦＰに限るものではなく、例えば、ＭＦＰに接続されているコンピュータもしくは汎用パソコンのコンピュータが、プログラムを実行することにより、上述したような処理を実現することによっても達成される。

また、本発明は、コンピュータがコンピュータプログラムを実行することにより実現されるものとしたが、処理の一部または全部を電気回路などのハードウェアで実現できるようにしても構わない。その場合、各ハードウェアが各処理を行うための制御手段として機能することになる。

以上説明したように、本発明によれば、過去に一緒に使用したオブジェクト群の情報をグループとして記憶しておくことにより、オブジェクトに関連するグループの検索が可能となりオブジェクトの再利用性が向上する。

これにより、保存されているオブジェクトの中から所望のオブジェクトを検索することが容易になるので、オブジェクトを再利用して新たな原稿を作成することが更に容易になる。

また、単なるキーワード検索だけでは見つけることができなかった有用なオブジェクトを簡単に見つけられる可能性が高くなる。

実施形態１の画像処理システムの構成を示すブロック図 実施形態１のＭＦＰの詳細構成を示すブロック図 領域分離に関するフローチャート 読み取り原稿のイメージ 読み取り原稿をオブジェクト分離したイメージ ベクトル化処理を説明するための図 ベクトル化処理を説明するための図 メタデータの構成の一例を示す図 ＭＦＰのＵＩ画面に表示される一例を示す図 自動レイアウト処理に関するＵＩ画面 オブジェクト検索結果を示すＵＩ画面１ オブジェクト検索結果を示すＵＩ画面２ オブジェクト選択を示すＵＩ画面１ オブジェクト選択を示すＵＩ画面２ 自動レイアウト結果を示すＵＩ画面 本発明にかかるオブジェクトの関連を示すメタデータの構成例 本発明にかかる実施形態１のグループ検索結果 グループ検索のフローチャート

Claims (16)

1. 通常の検索が指示された場合、検索キーワードに一致するキーワードが付加されているオブジェクトを検索する検索手段と、
   ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段と、
   前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段と、
   前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトを新たなグループとし、当該グループに含まれる前記複数のオブジェクトを検索する際に用いたキーワードをグループキーワードとして、該新たなグループを識別するためのグループ識別子とともに、該新たなグループに含まれる前記複数のオブジェクトそれぞれに関連付けて保存する保存手段と、を備える画像処理装置であって、
   前記検索手段は、グループ検索が指示された場合、前記保存手段で保存された前記グループキーワードと前記識別子とに基づいて、検索キーワードに一致する前記グループキーワードが関連付けられている各オブジェクトを検索し、当該検索された各オブジェクトをグループ別に並べて表示することを特徴とする画像処理装置。
2. 前記オブジェクトに付加されているキーワードは、該オブジェクトをＯＣＲ処理した結果から得られたキーワードを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記オブジェクトをＯＣＲ処理した結果から得られたキーワードと、前記グループキーワードは、前記オブジェクトに階層的に関連付けて保存されることを特徴とする請求項２に記載の画像処理装置。
4. 前記検索手段は、前記グループ検索が指示された場合、前記検索キーワードに一致するキーワードが付加されている複数のオブジェクトを所定の方向に並べて表示し、当該表示した複数のオブジェクトそれぞれの隣接する領域に、当該検索キーワードに一致するグループキーワードが関連付けられている各グループに含まれる別のオブジェクトをグループ別に並べて表示することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記検索手段は、前記グループ検索が指示された場合、前記検索キーワードに一致する前記グループキーワードが関連付けられている各オブジェクトを、各グループの使用回数と各グループに含まれる別のオブジェクトに付加されているキーワードとに基づいて、各グループをソートしてグループ別に並べて表示することを特徴とする請求項４に記載の画像処理装置。
6. 前記検索手段は、前記グループ検索が指示された場合、前記グループ別に並べて表示される各オブジェクトについて、当該検索キーワードに一致するキーワードが元々付加されているオブジェクトであるかどうか識別可能に表示することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記検索手段は、前記グループ検索が指示された場合、前記検索された各オブジェクトをグループ別に並べて表示するとともに、過去に各グループに含まれる各オブジェクトを検索する際に用いたグループキーワードを表示し、
   当該表示されたグループキーワードのいずれかがユーザにより指示された場合、当該指示されたグループキーワードを検索キーワードとして検索を実行することを特徴とする請求項１に記載の画像処理装置。
8. 前記検索手段は、ユーザの指示に基づいて、前記通常の検索と、前記グループ検索とを切り替えて実行することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記検索手段は、前記グループ検索が指示された場合、前記検索キーワードに一致する前記グループキーワードが関連付けられている各オブジェクトを、過去の再利用時に加工された形状に基づいて表示することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. スキャンにより得た原稿画像からオブジェクトを抽出する抽出手段と、
    前記抽出手段で抽出されたオブジェクトを保存する保存手段と、を更に備え、
    前記検索手段での検索対象となるオブジェクトは、前記保存手段に保存されたオブジェクトであることを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
11. 前記抽出手段で抽出されたオブジェクトは、ベクトル化処理が行われた後に、前記保存手段に保存されることを特徴とする請求項１０に記載の画像処理装置。
12. 検索手段が、通常の検索が指示された場合、検索キーワードに一致するキーワードが付加されているオブジェクトを検索する検索ステップと、
    選択手段が、ユーザの指示に基づいて、前記検索ステップで検索されたオブジェクトの中から、複数のオブジェクトを選択する選択ステップと、
    作成手段が、前記選択ステップで選択された複数のオブジェクトを用いて、新たな原稿を作成する作成ステップと、
    保存手段が、前記作成ステップで新たな原稿を作成する際に用いた複数のオブジェクトを新たなグループとし、当該グループに含まれる前記複数のオブジェクトを検索する際に用いたキーワードをグループキーワードとして、該新たなグループを識別するためのグループ識別子とともに、該新たなグループに含まれる前記複数のオブジェクトそれぞれに関連付けて保存する保存ステップと、を備える画像処理方法であって、
    前記検索ステップでは、グループ検索が指示された場合、前記保存ステップで保存された前記グループキーワードと前記識別子とに基づいて、検索キーワードに一致する前記グループキーワードが関連付けられている各オブジェクトを検索し、当該検索された各オブジェクトをグループ別に並べて表示することを特徴とする画像処理方法。
13. コンピュータを、
    通常の検索が指示された場合、検索キーワードに一致するキーワードが付加されているオブジェクトを検索する検索手段、
    ユーザの指示に基づいて、前記検索手段で検索されたオブジェクトの中から、複数のオブジェクトを選択する選択手段、
    前記選択手段で選択された複数のオブジェクトを用いて、新たな原稿を作成する作成手段、
    前記作成手段で新たな原稿を作成する際に用いた複数のオブジェクトを新たなグループとし、当該グループに含まれる前記複数のオブジェクトを検索する際に用いたキーワードをグループキーワードとして、該新たなグループを識別するためのグループ識別子とともに、該新たなグループに含まれる前記複数のオブジェクトそれぞれに関連付けて保存する保存手段、
    として機能させるためのコンピュータプログラムであって、
    前記検索手段では、グループ検索が指示された場合、前記保存手段で保存された前記グループキーワードと前記識別子とに基づいて、検索キーワードに一致する前記グループキーワードが関連付けられている各オブジェクトを検索し、当該検索された各オブジェクトをグループ別に並べて表示することを特徴とするコンピュータプログラム。
14. 前記検索手段では、前記グループ検索が指示された場合、前記検索キーワードに一致するキーワードが付加されている複数のオブジェクトを所定の方向に並べて表示し、当該表示した複数のオブジェクトそれぞれの隣接する領域に、当該検索キーワードに一致するグループキーワードが関連付けられている各グループに含まれる別のオブジェクトをグループ別に並べて表示することを特徴とする請求項１３に記載のコンピュータプログラム。
15. 前記検索手段では、前記グループ検索が指示された場合、前記検索キーワードに一致する前記グループキーワードが関連付けられている各オブジェクトを、各グループの使用回数と各グループに含まれる別のオブジェクトに付加されているキーワードとに基づいて、各グループをソートしてグループ別に並べて表示することを特徴とする請求項１３に記載のコンピュータプログラム。
16. 請求項１３乃至１５のいずれかに記載のコンピュータプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。

Images