JP4329475B2 - 装飾画像の選択 - Google Patents

Description

この発明は、個々の入力画像に付加される装飾画像を選択する技術に関する。

デジタルスチルカメラなどの画像入力装置から入力された画像をディスプレイやプリンタなどの画像出力装置に出力する際、入力画像に装飾画像を付加することが行われる。このような装飾画像は、複数の装飾画像から入力画像の色調等に基づいてユーザ自らの判断により選択されていた。

しかしながら、模様や色調が異なる装飾画像の数が多くなると、ユーザは多数の装飾画像と入力画像の組み合わせについて個々に判断することとなり、装飾画像の選択に関するユーザの負担が大きくなっていた。

特開２００２−３００３６３号公報 特開２００３−１６２７１８号公報

本発明は、上述した従来の課題を解決するためになされたものであり、個々の入力画像に付加される装飾画像を容易に選択することができる技術を提供することを目的とする。

上記目的の少なくとも一部を達成するために、本発明の画像処理装置は、装飾画像を個々の入力画像に付加する画像処理装置であって、複数の装飾画像を格納する装飾画像格納部と、前記入力画像を解析することによって前記入力画像の代表色を取得する代表色取得部と、前記代表色に基づいて、前記複数の装飾画像から前記入力画像に付加する装飾画像を選択する装飾画像選択部と、を備えることを特徴とする。

この構成によれば、入力画像の代表色に相応しい装飾画像が選択されるので、装飾画像を選択するユーザの負担を小さくすることができる。

前記装飾画像格納部は、各装飾画像の代表色を示す情報を有しており、前記装飾画像選択部は、前記入力画像の代表色と前記複数の装飾画像の代表色とに基づいて前記装飾画像を選択するものとしてもよい。

この構成によれば、入力画像の色調と色調が調和した装飾画像を選択することができる。

前記装飾画像選択部は、前記入力画像の代表色に近い代表色を有する装飾画像を選択するものとしてもよい。

この構成によれば、入力画像との組み合わせに違和感が生じない装飾画像を選択することができる。

前記装飾画像選択部は、ユーザに配色に関するキーワードを設定させるためのキーワード設定部を備え、前記入力画像の代表色と前記装飾画像の代表色と前記配色に関するキーワードとに基づいて装飾画像を選択するものとしてもよい。

この構成によれば、入力画像が有する印象に適合した装飾画像を選択することができる。

前記装飾画像選択部は、前記入力画像の代表色に基づいて複数の装飾画像候補を選択し、前記複数の装飾画像候補の中から１つの装飾画像をユーザに選択させるための選択画面を表示部に表示するものとしてもよい。

この構成によっても、ユーザの好みに応じた装飾画像を選択することができる。

前記装飾画像選択部は、ユーザによる装飾画像選択に関する指示の履歴を記録する指示記録部を備え、前記入力画像の代表色と前記装飾画像の代表色と前記指示の履歴とに基づいて前記複数の装飾画像候補を選択するものとしてもよい。

この構成によれば、ユーザの好みに応じた装飾画像を選択することができる。

前記代表色取得部は、前記入力画像の画素が平均輝度以上の画素の色から前記入力画像の代表色を算出するものとしてもよい。

この構成によっても、入力画像の特徴を表す色を取得することができる。

前記代表色取得部は、前記入力画像を複数のブロックに分割し、前記ブロックに含まれる画素の色を特徴づけるブロック色を算出するブロック分割部と、前記ブロック色が同系色である隣接する前記ブロックを結合し、前記結合されたブロックのブロック色を前記隣接するブロックのブロック色から算出するブロック結合部と、結合されたブロックがに属する結合前のブロック数を算出し、前記結合前のブロック数が上位である所定数の結合ブロックのブロック色を代表色とする代表色決定部と、を備えるものとしてもよい。

この構成によれば、入力画像の特徴をより的確に表す色を取得することができる。

前記代表色取得部は、前記入力画像を複数のブロックに分割し、前記ブロックに含まれる画素の色を特徴づけるブロック色を算出するブロック分割部と、前記ブロック色についての所定の分類規則に基づいて、前記ブロックをカテゴリ分類するカテゴリ分類部と、前記カテゴリに属するブロック数が上位である所定数のカテゴリを選択するカテゴリ選択部と、前記選択されたカテゴリに属するブロックのブロック色から、代表色を算出する代表色算出部と、を備えるものとしてもよい。

この構成によっても、入力画像の特徴をより的確に表す色を取得することができる。

前記代表色取得部は、前記入力画像を複数のブロックに分割し、前記ブロックに含まれる画素の色を特徴づけるブロック色を算出するブロック分割部と、前記複数のブロックを前記ブロック色に関する所定の色空間内に配置するとともに、所定の分類規則に基づいて前記複数のブロックをほぼ同数のブロックが属するカテゴリに分類するカテゴリ分類部と、各カテゴリに属するブロックの前記色空間内における分散を示す指標が小さな所定数のカテゴリを選択するカテゴリ選択部と、前記選択されたカテゴリに属するブロックのブロック色から、代表色を算出する代表色算出部と、を備えるものとしてもよい。

この構成によっても、入力画像の特徴をより的確に表す色を取得することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および画像処理装置、印刷方法および印刷装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の態様で実現することができる。

次に、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．第４実施例：
Ｅ．第５実施例：
Ｆ．第６実施例：
Ｇ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としての画像処理システム１００を示す説明図である。この画像処理システム１００は、デジタルスチルカメラ１１０とパーソナルコンピュータ１２０とカラープリンタ１４０とを備えている。パーソナルコンピュータ１２０に組み込まれている画像処理装置２００は、デジタルスチルカメラ１１０で生成された画像データにより表される入力画像から出力画像を生成する。そして、生成された出力画像は、画像処理装置２００の働きにより画質が調整される。画質が調整された出力画像は、出力装置であるカラープリンタ１４０により出力される。

なお、本実施例ではパーソナルコンピュータ１２０に画像処理装置２００を組み込んでいるが、カラープリンタ１４０に画像処理装置２００を組み込むことも可能であり、デジタルスチルカメラ１１０に画像処理装置２００を組み込んでも良い。

図２は、第１の実施例における画像処理装置２００の構成を示すブロック図である。画像処理装置２００は、入力画像取得部２１０と、代表色取得部２２０と、装飾画像選択部２３０と、出力画像生成部２５０と、装飾画像格納部２６０と、画像合成部２７０とを備えている。

画像処理装置２００は、画像データＧＤで表される複数の入力画像ＩＰそれぞれに装飾画像ＦＰを付加し、複数の合成画像ＳＰを生成する。複数の合成画像ＳＰはレイアウトされて、１つの出力画像が生成される。そして、出力画像は、画質調整がなされた後、出力データ（印刷データ）ＰＤとしてプリンタ１４０に出力される。

図３は、１つの入力画像ＩＰに装飾画像ＦＰを付加する様子を示している。入力画像取得部２１０は、画像データＧＤから図３（ａ）に示されるように入力画像ＩＰを取得する。代表色取得部２２０は、取得された入力画像ＩＰを解析することにより、入力画像ＩＰの代表色ＲＣを取得する。なお、代表色ＲＣとしては、入力画像ＩＰのすべての画素についてのＲＧＢ各成分の平均値をＲＧＢ成分とする色（本明細書等において、「平均色」と呼ぶ）を用いることができる。

装飾画像選択部２３０は、装飾画像格納部２６０から、入力画像ＩＰの代表色ＲＣに適した装飾画像候補を複数選択する。なお、装飾画像格納部２６０に格納された各装飾画像データには、装飾画像ＦＰの代表色ＦＣを示す情報がタグ情報として埋め込まれている。本実施例では、装飾画像選択部２３０は、入力画像のＩＰの代表色ＲＣに近似する色を代表色ＦＣとして有する複数の装飾画像ＦＰ（装飾画像候補）を選択する。

図４は、入力画像ＩＰの代表色ＲＣに基づいて装飾画像ＦＰの色を選択する様子を示す説明図である。図４は、日本色研配色体系（ＰＣＣＳ）による１２分割の色相環を表している。この色相環は、心理四原色の赤・黄・緑・青にその心理補色を加えた８色と、色相の間隔を等歩度とするための４色を加えた１２色によって構成された色相環である。そのため、隣接する各色相は、視覚的に近似した色となる。

入力画像ＩＰと装飾画像ＦＰとの組み合わせが違和感を生じないようにするためには、装飾画像ＦＰが入力画像ＩＰの代表色ＲＣと近似した色の代表色ＦＣを有することが好ましい。そこで、第１の実施例では、代表色ＲＣ，ＦＣを近似した色とするため、ＰＣＣＳ色相環で代表色ＲＣの色相の±３０°の範囲の色が代表色ＦＣである装飾画像ＦＰが選択される。

例えば、図４に示されるように代表色ＲＣが二重丸で表される黄色Ｙの場合、色相が代表色ＲＣの色相の±３０°の範囲の色は図４の色相環で隣接する黄緑ＹＧと黄みがかったオレンジｙＯとの間の色となる。そこで、装飾画像選択部２３０（図２）は、色相がＦＣ１〜ＦＣ２の範囲の色を代表色ＦＣとする複数の装飾画像ＦＰを選択する。

選択指示取得部２４０は、入力画像ＩＰと選択された複数の修飾画像候補の組み合わせを提示し、ユーザによる選択指示の内容を受け取る。図３（ｂ）の例では、選択指示取得部２４０は、入力画像ＩＰと各修飾画像とを組み合わせたサムネイルを生成する。生成されたサムネイル画像は、ユーザインターフェース画面（ダイアログ）ＵＩ上に表示される。ユーザは、ダイアログＵＩ上に表示されたサムネイル画像を１つ選択する。そして、ユーザによる装飾画像ＦＰの選択結果は、選択指示取得部２４０に取り込まれる。

装飾画像選択部２３０は、選択指示取得部２４０によって取り込まれたユーザからの指示に従い、装飾画像ＦＰを画像合成部２７０に供給する。画像合成部２７０では、図３（ｃ）に示されるように、入力画像ＩＰに装飾画像ＦＰが付加された合成画像ＳＰが生成される。

図５、複数の入力画像から１つの出力画像を生成する様子を示すフローチャートである。また、図６は、その処理結果を示す説明図である。

ステップＳ４００では、入力画像取得部２１０は、入力画像データＧＤから複数の入力画像を取得する。そして、ステップＳ４０２では、代表色取得部２２０に供給された複数の入力画像から、各画像に対応する代表色が取得される。図６の例では、入力画像データＧＤから３つの入力画像ＩＰ１，ＩＰ２，ＩＰ３が取得され、それぞれ代表色取得部２２０と画像合成部２７０とに供給される。

ステップＳ４０４では、ユーザからの入力に基づいて入力画像ごとに装飾画像の模様を選択するか否かが判断される。入力画像ごとに装飾画像の模様を選択しない場合、ステップＳ４０６において、装飾画像選択部２３０は同一の模様で色が異なるような複数の装飾画像を選択する。一方、入力画像ごとに装飾画像の模様を選択する場合、Ｓ４３６において、装飾画像の色と模様は個々の入力画像ごとに選択される。

ステップＳ４０８においては、それぞれの代表色が同系色であるか否かの判断が行われる。ここで、「同系色」とは、ＨＳＶ色空間における色相値（Ｈ）の差が所定の範囲内（例えば３０°）に入っている色を言う。各代表色がすべて同系色の場合、統一感のある出力画像を生成するために、ステップＳ４２２に制御が移される。

図６は、３つの画像ＩＰ１〜ＩＰ３に同一模様の装飾画像ＦＰ１〜ＦＰ３が付加された例を示している。この例では、２つの画像ＩＰ１，ＩＰ２の代表色はそれぞれ空の青色であるが、３番目の画像ＩＰ３の代表色は花の赤色でありすべての代表色が同系色でないので制御はステップＳ４１０に移される。

ステップＳ４０８で各画像に対応する代表色が同系色でないと判断された場合、ステップＳ４１０では、ユーザからの入力に基づいて入力画像ごとに装飾画像の色を選択するか否かが判断される。入力画像ごとに装飾画像の色を選択しない場合、制御はステップＳ４２２に移される。一方、入力画像ごとに装飾画像の色を選択する場合、制御はＳ４１２に移される。

ステップＳ４１２では、装飾画像選択部２３０は、各入力画像の代表色それぞれに基づいて個々に色の異なる複数の装飾画像候補を表示し、ユーザに選択させる。一方、ステップＳ４２２では、装飾画像選択部２３０は、各入力画像の代表色のいずれとも違和感が生じない代表色を有する複数の装飾画像候補を表示し、ユーザに選択させる。

ステップＳ４１４では、画像合成部２７０において、複数の入力画像それぞれに選択された装飾画像が合成される。そして、ステップＳ４１６では、出力画像生成部２５０が合成された各画像を合成し、１つの出力画像が生成される。図６の例では、３つの入力画像ＩＰ１，ＩＰ２，ＩＰ３の周囲に装飾画像ＦＰ１，ＦＰ２，ＦＰ３がそれぞれ合成された合成画像が背景画像ＢＧの上に配置されている。この出力画像は必要に応じて画質調整がなされた後、印刷データＰＤとしてプリンタ１４０に出力される。

このように、第１の実施例では、入力画像ＩＰの代表色ＲＣと装飾画像ＦＰの代表色ＦＣに基づいて、入力画像に相応しい装飾画像候補が多数の装飾画像の中から選択される。そのため、装飾画像を選択するユーザの負担を小さくするとともに好ましい出力結果を得ることができる。

なお、第１の実施例では、平均色をＲＧＢ各成分の平均値を各成分とする色としているが、平均色の輝度は入力画像ＩＰの目立ちやすい部分の輝度よりも低くなる。そのため、平均色の算出時には、平均色の輝度値に所定の補正値を加えることが好ましい。輝度の補正は、平均色算出による輝度の低下が補正できればよい。例えば、平均色の輝度と入力画像ＩＰの平均輝度とがほぼ同じとなるような一定の補正値を、各平均色の輝度値に加えるものとしても良い。また、各平均色の輝度値に応じて、補正値を加えるようにしても良い。

Ｂ．第２実施例：
図７は、第２の実施例における代表色取得の様子を示すフローチャートである。また、図８は、その処理内容を示す説明図である。第２の実施例では、入力画像ＩＰの代表色ＲＣの取得方法が第１の実施例と異なっている。なお、他の構成および機能については第１の実施例とほぼ同一であるので、ここではその説明を省略する。

入力画像ＩＰの代表色ＲＣの取得は、前処理のステップＳ１００と、画像解析のステップＳ２００と、代表色決定のステップＳ３００との各ステップを順次実行することにより実現される。ステップＳ１００では、入力画像ＩＰは画像解析に適した個数の領域（以下、「ブロック」と呼ぶ）に分割される。そして、ステップＳ２００では入力画像ＩＰは分割されたブロックごとに解析され、ステップＳ３００ではステップＳ２００での解析結果に基づいて代表色ＲＣが決定される。

ステップＳ１１０では、入力画像ＩＰの画像サイズが取得され、取得された入力画像ＩＰのサイズに応じてブロックサイズを決定される。ブロックサイズは、入力画像ＩＰの水平方向の画素数と垂直方向の画素数のうちより小さい値を求め、画像処理装置２００に設けられた画素数とブロックサイズの対応表を参照することにより決定される。図８（ａ）の例では、画像ＩＰ全体が７×６個のブロックに分割されている。この分割直後のブロックを、「原ブロック」とも呼ぶ。なお、この明細書等において、「サイズ」とは水平方向の画素数と垂直方向の画素数で表される画像の大きさを意味する。

ステップＳ１１２では、入力画像ＩＰは、ステップＳ１１０で決められたブロックサイズで分割される。そして、分割されたすべてのブロックについて各ブロックに含まれる画素の平均色が算出され、この平均色が各ブロックが有する色（以下、「ブロック色」という）とされる。図８（ａ）は、各ブロックごとにブロック色（アルファベット１文字と数字１文字）が算出された様子を示している。なお、図８においては、２文字で表されるブロック色の第１文字目が同一のブロック色は同系色であるものとし、ブロック色の第１文字目が異なるブロック色は同系色でないものとする。本実施例において、同系色とは、ＨＳＶ色空間における色相値（Ｈ）の差が所定の範囲内（例えば３０°）に入っている色を言う。

前処理のステップＳ１００において入力画像ＩＰから分割生成された各ブロックは、画像解析のステップＳ２００において順次画像解析が行われる。画像解析は、ブロック色が同系色であるような隣接ブロックを結合し、結合されたブロックに属する原ブロックの数を求めることによって行われる。

ステップＳ２１０では、解析対象となるブロック（以下、「対象ブロック」と呼ぶ）がすでに結合済みのブロックであるかの判断を行う。対象ブロックが結合済みであった場合、制御はステップＳ２１８に移される。一方、対象ブロックが結合済みでなかった場合には、対象ブロックの解析を行うため制御はＳ２１２に移される。図８（ａ）の例では、ブロックＬ１１は、ブロック分割後の最初の対象ブロックであるので、ブロックの結合はなされていない。そのため、ブロックＬ１１は、ステップＳ２１２以降のステップで解析される。

ステップＳ２１２では、対象ブロックのブロック色と対象ブロックに隣接するブロックのブロック色が同系色であるか否かが判断される。そして、対象ブロックのブロック色と隣接ブロックのブロック色が同系色の場合（このときの隣接ブロックを「近似ブロック」と呼ぶ）、ステップＳ２１４においてブロックの結合処理がなされる。また、対象ブロックのブロック色と隣接ブロックのブロック色が同系色でない場合には、制御はステップＳ２１８に移される。

図８（ａ）の例では、対象ブロックＬ１１とそれに隣接するブロックＬ１２，Ｌ２１とのブロック色が同系色であるか否かが判断される。ブロックＬ１２は、対象ブロックＬ１１と近似しないブロック色Ｒ２を有するので近似ブロックでなくブロック結合の対象とならない。一方、ブロックＬ２１は、対象ブロックＬ１１と同一のブロック色Ｇ１を有するのでブロック結合の対象である近似ブロックであると判断される。

ステップＳ２１４では、対象ブロックと近似ブロックを結合し、単一のブロックを生成する。そして、ステップＳ２１６において、結合されたブロックの平均色が算出される。結合されたブロックの平均色は、対象ブロックと近似ブロックとのＲＧＢ各成分を対象ブロックと近似ブロックのそれぞれに属する原ブロック数で重み付けした平均値をＲＧＢ各成分とする色である。

図８（ｂ）の例では、対象ブロックＬ１１と近似ブロックＬ２１は、一つのブロックＣＬ１に結合される。この、結合ブロックＣＬ１のブロック色は、原ブロックＬ１１，Ｌ２１が有するブロック色の平均色とされる。なお、図８（ｂ）では、ブロックＣＬ１の原ブロックＬ１，Ｌ２が有するブロック色は同一色Ｇ１であるので、結合ブロックＣＬ１のブロック色はＧ１となる。

ブロックが結合された後、制御はステップＳ２１２に戻される。そして、結合されたブロックを対象ブロックとして、その隣接ブロックのブロック色が対象ブロックのブロック色と同系色であるか否かが判断される。そして、隣接ブロックのブロック色が対象ブロックのブロック色の同系色でなくなるまで、ステップＳ２１２，Ｓ２１４，２１６は繰り返し実行される。

図８（ｃ）は、ブロックＣＬ１に隣接しブロック色Ｇ２を有するブロックＬ２２がさらに結合される様子を示している。図８（ｃ）に示されるように、ブロックＣＬ１の近似ブロックＬ２２はさらに結合され、一つの結合ブロックＣＬ１ａを形成する。この結合ブロックＣＬ１ａのブロック色は、ブロック色Ｇ１，Ｇ２のＲＧＢ各成分を２対１で重み付けした平均値をＲＧＢ各成分とする色ＧＡとされる。

対象ブロックと隣接ブロックのブロック色が同系色でない場合には、ステップＳ２１８が実行される。ステップＳ２１８では、未解析のブロックの有無が判断される。未解析のブロックがあった場合には、ステップＳ２２０によって未解析のブロックを次の対象ブロックとする。そして、未解析のブロックを解析するため、ステップＳ２１０が実行される。

ブロック結合の処理を繰り返すことにより、原ブロック（図８（ａ））は、図８（ｄ）に示されるように再構成される。なお、図８（ｄ）では、アルファベット２文字で表されているブロック色は、ブロックの結合の際に求められた重み付けされた平均色を表している。

ステップＳ２１８において、未解析のブロックがないと判断された場合は、制御はステップＳ３１０に移される。ステップＳ３１０では、結合された各ブロックについての各ブロックに属する原ブロックの数のヒストグラムが生成される。そして、ステップＳ３１２では、生成されたヒストグラムを参照することにより、原ブロック数が上位である所定数のブロックが選択される。そして、選択された所定数のブロックのブロック色が入力画像ＩＰの代表色とされる。なお本実施例では選択するブロックの数は１としているが、２以上の任意の数に設定することができる。

図８（ｅ）は、結合されたブロックごとに、属する原ブロック数をヒストグラムに表したものである。この例では、図８（ｅ）に示されるように、原ブロック数が最大となるブロックは、ブロック色ＲＢを有するブロックである。そして、原ブロック数が最大であるブロックのブロック色ＲＢが、入力画像ＩＰの代表色ＲＣとなる。

この第２の実施例における代表色取得方法によれば、入力画像ＩＰの色相が異なる領域の色をそれぞれ検出できる。そのため、入力画像の特徴をより的確に表す代表色を抽出できる。

Ｃ．第３実施例：
図９は、第３の実施例における代表色取得の様子を示すフローチャートである。また、図１０は、その処理内容を示す説明図である。第３の実施例の画像解析のステップＳ２０２は、ブロック結合処理のステップＳ２１０，Ｓ２１２，Ｓ２１４，Ｓ２１６（図７）に替えてカテゴリ分類のステップＳ２２２が実行される点で第２の実施例の画像解析のステップＳ２００（図７）と異なっている。また、第３の実施例の代表色決定のステップＳ３０２は、カテゴリ分類の結果に基づいて代表色が決定される点で第２の実施例の代表色決定のステップＳ３００（図７）と異なっている。なお、他の構成および機能については第２の実施例とほぼ同一であるので、ここではその説明を省略する。

ステップ２２２では、カテゴリ分類の指標となるＨＳＶ色空間における色相値（Ｈ）を求めるため、対象ブロックのブロック色がＨＳＶ色空間に変換される。そして、求められた色相値（Ｈ）から対象ブロックのブロック色が属するカテゴリが決定される。具体的には、色相値（Ｈ）のとりうる範囲を同一幅に分割した各範囲を１つのカテゴリとし、ブロック色の色相値（Ｈ）がどの範囲に入るかによって属するカテゴリが決定される。

図１０の例では、各ブロックはブロック色の色相値（Ｈ）に基づいて６つのカテゴリＲ，Ｙ，Ｇ，Ｃ，Ｂ，Ｍに分類される。例えば、ブロック色Ｒ１，Ｒ２，Ｒ３，Ｒ４を有するブロックはカテゴリＲに分類される。なお、図１０（ａ）のグラフの周方向は色相値（Ｈ）を表しており、半径方向はブロック色ごとのブロック数を表している。例えば、一番内側の円（破線）上にある点は、ブロック数が２であることを示している。

ステップＳ３２２では、図１０（ｂ）に示されるように、各カテゴリごとに属するブロック数のヒストグラムが作成される。そして、作成されたヒストグラムを基に、属するブロック数が上位所定数（１以上の任意の整数）のカテゴリ（以下、「上位カテゴリ」と呼ぶ）が選択され、上位カテゴリに属するブロックが選択される。

次に、ステップＳ３２４では、上位カテゴリごとに属するブロックの平均色が求められる。そして、上位カテゴリごとに求められた平均色が入力画像ＩＰの代表色ＲＣとされる。図１０の例では、カテゴリに属するブロック数が最大となるカテゴリは、色相Ｒのカテゴリである。そこで入力画像ＩＰの代表色ＲＣは、色相Ｒのカテゴリに属するブロック色Ｒ１，Ｒ２，Ｒ３，Ｒ４を有するブロックの平均色となる。

この第３の実施例における代表色の取得方法によれば、第２の実施例における代表色取得方法よりもブロック数が多い場合の代表色取得に必要な計算時間が短縮できるので好ましい。一方、第２の実施例における代表色取得方法では、代表色に近似する色が入力画像ＩＰ中に占める面積が容易に取得できる点で第３の実施例よりも好ましい。

なお、本実施例においては、ブロックをブロック色の色相値（Ｈ）がカテゴリの色相値（Ｈ）の範囲に含まれるカテゴリに分類しているが、他の分類規則に基づいてブロックをカテゴリ分類することもできる。例えば、各ブロックの色を３次元色空間に配置し、いわゆるクラスタリング処理を実行することによって複数のカテゴリに分類しても良い。

Ｄ．第４実施例：
図１１は、第４の実施例における代表色取得の様子を示すフローチャートである。また、図１２は、その処理内容を示す説明図である。第４の実施例は、代表色決定のステップＳ３０４にカテゴリを再分類するステップＳ３３０が付加され、再分類されたカテゴリに基づいて代表色決定に用いられるブロックが選択される（ステップＳ３３２）点で第３の実施例と異なっている。なお、他の構成および機能については第３の実施例とほぼ同一であるので、ここではその説明を省略する。

図１２の例では、第３の実施例と同様に、各ブロックはブロック色の色相値（Ｈ）に基づいてカテゴリＴ１〜Ｔ７２に分類される。このカテゴリの境界は、破線で示されている。なお、カテゴリの色相値の範囲は５°である。そして、各カテゴリごとに、カテゴリに属するブロック数が求められる。なお、第４の実施例では、カテゴリの再分類を行うため、第３の実施例のカテゴリよりも細分されたカテゴリを用いている。

ステップＳ３３０では、画像解析のステップＳ２０２で得られたカテゴリ分類の結果から、各カテゴリ（以下、これらのカテゴリを「原カテゴリ」と呼ぶ）に属するブロック数がほぼ同数のカテゴリにブロックが再分類される。具体的には、属するブロック数が最大である原カテゴリを選択し、その原カテゴリに隣接する原カテゴリを結合する。カテゴリの結合は、結合カテゴリに属するブロック数があらかじめ定められたブロック数に到達するまで繰り返し実行される。そして、結合カテゴリに属するブロック数が所定の数となった場合には、結合カテゴリに隣接するカテゴリからカテゴリの結合が行われる。

図１２では、結合カテゴリに属するブロック数が８個となるように再分類（実線で示す）を行っている。なお、図１２の例では、属するブロック数が最大であるカテゴリは、色Ｒ１を含む原カテゴリＴ１（ＣＴ１）である。原カテゴリＴ１に属するブロック数は８個であるので、隣接する原カテゴリＴ２は結合されない。

次に、原カテゴリＴ１に隣接する原カテゴリＴ２は、属するブロック数が６個であるので原カテゴリＴ３が結合される。原カテゴリＴ２，Ｔ３が結合されたカテゴリに属するブロック数は６個であるので、この結合カテゴリに原カテゴリＴ４が結合される。同様にして、原カテゴリＴ２〜Ｔ９までが結合されることにより、属するブロック数が８個の結合カテゴリＣＴ２が生成される。同様にして、原カテゴリＴ１からＴ７２から結合カテゴリＣＴ１〜ＣＴ５が生成され、原カテゴリに属する各ブロックは結合カテゴリＣＴ１〜ＣＴ５に再分類される。

なお、隣接する原カテゴリを結合したときに結合カテゴリに属するブロック数が所定の値を超える場合には、隣接カテゴリ結合前と結合後のブロック数がより所定の値に近くなるように結合の可否が判断される。図１２の例では、原カテゴリＴ１０〜Ｔ１３が結合された結合カテゴリに属するブロック数は３個であり、原カテゴリＴ１０〜Ｔ１４が結合された結合カテゴリに属するブロック数は７個である。そのため、原カテゴリＴ１０〜Ｔ１３が結合された結合カテゴリに原カテゴリＴ１４が結合され、結合カテゴリＣＴ３が生成される。

ステップＳ３３２では、結合カテゴリに属するブロックの分散を示す指標として、各カテゴリの色相値（Ｈ）の範囲が算出される。そして、算出された色相値の範囲が狭い所定数（１以上の任意の整数）のカテゴリが選択され、選択されたカテゴリに属するブロックが選択される。

図１２の例では、結合カテゴリに属するブロックのブロック色色相値（Ｈ）の分散が最小の結合カテゴリは、カテゴリＣＴ１である。そこで入力画像ＩＰの代表色ＲＣは、結合カテゴリＣＴ１に属するブロック色の平均色、すなわちＲ１となる。なお、結合カテゴリに属するブロックの分散を示す指標としては、ブロックの平均色の標準偏差などを利用することもできる。一般には、各ブロックの色を所定の色空間に配置したときの色空間内における分散を示す何らかの指標を用いて代表色を決定する際のカテゴリを選択することが可能である。

この第４の実施例における代表色の取得方法によっても、第２の実施例における代表色取得方法よりもブロック数が多い場合の代表色取得に必要な計算時間が短縮できるので好ましい。

Ｅ．第５実施例：
図１３は、第５の実施例における画像処理装置２００ａの構成を示すブロック図である。第１の実施例における画像処理装置２００（図２）とは、装飾画像選択部２３０ａがキーワード設定部２３２を備えている点で異なっている。なお、他の構成および機能については第１の実施例とほぼ同一であるので、ここではその説明を省略する。

キーワード設定部２３２は、入力画像ＩＰの代表色ＲＣと装飾画像ＦＰの代表色ＦＣとの組み合わせを特徴づける所定のキーワードをユーザに提示し、キーワードを指定するユーザの入力を受け取る機能を有している。

装飾画像選択部２３０ａは、第１の実施例と同様に、複数の装飾画像それぞれの代表色を取得する。装飾画像選択部２３０ａは、入力画像ＩＰの代表色ＲＣとキーワードＫＷに基づいて望ましい装飾画像の代表色（以下、「最適色」と呼ぶ）を決定する。そして、決定された最適色に近似する代表色ＦＣを有する修飾画像ＦＰが選択される。

図１４は、入力画像ＩＰの代表色ＲＣとキーワードＫＷに基づいて最適色を決定する様子を示す説明図である。図１４（ａ）は、ＰＣＣＳによるトーン分類図を表している。図１４（ａ）の円で囲まれた領域である各トーンにはそのトーンに属する色を特徴づけるトーン名が付与されている。なお、図１４（ａ）では、各トーンのトーン名がアルファベット１ないし４文字で表される略号で表されている。

図１４（ｂ）は、ＰＣＣＳによるトーンとそれに対応するキーワードの表である。図１４（ｂ）の表の左側の列は、先に述べたトーンの略号とトーン名を示している。また、図１４（ｂ）の表の右側の列は、各トーンを特徴づけるキーワードを示している。キーワード設定部２３２（図１３）は、この表に示されたキーワードをユーザに提示し、ユーザにキーワードＫＷを指定させる。

例えば、指定されたキーワードＫＷが「かわいい」であった場合、図１４（ｂ）の表からキーワードＫＷに対応するトーンである「ペール」が選択される。キーワードＫＷに対応するトーン「ペール」は、図１４（ａ）のトーン分類図においては斜線部の領域となる。一方、代表色取得部２２０（図１３）により取得された入力画像ＩＰの代表色ＲＣのトーンが例えば「ストロング」であった場合、代表色ＲＣのトーンは図１４（ａ）のトーン分類図において二重円で囲まれた領域となる。

上述の通り、入力画像ＩＰの代表色ＲＣと装飾画像ＦＰの代表色ＦＣは近い方が好ましいので、代表色ＲＣのトーンに隣接するトーンのうちキーワードＫＷに対応するトーンと同一か近いトーンに属する色が最適色とされる。図１４（ｂ）の例では、最適色は、代表色ＲＣに隣接するトーンのうちキーワードＫＷに対応するトーンに近いトーン「ソフト」に属する色に決定される。

なお、第５の実施例においては、トーンに関するキーワードＫＷと入力画像ＩＰの代表色ＲＣとに基づいて最適色を決定しているが、代表色ＲＣ，ＦＣの組み合わせを特徴づけるキーワードであれば最適色の決定に使用できる。例えば、配色とキーワードとの対応関係を心理学的に分析し、その分析結果に基づいて作成されたデータを使用することもできる。なお、このような配色とキーワードとを関係づけるデータとしては、例えば「カラーイメージスケール」（小林重順著、２００１年１１月、講談社発行）等が利用できる。

このように、第５の実施例では、ユーザにキーワードを指定させ、指定されたキーワードに基づいて装飾画像候補を選択する。これにより、装飾画像選択部２３０ａは、ユーザが入力画像に対して有している印象に応じて装飾画像候補を選択することができる。

Ｆ．第６実施例：
図１５は、第６の実施例における画像処理装置２００ｂの構成を示すブロック図である。第１の実施例における画像処理装置２００（図２）とは、装飾画像選択部２３０ｂが指示記録部２３４を備えている点で異なっている。なお、他の構成および機能については第１の実施例とほぼ同一であるので、ここではその説明を省略する。

第６の実施例では、装飾画像選択部２３０ｂは、入力画像ＩＰの代表色ＲＣと装飾画像格納部２６０から読み出された指示履歴ＣＨとに基づいて装飾画像を選択する。そして、入力画像ＩＰに付加される装飾画像ＦＰは、選択指示取得部２４０によって取得されたユーザの指示に従って決定される。

指示記録部２３４は、ユーザによる指示内容から、ユーザが選択した装飾画像ＦＰの代表色ＦＣと入力画像ＩＰの代表色ＲＣがどのような関係にあるかを表す指示情報を取得する。この取得された指示情報に基づいて、指示記録部２３４は指示履歴ＣＨを更新する。更新された指示履歴ＣＨは、装飾画像格納部２６０に記録される。

なお、指示履歴ＣＨとして記録される指示情報としては、代表色ＲＣ，ＦＣの配色がどのような関係にあるかが分かる情報であればよい。例えば、色相、彩度、明度、トーンの各パラメータごとに、代表色ＲＣ，ＦＣが近似するか否かという情報を用いることができる。また、代表色ＲＣ，ＦＣの配色と対応づけられたキーワードも、指示履歴ＣＨとして記録される指示情報として用いることができる。

例えば、指示履歴ＣＨにユーザーが代表色ＲＣと色相が近い代表色ＦＣを有する装飾画像ＦＰを選択したという情報が記録されている場合、装飾画像選択部２３０ｂは、代表色ＲＣと色相が近い代表色ＦＣを有する装飾画像候補を選択する。一方、指示履歴ＣＨにユーザーが代表色ＲＣの対照色相の代表色ＦＣを有する装飾画像ＦＰを選択したという情報が記録されている場合、装飾画像選択部２３０ｂは、代表色ＲＣの対照色相の代表色ＦＣを有する装飾画像候補を選択する。

この第６の実施例の装飾画像選択部２３０ｂによれば、選択される装飾画像候補はユーザの好みを反映する。そのため、ユーザは、ユーザ自身が好む装飾画像候補の中から装飾画像を選ぶことができるので、小さい負担で好ましい装飾画像を選択することができる。

Ｇ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｇ１．変形例１：
上記各実施例では、画像処理装置２００，２００ａ，２００ｂは、複数の装飾画像データが格納された装飾画像格納部２６０を備えるものとしているが、装飾画像格納部２６０はインターネットなどのコンピュータネットワークに接続されたサーバなどに設けられていても良い。

Ｇ２．変形例２：
上記各実施例では、装飾画像ＦＰの代表色ＦＣが装飾画像データにタグ情報として埋め込まれているものとしているが、各装飾画像の代表色ＦＣは装飾画像選択部２３０が取得可能なデータであればよい。例えば、各装飾画像の代表色ＦＣは、各装飾画像と関連づけられた代表色ＦＣのデータベースとして装飾画像格納部２６０に格納されていても良い。また、上述の代表色取得部２２０と同様に、装飾画像格納部２６０に格納された装飾画像を解析することにより代表色ＦＣを取得するものとしても良い。

Ｇ３．変形例３：
上記各実施例では、ブロックサイズが画像サイズに応じて決定されるものとしているが、ブロックサイズとしてはブロック数が画像の解析に適した数となれば良い。例えば、ブロックサイズとしては、画像サイズにかかわらず一定のサイズとされていても良い。また、ブロック数が画像の解析に適していれば、ブロックが１画素のみを有しているものとしても良い。

Ｇ４．変形例４：
上記第１実施例では、入力画像ＩＰの全画素の平均色を代表色ＲＣとしているが、代表色は入力画像ＩＰを特徴づける色であればよい。例えば、入力画像ＩＰの全画素について、ＲＧＢ各成分のヒストグラムの面積を二分する値をＲＧＢ成分とする色（本明細書等において、「中間色」と呼ぶ）を求め、求められた中間色を代表色ＲＣとしてもよい。さらに、入力画像ＩＰの全画素について、出現頻度が最大であるＨＳＶ各成分値をＨＳＶ成分とする色（本明細書等において、「最大出現頻度色」と呼ぶ）を求め、求められた最大出現頻度色を代表色ＲＣとしてもよい。

また、上述の代表色取得部２２０は、入力画像ＩＰの全画素から代表色ＲＣを決定しているが、全画素の平均輝度よりも輝度が高い画素についてから代表色ＲＣを決定しても良い。輝度の高い領域は輝度の低い領域よりも誘目性が高いので、入力画像ＩＰを特徴づける代表色ＲＣは、入力画像ＩＰのうち輝度が高い領域の色に基づいて決定されることがより好ましい。一方、平均輝度の算出と各画素ごとの平均輝度との比較が不要になり画像処理が容易となる点で、入力画像ＩＰの全画素から代表色ＲＣを決定する方法がより好ましい。

Ｇ５．変形例５：
上記各実施例では、代表色ＲＣ，ＦＣが１色のみを有しているものとして説明したが、代表色ＲＣ，ＦＣの少なくとも一方が複数の色を有していても良い。この場合、装飾画像選択部２３０は、複数の装飾画像候補として、入力画像の複数の代表色ＲＣ中の任意の１色と装飾画像の複数の代表色ＦＣ中の任意の１色との組み合わせが望ましいときに、その装飾画像を選択する。

Ｇ６．変形例６：
上記各実施例では、装飾画像選択部２３０，２３０ａ，２３０ｂは、入力画像のＩＰの代表色ＲＣに色相が近似する色を代表色ＦＣに有する装飾画像ＦＰが選択するものとしているが、入力画像ＩＰとの組み合わせが違和感を生じない装飾画像ＦＰが選択できればよい。例えば、代表色ＲＣの彩度または明度が近い色を代表色ＦＣとする装飾画像ＦＰを選択しても良く、トーンが代表色ＲＣのトーンに近い色を代表色ＦＣとする装飾画像ＦＰを選択しても良い。

また、入力画像ＩＰの平均輝度が所定値以上の場合に、代表色ＦＣが代表色ＲＣよりも輝度が低い装飾画像ＦＰを選択するものとしても良い。また、入力画像ＩＰの平均輝度が所定値以下の場合に、代表色ＦＣが代表色ＲＣよりも輝度が高く彩度が低い装飾画像ＦＰを選択するものとしても良い。さらに、入力画像ＩＰの代表色ＲＣの彩度が高い場合には、代表色ＦＣの彩度が代表色ＲＣよりも低い装飾画像ＦＰを選択するものとしても良い。

Ｇ７．変形例７：
上記各実施例では、代表色の類比判断等に、ＲＧＢ各成分値やＨＳＶ各成分値やＰＣＣＳによる色相環上の色相値を用いているが、平均色の算出や色の類比判断等に適当であれば任意の表色系の成分値を用いても良い。

Ｇ８．変形例８：
上記各実施例では、ユーザが複数の装飾画像候補から入力画像ＩＰに付加される装飾画像ＦＰを選択しているが、ユーザに複数の装飾画像候補を提示して選択させずに、装飾画像選択部２３０が自動的に１つの装飾画像ＦＰを選択するようにしても良い。

本発明の一実施例としての画像処理システム１００を示す説明図。 第１の実施例における画像処理装置２００の構成を示すブロック図。 １つの入力画像ＩＰに装飾画像ＦＰを付加する様子を示す説明図。 入力画像ＩＰの代表色ＲＣに基づいて装飾画像ＦＰを選択する様子を示す説明図。 複数の入力画像から１つの出力画像を生成する様子を示すフローチャート。 複数の入力画像から１つの出力画像が生成された結果を示す説明図。 第２の実施例における代表色取得の様子を示すフローチャート。 第２の実施例における代表色取得の処理内容を示す説明図。 第３の実施例における代表色取得の様子を示すフローチャート。 第３の実施例における代表色取得の処理内容を示す説明図。 第４の実施例における代表色取得の様子を示すフローチャート。 第４の実施例における代表色取得の処理内容を示す説明図。 第５の実施例における画像処理装置２００ａの構成を示すブロック図。 入力画像ＩＰの代表色ＲＣとキーワードＫＷに基づいて最適色を決定する様子を示す説明図。 第６の実施例における画像処理装置２００ｂの構成を示すブロック図。

符号の説明

１００...画像処理システム
１１０...デジタルスチルカメラ
１２０...パーソナルコンピュータ
１４０...カラープリンタ
２００，２００ａ，２００ｂ...画像処理装置
２１０...入力画像取得部
２２０...代表色取得部
２３０，２３０ａ，２３０ｂ...装飾画像選択部
２３２...キーワード設定部
２３４...指示記録部
２４０...選択指示取得部
２５０...出力画像生成部
２６０...装飾画像格納部
２７０...画像合成部

Claims (8)

1. 装飾画像を個々の入力画像に付加する画像処理装置であって、
   複数の装飾画像を格納する装飾画像格納部と、
   前記入力画像を解析することによって前記入力画像の代表色を取得する代表色取得部と、
   前記代表色に基づいて、前記複数の装飾画像から前記入力画像に付加する装飾画像を選択する装飾画像選択部と、
   を備え、
   前記装飾画像選択部は、
   前記入力画像の代表色に基づいて複数の装飾画像候補を選択し、前記複数の装飾画像候補の中から１つの装飾画像をユーザに選択させるための選択画面を表示部に表示する選択指示取得部と、ユーザによる装飾画像選択に関する指示の履歴を記録する指示記録部と、を備え、
   前記入力画像の代表色と前記装飾画像の代表色と前記指示の履歴とに基づいて前記複数の装飾画像候補を選択する、画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記装飾画像格納部は、各装飾画像の代表色を示す情報を有している、画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記代表色取得部は、前記入力画像の画素が平均輝度以上の画素の色から前記入力画像の代表色を算出する、画像処理装置。
4. 請求項１または請求項２に記載の画像処理装置であって、
   前記代表色取得部は、
   前記入力画像を複数のブロックに分割し、前記ブロックに含まれる画素の色を特徴づけるブロック色を算出するブロック分割部と、
   前記ブロック色が同系色である隣接する前記ブロックを結合し、前記結合されたブロックのブロック色を前記隣接するブロックのブロック色から算出するブロック結合部と、
   結合されたブロックに属する結合前のブロック数を算出し、前記結合前のブロック数が上位である所定数の結合ブロックのブロック色を代表色とする代表色決定部と、
   を備える、画像処理装置。
5. 請求項１または請求項２に記載の画像処理装置であって、
   前記代表色取得部は、
   前記入力画像を複数のブロックに分割し、前記ブロックに含まれる画素の色を特徴づけるブロック色を算出するブロック分割部と、
   前記ブロック色についての所定の分類規則に基づいて、前記ブロックをカテゴリ分類するカテゴリ分類部と、
   前記カテゴリに属するブロック数が上位である所定数のカテゴリを選択するカテゴリ選択部と、
   前記選択されたカテゴリに属するブロックのブロック色から、代表色を算出する代表色算出部と、
   を備える、画像処理装置。
6. 請求項１または請求項２に記載の画像処理装置であって、
   前記代表色取得部は、
   前記入力画像を複数のブロックに分割し、前記ブロックに含まれる画素の色を特徴づけるブロック色を算出するブロック分割部と、
   前記複数のブロックを前記ブロック色に関する所定の色空間内に配置するとともに、所定の分類規則に基づいて前記複数のブロックをほぼ同数のブロックが属するカテゴリに分類するカテゴリ分類部と、
   各カテゴリに属するブロックの前記色空間内における分散を示す指標が小さな所定数のカテゴリを選択するカテゴリ選択部と、
   前記選択されたカテゴリに属するブロックのブロック色から、代表色を算出する代表色算出部と、
   を備える、画像処理装置。
7. 装飾画像を個々の入力画像に付加する画像処理方法であって、コンピュータを、
   複数の装飾画像を格納する装飾画像格納手段と、
   前記入力画像を表す画像データを解析することによって前記入力画像の代表色を取得する代表色取得手段と、
   前記代表色に基づいて、複数の装飾画像から前記入力画像に付加する装飾画像を選択する装飾画像選択手段と、して機能させる画像処理方法であり、
   前記装飾画像選択手段は、
   前記入力画像の代表色に基づいて複数の装飾画像候補を選択し、前記複数の装飾画像候補の中から１つの装飾画像をユーザに選択させるための選択画面を表示部に表示する選択指示取得手段と、
   ユーザによる装飾画像選択に関する指示の履歴を記録する指示記録手段と、を含み、
   前記装飾画像選択手段は、前記入力画像の代表色と前記装飾画像の代表色と前記指示の履歴とに基づいて前記複数の装飾画像候補を選択する、
   画像処理方法。
8. 装飾画像を個々の入力画像に付加する画像処理プログラムであって、コンピュータを、
   複数の装飾画像を格納する装飾画像格納手段と、
   前記入力画像を表す画像データを解析することによって前記入力画像の代表色を取得する代表色取得手段と、
   前記代表色に基づいて、複数の装飾画像から前記入力画像に付加する装飾画像を選択する装飾画像選択手段と、して機能させる画像処理プログラムであり、
   前記装飾画像選択手段は、
   前記入力画像の代表色に基づいて複数の装飾画像候補を選択し、前記複数の装飾画像候補の中から１つの装飾画像をユーザに選択させるための選択画面を表示部に表示する選択指示取得手段と、
   ユーザによる装飾画像選択に関する指示の履歴を記録する指示記録手段と、を含み、
   前記装飾画像選択手段は、前記入力画像の代表色と前記装飾画像の代表色と前記指示の履歴とに基づいて前記複数の装飾画像候補を選択する、
   画像処理プログラム。

Images