JP4415699B2 - シームレステクスチャの合成方法、画像合成プログラム、画像合成システム - Google Patents

Description

本発明は、建築物等の内装に用いられる建材用印刷物に印刷する画像を合成する画像合成装置に関し、特に、画像のつなぎ目が目立たないような画像を合成するシームレステクスチャの合成方法、画像合成プログラム、画像合成システムに関する。

従来から、床、壁、天井などの建材等を内装に用いる際、その表面には抽象柄等の柄が印刷されたり、その柄を化粧シートに印刷し貼り付けられる。ここで、内装品に印刷される用いられる画像は、画像を複数枚つなぎ合わせて一つの大きな画像が合成され、この合成された画像が印刷される。この際、印刷される画像は、内装に用いられることから、一般に画像のつなぎ目が目立たないことや、柄癖が目立たないことが、自然な仕上がりや見栄えがよい点において望ましい。

このような抽象柄を得るために、従来の合成方法においては、画像を重ね合わせて合成画像を得る際に、例えば、画像を重ね合わせる際に繋ぎ目が目立たないように合成する方法（例えば、特許文献１、２、３参照）が提供されている。
特開２００３−３１７０８９号公報 特開２００３−３１７０９０号公報 特開２００３−３１９１６５号公報

しかしながら、特許文献１、２、３に示す画像合成方法においては、２つの画像を繋ぎ合わせる合成方法が開示されているものの、出力画像を得るために、１枚の出力画像を連続して繋ぎ合わせた場合については具体的には開示されていない。従って、出力画像を繋ぎ合わせた場合、その境界部分において周期的なテクスチャパターン（柄ぐせ）が現れてしまう場合がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、出力画像を複数連続して出力する場合においても、出力画像同士の繋ぎ目が目立たないようにすることができるシームレステクスチャの合成方法、画像合成プログラム、画像合成システムを提供することにある。
また、本発明は、パッチを出力画像にタイリングする際に、各パッチ間の繋ぎ目が目立たないようにタイリングするシームレステクスチャの合成方法、画像合成プログラム、画像合成システムを提供することにある。

上述した課題を解決するために、本発明は、入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成するテクスチャ合成法において、出力画像の外周部からパッチをタイリングすることを特徴とする。

また、本発明は、入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成するテクスチャ合成法において、出力画像の外周部から内部までフェザーリング法かつイメージキルティング法、または、フェザーリング法かつグラフカット法によりパッチをタイリングすることを特徴とする。

また、本発明は、入力画像からランダムに類似度の高いパッチを選択して外周部からタイリングし出力画像を生成するテクスチャ合成方法において、最外周部のパッチをフェザーリング法により貼り付け、内部のパッチを、フェザーリング法かつイメージキルティング法または、フェザーリング法かつグラフカット法によりタイリングすることを特徴とする。

また、本発明は、入力画像からランダムに類似度の高いパッチを選択して外周部からタイリングし出力画像を生成するテクスチャ合成方法において、最外周部のパッチを、イメージキルティング法により張り付け、内部のパッチを、フェザーリング法かつイメージキルティング法または、フェザーリング法かつグラフカット法によりタイリングすることを特徴とする。

また、本発明は、入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成する画像合成システムに用いられる画像合成プログラムであって、前記出力画像の外周部に前記パッチをタイリングする第１のタイリングステップと、前記第１のタイリングステップによって出力画像の外周部がタイリングされた後に、前記出力画像の内部に前記パッチをタイリングする第２のタイリングステップと、をコンピュータに実行させることを特徴とする。

また、本発明は、入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成する画像合成システムにおいて、前記出力画像の外周部に前記パッチをタイリングする第１のタイリング部と、前記第１のタイリング部によって出力画像の外周部がタイリングされた後に、前記出力画像の内部に前記パッチをタイリングする第２のタイリング部と、を有することを特徴とする。

以上説明したように、この発明によれば、入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成する場合に、出力画像の外周部からパッチをタイリングするようにしたので、類似度が高いパッチを、外周部にタイリングすることができ、これにより、タイル周辺（天地左右）のシームレス性を向上させることができる。

また、この発明によれば、出力画像の外周部から内部までフェザーリング法かつイメージキルティング法、または、フェザーリング法かつグラフカット法によりパッチをタイリングするようにしたので、パッチのタイリングの位置に応じた画像合成方法を適用することができ、これにより、パッチ同士の繋ぎ目をより目立ちにくくすることができる。

また、この発明によれば、最外周部のパッチをフェザーリング法により貼り付け、内部のパッチを、フェザーリング法かつイメージキルティング法または、フェザーリング法かつグラフカット法によりタイリングするようにしたので、シームレス性をさらに向上させ、高速化を図ることができる。

以下、本発明の一実施形態による画像合成システムを図面を参照して説明する。図１は、この発明の一実施形態による画像合成システム１の構成を示す概略ブロック図である。
この図において、画像合成システム１は、画像入力部１０から入力された入画像からパッチ抽出部２０によってランダムに類似度の高いパッチを選択して抽出し、タイリング部３０によってテクスチャの外周部からタイリングをしつつ、タイリングしたパッチとテクスチャに既にタイリングされた画像とが重なる部分について合成処理部４０によって順次画像合成し、テクスチャをテクスチャ出力部５０から出力する。以下、画像合成システム１の各部について説明する。

画像入力部１０は、サンプルとなる入力画像を入力する。この入力画像は、例えば、図２（ａ）に示すような画像であり、後述するテクスチャ出力部５０から出力するテクスチャを生成するための基本画像である。

パッチ抽出部２０は、画像入力部１０から入力された入力画像のなかから、テクスチャに貼り付ける画像の単位となるサイズの画像であるパッチを選択し、選択したパッチをタイリング部３０に出力する。ここでは、パッチは、例えば、図２（ａ）の符号ａに示すように、入力画像の中から所定のサイズで抽出され、図２（ｂ）に示すように、出力画像に貼り付けられることでテクスチャとして合成される。

また、パッチ抽出部２０は、パッチを選択する場合、出力画像として既に貼り付けられた画像と次に貼り付けるパッチとが重なる部分である境界領域内の各画素の画素値を比較し、類似度が高いパッチを入力画像の中から選択する。図３は、境界領域の一例を示す図面である。この図に示すように、境界領域は、図３（ａ）におけるパッチＢ１が出力画像に貼り付けられていた場合、そのパッチＢ１の一端と貼り付けるパッチＢ２の他端とが境界領域の幅を示す任意の画素数とが重ねられる領域である（図３（ｂ））。

ここでいう類似度とは、パッチ対応する画素同士の類似の度合いを示すものであり、以下に示す（１）式にて算出される。

ここでは、Ｎは境界領域の画素数である。ｐ_Ｂ１は重ね合わせる一方の画像の画素の画素値、ｐ_Ｂ２は重ね合わせる他方の画像のうち重ね合わせる一方の画像の画素に対応する画素の画素値である。ｉは、境界領域内における距離を示す座標を示す値である。具体的には、図４に示すように、パッチＢ１とパッチＢ２において、境界領域となる部分の符号ａで示す画素と符号ｂで示す画素が重ねられるので、符号ａで示す画素の画素値がｐ_Ｂ１、符号ｂで示す画素の画素値がｐ_Ｂ２として計算される。この類似度の計算は、境界領域内の画素毎に行われる。

類似度が高いか否かについては、下記に示す（２）式によって算出される閾値に基づいて決定される。

ここで、ｐ_ｏｕｔは、パッチＢ１とパッチＢ２の対応する画素における画素値の平均値であり、εは、０から１の任意の値である。そして、類似度ｄが閾値ｄ_ｍａｘ以下である場合に類似度が高いパッチとして選択される。この選択は、例えば、入力画像の中からランダムにパッチのサイズでパッチの候補として抽出し、類似度が高いか否かを参照し、類似度が高い場合にその候補のパッチを選択し、類似度が低い場合に再度入力画像の中から候補となるパッチを選択する。なお、類似度が閾値以下のパッチがない場合は、最も類似したパッチが選択される。また、ここでは、εの値を任意に変更することにより、類似度を度合いを変更することが可能である。

合成処理部４０は、フェザーリング処理部４１と、グラフカット処理部４２と、イメージキルティング処理部４３とから構成され、外周タイリング部３１、内部タイリング部３２からの画像合成指示に応じて、境界領域内の画像を合成する処理を行う。

フェザーリング処理部４１は、フェザーリング法による画像合成を行う。すなわち、フェザーリング処理部４１は、一方のパッチと他方のパッチの重なる画素において、境界領域の各ピクセル毎に各パッチの距離に比例した重みをつけて、画素値を算出する。ここでは、図５に示すように、フェザーリング処理部４１は、パッチＢ１とパッチＢ２とにおいて、画像合成した後の画素数Ｐを
Ｐ＝ｗ×Ｐ_Ｂ１＋（１−ｗ）×Ｐ_Ｂ２
なる式に基づいて算出する。ここでｗは、一方のパッチを基準にして決定される値であり、
ｗ＝（一方のエッジからの距離を示す画素の数）÷（境界領域の幅の画素の数）
これにより、一方のパッチと他方のパッチとが重なる画素のそれぞれについて、パッチのエッジからの距離に応じて両方の画素値を考慮しつつ画素を算出するようにしたので、エッジからの距離に比例した重みをつけて境界領域を混じり合わせることができ、これにより、パッチ同士についてスムーズなつなぎ合わせを行うことができる。

グラフカット処理部４２は、グラフカット法によって画像合成を行う。すなわち、グラフカット処理部４２は、一方のパッチと他方のパッチを重ねた際、隣り合う画素であって、それぞれの画素のパッチ同士が重なり合った各２つのピクセルの差を隣り合う画素のそれぞれを算出し、最小とする画素を各列選んでカット線を生成する。具体的には、図６を用いて説明する。この図６において、１〜９までの画素を境界領域としてパッチＡとパッチＢとを重ね合わせる場合、画素１に対して隣り合う画素４とについて、パッチＡとパッチＢのコストＭを下記の（３）式に基づいて計算する。

ここで、ｓは隣り合う画素のうち一方の画素における画素値、ｔは隣り合う画素のうち他方の画素における画素値である。したがって、図６における、画素１と画素４の間におけるコストＭは、画素１の位置におけるパッチＡの画素値とパッチＢにおける画素値の差と、画素４の位置におけるパッチＡの画素値とパッチＢにおける画素値の差との和によって算出される。このコストＭが最も少ないルートを通る境界線をカット線とし、パッチをカットして、パッチＡ、パッチＢとを繋ぎ合わせる。このように、隣接する２つのピクセルｎついてのコストを求めるようにしたので、パッチ間において画素値が近い部分で切り離すことができるので、繋ぎ合わせた場合に違和感を低減させることができ、精度を向上させることができる。

イメージキルティング処理部４３は、イメージキルティング法によって画像合成を行う。すなわち、イメージキルティング処理部４３は、重ね合わせる２つのパッチ上下両面像間の差が最も小さいカット線を検出し、検出したカット線にそってパッチを縫い合わせ（繋ぎ合わせ）する。ここで、下段ピクセル列に移って選択する時は前に選んだピクセルの下段の位置の３つのピクセルの中から差の最小のものを選択する。

図７は、イメージキルティング処理部４３の処理を説明するための図面である。この図において、境界領域の各画素には、座標値ｅ_ｉ，ｊが対応しており、各ｅ_０，ｊ（図７ではｊは０から５）から下方３ピクセルのうち、重なった境界領域の画素値の差（エラー）が最も小さいものを選択し、その選択された画素を基準として、下方３ピクセルのうちエラーが最も小さいものを選択する。この処理をｉが０になるまで（図７においては６から０まで）順次繰り返し、そのエラーの累計を計算して保存する（エラー曲面の谷の部分を通る線がカット線となる）。そして、そのエラー累計が最も小さいルートをカット線として決定する。ここでは、エラーが最小となるルートは、下記の（４）式によって算出される座標のいずれかを順次選択して決定される。
Ｅ_ｉ，ｊ＝ｅ_ｉ，ｊ＋ｍｉｎ（Ｅ_{ｉ−１，ｊ−１}，Ｅ_{ｉ−１，ｊ}，Ｅ_{ｉ−１，ｊ＋１}） ・・・（４）
エラーは、上記（４）によって算出される画素毎に下記の（５）式によって計算し、エラー曲面を形成する。
ｅ＝（Ｐ１−Ｐ２）^２・・・（５）

タイリング部３０は、パッチ抽出部２０によって選択されたパッチを外周タイリング部３１（上述の「第１のタイリング部」に相当）によって、出力画像内の外周部にタイリング（貼り付け）していき、外周部のタイリングが終了した後、内部タイリング部３２によって、出力画像の内部にタイリングする。ここでいう外周部とは、出力画像のエッジ部分に接する位置にパッチを貼り付け可能な部分である。内部とは、出力画像の外周部にパッチが貼り付けられた後の残りの部分であり、エッジ部分に接しない位置にパッチを貼り付け可能な部分である。

ここで、タイリングについてさらに説明する。図８は、タイリングする順序の一例を説明するための図面である。この図において、４×４のマトリクス状にパッチを貼り付けることによって出力画像を生成する場合について示されている。図８（ａ）は、出力画像に貼り付けた１つのパッチから順次連続的に外周部をタイリングし（符号（ａ））、内部にタイリングする場合である。この場合、天地左右の境界にあるパッチから優先して、外側から内側に向けて、螺旋状にタイリングされる。

図８（ｂ）は、符号ａに示すように、出力画像に貼り付けた１つのパッチを基準に、２つのエッジについて外周部をタイリングした後、基準のパッチの他方向のエッジの外周部について符号ｂに示す残りのエッジの外周部にタイリングする場合である。図８（ｃ）は、出力画像に貼り付けた１つのパッチを基準に、エッジの１方向ずつ外周部をタイリングした後、残りの外周部についてタイリングし、内部をタイリングする場合である。なお、図８（ａ）〜（ｂ）については、１枚目に貼り付けするパッチの位置が出力画像の四隅のいずれかに該当する場合について説明したが、四隅以外の位置から貼り付けてもよい。

なお、従来においてタイリングは、図８（ｄ）に示すように、例えば符号（ａ）に示す１列ごとに一定の方向のみで順次タイリングしていた。

次に、外周タイリング部３１、内部タイリング部３２について説明する。
外周タイリング部３１は、パッチ抽出部２０によって抽出されたパッチを出力画像の外周部にタイリングする外周タイリング機能と、出力画像内に既にタイリングされたパッチとタイリングするパッチとの境界領域について、フェザーリング処理部４１、イメージイメージキルティング処理部４３のいずれか一方、もしくは両方を併用して画像の合成処理を行わせるように合成処理部４０に指示する外周画像合成機能とを有する。

内部タイリング部３２は、外周タイリング部３１によって出力画像の外周部にパッチがタイリングされた後、パッチ抽出部２０によって抽出されたパッチを出力画像の内部にタイリングする機能と、出力画像内に既にタイリングされたパッチとタイリングするパッチとの境界領域について、合成処理部４０のうち、フェザーリング処理部４１、グラフカット処理部４２、イメージイメージキルティング処理部４３のいずれか一つ、もしくは２つのを併用して画像の合成処理を行わせるように合成処理部４０に指示する内部画像合成機能を有する。

ここで、外周タイリング部３１と内部タイリング部３２とが画像処理部４０に対して画像の合成指示を行う指示パターンについて説明する。
パターン１：外周タイリング部３１および内部タイリング部３２が、いずれも、フェザーリング処理部４１とイメージキルティング処理部４３とを併用する、または、フェザーリング処理部４１とグラフカット処理部４２とを併用する。
パターン２：外周タイリング部３１は、フェザーリング処理部４１のみ利用し、内部タイリング部３２が、フェザーリング処理部４１とイメージキルティング処理部４３とを併用する、または、フェザーリング処理部４１とグラフカット処理部４２とを併用する。
パターン３：外周タイリング部３１は、イメージキルティング処理部４３のみ利用し、内部タイリング部３２が、フェザーリング処理部４１とイメージキルティング処理部４３とを併用する、または、フェザーリング処理部４１とグラフカット処理部４２とを併用する。

次に、外周タイリング部３１、内部タイリング部３２がタイリングする場合における境界領域について説明する。
図９は、外周部から螺旋状にタイリングしていく場合における境界領域について説明するための図面である。例えば、図８（ａ）に示す螺旋状にタイリングする場合において、１枚目のパッチであるパッチＡに２枚目のパッチであるパッチＢを貼り付ける際には、符号ａに示すように、境界領域は１箇所である。そして、その列の最後のパッチＣを貼り付ける場合には、符号ｂと符号ｃに示す境界領域が存在する。符号ｃの境界領域は、符号ｄに示すパッチＡの一端との間においての境界領域となり、テクスチャ同士を貼り付けた場合の周期性を考慮したものであり、これにより、出力画像となるテクスチャを複数並べて貼り付けた場合、テクスチャ間の繋ぎ目が目立たなくさせることができる。

外周部の最後の列のパッチにおいて、例えば、パッチＤでは、符号ｄに示すように２箇所の境界領域があり、外周部の最後のパッチとなるパッチＥでは、符号ｅに示す３箇所の境界領域がある。このように、外周部からタイリングすることによって、最後に貼り付けるパッチの境界領域が４箇所であり最も多くなるが、この比較領域が多いパッチは、内部であるので、テクスチャ同士のシームレス性を向上させることができる。このように、外周部にタイリングするパッチについては、天地左右のパッチで類似比較する境界領域の数を減らすことでシームレスであることに重点を置いたテクスチャの生成をすることができる。このタイリングする順序については、タイリング部３０に予め設定される、あるいは、マウスやキーボードなどの入力装置から指示されたタイリングの順序が設定されており、このタイリング順序に基づいて、外周タイリング部３１と内部タイリング部３２がタイリングを行う。

これに対し、図８（ｄ）に示すような従来のタイリング方法においては、図１０に示すように、最後の行のパッチは３箇所または４箇所の境界領域の類似度比較が必要となるために、パッチを抽出する条件が厳しくなり、結果として、テクスチャ同士のシームレス性を向上させることが困難になってしまう。

テクスチャ出力部５０は、出力画像にパッチが全てタイリングされ、境界領域の画像合成が終了した出力画像をテクスチャとして出力する。この出力は、例えば、他のコンピュータなどに出力する、あるいは、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置などの表示装置によって出力する。

上述した画像合成システム１（画像入力部１０、パッチ抽出部２０、タイリング部３０、外周タイリング部３１、内部タイリング部３２、合成処理部４０、フェザーリング処理部４１、グラフカット処理部４２、イメージキルティング処理部４３、テクスチャ出力部５０）は、専用のハードウェアにより実現されるものであってもよく、また、この画像合成システム１は、メモリおよびＣＰＵ（中央演算装置）により構成され、画像合成システム１内の各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、画像合成システム１の各種演算を行う際には、フラッシュメモリ等の不揮発性のメモリや、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるメモリにデータを一時記憶させて行う。また、この画像合成システム１には、周辺機器として入力装置、表示装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置等のことをいう。

次に、図１における画像合成システム１の動作について図１１のフローチャートを用いて説明する。ここでは、外周タイリング部３１がフェザーリング処理部４１によって画像合成を行わせ、内部タイリング部３２は、フェザーリング処理部４１とイメージキルティング処理部４３との併用によって画像合成を行わせる場合について説明する。

まず、画像入力部１０から基本画像となる入力画像が入力されると（ステップＳ１）、パッチ抽出部２０は、入力画像から境界領域に類似するパッチを抽出する（ステップＳ２）。ここでは、パッチの貼り付けが１枚目であり、出力画像にはまだパッチが貼り付けされていないので、ランダムにパッチを抽出する（ステップＳ２）。

次に、タイリング部３０は、パッチ抽出部２０によって抽出されたパッチを外周部にタイリング部３１によって、出力画像にタイリングする。外周タイリング部３１は、出力画像に既にパッチがタイリングされているか否かを検出することによって、パッチに境界領域があるか否かを検出する（ステップＳ４）。ここでは、タイリングするパッチが１枚目なので、外周タイリング部３１は、ステップＳ６に移行し、次いで、外周部にパッチを全てタイリングしたか否かを検出する（ステップＳ６）。ここでは、外周部のタイリングが完了していないので、外周タイリング部３１は、出力画像における次にタイリングするパッチの位置を示す情報とともに、パッチ抽出部２０に対してパッチの抽出を指示し、ステップＳ２に移行する。

外周タイリング部３１からの指示を受けると、パッチ抽出部２０は、次にタイリングするパッチの位置に基づいて、既に出力画像に貼り付けられたパッチの境界領域を検出し、検出した境界領域の画像に類似するパッチを入力画像の中から抽出する（ステップＳ２）。ここでは、１箇所の境界領域が検出され、この１箇所の境界に類似する画像のエッジを有するパッチを候補として抽出し、上述の（１）式に基づいて類似度を計算し、（２）式に基づく閾値の条件を満たすパッチを候補として抽出し、最も類似度が高いパッチを次に貼り付けるパッチとして決定する。

パッチが決定すると、外周タイリング部３１は、出力画像の次のタイリングの位置に対し、決定されたパッチをタイリングし（ステップＳ３）、パッチに境界領域があるか否かを検出する（ステップＳ４）。ここでは、１箇所の境界領域が有るので、ステップＳ５に移行し、境界領域について、フェザーリング処理部４１によりフェザーリング法によって画像合成する（ステップＳ５）。そして、外周タイリング部３１は、外周部に全てタイリングがされたか否かを検出する（ステップＳ６）。外周部に全てタイリングされまでステップＳ２からステップＳ６まで繰り返して実行され、外周部に全てタイリングされると、ステップＳ７に移行する。

ステップＳ６の後、タイリング部３０は、設定されたタイリングの順序に基づいて、内部にタイリングする次のタイリングの位置についてパッチ抽出部２０に指示する。パッチ抽出部２０は、この指示に基づき、境界領域を検出し、検出された境界領域の画像と類似するパッチを抽出する（ステップＳ７）。ここでは、境界領域は、複数箇所あるので、それぞれの境界領域の画像が類似するエッジを揺するパッチを入力画像の中から選択して抽出する。

パッチ抽出部２０によってパッチが抽出されると、内部タイリング部３２は、出力画像の次のタイリングする位置にパッチをタイリングし（ステップＳ８）、境界領域について、画像合成を行わせる（ステップＳ９）。ここで、内部タイリング部３２は、フェザーリング処理部４１またはイメージキルティング処理部４３によって境界領域内の画像合成を行わせる。このフェザーリング処理部４１またはイメージキルティング処理部４３のいずれによって画像合成を行うかについては、境界領域内において繋ぎ目が目立たない方が適用される。この適用については、いずれかの方法によって合成しておき、入力装置から入力される、繋ぎ目に対して異なる方法で合成する指示に基づいて、他方の画像合成方法で合成するようにするようにしてもよい。

次に、境界領域についての画像合成がなされると、内部タイリング部３２は、出力画像の内部全てにタイリングしたか否かを検出し、全てのタイリングが終了していない場合に、ステップＳ７に移行する。そして、ステップＳ７からステップＳ１０まで順次繰り返されることによって、出力画像の全てにパッチがタイリングされると、テクスチャ出力部５０は、表示装置にテクスチャを出力する（ステップＳ１１）。

次に、テクスチャ出力部５０が出力するテクスチャについて説明する。図１２は、パッチを出力画像に貼り付けた場合のパッチ同士の重なりの一例を示す図面である。この図に示すように、パッチのサイズが縦２．５、横２．５の大きさであって、螺旋状の順序でタイリングする場合、境界領域の幅を０．５として貼り合わせると、出力画像の大きさは、縦８．５、横８．５の大きさとなる（図１２（ａ））。そして、この出力画像のうち、図１２（ｂ）に示すように、１枚目に貼り付けたパッチＡにおいて境界領域と有していないエッジについて、そのエッジに対応する境界領域を対応するパッチＢから取得し、左右を反転させて貼り付ける。そして、パッチＢのエッジ側の境界領域についての２列（符号ａ、ｂの列）について削除する。ここでは、周期条件として予め考慮され境界領域として合成処理されているので、エッジｃ、エッジｄのように対抗するエッジ同士について連続するように貼り合わせた場合に、シームレスに貼り合わせることができる。なお、上下のエッジについても同様にシームレスに貼り合わせることができる。そして、２列について削除された後のテクスチャが出力される。このテクスチャを複数枚並べて貼り合わせることによって、入力画像に基づいて、柄の繰り返しがなく、シームレスな画像を得ることができる。

さらに、このテクスチャを１単位とし、複数枚連続して並べて貼り付けた画像を、印刷版としてシリンダーに形成し、このシリンダーを印刷装置に取り付けて印刷媒体に印刷することによって、シームレスな画像が印刷された印刷物を製造することができる。ここでは、テクスチャのエッジにおいては、対向するエッジ同士が画像合成処理がなされているので、ドラムのような円柱の円周面に形成した場合においても、シームレス性がよい。このテクスチャの１単位のサイズを整数倍した場合にシリンダーの円周の長さに一致するように設定されていることが望ましい。ここで、化粧シートを印刷媒体として用いた場合、テクスチャの画像を印刷した化粧シートが得られ、例えば、天井、壁、床などの内装として利用することができる。

なお、上述の実施形態において、生成されたテクスチャについて、入力装置からの指示に基づいて修正するようにしてもよい。例えば、図１３に示すように、テクスチャの一部をマウスなどを利用して入力される修正範囲に基づいて、パッチ抽出部２０が、修正範囲に基づいて境界領域を設定し、その境界領域に類似するパッチを入力画像の中から抽出する。そして、抽出されたパッチについて、グラフカット処理部４２がグラフカット処理を行って修正範囲に貼り付けることにより、ユーザの任意の画像範囲について部分的に修正することができ、ユーザの要望を考慮したテクスチャを生成することができる。

なお、上述の実施形態においては、出力画像の最外周部にタイリングされるパッチをフェザーリング法によって繋ぎ合わせてタイリングする場合について説明したが、この最外周部にタイリングされるパッチをイメージキルティング法によって繋ぎ合わせてタイリングするようにしてもよい。
また、上述した実施形態においては、出力画像の最外周部にタイリングされるパッチをフェザーリング法によって繋ぎ合わせてタイリングする場合について説明したが、この最外周部にタイリングされるパッチ繋ぎ合わせる場合、フェザーリング法のみではなく、１つのパッチを繋ぎ合わせる毎にフェザーリング法とイメージキルティング法のいずれか一方を選択して繋ぎ合わせる、あるいは、フェザーリング法とグラフカット法のいずれか一方を選択して繋ぎ合わせるようにしてもよい。すなわち、最外周部から内部まで、１つのパッチを繋ぎ合わせる毎にフェザーリング法とイメージキルティング法のいずれか一方を選択して繋ぎ合わせる、あるいは、フェザーリング法とグラフカット法のいずれか一方を選択して繋ぎ合わせるようにしてもよい。

なお、上述した実施形態において、内部の４つのパッチのタイリングする際、フェザーリング法とイメージキルティング法とを併用する場合について説明したが、内部のいずれか１つのパッチまたは、最後にタイリングする最内部のパッチについてのみフェザーリング法とイメージキルティング法との併用、あるいは、フェザーリング法とグラフカット法とを併用するようにしてもよい。

なお、上述の実施形態において、パッチの形状は長方形（正方形）である場合について説明したが、正方形以外の形状を用いるようにしてもよい。例えば、正三角形、正四角形、正六角形、ひし形のいずれかであってもよく、また、曲線で構成される形状であってもよい。
また、パッチの形状は、トポロジー的に同じでありかつパッチの一部と他のパッチの一部が重なる形状であってもよい。これにより、例えば、クロスワードパズルを重ねて貼り付けていくように配置することができる。

また、図１における画像入力部１０、パッチ抽出部２０、タイリング部３０、外周タイリング部３１、内部タイリング部３２、合成処理部４０、フェザーリング処理部４１、グラフカット処理部４２、イメージキルティング処理部４３、テクスチャ出力部５０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

この発明の一実施形態による画像合成システム１の構成を示す概略ブロック図である。 入力画像とテクスチャの一例を示す図面である。 境界領域の一例を示す図面である。 類似度について説明するための図面である。 フェザーリング処理部４１が行う画像合成処理を説明するための図面である。 グラフカット処理部４２が行う画像合成処理を説明するための図面である。 イメージキルティング処理部４３が行う画像合成処理を説明するための図面である。 タイリングする順序の一例を説明するための図面である。 外周部から螺旋状にタイリングしていく場合における境界領域について説明するための図面である。 従来のタイリング方法について説明するための図面である。 図１における画像合成システム１の動作について説明するためのフローチャートである。 パッチを出力画像に貼り付けた場合のパッチ同士の重なりの一例を示す図面である。 入力装置からの指示に基づいてテクスチャを修正する場合について説明するための図面である。

符号の説明

１ 画像合成システム １０ 画像入力部
２０ パッチ抽出部 ３０ タイリング部
３１ 外周タイリング部 ３２ 内部タイリング部
４０ 合成処理部 ４１ フェザーリング処理部
４２ グラフカット処理部 ４３ イメージキルティング処理部
５０ テクスチャ出力部

Claims (6)

1. 入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成するテクスチャ合成法において、
   出力画像の外周部からパッチをタイリングすること
   を特徴とするシームレステクスチャの合成方法。
2. 入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成するテクスチャ合成法において、
   出力画像の外周部から内部までフェザーリング法かつイメージキルティング法、または、フェザーリング法かつグラフカット法によりパッチをタイリングする
   ことを特徴とするシームレステクスチャの合成方法。
3. 入力画像からランダムに類似度の高いパッチを選択して外周部からタイリングし出力画像を生成するテクスチャ合成方法において、
   最外周部のパッチをフェザーリング法により貼り付け、内部のパッチを、フェザーリング法かつイメージキルティング法または、フェザーリング法かつグラフカット法によりタイリングする
   ことを特徴とするシームレステクスチャの合成方法。
4. 入力画像からランダムに類似度の高いパッチを選択して外周部からタイリングし出力画像を生成するテクスチャ合成方法において、
   最外周部のパッチを、イメージキルティング法により張り付け、内部のパッチを、フェザーリング法かつイメージキルティング法または、フェザーリング法かつグラフカット法によりタイリングする
   ことを特徴とするシームレステクスチャの合成方法。
5. 入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成する画像合成システムに用いられる画像合成プログラムであって、
   前記出力画像の外周部に前記パッチをタイリングする第１のタイリングステップと、
   前記第１のタイリングステップによって出力画像の外周部がタイリングされた後に、前記出力画像の内部に前記パッチをタイリングする第２のタイリングステップと、
   をコンピュータに実行させるための画像合成プログラム。
6. 入力画像からランダムに類似度の高いパッチを選択してタイリングし出力画像を生成する画像合成システムにおいて、
   前記出力画像の外周部に前記パッチをタイリングする第１のタイリング部と、
   前記第１のタイリング部によって出力画像の外周部がタイリングされた後に、前記出力画像の内部に前記パッチをタイリングする第２のタイリング部と、
   を有することを特徴とする画像合成システム。
   
   

Images