JP5729963B2 - 画像合成処理装置及びその制御方法 - Google Patents

Description

本発明は、画像の置換、合成の処理を行う画像合成処理装置及びその制御方法に関する。

一般に、画像を拡大または縮小し、他の画像に合成する際には、画像のデザインが変化しないように補完を行い合成後の画像が不自然にならないように処理して表示するための画像合成処理が行われている。

このような画像合成処理には、例えば、背景画像及び前景画像が共にＹＵＶフォーマットであるときに、背景画像に、置換色を含む前景画像を回転して合成する場合がある。

なお、この色の表現方法であるＹＵＶ４２２では、隣り合う２つのピクセルを１セットとして一部の情報を共有することにより、画質の劣化を防ぎつつデータ量を削減している。また、ＹＵＶ方式の一つのＹＵＶ４４４は、サンプリングの際に、水平方向４ピクセルから、各ピクセル毎に輝度情報（Ｙ）、輝度と青色成分の差（Ｕ）、輝度と赤色成分の差（Ｖ）をそれぞれ１サンプル採る方式である。

この合成を行う場合には、前景画像を回転するために、ＹＵＶ４４４へフォーマット変換し、回転し、ＹＵＶ４２２へフォーマット変換した結果、画素に補間処理することで、前景画像中の置換色と画像データ部分の境界で混色が起きる。このように置換合成した結果、背景画像と前景画像との境界に置換色と画像が混色した画素が出てしまい境界が汚く見える。

そこで、このような置換合成処理を行う場合には、マスク画像の画素データと置換色の境界が混ざり置換色でなくなった画素もある程度の閾値内であれば置換色とみなし置換合成することが一般に行われている。

従来、マスク画像中の画素と置換色が混ざり置換色でなくなった画素をアルゴリズム等により置換色へ変換して置換合成する方法が提案されている。例えば、透明部分が有る画像を拡大または縮小し、他の画像に合成する際に、画像のデザインが変化しないように補完を行い、合成後の画像が不自然感、違和感が生じないようにする処理が提案されている（例えば、特許文献１参照）。

また、マスク画像中の置換色と画像データの境界付近の画素を、画像の境界ラインが不自然にならないように補間し、置換合成の境界を自然に合成する方法が提案されている。この方法では、まず調整或いは修正したいカラー画像中で対象とする領域を抽出し、調整或いは修正する目標色を指定し、対象領域全体の色を変化させる。この際に、調整領域の色の調整に加えて背景部分の色と調整領域との境界部分を検出し、検出した境界部分で境界色の加法混色処理を行う。この結果、調整或いは修正前の画像と同様に、境界部分のデータの連続性を保存し、自然な色の調整または画像の合成を行う。これにより調整領域とそれ以外の領域との境界部分で、擬似輪郭が発生しないようにでき、画像の自然さを損なわないようにできる。また、２つの画像を合成する場合には、合成する領域を抽出した元の画像が持っている境界部分の連続性を維持するよう合成した画像の境界部分に色を作り出して調整し、合成後の画像を自然な感じにすることが提案されている（例えば、特許文献２参照）。

特開平５−１２０４１７号公報 特開２００９−９４９０２号公報

一般のデジタルカメラ等のシステムでは、処理速度やメモリ容量に制約があるため、ＹＵＶ４２２で画像処理を行うのが普通である。ＹＵＶ４２２の場合には、ＵおよびＶが２画素に１データしかないため、フォーマット変換時に１画素ごとにＵＶデータを作成する時に補間処理されるので、２画素単位で混色が起きる。

つまり、ＹＵＶ４２２で画像処理を行うと、ＹＵＶ４４４で画像処理した場合よりも、マスク画像データと置換色の境界で混色するため、合成の境界がくっきりときれいな置換合成ができない。

本発明の目的は、特別のハードウェア構成や特別な演算処理の必要が無い簡素なシステム構成とすることができると共に、ＹＵＶ４２２の画像でも境界部分を自然な色で明確に表示できるようにマスクデータ中の置換色の混色を起こさずに置換合成できる画像合成処理装置及びその制御方法を提供することにある。

上記目的を達成するために、請求項１記載の画像合成処理装置は、背景画像に対して前記背景画像によって置換される置換色画素を含む前景画像を所定の回転方向に回転して合成した画像を生成する画像合成処理装置であって、前記背景画像を、前記所定の回転方向と逆の方向に所定の回転角度だけ回転させる第１の画像回転処理手段と、前記第１の画像回転処理手段によって回転された前記背景画像と前記前景画像とを、前記前景画像に含まれる前記置換色画素を前記背景画像で置換して合成する合成処理手段と、前記合成処理手段から出力される画像を前記所定の回転方向に前記所定の回転角度だけ回転させる第２の画像回転処理手段と、を有することを特徴とする。

上記目的を達成するために、請求項２記載の画像合成処理装置は、背景画像に対して前記背景画像によって置換される置換色画素を含む前景画像を所定の倍率だけ拡大又は縮小する変倍を行って合成する画像合成処理装置であって、前記背景画像を、前記所定の倍率の逆数の倍率で拡大又は縮小させる第１の画像変倍処理手段と、前記第１の画像変倍処理手段によって変倍された前記背景画像と前記前景画像とを、前記前景画像に含まれる前記置換色画素を前記背景画像で置換して合成する合成処理手段と、前記合成処理手段から出力される画像を前記所定の倍率で拡大又は縮小させる第２の画像変倍処理手段と、を有することを特徴とする。

上記目的を達成するために、請求項６記載の画像合成処理装置の制御方法は、背景画像に対して前記背景画像によって置換される置換色画素を含む前景画像を所定の回転方向に回転して合成した画像を生成する画像合成処理装置の制御方法であって、前記背景画像を、前記所定の回転方向と逆の方向に所定の回転角度だけ回転させる第１の画像回転処理ステップと、前記第１の画像回転処理ステップにて回転された前記背景画像と前記前景画像とを、前記前景画像に含まれる前記置換色画素を前記背景画像で置換して合成する合成処理ステップと、前記合成処理ステップで出力される画像を前記所定の回転方向に前記所定の回転角度だけ回転させる第２の画像回転処理ステップと、を有することを特徴とする。

上記目的を達成するために、請求項７記載の画像合成処理装置の制御方法は、背景画像に対して前記背景画像によって置換される置換色画素を含む前景画像を所定の倍率だけ拡大又は縮小する変倍を行って合成する画像合成処理装置の制御方法であって、前記背景画像を、前記所定の倍率の逆数の倍率で拡大又は縮小させる第１の画像変倍処理ステップと、前記第１の画像変倍処理ステップにて変倍された前記背景画像と前記前景画像とを、前記前景画像に含まれる前記置換色画素を前記背景画像で置換して合成する合成処理ステップと、前記合成処理ステップで出力される画像を前記所定の倍率で拡大又は縮小させる第２の画像変倍処理ステップと、を有することを特徴とする。

本発明によれば、画像合成処理装置及びその制御方法を特別のハードウェア構成や特別な演算処理の必要が無い簡素なシステム構成とすることができると共に、ＹＵＶ４２２の画像でも境界部分を自然な色で明確に表示できるようにマスクデータ中の置換色の混色を起こさずに置換合成できるという効果がある。

本発明の実施の形態に係わるデジタルカメラの構成を示すブロック図である。 本発明の実施の形態に係わるデジタルカメラで前景画像を回転させて画像合成処理を行うときの動作の手順を説明するフローチャートの一部である。 本発明の実施の形態に係わるデジタルカメラで前景画像を回転させて画像合成処理を行うときの動作の手順を説明するフローチャートの一部である。 本発明の実施の形態に係わるデジタルカメラで前景画像を回転させて画像合成処理を行うときの画像イメージを示す説明図である。 本発明の実施の形態に係わるデジタルカメラで前景画像を回転させて画像合成処理を行う画像処理部の構成を示すブロック図である。 本発明の実施の形態に係わるデジタルカメラで前景画像を変倍させて画像合成処理を行うときの動作の手順を説明するフローチャートの一部である。 本発明の実施の形態に係わるデジタルカメラで前景画像を変倍させて画像合成処理を行うときの動作の手順を説明するフローチャートの一部である。 本発明の実施の形態に係わるデジタルカメラで前景画像を変倍させて画像合成処理を行うときの画像イメージを示す説明図である。 本発明の実施の形態に係わるデジタルカメラで前景画像を変倍させて画像合成処理を行う画像処理部の構成を示すブロック図である。

以下、本発明の画像合成処理装置の実施の形態に係わるデジタルカメラについて図面を参照しながら説明する。

図１は、本実施の形態に係わるデジタルカメラの構成を示すブロック図であり、図で、１０３はフォーカスレンズを含む撮影レンズ、１０１は絞り機能を備えるシャッターである。さらに、この図１で、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部、２３はＡ／Ｄ変換器である。このＡ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。

このデジタルカメラ１００の撮影レンズ１０３の自由端部には、撮像部を覆うことにより撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止するためのバリア１０２が配設されている。

この図１で、２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ又はメモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。この画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、いわゆるＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいていわゆるＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

また、Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５又はメモリ制御部１５を介して、ワークメモリであるメモリ３２に書き込まれる。このメモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。このメモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。このメモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

図１で、１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。

図１で、５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等の不揮発性メモリで構成されており、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施の形態にて後述する各種フローチャートを実行するためのプログラムのことである。

図１で、５０はシステム制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施の形態の各処理を実現する。また、図１で、５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

このデジタルカメラ１００には、システム制御部５０に各種の動作指示を入力するための操作手段として、モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４及び操作部７０が配設されている。

このモード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える指令を入力可能に構成されている。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１の入力により、システム制御部５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２の指令を受けると、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

また、操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。この機能ボタンには、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン及び属性変更ボタン等がある。

このデジタルカメラ１００の操作部７０は、システム制御部５０に指令を入力するため、選択項目を指示する際などに使用されるコントローラホイール（いわゆるタッチホイールでも良い）７３を備える。

このデジタルカメラ１００は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う、電源制御部８０を備える。このデジタルカメラ１００は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部３０を備える。

図１で、１８はメモリカードやハードディスク等の記録媒体２００とのインターフェースである。この記録媒体２００は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、本実施の形態に係わるデジタルカメラ１００で、画像の置換、合成の処理を行う場合について説明する。例えば、前景画像をＸ度回転して置換合成した画像を作成する場合には、背景画像を−Ｘ度回転し、前景画像と置換合成し、合成した画像をＸ度回転して画像合成する。この場合の画像の置換、合成の処理に係わる動作について、図２Ａ、図２Ｂの画像合成処理のフローチャート、図３の画像合成処理前後の画像イメージの説明図及び図４の画像処理部内部のブロック構成の説明図を参照して説明する。

この画像合成処理は、背景画像と前景画像とを特定手段により特定し、前景画像をＸ度回転して背景画像に対して置換合成した画像を作成する指令により、開始される。この画像合成処理が開始されると、使用者が入力した指令に基づいて背景画像と前景画像とを特定する特定手段としてのメモリ制御部１５は、背景画像と前景画像をメモリ３２に展開する（ステップＳ１）。

次に、メモリ制御部１５は、図３に示す回転する範囲の背景画像Ｒ２を読み出し、図４に示す回転部Ｇ５へ入力する（ステップＳ２）。

次に、回転部Ｇ５は、入力された画素をＹＵＶ４２２からＹＵＶ４４４にフォーマットを変換する（ステップＳ３）。

次に、回転部Ｇ５は、―Ｄ度回転した時の位置と画素値を計算する（ステップＳ４）。

次に、回転部Ｇ５は、ＹＵＶ４４４からＹＵＶ４２２にフォーマット変換し出力する（ステップＳ５）。

次に、メモリ制御部１５は、回転された画素をメモリ３２に書き出す（ステップＳ６）。

次に、メモリ制御部１５は、回転する領域の背景画像Ｒ２の画素を全て回転処理するまで、上述したステップＳ２乃至ステップＳ６の処理を繰り返す（ステップＳ７でＮＯ）。そして、メモリ制御部１５は、画素を全て回転処理したと判断したときにステップＳ８に進む（ステップＳ７でＹＥＳ）。

次に、メモリ制御部１５は、図３に示す前景画像Ｒ４と回転した背景画像Ｒ３から合成領域を読み出し、図４に示す置換合成部Ｇ６へ入力する（ステップＳ８）。

次に、置換合成部Ｇ６は、入力された背景画像Ｒ３と前景画像Ｒ４の画素をＹＵＶ４２２からＹＵＶ４４４へ変換する（ステップＳ９）。

次に、置換合成部Ｇ６は、前景画像Ｒ４の画素が置換色Ｒ８か否かを判断し、置換色Ｒ８であれば（ステップＳ１０でＹＥＳ）、ステップＳ１１へ進む。

ステップＳ１１では、置換合成部Ｇ６は、背景画像の画素をＹＵＶ４４４からＹＵＶ４２２へ変換する（ステップＳ１１）。

また、置換合成部Ｇ６が、前述のステップＳ１０で、前景画像Ｒ４の画素が置換色Ｒ８か否かを判断し、置換色Ｒ８でなければ、（ステップＳ１０でＮＯ）ステップＳ１２へ進む。

次に、ステップＳ１２では、置換合成部Ｇ６が、前景画像の画素をＹＵＶ４４４からＹＵＶ４２２へ変換してステップＳ１３へ進む。

次に、置換合成部Ｇ６は、前述のステップＳ１１で変換された背景画像の合成画素のデータ又はステップＳ１２で変換された前景画像の合成画素のデータをメモリ３２に書き出す。

次に、置換合成部Ｇ６は、背景画像Ｒ３と前景画像Ｒ４の画素を全て置換合成処理するまで、上述したステップＳ８乃至ステップＳ１３の処理を繰り返す（ステップＳ１４でＮＯ）。そして、置換合成部Ｇ６は、画素を全て置換合成処理したと判断したときにステップＳ１５に進む（ステップＳ１４でＹＥＳ）。

次に、メモリ制御部１５は、ワークメモリから置換合成した結果画像Ｒ５を読み出し、図４に示す回転部Ｇ８へ入力する（ステップＳ１５）。

次に、回転部Ｇ８は、入力された画素をＹＵＶ４２２からＹＵＶ４４４にフォーマットを変換する（ステップＳ１６）。

次に、回転部Ｇ８は、Ｄ度回転した時の位置と画素値を計算する（ステップＳ１７）。

次に、回転部Ｇ８は、算出された画素値をＹＵＶ４４４からＹＵＶ４２２にフォーマット変換する（ステップＳ１８）。

次に、回転部Ｇ８は、前述のステップＳ１８でフォーマット変換された画素値のデータをメモリ３２に書き出す（ステップＳ１９）。

次に、回転部Ｇ８は、回転する画像の画素を全て回転処理するまで、上述したステップＳ１５乃至ステップＳ１９の処理を繰り返す（ステップＳ２０でＮＯ）。そして、回転部Ｇ８は、画素を全て回転処理したと判断したときにステップＳ２１に進む（ステップＳ２０でＹＥＳ）。

次に、メモリ制御部１５は、メモリ３２上の背景画像Ｒ１から合成結果を書き戻す領域を読み出し、図４に示す高周波検出部Ｇ３へ入力する（ステップＳ２１）。

次に、高周波検出部Ｇ３は、システム制御部５０が指定したある閾値以上の高周波を出力するＨＰＦをかけ、検出結果をシステム制御部５０へ出力する（ステップＳ２２）。

次に、システム制御部５０は、高周波検出部Ｇ３からの入力によりある閾値以上のエッジがあるか否かを判断する。そして、システム制御部５０は、ある閾値以下のエッジを検出した（ある閾値以上のエッジが無い）と判断した場合（ステップＳ２３でＮＯ）に、ステップＳ２９へ進む。そして、システム制御部５０は、背景画像の上に合成画像結果Ｒ６を書き出して（ステップＳ２９）、本画像合成処理を終了する。

また、ステップＳ２３でシステム制御部５０は、高周波検出部Ｇ３から入力によりある閾値以上のエッジを検出したと判断すると（ステップＳ２３でＹＥＳ）、ステップＳ２４へ進む。

次に、メモリ制御部は、背景画像Ｒ１を読み込み、図４に示すフィルタ処理部Ｇ２へ入力する（ステップＳ２４）。

次に、フィルタ処理部Ｇ２は、入力画素をＹＵＶ４４４に変換し、システム制御部５０が指定したＬＰＦ（ローパスフィルタ処理）をかけた画素を出力する（ステップＳ２５）。

次に、メモリ制御部１５は、ＬＰＦをかけた画素をメモリに書き出す（ステップＳ２６）。

次に、メモリ制御部１５は、背景画像の画素を全てＬＰＦ処理するまで、上述したステップＳ２４乃至ステップＳ２６の処理を繰り返す（ステップＳ２７でＮＯ）。そして、メモリ制御部１５は、画素を全てＬＰＦ処理したと判断したときにステップＳ２８に進む（ステップＳ２０でＹＥＳ）。

次に、メモリ制御部１５は、フィルタをかけた背景画像の上に合成画像Ｒ６を書き出して（ステップＳ２８）、本画像合成処理を終了する。

以上説明したように、背景画像を−Ｘ度回転し、前景画像と置換合成し、合成した画像をＸ度回転して画像合成する図２Ａ、図２Ｂに示す画像合成処理では、置換色Ｒ８を含む前景画像Ｒ４に画像処理を行わない。これにより、この画像合成処理では、前景画像中の置換色が混色しないため、置換合成時に境界がはっきりとした合成画像を作成することができる。さらに、上述のように背景画像から画像処理に必要な部分だけを抽出し、処理を行うことで、処理速度を向上することができる。

なお、この画像合成処理では、必要な部分だけを抽出し、画像処理することで、補間処理により合成部分だけ高周波成分が落ちる。このため、背景画像の合成する領域周囲に高周波成分が多い場合には、合成画像と周波数に格差が出ることで、合成画像を置いた矩形領域が目立つ。

そこで、この画像合成処理では、図２ＢのステップＳ２１〜Ｓ２６で説明したように、閾値以上のエッジを検出すると、背景画像にＬＰＦ処理を行い、合成画像との周波数の格差を軽減させている。

次に、本実施の形態に係わるデジタルカメラ１００で、背景画像Ｑ１に縮小した前景画像Ｑ４を合成した画像を作成する場合について説明する。例えば、背景画像Ｑ１に１／Ｎ倍に縮小した前景画像Ｑ４を合成する画像を作成する場合には、背景画像Ｑ１をＮ倍に拡大し、前景画像と置換合成し、合成した画像を１／Ｎ倍に縮小して作成する。この場合の画像の置換、合成の処理について、図５Ａ、図５Ｂの画像合成処理のフローチャート、図６の画像合成処理前後の画像イメージの説明図及び図７の画像処理部２４内部のブロック構成の説明図を参照して説明する。

この図５Ａ、図５Ｂのフローチャートにおける各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

この画像合成処理は、図６に示す背景画像Ｑ１と前景画像Ｑ４とを特定し、背景画像Ｑ１に縮小した前景画像Ｑ４を合成した画像を作成する指令により、開始される。この画像合成処理が開始されると、メモリ制御部１５は、背景画像と前景画像をメモリ３２に展開する（ステップＳ５０）。

次に、メモリ制御部１５は、図６に示す拡大する範囲の背景画像Ｑ２を読み出し、図７に示す変倍部Ｈ５へ入力する（ステップＳ５１）。

次に、変倍部Ｈ５は、入力された画素をＹＵＶ４２２からＹＵＶ４４４にフォーマットを変換する（ステップＳ５２）。

次に、図７に示す変倍部Ｈ５は、Ｎ倍した時の画素値を計算する（ステップＳ５３）。

次に、変倍部Ｈ５は、算出した画素値をＹＵＶ４４４からＹＵＶ４２２にフォーマット変換し出力する（ステップＳ５４）。

次に、メモリ制御部１５は、拡大された画素のデータをメモリ３２に書き出す（ステップＳ５５）。

次に、メモリ制御部１５は、拡大する範囲の背景画像Ｑ２の画素を全て拡大処理するまで、上述したステップＳ５１乃至ステップＳ５５の処理を繰り返す（ステップＳ５６でＮＯ）。そして、メモリ制御部１５は、画素を全て拡大処理したと判断したときにステップＳ５７に進む（ステップＳ５６でＹＥＳ）。

次に、メモリ制御部１５は、図６に示す回転した背景画像Ｑ３と前景画像Ｑ４を読み出し、図７に示す置換合成部Ｈ６へ入力する（ステップＳ５７）。

次に、置換合成部Ｈ６は、入力された背景画像Ｑ３と前景画像Ｑ４の画素をＹＵＶ４２２からＹＵＶ４４４へ変換する（ステップＳ５８）。

次に、置換合成部Ｈ６は、前景画像Ｑ４の画素が置換色Ｑ８か否かを判断し、置換色Ｑ８であると判別した場合（ステップＳ５９でＹＥＳ）には、ステップＳ６０へ進み、背景画像の画素をＹＵＶ４２２へ変換し出力する。

また、置換合成部Ｈ６は、置換色Ｑ８でないと判別した場合（ステップＳ５９でＮＯ）に、ステップＳ６１へ進み、前景画像の画素をＹＵＶ４２２へ変換し出力する。

次に、メモリ制御部１５は、ステップＳ６０又はステップＳ６１で変換され出力された合成画素をメモリ３２に書き出す。

次に、メモリ制御部１５は、背景画像Ｑ３と前景画像Ｑ４の画素を全て変換処理するまで、上述したステップＳ５７乃至ステップＳ６１の処理を繰り返す（ステップＳ６３でＮＯ）。そして、メモリ制御部１５は、画素を全て拡大処理したと判断したときにステップＳ６４に進む（ステップＳ６３でＹＥＳ）。

次に、メモリ制御部１５は、置換合成した結果画像Ｑ５を読み出し、図７に示す変倍部Ｈ８へ入力する（ステップＳ６４）。

次に、変倍部Ｈ８は、入力された画素をＹＵＶ４２２からＹＵＶ４４４にフォーマットを変換する（ステップＳ６５）。

次に、変倍部Ｈ８は、１／Ｎ倍した時の画素値を計算する（ステップＳ６６）。

次に、変倍部Ｈ８は、ＹＵＶ４４４からＹＵＶ４２２にフォーマット変換し出力する（ステップＳ６７）。

次に、メモリ制御部１５は、フォーマット変換され出力された変倍済みの画素値をメモリ３２に書き出す（ステップＳ６８）。

次に、メモリ制御部１５は、縮小する画像の画素を全て縮小処理するまで、上述したステップＳ６４乃至ステップＳ６８の処理を繰り返す（ステップＳ６９でＮＯ）。そして、メモリ制御部１５は、画素を全て拡大処理したと判断したときにステップＳ７０に進む（ステップＳ６９でＹＥＳ）。

次に、メモリ制御部１５は、メモリ３２上の背景画像Ｑ１から合成結果を書き戻す領域を読み出し、高周波検出部Ｈ３へ入力する（ステップＳ７０）。

次に、高周波検出部Ｈ３は、システム制御部５０が指定したある閾値以上の高周波を出力するＨＰＦをかけ、検出結果をシステム制御部５０へ出力する（ステップＳ７１）。

次に、システム制御部５０は、高周波検出部Ｈ３からの入力によりある閾値以上のエッジがあるか否かを判断する。そして、システム制御部５０は、ある閾値以下のエッジを検出した（ある閾値以上のエッジが無い）と判断した場合（ステップＳ７２でＮＯ）に、ステップＳ７３へ進む。そして、システム制御部５０は、背景画像の上に合成画像結果Ｑ６を書き出して（ステップＳ７８）、本画像合成処理を終了する。

また、ステップＳ７２でシステム制御部５０は、高周波検出部Ｈ３から入力によりある閾値以上のエッジを検出したと判断すると（ステップＳ７２でＹＥＳ）、ステップＳ７３へ進む。

次に、メモリ制御部は、背景画像Ｑ１を読み込み、フィルタ処理部Ｈ２へ入力する（ステップＳ７４）。

次に、フィルタ処理部Ｈ２は、入力画素をＹＵＶ４４４に変換し、システム制御部５０が指定したＬＰＦをかけた画素を出力する（ステップＳ７４）。

次に、メモリ制御部１５は、ＬＰＦをかけた画素をメモリに書き出す（ステップＳ７５）。

次に、メモリ制御部１５は、背景画像の画素を全てＬＰＦ処理するまで、上述したステップＳ７３乃至ステップＳ７５の処理を繰り返す（ステップＳ７６でＮＯ）。そして、メモリ制御部１５は、画素を全てＬＰＦ処理したと判断したときにステップＳ７７に進む（ステップＳ７６でＹＥＳ）。

次に、メモリ制御部１５は、フィルタをかけた背景画像の上に合成画像Ｑ６を書き出して（ステップＳ７７）、本画像合成処理を終了する。

以上説明したように、この背景画像Ｑ１に縮小した前景画像Ｑ４を合成した画像を作成する場合の画像合成処理では、置換色Ｑ８を含む前景画像Ｑ４に画像処理を行わないことで、前景画像中の置換色が混色しない。このため、この場合の画像合成処理では、置換合成時に境界がはっきりとした合成画像を作成することができる。

要するに、画像合成処理装置で、背景画像に対して、前景画像を回転、拡大又は縮小処理して置換合成する場合には、前景画像の画素に補間処理をすると、前景画像中の置換色と画像データ部分の境界で混色が起きる。このように置換合成した場合には、背景画像と前景画像との境界に、置換色と画像が混色した画素が出てしまい境界が汚く見える。

そこで、本発明の画像合成処理装置では、前景画像を回転、拡大又は縮小処理しないそのままの状態（元前景画像）を維持して、背景画像に所要の回転、拡大又は縮小処理をしたものと画像合成処理を行う。このように前景画像を回転、拡大又は縮小処理をしない場合には、置換色がリニア補間処理により前景画像中の画像の輪郭部分に相当する境界で、前景画像の置換色と画像とが混ざることがない。これにより置換合成のときに、前景画像の置換色と背景画像の画像との境目で色が混ざり合い、境界が汚く見えることを防止する。

そして、合成処理後の全体画像を、前景画像部分が所望の回転、拡大又は縮小処理された状態となるように、回転、拡大又は縮小の処理を行って、置換合成処理された全体画像を完成させる。

次に、背景画像に対して、回転、拡大又は縮小された前景画像を置換合成する場合について、処理の手順を説明する。

この場合には、元前景画像の特定手段であるメモリ制御部１５により、前景画像を、回転、拡大又は縮小処理しないそのままの状態（元前景画像）で特定する。また、背景画像の特定手段であるメモリ制御部１５は、背景画像を特定する。

そして、前景画像を、ある所定角度だけ回転する場合には、第１の画像回転処理手段（回転部Ｇ５）により、前景画像の回転方向と逆方向に、背景画像を所定角度だけ回転する。また、前景画像を所定倍率だけ拡大する場合には、第１の画像変倍処理手段（変倍部Ｈ５）により、背景画像を所定倍率だけ縮小する。さらに、前景画像を所定倍率だけ縮小する場合には、第１の画像変倍処理手段（変倍部Ｈ５）により、背景画像を所定倍率だけ拡大する。

次に、回転、拡大又は縮小された背景画像に対して、元前景画像を、置換合成処理手段（置換合成部Ｈ６又は置換合成部Ｈ６）が重畳するよう置換合成処理する。

次に、背景画像に、元前景画像を置換合成処理された画像に対しては、第２の画像回転処理手段（回転部Ｇ８）により正方向に所定角度だけ回転する。また変倍する場合には、第２の画像変倍処理手段（変倍部Ｈ８）により、所定倍率だけ拡大し又は所定倍率だけ縮小して、所望の画像を完成させる。

また、背景画像に、前景画像を置換合成処理する速度を向上させる場合には、背景画像における、前景画像を置換合成する領域（前景画像と同じサイズの領域）だけ置換合成処理を行う。このため、合成領域の切り出し手段（メモリ制御部１５及びシステム制御部５０）は、背景画像から合成範囲の画像領域を切り出す。

この場合には、前景画像を置換合成する領域に、輪郭や境界部分が含まれていると、置換合成する画素を演算した際に、輪郭や境界部分に相当する高い空間周波数の部分の高周波成分が落ちる。すると、背景画像における置換合成のため演算された部分と、合成範囲外の部分（元の背景画像の部分）との境目が目立ち、画質の品位が低下する。

そこで、背景画像は、高周波検出手段（高周波検出部Ｇ３又は高周波検出部Ｈ３）にかけられて高周波成分が検出される。

そして、前景画像を置換合成する領域に高周波成分閾値以上に存在して多いと判断された場合には、フィルタ処理手段により背景画像にＬＰＦ（ローパスフィルタ処理）をかけてから置換合成し、画質の品位が低下することを抑制する。そして、背景画像における合成範囲の画像領域に対して、置換合成処理手段により、前景画像が置換合成処理された合成範囲の画像を、書き戻し手段により、背景画像の全体に書き戻して所望の画像を完成させる。

上述した本実施の形態に係わる画像合成処理装置によれば、特別のハードウェア構成や、特別な演算処理の必要が無い簡素なシステム構成とできる。そして、画像合成処理装置によれば、ＹＵＶ４２２の画像でも境界部分を自然な色で明確に表示できるように、マスクデータ中の置換色の混色を起こさずに置換合成できるという効果がある。

本発明の画像合成処理装置は、スライドショー、画像再生効果、画像へのスタンプ合成機能等の画像の置換合成を行う画像合成処理装置として利用可能である。

Ｇ２ フィルタ処理部
Ｇ３ 高周波検出部
Ｇ５ 回転部
Ｇ６ 置換合成部
Ｇ８ 回転部

Claims (7)

1. 背景画像に対して前記背景画像によって置換される置換色画素を含む前景画像を所定の回転方向に回転して合成した画像を生成する画像合成処理装置であって、
   前記背景画像を、前記所定の回転方向と逆の方向に所定の回転角度だけ回転させる第１の画像回転処理手段と、
   前記第１の画像回転処理手段によって回転された前記背景画像と前記前景画像とを、前記前景画像に含まれる前記置換色画素を前記背景画像で置換して合成する合成処理手段と、
   前記合成処理手段から出力される画像を前記所定の回転方向に前記所定の回転角度だけ回転させる第２の画像回転処理手段と、
   を有することを特徴とする画像合成処理装置。
2. 背景画像に対して前記背景画像によって置換される置換色画素を含む前景画像を所定の倍率だけ拡大又は縮小する変倍を行って合成する画像合成処理装置であって、
   前記背景画像を、前記所定の倍率の逆数の倍率で拡大又は縮小させる第１の画像変倍処理手段と、
   前記第１の画像変倍処理手段によって変倍された前記背景画像と前記前景画像とを、前記前景画像に含まれる前記置換色画素を前記背景画像で置換して合成する合成処理手段と、
   前記合成処理手段から出力される画像を前記所定の倍率で拡大又は縮小させる第２の画像変倍処理手段と、
   を有することを特徴とする画像合成処理装置。
3. 前記前景画像を合成する合成範囲の画像領域を前記背景画像から切り出す合成領域の切り出し手段と、
   前記合成範囲の画像領域に対して前記合成処理手段により前記前景画像が合成処理された画像を前記背景画像の全体に書き戻す書き戻し手段と、
   をさらに備えることを特徴とする請求項１又は２記載の画像合成処理装置。
4. 高周波検出手段により前記背景画像から高周波成分を検出し、
   前記高周波検出手段がある閾値以上の高周波を検出した場合に、フィルタ処理手段により前記背景画像に対してローパスフィルタ処理をしてから、前記合成処理手段により背景画像に対して前記前景画像を置換合成処理することを特徴とする請求項１乃至３の何れか１項に記載の画像合成処理装置。
5. 少なくとも前記背景画像及び前記前景画像の一方は、ＹＵＶ４２２の画像であることを特徴とする請求項１乃至４の何れか１項に記載の画像合成処理装置。
6. 背景画像に対して前記背景画像によって置換される置換色画素を含む前景画像を所定の回転方向に回転して合成した画像を生成する画像合成処理装置の制御方法であって、
   前記背景画像を、前記所定の回転方向と逆の方向に所定の回転角度だけ回転させる第１の画像回転処理ステップと、
   前記第１の画像回転処理ステップにて回転された前記背景画像と前記前景画像とを、前記前景画像に含まれる前記置換色画素を前記背景画像で置換して合成する合成処理ステップと、
   前記合成処理ステップで出力される画像を前記所定の回転方向に前記所定の回転角度だけ回転させる第２の画像回転処理ステップと、
   を有することを特徴とする画像合成処理装置の制御方法。
7. 背景画像に対して前記背景画像によって置換される置換色画素を含む前景画像を所定の倍率だけ拡大又は縮小する変倍を行って合成する画像合成処理装置の制御方法であって、
   前記背景画像を、前記所定の倍率の逆数の倍率で拡大又は縮小させる第１の画像変倍処理ステップと、
   前記第１の画像変倍処理ステップにて変倍された前記背景画像と前記前景画像とを、前記前景画像に含まれる前記置換色画素を前記背景画像で置換して合成する合成処理ステップと、
   前記合成処理ステップで出力される画像を前記所定の倍率で拡大又は縮小させる第２の画像変倍処理ステップと、
   を有することを特徴とする画像合成処理装置の制御方法。

Images