JP6524644B2 - 画像処理装置および電子機器 - Google Patents

Description

本発明は、画像処理装置および電子機器に関する。

電子機器として例えばデジタルカメラにおいては、小型化が急速に進められ、内蔵する撮影レンズに対しても小型化が要求されている。撮影レンズの小型化については、従来の多枚数のレンズを組み合わせて用いるものから、１枚若しくは少枚数の小型のものに置き換えることが多くなっている。

また、小型化のためにレンズの径をより小さいものに置き換えたり、低価格化のためにレンズの材質を安価なものに置き換えることがある。 ところが、このような小型化、低価格化された撮影レンズでは、いわゆる色収差や、歪曲収差などのレンズで生じる画質劣化を充分に抑えることが困難になってくる。撮像装置の小型化、広角化は、撮影画像の周辺部で歪曲が大きくなる要因となっている。

そこで、特許文献１に記載の撮像装置が提案されている。特許文献１に記載の撮像装置は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子からＲ（赤）、Ｇ（緑）、Ｂ（青）の各色別の映像信号を取り出す。次に、一旦デジタルデータに変換してそれぞれ個別のフィールドメモリに一時記憶する。そして、撮影レンズの駆動状態に基づいて、各フィールドメモリ全体を個別にベクトル移動して各画像を拡大、縮小する。その後に再びＲ、Ｇ、Ｂの合成を行うことにより、撮影レンズで発生する色ずれや歪曲収差を補正することが記載されている。

また、デジタルカメラ等の撮像装置において、撮像素子から得られた画像を歪み補正後に画像処理することにより、画像の倍率を拡大させるデジタルズーム技術も既に知られている。

しかしながら、特許文献１に記載された撮像装置では、撮像素子から読み出されたデータは、一旦ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリに格納された後、歪補正のために読み出され、歪補正が行われた後、再度メモリに保存するという動作が行われる。 同様に、デジタルズームを行う際にも、メモリに格納された画像データを読出し、補間等の処理により拡大画像を生成した後、再度メモリに保存するという動作が行われる。

このため、メモリからのデータの読出し、メモリへデータの書き込みが頻繁に行われることとなり、メモリへアクセスする帯域が不足してしまうという問題が生じる。 特に、歪補正、及びデジタルズーム処理は圧縮前の画像データに対して行うため、メモリへのアクセス帯域が大きく不足してしまう。 このため、システムクロックを高速化するなどの対処が必要となり、消費電力が増大するとともに、システム構成が複雑になるという問題が生じる。

また、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子の高画素化、撮影レンズの広角化により、歪み補正時に画像の場所に合わせて画素を拡大、縮小する際の拡大倍率と縮小倍率のレンジが大きくなる。この場合、画素位置によっては、２分の１以下の縮小処理が行われることがある。そのため歪み補正後の画像に画像処理でデジタルズームを行うと、縮小処理の後に拡大処理を行う位置が出現してしまうことになるため、画質の劣化が起きるという問題があった。

本発明はかかる問題を解決することを目的としている。即ち、本発明は、例えば、メモリへのアクセス帯域の増加を抑えるとともに、画質の劣化も少なくすることができる画像処理装置を提供することを目的としている。

上記に記載された課題を解決するために、本発明は、入力画像に対して所定の変形処理を行って出力画像を出力する変形手段を有する画像処理装置であって、前記変形手段は、前記出力画像を複数の領域に分割し、その分割領域の画素数に対して、前記分割領域ごとにそれぞれ前記入力画像内で参照する参照領域の画素数が少ない場合は、当該分割領域に対して前記変形処理と共に縮小処理を施し、前記参照領域の画素数が多い場合は、当該分割領域に対して前記変形処理と共に拡大処理を施すことを特徴とする。

本発明によれば、分割領域ごとに変形処理とともに拡大処理または縮小処理を施すので、変形処理と拡大処理または縮小処理とでそれぞれメモリにアクセスする必要が無く、メモリアクセス帯域の増加を抑えることができる。また、分割領域ごとに拡大処理をするか縮小処理をするか判断するので、画質の劣化を少なくすることができる。

本発明の第１の実施形態にかかる画像処理装置のブロック構成図である。 図１に示された座標データテーブルの説明図である。 入力画像の例の説明図である １エリアの四隅の４点を示す説明図である。 図４に示されたエリアの座標データと入力画像の対応の例である。 変形処理のみの場合の参照エリア（参照領域）の画素数と出力エリアの画素数との関係の説明図である。 自由変形部１２における拡大動作の説明図である。 拡大処理または縮小処理を伴う変形処理の場合の参照エリアの画素数と出力エリアの画素数との関係の説明図である。 図１に示された自由変形部の動作を示したフローチャートである。 本発明の第２の実施形態にかかる画像処理装置の拡大処理または縮小処理を伴う変形処理の場合の参照エリアの画素数と出力エリアの画素数との関係の説明図である。 本発明の第２の実施形態にかかる自由変形部の動作を示したフローチャートである。 本発明の第３の実施形態にかかる画像処理装置のブロック構成図である。 ブレンディング画像の例を示した説明図である。 図１３に示した画像を２つの画像に分解した説明図である。 図１２に示した自由変形部により処理が行われた後の２つの画像例の説明図である。 本発明の第４の実施形態にかかる画像処理装置の動作を示したタイミングチャートである。 本発明の一実施形態にかかる電子機器のブロック構成図である。

（第１実施形態）
本発明の第１の実施形態にかかる画像処理装置を図１乃至図９を参照して説明する。本実施形態にかかる画像処理装置１は、図１に示したように、座標データテーブル１１と、自由変形部１２と、メモリコントローラ１３と、メモリ１４と、拡大・縮小部１５と、を有している。

座標格納手段としての座標データテーブル１１は、自由変形部１２が入力画像を変形するために読み出す領域が設定されているテーブルである。座標データテーブル１１は例えばＲＯＭ（Read Only Memory）等の不揮発性のメモリに記憶されている。あるいは、ＲＡＭ等の揮発性のメモリで構成し、電源投入時に外部からロードするようにしてもよい。座標データテーブル１１は歪み補正や回転等の変形処理ごとにテーブルが複数設けられている。

変形手段としての自由変形部１２は、座標データテーブル１１に設定された座標データに基づいて、メモリ１４に格納されている入力画像をメモリコントローラ１３に読み出させる。自由変形部１２は、内部にＲＡＭ等の内部メモリを有し、読み出された入力画像は、内部メモリに記憶されている。そして、自由変形部１２は、内部メモリに記憶された入力画像に基づいて、歪み処理や回転処理等に伴う所定の変形処理や、後述する拡大処理または縮小処理を行う。前記した処理が施された後の画像データは、メモリコントローラ１３を介してメモリ１４に記憶される。

メモリコントローラ１３は、例えば外部の撮像部等が取得して、画像処理装置１に入力した入力画像をメモリ１４に記憶させる。また、メモリコントローラ１３は、自由変形部１２および拡大・縮小部１５からの指示に応じてメモリ１４から入力画像や自由変形部１２により処理が施された後の画像データ等を読み出す。

メモリ１４は、例えばＳＤＲＡＭ等で構成され、メモリコントローラ１３からの制御によって入力画像や自由変形部１２により処理が施された後の画像データ等が記憶される。

拡大縮小手段としての拡大・縮小部１５は、メモリ１４に記憶されている入力画像または自由変形部１２により処理が施された後の画像データに拡大処理または縮小処理を施して出力画像として外部に出力する。

なお、上述した構成の画像処理装置１において、メモリ１４は、外部に設けてもよい。また、画像処理装置１は、半導体集積回路として構成してもよいし、プリント基板やモジュール等で構成してもよい。

あるいは、図１の構成をコンピュータのＣＰＵ（Central Processing Unit）やメモリに機能させるコンピュータプログラム（画像処理プログラム）として構成することもできる。例えば、ＣＰＵが自由変形部１２、メモリコントローラ１３、拡大・縮小部１５として機能し、メモリが座標データテーブル１１、メモリ１４として機能することができる。

次に、座標データテーブル１１について図２および図３を参照して説明する。図２は、座標データテーブル１１の例である。座標データテーブル１１は、Ｘ座標データとＹ座標データとから構成されている。ここで、Ｘ座標とは画像の主走査方向（例えば画像の横方向）、Ｙ座標とは画像の副走査方向（例えば画像の縦方向）をそれぞれ示している。

座標データテーブル１１は、自由変形部１２で処理をする際に入力画像において参照する領域の画素位置を一組のＸ座標データとＹ座標データとで示している。具体例を図３を参照して説明する。図３（ａ）は、入力画像を示している。図３（ｂ）は、図３（ａ）の斜線部分に対応する出力画像である。

図３の場合、Ｘ座標データとＹ座標データは４画素×４画素を１つのエリア（領域）として設定されている。例えば、図３（ｂ）の画素ａに対応して参照する画素は、図２のＸ座標データ・Ｙ座標データ−０に設定される。同様に、画素ｂに対応して参照する画素はＸ座標データ・Ｙ座標データ−１に設定され、画素ｃに対応して参照する画素はＸ座標データ・Ｙ座標データ−２に設定され、画素ｄに対応して参照する画素はＸ座標データ・Ｙ座標データ−３に設定され、画素ｄはＸ座標データ・Ｙ座標データ−１５に設定される。

図２のＸ座標データ・Ｙ座標データ−１６〜Ｘ座標データ・Ｙ座標データ−３１は、図３（ｂ）で説明したエリアの右隣のエリアに対応する画素の座標データが設定されている。

メモリコントローラ１３は、上述したＸ座標データとＹ座標データとに基づいてメモリ１４のアドレスを算出し、Ｘ座標データとＹ座標データで示された座標の入力画像（画素）を読み出す。

メモリコントローラ１３によるメモリ１４のアドレス計算は、例えば入力画像のデータフォーマットがＹＵＶ４２２の場合、以下の（１）式となる。
メモリアドレス＝メモリオフセットアドレス＋Ｘ座標データ×２＋（Ｙ座標データ×（入力画像のＸ画素数×２））・・・（１）

ここで、メモリオフセットアドレスは、予め定められているアドレスのオフセット値、Ｘ画素数はＸ方向（主走査方向）の画素数である。

また、本実施形態では、Ｘ座標データ、Ｙ座標データともに小数点５桁まで設定が可能となっている。そのため、小数点精度（サブピクセル精度）で指定された場合は、自由変形部１２は、画素補間法として周知であるバイキュービック法により補間計算を行う。バイキュービック法では、隣接する周辺画素を必要し、本実施形態では９画素を必要とする。勿論１６画素など他の画素数であってもよい。即ち、Ｘ座標データおよびＹ座標データが小数点精度で指定された場合は、Ｘ座標データおよびＹ座標データに設定されている１つの座標に付き９画素のデータを読み出す必要がある。なお、Ｘ座標データおよびＹ座標データに小数点以下の桁の数字が存在しなければ、バイキュービック法による補間は行わず、バイキュービック法による補間のみに必要とする画素の参照（読み出し）は行われない。

このように、バイキュービック法による補間演算で出力画素データ１画素に対してメモリ１４上に記憶された９画素の参照することから、例えば、Ｘ座標データ・Ｙ座標データ−０とＸ座標データ・Ｙ座標データ−１とで、参照するデータが重なる可能性が高い。そこで、本実施形態では、自由変形部１２は、出力画像を４×４画素のエリア単位に分割し、エリア単位で画像データを扱う。この４×４画素の出力画像のエリアを出力エリアあるいは出力エリア画像と呼ぶ。そして、座標データテーブル１１から１６個分（Ｘ座標データ・Ｙ座標データ０〜１５）の参照画素データをメモリ１４から取り出し、自由変形部１２の内部メモリに記憶させることで、メモリ１４へのアクセス効率を向上させている。

この出力エリア（出力エリア画像）は、予め設定されるものであるが、４×４画素に限るものではない。また、この出力エリア（出力エリア画像）は、自由変形部１２における拡大処理または縮小処理の際の基準となるものである。自由変形部１２で等倍処理の場合は、この出力エリアのサイズと自由変形部１２の出力結果のサイズとが等しくなるが、拡大処理または縮小処理が施された場合は、出力エリアのサイズと自由変形部１２の出力結果のサイズとは異なる場合がある。詳細は後述する。

なお、図２に示した例では、１エリアあたり１６個の座標データが座標データテーブル１１に設定されていたが、図４に示すように、１エリアの四隅となる４点のみを座標データテーブル１１に設定し、他の１２点は計算により算出してもよい。図４は出力エリア画像の１つについて示した図である。

図４において、画素ｆは、図２のＸ座標データ・Ｙ座標データ−０で示される座標の入力画像が参照される。同様に、画素ｇは、Ｘ座標データ・Ｙ座標データ−１で示される座標の入力画像が参照され、画素ｈは、Ｘ座標データ・Ｙ座標データ−２で示される座標の入力画像が参照され、画素ｉは、Ｘ座標データ・Ｙ座標データ−３で示される座標の入力画像が参照される。

そして、残りの１２点の画素は、例えば線形補間により座標データを算出する。線形補間以外の補間方法であってもよい。また、エリアごとに補間方法を変更するようなパラメータを有してもよい。

図５に線形補間の具体例を示す。図５（ａ）は、図４に具体的な座標データを示したものである（上段がＸ座標データ、下段がＹ座標データ）。図５（ａ）のうち、図４の画素ｆ、ｇ、ｈ、ｉに対応する位置の座標データは、予め座標データテーブル１１に設定されている値である。それ以外の位置の座標データは、線形補間により算出した値である。図５（ａ）の場合、入力画像に対して図５（ｂ）に示すような形状の領域を参照していることとなる（なお、図５（ｂ）はバイキュービック法による補間分を含まない）。

図６に変形処理のみの場合の参照エリア（参照領域）の画素数と出力エリアの画素数との関係を示す。ここで、出力エリアは、上述したように出力画像を予め定めた任意のサイズに分割した際の一つの分割エリアをいい、図６の例では４×４画素（矩形状）で画素数は１６画素とする。また、図６の上段は参照エリア、下段は自由変形部１２により当該参照エリアを参照して処理した結果をそれぞれ示している。

図６（ａ）は出力エリアの画素数＜参照エリアの画素数の場合である。図６（ｂ）は出力エリアの画素数＞参照エリアの画素数の場合、図６（ｃ）は出力エリアの画素数＝参照エリアの画素数の場合、図６（ｄ）は出力エリアの画素数＜参照エリアの画素数の場合である。

なお、参照エリアは、上述したサブピクセル精度で指定された場合にはバイキュービック法による補間が必要となるので、図６に示したように、必ずしも矩形とはならない場合がある。また、変形処理の内容によっては、４×４画素でない領域を参照する場合もある。したがって、参照エリアの画素数は、座標データテーブル１１に基づいて、例えば周知の座標法を用いて算出すればよい。

図６では拡大処理や縮小処理を行わないので下段の処理結果は全て４×４画素で固定される。即ち、座標データテーブル１１に示された座標に応じた参照エリアに基づいた変形のみ（例えば図５）が行われる。

次に、自由変形部１２における拡大動作について図７を参照して説明する。例えば４×４画素から５×５画素に拡大する場合、座標データテーブル１１に設定されている四隅の座標データをそのまま利用して拡大処理をすることができる。

図５に示したような、１エリアの四隅となる４点のみを座標データテーブル１１に設定した場合（矩形の４つの頂点に対応する入力画像の座標位置が格納されている場合）、四隅以外の画素数を増やすことで拡大処理となる。例えば、図７に示したように、４×４画素の場合、各頂点間の２画素の座標データを線形補間して算出していたが、５×５画素に拡大する場合は、各頂点間を３画素として座標データを算出すればよい。このようにすることで、１．２５倍の拡大処理を行うことができる。

図７の場合は、画素ｆ、ｇ、ｈ、ｉにかかる座標データは、４×４画素の場合も５×５画素の場合も同じデータを利用することができる。また、同様に６×６画素として扱えば１．５倍、７×７画素として扱えば１．７５倍にそれぞれ拡大することができる。即ち、座標データに関しては、四隅の４点からの線形補間で算出するため、自由変形部１２から出力するエリア単位の出力画像のサイズを変更することで拡大動作が可能になる。なお、線形補間ではなく、他の補間方法を用いてもよい。

上記は拡大処理の例であるが、同様の考え方で縮小処理も可能である。つまり、四隅の４点間の画素数を少なくするように補間処理をすればよい。即ち、変形手段は、座標格納手段に格納されている矩形の４つの頂点の座標位置に基づいて分割領域に拡大処理または縮小処理を施す。

図８に自由変形部１２において拡大処理または縮小処理を伴う変形処理の場合の参照エリアの画素数と出力エリアの画素数との関係を示す。図８は、例えばデジタルズームなどによって画像処理装置１全体として１．２５倍の拡大処理をする場合の例である。また、図８の上段は参照エリア、下段は自由変形部１２により当該参照エリアを参照して処理した結果をそれぞれ示している。

図８（ａ）は出力エリアの画素数＜参照エリアの画素数の場合である。図８（ｂ）は出力エリアの画素数＞参照エリアの画素数の場合、図８（ｃ）は出力エリアの画素数＝参照エリアの画素数の場合、図８（ｄ）は出力エリアの画素数＜参照エリアの画素数の場合である。ここで、出力エリアの画素数は図６と同様に、４×４画素＝１６画素とする。

本実施形態における自由変形部１２の拡大処理または縮小処理の判断基準は以下の３つにより行われる。
（１）出力エリアの画素数＜参照エリアの画素数の条件を満たす場合、自由変形部１２は拡大処理を行う。即ち、分割領域の画素数に対して、参照領域の画素数が多い場合は、当該分割領域に拡大処理を施す。
（２）出力エリアの画素数＞参照エリアの画素数の条件を満たす場合、自由変形部１２は縮小処理を行う。即ち、分割領域の画素数に対して、参照領域の画素数が少ない場合は、当該分割領域に縮小処理を施す。
（３）出力エリアの画素数＝参照エリアの画素数の条件を満たす場合、自由変形部１２は拡大処理も縮小処理も行わない（等倍）。

上記条件を図８に当て嵌めると、図８（ａ）の場合は、出力エリアの画素数（１６画素）＜参照エリアの画素数（２７画素）のため、１．２５倍の拡大処理が行われる。図８（ｂ）の場合は、出力エリアの画素数（１６画素）＞参照エリアの画素数（９画素）のため、縮小処理が行われる。縮小処理の場合は、参照エリアのサイズに縮小している。図８（ｃ）の場合は、出力エリアの画素数（１６画素）＝参照エリアの画素数（１６画素）のため、拡大処理も縮小処理も行われない。図８（ｄ）の場合は、出力エリアの画素数（１６画素）＜参照エリアの画素数（２１画素）のため、１．２５倍の拡大処理が行われる。

図８（ａ）や（ｄ）の出力エリアの画素数＜参照エリアの画素数の場合、自由変形部１２が出力する画像データは、参照エリアのデータに対して、縮小処理をかけているのと同等と見做すことができる。例えば、参照エリア画像が２５×２５画素で、出力エリア画像が４×４画素とし、歪み補正等の所定の変形を行いつつ２倍に拡大処理をする場合で説明する。

この場合、自由変形部１２では変形処理のみを行い、後段の拡大・縮小部１５で２倍すると、自由変形部１２での変形処理に際して行われる（４／２５）×（４／２５）画素に縮小処理後に２倍の拡大処理が行われる。一方、自由変形部１２で変形処理とともに拡大も行う場合、自由変形部１２では、（８／２５）×（８／２５）画素とする処理が行われる。そして、拡大・縮小部１５では、等倍として何も処理が行われないので、自由変形部１２で拡大した場合に、拡大・縮小部１５で拡大するよりも画質が向上すると判定できる。

図８（ｂ）の出力エリアの画素数＞参照エリアの画素数の場合、参照エリア画像が３×３画素であるので、その参照エリア画像のサイズと同じ３×３画素としても自由変形部１２では、実質的に等倍処理となる。したがって、出力エリア画像サイズから縮小しても画質が劣化しないと判定できる。そして、自由変形部１２で出力された出力画像の当該エリアは、拡大・縮小部１５で別途拡大処理が行われる。

図８（ｃ）の出力エリアの画素数＝参照エリアの画素数の場合は、自由変形部１２では、等倍処理となるので、自由変形部１２で拡大しても画質が向上しないと判定できる。したがって、自由変形部１２で出力された出力画像の当該エリアは、拡大・縮小部１５で別途拡大処理が行われる。

上述した自由変形部１２の動作（画像処理方法）を図９のフローチャートにまとめる。図９のフローチャートは、まず、自由変形部１２は、ステップＳ１０１において、座標データテーブル１１に基づいて処理対象となるエリアの参照エリアをメモリ１４からメモリコントローラ１３を介して読み出す。次に、自由変形部１２は、ステップＳ１０２で、デジタルズーム等の拡大処理が有るか否かを判断し、有る場合（ＹＥＳの場合）はステップＳ１０３で出力エリアの画素数と参照エリアの画素数とを比較する。一方、拡大処理が無い場合（ＮＯの場合）はステップＳ１０６で変形処理のみを行ってステップＳ１０７に進む。

自由変形部１２は、ステップＳ１０３では、出力エリアの画素数＜参照エリアの画素数の場合はステップＳ１０４で拡大処理と変形処理を行う。一方、出力エリアの画素数＞参照エリアの画素数の場合はステップＳ１０５で縮小処理と変形処理を行う。ここで、拡大、縮小は、上述した出力エリアの画素数と比較しての処理をいう。

自由変形部１２は、出力エリアの画素数＝参照エリアの画素数の場合は、ステップＳ１０６で変形処理のみを行う。そして、自由変形部１２は、ステップＳ１０７において、次のエリアが有るか否かを判断し、ある場合はステップＳ１０１に戻って次のエリアに対して上述した処理を繰り返し、無い場合は終了する。

以上の説明から明らかなように、ステップＳ１０１〜Ｓ１０７が変形工程に相当する。また、自由変形部１２は、出力画像を複数の出力エリアに分割し、その出力エリアごとにそれぞれ入力画像内で参照する参照領域に基づいて、当該出力エリアに対して変形処理と共に拡大処理または縮小処理を施している。

本実施形態によれば、画像処理装置１において、自由変形部１２は、出力画像を複数に分割し、その分割したエリアごとにそれぞれ入力画像内で参照する参照エリアに基づいて、当該分割エリアを拡大または縮小する。このようにすることにより、分割エリアごとに変形処理とともに拡大処理または縮小処理を施すので、変形処理と拡大処理または縮小処理とでそれぞれメモリ１４にアクセスする必要が無く、メモリアクセス帯域の増加を抑えることができる。また、分割領域ごとに拡大するか縮小するか判断するので、画質の劣化を少なくすることができる。

また、自由変形部１２は、出力エリアの画素数＞参照エリアの画素数の場合は縮小処理と変形処理を行い、出力エリアの画素数＜参照エリアの画素数の場合は拡大処理と変形処理を行う。このようにすることにより、出力エリアの画素数＞参照エリアの画素数の場合は、自由変形部１２では、参照エリアのサイズと同じサイズにするため、出力エリア画像サイズから縮小しても画質が劣化しない。また、出力エリアの画素数＜参照エリアの画素数の場合は、自由変形部１２でのみで拡大処理を行うため、拡大・縮小部１５で別途拡大するよりも画質が向上する。

また、自由変形部１２は、出力エリアの画素数＞参照エリアの画素数の場合は変形処理のみを行う。このようにすることにより、自由変形部１２では、等倍処理となるので、自由変形部１２で拡大しても画質が向上しない。したがって、拡大・縮小部１５で別途処理を行えばよい。

（第２実施形態）
次に、本発明の第２の実施形態にかかる画像処理装置を図１０および図１１を参照して説明する。なお、前述した第１の実施形態と同一部分には、同一符号を付して説明を省略する。

本実施形態にかかる画像処理装置１は、ブロック構成は図１と同様であるが、自由変形部１２における処理が異なる。

図１０に、本実施形態にかかる拡大処理または縮小処理を伴う変形処理の場合の参照エリアの画素数と出力エリアの画素数との関係を示す。図１０は、図８と同様にデジタルズームなどによって画像処理装置１全体として１．２５倍の拡大処理をする場合の例である。また、図１０の上段は参照エリア、下段は自由変形部１２により当該参照エリアを参照して処理した結果をそれぞれ示している。また、出力エリアの画素数は第１の実施形態と同様に、４×４画素＝１６画素とする。

本実施形態における自由変形部１２の拡大処理または縮小処理の判断基準は以下の６つにより行われる。なお、本実施形態では、主走査方向（Ｘ座標）を一の方向、副走査方向（Ｙ座標）を一の方向と直交する他の方向として説明する。
（１）出力エリアの画像のＸサイズ（主走査方向の画素数）＜参照エリアの画像のＸサイズの条件を満たす場合、自由変形部１２はＸサイズを大きくする（Ｘ方向の拡大処理）。即ち、分割領域の一の方向の画素数に対して、参照領域の一の方向の画素数が多い場合は、当該分割領域の前記一の方向に拡大処理を施す。
（２）出力エリアの画像のＸサイズ＞参照エリアの画像のＸサイズの条件を満たす場合、自由変形部１２はＸサイズを小さくする（Ｘ方向の縮小処理）。即ち、分割領域の一の方向の画素数に対して、参照領域の一の方向の画素数が少ない場合は、当該分割領域の一の方向に縮小処理を施す。
（３）出力エリアの画像のＸサイズ＝参照エリアの画像のＸサイズの条件を満たす場合、自由変形部１２はＸサイズを変更しない。

（４）出力エリアの画像のＹサイズ（副走査方向の画素数）＜参照エリアの画像のＹサイズの条件を満たす場合、自由変形部１２はＹサイズを大きくする（Ｙ方向の拡大処理）。即ち、分割領域の他の方向の画素数に対して、参照領域の他の方向の画素数が多い場合は、当該分割領域の他の方向に拡大処理を施す。
（５）出力エリアの画像のＹサイズ＞参照エリアの画像のＹサイズの条件を満たす場合、自由変形部１２はＹサイズを小さくする（Ｙ方向の縮小処理）。即ち、分割領域の一の方向と直交する他の方向の画素数に対して、参照領域の他の方向の画素数が少ない場合は、当該分割領域の他の方向に縮小処理を施す。
（６）出力エリアの画像のＹサイズ＝参照エリアの画像のＹサイズの条件を満たす場合、自由変形部１２がＹサイズを変更しない。

上記条件を図１０に当て嵌めると、図１０（ａ）の場合は、出力エリアのＸサイズ（４画素）＜参照エリアのＸサイズ（６画素）のため、Ｘサイズを４画素から５画素に大きくする（１．２５倍に拡大する）。また、出力エリアのＹサイズ（４画素）＞参照エリアのＹサイズ（３画素）のため、Ｙサイズを４画素から３画素に小さくする（参照エリアのサイズに合わせるよう縮小する）。

図１０（ｂ）の場合は、出力エリアのＸサイズ（４画素）＞参照エリアのＸサイズ（３画素）のため、Ｘサイズを４画素から３画素に小さくする（参照エリアのサイズに合わせるよう縮小する）。また、出力エリアのＹサイズ（４画素）＞参照エリアのＹサイズ（３画素）のため、Ｙサイズを４画素から３画素に小さくする（参照エリアのサイズに合わせるよう縮小する）。

図１０（ｃ）の場合は、出力エリアのＸサイズ（４画素）＝参照エリアのＸサイズ（４画素）のため、Ｘサイズは変更しない。また、出力エリアのＹサイズ（４画素）＝参照エリアのＹサイズ（４画素）のため、Ｙサイズは変更しない。

図１０（ｂ）の場合は、出力エリアのＸサイズ（４画素）＞参照エリアのＸサイズ（３画素）のため、Ｘサイズを４画素から３画素に小さくする（参照エリアのサイズに合わせるよう縮小する）。また、出力エリアのＹサイズ（４画素）＜参照エリアのＹサイズ（７画素）のため、Ｙサイズを４画素から５画素に大きくする（１．２５倍に拡大する）。

本実施形態の場合、第１の実施形態をＸサイズ、Ｙサイズにそれぞれ分けて判断しているので、拡大、縮小、等倍の各判定は、第１の実施形態と同様に考えることができる。つまり、出力エリアのＸサイズ＜参照エリアのＸサイズの場合と出力エリアのＹサイズ＜参照エリアのＹサイズの場合は、拡大・縮小部１５では、ＸサイズまたはＹサイズにおいては等倍として何も処理が行われない。そのため、自由変形部１２で拡大した場合に、拡大・縮小部１５で拡大するよりも画質が向上すると判定できる。

出力エリアのＸサイズ＞参照エリアのＸサイズの場合と出力エリアのＹサイズ＞参照エリアのＹサイズの場合は、自由変形部１２では、ＸサイズまたはＹサイズは実質的に等倍処理となるので、出力エリア画像サイズから縮小しても画質が劣化しないと判定できる。そして、自由変形部１２で出力された出力画像は、拡大・縮小部１５で別途拡大処理が行われる。

出力エリアのＸサイズ＝参照エリアのＸサイズの場合と出力エリアのＹサイズ＝参照エリアのＹサイズの場合は、自由変形部１２では、等倍処理となるので、自由変形部１２で拡大しても画質が向上しないと判定できる。したがって、自由変形部１２で出力された出力画像は、拡大・縮小部１５で別途拡大処理が行われる。

例えば、拡大・縮小部１５では、図１０（ａ）の場合、Ｘサイズは等倍、Ｙサイズは１．６６倍の拡大処理を行う。図１０（ｂ）の場合、Ｘサイズ、Ｙサイズとも１．６６倍の拡大処理を行う。図１０（ｃ）の場合、Ｘサイズ、Ｙサイズとも１．２５倍の拡大処理を行う。図１０（ｄ）の場合、Ｘサイズは１．６６倍の拡大処理、Ｙサイズは等倍処理を行う。このようにして画像処理装置１Ａ全体として１．２５倍の拡大処理が行われるようにする。

本実施形態にかかる自由変形部１２の動作（画像処理方法）を図１１のフローチャートにまとめる。図１１のフローチャートは、まず、自由変形部１２は、ステップＳ２０１において、座標データテーブル１１に基づいて処理対象となるエリアの参照エリアを読み出す。次に、自由変形部１２は、ステップＳ２０２で、デジタルズーム等の拡大処理が有るか否かを判断し、有る場合（ＹＥＳの場合）はステップＳ２０３で出力エリアのＸサイズと参照エリアのＸサイズとを比較する。一方、拡大処理が無い場合（ＮＯの場合）はステップＳ２１２で変形処理のみを行ってステップＳ２１３に進む。

自由変形部１２は、ステップＳ２０３では、出力エリアのＸサイズ＜参照エリアのＸサイズの場合はステップＳ２０４でＸサイズを大きくする。出力エリアのＸサイズ＞参照エリアのＸサイズの場合はステップＳ２０５でＸサイズを小さくする。出力エリアのＸサイズ＝参照エリアのＸサイズの場合はステップＳ２０６でＸサイズの変更は行わない。

自由変形部１２は、ステップＳ２０４〜Ｓ２０６から進んだステップＳ２０７では、出力エリアのＹサイズと参照エリアのＹサイズとを比較する。そして、ステップＳ２０７で、出力エリアのＹサイズ＜参照エリアのＹサイズの場合はステップＳ２０８でＹサイズを大きくする。出力エリアのＹサイズ＞参照エリアのＹサイズの場合はステップＳ２０９でＹサイズを小さくする。出力エリアのＹサイズ＝参照エリアのＹサイズの場合はステップＳ２１０でＹサイズの変更は行わない。

自由変形部１２は、ステップ２０８〜Ｓ２１０から進んだステップＳ２１１では、ステップＳ２０４〜２０６およびステップＳ２０８〜Ｓ２１０において決定したＸサイズ、Ｙサイズに基づく拡大処理または縮小処理と座標データテーブル１１に基づく変形処理を行う。

自由変形部１２は、ステップＳ２１３において次のエリアが有るか否かを判断し、ある場合はステップＳ２０１に戻って次のエリアに対して上述した処理を繰り返し、無い場合は終了する。

以上の説明から明らかなように、ステップＳ２０１〜Ｓ２１３が変形工程に相当する。なお、図１１に示したフローチャートではＸサイズを先に判定していたが、Ｙサイズを先に判定してもよい。また、図１１に示したフローチャートではＸサイズとＹサイズとを独立に判定しているが、同時に判定してもよい。

本実施形態によれば、出力エリアと参照エリアの比較の際に、画素数ではなく、ＸサイズとＹサイズとをそれぞれ個別に比較して、それぞれの比較結果に基づいて拡大処理または縮小処理を行っている。このようにすることにより、参照エリアが矩形でない場合でも、画質の劣化を少なくすることができる。したがって、より多様な変形処理において画質の劣化を少なくすることができる。

（第３実施形態）
次に、本発明の第３の実施形態にかかる画像処理装置を図１２乃至図１５を参照して説明する。なお、前述した第１、第２の実施形態と同一部分には、同一符号を付して説明を省略する。

本実施形態にかかる画像処理装置１Ａのブロック構成図を図１２に示す。図１２に示した画像処理装置１Ａは、図１に示した画像処理装置１Ａにブレンディング部１６が追加され、メモリコントローラ１３がメモリコントローラ１３ａに変更されている。メモリコントローラ１３ａは、複数の入力画像（入力画像Ａ、Ｂ）が入力可能に構成されている。なお、図１に示したメモリコントローラ１３のような１つの１入力で複数の入力画像を順次入力するようにしてもよい。

混合手段としてのブレンディング部１６は、複数の入力画像のブレンディング処理を行う。ブレンディング処理とは、複数の入力画像を重畳して、複数の入力画像が混合された１つの出力画像とする処理である。例えば２つの画像をブレンディングする場合には、ブレンディング係数を設定し、以下の（２）式を演算して演算結果の画素データ（画像データ）をメモリコントローラ１３を介してメモリ１４に出力する。
（一方の画像の画素データ×ブレンディング係数）＋（他方の画像の画素データ×（１−ブレンディング係数））・・・（２）

図１３はブレンディング画像の例である。図１３はＡ画像とＢ画像の２つの画像の端部をブレンディングしている。つまり、Ａ画像の右端部とＢ画像の左端部が重畳されている。この重畳されている領域を以下ブレンディング画像と呼ぶ。なお、本実施形態では、図１３等に示す画像は、自由変形部１２の処理前の画像ではなく、処理後（変形後）の画像である。

つまり、図１４に示すように、Ａ画像がａｒｅａ１〜５、ａｒｅａ１１〜１５、ａｒｅａ２１〜２５の１５エリアから構成されている。また、Ｂ画像がａｒｅａ６〜１０、ａｒｅａ１６〜２０、ａｒｅａ２６〜３０の１５エリアから構成されている。この場合、ａｒｅａ５とａｒｅａ６、ａｒｅａ１５とａｒｅａ１６、ａｒｅａ２５とａｒｅａ２６がそれぞれ重なるエリア（領域）となる。

ブレンディング部１６においてブレンディング処理を行う場合、第１、第２の実施形態で説明した自由変形部１２における拡大処理や縮小処理を行うと、例えばブレンディング画像に含まれるエリアでは２つの画像間で拡大等の倍率が異なる可能性がある。拡大等の倍率が異なると、ブレンディング処理時にどちらかを拡大処理または縮小処理をしなければならず画像処理装置１Ａとしての処理効率が低下する。

そのため、本実施形態では、自由変形部１２において、ブレンディング画像に含まれるエリアは、いずれかの倍率に合わせるようにする。ここで倍率は、拡大処理の場合は１よりも大きな値、縮小処理の場合は１未満の値、等倍は１として表すものとする。

具体例としては、図１３の場合、Ａ画像のエリアの倍率＞Ｂ画像のエリアの倍率の場合、Ａ画像のエリアの倍率で、当該エリアの拡大処理または縮小処理を行う。また、Ａ画像のエリアの倍率＜Ｂ画像のエリアの倍率の場合、Ｂ画像のエリアの倍率で、当該エリアの拡大処理または縮小処理を行う。即ち、変形手段は、混合手段で混合される分割領域においては、それぞれの出力画像の分割領域についてそれぞれ算出された拡大または縮小の倍率のうち、最大の倍率に合わせて拡大処理または縮小処理を施す。

図１４における自由変形部１２の処理としては、まず、Ａ画像のａｒｅａ１〜４の処理を行う。次に、後にａｒｅａ５の処理を行い、続いてＢ画像のａｒｅａ６の処理を行って、ａｒｅａ５、ａｒｅａ６の倍率を合わせて２つのエリアをブレンディング部１６に出力する。そして、Ｂ画像のａｒｅａ７〜１０の処理を行う。つまり、ブレンディング画像に含まれるＡ画像のａｒｅａ５とＢ画像のａｒｅａ６がブレンディング部１６により処理が行われる。Ａ画像のａｒｅａ１〜４の処理とＢ画像のａｒｅａ７〜１０との処理は第１または第２の実施形態と同様となり、ブレンディング部１６による処理は行われない。このように、本実施形態ではブレンディング画像で互いに重畳されるエリアが連続して処理されるようにしている。

図１５は、上述したような処理を行った例である。ブレンディング画像に含まれるａｒｅａ５とａｒｅａ６、ａｒｅａ１５とａｒｅａ１６、ａｒｅａ２５とａｒｅａ２６は、それぞれ同じ倍率となる。

本実施形態によれば、自由変形部１２は、ブレンディング処理を行う場合、ブレンディング画像に含まれるエリアにおいては、それぞれ算出された倍率のうち、高い倍率に合わせて拡大または縮小を行う。このようにすることにより、ブレンディング部１６で拡大処理や縮小処理を行う必要が無く、ブレンディング部１６の処理を複雑化させず、画像処理装置１Ａの処理効率を向上させることができる。

なお、上述した例では、２つの画像のブレンディング処理で説明したが、３つ以上のブレンディング処理のケースであっても同様に高い倍率に合わせることで、処理効率を向上させることができる。

（第４実施形態）
次に、本発明の第４の実施形態にかかる画像処理装置を図１６を参照して説明する。なお、前述した第１〜第３の実施形態と同一部分には、同一符号を付して説明を省略する。

本実施形態は、ブロック構成は図１または図１２のいずれでもよく、自由変形部１２の動作が異なる。

第１〜第３の実施形態に記載の自由変形部１２の動作を行うと、メモリ１４へのアクセス帯域が不足する場合がある。例えば、デジタルカメラの場合、撮像部から入力された入力画像が動画の場合、１秒間に３０枚以上の画像が入力される。そのため、画像処理装置１（１Ａ）は、遅くとも３３ミリ秒以内に、処理を完了させる必要がある。しかしながら、自由変形部１２の処理内容によっては、メモリ１４に対してアクセス量が増加してしまい３３ミリ秒以内に処理を完了させることができない場合もある。

本実施形態では、直前の入力画像で、メモリアクセスが不足した場合においては、自由変形部１２は次の入力画像の処理を行わずに、さらに次の入力画像から、拡大処理を禁止して縮小処理または等倍処理のみを許可するようにする。

図１６に具体例を示す。図１６は、フレームスタート信号と自由変形部１２の処理状態を示したタイミングチャートである。フレームスタート信号は、フレームの開始を示す信号であり、例えば画像処理装置１（１Ａ）の前段にある撮像部等から入力される。

図１６では、１番目の入力画像に対する最大処理時間（１フレーム期間）内に自由変形部１２の処理が完了していない。したがって、２番目の入力画像は、１フレーム期間以上経過したので自由変形部１２において処理を行わない。そして、３番目の入力画像から自由変形部１２は処理を再開するが、拡大処理は行わないようにする。拡大処理が必要な場合は、拡大・縮小部１５で別途行う。即ち、変形手段は、一つの入力画像の処理が所定時間以上経過した場合は、以降の入力画像に対しては拡大処理を制限する。

なお、拡大処理を行わないと判断する所定期間は、１フレーム期間に限らず、メモリ１４の読み書きや拡大・縮小部１５等の処理のオーバーヘッド分や、フレームレート等の画像処理装置１（１Ａ）に要求される性能に応じて適宜変更してもよい。

本実施形態によれば、自由変形部１２は、一つの入力画像の処理が１フレーム期間以上経過した場合は、以降の入力画像に対しては拡大処理を禁止するように制限している。このようにすることにより、自由変形部１２がメモリ１４に書き込むデータ量と、拡大・縮小部１５が読み出すデータ量が減少し、メモリアクセスの帯域不足を解消することができる。

また、自由変形部１２は、入力画像の処理が１フレーム期間以上経過した画像の直後の入力画像の処理を行わないので、入力画像がリアルタイムに入力される動画像等の場合に、画像の劣化を最小限に抑えることができる。

最後に上述した４つの実施形態にかかる画像処理装置１（１Ａ）のいずれかを有する電子機器の一実施形態を図１７を参照して説明する。図１７は、図１に示した画像処理装置１の例であるが図１２に示した画像処理装置１Ａでもよいことはいうまでもない。

図１７に示した電子機器１００は、画像処理装置１に、画像取得手段としての画像取得部１０１と、画像出力手段としての画像出力部１０２と、が追加されている。例えば電子機器１００がデジタルカメラの場合、画像取得部１０１は、撮像素子（撮像部）やＹＵＶ４２２ファーマットへの変換部等が相当し、画像出力部１０２は、液晶ディスプレイ等の表示手段や、メモリカード等の記憶媒体等が相当する。

図１７に示した電子機器１００は、画像取得部１０１で、撮像素子が撮像した画像をＹＵＶ４２２フォーマットへ変換して画像処理装置１に入力する。画像処理装置１では、上述した実施形態のようにして、歪み補正処理やデジタルズーム処理を行い、画像出力部１０２で、歪み補正処理やデジタルズーム処理が施された画像が表示手段に表示される。

なお、画像取得部１０１は、撮像素子等に限らない。例えば、画像がメモリカードやハードディスクドライブ等の記憶媒体に格納されているのであれば、それら記憶媒体であってもよいし、画像がネットワーク等を介して取得されるのであればネットワークインターフェース等であってもよい。

画像出力部１０２も同様に表示手段に限らない。例えば、画像がメモリカードやハードディスクドライブ等の記憶媒体に格納されるのであれば、それら記憶媒体であってもよいし、画像がネットワーク等を介して出力されるのであればネットワークインターフェース等であってもよい。

電子機器１００も、デジタルカメラ等の撮影装置に限らず、画像の歪み補正や回転等の変形と拡大や縮小機能とを有する映像機器、情報機器及び通信機器あるいは画像形成装置等であってもよい。

また、本発明は上記実施形態に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の画像処理装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。

１、１Ａ 画像処理装置
１１ 座標データテーブル（座標格納手段）
１２ 自由変形部（変形手段）
１３ メモリコントローラ
１４ メモリ
１５ 拡大・縮小部（拡大縮小手段）
１６ ブレンディング部（混合手段）
１００ 電子機器
１０１ 画像取得部（画像取得手段）
１０２ 画像出力部（画像出力手段）
Ｓ１０１〜Ｓ１０７ 変形工程

特許第５１５４３６１号公報

Claims (10)

1. 入力画像に対して所定の変形処理を行って出力画像を出力する変形手段を有する画像処理装置であって、
   前記変形手段は、前記出力画像を複数の領域に分割し、その分割領域の画素数に対して、前記分割領域ごとにそれぞれ前記入力画像内で参照する参照領域の画素数が少ない場合は、当該分割領域に対して前記変形処理と共に縮小処理を施し、前記参照領域の画素数が多い場合は、当該分割領域に対して前記変形処理と共に拡大処理を施すことを特徴とする画像処理装置。
2. 入力画像に対して所定の変形処理を行って出力画像を出力する変形手段を有する画像処理装置であって、
   前記変形手段は、前記出力画像を複数の領域に分割し、その分割領域の一の方向の画素数に対して、前記分割領域ごとにそれぞれ前記入力画像内で参照する参照領域の前記一の方向の画素数が少ない場合は、当該分割領域の前記一の方向に縮小処理を施し、前記参照領域の前記一の方向の画素数が多い場合は、当該分割領域の前記一の方向に拡大処理を施し、
   前記分割領域の前記一の方向と直交する他の方向の画素数に対して、前記参照領域の前記他の方向の画素数が少ない場合は、当該分割領域の前記他の方向に前記縮小処理を施し、前記参照領域の前記他の方向の画素数が多い場合は、当該分割領域の前記他の方向に前記拡大処理を施す、
   ことを特徴とする画像処理装置。
3. 前記分割領域が矩形状であって、少なくとも前記矩形の４つの頂点に対応する前記入力画像の座標位置が格納されている座標格納手段をさらに有し、
   前記変形手段は、前記座標格納手段に格納されている前記座標位置に基づいて前記分割領域に前記拡大処理または前記縮小処理を施すことを特徴とする請求項１または２に記載の画像処理装置。
4. 複数の画像を混合する混合手段をさらに有し、
   前記変形手段は、前記混合手段で混合される前記分割領域においては、それぞれの出力画像の前記分割領域についてそれぞれ算出された拡大または縮小の倍率のうち、最大の倍率に合わせて前記拡大処理または前記縮小処理を施すことを特徴とする請求項１乃至３のうちいずれか一項に記載の画像処理装置。
5. 前記変形手段は、一つの前記入力画像の処理が所定期間以上経過した場合は、以降の入力画像に対しては前記拡大処理を制限することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
6. 前記変形手段における処理後の画像に対して拡大処理または縮小処理を施す拡大縮小手段を有することを特徴とする請求項１乃至５のうちいずれか一項に記載の画像処理装置。
7. 請求項１乃至６のうちいずれか一項に記載の画像処理装置を有することを特徴とする電子機器。
8. 画像を取得する画像取得手段と、請求項１乃至６のうちいずれか一項に記載の画像処理装置と、前記画像処理装置による処理が施された画像を出力する画像出力手段と、を有することを特徴とする電子機器。
9. 入力画像に対して所定の変形処理を行って出力画像を出力する変形工程を含む画像処理方法であって、
   前記変形工程は、前記出力画像を複数の領域に分割し、その分割領域の画素数に対して、前記分割領域ごとにそれぞれ前記入力画像内で参照する参照領域の画素数が少ない場合は、当該分割領域に対して前記変形処理と共に縮小処理を施し、前記参照領域の画素数が多い場合は、当該分割領域に対して前記変形処理と共に拡大処理を施すことを特徴とする画像処理方法。
10. 入力画像に対して所定の変形処理を行って出力画像を出力する変形工程を含む画像処理方法であって、
    前記変形工程は、前記出力画像を複数の領域に分割し、その分割領域の一の方向の画素数に対して、前記分割領域ごとにそれぞれ前記入力画像内で参照する参照領域の前記一の方向の画素数が少ない場合は、当該分割領域の前記一の方向に縮小処理を施し、前記参照領域の前記一の方向の画素数が多い場合は、当該分割領域の前記一の方向に拡大処理を施し、
    前記分割領域の前記一の方向と直交する他の方向の画素数に対して、前記参照領域の前記他の方向の画素数が少ない場合は、当該分割領域の前記他の方向に前記縮小処理を施し、前記参照領域の前記他の方向の画素数が多い場合は、当該分割領域の前記他の方向に前記拡大処理を施す、
    ことを特徴とする画像処理方法。

Images