JP4029253B2

JP4029253B2 - 画像リサイズ装置及びその方法

Info

Publication number: JP4029253B2
Application number: JP2000107759A
Authority: JP
Inventors: 俊宏谷澤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2000-04-10
Filing date: 2000-04-10
Publication date: 2008-01-09
Anticipated expiration: 2020-04-10
Also published as: US6747668B2; JP2001292311A; US20010028358A1

Description

【０００１】
【発明の属する技術分野】
本発明は、画像リサイズ装置及びその方法に係り、特に画像を構成する各画素に対して加算平均処理及び、加重平均処理を実施して縮小画像を生成する画像リサイズ装置及びその方法に関する。
【０００２】
【従来の技術】
従来、撮影解像度が高い電子カメラで撮影した画像を表示解像度の低いＴＶで表示する場合には、撮影した元画像から表示に不要な画素を間引く方法や、元画像を表示画像サイズに合わせて平均化する方法を用いて画像のリサイズ処理を行っていた。
【０００３】
図７（ａ）、（ｂ）、（ｃ）に、従来の画像のリサイズ方法を示す。
【０００４】
電子カメラで撮影した画像をＴＶ等に表示する場合に、従来は図７（ａ）〜（ｃ）に示すような画像データを間引く方法で、表示用のメモリに表示画像データを書き込む際に、又は、表示画像データを表示用メモリから読み出す際に画像データの間引き処理を実施していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、図７（ａ）に示す方法は単純に間引く方法で、演算器や演算手法についての具現化が容易であるが、表示画像のデータ変化が激しくなるため、画質が必要以上にギザギザしてしまうという欠点があった。
【０００６】
図７（ｂ）に示す加算平均による方法も比較的具現化が容易であるが、加算平均演算の結果、表示画像が全体的にぼやけて眠い画像になってしまうという欠点があった。また、図７（ｃ）に示す加重平均による方法は、上記２つの方法と比べて大きな容量の記憶手段（メモリ）が必要であるとともにリサイズの演算に多くの演算時間を要するという欠点があった。
【０００７】
ハードウエアで加重平均演算を具現化するために隣接している４点から加重平均値を求める場合には、垂直方向に連続した２ラインからデータを生成する必要があり、それ以上に元の画像データの点数を増やそうとすると演算が複雑になり、極端にハードウエアに処理の負担がかかる。この加重平均演算をソフトウエアにより具現化することは比較的容易であるが、演算が複雑になるために演算処理に時間がかかるという欠点がある。
【０００８】
また、図７（ｂ）及び（ｃ）の方法において、表示画像を生成する際に元の画像データを間引いてしまうと、図７（ａ）の場合と同様に画像のエッジ部分にギザギザが発生し、画質が低下するという不具合を生じる。
【０００９】
このように、画質の低下を少なく抑えた表示用データを生成するには、ハードウエア及びソフトウエアに多大な負担がかかっていた。また、従来アパーチャ強調処理（輪郭強調処理）等は、表示画像用に画像をリサイズ処理した後に独立して実施していたため、処理時間が長くかかっていた。
【００１０】
本発明は、このような事情に鑑みてなされたもので、ハードウエアやソフトウエアに負担が少なく画質の低下の少ない縮小画像を得るとともに、アパーチャ処理を同時に実施することが可能な画像リサイズ装置及びその方法を提供することを目的としている。
【００１１】
【課題を解決するための手段】
本発明は、前記目的を達成するために、複数の画素から構成される元画像を該元画像よりも画素数の少ない縮小画像にリサイズする画像リサイズ装置において、前記元画像を整数個の画素数ずつ区分し、該区分された整数個の画素のデータを加算平均し、前記元画像の画素数の整数分の１の画素数を有する１次中間画像を生成する加算平均手段と、前記縮小画像の画素に隣接する前記１次中間画像の画素のデータと、前記縮小画像の画素の位置と前記１次中間画像の画素の位置とに応じた重み係数とを乗算して前記縮小画像の画素のデータを生成する加重平均手段とを備えたことを特徴としている。
【００１２】
本発明によれば、元画像よりも画素数の少ない縮小画像にリサイズする画像リサイズ装置は、元画像を整数個の画素数ずつ区分し、該区分された整数個の画素のデータを加算平均し、元画像の画素数の整数分の１の画素数を有する１次中間画像を生成する加算平均手段と、縮小画像の画素に隣接する１次中間画像の画素のデータと、縮小画像の画素の位置と１次中間画像の画素の位置とに応じた重み係数とを乗算して縮小画像の画素のデータを生成する加重平均手段とを備えたので、ハードウエアやソフトウエアに負担が少なく画質の低下の少ない縮小画像を得ることが可能となる。
【００１３】
【発明の実施の形態】
以下添付図面に従って、本発明に係る画像リサイズ装置及びその方法の好ましい実施の形態について詳説する。
【００１４】
図１は、本発明に係る画像リサイズ装置のブロック図である。
【００１５】
同図によれば、画像リサイズ装置１０は、被写体像を撮像手段（ＣＣＤ）１２に結像するレンズ１４と、画像リサイズ装置１０にて撮影を実施する際に押すレリーズスイッチ、カメラの動作モードを切り換えるモード切り換えスイッチ、表示手段に表示されているカーソルを移動させるポインティングデバイスであるカーソルスイッチ、範囲選択スイッチ、確定スイッチ等の情報を入力する入力手段２４と、撮影した画像の処理、画像の編集処理、画像のリサイズ処理や入力手段２４のスイッチ情報の処理等の情報処理を行う情報処理手段（ＣＰＵ）２６と、情報処理手段２６の作業領域であるともにリサイズ演算を実施する際に画像のデータを一時的に記憶するＲＡＭ２８と、画像や入力した情報を表示するＬＣＤ等の表示手段３０と、前記表示手段３０に逐次表示する画像データを記憶するＶＲＡＭ３２と、前記ＶＲＡＭ３２に対して記憶する画像を読み書きするメモリコントローラ３４と、前記ＶＲＡＭ３２から読み出した画像データをアナログのビデオ信号に変換して表示手段３０に出力するＤ／Ａ変換器３６と、外部の機器にビデオ信号を出力する出力手段３７とから構成されている。
【００１６】
また画像リサイズ装置１０には、撮影した画像を記録する記録手段３８と、前記記録手段３８に対して画像データを読み書きするカードインターフェース４０と、画像を用紙４１に印刷するプリントエンジン４２と、該プリントエンジン４２を制御するプリントインターフェース４４とが設けられている。これら情報処理手段２６、ＲＡＭ２８、撮像手段１２、メモリコントローラ３４、カードインターフェース４０及びプリントインターフェース４４とはバス４６で接続されており、相互に情報の伝達を行うことが可能となっている。
【００１７】
上記のように構成された画像リサイズ装置１０の動作を以下に説明する。
【００１８】
利用者は、先ず画像リサイズ装置１０のモードを「撮影」のモードに設定する。すると、撮像手段１２に結像した被写体像は電気信号に変換されてＲＡＭ２８に一時的に記憶される。情報処理手段２６はＲＡＭ２８に記憶されている画像データに基づいて、ＡＥ（Auto Exposure ) 及びＡＦ（Auto Focus）の処理を行うとともに、画像データを表示手段の解像度に適した画像サイズに縮小変換するリサイズ処理を行う。前記変換された画像データは、メモリコントローラ３４に伝達されてＶＲＡＭ３２に一時的に記憶されて、表示手段３０に表示される。
【００１９】
利用者は、画像リサイズ装置１０を撮影する被写体に向けて表示手段３０に表示されているモニター画像を見ながら、被写体に対するアングル、焦点、露出状態を決定した後にレリーズボタンを押して撮影する。
【００２０】
すると撮影された被写体の画像データに対して、所定の画像データ圧縮方法に基づいて圧縮処理を行い、カードインターフェース４０を介して記録手段３８に記録される。
【００２１】
また、記録手段３８に記録されている画像を再生表示する場合には、画像リサイズ装置１０のモードを「再生」のモードに設定する。すると記録手段３８に記録されている画像のファイルリストが読み出され、情報処理手段２６が所定の書式に変換したファイルリスト情報をビデオ信号に変換して表示手段３０に表示する。利用者は、カーソルスイッチや確定スイッチを操作して、表示されたファイルリスト情報に基づいて所望の画像を選択する。
【００２２】
所望の画像が選択されると情報処理手段２６は、記録手段３８に記録されている画像データを読み出す処理を行う。読み出した画像データに伸長処理を行って、画像データの記録形式に応じてＹＣ変換処理を行い、情報処理手段２６にて表示に適した画像サイズに合わせてリサイズ処理（解像度変換処理）を行い、表示手段３０に再生画像を表示する。
【００２３】
また、画像を印刷する際には、所望の画像ファイルを選択して印刷を指示する。すると画像データは、情報処理手段２６にて印刷する用紙やプリントエンジン４２の解像度に応じて印刷に適した画像サイズに合わせる解像度変換を行い、プリントエンジン４２から画像が印刷された用紙４１が出力される。
【００２４】
図２（ａ）及び（ｂ）に、本発明に係る画像のリサイズ方法の実施の形態を示す。
【００２５】
図２（ａ）に示すように、撮像して得た画像又は、記録手段３８から読み出した画像データ群５０を構成している元の画像データの各画素をＭ（x0，y0）、Ｍ（x1，y0）…Ｍ（x7，y7）とする。情報処理手段２６は、元の画像データから縮小した表示データを生成する際に、最初に隣接する数点の各ＲＧＢ原色の輝度を加算平均し、その演算結果に基づいて表示位置に近い４点から加算平均処理を実施することで１／４に縮小した１次中間画像を算出する。加算平均処理を実施する際には、次の加重平均処理で使用するデータが必ず１回は使用されるように加算平均の範囲を決めるとよい。
【００２６】
図２（ａ）に示す実施例では、Ｍ（x0，y0）、Ｍ（x1，y0）、Ｍ（x0，y1）、Ｍ（x1，y1）の４つの元の画像データから加算平均演算を実施してＤ（x0，y0）の加算平均値を算出する。このとき情報処理手段２６は加算の演算と、４で割る演算（下位の２ビットを削除する処理）を実施するだけでよいので、演算サイクルは少なくて済む。このようにして、Ｄ（x0，y0）〜Ｄ（x3，y3）の加算平均値からなる１次中間画像を算出したら、図２（ｂ）に示す加重平均値を算出する処理を行う。
【００２７】
図２（ｂ）によれば、Ｄ（x0，y0）〜Ｄ（x3，y3）の加算平均値から各原色の輝度成分又は彩度の変化と、表示する画像サイズ及び解像度とに基づいて加重平均による縮小画像を算出している。
【００２８】
図２（ｂ）では、Ｄ（x0，y0）、Ｄ（x1，y0）、Ｄ（x0，y1）、Ｄ（x1，y1）の４つの１次中間画像データから各ＲＧＢ原色の輝度又は彩度について加重平均の演算を実施してＫ（x0，y0）の加重平均値を算出している。同図の実施例では、点列Ｄ（ｘ_n，ｙ_m）の画素数の水平比率及び垂直比率を１／１．２５に減少して点列Ｋ（ｘ_n，ｙ_m）を得る。
【００２９】
図３に、本発明に係るアパーチャ処理を含む加重平均処理による画像リサイズ方法の実施の形態を示す。なお、元の画像データ又は加算平均後の画素Ｄ（ｘ_n，ｙ_m）を、Ｄ_nmと表して説明する。
【００３０】
同図によればアパーチャ処理手段は、元の画像データ又は加算平均後の画像を入力して各画素Ｄ₀₀、Ｄ₀₁、Ｄ₁₀、Ｄ₁₁…を出力する画素分割手段６０と、前記出力した隣接する画素どうしの輝度の差を算出する差分演算手段６２と、前記差分値と所定の閾値とを比較する比較手段６４と、前記比較した結果と輝度／色差判別信号とによりアパーチャ強調処理の項（前記差分値）を加算するか否かを切り換えるセレクタ６６と、前記アパーチャ強調処理の項にゲインと水平比率及び垂直比率とを乗算する乗算手段６８と、前記乗算した結果と前記差分値とを加算する加算手段７０とから構成されている。
【００３１】
また、加重平均手段は、Ｄnmの画素に対して各々の表示画像の水平方向（Ｘ方向）の拡大縮小率である水平比率を乗算する水平乗算手段７２と、水平比率を乗算した値に対して各々の表示画像の垂直方向（Ｙ方向）の拡大縮小率である垂直比率を乗算する垂直乗算手段７４と、垂直乗算手段７４の出力値を加算する加算手段７６と、アパーチャ処理手段からの出力値と、加重平均手段からの出力値とを加算して演算後の表示画像を求める加算手段７８とから構成されている。
【００３２】
なお、図３に示す水平比率Ｈａは、加重平均処理でのＤ₀₀とＫ₀₀間のＸ方向の水平距離を、垂直比率Ｖａは、加重平均処理でのＤ₀₀とＫ₀₀間のＹ方向の垂直距離を示す。アパーチャ処理では隣接している４点間で差分を取り、その値が閾値よりも大きい場合に係数をかけた後、加重平均後の値に補正値として加算して画像のエッジ強調処理を行う。差分値が閾値よりも小さい場合には、差分値に対して「０」を代入することでノイズの増長を防止するようにしてもよい。
【００３３】
以上のようにして係数の変更や補正値を加算することで、表示画面の輝度成分の変化をきわだたせ、見栄えを良くすることが可能となる。
【００３４】
また、上記の動作において閾値、係数（ゲイン）は、差分値毎の個別設定データと色差データとで切り換えるようにしてもよい。また、係数（ゲイン）に差分値又は「０」のどちらを乗算するかの判断は、上記の他に差分値のどれか一つが閾値を越えた場合や、差分値の全てが閾値を越えた場合で判断するようにしてもよい。
【００３５】
以下の式（１）に、Ｄ₀₀、Ｄ₀₁、Ｄ₁₀、Ｄ₁₁からＫ₀₀を算出する加重平均処理の演算式を示す。
【００３６】
【数１】

また、以下の式（２）に、Ｄ₀₀、Ｄ₀₁、Ｄ₁₀、Ｄ₁₁とＫ₀₀とからアパーチャ処理を加味したＫ₀₀’を算出する演算式を示す。
【００３７】
【数２】

以上のように表示画像の輝度又は彩度データの変化を算出し、加重平均を実施する際に加重平均の係数の増減や補正値の加減算をすることで縮小画像の生成とアパーチャ強調処理とを同時に行うことが可能となる。
【００３８】
図４に、上記の演算による画像リサイズのイメージ図を示す。
【００３９】
同図に示されるように、元の画像データ又は加算平均後のサンプル点Ｄ_nmに基づいて加算平均後のサンプル点Ｋ_nmを求めている。但し、説明の都合上、加算平均後の１次中間画像は垂直方向のデータは全て同じ値とし、最初のサンプリング点のずれを０．５、縮小率を０．７としている。
【００４０】
また、図５にアパーチャ処理を含む画像リサイズ結果の画素位置と輝度との関係を示す。
【００４１】
同図に示されるように、元の画像データ又は加算平均後のサンプル点の点列と、単純加算平均後のサンプル点の点列とは同一曲線上に乗っている。これに対してアパーチャ処理を実施すると演算結果のデータは、変化量の大きい部分のみ変化が強調され、画像サイズをリサイズするとともに輪郭部が強調処理された画像が得られる。
【００４２】
上記のように元の画像データを演算の容易な加算平均でサンプル点の点数を減少してから加重平均処理やアパーチャ処理を実施することによって、演算時間が短くハードウエアに対する負担が少なくて見栄えのよい縮小画像を得ることが可能となる。
【００４３】
図６に、画質強調を行うアパーチャ処理後のイメージ図を示す。
【００４４】
同図は、図２に示した加重平均処理と同時にアパーチャ処理を実施した際の画質強調のイメージ図である。同図に示すように、アパーチャ処理を実施するとアパーチャ処理を実施しなかった場合と比較して画素が移動した形のイメージとなる。
【００４５】
このように本発明では、１８００×１２００の画素を持つ元の画像データの画素を一定の範囲に区切って加算平均を実施することによって一旦９００×６００の画素にリサイズし、１次の中間画像を生成する。この時、１次中間画像の画素数は、全リサイズ後の画素数より多く、４倍より少ない値になるように調整する。この１次中間画像から隣接した４点の加重平均を算出することで例えば表示等に用いる６４０×４８０の画素の縮小画像を生成する。元画像の画素数が表示画素数の４倍以下の場合には、加重平均のみを実施するとよい。
【００４６】
【発明の効果】
以上説明したように本発明に係る画像リサイズ装置によれば、元画像を整数個の画素数ずつ区分し該区分された整数個の画素のデータを加算平均し、元画像の画素数の整数分の１の画素数を有する１次中間画像を生成する加算平均手段と、縮小画像の画素に隣接する１次中間画像の画素のデータと、リサイズして得る縮小画像の画素の位置と１次中間画像の画素の位置とに応じた重み係数とを乗算して縮小画像の画素のデータを生成する加重平均手段とを備えたので、ハードウエアやソフトウエアに負担が少なく画質の低下の少ない縮小画像を得ることが可能となる。また、容易に輪郭強調処理を同時に実施することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像リサイズ装置のブロック図
【図２】（ａ）は、加算平均による画像リサイズの実施の形態を示す図
（ｂ）は、加重平均による画像リサイズの実施の形態を示す図
【図３】アパーチャ処理と加重平均とを同時に実施する画像リサイズ方法を示す図
【図４】アパーチャ処理と加重平均とを同時に実施する際のリサイズのイメージ図
【図５】アパーチャ処理と加重平均とを同時に実施した際の画素位置と輝度との関係を示す図
【図６】画質強調を行うアパーチャ処理後のイメージ図
【図７】（ａ）は、従来の間引きによる画像のリサイズ方法を示す図
（ｂ）は、従来の加算平均による画像のリサイズ方法を示す図
（ｃ）は、従来の加重平均による画像のリサイズ方法を示す図
【符号の説明】
１０…画像リサイズ装置、１２…撮像手段、１４…レンズ、２４…入力手段、２６…情報処理手段、２８…ＲＡＭ、３０…表示手段、３２…ＶＲＡＭ、３４…メモリコントローラ、３６…Ｄ／Ａ変換器、３８…記録手段、４０…カードインターフェース、４２…プリントエンジン、４４…プリンタインターフェース、５０…画像データ群、６０…画素分割手段、６２…差分演算手段、６４…比較手段、６６…セレクタ、６８…乗算手段、７０…加算手段、７２…水平乗算手段、７４…垂直乗算手段、７６…加算手段、７８…加算手段

Claims

複数の画素から構成される元画像を、該元画像よりも画素数の少ない縮小画像にリサイズする画像リサイズ装置において、
前記元画像を整数個の画素数ずつ区分し、該区分された整数個の画素のデータを加算平均し、前記元画像の画素数の整数分の１の画素数を有し、前記縮小画像より画素数が多い１次中間画像を生成する加算平均手段と、
前記縮小画像の画素に隣接する前記１次中間画像の画素のデータと、前記縮小画像の画素の位置と前記１次中間画像の画素の位置とに応じた重み係数とを乗算し、前記１次中間画像の輝度成分又は彩度の変化と、前記縮小画像のサイズ及び解像度とに基づいて、前記１次中間画像の画素のデータの加重平均による前記縮小画像の画素のデータを生成する加重平均手段と、
を備えたことを特徴とする画像リサイズ装置。
複数の画素から構成される元画像を、該元画像よりも画素数の少ない縮小画像にリサイズする画像リサイズ装置において、
前記元画像を整数個の画素数ずつ区分し、該区分された整数個の画素のデータを加算平均し、前記元画像の画素数の整数分の１の画素数を有する１次中間画像を生成する加算平均手段と、
前記縮小画像の画素に隣接する前記１次中間画像の画素のデータと、前記縮小画像の画素の位置と前記１次中間画像の画素の位置とに応じた重み係数とを乗算して前記縮小画像の画素のデータを生成する加重平均手段と、
前記１次中間画像の隣接する画素データ間の差分値を算出する差分演算手段と、
前記算出した差分値に対して画像の輪郭を強調する係数を乗算して乗算値を出力する乗算手段と、
前記乗算値と前記縮小画像の画像データとを加算して輪郭強調された縮小画像を生成する加算手段と、
を備えたことを特徴とする画像リサイズ装置。
前記差分値が予め定められた所定の閾値未満の場合には前記画像の輪郭を強調する係数を乗算せず、前記差分値が予め定められた所定の閾値以上の場合には前記画像の輪郭を強調する係数を乗算することを選択するセレクタを備えたことを特徴とする請求項２の画像リサイズ装置。
前記加算平均手段は、前記元画像を、前記縮小画像の画素数の４倍の画素数よりも小さい画素数の１次中間画像に縮小することを特徴とする請求項１乃至３のいずれかに記載の画像リサイズ装置。
画像を記録媒体から読み込む読込手段及び、画像を撮像する撮像手段のうちの少なくとも一方を備えたことを特徴とする請求項１乃至４のいずれかに記載の画像リサイズ装置。
前記縮小画像を他の機器に出力する出力手段、前記縮小画像を表示する表示手段及び、前記縮小画像を印刷する印刷手段のうちの少なくとも一つを備えたことを特徴とする請求項１乃至５のいずれかに記載の画像リサイズ装置。
複数の画素から構成される元画像を、該元画像よりも画素数の少ない縮小画像にリサイズする画像リサイズ方法において、
加算平均手段により、前記元画像を整数個の画素数ずつ区分し、該区分された整数個の画素のデータを加算平均し、前記元画像の画素数の整数分の１の画素数を有し、前記縮小画像より画素数が多い１次中間画像を生成する工程と、
加重平均手段により、前記縮小画像の画素に隣接する前記１次中間画像の画素のデータと、前記縮小画像の画素の位置と前記１次中間画像の画素の位置とに応じた重み係数とを乗算し、前記１次中間画像の輝度成分又は彩度の変化と、前記縮小画像のサイズ及び解像度とに基づいて、前記１次中間画像の画素のデータの加重平均による前記縮小画像の画素のデータを生成する工程と、
を含むことを特徴とする画像リサイズ方法。
複数の画素から構成される元画像を、該元画像よりも画素数の少ない縮小画像にリサイズする画像リサイズ方法において、
加算平均手段により、前記元画像を整数個の画素数ずつ区分し、該区分された整数個の画素のデータを加算平均し、前記元画像の画素数の整数分の１の画素数を有する１次中間画像を生成する工程と、
加重平均手段により、前記縮小画像の画素に隣接する前記１次中間画像の画素のデータと、前記縮小画像の画素の位置と前記１次中間画像の画素の位置とに応じた重み係数とを乗算して前記縮小画像の画素のデータを生成する工程と、
差分演算手段により、前記１次中間画像の隣接する画素データ間の差分値を算出する工程と、
乗算手段により、前記算出した差分値に対して画像の輪郭を強調する係数を乗算して乗算値を出力する工程と、
加算手段により、前記乗算値と前記縮小画像の画像データとを加算して輪郭強調された縮小画像の画像データを生成する工程と、
を含むことを特徴とする画像リサイズ方法。