JP4307485B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP4307485B2 JP4307485B2 JP2006352937A JP2006352937A JP4307485B2 JP 4307485 B2 JP4307485 B2 JP 4307485B2 JP 2006352937 A JP2006352937 A JP 2006352937A JP 2006352937 A JP2006352937 A JP 2006352937A JP 4307485 B2 JP4307485 B2 JP 4307485B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- pixel
- correlation
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関し、特に画像の解像度変換を行う画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method, and more particularly to an image processing apparatus and an image processing method that perform resolution conversion of an image.
画像の解像度を変換する手法として、画像の自己相関性（フラクタル性）を利用した方法（フラクタル解像度変換法）が知られている。 As a method for converting the resolution of an image, a method (fractal resolution conversion method) using the autocorrelation (fractal property) of the image is known.
例えば、図１４に示すように、元画像における注目領域（以下「ドメインブロック」という）の画像（以下「ドメインブロック画像」という。）の解像度を変換する処理は以下のように行われる。 For example, as shown in FIG. 14, the process of converting the resolution of an image (hereinafter referred to as “domain block image”) of a region of interest (hereinafter referred to as “domain block image”) in the original image is performed as follows.
まず、ドメインブロックより大きな親領域候補の画像（以下「レンジブロック画像」という。）であってドメインブロック画像と相似度が高い画像を元画像中から探索する。具体的には元画像から複数のレンジブロック画像を抽出して、夫々をドメインブロックと同じサイズに縮小する。 First, an image of a parent region candidate larger than the domain block (hereinafter referred to as “range block image”) having a high similarity to the domain block image is searched from the original image. Specifically, a plurality of range block images are extracted from the original image, and each is reduced to the same size as the domain block.
その後、縮小した各レンジブロック画像のうち、ドメインブロック画像との相似度が最も高かったものを親領域（以下「レンジブロック」と称する）に設定する。 After that, among the reduced range block images, the one having the highest similarity to the domain block image is set as a parent region (hereinafter referred to as “range block”).
次に、ドメインブロック画像を縮小前のレンジブロックで置換して出力画像とする。 Next, the domain block image is replaced with the range block before reduction to obtain an output image.
この操作を元画像中のドメインブロックの位置をずらしながら繰り返し行うことで元画像の解像度を変換する。 By repeating this operation while shifting the position of the domain block in the original image, the resolution of the original image is converted.
しかし、この方法では画像の置換処理をドメインブロック毎に行うために隣接する他のドメインブロックとの処理結果の連続性が少ない。このため、図１２の矢印で示すように、２つのドメインブロックの境界にブロック歪が発生するという問題が生じる。この歪を軽減する方法として、隣接するドメインブロックとブロックの一部が重複するようにドメインブロックを選択するブロックオーバーラップ処理が知られている（例えば、特許文献１，２参照）。
However, in this method, since image replacement processing is performed for each domain block, the continuity of processing results with other adjacent domain blocks is small. This causes a problem that block distortion occurs at the boundary between two domain blocks, as indicated by the arrows in FIG. As a method for reducing this distortion, block overlap processing is known in which domain blocks are selected so that adjacent domain blocks overlap part of the blocks (see, for example,
また、自己相関性を利用した解像度変換方法の応用として、直交変換を用いる方法と組み合わせた解像度変換方法が知られている（例えば、特許文献３参照）。これは、フラクタル解像度変換にて得られたレンジブロックの画像と元画像にそれぞれ直交変換を施し、レンジブロックの画像について直交変換されたものの高域成分のみを元画像について直交変換されたものと合成する。そして得られた合成画像に逆直交変換を施すことによって最終的な解像度変換画像を得る手法である。この方法では画像の基本部分である低域成分は元画像をそのまま使用し、補充するべき高域成分のみを自己相関性を利用して補うことで、画像の歪が少なくかつ鮮明な変換画像を得ることが可能となる。
しかしながら、上述した従来の技術においてはオーバーラップ部の処理方法として加算平均が用いられている。具体的には、図１３に示すように、隣接するドメインブロックが互いにオーバーラップするように抽出すると、オーバーラップする部分の画素値は、各ドメインブロック画像に対して設定されたレンジブロック１３ａ，１３ｂ，１３ｃの画像の画素値を平均化したものとなる。従って、レンジブロック１３ａ，１３ｂ，１３ｃの重複している部分の画像の画素値が各レンジブロックで一致していれば明瞭な画素値が出力される。しかし、各レンジブロックで画素値が異なっている部分、例えば、斜線で示した部分１３０５の画像の画素値は黒でも白でもないグレーが出力されて画像としてはノイズやボケとして認識される。
However, in the above-described conventional technique, the averaging method is used as a method for processing the overlap portion. Specifically, as illustrated in FIG. 13, when adjacent domain blocks are extracted so as to overlap each other, the pixel values of the overlapping portions are the
すなわち、この方法では重複している画像の内容にかかわらず常に一定の割合で加算合成を行うため、処理を行う画像の絵柄によってはノイズやボケが出力画像に発生してしまう場合があった。 That is, in this method, addition and synthesis are always performed at a constant rate regardless of the contents of overlapping images, and noise and blur may occur in the output image depending on the pattern of the image to be processed.
本発明の目的は、元画像の解像度変換をする際に、隣接するドメインブロックの境界に生じるノイズやボケの発生を抑制することができる画像処理装置及び画像処理方法を提供することにある。 An object of the present invention is to provide an image processing apparatus and an image processing method capable of suppressing the occurrence of noise and blur occurring at the boundary between adjacent domain blocks when converting the resolution of an original image.
上記目的を達成するために、請求項１記載の画像処理装置は、フラクタル解像度変換法を用いて、複数の画素で構成される元画像を所定の解像度変換率で解像度変換した解像度変換画像を生成する画像処理装置であって、別のドメインブロック画像と画素の一部が重複するように元画像からドメインブロック画像を複数抽出する第１の画像抽出手段と、前記抽出されたドメインブロック画像の各々に対する複数のレンジブロック画像を前記元画像から抽出する第２の画像抽出手段と、抽出された前記各ドメインブロック画像と、当該ドメインブロック画像に対する複数のレンジブロック画像とのブロック単位のブロック相関度および画素単位の画素相関度を算出する算出手段と、前記算出手段で算出したブロック相関度に基づいて、前記各ドメインブロック画像に対応するレンジブロック画像を選択する選択手段と、前記元画像を解像度変換することで生成される画像を構成する画素の画素値を、前記選択手段で選択されたレンジブロック画像と、当該選択されたレンジブロック画像におけるブロック相関度と、当該画素における画素相関度とに基づいて決定する制御手段とを有することを特徴とする。
In order to achieve the above object, the image processing apparatus according to
上記目的を達成するために、請求項５記載の画像処理方法は、フラクタル解像度変換法を用いて、複数の画素で構成される元画像を所定の解像度変換率で解像度変換した解像度変換画像を生成する画像処理方法であって、別のドメインブロック画像と画素の一部が重複するように元画像からドメインブロック画像を複数抽出する第１の画像抽出ステップと、前記抽出されたドメインブロック画像の各々に対する複数のレンジブロック画像を前記元画像から抽出する第２の画像抽出ステップと、抽出された前記各ドメインブロック画像と、当該ドメインブロック画像に対する複数のレンジブロック画像とのブロック単位の相関度および画素単位の相関度を算出する算出ステップと、前記算出ステップで算出したブロック単位の相関度に基づいて、前記各ドメインブロック画像に対応するレンジブロック画像を選択する選択ステップと、前記元画像を解像度変換することで生成される画像を構成する画素の画素値を、前記選択手段で選択されたレンジブロック画像と、当該選択されたレンジブロック画像におけるブロック相関度と、当該画素における画素相関度とに基づいて決定する制御ステップとを有することを特徴とする。
In order to achieve the above object, the image processing method according to
上記目的を達成するために、請求項９記載の画像処理装置は、フラクタル解像度変換法を用いて、複数の画素で構成される元画像から解像度変換画像を生成する画像処理装置であって、別のドメインブロック画像と画素の一部が重複するように元画像からドメインブロック画像を複数抽出する第１の画像抽出手段と、前記抽出されたドメインブロック画像の各々に対する複数のレンジブロック画像を前記元画像から抽出する第２の画像抽出手段と、抽出された前記各ドメインブロック画像と、当該ドメインブロック画像に対する複数のレンジブロック画像とのブロック単位のブロック相関度を算出する第１の算出手段と、前記算出手段で算出したブロック相関度に基づいて、前記各ドメインブロック画像に対応するレンジブロック画像を選択する選択手段と、前記選択手段で選択されたレンジブロック画像と当該レンジブロックに対応するドメインブロック画像の夫々の画素値を用いて、各画素の画素相関度を算出する第２の算出手段と、前記元画像を解像度変換することで生成される画像を構成する画素の画素値を、前記選択手段で選択されたレンジブロック画像と、当該選択されたレンジブロック画像におけるブロック相関度と、当該画素における画素相関度とに基づいて決定する制御手段とを有することを特徴とする。
In order to achieve the above object, an image processing apparatus according to
上記目的を達成するために、請求項１０記載の画像処理方法は、フラクタル解像度変換法を用いて、複数の画素で構成される元画像から解像度変換画像を生成する画像処理方法であって、別のドメインブロック画像と画素の一部が重複するように元画像からドメインブロック画像を複数抽出する第１の画像抽出ステップと、前記抽出されたドメインブロック画像の各々に対する複数のレンジブロック画像を前記元画像から抽出する第２の画像抽出ステップと、抽出された前記各ドメインブロック画像と、当該ドメインブロック画像に対する複数のレンジブロック画像とのブロック単位のブロック相関度を算出する第１の算出ステップと、前記算出ステップで算出したブロック相関度に基づいて、前記各ドメインブロック画像に対応するレンジブロック画像を選択する選択ステップと、前記選択ステップで選択されたレンジブロック画像と当該レンジブロックに対応するドメインブロック画像の夫々の画素値を用いて、各画素の画素相関度を算出する第２の算出ステップと、前記元画像を解像度変換することで生成される画像を構成する画素の画素値を、前記選択ステップで選択されたレンジブロック画像と、当該選択されたレンジブロック画像におけるブロック相関度と、当該画素における画素相関度とに基づいて決定する制御ステップとを有することを特徴とする。
In order to achieve the above object, an image processing method according to
本発明によれば、フラクタル解像度変換におけるオーバーラップ処理において、元画像の解像度変換をする際に、隣接するドメインブロックの境界に生じるノイズやボケの発生を抑制することができる。 According to the present invention, in the overlap processing in fractal resolution conversion, when the resolution conversion of the original image is performed, it is possible to suppress the occurrence of noise and blur occurring at the boundary between adjacent domain blocks.
［第１の実施形態］
以下、本発明の第１の実施の形態を図面を用いて詳述する。
[First Embodiment]
Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings.
図１は、本発明の第１の実施の形態に係る画像処理装置の構成を概略的に示すブロック図である。 FIG. 1 is a block diagram schematically showing the configuration of the image processing apparatus according to the first embodiment of the present invention.
図１において、画像処理装置１００は、処理対象である元画像の画像データであるＳ１（以下「元画像Ｓ１」という。）を保持する元画像保持部１と、元画像Ｓ１からドメインブロック画像となる画像データＳ３（以下「ドメインブロック画像Ｓ３」という。）を切り出すドメインブロック画像切出部２とを備える。さらに、画像処理装置１００は、元画像Ｓ１からレンジブロックの探索範囲内に存在し、レンジブロックの候補画像となる画像データＳ４（以下「レンジブロック候補画像Ｓ４」という。）を切り出すレンジブロック画像切出部３とを備える。このレンジブロック候補画像Ｓ４は、後述するレンジブロック画像選択部６内にある一次記憶部（不図示）に順に保存される。なお、本発明の説明において、画像データを切り出す、または抽出するという表現を用いているが、この表現は、元画像からドメインブロック画像やレンジブロック画像をトリミングするということに限定されるものではない。従って、実際に対象となる領域の画像データを別のメモリなどへ切り出すことや、コピーすることも含むが、単に、対象となる領域の画像データを特定することも含む。
In FIG. 1, an
ここで、元画像Ｓ１の画像サイズは２５６×２５６画素、ドメインブロック画像Ｓ３の画像サイズは４×４画素、レンジブロック探索範囲は設定されたドメインブロックを中心とした１２×１２画素とする。また、レンジブロック候補画像Ｓ４の画像サイズはドメインブロック画像Ｓ３の画像サイズに対して、任意の拡大率でユーザ指定されるものである。例えば、元画像Ｓ１に対する拡大率が縦横２倍としてユーザに指定された場合は、レンジブロック候補画像Ｓ４のサイズは８×８画素となる。 Here, the image size of the original image S1 is 256 × 256 pixels, the image size of the domain block image S3 is 4 × 4 pixels, and the range block search range is 12 × 12 pixels centered on the set domain block. Further, the image size of the range block candidate image S4 is designated by the user at an arbitrary enlargement ratio with respect to the image size of the domain block image S3. For example, when the enlargement ratio with respect to the original image S1 is designated by the user as vertical and horizontal twice, the size of the range block candidate image S4 is 8 × 8 pixels.
なお、本発明の実施形態の説明中に用いる「拡大率」は、単位面積あたりの画素数の増加率（解像度変換率）に相当するものであることに注意されたい。例えば、縦横２倍の拡大率と記載した場合は、元画像の１画素あたりの面積に解像度変換後の画像の４画素が相当するように画素数を増加させることとなる。 It should be noted that the “enlargement ratio” used in the description of the embodiment of the present invention corresponds to the increase rate (resolution conversion ratio) of the number of pixels per unit area. For example, when the enlargement ratio of 2 times in the vertical and horizontal directions is described, the number of pixels is increased so that the area per pixel of the original image corresponds to 4 pixels of the image after resolution conversion.
さらに、画像処理装置１００は、切り出したレンジブロック候補画像Ｓ４を拡大率の逆数倍に縮小した縮小レンジブロック候補画像となる画像データＳ５（以下「縮小レンジブロック候補画像Ｓ５」という。）を出力するレンジブロック画像縮小部４を備える。例えば、上述のように拡大率が縦横２倍にユーザ指定された場合、レンジブロック画像縮小部４はレンジブロック候補画像Ｓ４を縦横１／２倍にして、その画素サイズを４×４画素とする。これにより、縮小レンジブロック候補画像Ｓ５の画像サイズをドメインブロック画像Ｓ３の画像サイズと同じサイズにすることができる。
Furthermore, the
また、画像処理装置１００は、ドメインブロック画像Ｓ３及び縮小レンジブロック候補画像Ｓ５の間のブロック相関度を示すデータであるＳ６（以下「ブロック相関度Ｓ６」という。）及び画素相関度を示すデータであるＳ７（以下「画素相関度Ｓ７」という。）を算出するレンジブロック相関比較部５を備える。上記算出されたブロック相関度Ｓ６及び画素相関度Ｓ７はレンジブロック候補画像Ｓ４と対応づけられた後に上記一次記憶部に記憶される。
Further, the
画像処理装置１００は、さらに、レンジブロック探索範囲内から縮小レンジブロック候補画像Ｓ５のブロック相関度Ｓ６が最も高いレンジブロック候補画像Ｓ４を選択し、正式なレンジブロック画像となる画像データＳ８（以下「選択レンジブロック画像Ｓ８」という。）とするレンジブロック画像選択部６を備える。このとき、選択レンジブロック画像Ｓ８に対応する縮小レンジブロック候補画像Ｓ５について算出されたブロック相関度Ｓ６及び画素相関度Ｓ７は、夫々選択レンジブロック相関度を示すデータであるＳ９（以下「選択レンジブロック相関度Ｓ９」という。）及び選択レンジブロック画素相関度を示すデータであるＳ１０（以下「選択レンジブロック画素相関度Ｓ１０」という。）に設定される。
The
また、画像処理装置１００は、選択レンジブロック画像Ｓ８、選択レンジブロック相関度Ｓ９及び選択レンジブロック画素相関度Ｓ１０を保持する選択保持部７を備える。選択保持部７は、図３に示すフォーマットで選択レンジブロック画像Ｓ８、選択レンジブロック相関度Ｓ９、及び選択レンジブロック画素相関度Ｓ１０を保持する。
The
ドメインブロック画像切出部２は、元画像Ｓ１からドメインブロック画像Ｓ３を切り出す。ここで、切り出すドメインブロック画像Ｓ３が隣接する別のドメインブロック画像とオーバーラップする量（以後、オーバーラップ量と称する）は、本実施の形態ではユーザによって適宜設定されるものとする。本実施の形態においては、ドメインブロック画像Ｓ３のオーバーラップ量は２画素に設定されている。
The domain block
また、画像処理装置１００は、ドメインブロック画像切出部２が元画像Ｓ１の全範囲についてドメインブロック画像Ｓ３の切り出しを終了したときに、出力画像を構成する画素の座標Ｓ１４を設定する出力画素座標設定部８を備える。このとき、元画像Ｓ１の解像度は上記設定された拡大率で乗じた大きさだけ高くし、その解像度を高くした元画像Ｓ１の各画素の座標が出力画像を構成する画素の座標として設定される。本実施の形態においては、元画像Ｓ１のサイズが２５６×２５６画素、拡大率が縦横２倍であるので、５１２×５１２個の座標が座標Ｓ１４として順に設定される。
Further, the
選択保持部７は、出力画素座標設定部８で画素の座標Ｓ１４が設定される毎にその座標Ｓ１４にオーバーラップする選択レンジブロック画像Ｓ８をレンジブロック画像群となる画像データＳ１１（以下「レンジブロック画像群Ｓ１１」という。）に設定する。このとき、選択保持部７は、レンジブロック画像群Ｓ１１の夫々に対応する選択レンジブロック相関度Ｓ９、及び選択レンジブロック画素相関度Ｓ１０をレンジブロック相関度群を示すデータであるＳ１２（以下「レンジブロック相関度群Ｓ１２」という。）及びレンジブロック画素相関度群を示すデータであるＳ１３（以下「レンジブロック画素相関度群Ｓ１３」という。）に設定する。
Each time the output pixel coordinate setting
さらに画像処理部１００は、上記読み出したレンジブロック画像群Ｓ１１、レンジブロック相関度群Ｓ１２及びレンジブロック画素相関度群Ｓ１３に基づきオーバーラップ処理を行うオーバーラップ処理部９とを備える。このオーバーラップ処理により、座標Ｓ１４における出力画像Ｓ１５を出力する。
The
図２は、図１の画像処理装置１００により実行される画像処理の手順を示すフローチャートである。
FIG. 2 is a flowchart showing a procedure of image processing executed by the
図２において、まず、元画像保持部１が元画像Ｓ１を保持しているものとする（ステップＳ２０１）。続いて、ドメインブロック画像切出部２が元画像Ｓ１からドメインブロック画像Ｓ３を１つ切り出す（ステップＳ２０２）。
In FIG. 2, first, it is assumed that the original
次に、ステップＳ２０２で切り出されたドメインブロック画像Ｓ３の位置を中心としたレンジブロック探索範囲内からレンジブロック画像の候補となるレンジブロック候補画像Ｓ４をレンジブロック画像切出部３が１つ切り出す（ステップＳ２０３）。その後、レンジブロック画像縮小部４が切り出したレンジブロック候補画像Ｓ４を拡大率の逆数倍に縮小して、縮小レンジブロック候補画像Ｓ５を出力する（ステップＳ２０４）。次に、レンジブロック相関比較部５が、ドメインブロック画像Ｓ３及び縮小レンジブロック候補画像Ｓ５の間のブロック相関度Ｓ６及び画素相関度Ｓ７を算出する（ステップＳ２０５）。
Next, the range block
その後、レンジブロックの探索が終了したか否か、具体的には、現在のドメインブロック画像Ｓ３の位置を中心とするレンジブロック探索範囲内の選択レンジブロック画像となりうる全てのレンジブロック候補画像Ｓ４に対して、上述の処理がなされたか否かを判別する（ステップＳ２０６）。このとき、まだ処理されていないレンジブロック候補画像Ｓ４があるときは（ステップＳ２０６でＮＯ）、レンジブロック画像切出部３によって、新たなレンジブロック候補画像Ｓ４を切り出して、ステップＳ２０３からの処理を繰り返す。
Thereafter, whether or not the search for the range block has ended, specifically, all the range block candidate images S4 that can be the selected range block image within the range block search range centered on the position of the current domain block image S3. On the other hand, it is determined whether or not the above processing has been performed (step S206). At this time, if there is a range block candidate image S4 that has not yet been processed (NO in step S206), the range block
一方、ステップＳ２０６の判別の結果、全てのレンジブロックに対して、ステップＳ２０５の相関度算出処理が終了したときは、ステップＳ２０７の処理に進む。ステップＳ２０７では、レンジブロック画像選択部６が全てのレンジブロック候補画像Ｓ４のうち、ドメインブロック画像Ｓ３及び縮小レンジブロック候補画像Ｓ５の間のブロック相関度Ｓ６が最も高いレンジブロック候補画像Ｓ４を選択レンジブロック画像Ｓ８として選択する。その後、選択レンジブロック画像Ｓ８に対応するブロック相関度Ｓ６及び画素相関度Ｓ７を夫々選択レンジブロック相関度Ｓ９及び選択レンジブロック画素相関度Ｓ１０に設定する（ステップＳ２０８）。
On the other hand, as a result of the determination in step S206, when the correlation calculation processing in step S205 is completed for all the range blocks, the process proceeds to step S207. In step S207, the range block
その後、ドメインブロック画像切出部２がドメインブロック画像Ｓ３の探索が終了したか否か、具体的には、ドメインブロック画像切出部２が元画像Ｓ１の全範囲についてドメインブロック画像Ｓ３の切り出しを終了したか否かを判別する（ステップＳ２０９）。このとき、元画像Ｓ１の全範囲についてドメインブロック画像Ｓ３を切り出していないときは（ステップＳ２０９でＮＯ）、ドメインブロック画像Ｓ３の切出位置を更新し（ステップＳ２１０）、ステップＳ２０２からの処理を繰り返す。
Thereafter, whether or not the domain block
一方、ステップＳ２０９の判別の結果、元画像Ｓ１の全範囲に対してドメインブロック画像Ｓ３の切り出し処理が終了したときは、ステップＳ２１１の処理に進む。 On the other hand, as a result of the determination in step S209, when the clipping process of the domain block image S3 is completed for the entire range of the original image S1, the process proceeds to step S211.
ステップＳ２１１では、出力画素座標設定部８が、上記拡大率だけ解像度を高くした元画像Ｓ１を構成する画素の１座標を、出力画像Ｓ１５を構成する画素の座標Ｓ１４に設定する。その後、選択保持部７が、出力画素座標設定部８によって設定された座標Ｓ１４にオーバーラップする選択レンジブロック画像Ｓ８をレンジブロック画像群Ｓ１１として設定する（ステップＳ２１２）。このとき、レンジブロック画像群Ｓ１１の夫々に対応する選択レンジブロック相関度Ｓ９、及び選択レンジブロック画素相関度Ｓ１０をレンジブロック相関度群Ｓ１２及びレンジブロック画素相関度群Ｓ１３に設定する。
In step S211, the output pixel coordinate setting
その後、オーバーラップ処理部９が画素座標Ｓ１４に対して、後述するオーバーラップ処理を行い、座標Ｓ１４に対する出力画像Ｓ１５を決定する（ステップＳ２１３）。
Thereafter, the
次に、解像度を高くした元画像Ｓ１の各画素の座標について出力画像Ｓ１５が決定されたか否かを判別する（ステップＳ２１４）。このとき、出力画像Ｓ１５が決定されていない座標があるときは（ステップＳ２１４でＮＯ）、ステップＳ２０９からの処理を繰り返す。 Next, it is determined whether or not the output image S15 has been determined for the coordinates of each pixel of the original image S1 with increased resolution (step S214). At this time, if there is a coordinate for which the output image S15 has not been determined (NO in step S214), the processing from step S209 is repeated.
一方、ステップＳ２１３の判別の結果、解像度を高くした元画像Ｓ１の全画素の座標について出力画像Ｓ１５が決定されたとき、画像出力を行い（ステップＳ２１５）、本処理を終了する。 On the other hand, when the output image S15 is determined for the coordinates of all the pixels of the original image S1 with a higher resolution as a result of the determination in step S213, image output is performed (step S215), and this process is terminated.
次に、図２のステップＳ２０５の相関度算出処理の方法を具体的に説明する。 Next, the method of the correlation degree calculation process in step S205 in FIG. 2 will be specifically described.
まず、現在処理中のドメインブロック画像Ｓ３及び縮小レンジブロック候補画像Ｓ５の夫々を構成する画素をＰｄ（Ｘ，Ｙ）、Ｐｒ（Ｘ，Ｙ）と表す。このとき、同一座標におけるドメインブロック画像Ｓ３及び縮小レンジブロック候補画像Ｓ５の夫々の画素の差分絶対値Ｇ（Ｘ，Ｙ）が画素相関度Ｓ７として算出される。 First, the pixels constituting each of the domain block image S3 and the reduced range block candidate image S5 currently being processed are represented as Pd (X, Y) and Pr (X, Y). At this time, the difference absolute value G (X, Y) of each pixel of the domain block image S3 and the reduced range block candidate image S5 at the same coordinates is calculated as the pixel correlation S7.
つまり、画素相関度Ｓ７は、Ｇ（Ｘ，Ｙ）＝｜Ｐｄ（Ｘ，Ｙ）−Ｐｒ（Ｘ，Ｙ）｜という式で算出される。但し、この座標値（Ｘ，Ｙ）は元画像の解像度における１画素に相当する値であるので、高解像度に変換した後の解像度における１画素とは一致しない。そこで、高解像度変換後の１画素の座標値Ｇ’（ｘ，ｙ）に対して、Ｇ（Ｘ，Ｙ）の値を割り当てるようにして不図示のメモリなどに格納する。本実施形態では、拡大率が２倍であるので、高解像度変換後の４画素が元画像の１画素に相当する。従って、Ｇ（Ｘ，Ｙ）の値をこの座標値に相当する４画素に割り当てればよい。 That is, the pixel correlation S7 is calculated by the equation G (X, Y) = | Pd (X, Y) −Pr (X, Y) |. However, since this coordinate value (X, Y) is a value corresponding to one pixel in the resolution of the original image, it does not coincide with one pixel in the resolution after conversion to high resolution. Therefore, the G (X, Y) value is assigned to the coordinate value G ′ (x, y) of one pixel after high resolution conversion and stored in a memory (not shown). In this embodiment, since the enlargement ratio is twice, four pixels after high resolution conversion correspond to one pixel of the original image. Therefore, the value of G (X, Y) may be assigned to 4 pixels corresponding to this coordinate value.
一方、ドメインブロック画像Ｓ３及び縮小レンジブロック候補画像Ｓ５の同一座標における夫々の画素の差分絶対値の総和がブロック相関度Ｓ６である。 On the other hand, the sum of the absolute difference values of the respective pixels at the same coordinates in the domain block image S3 and the reduced range block candidate image S5 is the block correlation S6.
つまり、ブロック相関度Ｓ６は、Ｂ＝Σ｛Ｇ（Ｘ，Ｙ）｝という式で算出される。 That is, the block correlation S6 is calculated by the equation B = Σ {G (X, Y)}.
尚、本実施の形態では、相関度の算出は差分絶対値により算出したが、これに限定されるものでなく、例えば、積率相関係数や順位相関係数等を適用してもよい。 In the present embodiment, the degree of correlation is calculated based on the absolute value of the difference. However, the present invention is not limited to this. For example, a product-moment correlation coefficient or a rank correlation coefficient may be applied.
図４は、図２のステップＳ２１３で実行するオーバーラップ処理の手順を示すフローチャートである。以下の処理は、制御部としてのオーバーラップ処理部９が実行するものである。
FIG. 4 is a flowchart showing the procedure of the overlap process executed in step S213 of FIG. The following processing is executed by the
本処理を行う場合、画素相関度影響係数Ｗを予め決定しておく。ここで、画素相関度影響係数Ｗの初期値は、ドメインブロック画像Ｓ３のサイズとするが、扱う画像の傾向などシステムの性格に応じてユーザが変更することができる。本実施の形態では、ドメインブロック画像Ｓ３のサイズは４×４であるので、画素相関度影響係数Ｗの初期値は１６である。なお、画素相関度影響係数Ｗは、自己相関性の高い画像である場合は小さい値が適している。また、ノイズが多い画像である場合は大きい値が適している。 When performing this processing, the pixel correlation degree influence coefficient W is determined in advance. Here, the initial value of the pixel correlation degree influence coefficient W is the size of the domain block image S3, but can be changed by the user according to the system characteristics such as the tendency of the image to be handled. In the present embodiment, since the size of the domain block image S3 is 4 × 4, the initial value of the pixel correlation degree influence coefficient W is 16. Note that a small value is suitable for the pixel correlation degree influence coefficient W in the case of an image having high autocorrelation. A large value is suitable for an image with a lot of noise.
図４において、まず、オーバーラップ処理部９は、ステップＳ２１２で設定されたレンジブロック画像群Ｓ１１、レンジブロック相関度群Ｓ１２、レンジブロック画素相関度群Ｓ１３と、ステップＳ２１１で設定された座標Ｓ１４を取得する（ステップＳ４０１）。なお、ステップＳ２０９までの処理は、ドメインブロック単位に実行されるが、オーバーラップ処理では、画素単位に処理を行う。なぜなら、オーバーラップ処理は、最終的な解像度変換画像の各画素値を決定する処理であるからである。特に、本発明の場合、上述した通り、ドメインブロック画像を切り出す場合に、他のドメインブロック画像と画素が重複するようにしている。各ドメインブロックには最も相関度の高い縮小レンジブロック画像が１つ存在するだけである。しかし、そのドメインブロックに含まれる画素を基準とすると、ドメインブロック画像を画素が重複するように切り出しているため、画素には複数の縮小レンジブロック画像が対応する場合が生じる。従って、オーバーラップ処理では、複数の縮小レンジブロック画像が対応している画素の画素値の決定を以下に示す処理で実現する。
In FIG. 4, first, the
従って、ステップＳ４０１で取得した座標Ｓ１４に相当する画素の画素値決定処理となる。また、ステップＳ４０１で取得するレンジブロック画像群Ｓ１１は座標Ｓ１４を含むレンジブロック画像であり、ここではレンジブロック画像の数がｎで表される。オーバーラップ処理部９は、カウンタ値であるｎをｎ＝１に設定し（ステップＳ４０２）、レンジブロック画像群Ｓ１１から縮小レンジブロック候補画像Ｓ５の１番目の画像を抽出する（ステップＳ４０３）。その後、オーバーラップ処理部９は、抽出された縮小レンジブロック候補画像Ｓ５の中から、画素値決定処理の対象座標Ｓ１４に対応する座標位置にある画素値Ｐ（１）を抽出する（ステップＳ４０４）。また、オーバーラップ処理部９は、ｎ＝１の縮小レンジブロック候補画像Ｓ５に対応するブロック相関度Ｂ（１）及び、座標Ｓ１４に対応する座標位置の画素相関度Ｇ（１）を抽出する（ステップＳ４０５）。その後、オーバーラップ処理部９は、相関度評価値Ｈ（１）＝Ｂ（１）＋Ｗ＊Ｇ（１）を算出する（ステップＳ４０６）。
Accordingly, the pixel value determination process of the pixel corresponding to the coordinate S14 acquired in step S401 is performed. The range block image group S11 acquired in step S401 is a range block image including the coordinates S14, and here, the number of range block images is represented by n. The
次に、オーバーラップ処理部９は、レンジブロック画像群Ｓ１１に含まれる縮小レンジブロック候補画像Ｓ５が全て処理されたか否かを判別する（ステップＳ４０７）。このとき、まだ処理されていない縮小レンジブロック候補画像Ｓ５があれば（ステップＳ４０７でＮＯ）、ｎの値を１つインクリメントして（ステップＳ４１０）、レンジブロック画像群Ｓ１１からｎ＝２となる縮小レンジブロック候補画像Ｓ５を抽出し、ステップＳ４０３からの処理を繰り返す。
Next, the
一方、ステップＳ４０７の判別の結果、座標Ｓ１４に相当する位置の画素を有する全てのレンジブロック画像の処理が終了した場合は、オーバーラップ処理部９は算出されたｎ個の相関度評価値Ｈ（ｎ）が最大となるｎを決定する。つまり、式：Ｈ（Ｎ）＝ｍａｘ（Ｈ（ｎ））を満たすＮを求める（ステップＳ４０８）。従って、座標Ｓ１４の画素位置におけるｎ個の相関度評価値のうち、最大となる相関度評価値となった画素を有するものが縮小レンジブロック候補画像Ｎとなる。
On the other hand, as a result of the determination in step S407, when the processing of all the range block images having the pixel at the position corresponding to the coordinate S14 is completed, the
その後、座標Ｓ１４における出力画素Ｓ１５の画素値を縮小レンジブロック候補画像Ｎの対象位置の画素値Ｐ（Ｎ）に設定して（ステップＳ４０９）、本処理を終了する。 Thereafter, the pixel value of the output pixel S15 at the coordinate S14 is set to the pixel value P (N) at the target position of the reduced range block candidate image N (step S409), and this process ends.
上述した処理は特定の座標Ｓ１４に対する処理である。従って、座標Ｓ１４とは異なる座標の画素に対する画素値の決定処理は、上記のオーバーラップ処理を実行することになる。 The above-described processing is processing for a specific coordinate S14. Therefore, the pixel value determination process for the pixel having a coordinate different from the coordinate S14 executes the overlap process.
つまり、オーバーラップ処理部９では、解像度変換後のある座標Ｑにおける画素値を決定する場合に、その座標Ｑの画素にオーバーラップしているｎ個のレンジブロックの夫々におけるブロック相関度と、レンジブロック画像内の画素で、座標Ｑに対応する位置にある画素の画素相関度を求め、これらの相関度を利用して相関度の評価を行う。つまり、相関度評価値を求める。そして、相関度評価値が最も高いレンジブロックにおける、当該座標Ｑに対応する画素の画素値を解像度変換後の画像の画素値として設定する。
That is, when determining the pixel value at a certain coordinate Q after resolution conversion, the
ここで、本実施の形態では、出力画素Ｓ１５をＰ（Ｎ）としたが、これに限定されるわけでなく、複数の画素の値を相関度に応じた加重加算によって算出してもよい。具体的には、出力画素Ｓ１５の値をΣ｛Ｐ（ｎ）*Ｈ（ｎ）｝／Σ｛Ｈ（ｎ）｝とするようにしてもよい。この算出方法は、元画像Ｓ１が自己相関度が低い傾向にある場合に有効である。 In this embodiment, the output pixel S15 is P (N). However, the present invention is not limited to this, and the values of a plurality of pixels may be calculated by weighted addition according to the degree of correlation. Specifically, the value of the output pixel S15 may be Σ {P (n) * H (n)} / Σ {H (n)}. This calculation method is effective when the original image S1 tends to have a low autocorrelation.
図５は、図２の画像処理の概念図である。 FIG. 5 is a conceptual diagram of the image processing of FIG.
図５（ａ）に示すように、まず元画像Ｓ１からドメインブロック画像Ｓ３が１つ切り出されると、レンジブロック探索範囲５０１にあるレンジブロック候補画像Ｓ４が順に切り出される。レンジブロック候補画像Ｓ４を縮小した縮小レンジブロック候補画像Ｓ５のうち、ブロック相関度Ｓ６が最も高い縮小レンジブロック候補画像Ｓ５の縮小前の画像（レンジブロック候補画像Ｓ４）が選択レンジブロック画像Ｓ８として選択される。 As shown in FIG. 5A, when one domain block image S3 is first cut out from the original image S1, range block candidate images S4 in the range block search range 501 are cut out in order. Among the reduced range block candidate images S5 obtained by reducing the range block candidate image S4, the image before reduction (range block candidate image S4) of the reduced range block candidate image S5 having the highest block correlation S6 is selected as the selected range block image S8. Is done.
また、図５（ｂ）に示すように、更新前のドメインブロック画像Ｓ３’と更新後のドメインブロック画像Ｓ３とが、一定量のオーバーラップ部５０２を有するようにドメインブロック画像Ｓ３の切り出し位置は順次更新される。
Further, as shown in FIG. 5B, the cut-out position of the domain block image S3 is such that the domain block image S3 ′ before update and the domain block image S3 after update have a certain amount of
元画像Ｓ１からのドメインブロックＳ３の切り出しが全て終了すると、上記拡大率で解像度を高くした元画像Ｓ１の画素の座標を出力画像Ｓ１５を構成する画素の座標Ｓ１４に順次設定し、座標Ｓ１４とオーバーラップするｎ個のレンジブロック画像群Ｓ１１を取得する。例えば、座標Ｓ１４が図５（ｃ）に示す位置にあるとき、レンジブロック画像群Ｓ１１に含まれる選択レンジブロック画像Ｓ８はブロック画像５０３，５０４の２つである。なお、ここでは説明を簡略化するために、レンジブロック画像Ｓ８の数を２つ（ブロック画像５０３，５０４）としている。
When all the cutouts of the domain block S3 from the original image S1 are completed, the coordinates of the pixels of the original image S1 whose resolution is increased by the above-described enlargement ratio are sequentially set to the coordinates S14 of the pixels constituting the output image S15. The n range block image groups S11 to be wrapped are acquired. For example, when the coordinate S14 is at the position shown in FIG. 5C, the selected range block images S8 included in the range block image group S11 are two
次に、レンジブロック画像群Ｓ１１に含まれる選択レンジブロック画像Ｓ８のうち、最も相関度評価値Ｈが大きいレンジブロック画像の座標Ｓ１４の画素値を出力画素Ｓ１５に設定する。図５（ｃ）の例では、座標Ｓ１４における相関度評価値Ｈはブロック画像５０４の方がブロック画像５０３より大きいことになる。このため、出力画素Ｓ１５はブロック画像５０３の座標Ｓ１４の画素Ｐ１でなく、ブロック画像５０４の座標Ｓ１４の画素Ｐ２が設定される。
Next, among the selected range block images S8 included in the range block image group S11, the pixel value of the coordinate S14 of the range block image having the largest correlation evaluation value H is set as the output pixel S15. In the example of FIG. 5C, the correlation degree evaluation value H at the coordinate S <b> 14 is greater in the
なお、同様に、座標Ｓ１４’が図５（ｃ）の位置にあるとき、レンジブロック画像群Ｓ１１に含まれる選択レンジブロック画像Ｓ８はブロック画像５０４、５０５の２つである。この場合、相関度評価値Ｈはブロック画像５０４の方がブロック画像５０５より大きいことになる。このため、座標Ｓ１４’の出力画素Ｓ１５はブロック画像５０４の画素となる。
Similarly, when the coordinate S14 'is at the position shown in FIG. 5C, the selected range block image S8 included in the range block image group S11 is two
以上、本実施の形態によれば、元画像Ｓ１から複数のドメインブロック画像Ｓ３のうち、隣接するドメインブロック画像が互いにユーザなどに指定されたオーバーラップ量（２画素）だけ重なりあうように切り出される（ステップＳ２０２）。次に、各ドメインブロックＳ３に対する選択レンジブロック画像Ｓ８を取得した後（ステップＳ２０７）、ユーザ指定された拡大率（縦横２倍）に解像度を高くした元画像Ｓ１の各画素の座標を順に座標Ｓ１４に設定する（ステップＳ２１１）。その後、座標Ｓ１４とオーバーラップするｎ個の選択レンジブロック画像Ｓ８のうち相関度評価値Ｈ（ｎ）が最も高いものを算出し（ステップＳ４０８）、その選択レンジブロック画像Ｓ８に含まれる座標Ｓ１４の画像を出力画像Ｓ１５に設定する（ステップＳ４０９）。 As described above, according to the present embodiment, among the plurality of domain block images S3 from the original image S1, the adjacent domain block images are cut out so as to overlap each other by the overlap amount (2 pixels) designated by the user or the like. (Step S202). Next, after acquiring the selected range block image S8 for each domain block S3 (step S207), the coordinates of each pixel of the original image S1 whose resolution is increased to the enlargement ratio (twice vertically and horizontally) specified by the user are sequentially coordinate S14. (Step S211). Thereafter, the n selected range block images S8 that overlap with the coordinate S14 are calculated with the highest correlation evaluation value H (n) (step S408), and the coordinates S14 included in the selected range block image S8 are calculated. The image is set as the output image S15 (step S409).
すなわち、元画像Ｓ１を解像度変換をしたときの各画素の出力画像Ｓ１５は、その出力画像Ｓ１５の座標Ｓ１４とオーバーラップする選択レンジブロック画像Ｓ８のうち相関度評価値Ｈが最も高くなるものに基づき設定される。 That is, the output image S15 of each pixel when the resolution of the original image S1 is converted is based on the selected range block image S8 that overlaps the coordinate S14 of the output image S15 and that has the highest correlation evaluation value H. Is set.
これにより、元画像Ｓ１の解像度変換をする際に、隣接するドメインブロック画像Ｓ３の境界に生じるノイズやボケの発生を抑制することができる。 Thereby, when the resolution conversion of the original image S1 is performed, it is possible to suppress the occurrence of noise and blur occurring at the boundary between adjacent domain block images S3.
尚、元画像Ｓ１のサイズ、ドメインブロック画像Ｓ３のサイズ、オーバーラップ量、拡大率等は、本実施の形態に係る値に限定されるものでなく、変更した場合でも同様の手順によって本発明を適用することが可能である。 Note that the size of the original image S1, the size of the domain block image S3, the overlap amount, the enlargement ratio, and the like are not limited to the values according to the present embodiment. It is possible to apply.
また、本実施の形態では、元画像Ｓ１の全てのドメインブロック画像Ｓ３に対応する選択レンジブロック画像Ｓ８を決定した後にオーバーラップ処理を行っている。しかし、これに限定されるわけでなく、例えば、レンジブロック探索とオーバーラップ処理を並行もしくは交互に行うようにしてもよい。この場合、選択保持部７のメモリ容量を削減することができる。
In the present embodiment, the overlap process is performed after the selection range block image S8 corresponding to all the domain block images S3 of the original image S1 is determined. However, the present invention is not limited to this. For example, range block search and overlap processing may be performed in parallel or alternately. In this case, the memory capacity of the
また、本実施の形態では、ステップＳ２０６においてブロック相関度Ｓ６とともに画素相関度Ｓ７の算出を行う形態を開示している。しかしながら、画素相関度Ｓ７は、選択レンジブロック画像の選択には寄与しないため、ステップＳ２０６の時点で画素相関度Ｓ７を算出しなくてもよい。ステップＳ２０６で算出しない場合、ステップＳ２０７においてブロック相関度Ｓ６に基づいて選択レンジブロック画像を選択した後、当該レンジブロック画像に対して画素相関度Ｓ７を算出するように構成すればよい。このように構成することで、画素相関度Ｓ７の算出に関する処理時間の低下や負荷の軽減といった効果が得られる。 In the present embodiment, a mode is disclosed in which the pixel correlation S7 is calculated together with the block correlation S6 in step S206. However, since the pixel correlation S7 does not contribute to selection of the selected range block image, it is not necessary to calculate the pixel correlation S7 at the time of step S206. If not calculated in step S206, the pixel correlation S7 may be calculated for the range block image after selecting the selected range block image based on the block correlation S6 in step S207. With this configuration, effects such as a reduction in processing time and a reduction in load related to the calculation of the pixel correlation S7 can be obtained.
また、本実施の形態では、レンジブロック相関比較部５でブロック相関度Ｓ６のみならず、画素相関度Ｓ７の算出も行なった。しかし、この形態に限定されるわけでなく、例えば、画素相関度Ｓ７の算出は行なわず、相関度評価値Ｈ（ｎ）が選択ブロック相関度Ｂ（ｎ）の値であるとしてオーバーラップ処理を行うようにしてもよい。
In this embodiment, the range block
この場合、図３と違い図６に示すように、選択保持部７は、画素相関度Ｓ７を含まないフォーマットのデータを保持することとなるので、選択保持部７のメモリ容量を減らすことができ、画像処理装置１００を小型化することができる。よって、扱う絵柄や要求される変換品質によっては、この変形例を適用することによってシステムコストを削減することが可能である。
In this case, unlike FIG. 3, as shown in FIG. 6, the
［第２の実施形態］
図７は、本発明の第２の実施形態に係る画像処理装置の構成を概略的に示すブロック図である。
[Second Embodiment]
FIG. 7 is a block diagram schematically showing the configuration of the image processing apparatus according to the second embodiment of the present invention.
図７において、図１の画像処理装置１００の構成要素と同じものには同一の符号を付して重複した説明を省略する。
In FIG. 7, the same components as those of the
図７において、画像処理装置１００ａは、ドメインブロック画像Ｓ３に直交変換処理を実施し、変換ドメインブロック画像Ｓ１５を出力するドメインブロック画像直交変換部７０を備える。この直交変換に用いられる行列の基底には特に制限は無いが、一般的には離散コサイン変換（ＤＣＴ）が適当である。また、離散コサイン変換の代わりに、離散フーリエ変換やアダマール変換等を行なっても良い。
In FIG. 7, the
さらに、画像処理装置１００ａは、変換ドメインブロック画像Ｓ１５の係数を上記拡大率だけ拡張した拡張ドメインブロック画像Ｓ１６を出力する係数拡張部７１を備える。図９に示すように、拡張された部分９０１の係数の値は不定でよく、また、ドメインブロック画像Ｓ３のサイズが４×４画素、拡大率が縦横２倍の場合は、拡張ドメインブロック画像Ｓ１６のサイズは８×８画素となる。
Furthermore, the
また、画像処理装置１００ａは、選択レンジブロック画像Ｓ８に直交変換処理を実施し、変換レンジブロック画像Ｓ１７を出力するレンジブロック画像直交変換部１１を備える。この直交変換に用いられる行列の基底はドメインブロック画像直交変換部７０で使用される行列の基底と同じものを用いる。
Further, the
さらに、画像処理装置１００ａは、図１０に示すように、係数拡張部７１により拡張された拡張ドメインブロック画像Ｓ１６の係数不定の部分９０１を変換レンジブロック画像Ｓ１７の該当する部分９０２の係数で置換する係数置換部７２を備える。この置換処理により、置換ドメインブロック画像Ｓ１８が出力される。
Furthermore, as shown in FIG. 10, the
画像処理装置１００ａは、さらに、置換ドメインブロック画像Ｓ１８に逆直交変換処理を実施して、逆変換ドメインブロック画像Ｓ１９を出力する逆変換部７３を備える。
The
本実施形態では、さらに、この逆変換ドメインブロック画像Ｓ１９で一次記憶部にある選択レンジブロック画像Ｓ８を更新する。 In the present embodiment, the selected range block image S8 in the primary storage unit is further updated with the inverse transformed domain block image S19.
図８は、図７の画像処理装置１００ａにより実行される画像処理の手順を示すフローチャートである。
FIG. 8 is a flowchart showing a procedure of image processing executed by the
図８の処理は、図２の処理と基本的に同じであり、図２のステップと同一のステップには同一符号を付して重複した説明は省略し、以下に図２の処理と異なる部分についてのみ説明する。 The processing in FIG. 8 is basically the same as the processing in FIG. 2, the same steps as those in FIG. 2 are denoted by the same reference numerals, and redundant description is omitted, and the following differences from the processing in FIG. Only will be described.
図８の処理は、ステップＳ２０８とステップＳ２０９の間にステップＳ８０１〜Ｓ８０５が配されている点でのみ図２のものと異なる。 The process of FIG. 8 differs from that of FIG. 2 only in that steps S801 to S805 are arranged between steps S208 and S209.
図８において、まず、ステップＳ２０１〜Ｓ２０８までの処理で、選択レンジブロック画像Ｓ８、選択レンジブロック相関度Ｓ９、選択レンジブロック画素相関度Ｓ１０を設定する。 In FIG. 8, first, the selection range block image S8, the selection range block correlation degree S9, and the selection range block pixel correlation degree S10 are set by the processing from steps S201 to S208.
次に、ドメインブロック画像直交変換部７０が、ドメインブロック画像Ｓ３に直交変換処理を実施して、変換ドメインブロック画像Ｓ１５を生成する（ステップＳ８０１）。その後、係数拡張部７１が変換ドメインブロック画像Ｓ１５の係数を拡大率に従って拡張した拡張ドメインブロック画像Ｓ１６を生成する（ステップＳ８０２）。
Next, the domain block image
また、レンジブロック画像直交変換部１１が、選択レンジブロック画像Ｓ８に直交変換処理を実施して、変換レンジブロック画像Ｓ１７を生成する（ステップＳ８０３）。その後、係数置換部７２が、拡張ドメインブロック画像Ｓ１６の係数不定の部分９０１を変換レンジブロック画像Ｓ１７の該当する係数で置換した置換ドメインブロック画像Ｓ１８を生成する（ステップＳ８０４）。
In addition, the range block image
その後、逆変換部７３が、置換ドメインブロック画像Ｓ１８に逆直交変換処理を実施して逆変換ドメインブロック画像Ｓ１９を生成する（ステップＳ８０５）。この逆変換ドメインブロック画像Ｓ１９で不図示の一次記憶部に記憶されている選択レンジブロック画像Ｓ８が更新される。
Thereafter, the
その後、ドメインブロック画像Ｓ３の探索が終了すると（ステップＳ２０９でＹＥＳ）、座標Ｓ１４を設定し（ステップＳ２１１）、レンジブロック画像群Ｓ１１を設定する（ステップＳ２１２）。ここで、本変形例では、レンジブロック画像群Ｓ１１に含まれる画像は、Ｓ８０５で生成された逆変換ドメインブロック画像Ｓ１９で更新された選択レンジブロック画像Ｓ８である。 Thereafter, when the search for the domain block image S3 is completed (YES in step S209), the coordinate S14 is set (step S211), and the range block image group S11 is set (step S212). Here, in this modification, the image included in the range block image group S11 is the selected range block image S8 updated by the inverse transform domain block image S19 generated in S805.
その後、オーバーラップ処理により座標Ｓ１４の出力画像Ｓ１５が解像度を高くした元画像Ｓ１の画素の全座標について決定され（ステップＳ２１３，Ｓ２１４）、画像出力がされ（ステップＳ２１５）、本処理を終了する。 Thereafter, the output image S15 of the coordinate S14 is determined for all the coordinates of the pixels of the original image S1 with a higher resolution by the overlap processing (steps S213 and S214), the image is output (step S215), and this processing ends.
以上、本実施形態では、元画像Ｓ１から抽出したドメインブロック画像に直交変換を施して得られた変換ドメインブロック画像Ｓ１５を、所定の拡大率で拡大した拡張ドメインブロック画像Ｓ１６の低域成分の係数にはドメインブロック画像Ｓ３から生成された係数をそのまま流用する。また、拡張ドメインブロック画像Ｓ１６の高域成分は選択レンジブロック画像Ｓ８に直交変換を施して得られた変換レンジブロック画像Ｓ１７の係数で置換する。係数置換された置換ドメインブロック画像Ｓ１８に逆直交変換処理を施すことで得られた逆変換ドメインブロック画像Ｓ１９を選択レンジブロック画像Ｓ８の代わりに用いてオーバーラップ処理を行っている。これにより、図１１に示すように、元画像Ｓ１に対する解像度変換後の出力画像（１１ｂ）は、第１の実施形態で得られる画像（１１ａ）より歪が少なくかつ鮮明となる。また、元画像Ｓ１に忠実な解像度変換画像が生成される。 As described above, in the present embodiment, the coefficient of the low frequency component of the extended domain block image S16 obtained by enlarging the transformed domain block image S15 obtained by performing orthogonal transformation on the domain block image extracted from the original image S1 at a predetermined enlargement ratio. In this case, the coefficient generated from the domain block image S3 is used as it is. Further, the high frequency component of the extended domain block image S16 is replaced with the coefficient of the transform range block image S17 obtained by performing orthogonal transform on the selected range block image S8. An overlap process is performed by using an inverse transform domain block image S19 obtained by performing an inverse orthogonal transform process on the replacement domain block image S18 subjected to coefficient replacement, instead of the selected range block image S8. As a result, as shown in FIG. 11, the output image (11b) after resolution conversion for the original image S1 is less distorted and clearer than the image (11a) obtained in the first embodiment. In addition, a resolution-converted image that is faithful to the original image S1 is generated.
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。 The object of the present invention is achieved by executing the following processing. That is, a storage medium that records a program code of software that realizes the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU, MPU, etc.) of the system or apparatus is stored in the storage medium. This is the process of reading the code.
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code and the storage medium storing the program code constitute the present invention.
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。 Moreover, the following can be used as a storage medium for supplying the program code. For example, floppy (registered trademark) disk, hard disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD + RW, magnetic tape, nonvolatile memory card, ROM or the like. Alternatively, the program code may be downloaded via a network.
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。 Further, the present invention includes a case where the function of the above-described embodiment is realized by executing the program code read by the computer. In addition, an OS (operating system) running on the computer performs part or all of the actual processing based on an instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Is also included.
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。 Furthermore, a case where the functions of the above-described embodiment are realized by the following processing is also included in the present invention. That is, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.
１００ 画像処理装置
１ 元画像保持部
２ ドメインブロック画像切出部
３ レンジブロック画像切出部
４ レンジブロック画像縮小部
５ レンジブロック相関比較部
６ レンジブロック画像選択部
７ 選択保持部
８ 出力画素座標設定部
９ オーバーラップ処理部
DESCRIPTION OF
Claims (10)
別のドメインブロック画像と画素の一部が重複するように元画像からドメインブロック画像を複数抽出する第１の画像抽出手段と、
前記抽出されたドメインブロック画像の各々に対する複数のレンジブロック画像を前記元画像から抽出する第２の画像抽出手段と、
抽出された前記各ドメインブロック画像と、当該ドメインブロック画像に対する複数のレンジブロック画像とのブロック単位のブロック相関度および画素単位の画素相関度を算出する算出手段と、
前記算出手段で算出したブロック相関度に基づいて、前記各ドメインブロック画像に対応するレンジブロック画像を選択する選択手段と、
前記元画像を解像度変換することで生成される画像を構成する画素の画素値を、前記選択手段で選択されたレンジブロック画像と、当該選択されたレンジブロック画像におけるブロック相関度と、当該画素における画素相関度とに基づいて決定する制御手段とを有することを特徴とする画像処理装置。 An image processing apparatus that generates a resolution-converted image obtained by converting a resolution of an original image composed of a plurality of pixels at a predetermined resolution conversion rate using a fractal resolution conversion method,
First image extraction means for extracting a plurality of domain block images from the original image such that a part of the pixels overlaps with another domain block image;
Second image extraction means for extracting a plurality of range block images for each of the extracted domain block images from the original image;
A calculation means for calculating a block unit block correlation and a pixel unit pixel correlation between each of the extracted domain block images and a plurality of range block images for the domain block image;
Selection means for selecting a range block image corresponding to each domain block image based on the block correlation calculated by the calculation means;
The pixel values of the pixels constituting the image generated by converting the resolution of the original image are set to the range block image selected by the selection unit, the block correlation in the selected range block image, and the pixel value An image processing apparatus comprising: control means for determining based on a pixel correlation.
前記選択手段で選択したレンジブロック画像に対して直交変換処理を施す第２の直交変換処理手段と、
前記第１の直交変換処理手段で直交変換されたドメインブロック画像の係数を前記所定の解像度変換率に応じて拡張する係数拡張手段と、
前記係数拡張手段で拡張されたドメインブロック画像の係数が不定の部分領域を前記第２の直交変換処理手段で直交変換されたレンジブロック画像における前記部分領域に対応する領域の係数で置換する係数置換手段と、
前記係数置換手段で置換されたドメインブロック画像に逆直交変換処理を施す逆変換手段と、を有し、
前記制御手段は、前記逆変換がされたドメインブロック画像を前記選択されたレンジブロック画像の代わりに用いて画素値を決定することを特徴とする請求項１記載の画像処理装置。 First orthogonal transform processing means for performing orthogonal transform processing on the domain block image extracted by the first image extracting means;
Second orthogonal transform processing means for performing orthogonal transform processing on the range block image selected by the selecting means;
Coefficient expansion means for expanding the coefficient of the domain block image orthogonally transformed by the first orthogonal transformation processing means according to the predetermined resolution conversion rate;
Coefficient replacement that replaces a partial area in which the coefficient of the domain block image expanded by the coefficient expansion means is indefinite with a coefficient of an area corresponding to the partial area in the range block image orthogonally transformed by the second orthogonal transform processing means. Means,
Inverse transform means for performing inverse orthogonal transform processing on the domain block image replaced by the coefficient replacement means,
The image processing apparatus according to claim 1, wherein the control unit determines a pixel value by using the domain block image subjected to the inverse transform instead of the selected range block image.
別のドメインブロック画像と画素の一部が重複するように元画像からドメインブロック画像を複数抽出する第１の画像抽出ステップと、
前記抽出されたドメインブロック画像の各々に対する複数のレンジブロック画像を前記元画像から抽出する第２の画像抽出ステップと、
抽出された前記各ドメインブロック画像と、当該ドメインブロック画像に対する複数のレンジブロック画像とのブロック単位の相関度および画素単位の相関度を算出する算出ステップと、
前記算出ステップで算出したブロック単位の相関度に基づいて、前記各ドメインブロック画像に対応するレンジブロック画像を選択する選択ステップと、
前記元画像を解像度変換することで生成される画像を構成する画素の画素値を、前記選択手段で選択されたレンジブロック画像と、当該選択されたレンジブロック画像におけるブロック相関度と、当該画素における画素相関度とに基づいて決定する制御ステップとを有することを特徴とする画像処理方法。 An image processing method for generating a resolution-converted image obtained by converting a resolution of an original image composed of a plurality of pixels at a predetermined resolution conversion rate using a fractal resolution conversion method,
A first image extraction step of extracting a plurality of domain block images from the original image so that some of the pixels overlap with another domain block image;
A second image extraction step of extracting a plurality of range block images for each of the extracted domain block images from the original image;
A calculation step of calculating the degree of correlation in block units and the degree of correlation in pixel units between each of the extracted domain block images and a plurality of range block images for the domain block images;
A selection step of selecting a range block image corresponding to each domain block image based on the degree of correlation in block units calculated in the calculation step;
The pixel values of the pixels constituting the image generated by converting the resolution of the original image are set to the range block image selected by the selection unit, the block correlation in the selected range block image, and the pixel value And a control step of determining based on the degree of pixel correlation.
前記選択ステップで選択したレンジブロック画像に対して直交変換処理を施す第２の直交変換処理ステップと、
前記第１の直交変換処理ステップで直交変換されたドメインブロック画像の係数を前記所定の解像度変換率に応じて拡張する係数拡張ステップと、
前記係数拡張ステップで拡張されたドメインブロック画像の係数が不定の部分領域を前記第２の直交変換処理ステップで直交変換されたレンジブロック画像における前記部分領域に対応する領域の係数で置換する係数置換ステップと、
前記係数置換ステップで置換されたドメインブロック画像に逆直交変換処理を施す逆変換ステップと、を有し、
前記制御ステップでは、前記逆変換がされたドメインブロック画像を前記選択されたレンジブロック画像の代わりに用いて画素値を決定することを特徴とする請求項５記載の画像処理方法。 A first orthogonal transformation processing step for performing orthogonal transformation processing on the domain block image extracted in the first image extraction step;
A second orthogonal transform processing step for performing orthogonal transform processing on the range block image selected in the selection step;
A coefficient expansion step of expanding the coefficient of the domain block image orthogonally transformed in the first orthogonal transformation processing step according to the predetermined resolution conversion rate;
Coefficient replacement for substituting a partial area in which the coefficient of the domain block image expanded in the coefficient expansion step is indefinite with a coefficient of an area corresponding to the partial area in the range block image orthogonally transformed in the second orthogonal transformation processing step Steps,
An inverse transform step for performing an inverse orthogonal transform process on the domain block image replaced in the coefficient replacement step,
6. The image processing method according to claim 5, wherein in the control step, a pixel value is determined by using the domain block image subjected to the inverse transform instead of the selected range block image.
別のドメインブロック画像と画素の一部が重複するように元画像からドメインブロック画像を複数抽出する第１の画像抽出手段と、
前記抽出されたドメインブロック画像の各々に対する複数のレンジブロック画像を前記元画像から抽出する第２の画像抽出手段と、
抽出された前記各ドメインブロック画像と、当該ドメインブロック画像に対する複数のレンジブロック画像とのブロック単位のブロック相関度を算出する第１の算出手段と、
前記算出手段で算出したブロック相関度に基づいて、前記各ドメインブロック画像に対応するレンジブロック画像を選択する選択手段と、
前記選択手段で選択されたレンジブロック画像と当該レンジブロックに対応するドメインブロック画像の夫々の画素値を用いて、各画素の画素相関度を算出する第２の算出手段と、
前記元画像を解像度変換することで生成される画像を構成する画素の画素値を、前記選択手段で選択されたレンジブロック画像と、当該選択されたレンジブロック画像におけるブロック相関度と、当該画素における画素相関度とに基づいて決定する制御手段とを有することを特徴とする画像処理装置。 An image processing apparatus that generates a resolution-converted image from an original image composed of a plurality of pixels using a fractal resolution conversion method,
First image extraction means for extracting a plurality of domain block images from the original image such that a part of the pixels overlaps with another domain block image;
Second image extraction means for extracting a plurality of range block images for each of the extracted domain block images from the original image;
First calculation means for calculating a block unit degree of block correlation between each extracted domain block image and a plurality of range block images for the domain block image;
Selection means for selecting a range block image corresponding to each domain block image based on the block correlation calculated by the calculation means;
Second calculation means for calculating the pixel correlation of each pixel using the pixel values of the range block image selected by the selection means and the domain block image corresponding to the range block;
The pixel values of the pixels constituting the image generated by converting the resolution of the original image are set to the range block image selected by the selection unit, the block correlation in the selected range block image, and the pixel value An image processing apparatus comprising: control means for determining based on a pixel correlation.
別のドメインブロック画像と画素の一部が重複するように元画像からドメインブロック画像を複数抽出する第１の画像抽出ステップと、
前記抽出されたドメインブロック画像の各々に対する複数のレンジブロック画像を前記元画像から抽出する第２の画像抽出ステップと、
抽出された前記各ドメインブロック画像と、当該ドメインブロック画像に対する複数のレンジブロック画像とのブロック単位のブロック相関度を算出する第１の算出ステップと、
前記算出ステップで算出したブロック相関度に基づいて、前記各ドメインブロック画像に対応するレンジブロック画像を選択する選択ステップと、
前記選択ステップで選択されたレンジブロック画像と当該レンジブロックに対応するドメインブロック画像の夫々の画素値を用いて、各画素の画素相関度を算出する第２の算出ステップと、
前記元画像を解像度変換することで生成される画像を構成する画素の画素値を、前記選択ステップで選択されたレンジブロック画像と、当該選択されたレンジブロック画像におけるブロック相関度と、当該画素における画素相関度とに基づいて決定する制御ステップとを有することを特徴とする画像処理方法。 An image processing method for generating a resolution-converted image from an original image composed of a plurality of pixels using a fractal resolution conversion method,
A first image extraction step of extracting a plurality of domain block images from the original image so that some of the pixels overlap with another domain block image;
A second image extraction step of extracting a plurality of range block images for each of the extracted domain block images from the original image;
A first calculation step of calculating a block unit block correlation between each of the extracted domain block images and a plurality of range block images corresponding to the domain block images;
A selection step of selecting a range block image corresponding to each domain block image based on the block correlation calculated in the calculation step;
A second calculation step of calculating a pixel correlation degree of each pixel using each pixel value of the range block image selected in the selection step and the domain block image corresponding to the range block;
The pixel values of the pixels constituting the image generated by converting the resolution of the original image, the range block image selected in the selection step, the block correlation in the selected range block image, and the pixel And a control step of determining based on the degree of pixel correlation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006352937A JP4307485B2 (en) | 2006-12-27 | 2006-12-27 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006352937A JP4307485B2 (en) | 2006-12-27 | 2006-12-27 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008167041A JP2008167041A (en) | 2008-07-17 |
| JP4307485B2 true JP4307485B2 (en) | 2009-08-05 |
Family
ID=39695902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006352937A Expired - Fee Related JP4307485B2 (en) | 2006-12-27 | 2006-12-27 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4307485B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5192342B2 (en) * | 2008-10-03 | 2013-05-08 | キヤノン株式会社 | Image processing apparatus and image processing method |
| US20120163720A1 (en) * | 2009-09-04 | 2012-06-28 | Kabushiki Kaisha Toshiba | Image processing apparatus and method thereof |
-
2006
- 2006-12-27 JP JP2006352937A patent/JP4307485B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008167041A (en) | 2008-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7268599B2 (en) | Information processing device and method | |
| JP3031613B2 (en) | Color / shade image input / output device and input / output method | |
| JP5173898B2 (en) | Image processing method, image processing apparatus, and program | |
| EP3637363B1 (en) | Image processing device, image processing method and image processing program | |
| JP2004508639A (en) | Image matching | |
| JP2003143399A (en) | Image processing apparatus and program | |
| JP2003274157A (en) | Image processor, image processing method, image processing program, and computer readable recording medium with image processing program recorded | |
| JP2015232869A (en) | Image processing apparatus, image processing method, and image processing program | |
| KR101702925B1 (en) | An apparatus for scaling a resolution using an image patch of multi video frames and method for using it | |
| KR20110086826A (en) | Method, apparatus and software for determining motion vectors | |
| KR101653038B1 (en) | An apparatus for scaling a resolution using an image patch and method for using it | |
| JP4307485B2 (en) | Image processing apparatus and image processing method | |
| CN108986155B (en) | Depth estimation method and depth estimation apparatus for multi-viewpoint image | |
| JP2018190394A (en) | Data extension method and device in monitoring video | |
| JP2002319020A (en) | Image processing device and method | |
| CN116645513B (en) | Watermark extraction methods, model training methods, devices, electronic equipment and media | |
| JP3305140B2 (en) | Encoding device and method | |
| JP5198500B2 (en) | Signal processing apparatus and program | |
| JP4190739B2 (en) | Image feature value generating apparatus and method, and storage medium storing image feature value generating program | |
| JP2000348019A (en) | Data processing device, data processing method, and medium | |
| JP2005236864A (en) | Digital watermarking system and method | |
| JP4300787B2 (en) | Image processing apparatus and method, recording medium, and program | |
| JP5192342B2 (en) | Image processing apparatus and image processing method | |
| JP5085589B2 (en) | Image processing apparatus and method | |
| JP4493614B2 (en) | Analysis result information compression program, analysis result information expansion program, storage medium storing analysis result information compression program, storage medium storing analysis result information expansion program, analysis result information compression apparatus, analysis result information expansion apparatus, analysis result Information compression method and analysis result information expansion method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090428 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |