JP4848231B2 - Image restoration method, image restoration program, and image restoration apparatus - Google Patents
Image restoration method, image restoration program, and image restoration apparatus Download PDFInfo
- Publication number
- JP4848231B2 JP4848231B2 JP2006237863A JP2006237863A JP4848231B2 JP 4848231 B2 JP4848231 B2 JP 4848231B2 JP 2006237863 A JP2006237863 A JP 2006237863A JP 2006237863 A JP2006237863 A JP 2006237863A JP 4848231 B2 JP4848231 B2 JP 4848231B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- blur
- influence
- filter
- solution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
本発明は、画像修復方法、画像修復プログラム、及び、画像修復装置に関し、具体的には撮像時にブレを含むブレ画像をフィルタ処理によって該ブレ画像を修復する画像修復方法、画像修復プログラム及び画像修復装置に関する。 The present invention relates to an image restoration method, an image restoration program, and an image restoration apparatus, and more specifically, an image restoration method, an image restoration program, and an image restoration for restoring a blurred image including blurring at the time of imaging by filtering. Relates to the device.
一般に、デジタルカメラやデジタルビデオカメラなどの撮像装置は、人物や風景などの被写体像を撮像し、デジタル画像を出力、記憶、または、表示する。デジタル画像は、コンピュータ等の演算装置を用いて、ユーザの要求する画像に近い画像へ変換するための画像処理を施される。例えば、デジタル画像の取得後において、撮像時に手ブレ等により生じたブレを含むブレ画像に所定の画像処理を施すことで修復している。このようなブレ画像を画像処理を用いて修復する技術としては、例えば下記特許文献に示すものが提案されている。 In general, an imaging apparatus such as a digital camera or a digital video camera captures a subject image such as a person or a landscape, and outputs, stores, or displays a digital image. The digital image is subjected to image processing for conversion into an image close to the image requested by the user using an arithmetic device such as a computer. For example, after a digital image is acquired, the image is restored by performing predetermined image processing on a blurred image including a blur caused by a camera shake during imaging. As a technique for repairing such a blurred image using image processing, for example, a technique shown in the following patent document has been proposed.
ブレ画像を修復する手法としては、被写体像を撮像した撮像データからブレ情報を検出し、ブレの大きさや方向によりブレ画像を修復するための復元関数で表されるフィルタを用いて、ブレ画像に含まれるブレを仮想的に除去することでブレのない画像を生成するための画像処理を行っている。 As a method of repairing a blurred image, blur information is detected from image data obtained by capturing a subject image, and a filter represented by a restoration function for restoring the blurred image according to the size and direction of the blur is used. Image processing is performed to generate a blur-free image by virtually removing the included blur.
ところで、ブレ画像を修復する際には、ブレの影響が及ぶ画素の範囲の広さに比例して、複雑なフィルタ処理が必要となり、画像処理を実行するコンピュータにおいて処理負担が増大してしまう点や、処理にかかる時間が長くなる点で改善の余地があった。 By the way, when a blurred image is repaired, a complicated filter process is required in proportion to the width of the range of pixels affected by the blur, and the processing load increases in a computer that executes image processing. In addition, there is room for improvement in that the processing time becomes longer.
本発明は、上記事情に鑑みてなされたもので、その目的は、画像処理の処理負担を軽減し、また、処理時間の短縮できる画像修復方法、画像修復プログラム及び画像修復装置を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image restoration method, an image restoration program, and an image restoration apparatus that can reduce the processing load of image processing and shorten the processing time. is there.
本発明の上記目的は、下記構成によって達成される。
（１） 被写体像のブレ画像を修復する画像修復方法であって、
前記ブレ画像の任意の画素に着目して該ブレ画像の１次元方向における画素の位置とブレ量を示す式で表される点広がり関数である複数のブレ特性情報を算出し、
前記複数のブレ特性情報をそれぞれ、前記式の解に基づき解が収束するもの、解が収束しないもの、画素をずらすことで前記式が一致するものに分類し、前記複数のブレ特性情報のうち、解が収束しないものは補正による影響が大きいと判定し、前記式の解に基づき解が収束するものは補正による影響が小さいと判定し、画素をずらすことで前記式が一致するものは補正による影響がないと判定することによって、影響度の大小を判定し、
前記複数のブレ特性情報を前記影響度の大きいものから順にフィルタとして使用して前記ブレ画像を修復する処理を実行することを特徴とする画像修復方法。
（２） 被写体像のブレ画像を修復するプログラムであって、
前記ブレ画像の任意の画素に着目して該ブレ画像の１次元方向における画素の位置とブレ量を示す式で表される点広がり関数である複数のブレ特性情報を算出し、
前記複数のブレ特性情報をそれぞれ、前記式の解に基づき解が収束するもの、解が収束しないもの、画素をずらすことで前記式が一致するものに分類し、前記複数のブレ特性情報のうち、解が収束しないものは補正による影響が大きいと判定し、前記式の解に基づき解が収束するものは補正による影響が小さいと判定し、画素をずらすことで前記式が一致するものは補正による影響がないと判定することによって、影響度の大小を判定し、
前記複数のブレ特性情報を前記影響度の大きいものから順にフィルタとして使用して前記ブレ画像を修復する処理を実行することを特徴とするプログラム。
（３） 被写体像のブレ画像を修復する画像修復装置であって、
前記ブレ画像の任意の画素に着目して該ブレ画像の１次元方向における画素の位置とブレ量を示す式で表される点広がり関数である複数のブレ特性情報を算出し、
前記複数のブレ特性情報をそれぞれ、前記式の解に基づき解が収束するもの、解が収束しないもの、画素をずらすことで前記式が一致するものに分類し、前記複数のブレ特性情報のうち、解が収束しないものは補正による影響が大きいと判定し、前記式の解に基づき解が収束するものは補正による影響が小さいと判定し、画素をずらすことで前記式が一致するものは補正による影響がないと判定することによって、影響度の大小を判定し、
前記複数のブレ特性情報を前記影響度の大きいものから順にフィルタとして使用して前記ブレ画像を修復する処理を実行することを特徴とする画像修復装置。
The above object of the present invention is achieved by the following configurations.
(1) An image restoration method for restoring a blurred image of a subject image,
Focusing on an arbitrary pixel of the blur image, calculating a plurality of blur characteristic information which is a point spread function represented by an expression indicating the pixel position and blur amount in the one- dimensional direction of the blur image,
The plurality of blur characteristic information is classified into one in which the solution converges based on the solution of the formula, one in which the solution does not converge, and one in which the formula matches by shifting pixels, If the solution does not converge, it is determined that the influence of the correction is large. If the solution converges based on the solution of the above expression, it is determined that the influence of the correction is small. By determining that there is no influence by, the degree of influence is determined,
An image restoration method, wherein the blur image is repaired by using the plurality of blur characteristic information as a filter in descending order of influence.
(2) A program for repairing a blurred image of a subject image,
Focusing on an arbitrary pixel of the blur image, calculating a plurality of blur characteristic information which is a point spread function represented by an expression indicating the pixel position and blur amount in the one- dimensional direction of the blur image,
The plurality of blur characteristic information is classified into one in which the solution converges based on the solution of the formula, one in which the solution does not converge, or one in which the formula matches by shifting pixels, If the solution does not converge, it is determined that the influence of the correction is large. If the solution converges based on the solution of the above expression, it is determined that the influence of the correction is small. By determining that there is no influence by, the degree of influence is determined,
A program for executing a process of repairing the blurred image by using the plurality of blur characteristic information as a filter in descending order of the influence degree.
(3) An image restoration device for restoring a blurred image of a subject image,
Focusing on an arbitrary pixel of the blur image, calculating a plurality of blur characteristic information which is a point spread function represented by an expression indicating the pixel position and blur amount in the one- dimensional direction of the blur image,
The plurality of blur characteristic information is classified into one in which the solution converges based on the solution of the formula, one in which the solution does not converge, and one in which the formula matches by shifting pixels, If the solution does not converge, it is determined that the influence of the correction is large. If the solution converges based on the solution of the above expression, it is determined that the influence of the correction is small. By determining that there is no influence by, the degree of influence is determined,
An image restoration apparatus that performs a process of restoring the blurred image using the plurality of blur characteristic information as a filter in descending order of the influence degree.
本発明にかかる画像修復方法は、ブレによる画像の点広がり関数で表されるブレ特性情報を用いるとともに、フィルタの種類を分類したうえで、影響度を判定する。影響度としては、例えば、ブレ画像を補正する際に誤差の影響の受けやすさやブレ画像を修復したときの効果がある。影響度がブレ画像を補正する際に誤差の影響の受けやすさである場合には、ブレ特性情報の影響度が大きいと、フィルタ処理時の誤差の影響を大きく受けるため、影響度の大きいブレ特性情報を影響度の小さいブレ特性情報より先に、フィルタ処理を実行することが好ましい。本発明では、判定された影響度によって、フィルタ処理を実行する順番を決定する際に参照することができるため、誤差により影響を残すことを抑制しつつ、分類されたブレ特情報それぞれによってフィルタ処理を適宜実行することができる。影響度を参照してフィルタ処理を行うことで、画像処理の処理負担を軽減し、処理時間の短縮を図ることができる。 The image restoration method according to the present invention uses blur characteristic information represented by a point spread function of an image due to blur and classifies the type of filter, and determines the degree of influence. As the degree of influence, for example, there is an effect of being affected by an error when correcting a blurred image and an effect when the blurred image is repaired. If the degree of influence is the effect of error when correcting a blurred image, if the degree of influence of the blur characteristic information is large, the influence of the error at the time of filter processing is greatly affected. It is preferable to perform the filtering process before the characteristic information has a small influence degree. In the present invention, since it can be referred to when determining the order in which the filtering process is executed according to the determined influence degree, the filtering process is performed by each classified blur characteristic information while suppressing the influence due to the error. Can be executed as appropriate. By performing the filter processing with reference to the influence degree, the processing load of the image processing can be reduced and the processing time can be shortened.
本発明によれば、画像処理の処理負担を軽減し、また、処理時間の短縮できる画像修復方法、画像修復プログラム及び画像修復装置を提供できる。 According to the present invention, it is possible to provide an image restoration method, an image restoration program, and an image restoration apparatus capable of reducing the processing load of image processing and shortening the processing time.
以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる撮像システムを説明する図である。撮像システム１０は、被写体像１１を、レンズ１３を介して固体撮像素子やＣＭＯＳ型の半導体素子などの撮像センサ１４に撮像する撮像装置１２を備えている。撮像センサ１４によって取得された画像信号が画像処理部１５に出力される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram for explaining an imaging system according to the present invention. The
画像処理部１５によって所定の画像処理を行った後、画像処理された画像信号が他の処理装置に出力され、または、ディスプレイ等の表示装置に表示され、または、メモリ等の記憶部に記憶される。
After predetermined image processing is performed by the
本実施形態は、撮像時にユーザの手ブレ等に起因して生じるブレを含むブレ画像に所定の画像処理を施すことで修復するものである。 In the present embodiment, restoration is performed by performing predetermined image processing on a blurred image including a blur caused by a user's camera shake or the like during imaging.
図２は、ブレ画像の復元を概略的に説明する図である。被写体像を撮像する表示装置の画素配列に対応させてなる原画として表した場合に、原画を構成する画素のうち複数（図２においては３個）の画素からの光が、撮像した像の一つの画素に受光されることにより当該画素においてブレとなる。図２の場合では、原画の３画素分の光が撮像した像を構成する画素のうちの一つに受光しているため、図中上下方向において、３画素分のブレが生じたものとすることができる。図２において、図中上下方向をブレが発生している方向と規定しており、本発明におけるブレ画像の修復においては、ブレの方向を所定の１次元方向に設定し、その１次元方向におけるブレ量に基づいて後述する処理を施している。 FIG. 2 is a diagram schematically illustrating restoration of a blurred image. When represented as an original image corresponding to the pixel arrangement of a display device that captures a subject image, light from a plurality of (three in FIG. 2) pixels constituting the original image is a part of the captured image. When light is received by one pixel, the pixel is blurred. In the case of FIG. 2, since light for three pixels of the original image is received by one of the pixels constituting the captured image, it is assumed that a blur of three pixels has occurred in the vertical direction in the figure. be able to. In FIG. 2, the vertical direction in the figure is defined as the direction in which the blur occurs. In the blur image restoration in the present invention, the blur direction is set to a predetermined one-dimensional direction, Processing described below is performed based on the blur amount.
本実施形態では、このブレが生じたブレ画像に対して、ブレの１次元方向に基づいて、ブレによる画像の点広がり関数で表れるブレ特性情報を算出し、当該ブレ特性情報をブレのフィルタとして用いてブレ画像をフィルタリングする復元処理を施すことによって、ブレのない復元画像を生成する。 In the present embodiment, blur characteristic information represented by a point spread function of the image due to blur is calculated based on the one-dimensional direction of blur for the blur image in which the blur has occurred, and the blur characteristic information is used as a blur filter. A restoration image without blurring is generated by performing a restoration process that filters the blurring image using it.
撮像した画像とブレの無い理想的な画像との関係を説明する。
撮像した画像をＳとし、ブレの無い理想的な画像をＯとし、ブレの状態を表す点広がり関数（ブレ特性情報、ブレフィルタともいう。）をＨとしたとき、以下式（１）の関係が成立する。
Ｓ＝Ｈ×Ｏ ・・・式（１）
A relationship between a captured image and an ideal image without blur will be described.
When the captured image is S, an ideal image without blur is O, and a point spread function (blur characteristic information, also referred to as blur filter) representing a blur state is H, the relationship of the following formula (1) Is established.
S = H × O (1)
上記式（１）を、画像を構成する画素単位に対応するように行列で表現すると、ＳとＯは画素の列ベクトルで表示することができる。つまり、以下式（２）のようにＯを求めることで、ブレの無い画像を復元することができる。 If the above equation (1) is expressed in a matrix so as to correspond to the pixel units constituting the image, S and O can be displayed as pixel column vectors. In other words, a blur-free image can be restored by obtaining O as shown in Equation (2) below.
Ｏ＝Ｗ×Ｓ ・・・式（２）
ここで、Ｗ＝１／Ｈとし、Ｗを逆ブレ特性（補正行列）とする。
O = W × S (2)
Here, W = 1 / H, and W is an inverse blur characteristic (correction matrix).
点広がり関数Ｈは、被写体像の露光中に外部センサ（例えば、ジャイロスコープや圧電素子など）によってブレ検出により求める方法や、撮像された画像データから画像処理により導出する方法がある。画像処理により点広がり関数Ｈを導出する方法では、画像中の輪郭（エッジ）のブレ方向から導出する方法や画像の一部に所定のマークを規定し、当該マークを基準としてときのブレの状態から導出する方法がある。 The point spread function H can be obtained by blur detection by an external sensor (for example, a gyroscope or a piezoelectric element) during exposure of the subject image, or can be derived by image processing from captured image data. In the method of deriving the point spread function H by image processing, a method of deriving from the blur direction of the contour (edge) in the image or a predetermined mark on a part of the image and the blurring state when the mark is used as a reference There is a method to derive from
ブレ情報は、ブレの位置を画素間隔単位に量子化し、また、その位置における光の強度も量子化することでデジタル信号処理として取り扱うことができる。ブレが一次元方向に等速で生じている場合には、ブレ範囲内において光の強度差が存在しないことに相当するため、一定の強度とすることができる。 The blur information can be handled as digital signal processing by quantizing the blur position in units of pixel intervals and also quantizing the light intensity at that position. When blurring occurs at a constant speed in a one-dimensional direction, this corresponds to the fact that there is no difference in light intensity within the blurring range, so that the intensity can be constant.
図３は、ブレ画像の平面視を示す図である。図３では、ブレ画像における任意の画素Ｚ0に着目し、矢印Ｘ方向をブレの一次元方向としたときの状態を示している。このとき、Ｚ0に３画素分のブレが生じているとき、画素Ｚ0における１画素分のブレをＺ-1とし、２画素分のブレＺ-2とすると、ブレの特性を示す点広がり関数Ｈ（Ｚ）を下記式（３）で表すことができる。 FIG. 3 is a diagram illustrating a plan view of a blurred image. FIG. 3 shows a state where an arbitrary pixel Z 0 in the blurred image is focused and the arrow X direction is set as a one-dimensional direction of blur. At this time, when the blurring of three pixels in the Z 0 has occurred, the vibration of one pixel in the pixel Z 0 and Z -1, When blur Z -2 for two pixels, the point spread shows the characteristic of the blur The function H (Z) can be expressed by the following formula (3).
Ｈ（Ｚ）＝（１+Z-1+Z-2）/3 ・・・式（３） H (Z) = (1 + Z -1 + Z -2 ) / 3 Formula (3)
原画に対して上記広がり関数Ｈを用いてフィルタ処理することでブレを除去し、ブレのない復元画像を生成することができる。広がり関数Ｈは、ブレを除去するためのフィルタとしての機能を有していることから、ブレフィルタとも呼ばれる。 By filtering the original image using the spread function H, it is possible to remove blur and generate a restored image without blur. The spread function H is also called a blur filter because it has a function as a filter for removing blur.
また、点広がり関数Ｈは、画像を構成する画素単位に対応するように行列で表現すると下記式（４）で表すことができる。 Further, the point spread function H can be expressed by the following equation (4) when expressed in a matrix so as to correspond to the pixel units constituting the image.
次に、上式（４）の点広がり関数Ｈの正則行列を求めるため、本実施形態では、Ｈに外挿を行う。本実施形態の外装は、復元画像の外側の部分の全ての画素が、ブレ画像の端の部分の画素と同じとなると仮定し、目標とする正則行列に対して数が超える行数又は列数を正則行列の中に補完するものである。 Next, in order to obtain a regular matrix of the point spread function H of the above equation (4), extrapolation is performed on H in this embodiment. The exterior of this embodiment assumes that all the pixels in the outer part of the restored image are the same as the pixels in the edge part of the blurred image, and the number of rows or columns that exceeds the target regular matrix. In a regular matrix.
本実施形態では、式（４）に示す点広がり関数Ｈの１０行×１２列の行列のうち１１列目と１２列目とを１０列目に外挿している。こうして、下記式（５）に示すように、点広がり関数Ｈの近似行列Ｆを求めることができる。 In the present embodiment, the eleventh column and the twelfth column of the matrix of 10 rows × 12 columns of the point spread function H shown in Expression (4) are extrapolated to the tenth column. Thus, an approximate matrix F of the point spread function H can be obtained as shown in the following equation (5).
次に、下記式（６）に示すように、近似行列Ｆの逆行列Ｗを求める。 Next, an inverse matrix W of the approximate matrix F is obtained as shown in the following formula (6).
上記逆行列Ｗは、ブレ画像に施すことで復元画像を得るための補正行列として機能する。
次に、補正行列Ｗと原画との違いを数値的に確認するため、行列Ｗと行列Ｆとの積を算出する。行列Ｗと行列Ｆとを積算することで、下記式（７）に示す行列を得ることができる。
The inverse matrix W functions as a correction matrix for obtaining a restored image by applying it to the blurred image.
Next, in order to numerically check the difference between the correction matrix W and the original image, the product of the matrix W and the matrix F is calculated. By integrating the matrix W and the matrix F, a matrix represented by the following formula (7) can be obtained.
上記式（７）の行列に着目すると、各行の１１〜１３列の値がブレ補正により発生したノイズを示しており、３行ごとに周期性を有している。ここで、一次元方向のブレがｎ画素分のずれがある場合には、ｎ行ごとに周期性を有する。 When paying attention to the matrix of the above formula (7), the values of the 11th to 13th columns of each row indicate the noise generated by the blur correction, and every three rows have periodicity. Here, when there is a shift of n pixels in the one-dimensional direction, there is periodicity for every n rows.
このような周期的なノイズに基づいて、復元画像上でサンプリング処理することで、（サンプリング数）×（ノイズ成分）＋（原画のサンプリングデータ）を得ることができる。そして、（原画のサンプリングデータ）の代わりに、（ブレ画像のサンプリングデータ）を使用することで、周期的なノイズを各画素から削除でき、より改善された画質を得ることができる。 By sampling on the restored image based on such periodic noise, (sampling number) × (noise component) + (sampling data of the original image) can be obtained. By using (blurred image sampling data) instead of (original image sampling data), periodic noise can be deleted from each pixel, and a further improved image quality can be obtained.
ここで、以下の式に示すように、原画に対して上下の一次元方向にブレが生じたブレ画像の点広がり関数（以下、単に、フィルタともいう。）を仮定する。 Here, as shown in the following equation, a point spread function (hereinafter, also simply referred to as a filter) of a blurred image in which a blur occurs in a vertical one-dimensional direction with respect to the original image is assumed.
そして、上記式（８）において、Ｚから順に、Ｚ-1、Ｚ-2の解を算出したときの式を下記式（９−１）から（９−３）に示す。 And in the said Formula (8), the formula when the solution of Z-1 and Z-2 is calculated in order from Z is shown to the following formula (9-1) to (9-3).
すると、下記式（９−１）から（９−３）に示すように、下方向に向かってＯにかかる係数が大きくなる。この場合、使用したフィルタによれば、式（９−１）から（９−３）の上から下の方向に向かって計算すると、解が収束しない。また、式（８）の係数によっては、上から下の方向に向かって計算すると、解が収束するものがある。さらに、フィルタは、以下の４つに分類することができる。
（i）上から下方向に入力すると収束するもの
（ii）下から上方向に入力すると収束するもの
（iii）収束する方向のないもの
（iv）座標をずらすことで原画と一致するもの
Then, as shown in the following formulas (9-1) to (9-3), the coefficient applied to O increases in the downward direction. In this case, according to the filter used, if the calculation is performed from the top to the bottom of Equation (9-1) to (9-3), the solution does not converge. Also, depending on the coefficient of equation (8), there is a case where the solution converges when calculating from the top to the bottom. Furthermore, the filter can be classified into the following four.
(I) What converges when input from top to bottom (ii) Converges when input from bottom to top (iii) No convergence direction (iv) Matches the original image by shifting coordinates
本発明においては、これらフィルタの種類を判別し、収束する方向があるものはその方向に従ってフィルタ処理し、収束する方向のないものは、上述するように、一次元方向に等速のブレが生じた場合の画像修復を行うものとする。 In the present invention, the type of the filter is discriminated. If there is a direction that converges, the filter processing is performed according to the direction. In such a case, image restoration should be performed.
次に本発明にかかる画像復元方法の手順を説明する。
図４は、画像復元処理の手順示すフローチャートである。最初に、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する。
そして、算出されたブレ特性情報のインパルス応答の収束を判定し、この結果に基づいて、フィルタの種類の判別を実行する。
Next, the procedure of the image restoration method according to the present invention will be described.
FIG. 4 is a flowchart showing the procedure of the image restoration process. First, a one-dimensional direction of blur in a blur image is set, and blur characteristic information represented by a point spread function of the image due to blur is calculated based on the set one-dimensional direction.
Then, the convergence of the impulse response of the calculated blur characteristic information is determined, and the filter type is determined based on the result.
次に、本実施形態のインパルス応答について説明する。上記式（６）に見られる行列Ｗにおいて、各行は所定のパターンを有しており、例えば、第１行目の値を決定することで、他の行の値を決定することができる。第１行目の規則は、逆特性のインパルス応答列となっている。 Next, the impulse response of this embodiment will be described. In the matrix W found in the above equation (6), each row has a predetermined pattern. For example, by determining the value of the first row, the values of other rows can be determined. The rule in the first row is an impulse response sequence with reverse characteristics.
逆特性である１／Ｈ（Ｚ）のインパルス応答列を導出する方法は、所定の入力値を逆フィルタに入力することにより得ることができる。図５は、逆フィルタのシグナルフローを示す図である。なお、逆フィルタＷ（＝１／Ｈ（Ｚ））は、以下式で示すものとする。 A method of deriving an impulse response sequence of 1 / H (Z) that is an inverse characteristic can be obtained by inputting a predetermined input value to an inverse filter. FIG. 5 is a diagram illustrating a signal flow of the inverse filter. The inverse filter W (= 1 / H (Z)) is represented by the following equation.
インパルス応答列は、Ｚ-1の初期値を全て０とし、入力値（1,0,0,0,0…）を入力することによりインパルス応答列が出力される。 In the impulse response sequence, all initial values of Z −1 are set to 0, and an impulse response sequence is output by inputting an input value (1,0, 0, 0, 0...).
本実施形態では、出力されたインパルス応答列の収束を調べることで、フィルタの上記種類を分類する。 In the present embodiment, the above types of filters are classified by examining the convergence of the output impulse response sequence.
フィルタの種類の分類の手法としては、上記のように、ブレ特性情報のインパルス応答に基づいて判別する方法のほかに、後述するように、ブレ特性情報の関数を因数分解によって算出することも可能である。 As described above, in addition to the method of discriminating the filter type based on the impulse response of the blur characteristic information as described above, the function of the blur characteristic information can be calculated by factorization as described later. It is.
具体的には、ブレ特性情報を示す関数の逆数（本実施形態では、逆ブレフィルタともいう。）を因数分解し、その結果に基づいてフィルタ処理を判定する手法を用いることができる。 Specifically, it is possible to use a technique of factoring the reciprocal of the function indicating the blur characteristic information (also referred to as an inverse blur filter in the present embodiment) and determining the filter processing based on the result.
図６から図９は、逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。
最初に、ブレ画像におけるブレの１次元方向を設定し、この設定された１次元方向に基づいて、ブレ特性情報を算出する。そして、このブレ特性情報の逆ブレフィルタ（逆ブレ特性関数）を求める。ここで、逆ブレフィルタは、下記式で示すものとする。
6 to 9 are flowcharts showing a procedure for determining the classification of the filter type based on the anti-blurring filter.
First, a one-dimensional direction of blur in a blur image is set, and blur characteristic information is calculated based on the set one-dimensional direction. Then, an inverse blur filter (inverse blur characteristic function) of the blur characteristic information is obtained. Here, the inverse blur filter is represented by the following equation.
本実施形態では、逆ブレフィルタが、画素の位置情報を示す所定値の多項式で表され、所定値にかかるそれぞれの係数が０か否かを判別した後、係数の値の大小関係を検出し、ブレ特性情報（ブレフィルタ）の種類を分類するものである。以下、具体的に、説明する。 In this embodiment, the inverse blur filter is represented by a polynomial having a predetermined value indicating pixel position information, and after determining whether or not each coefficient relating to the predetermined value is 0, the magnitude relationship between the coefficient values is detected. The type of blur characteristic information (blur filter) is classified. A specific description will be given below.
まず、図６に示すように、逆ブレフィルタの係数bj0，bj1，bj2のうち、いずれか２つが０か否かを判定する。ここで、係数bj0，bj1，bj2のうち、いずれか２つが０の場合には、さらに、係数bj0が０となるか否かを判定する。係数bj0が０の場合には、係数bj1が０となるか否かを判定する。係数bj1が０の場合には、係数bj2が０となるか否かを判定する。 First, as shown in FIG. 6, it is determined whether any two of the inverse blur filter coefficients bj0, bj1, and bj2 are zero. Here, when any two of the coefficients bj0, bj1, and bj2 are 0, it is further determined whether or not the coefficient bj0 is 0. When the coefficient bj0 is 0, it is determined whether or not the coefficient bj1 is 0. When the coefficient bj1 is 0, it is determined whether or not the coefficient bj2 is 0.
係数bj0が０とはならない場合には、逆ブレフィルタを係数bj0で割ることで因数分解する。係数bj1が０とはならない場合には、ブレ画像の座標を１つ進ませ、係数bj1で割ることで因数分解する。係数bj2が０とはならない場合には、ブレ画像の座標を２つ進ませ、係数bj2で割ることで因数分解する。逆ブレフィルタを因数分解した後、判定を行うフローを終了する。 If the coefficient bj0 is not 0, factorization is performed by dividing the inverse blur filter by the coefficient bj0. When the coefficient bj1 does not become 0, the blur image is incremented by one and is factorized by dividing by the coefficient bj1. If the coefficient bj2 does not become 0, the blur image coordinates are incremented by 2 and factored by dividing by the coefficient bj2. After factoring the inverse blur filter, the flow for determining is terminated.
逆ブレフィルタの係数bj0，bj1，bj2のうち、いずれか２つが０とならない場合には、図７に示すように、係数bj2が０となるか否かの判定を行う。係数bj2が０となる場合には、続いて、係数bj0と係数bj1とのそれぞれの絶対値が等しいか否かを判定する。係数bj0と係数bj1とのそれぞれの絶対値が等しくない場合には、係数bj0の絶対値が係数bj1の絶対値より大きいか否かを判定する。係数bj0の絶対値が係数bj1の絶対値より大きくない場合には、係数bj0の絶対値が係数bj1の絶対値より小さいと判定する。 If any two of the coefficients bj0, bj1, and bj2 of the inverse blur filter are not 0, it is determined whether or not the coefficient bj2 is 0 as shown in FIG. When the coefficient bj2 becomes 0, it is subsequently determined whether or not the absolute values of the coefficient bj0 and the coefficient bj1 are equal. When the absolute values of the coefficient bj0 and the coefficient bj1 are not equal, it is determined whether or not the absolute value of the coefficient bj0 is larger than the absolute value of the coefficient bj1. When the absolute value of the coefficient bj0 is not larger than the absolute value of the coefficient bj1, it is determined that the absolute value of the coefficient bj0 is smaller than the absolute value of the coefficient bj1.
ここで、係数bj0と係数bj1とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj0の絶対値が係数bj1の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj0の絶対値が係数bj1の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj0と係数bj1とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。 Here, if the absolute values of the coefficient bj0 and the coefficient bj1 are equal, it is determined that the filter has no direction of convergence of the filter. When the absolute value of the coefficient bj0 is larger than the absolute value of the coefficient bj1, it is determined that the filter converges in the current direction. When the absolute value of the coefficient bj0 is smaller than the absolute value of the coefficient bj1, it is determined that the filter converges in the opposite direction to the current direction. As described above, after the filter types are classified according to the magnitudes of the absolute values of the coefficient bj0 and the coefficient bj1, the flow for determining is terminated.
係数bj2が０ではないと判定された場合には、続いて、係数bj1が０か否かを判定する。そして、係数bj1が０の場合に、係数bj0と係数bj2とのそれぞれの絶対値が等しいか否かを判定する。係数bj0と係数bj2とのそれぞれの絶対値が等しくない場合には、係数bj0の絶対値が係数bj2の絶対値より大きいか否かを判定する。係数bj0の絶対値が係数bj2の絶対値より大きくない場合には、係数bj0の絶対値が係数bj2の絶対値より小さいと判定する。 If it is determined that the coefficient bj2 is not 0, it is subsequently determined whether or not the coefficient bj1 is 0. When the coefficient bj1 is 0, it is determined whether or not the absolute values of the coefficient bj0 and the coefficient bj2 are equal. When the absolute values of the coefficient bj0 and the coefficient bj2 are not equal, it is determined whether or not the absolute value of the coefficient bj0 is larger than the absolute value of the coefficient bj2. When the absolute value of the coefficient bj0 is not larger than the absolute value of the coefficient bj2, it is determined that the absolute value of the coefficient bj0 is smaller than the absolute value of the coefficient bj2.
ここで、係数bj0と係数bj2とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj0の絶対値が係数bj2の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj0の絶対値が係数bj2の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj0と係数bj2とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。 Here, if the absolute values of the coefficient bj0 and the coefficient bj2 are equal, it is determined that the filter has no direction in which the filter converges. When the absolute value of the coefficient bj0 is larger than the absolute value of the coefficient bj2, it is determined that the filter converges in the current direction. When the absolute value of the coefficient bj0 is smaller than the absolute value of the coefficient bj2, it is determined that the filter converges in the opposite direction to the current direction. As described above, after classifying the filter types according to the magnitudes of the absolute values of the coefficient bj0 and the coefficient bj2, the flow for determining is ended.
一方で、係数bj1が０とならない場合に、係数bj1と係数bj2とのそれぞれの絶対値が等しいか否かを判定する。係数bj1と係数bj2とのそれぞれの絶対値が等しくない場合には、係数bj1の絶対値が係数bj2の絶対値より大きいか否かを判定する。係数bj1の絶対値が係数bj2の絶対値より大きくない場合には、係数bj1の絶対値が係数bj2の絶対値より小さいと判定する。ここで、係数bj1と係数bj2とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj1の絶対値が係数bj2の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj1の絶対値が係数bj2の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj1と係数bj2とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。 On the other hand, when the coefficient bj1 is not 0, it is determined whether or not the absolute values of the coefficient bj1 and the coefficient bj2 are equal. When the absolute values of the coefficient bj1 and the coefficient bj2 are not equal, it is determined whether or not the absolute value of the coefficient bj1 is larger than the absolute value of the coefficient bj2. If the absolute value of the coefficient bj1 is not larger than the absolute value of the coefficient bj2, it is determined that the absolute value of the coefficient bj1 is smaller than the absolute value of the coefficient bj2. Here, when the absolute values of the coefficient bj1 and the coefficient bj2 are equal, it is determined that the filter has no direction in which the filter converges. When the absolute value of the coefficient bj1 is larger than the absolute value of the coefficient bj2, it is determined that the filter converges in the current direction. When the absolute value of the coefficient bj1 is smaller than the absolute value of the coefficient bj2, it is determined that the filter converges in the opposite direction to the current direction. As described above, after the filter types are classified according to the magnitudes of the absolute values of the coefficient bj1 and the coefficient bj2, the flow for determining is finished.
なお、上記のフローとは別に、逆ブレフィルタが下記式となる場合がある。 In addition to the above flow, the inverse blur filter may have the following formula.
逆ブレフィルタが上記式となる場合には、ブレ画像の座標をｋ個進ませて、係数bj0を掛ける。その後、フィルタの分類を判定する処理を終了する。 When the inverse blur filter has the above formula, k coordinates of the blur image are advanced and multiplied by the coefficient bj0. Thereafter, the process of determining the filter classification is terminated.
上記実施形態では、フィルタを分類し、収束する方向を特定し、その収束する方向に従ってブレ画像をフィルタ処理をすることで画像復元処理にかかる処理量を低減させることができる。また、フィルタを分類した結果、収束する方向がないブレ画像については、一次元方向に等速のブレが生じた場合の画像修復を行う。 In the above embodiment, it is possible to reduce the amount of processing required for the image restoration process by classifying the filters, specifying the direction in which the filters are converged, and filtering the blurred image according to the direction of convergence. In addition, as a result of classifying the filters, for a blurred image that does not have a direction to converge, image restoration is performed when a uniform velocity blur occurs in a one-dimensional direction.
次に、分類されたそれぞれのフィルタ（ブレ特性情報）ごとに、ブレ特性情報の点広がり関数の逆関数に基づいて、フィルタ処理における誤差の影響の受けやすさを表す影響度を判定する。
ここで、ブレ画像の補正においては、ブレ画像における求めたい画素に対して、近い画素から算出する場合には、補正された画像の画質に誤差の影響を与えない。一方で、ブレ画像における求めたい画素に対して遠い画素を使用する場合には、画質に与える誤差の影響が大きくなる。
Next, for each of the classified filters (blur characteristic information), the degree of influence representing the sensitivity to the error in the filter processing is determined based on the inverse function of the point spread function of the blur characteristic information.
Here, in the correction of the blurred image, when calculating from pixels close to the pixel to be obtained in the blurred image, the image quality of the corrected image is not affected by an error. On the other hand, when using a pixel far from the pixel to be obtained in the blurred image, the influence of the error on the image quality becomes large.
ブレ特性情報を表す点広がり関数の逆関数は、ブレ画像における求めたい画素に対して遠い画素を使用する場合には、下記式に示すように多項式を構成する項数が使用する画素の数に応じて多くなる性質がある。 The inverse function of the point spread function representing blur characteristic information is the number of pixels used by the number of terms constituting the polynomial as shown in the following equation when using a pixel far from the pixel to be obtained in the blur image. There is a property that increases in response.
式（１３−１）で示す逆関数Ｗaは、式（１３−２）で示す逆関数Ｗbよりも項数が少ないため、補正で使用する画素が少なく、フィルタ処理を実行する際に誤差による影響が小さいといえる。このとき、逆関数Ｗbの影響度が、逆関数Ｗaの影響度よりも大きいと判定する。同様に、式（１３−２）で示す逆関数Ｗbは、式（１３−３）で示す逆関数Ｗcよりも項数が少ないことから、フィルタ処理を実行する際に誤差による影響が小さい。このとき、逆関数Ｗcの影響度が、逆関数Ｗbの影響度よりも大きいと判定する。 Since the inverse function Wa shown in the equation (13-1) has fewer terms than the inverse function Wb shown in the equation (13-2), the number of pixels used in the correction is small, and the influence of the error when executing the filtering process. Is small. At this time, it is determined that the influence degree of the inverse function Wb is larger than the influence degree of the inverse function Wa. Similarly, the inverse function Wb represented by the equation (13-2) has a smaller number of terms than the inverse function Wc represented by the equation (13-3), so that the influence of the error is small when executing the filter processing. At this time, it is determined that the influence degree of the inverse function Wc is larger than the influence degree of the inverse function Wb.
本実施形態においては、上記のように分類された、（i）上から下方向に入力すると収束するフィルタ、（ii）下から上方向に入力すると収束するフィルタ、（iii）収束する方向のないフィルタ、および、（iv）座標をずらすことで原画と一致するフィルタ、のそれぞれについて影響度を判定した。 In the present embodiment, (i) a filter that converges when input from the top to the bottom, (ii) a filter that converges when input from the bottom to the top, and (iii) no convergence direction, classified as described above. The degree of influence was determined for each of the filter and (iv) the filter that matched the original image by shifting the coordinates.
（iv）のフィルタは、座標をずらすことでブレを補正するものであるため、画質に与える誤差の影響がない。（iii）のフィルタは、求めたい画素に対して遠い画素が必要であるため、影響度が大きくなる。（i）と（ii）のフィルタはそれぞれどちらがより遠くの画素を要求するかを調べることで、遠い画素を要求する方のフィルタの影響度が大きいと判定する。 Since the filter (iv) corrects blur by shifting the coordinates, there is no influence of errors on image quality. Since the filter (iii) requires a pixel far from the pixel to be obtained, the degree of influence increases. Each of the filters (i) and (ii) examines which one requires a farther pixel, and determines that the influence of the filter that requires a far pixel is large.
本実施形態では、影響度の大きいフィルタから順にフィルタ処理を行う。こうすることで、ブレ補正の際に生じる誤差の影響を残すことを抑制することができる。 In the present embodiment, filter processing is performed in order from the filter having the greatest influence. By doing so, it is possible to suppress the influence of errors that occur during blur correction.
なお、それぞれのフィルタの影響度は、図１０に示すように、そのフィルタタイプと、影響度と、フィルタ処理の順番とが対応付けされた状態でメモリなどの記憶部に格納される。
また、影響度は、ブレ画像を修復したときの効果とすることができる。図１１において、矢印Wは、点広がり関数の広がりを意味している。本発明において、広がりとは、係数の値が全て含まれる全体の所定の範囲の８０％以上の範囲と定義する。
または、広がりWは、点広がり関数の標準偏差又は分散と定義することができる。広がりWが大きいほど、ブレフィルタの効果が高く、広がりWが小さいほど、ブレフィルタの効果が低い。このため、本実施形態では、広がりを判定した後、広がりの大きいブレ特性情報から順にフィルタ処理を実行する。また、広がりが所定の値より小さい場合には、ブレフィルタとして高い効果の処理を行えないものとして、そのブレ特性情報に基づいてフィルタ処理を実行しないようにしてもよい。
As shown in FIG. 10, the degree of influence of each filter is stored in a storage unit such as a memory in a state in which the filter type, the degree of influence, and the order of filter processing are associated with each other.
The influence degree can be an effect when a blurred image is restored. In FIG. 11, an arrow W means the spread of the point spread function. In the present invention, the spread is defined as a range of 80% or more of the entire predetermined range including all coefficient values.
Alternatively, the spread W can be defined as the standard deviation or variance of the point spread function. The effect of the blur filter is higher as the spread W is larger, and the effect of the blur filter is lower as the spread W is smaller. For this reason, in this embodiment, after determining the spread, the filter processing is executed in order from the blur characteristic information having a large spread. Further, when the spread is smaller than a predetermined value, the filter process may not be executed based on the blur characteristic information on the assumption that a highly effective process cannot be performed as the blur filter.
本実施形態によれば、ブレによる画像の点広がり関数の逆関数で表される逆ブレ特性を用いるとともに、フィルタの種類を分類したうえで、分類された逆ブレ特性のフィルタ処理時の誤差の影響度を判定する。逆ブレ特性の影響度が大きいと、フィルタ処理時の誤差の影響を大きく受けるため、影響度の小さい逆ブレ特性より先に、フィルタ処理を実行することが好ましい。本発明では、判定された影響度によって、フィルタ処理を実行する順番を決定する際に参照することができるため、誤差により影響を残すことを抑制しつつ、分類された逆ブレ特性それぞれによってフィルタ処理を適宜実行することができる。さらに、影響度を参照してフィルタ処理を行うことで、画像処理の処理負担を軽減し、処理時間の短縮を図ることができる。 According to the present embodiment, the inverse blur characteristic represented by the inverse function of the point spread function of the image due to blur is used, and after classifying the filter type, the error of the classified inverse blur characteristic during filtering is reduced. Determine the impact. When the influence degree of the reverse blur characteristic is large, the influence of the error at the time of the filter process is greatly influenced. Therefore, it is preferable to execute the filter process before the reverse blur characteristic having a small influence degree. In the present invention, since it can be referred to when determining the order of executing the filtering process according to the determined influence degree, the filtering process is performed by each of the classified inverse blur characteristics while suppressing the influence due to the error. Can be executed as appropriate. Furthermore, by performing filter processing with reference to the degree of influence, it is possible to reduce the processing load of image processing and shorten the processing time.
本発明は、被写体像のブレ画像を修復する画像修復プログラムであって、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、ブレ特性情報の種類を分類するステップと、分類されたそれぞれのブレ特性情報ごとに、影響度を判定するステップとを有するものである。 The present invention is an image restoration program for repairing a blurred image of a subject image, wherein a one-dimensional direction of blur in the blurred image is set, and expressed by a point spread function of the image due to blur based on the set one-dimensional direction. Calculating the blur characteristic information to be performed, classifying the type of the blur characteristic information, and determining the influence degree for each classified blur characteristic information.
上記画像修復プログラムにおいて、影響度が、ブレ画像を補正する際に誤差の影響の受けやすさ、または、ブレ画像を修復したときの効果であることが好ましい。 In the image restoration program, it is preferable that the degree of influence is an effect of an error when correcting a blurred image or an effect when a blurred image is restored.
また、画像修復プログラムは、影響度がブレ画像を補正する際に誤差の影響の受けやすさである場合には、影響度の大きいブレ特性情報から順にフィルタ処理を実行するステップを有することが好ましい。こうすれば、フィルタ処理時にブレ画像に与える誤差の影響を抑制することができる。 Further, it is preferable that the image restoration program includes a step of performing filter processing in order from blur characteristic information having a large influence degree when the influence degree is susceptible to an error when correcting the blurred image. . In this way, it is possible to suppress the influence of errors on the blurred image during the filter processing.
本発明にかかる画像修復プログラムは、演算処理装置によって実行することで可能であり、例えば、デジタルカメラに内蔵された演算部やパーソナルコンピュータの中央処理装置によって実行することができる。 The image restoration program according to the present invention can be executed by an arithmetic processing device, and can be executed by, for example, an arithmetic unit incorporated in a digital camera or a central processing device of a personal computer.
本発明は、被写体像のブレ画像を修復する画像修復装置であって、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、ブレ特性情報の種類を分類し、分類されたそれぞれのブレ特性情報ごとに、影響度を判定する手段を備えた構成とする。 The present invention is an image restoration device for repairing a blurred image of a subject image, which sets a one-dimensional direction of blur in the blurred image, and expresses it by a point spread function of the image due to blur based on the set one-dimensional direction. The blur characteristic information is calculated, and the type of the blur characteristic information is classified, and the influence degree is determined for each classified blur characteristic information.
上記画像修復装置において、影響度が、ブレ画像を補正する際に誤差の影響の受けやすさ、または、ブレ画像を修復したときの効果であることが好ましい。 In the above image restoration device, it is preferable that the degree of influence is an effect of an error when correcting a blurred image, or an effect when a blurred image is restored.
また、本発明にかかる画像修復装置は、影響度がブレ画像を補正する際に誤差の影響の受けやすさである場合には、影響度の大きいブレ特性情報から順にフィルタ処理を実行することが好ましい。 Further, the image restoration apparatus according to the present invention may execute the filtering process in order from the blur characteristic information having the larger influence degree when the influence degree is susceptible to the error when correcting the blurred image. preferable.
画像修復装置は、例えば、図１に示す構成において、画像処理部１５において各手段を実行することができる。
For example, in the configuration shown in FIG. 1, the image restoration apparatus can execute each unit in the
１０ 撮像システム
１１ 被写体像
１３ レンズ
１４ 撮像センサ
１５ 画像処理部
DESCRIPTION OF
Claims (3)
前記ブレ画像の任意の画素に着目して該ブレ画像の１次元方向における画素の位置とブレ量を示す式で表される点広がり関数である複数のブレ特性情報を算出し、
前記複数のブレ特性情報をそれぞれ、前記式の解に基づき解が収束するもの、解が収束しないもの、画素をずらすことで前記式が一致するものに分類し、前記複数のブレ特性情報のうち、解が収束しないものは補正による影響が大きいと判定し、前記式の解に基づき解が収束するものは補正による影響が小さいと判定し、画素をずらすことで前記式が一致するものは補正による影響がないと判定することによって、影響度の大小を判定し、
前記複数のブレ特性情報を前記影響度の大きいものから順にフィルタとして使用して前記ブレ画像を修復する処理を実行することを特徴とする画像修復方法。 An image restoration method for restoring a blurred image of a subject image,
Focusing on an arbitrary pixel of the blur image, calculating a plurality of blur characteristic information which is a point spread function represented by an expression indicating the pixel position and blur amount in the one- dimensional direction of the blur image,
The plurality of blur characteristic information is classified into one in which the solution converges based on the solution of the formula, one in which the solution does not converge, and one in which the formula matches by shifting pixels, If the solution does not converge, it is determined that the influence of the correction is large. If the solution converges based on the solution of the above expression, it is determined that the influence of the correction is small. By determining that there is no influence by, the degree of influence is determined,
An image restoration method, wherein the blur image is repaired by using the plurality of blur characteristic information as a filter in descending order of influence.
前記ブレ画像の任意の画素に着目して該ブレ画像の１次元方向における画素の位置とブレ量を示す式で表される点広がり関数である複数のブレ特性情報を算出し、
前記複数のブレ特性情報をそれぞれ、前記式の解に基づき解が収束するもの、解が収束しないもの、画素をずらすことで前記式が一致するものに分類し、前記複数のブレ特性情報のうち、解が収束しないものは補正による影響が大きいと判定し、前記式の解に基づき解が収束するものは補正による影響が小さいと判定し、画素をずらすことで前記式が一致するものは補正による影響がないと判定することによって、影響度の大小を判定し、
前記複数のブレ特性情報を前記影響度の大きいものから順にフィルタとして使用して前記ブレ画像を修復する処理を実行することを特徴とするプログラム。 A program for repairing a blurred image of a subject image,
Focusing on an arbitrary pixel of the blur image, calculating a plurality of blur characteristic information which is a point spread function represented by an expression indicating the pixel position and blur amount in the one- dimensional direction of the blur image,
The plurality of blur characteristic information is classified into one in which the solution converges based on the solution of the formula, one in which the solution does not converge, and one in which the formula matches by shifting pixels, If the solution does not converge, it is determined that the influence of the correction is large. If the solution converges based on the solution of the above expression, it is determined that the influence of the correction is small. By determining that there is no influence by, the degree of influence is determined,
A program for executing a process of repairing the blurred image by using the plurality of blur characteristic information as a filter in descending order of the influence degree.
前記ブレ画像の任意の画素に着目して該ブレ画像の１次元方向における画素の位置とブレ量を示す式で表される点広がり関数である複数のブレ特性情報を算出し、
前記複数のブレ特性情報をそれぞれ、前記式の解に基づき解が収束するもの、解が収束しないもの、画素をずらすことで前記式が一致するものに分類し、前記複数のブレ特性情報のうち、解が収束しないものは補正による影響が大きいと判定し、前記式の解に基づき解が収束するものは補正による影響が小さいと判定し、画素をずらすことで前記式が一致するものは補正による影響がないと判定することによって、影響度の大小を判定し、
前記複数のブレ特性情報を前記影響度の大きいものから順にフィルタとして使用して前記ブレ画像を修復する処理を実行することを特徴とする画像修復装置。 An image restoration device for restoring a blurred image of a subject image,
Focusing on an arbitrary pixel of the blur image, calculating a plurality of blur characteristic information which is a point spread function represented by an expression indicating the pixel position and blur amount in the one- dimensional direction of the blur image,
The plurality of blur characteristic information is classified into one in which the solution converges based on the solution of the formula, one in which the solution does not converge, and one in which the formula matches by shifting pixels, If the solution does not converge, it is determined that the influence of the correction is large. If the solution converges based on the solution of the above expression, it is determined that the influence of the correction is small. By determining that there is no influence by, the degree of influence is determined,
An image restoration apparatus that performs a process of restoring the blurred image using the plurality of blur characteristic information as a filter in descending order of the influence degree.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006237863A JP4848231B2 (en) | 2006-09-01 | 2006-09-01 | Image restoration method, image restoration program, and image restoration apparatus |
| US11/892,783 US7961976B2 (en) | 2006-09-01 | 2007-08-27 | Image data restoration apparatus, imaging apparatus, image data restoration method and computer readable medium storing image data restoration program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006237863A JP4848231B2 (en) | 2006-09-01 | 2006-09-01 | Image restoration method, image restoration program, and image restoration apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008058802A JP2008058802A (en) | 2008-03-13 |
| JP4848231B2 true JP4848231B2 (en) | 2011-12-28 |
Family
ID=39241570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006237863A Expired - Fee Related JP4848231B2 (en) | 2006-09-01 | 2006-09-01 | Image restoration method, image restoration program, and image restoration apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4848231B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06118468A (en) * | 1992-10-05 | 1994-04-28 | Olympus Optical Co Ltd | Image recovering device |
| JP4244632B2 (en) * | 2002-12-25 | 2009-03-25 | 株式会社ニコン | Vibration reduction camera |
| JP4152398B2 (en) * | 2005-05-26 | 2008-09-17 | 三洋電機株式会社 | Image stabilizer |
-
2006
- 2006-09-01 JP JP2006237863A patent/JP4848231B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008058802A (en) | 2008-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2574039B1 (en) | Image pickup device, image processing device, image processing method, and image processing program | |
| JP5909540B2 (en) | Image processing display device | |
| CN102369556B (en) | Imaging device | |
| US8422827B2 (en) | Image correction apparatus and image correction method | |
| US8482627B2 (en) | Information processing apparatus and method | |
| US20120002085A1 (en) | Image processing apparatus and image processing method | |
| US20170024866A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for correcting deterioration of image | |
| JP5541750B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4848231B2 (en) | Image restoration method, image restoration program, and image restoration apparatus | |
| US7961976B2 (en) | Image data restoration apparatus, imaging apparatus, image data restoration method and computer readable medium storing image data restoration program | |
| JP2008058804A (en) | Image restoration method, image restoration program, and image restoration apparatus | |
| US20160180506A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2008061104A (en) | Image restoration method, image restoration program, and image restoration apparatus | |
| JP2008059461A (en) | Image restoration method, image restoration program, and image restoration apparatus | |
| JP2008059462A (en) | Image restoration method, image restoration program, and image restoration apparatus | |
| WO2015146240A1 (en) | Image processing device | |
| JP5743772B2 (en) | Image processing system | |
| JP6048911B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP2016118856A (en) | Image processing apparatus, imaging device, image processing method, image processing program, and recording medium | |
| JP4629537B2 (en) | Image processing device | |
| JP2017123532A (en) | Image processing device, imaging device, image processing method, image processing program and recording medium | |
| WO2007032148A1 (en) | Image processor | |
| KR102172634B1 (en) | Camera module, electronic device, and method for operating the same | |
| JP5007245B2 (en) | Signal processing device | |
| JP2008017109A (en) | Portable imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110920 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111017 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |