JP4523200B2

JP4523200B2 - Image processing device

Info

Publication number: JP4523200B2
Application number: JP2001182228A
Authority: JP
Inventors: 伸一高田; 俊哉藤井
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-06-15
Filing date: 2001-06-15
Publication date: 2010-08-11
Anticipated expiration: 2021-06-15
Also published as: JP2002374407A

Description

【０００１】
【発明の属する技術分野】
本発明は、補間フィルタを用いた画像処理装置に関する。
【０００２】
【従来の技術】
デジタルカメラなどデジタル画像を扱う分野において、補間フィルタ等を用いて画像を補間処理し、拡大、縮小する電子ズーム装置が知られている。
【０００３】
その補間演算は、補間関数としてサンプリングの定理で現れるｓｉｎ（πｘ）／（πｘ）を用いて、無制限個の画素に基づき補間することが望ましいが、そのためにメモリが無制限に必要となり不可能である。そこで、実際には簡単化した補間方法として、線形補間方式や３次畳み込み内挿方式などが用いられている。
【０００４】
まず、線形補間方式は、補間画素を、それに隣接した２画素を用いた補間により生成していく方式である。線形補間方式の補間関数Ｓ（ｘ）は、
（数１）
Ｓ（ｘ）＝１−｜ｘ｜（０≦｜ｘ｜＜１）
Ｓ（ｘ）＝０（｜ｘ｜≧１）
で表され、補間画素をｙ、その前後の画素をｘ_i、ｘ_i+1とし、生成されるアドレス位置をｕとすると、
（数２）
ｙ＝Ｓ（ｕ）ｘ_i＋Ｓ（１−ｕ）ｘ_i+1
となる。
【０００５】
図２は、線形補間方式で４／５倍に画像を縮小した時の例を示す模式図である。図２において、白丸が原画素（ＯＰ）、黒丸が補間画素（ＩＰ）、その下の数値は生成されるアドレス位置ｕを示している。画像を縮小する前の画素間を１とすると、縮小後の画素間は５／４になる。よって生成されるアドレス位置はｕ＝０、１／４、１／２、３／４と発生していく。この生成されるアドレス位置ｕから矢印のように隣接２画素を補間演算し補間画素を求めていく。また、上記（数１）からも分かるように、生成される画素と原画素が一致した場合は、図２の太い矢印のように、原画素をそのまま生成画素としている。
【０００６】
次に、３次畳み込み内挿方式は、補間画素を、その近傍にある４画素を用いた補間により生成していく方式である。３次畳み込み内挿方式の補間関数Ｔ（ｘ）は、
（数３）
Ｔ（ｘ）＝１−２｜ｘ｜²＋｜ｘ｜³ （０≦｜ｘ｜＜１）
Ｔ（ｘ）＝４−８｜ｘ｜＋５｜ｘ｜²−｜ｘ｜³ （１≦｜ｘ｜＜２）
Ｔ（ｘ）＝０（｜ｘ｜≧２）
で表され、補間画素をｙ、その前後の画素をｘ_i-1、ｘ_i、ｘ_i+1、ｘ_i+2とし、生成されるアドレス位置をｕとすると、
（数４）

となる。
【０００７】
図３は、３次畳み込み内挿方式で４／５倍に画像を縮小した時の例を示す模式図である。図３において、白丸が原画素（ＯＰ）、黒丸が補間画素（ＩＰ）、その下の数値は生成されるアドレス位置ｕを示している。図２と同じように、画像を縮小する前の画素間を１とすると、縮小後の画素間は５／４になる。よって生成されるアドレス位置はｕ＝０、１／４、１／２、３／４と発生していく。この生成されるアドレス位置ｕから矢印のように隣接する４画素を補間演算し補間画素を求めていく。また、この補間方式も、上記（数３）から分かるように、生成される画素と原画素が一致した場合は、図３の太い矢印のように、原画素をそのまま生成画素としている。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の補間方式には、次のような問題がある。
【０００９】
図４に、線形補間方式における周波数特性、図５に、３次畳み込み内挿方式における周波数特性を示す。図４および図５において、縦軸は正規化レベルを、横軸は周波数を表し、ｆｓはサンプリング周波数を示す。これらの図から分かるように、生成されるアドレス位置ｕによって、周波数特性の、特に高域の部分（ｆｓ／２部分）がばらついており、周波数特性のうねりが原理的に発生する。
【００１０】
本発明は、かかる問題点に鑑みてなされたものであり、その目的は、補間処理を行って画像を拡大／縮小した時に、生成するアドレス位置による周波数特性のばらつきを抑え、良質な画像が得られる画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
前記の目的を達成するため、本発明に係る第１の画像処理装置は、入力される画像データに対して補間処理を施し、画像サイズを変換する画像処理装置であって、原画像の画素と画素の間をｎ（ｎは自然数）分割したｎ個のアドレス位置のそれぞれに対応して、隣接するｍ（ｍは自然数）画素に乗じて補間処理を行なうためのｍ個の補間係数が予め格納された参照テーブルと、設定された倍率に応じて、生成するアドレス位置を設定する生成アドレス設定部と、生成アドレス設定部により設定されたアドレス位置に基づいて、参照テーブルに格納されている補間係数を選択する係数発生部とを備え、Ｋ１、Ｋ２、…、Ｋｍを補間係数、Ｘ１、Ｘ２、…、Ｘｍを前記補間処理に用いる画素データ、ＳＫをｉが１からｍまでの前記補間係数の和とした場合、前記補間処理され生成された画素データＹは、Ｙ＝（Ｋ１・Ｘ１＋Ｋ２・Ｘ２＋…＋Ｋｍ・Ｘｍ）／ＳＫで表され、前記補間係数の和ＳＫが２のｑ乗（ｑは整数）であり、前記補間処理に用いる画素データＸｒ（ｒは自然数で、１≦ｒ≦ｍ）と生成される画素データの前記アドレス位置が一致した場合、前記画素データＸｒに乗じられる補間係数Ｋｒについて、Ｋｒ＝ＳＫとならないように設定し、且つ他の補間係数が０以外の値であり、前記補間係数列の重心位置をｇとした場合、ｇ＝（Ｋ１×１＋Ｋ２×２＋……Ｋｍ×ｍ）／ＳＫ）を、それぞれ分割した前記アドレス位置に一致させたことを特徴とする。
【００１２】
前記の目的を達成するため、本発明に係る第２の画像処理装置は、上記構成の第１の画像処理装置において、入力される画像データに対して施される前記補間処理は、補間処理前と同一のサンプリングレートで施されることを特徴とする。
【００１３】
第１および第２の画像処理装置において、自然数ｎは２のｐ乗（ｐは自然数）であることを特徴とする。
【００１４】
また、第１および第２の画像処理装置において、自然数ｎは３２であることを特徴とする。
【００１５】
また、第１および第２の画像処理装置において、自然数ｍは５であることを特徴とする。
【００１６】
また、第１および第２の画像処理装置において、自然数ｎは３２であり、且つ自然数ｍは５であることを特徴とする。
【００２０】
上記の構成によれば、生成されるアドレス位置における周波数特性のばらつきを抑えることが出来るので、画像サイズを変換しても、画質の劣化が抑えられ、良質な画像を得ることが可能になる。
【００２１】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
【００２２】
図１は、本発明の一実施の形態による画像処理装置の構成例を示すブロック図である。なお、本実施形態においては、補間に用いる画素数ｍとして、ｍ＝５画素を使用して補間処理を行なう例について説明する。
【００２３】
図１において、１０１は入力画像データを記憶するフィールドメモリ、１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは入力信号をそれぞれ１Ｈ期間（１水平走査期間）遅延させる遅延手段としてのラインメモリ、１０３は垂直５点補間を行う垂直補間回路、１０４は水平５点補間を行う水平補間回路である。
【００２４】
１０５ａは、垂直補間回路１０３から信号Ｓ４と信号選択回路１０５ｂからの信号Ｓ１８、Ｓ１９を受けて、倍率設定回路１０９からの信号Ｓ９の状態に基づいて、水平補間回路１０４への信号Ｓ６とラインメモリ１０６への信号Ｓ５とを選択出力する信号選択回路である。
【００２５】
１０５ｂは、ラインメモリ１０６からの信号Ｓ７と水平補間回路１０４からの信号Ｓ８を受けて、倍率設定回路１０９からの信号Ｓ９の状態に基づいて、信号選択回路１０５ａへの信号Ｓ１８、Ｓ１９と出力画像データＳ２０とを選択出力する信号選択回路である。
【００２６】
１０６は、信号選択回路１０５ａからの信号Ｓ５を記憶するラインメモリである。１０７は、生成アドレス設定回路１１０からの信号Ｓ１２に応じて、ルック・アップ・テーブル（ＬＵＴ）１０８から補間係数Ｓ１５を選択し、それを垂直補間回路１０３および水平補間回路１０４に供給する係数発生器である。
【００２７】
１０８は、画素と画素の間をｎ分割してｎ個のアドレスに分割し、生成するアドレス位置による周波数特性のばらつきを抑えられるように、それぞれのアドレスごとに補間係数値が格納されているＬＵＴである。
【００２８】
１０９は倍率設定回路であり、１１０は、倍率設定回路１０９で設定された倍率（信号Ｓ１０）から生成されるアドレスＳ１１を決定する生成アドレス設定回路、１１１は、生成アドレスＳ１１に応じて、フィールドメモリ１０１、ラインメモリ１０２ａ〜１０２ｄ、１０６に対するデータ書き込みおよび読み出しを制御するメモリ制御回路である。
【００２９】
次に、本実施形態の補間アルゴリズムについて説明する。なお、本アルゴリズムにおいては、水平および垂直方向とも同一のアルゴリズムである。
【００３０】
図６は、画素Ｃと画素Ｄの間に補間画素が生成される場合において、その画素Ｃと画素Ｄの間のアドレスを分割した時の模式図である。本実施形態においては、３２個にアドレスを分割し、生成された画素が分割したアドレスのどの位置に相当するかを求め、そのアドレス位置に相当する補間係数値をＬＵＴ１０８から読み出し、補間処理を行なう。
【００３１】
補間に用いる画素は、分割したアドレス位置をｈとすると、補間画素が生成されるアドレスがｈ＝０〜１５の場合は、画素Ａ、画素Ｂ、画素Ｃ、画素Ｄ、画素Ｅの５画素で補間し、ｈ＝１６〜３１の場合は、画素Ｂ、画素Ｃ、画素Ｄ、画素Ｅ、画素Ｆの５画素で補間する。
【００３２】
次に、補間処理に用いる補間係数値について説明する。図６に示すように、アドレスを３２分割しているので、アドレスｈ＝０〜３１とし、それぞれどのアドレスに生成されても周波数特性のばらつきを抑えるように補間係数値をＬＵＴ１０８に記憶させる。本実施形態では、補間に使用する画素を５画素としているので、図７のような補間係数値の表になる。図７のＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは補間する原画像の画素を表し、Ｋが補間係数値を表す。
【００３３】
ここで、係数値Ｋについて説明する。それぞれのアドレス位置に定義される補間係数値の和は２のｑ乗になるように定義する。このことによって、回路規模の増大を抑えることが出来る。
【００３４】
また、補間係数値Ｋは、それぞれの分割した位置とそれに対応した補間係数列の重心位置が一致するように定義しておく。図８に、分割したアドレス位置をｈとした時の重心位置を示し、またアドレスｈ＜１６の場合を表したものである。そして、その分割したアドレス位置ｈに相当する補間係数列の重心位置をｇとすると、
（数５）

となる。ここで、補間係数値Ｋｈ０、Ｋｈ１、Ｋｈ２、Ｋｈ３、Ｋｈ４は、図７に示すように、それぞれ、ｈ＝１〜１５の場合の画素Ａ、Ｂ、Ｃ、Ｄ、Ｅに対応する補間係数値Ｋ００〜Ｋ１５０、Ｋ０１〜Ｋ１５１、Ｋ０２〜Ｋ１５２、Ｋ０３〜Ｋ１５３、Ｋ０４〜Ｋ１５４に相当する。
【００３５】
この重心ｇと、補間する５画素からみる分割したアドレス位置２＋ｈ／３２とが等しくなるように補間係数値を設定する。ｎ≧１６の場合も同じようにして、補間係数値を設定する。
【００３６】
このようにして補間係数値Ｋを設定していくと、画素と画素の間を分割する数ｎを２のｐ乗（本実施形態では、ｐ＝５）とすると、図７でも分かるように、ｈ＝１６を境に補間係数値Ｋが逆転しているような形になる。このことから、実際にＬＵＴ１０８に記憶させる補間係数値としては、ｈ＝０からｈ＝１６に対応する補間係数値を記憶しておけば良いことになり、回路規模を縮小することができる。
【００３７】
このように、重心の位置を一致させるように補間係数値を決めてＬＵＴ１０８に設定することで、アドレスのひずみを抑えることが出来る。そして、生成されたアドレス位置が分割したアドレス位置に一致しない場合は、近似を行い、分割したアドレス位置に生成されたものとして処理を行う。このことから、画素間を分割する数ｎが多いほど精度の良い補間処理を行うことができる。
【００３８】
また、原画素と補間画素の位置が一致した、つまりｈ＝０の時において、原画素をそのまま補間画素としないように係数値Ｋを設定する。つまり、図７において、補間係数Ｋ０２の値を補間係数値の和としないように設定し、係数値Ｋ００、係数値Ｋ０１、係数値Ｋ０３、係数値Ｋ０４をすべて「０」以外の値に設定して、原画素Ｃがそのまま補間画素とならないように補間係数値Ｋを設定する。このように、本実施形態によれば、図４および図５に示す従来の周波数特性とは異なり、分割したアドレス位置ｈ＝０に画素が生成されても周波数特性が平坦にならないようにすることで、生成されるアドレスによる特性のばらつきを抑えることが出来る。
【００３９】
以上、これらの考え方をもとに補間係数値を求めて、あらかじめＬＵＴ１０８に記憶させることにより、補間係数値を求める複雑な演算回路を設ける必要がなく、小規模な回路で高精細な補間処理を行うことが出来る。図９に、この補間アルゴリズムで処理を行った場合の周波数特性の一例を示す。図９に示すように、本実施形態は、分割したアドレス位置ｈ＝０に画素が生成されても、周波数特性を平坦化させないようにしていることに特徴があり、高域の部分でも、補間係数の値による周波数特性のばらつきが抑えられている。
【００４０】
また、補間に用いる画素については、生成アドレス位置がｈ＝０〜１５とｈ＝１６〜３１とで補間に用いる画素が１画素ずれることを説明した。その様子を図１０に示す。図１０において、生成されたアドレス位置が▲１▼の範囲にある場合、画素Ａ、画素Ｂ、画素Ｃ、画素Ｄ、画素Ｅを使って補間し、生成されたアドレス位置が▲２▼の範囲にある場合、画素Ｂ、画素Ｃ、画素Ｄ、画素Ｅ、画素Ｆを使って補間する。ｈ＝１６を境いに補間する画素を１ずつずらしていく。このことから、メモリ制御回路１１１は、生成されるアドレス位置がｈ＝１６を境いにして画素データの書き込み及び読み出しの制御を行う。
【００４１】
次に、図１を用いて本実施形態による画像処理装置における各部の動作について順を追って説明する。
【００４２】
まず、垂直補間回路１０３について説明する。垂直補間回路１０３は、フィールドメモリ１０１から読み出されたラインデータＳ２と、その１Ｈ期間前のラインデータＳ３ａ、２Ｈ期間前のラインデータＳ３ｂ、３Ｈ期間前のデータＳ３ｃ、４Ｈ期間前のデータＳ３ｄから１画素ずつ垂直５点補間を行う。なお、フィールドメモリ１０１、ラインメモリ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄはメモリ制御回路１１１により制御されている。
【００４３】
図１１は、垂直補間回路１０３の具体的な構成を示すブロック図である。図１１において、１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄ、１１０１ｅは、ラインデータＳ２、Ｓ３ａ、Ｓ３ｂ、Ｓ３ｃ、Ｓ３ｄそれぞれに、係数発生器１０７からの、前記の補間アルゴリズムに基づき求められた５つの係数ｋ０、ｋ１、ｋ２、ｋ３、ｋ４（信号Ｓ１３）を乗ずる乗算器である。１１０２はそれぞれの乗算器１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄ、１１０１ｅからの出力信号を加算する加算器であり、１１０３は加算器１１０２からの出力信号を１／（係数の和）倍して信号Ｓ４として出力する乗算器である。
【００４４】
次に、水平補間回路１０４について説明する。水平補間回路１０４は、信号選択回路１０５ａからの信号Ｓ６に対して水平５点補間を行う。図１２は、水平補間回路１０４の具体的な構成を示すブロック図である。図１２において、１２０１ａ、１２０１ｂ、１２０１ｃ、１２０１ｄは１画素分データを遅延させる遅延素子であり、１２０２ａ、１２０２ｂ、１２０２ｃ、１２０２ｄ、１２０２ｅはそれぞれ、各遅延素子により遅延された画像データに対して、係数発生器１０７からの、前記の補間アルゴリズムに基づき求められた５つの係数ｋ０、ｋ１、ｋ２、ｋ３、ｋ４を乗ずる乗算器であり、１２０３はそれぞれの乗算器１２０２ａ、１２０２ｂ、１２０２ｃ、１２０２ｄ、１２０２ｅからの出力信号を加算する加算器であり、１２０４は加算器１２０３からの出力を１／（係数の和）倍して信号Ｓ８として出力する乗算器である。
【００４５】
次に、信号選択回路１０５ａ、１０５ｂについて説明する。図１３は、信号選択回路１０５ａの具体的な構成を示すブロック図である。図１３において、倍率設定回路１０９からの信号Ｓ９が拡大時は０、縮小時は１であるとして、１３０１ａは、拡大時には垂直補間回路１０３からの信号Ｓ４を、縮小時には信号選択回路１０５ｂからの信号Ｓ１８を、信号Ｓ５として選択出力するセレクタであり、１３０１ｂは、拡大時には信号選択回路１０５ｂからの信号Ｓ１９を、縮小時には垂直補間回路１０３からの信号Ｓ４を、信号Ｓ６として選択出力するセレクタである。
【００４６】
図１４は、信号選択回路１０５ｂの具体的な構成を示すブロック図である。図１４において、倍率設定回路１０９からの信号Ｓ９が拡大時は０、縮小時は１であるとして、１４０１ａは、ラインメモリ１０６からの信号Ｓ７を、拡大時にはＳ１９として、縮小時には信号Ｓ１４００として選択出力するセレクタであり、１４０１ｂは、水平補間回路１０４からの信号Ｓ８を、拡大時には信号Ｓ１４０１として、縮小時には信号Ｓ１８として選択出力するセレクタであり、１４０１ｃは、拡大時にはセレクタ１４０１ｂからの信号Ｓ１４０１を、縮小時にはセレクタ１４０１ａからの信号Ｓ１４００を、信号Ｓ２０として選択出力するセレクタである。
【００４７】
図１５および図１６は、それぞれ、拡大時および縮小時における水平補間の信号の流れに着目した場合の構成を示す。拡大時は、図１５に示すように、垂直補間された信号Ｓ４を、初めにラインメモリ１０６に記憶させ、メモリ制御回路１１１からの信号Ｓ１６に従ってデータを読み出し、水平補間回路１０４に送って補間処理を行い、出力画像データＳ２０として出力させる。縮小時は、図１６に示すように、初めに水平補間回路１０４において補間処理を行い、メモリ制御回路からの信号Ｓ１６に従って必要なデータだけラインメモリ１０６に記憶させ、その後ラインメモリ１０６から順次読み出して、出力画像データＳ２０として出力させる。
【００４８】
このことから、メモリの読み出しレートを原画像のサンプリングレートと同じにすることにより、原画像データと補間後のデータを同じサンプリングレートにしている。
【００４９】
以下、本実施形態による画像処理装置の具体例について、拡大時と縮小時に分けて説明する。
【００５０】
まず、水平および垂直４／３倍の拡大時の場合について説明する。
【００５１】
初めに、生成アドレス回路１１０において生成されるアドレス位置を求める。図１７は、白丸が原画素（ＯＰ）の画素位置、黒丸が倍率４／３の場合に生成される画素（ＩＰ（４／３））の画素位置を示している。図１７において、原画素の画素間を１とすると、補間され生成される画素間は３／４になる。図６に示すように、アドレスを３２分割しているので、相当するアドレス位置を求めると、図１７に示すように、ｈ＝０、２４、１６、８の繰り返しになる。この生成されるアドレス位置ｈ（信号Ｓ１２）を係数発生器１０７に送る。係数発生器１０７は、アドレス位置ｈをもとにＬＵＴ１０８から相当するアドレス位置ｈでの係数値（信号Ｓ１５）を読み込み、垂直補間回路１０３および水平補間回路１０４へ送る。
【００５２】
図１８は、それぞれ生成されるアドレス位置において補間する画素を示している。図１８において、白丸が原画素、つまり補間に用いる画素を示している。黒丸は、補間されて生成された画素位置を示している。図１８に示すように、４／３倍に拡大の場合、４回に１回同じ画素で補間を行うことになる。よって、メモリ制御回路１１１は、垂直の場合には、４ラインに一度同じラインデータを、フィールドメモリ１０１、ラインメモリ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄから読み出すなどして、対応する補間画素を読み出し、垂直補間回路１０３で係数発生器１０７からの係数値をもとに補間処理を行い、水平の場合には、４画素に１度同じ画素データをラインメモリ１０６から読み出すなどして、対応する補間画素を読み出し、水平補間回路１０４で係数発生器１０７からの係数値をもとに補間処理を行う。
【００５３】
次に、水平および垂直４／５倍の縮小時について説明する。
【００５４】
初めに、生成アドレス回路１１０において生成されるアドレス位置を求める。図１９は、白丸が原画素（ＯＰ）の画素位置、黒丸が倍率４／５の場合に生成される画素（ＩＰ（４／５））の画素位置を示している。図１９において、原画素の画素間を１とすると、生成される画素間は５／４になる。図６に示すように、アドレスを３２分割しているので、相当するアドレス位置を求めると、図１９に示すように、ｈ＝０、８、１６、２４の繰り返しになる。この生成されるアドレス位置ｈ（信号Ｓ１２）を係数発生器１０７に送る。係数発生器１０７は、アドレス位置ｈをもとにＬＵＴ１０８から相当するアドレス位置ｈでの係数値（信号Ｓ１５）を読み込み、垂直補間回路１０３および水平補間回路１０４へ送る。
【００５５】
図２０は、それぞれ生成されるアドレス位置において補間する画素を示している。白丸が原画素、つまり補間に用いる画素を示している。黒丸は補間されて生成された画素位置を示している。図２０に示すように、４／５倍に縮小の場合、５回に１回補間に用いる原画素を一つ飛ばして補間を行うことになる。よって、メモリ制御回路１１１は、垂直の場合には、通常通りにフィールドメモリ１０１、ラインメモリ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄからラインデータを読み出し、垂直補間回路１０３で係数発生器１０７からの係数値をもとに補間処理を行い、水平補間回路１０４で係数発生器１０７からの係数値をもとに補間処理を行った後、垂直方向に対しては５ラインに１ラインを間引き、水平方向に対しては５画素に１画素を間引くなどしてラインメモリ１０６に記憶させて、必要なデータだけ取り込むことで、縮小処理を実現する。
【００５６】
なお、本実施形態では、水平と垂直を同倍率としたが、水平と垂直に対して別々の生成アドレス回路を設けることで、水平、垂直それぞれ異なる倍率で補間処理することも出来る。
【００５７】
【発明の効果】
以上説明したように、本発明によれば、生成されるアドレス位置における周波数特性のばらつきを抑えることが出来るので、画像サイズを変換しても、画質の劣化が抑えられ、良質な画像を得ることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図
【図２】従来の線形補間方式で４／５倍に画像を縮小した時の例を示す模式図
【図３】従来の３次畳み込み方式で４／５倍に画像を縮小した時の例を示す模式図
【図４】従来の線形補間方式における生成アドレス位置ｕをパラメータとした補間処理による周波数特性を示す図
【図５】従来の３次畳み込み方式における生成アドレス位置ｕをパラメータとした補間処理による周波数特性を示す図
【図６】本発明の一実施形態における画素Ｃと画素Ｄの間に補間画素が生成される場合に、画素Ｃと画素Ｄの間のアドレスを分割した時の模式図
【図７】図１のＬＵＴ１０８に記憶させる補間係数を示す図
【図８】本発明の一実施形態における補間係数列の重心位置とアドレス位置との関係を示す図
【図９】本発明の一実施形態における補間処理による周波数特性を示す図
【図１０】本発明の一実施形態における生成されたアドレス位置での補間画素を示す模式図
【図１１】図１の垂直補間回路１０３の構成を示すブロック図
【図１２】図１の水平補間回路１０４の構成を示すブロック図
【図１３】図１の信号選択回路１０５ａの構成を示すブロック図
【図１４】図１の信号選択回路１０５ｂの構成を示すブロック図
【図１５】図１において拡大時の水平補間の信号流れに着目した場合の構成示すブロック図
【図１６】図１において縮小時の水平補間の信号流れに着目した場合の構成示すブロック図
【図１７】本発明の一実施形態における具体例として倍率４／３時の生成アドレス位置を示す模式図
【図１８】本発明の一実施形態における具体例として倍率４／３時の補間に用いる画素を示す模式図
【図１９】本発明の一実施形態における具体例として倍率４／５時の生成アドレス位置を示す模式図
【図２０】本発明の一実施形態における具体例として倍率４／５時の補間に用いる画素を示す模式図
【符号の説明】
１０１フィールドメモリ
１０２ａ〜１０２ｄラインメモリ
１０３垂直補間回路
１０４水平補間回路
１０５ａ、１０５ｂ信号選択回路
１０６ラインメモリ
１０７係数発生器
１０８ＬＵＴ
１０９倍率設定回路
１１０生成アドレス設定回路
１１１メモリ制御回路
１１０１ａ〜１１０１ｅ乗算器
１１０２加算器
１１０３乗算器
１２０１ａ〜１２０１ｄ遅延素子
１２０２ａ〜１２０２ｅ乗算器
１２０３加算器
１２０４乗算器
１３０１ａ、１３０１ｂセレクタ
１４０１ａ〜１４０１ｃセレクタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus using an interpolation filter.
[0002]
[Prior art]
2. Description of the Related Art In the field of handling digital images such as digital cameras, electronic zoom devices that perform interpolation processing on an image using an interpolation filter or the like to enlarge or reduce the image are known.
[0003]
The interpolation operation is desirably performed by using sin (πx) / (πx) appearing in the sampling theorem as an interpolation function, based on an unlimited number of pixels. . Therefore, in practice, a linear interpolation method, a cubic convolution interpolation method, or the like is used as a simplified interpolation method.
[0004]
First, the linear interpolation method is a method of generating an interpolation pixel by interpolation using two adjacent pixels. The interpolation function S (x) of the linear interpolation method is
(Equation 1)
S (x) = 1− | x | (0 ≦ | x | <1)
S (x) = 0 (| x | ≧ 1)
Where y is an interpolation pixel, x _i and x _{i + 1} are pixels before and after the interpolation pixel, and u is a generated address position.
(Equation 2)
y = S (u) x _i + S (1−u) x _{i + 1}
It becomes.
[0005]
FIG. 2 is a schematic diagram showing an example when the image is reduced to 4/5 times by the linear interpolation method. In FIG. 2, the white circle is the original pixel (OP), the black circle is the interpolation pixel (IP), and the numerical value below it indicates the address position u to be generated. If the pixel interval before image reduction is 1, the pixel interval after reduction is 5/4. Therefore, the generated address positions are generated as u = 0, 1/4, 1/2, 3/4. From the generated address position u, the adjacent two pixels are interpolated as indicated by the arrows to obtain the interpolated pixels. Further, as can be seen from the above (Equation 1), when the generated pixel matches the original pixel, the original pixel is directly used as the generated pixel as indicated by the thick arrow in FIG.
[0006]
Next, the cubic convolution interpolation method is a method of generating an interpolation pixel by interpolation using four pixels in the vicinity thereof. The interpolation function T (x) of the cubic convolution interpolation method is
(Equation 3)
T (x) = 1−2 | x | ² + | x | ³ (0 ≦ | x | <1)
T (x) = 4-8 | x | +5 | x | ² − | x | ³ (1 ≦ | x | <2)
T (x) = 0 (| x | ≧ 2)
Where y is an interpolation pixel, x _i-1 , x _i , x _{i + 1} , x _{i + 2} are pixels before and after the interpolation pixel, and u is a generated address position.
(Equation 4)

It becomes.
[0007]
FIG. 3 is a schematic diagram showing an example when the image is reduced to 4/5 times by the cubic convolution interpolation method. In FIG. 3, the white circle is the original pixel (OP), the black circle is the interpolation pixel (IP), and the numerical value below it indicates the address position u to be generated. As in FIG. 2, if the pixel interval before reducing the image is 1, the pixel interval after reduction is 5/4. Therefore, the generated address positions are generated as u = 0, 1/4, 1/2, 3/4. From the generated address position u, four adjacent pixels are interpolated as indicated by arrows to obtain an interpolated pixel. In addition, as can be seen from the above (Equation 3), this interpolation method also uses the original pixel as it is as the generated pixel as shown by the thick arrow in FIG. 3 when the generated pixel matches the original pixel.
[0008]
[Problems to be solved by the invention]
However, the above interpolation method has the following problems.
[0009]
FIG. 4 shows frequency characteristics in the linear interpolation method, and FIG. 5 shows frequency characteristics in the third-order convolution interpolation method. 4 and 5, the vertical axis represents the normalization level, the horizontal axis represents the frequency, and fs represents the sampling frequency. As can be seen from these figures, the frequency characteristic, particularly the high frequency part (fs / 2 part), varies depending on the generated address position u, and the undulation of the frequency characteristic occurs in principle.
[0010]
The present invention has been made in view of such a problem, and an object of the present invention is to suppress variation in frequency characteristics depending on an address position to be generated and to obtain a high-quality image when an image is enlarged / reduced by performing an interpolation process. An image processing apparatus is provided.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, a first image processing apparatus according to the present invention is an image processing apparatus that performs interpolation processing on input image data and converts an image size. In correspondence with each of n address positions obtained by dividing n (n is a natural number) between pixels, m interpolation coefficients for performing interpolation processing by multiplying adjacent m (m is a natural number) pixels are stored in advance. The generated reference table, the generated address setting unit for setting the address position to be generated according to the set magnification, and the interpolation coefficient stored in the reference table based on the address position set by the generated address setting unit , Km are interpolation coefficients, X1, X2,..., Xm are pixel data used for the interpolation processing, and SK is the interpolation coefficient for i from 1 to m. Sum and In this case, the pixel data Y generated by the interpolation processing is represented by Y = (K1 · X1 + K2 · X2 +... + Km · Xm) / SK, and the sum SK of the interpolation coefficients is 2 to the qth power (q is an integer). When the pixel data Xr (r is a natural number, 1 ≦ r ≦ m) used for the interpolation process and the address position of the generated pixel data match, the interpolation coefficient Kr multiplied by the pixel data Xr is If Kr = SK is set so that the other interpolation coefficient is a value other than 0, and the gravity center position of the interpolation coefficient sequence is g, g = (K1 × 1 + K2 × 2 +... Km × m) / SK) is made to coincide with the divided address positions .
[0012]
In order to achieve the above object, according to the second image processing apparatus of the present invention, in the first image processing apparatus configured as described above, the interpolation process performed on input image data is performed before the interpolation process. It is characterized by being applied at the same sampling rate.
[0013]
In the first and second image processing apparatuses, the natural number n is 2 to the power of p (p is a natural number).
[0014]
In the first and second image processing apparatuses, the natural number n is 32.
[0015]
In the first and second image processing apparatuses, the natural number m is 5.
[0016]
In the first and second image processing apparatuses, the natural number n is 32 and the natural number m is 5.
[0020]
According to the above configuration, variation in frequency characteristics at the generated address position can be suppressed, so that even when the image size is converted, deterioration in image quality is suppressed, and a high-quality image can be obtained.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[0022]
FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to an embodiment of the present invention. In the present embodiment, an example in which interpolation processing is performed using m = 5 pixels as the number of pixels m used for interpolation will be described.
[0023]
In FIG. 1, 101 is a field memory for storing input image data, 102a, 102b, 102c, and 102d are line memories as delay means for delaying the input signal for 1H period (one horizontal scanning period), and 103 is 5-point vertical interpolation. A vertical interpolation circuit 104 performs horizontal five-point interpolation.
[0024]
105a receives the signal S4 from the vertical interpolation circuit 103 and the signals S18 and S19 from the signal selection circuit 105b, and based on the state of the signal S9 from the magnification setting circuit 109, the signal S6 to the horizontal interpolation circuit 104 and the line memory A signal selection circuit that selectively outputs a signal S5 to 106.
[0025]
105b receives the signal S7 from the line memory 106 and the signal S8 from the horizontal interpolation circuit 104, and based on the state of the signal S9 from the magnification setting circuit 109, signals S18 and S19 to the signal selection circuit 105a and the output image It is a signal selection circuit that selectively outputs data S20.
[0026]
A line memory 106 stores the signal S5 from the signal selection circuit 105a. A coefficient generator 107 selects an interpolation coefficient S15 from the look-up table (LUT) 108 according to the signal S12 from the generation address setting circuit 110 and supplies it to the vertical interpolation circuit 103 and the horizontal interpolation circuit 104. It is.
[0027]
108 is an LUT in which interpolation coefficient values are stored for each address so as to divide the pixel into n and divide the pixel into n addresses and suppress variation in frequency characteristics due to the generated address position. It is.
[0028]
109 is a magnification setting circuit, 110 is a generation address setting circuit for determining an address S11 generated from the magnification (signal S10) set by the

magnification setting circuit

109, and 111 is a field memory in accordance with the generation address S11. Reference numeral 101 denotes a memory control circuit that controls data writing and reading with respect to the line memories 102 a to 102 d and 106.
[0029]
Next, the interpolation algorithm of this embodiment will be described. In this algorithm, the same algorithm is used in both the horizontal and vertical directions.
[0030]
FIG. 6 is a schematic diagram when an address between the pixel C and the pixel D is divided when an interpolation pixel is generated between the pixel C and the pixel D. In the present embodiment, the address is divided into 32, the position where the generated pixel corresponds to the divided address is obtained, the interpolation coefficient value corresponding to the address position is read from the LUT 108, and interpolation processing is performed. .
[0031]
Assuming that the divided address position is h, the pixels used for interpolation are pixel A, pixel B, pixel C, pixel D, and pixel E when the address where the interpolation pixel is generated is h = 0-15. When h = 16 to 31, interpolation is performed with five pixels of pixel B, pixel C, pixel D, pixel E, and pixel F.
[0032]
Next, the interpolation coefficient value used for the interpolation process will be described. As shown in FIG. 6, since the address is divided into 32, the address h is set to 0 to 31 and the interpolation coefficient value is stored in the LUT 108 so as to suppress variation in frequency characteristics regardless of the generated address. In the present embodiment, the number of pixels used for interpolation is five, so the table of interpolation coefficient values is as shown in FIG. In FIG. 7, A, B, C, D, E, and F represent pixels of an original image to be interpolated, and K represents an interpolation coefficient value.
[0033]
Here, the coefficient value K will be described. The sum of interpolation coefficient values defined at each address position is defined to be 2 to the power of q. As a result, an increase in circuit scale can be suppressed.
[0034]
Further, the interpolation coefficient value K is defined so that the respective divided positions coincide with the barycentric positions of the corresponding interpolation coefficient sequences. FIG. 8 shows the position of the center of gravity when the divided address position is h, and shows the case where the address h <16. Then, assuming that the center of gravity position of the interpolation coefficient sequence corresponding to the divided address position h is g,
(Equation 5)

It becomes. Here, the interpolation coefficient values Kh0, Kh1, Kh2, Kh3, and Kh4 are interpolation coefficient values corresponding to the pixels A, B, C, D, and E when h = 1 to 15, respectively, as shown in FIG. These correspond to K00 to K150, K01 to K151, K02 to K152, K03 to K153, and K04 to K154.
[0035]
The interpolation coefficient value is set so that the center of gravity g is equal to the divided address position 2 + h / 32 viewed from the five pixels to be interpolated. An interpolation coefficient value is set in the same manner when n ≧ 16.
[0036]
When the interpolation coefficient value K is set in this way, if the number n to be divided between pixels is 2 to the power of p (in this embodiment, p = 5), as can be seen from FIG. The interpolation coefficient value K is reversed from h = 16. For this reason, as interpolation coefficient values actually stored in the LUT 108, interpolation coefficient values corresponding to h = 0 to h = 16 need only be stored, and the circuit scale can be reduced.
[0037]
In this way, by determining the interpolation coefficient value so as to match the position of the center of gravity and setting it in the LUT 108, it is possible to suppress address distortion. If the generated address position does not match the divided address position, approximation is performed, and processing is performed assuming that the generated address position is generated at the divided address position. From this fact, it is possible to perform the interpolation process with higher accuracy as the number n for dividing the pixels is larger.
[0038]
Further, when the positions of the original pixel and the interpolation pixel coincide, that is, when h = 0, the coefficient value K is set so that the original pixel is not used as the interpolation pixel as it is. That is, in FIG. 7, the value of the interpolation coefficient K02 is set not to be the sum of the interpolation coefficient values, and the coefficient value K00, the coefficient value K01, the coefficient value K03, and the coefficient value K04 are all set to values other than “0”. Thus, the interpolation coefficient value K is set so that the original pixel C does not become an interpolation pixel as it is. Thus, according to the present embodiment, unlike the conventional frequency characteristics shown in FIGS. 4 and 5, the frequency characteristics are not flattened even if a pixel is generated at the divided address position h = 0. Thus, variation in characteristics due to generated addresses can be suppressed.
[0039]
As described above, the interpolation coefficient value is obtained based on these ideas and stored in the LUT 108 in advance, so that it is not necessary to provide a complicated arithmetic circuit for obtaining the interpolation coefficient value, and high-definition interpolation processing can be performed with a small circuit. Can be done. FIG. 9 shows an example of frequency characteristics when processing is performed using this interpolation algorithm. As shown in FIG. 9, this embodiment is characterized in that even if a pixel is generated at a divided address position h = 0, the frequency characteristics are not flattened, and even in a high frequency part, interpolation is performed. Variations in frequency characteristics due to coefficient values are suppressed.
[0040]
As for the pixels used for interpolation, it has been described that the pixels used for interpolation are shifted by one pixel when the generation address positions are h = 0 to 15 and h = 16 to 31. This is shown in FIG. In FIG. 10, when the generated address position is in the range (1), interpolation is performed using the pixel A, pixel B, pixel C, pixel D, and pixel E, and the generated address position is in the range (2). , Interpolation is performed using pixel B, pixel C, pixel D, pixel E, and pixel F. The pixels to be interpolated are shifted one by one with h = 16 as a boundary. Therefore, the memory control circuit 111 controls writing and reading of pixel data with the generated address position as h = 16.
[0041]
Next, the operation of each unit in the image processing apparatus according to the present embodiment will be described in order with reference to FIG.
[0042]
First, the vertical interpolation circuit 103 will be described. The vertical interpolation circuit 103 uses the line data S2 read from the field memory 101, the line data S3a before 1H period, the line data S3b before 2H period, the data S3c before 3H period, and the data S3d before 4H period. Perform vertical 5-point interpolation pixel by pixel. The field memory 101 and the

line memories

102a, 102b, 102c, and 102d are controlled by the memory control circuit 111.
[0043]
FIG. 11 is a block diagram showing a specific configuration of the vertical interpolation circuit 103. In FIG. 11,

reference numerals

1101a, 1101b, 1101c, 1101d, and 1101e denote five coefficients k0 obtained from the coefficient generator 107 based on the interpolation algorithm, respectively, for the line data S2, S3a, S3b, S3c, and S3d. A multiplier that multiplies k1, k2, k3, and k4 (signal S13). Reference numeral 1102 denotes an adder for adding the output signals from the

respective multipliers

1101a, 1101b, 1101c, 1101d, and 1101e, and 1103 multiplies the output signal from the adder 1102 by 1 / (sum of coefficients) as a signal S4. It is a multiplier to output.
[0044]
Next, the horizontal interpolation circuit 104 will be described. The horizontal interpolation circuit 104 performs horizontal five-point interpolation on the signal S6 from the signal selection circuit 105a. FIG. 12 is a block diagram showing a specific configuration of the horizontal interpolation circuit 104. In FIG. 12, 1201a, 1201b, 1201c, and 1201d are delay elements that delay data for one pixel, and 1202a, 1202b, 1202c, 1202d, and 1202e are coefficients for the image data delayed by each delay element, respectively. A multiplier that multiplies five coefficients k0, k1, k2, k3, and k4 obtained from the generator 107 based on the above-described interpolation algorithm. 1203 is a multiplier from each of the

multipliers

1202a, 1202b, 1202c, 1202d, and 1202e. An adder 1204 adds the output signals from the adder 1203 to 1 / (sum of coefficients) and outputs the resultant signal as a signal S8.
[0045]
Next, the

signal selection circuits

105a and 105b will be described. FIG. 13 is a block diagram showing a specific configuration of the signal selection circuit 105a. In FIG. 13, assuming that the signal S9 from the magnification setting circuit 109 is 0 at the time of enlargement and 1 at the time of reduction, 1301a is a signal S4 from the vertical interpolation circuit 103 at the time of enlargement, and a signal from the signal selection circuit 105b at the time of reduction. S18 is a selector that selectively outputs S18 as a signal S5, and 1301b is a selector that selectively outputs a signal S19 from the signal selection circuit 105b at the time of enlargement and a signal S4 from the vertical interpolation circuit 103 at the time of reduction as a signal S6.
[0046]
FIG. 14 is a block diagram showing a specific configuration of the signal selection circuit 105b. In FIG. 14, assuming that the signal S9 from the magnification setting circuit 109 is 0 at the time of enlargement and 1 at the time of reduction, 1401a selectively outputs the signal S7 from the line memory 106 as S19 at the time of enlargement and as a signal S1400 at the time of reduction. 1401b is a selector that selectively outputs the signal S8 from the horizontal interpolation circuit 104 as a signal S1401 at the time of enlargement and as a signal S18 at the time of reduction. 1401c is a selector that reduces the signal S1401 from the selector 1401b at the time of enlargement. The selector sometimes selects and outputs the signal S1400 from the selector 1401a as the signal S20.
[0047]
FIG. 15 and FIG. 16 show configurations when attention is paid to the flow of a signal for horizontal interpolation at the time of enlargement and reduction, respectively. At the time of enlargement, as shown in FIG. 15, the vertically interpolated signal S4 is first stored in the line memory 106, data is read according to the signal S16 from the memory control circuit 111, and sent to the horizontal interpolation circuit 104 to perform interpolation processing. And output as output image data S20. At the time of reduction, as shown in FIG. 16, first, the horizontal interpolation circuit 104 performs interpolation processing, stores only necessary data in the line memory 106 in accordance with the signal S16 from the memory control circuit, and then sequentially reads out from the line memory 106. And output image data S20.
[0048]
Therefore, by making the memory read rate the same as the sampling rate of the original image, the original image data and the interpolated data are set to the same sampling rate.
[0049]
Hereinafter, a specific example of the image processing apparatus according to the present embodiment will be described separately for enlargement and reduction.
[0050]
First, the case of horizontal and vertical 4/3 times enlargement will be described.
[0051]
First, an address position generated in the generation address circuit 110 is obtained. In FIG. 17, the white circle indicates the pixel position of the original pixel (OP), and the black circle indicates the pixel position of the pixel (IP (4/3)) generated when the magnification is 4/3. In FIG. 17, when the pixel interval between the original pixels is 1, the pixel interval generated by interpolation is 3/4. As shown in FIG. 6, since the address is divided into 32, when the corresponding address position is obtained, h = 0, 24, 16, and 8 are repeated as shown in FIG. The generated address position h (signal S12) is sent to the coefficient generator 107. The coefficient generator 107 reads the coefficient value (signal S15) at the corresponding address position h from the LUT 108 based on the address position h, and sends it to the vertical interpolation circuit 103 and the horizontal interpolation circuit 104.
[0052]
FIG. 18 shows pixels to be interpolated at each generated address position. In FIG. 18, white circles indicate original pixels, that is, pixels used for interpolation. Black circles indicate pixel positions generated by interpolation. As shown in FIG. 18, in the case of enlarging to 4/3 times, interpolation is performed with the same pixel once every four times. Therefore, in the case of the vertical, the memory control circuit 111 reads the corresponding interpolated pixel by reading the same line data once every four lines from the field memory 101 and the

line memories

102a, 102b, 102c, and 102d. The interpolation circuit 103 performs an interpolation process based on the coefficient value from the coefficient generator 107, and in the case of horizontal, the same pixel data is read from the line memory 106 once every four pixels, and the corresponding interpolation pixel is obtained. The readout and horizontal interpolation circuit 104 performs an interpolation process based on the coefficient value from the coefficient generator 107.
[0053]
Next, the horizontal and vertical 4/5 times reduction will be described.
[0054]
First, an address position generated in the generation address circuit 110 is obtained. In FIG. 19, the white circle indicates the pixel position of the original pixel (OP), and the black circle indicates the pixel position of the pixel (IP (4/5)) generated when the magnification is 4/5. In FIG. 19, when the pixel interval between the original pixels is 1, the generated pixel interval is 5/4. As shown in FIG. 6, since the address is divided into 32, when the corresponding address position is obtained, h = 0, 8, 16, and 24 are repeated as shown in FIG. The generated address position h (signal S12) is sent to the coefficient generator 107. The coefficient generator 107 reads the coefficient value (signal S15) at the corresponding address position h from the LUT 108 based on the address position h, and sends it to the vertical interpolation circuit 103 and the horizontal interpolation circuit 104.
[0055]
FIG. 20 shows pixels to be interpolated at each generated address position. White circles indicate original pixels, that is, pixels used for interpolation. Black circles indicate pixel positions generated by interpolation. As shown in FIG. 20, in the case of reduction to 4/5, interpolation is performed by skipping one original pixel used for interpolation once every five times. Therefore, the memory control circuit 111 reads the line data from the field memory 101 and the

line memories

102a, 102b, 102c, and 102d as usual in the vertical case, and the coefficient value from the coefficient generator 107 is read by the vertical interpolation circuit 103. After performing interpolation processing based on the coefficient value from the coefficient generator 107 by the horizontal interpolation circuit 104, one line is thinned out into five lines in the vertical direction, and the horizontal direction is compared with the horizontal direction. For example, one pixel is thinned out into five pixels and stored in the line memory 106, and only necessary data is fetched to realize the reduction process.
[0056]
In the present embodiment, the horizontal and vertical have the same magnification, but by providing separate generation address circuits for horizontal and vertical, interpolation processing can be performed at different horizontal and vertical magnifications.
[0057]
【The invention's effect】
As described above, according to the present invention, it is possible to suppress variation in frequency characteristics at the generated address position, so that even when the image size is converted, deterioration in image quality can be suppressed, and a high-quality image can be obtained. Is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to an embodiment of the present invention. FIG. 2 is a schematic diagram illustrating an example when an image is reduced to 4/5 times by a conventional linear interpolation method. 3 is a schematic diagram showing an example when an image is reduced to 4/5 times by a conventional cubic convolution method. FIG. 4 shows frequency characteristics by interpolation processing using a generated address position u as a parameter in a conventional linear interpolation method. FIG. 5 is a diagram showing frequency characteristics by interpolation processing using a generated address position u as a parameter in a conventional cubic convolution method. FIG. 6 shows an interpolation pixel between pixel C and pixel D in one embodiment of the present invention. FIG. 7 is a schematic diagram when the addresses between the pixel C and the pixel D are divided when generated. FIG. 7 is a diagram showing interpolation coefficients to be stored in the LUT 108 of FIG. 1. FIG. The center of gravity position of the coefficient sequence and FIG. 9 is a diagram illustrating a frequency characteristic by interpolation processing in an embodiment of the present invention. FIG. 10 is a schematic diagram illustrating an interpolation pixel at a generated address position in an embodiment of the present invention. 11 is a block diagram showing the configuration of the vertical interpolation circuit 103 in FIG. 1. FIG. 12 is a block diagram showing the configuration of the horizontal interpolation circuit 104 in FIG. 1. FIG. 13 shows the configuration of the signal selection circuit 105a in FIG. FIG. 14 is a block diagram showing the configuration of the signal selection circuit 105b of FIG. 1. FIG. 15 is a block diagram showing the configuration when attention is paid to the signal flow of horizontal interpolation at the time of enlargement in FIG. FIG. 17 is a block diagram showing a configuration when attention is paid to a signal flow of horizontal interpolation at the time of reduction. FIG. 17 is a schematic diagram showing a generated address position at a magnification of 4/3 as a specific example in an embodiment of the present invention. 18 is a schematic diagram showing pixels used for interpolation at a magnification of 4/3 as a specific example in an embodiment of the present invention. FIG. 19 shows a generation address position at a magnification of 4/5 as a specific example in an embodiment of the present invention. FIG. 20 is a schematic diagram showing pixels used for interpolation at a magnification of 4/5 as a specific example in one embodiment of the present invention.
101 Field memories 102a to 102d Line memory 103 Vertical interpolation circuit 104

Horizontal interpolation circuits

105a and 105b Signal selection circuit 106 Line memory 107 Coefficient generator 108 LUT
109 multiplier setting circuit 110 generation address setting circuit 111 memory control circuit 1101a to 1101e multiplier 1102 adder 1103 multiplier 1201a to 1201d delay element 1202a to 1202e multiplier 1203 adder 1204

multiplier

1301a, 1301b selector 1401a to 1401c selector

Claims

An image processing device that performs interpolation processing on input image data and converts an image size,
In correspondence with each of n address positions obtained by dividing n (n is a natural number) between pixels of the original image, m pixels for performing an interpolation process by multiplying adjacent m (m is a natural number) pixels. A reference table in which interpolation coefficients are stored in advance;
A generation address setting unit for setting an address position to be generated according to the set magnification;
A coefficient generation unit that selects the interpolation coefficient stored in the reference table based on the address position set by the generation address setting unit ;
When K1, K2,..., Km are interpolation coefficients, X1, X2,..., Xm are pixel data used for the interpolation processing, and SK is the sum of the interpolation coefficients from i to 1 to m, the interpolation processing is generated. The obtained pixel data Y is
Y = (K1 · X1 + K2 · X2 + ... + Km · Xm) / SK
The sum SK of the interpolation coefficients is 2 to the qth power (q is an integer),
When the pixel data Xr (r is a natural number, 1 ≦ r ≦ m) used for the interpolation processing and the address position of the generated pixel data match, the interpolation coefficient Kr multiplied by the pixel data Xr is expressed as Kr = SK And other interpolation coefficients are non-zero values,
When the gravity center position of the interpolation coefficient sequence is g,
An image processing apparatus characterized in that g = (K1 × 1 + K2 × 2 +... Km × m) / SK) is matched with each of the divided address positions .

The image processing apparatus according to claim 1 , wherein the interpolation processing performed on input image data is performed at the same sampling rate as before the interpolation processing.

3. The image processing apparatus according to claim 1, wherein the natural number n is a power of 2 (p is a natural number).

The image processing apparatus according to claim 1, wherein the natural number n is 32.

The image processing apparatus according to claim 1, wherein the natural number m is five.

3. The image processing apparatus according to claim 1, wherein the natural number n is 32 and the natural number m is 5.