JP3578613B2 - Image data interpolation method and apparatus - Google Patents

Description

となり、これを画像データＺ_k-1，Ｚ_k，Ｚ_k+1，Ｚ_k+2について整理すると、下記式（９）で表すことができる。
【００１３】

ここで、原画像データＺ_k-1、Ｚ_k、Ｚ_k+1、Ｚ_k+2の各係数を補間係数ｃ_k-1、ｃ_k、ｃ_k+1、ｃ_k+2と称する。すなわち、式（６）における原画像データＺ_k-1、Ｚ_k、Ｚ_k+1、Ｚ_k+2にそれぞれ対応する補間係数ｃ_k-1、ｃ_k、ｃ_k+1、ｃ_k+2は、
ｃ_k-1＝（−ｔ³＋２ｔ²−ｔ）／２
ｃ_k＝（３ｔ³−５ｔ²＋２）／２
ｃ_k+1＝（−３ｔ³＋４ｔ²＋ｔ）／２
ｃ_k+2＝（ｔ³−ｔ²）／２
となる。
【００１４】
以上の演算を各区間Ｘ_k-2〜Ｘ_k-1，Ｘ_k-1〜Ｘ_k，Ｘ_k〜Ｘ_k+1，Ｘ_k+1〜Ｘ_k+2について繰り返すことにより、原画像データの全体について原画像データとは間隔の異なる補間画像データを求めることができる。
【００１５】
ところで、上記Cubicスプライン補間演算は、前述したように元のサンプル点（画素）を通ることと、その第１階微分係数が各区間間で連続することが必要とされていて、鮮鋭度の比較的高いシャープな２次画像（補間により得られる画像）を再生するための補間画像データを得る補間関数であるが、一方、原画像の濃度変化が緩い部分についての補間演算では鮮鋭度は比較的低いが滑らかな２次画像を再生するのが望ましい。このように鮮鋭度は比較的低いが滑らかな２次画像を再生する補間画像データを得る補間関数としては例えばＢスプライン（Ｂスプライン）補間演算が知られている。このＢスプライン補間演算は、元のサンプル点（画素）を通ることは必要とされない代わりに、第１階微分係数および第２階微分係数（ｆ”（Ｘ）で表す）が各区間間で連続することが必要とされる。
【００１６】
すなわち、
ｆ_k（ｘ）＝Ａ_kｘ³＋Ｂ_kｘ²＋Ｃ_kｘ＋Ｄ_k （１）
において、
ｆ_k′（Ｘ_k）＝ｆ_k-1′（Ｘ_k） （４）
ｆ_k′（Ｘ_k+1）＝ｆ_k+1′（Ｘ_k+1） （５）
ｆ_k″（Ｘ_k）＝ｆ_k-1″（Ｘ_k） （10）
ｆ_k″（Ｘ_k+1）＝ｆ_k+1″（Ｘ_k+1） （11）
が条件となる。但し、画素Ｘ_kにおける第１階微分係数が、その画素Ｘ_kの前後の画素であるＸ_k-1とＸ_k+1とについて、これらの画像データＺ_k-1、Ｚ_k+1の勾配（Ｚ_k+1−Ｚ_k-1）／（Ｘ_k+1−Ｘ_k-1）に一致することが条件であるから、下記式（６）を満たす必要がある。
【００１７】
ｆ_k′（Ｘ_k）＝（Ｚ_k+1−Ｚ_k-1）／（Ｘ_k+1−Ｘ_k-1） （６）
同様に、画素Ｘ_k+1における第１階微分係数が、その画素Ｘ_k+1の前後の画素であるＸ_kとＸ_k+2とについて、これらの画像データＺ_k、Ｚ_k+2の勾配（Ｚ_k+2−Ｚ_k）／（Ｘ_k+2−Ｘ_k）に一致することが条件であるから、下記式（７）を満たす必要がある。
【００１８】
ｆ_k′（Ｘ_k+1）＝（Ｚ_k+2−Ｚ_k）／（Ｘ_k+2−Ｘ_k） （７）
また関数ｆ（Ｘ）は一般に下記式（12）に示すもので近似される。
【００１９】
ｆ（Ｘ）＝ｆ(0)＋ｆ′(0)Ｘ＋｛ｆ″(0)/２｝Ｘ² （12）
ここで、各区間Ｘ_k-2〜Ｘ_k-1，Ｘ_k-1〜Ｘ_k，Ｘ_k〜Ｘ_k+1，Ｘ_k+1〜Ｘ_k+2の間隔（格子間隔という）を１とし、画素Ｘ_kからの画素Ｘ_k+1方向への補間点Ｘ_pの位置をｔ（０≦ｔ≦１）とすれば、式（１）、（４）〜（７）、（10）〜（12）より、
ｆ_k′（０）＝Ｃ_k＝（Ｚ_k+1−Ｚ_k-1）／２
ｆ_k′（１）＝３Ａ_k＋２Ｂ_k＋Ｃ_k＝（Ｚ_k+2−Ｚ_k）／２
ｆ_k″（０）＝Ｚ_k+1−２Ｚ_k＋Ｚ_k-1＝２Ｂ
したがって、
Ａ_k＝（Ｚ_k+2−３Ｚ_k+1＋３Ｚ_k−Ｚ_k-1）／６
Ｂ_k＝（Ｚ_k+1−２Ｚ_k＋Ｚ_k-1）／２
Ｃ_k＝（Ｚ_k+1−Ｚ_k-1）／２
ここで、Ｄ_kは未知のため、
Ｄ_k＝（Ｄ₁Ｚ_k+2＋Ｄ₂Ｚ_k+1＋Ｄ₃Ｚ_k＋Ｄ₄Ｚ_k-1）／６
とおく。また、スプライン補間関数ｆ_k（ｘ）は上述の通り、Ｘ＝ｔなる変数変換をしているため、
ｆ_k（ｘ）＝ｆ_k（ｔ）
となる。よって、

となり、これを画像データＺ_k-1，Ｚ_k，Ｚ_k+1，Ｚ_k+2について整理すると、下記式（13）で表すことができる。
【００２０】

ここで、ｔ＝１とおけば、

次に区間Ｘ_k+1〜Ｘ_k+2については式（13）と同様に、下記式（14）で表すことができる。
【００２１】

ここで、ｔ＝０とおけば、

連続性の条件（ｆ_k（１）＝ｆ_k+1（０））、および各原画像データに対応する係数同士が等しいという条件により、Ｄ₄−１＝０，Ｄ₃−３＝Ｄ₄，Ｄ₂＋３＝Ｄ₃，Ｄ₁＋１＝Ｄ₂，Ｄ₁＝０、となり、したがって、
Ｄ_k＝（Ｚ_k+1＋４Ｚ_k＋Ｚ_k-1）／６
となる。よって、

したがって、原画像データＺ_k-1、Ｚ_k、Ｚ_k+1、Ｚ_k+2にそれぞれ対応する補間係数ｂ_k-1、ｂ_k、ｂ_k+1、ｂ_k+2は、
ｂ_k-1＝（−ｔ³＋３ｔ²−３ｔ＋１）／６
ｂ_k＝（３ｔ³−６ｔ²＋４）／６
ｂ_k+1＝（−３ｔ³＋３ｔ²＋３ｔ＋１）／６
ｂ_k+2＝ｔ³／６
となる。
【００２２】
以上の演算を各区間Ｘ_k-2〜Ｘ_k-1，Ｘ_k-1〜Ｘ_k，Ｘ_k〜Ｘ_k+1，Ｘ_k+1〜Ｘ_k+2について繰り返すことにより、原画像データの全体について原画像データとは間隔の異なる補間画像データを求めることができる。
【００２３】
このように２次画像（補間画像）を高い鮮鋭度でシャープに再生したい場合は例えばCubicスプライン補間演算を用い、低い鮮鋭度で滑らかに再生したい場合は例えばＢスプライン補間演算を用いればよい。
【００２４】
【発明が解決しようとする課題】
ところで、人物を被写体とした画像には、人物が着ている服や顔が含まれており、このような画像を拡大する場合には、服の柄などを高い鮮鋭度でシャープに再生し、顔などの肌色の部分は鮮鋭度を低くして粒状等のノイズを除去し、滑らかに再生したいという要求がある。しかしながら、上述したCubicスプライン補間法やＢスプライン補間法を用いて画像を拡大した場合、画像の鮮鋭度を部分的に高くしたり、画像を部分的に滑らかにしたりすることができないため、シャープネスを犠牲にするかまたはノイズを犠牲にするかを選択する必要があり、両者をともに満たすように画像を拡大することができなかった。
【００２５】
本発明は上記事情に鑑みてなされたものであり、画像の鮮鋭度を部分的に変更して補間拡大および縮小を行うことができる、画像データ補間方法および装置を提供することを目的とするものである。
【００２６】
【課題を解決するための手段】
本発明による第１の画像データ補間方法は、画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出し、
該差分信号の絶対値が所定のしきい値未満の場合には該差分信号の信号値を有し、該差分信号の絶対値が前記所定のしきい値以上の場合には、該差分信号の絶対値の増大に伴って該差分信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該差分信号の値を０とするように該差分信号を補正することにより補正信号を算出し、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が高い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との差分値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得ることを特徴とするものである。
【００２７】
本発明による第２の画像データ補間方法は、画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における差分信号を算出し、
該差分信号の絶対値が所定のしきい値未満の場合には、該差分信号の絶対値が前記所定のしきい値以上の場合よりも該差分信号の絶対値を小さくするように該差分信号を補正することにより補正信号を算出し、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が低い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との加算値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得ることを特徴とするものである。
【００２８】
ここで、上記互いに鮮鋭度の異なる第１および第２の補間法としては、鮮鋭度の低い画像に対応する補間法をＢスプライン補間法、これよりも鮮鋭度の高い画像に対応する補間法をCubicスプライン補間法とするのが望ましい。この両者の組合わせの場合は、第１階微分係数が連続するからである。
【００２９】
但し、本発明の補間法はこれらの組合わせに限るものではなく、Ｂスプライン補間法、Cubicスプライン補間法、線形補間法、Lagurange補間法などの種々の補間法を用いることができ、これらのうちの任意の２つの補間演算関数の組合わせることができる。
【００３０】
また、特徴量、補間画像データを算出するとは、必ずしも算術式によりそれぞれを計算結果として求める必要はないものであり、例えばコンピュータにおいて本発明の画像データ補間方法を実施する場合において、算出された特徴量および補間画像データをコンピュータのメモリに書き込むなどの物理的な算出をも含むものである。
【００３１】
さらに、上記第３の補間法としてこれらの補間法を用いることができ、とくに第３の補間法として前記第１および第２の補間法のいずれか一方とすることが好ましい。
【００３２】
また、本発明による第１および第２の画像データ補間方法においては、前記差分信号の算出を、前記第１の補間画像データと前記第２の補間画像データとの各補間点における差分値を算出することにより行ってもよい。
【００３３】
また、本発明による第１および第２の画像データ補間方法においては、前記差分信号の算出を、前記第１の補間画像データと前記第２の補間画像データとの各補間点における補間信号の差分値を算出することにより行ってもよい。
【００３４】
また、本発明による第１および第２の画像データ補間方法においては、前記差分信号の算出を、前記各補間点の近傍の所定範囲の複数画素における前記第１の補間法による補間係数と前記第２の補間法による補間係数との差分値である差分補間係数を算出し、前記各補間点の近傍の所定範囲の複数画素における信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の信号を加算することにより行ってもよい。
【００３５】
本発明による第３の画像データ補間方法は、本発明による第１および第２の画像データ補間方法を特にカラー画像に適用したものであり、カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間方法において、
前記原画像データを担持するＲ，Ｇ，Ｂの色信号を、前記原画像データを担持する輝度信号および色差信号に変換し、
前記輝度信号について本発明による第１または第２の画像データ補間方法に基づいて補間輝度信号を算出し、
前記色差信号について安定度重視で補間色差信号を算出し、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするものである。
【００３６】
ここで、安定度重視の補間とは、信号値の連続性を担保する補間であり、例えば上述したＢスプライン補間法による補間のことをいうものである。
【００３７】
本発明による第１の画像データ補間装置は、画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出する差分信号算出手段と、
該差分信号の絶対値が所定のしきい値未満の場合には該差分信号の信号値を有し、該差分信号の絶対値が前記所定のしきい値以上の場合には、該差分信号の絶対値の増大に伴って該差分信号の絶対値を小さくし、さらに該絶対値よりも大きい一定値を超えた場合は該差分信号の値を０とするように該差分信号を補正することにより補正信号を算出する補正手段と、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が高い方の補間法に基づく補間演算を施して第３の補間画像データを算出する補間演算手段と、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との差分値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得る差分手段とを備えたことを特徴とするものである。
【００３８】
本発明による第２の画像データ補間装置は、画像を構成する画素の間に補間点を挿入することにより、前記画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データに対して、互いに鮮鋭度の異なる第１および第２の補間法に基づく補間演算を施すことにより得られる第１および第２の補間画像データの各補間点における差分信号を算出する差分信号算出手段と、
該差分信号の絶対値が所定のしきい値未満の場合には、該差分信号の絶対値が前記所定のしきい値以上の場合よりも該差分信号の絶対値を小さくするように該差分信号を補正することにより補正信号を算出する補正手段と、
前記原画像データに対して、前記第１および第２の補間法のうちの鮮鋭度が低い方の補間法に基づく補間演算を施して第３の補間画像データを算出する補間演算手段と、
前記各補間点における前記第３の補間画像データの補間信号と前記補正信号との加算値を算出することにより、該第３の補間画像データを補正して最終的な補間画像データを得る加算手段とを備えたことを特徴とするものである。
【００３９】
なお、本発明による第１および第２の画像データ補間装置においては、前記差分信号算出手段を、前記差分信号の算出を、前記第１の補間画像データと前記第２の補間画像データとの各補間点における補間信号の差分値を算出することにより行う手段としてもよい。
【００４０】
また、本発明による第１および第２の画像データ補間装置においては、前記差分信号手段を、前記差分信号の算出を、前記各補間点の近傍の所定範囲の複数画素における前記第１の補間法による補間係数と前記第２の補間法による補間係数との差分値である差分補間係数を算出し、前記各補間点の近傍の所定範囲の複数画素における信号に、対応する前記差分補間係数をそれぞれ乗算し、該差分補間係数が乗算された前記複数の信号を加算することにより行う手段としてもよい。
【００４１】
また、本発明による第１および第２の画像データ補間装置においては、前記互いに鮮鋭度の異なる第１および第２の補間法のうち一方がＢスプライン補間法、他方がCubicスプライン補間法であってもよい。
【００４２】
本発明による第３の画像データ補間装置は、カラー画像を構成する画素の間に補間点を挿入することにより、前記カラー画像を表す原画像データを補間して該原画像データとはデータ数が異なる補間画像データを求める画像データ補間装置において、
前記原画像データを担持するＲ，Ｇ，Ｂの色信号を、前記原画像データを担持する輝度信号および色差信号に変換する第１の変換手段と、
前記輝度信号について本発明による第１および第２の画像データ補間方法による補間演算を施して補間輝度信号を算出する補間輝度信号算出手段と、
前記色差信号に安定度重視の補間法による補間演算を施して補間色差信号を算出する補間色差信号算出手段と、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得る第２の変換手段とを備えたことを特徴とするものである。
【００４３】
【発明の効果】
本発明による第１の画像データ補間方法および装置においては、互いに鮮鋭度が異なる第１および第２の補間法に基づく補間演算を原画像データに対して施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出し、差分信号の絶対値が所定のしきい値未満の場合には差分信号の信号値を有し、差分信号の絶対値が所定のしきい値以上の場合には、差分信号の絶対値の増大に伴って差分信号の絶対値を小さくし、さらに絶対値よりも大きい一定値を超えた場合は差分信号の値を０とするように差分信号を補正することにより補正信号を算出し、原画像データに対して、第１および第２の補間法のうちの鮮鋭度が高い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、各補間点における前記第３の補間画像データの補間信号と補正信号との差分値を算出することにより、第３の補間画像データを補正して最終的な補間画像データを得る。
【００４４】
本発明による第２の画像データ補間方法および装置においては、互いに鮮鋭度が異なる第１および第２の補間法に基づく補間演算を原画像データに対して施すことにより得られる第１および第２の補間画像データの各補間点における補間信号の差分信号を算出し、差分信号の絶対値が所定のしきい値未満の場合には、差分信号の絶対値が所定のしきい値以上の場合よりも差分信号の絶対値を小さくするように差分信号を補正することにより補正信号を算出し、原画像データに対して、第１および第２の補間法のうちの鮮鋭度が低い方の補間法に基づく補間演算を施して第３の補間画像データを算出し、各補間点における第３の補間画像データの補間信号と補正信号との加算値を算出することにより、第３の補間画像データを補正して最終的な補間画像データを得る。
【００４５】
これにより、高い鮮鋭度でシャープに再生したい部分については鮮鋭度を強調し、低い鮮鋭度で滑らかに再生したい部分については鮮鋭度を低減することができる。したがって、シャープネスやノイズ低減効果を犠牲にすることなく画像の鮮鋭度を部分的に高くしたり、画像を部分的に滑らかにしたりすることができる。
【００４６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００４７】
図１は本発明の第１の実施形態による画像データ補間方法を実施するための補間演算装置30を内包する画像再生システムを示す概略ブロック図である。図１に示すように、第１の実施形態を内包する画像再生システムは、画像を表す画像データを記憶した画像データ記憶装置10と、所定の再生サイズに適合するように画像データ記憶装置10に記憶された原画像データＳorg（カラー、白黒のいずれでもよい）に対して所定の信号処理を施す画像処理装置20と、画像処理装置20により所定の信号処理が施された補間画像データＳ′に基づいて、上記所望の再生サイズの可視画像を再生するＣＲＴやプリンタ等の再生手段40とを備えた構成である。
【００４８】
画像処理装置20は、例えば、画像を出力する印画紙のサイズ（Ｌサイズ、ポストカードサイズ、Ａ４サイズなど）に適合するように原画像データＳorgを信号処理するものであり、特に画像の拡大縮小に際して、原画像データＳorgとはデータ数の異なる補間画像データを補間演算によって算出する本発明の補間演算装置30を内包しているものである。
【００４９】
ここで本実施形態において使用される原画像データＳorgは、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘ_k-2，Ｘ_k-1，Ｘ_k，Ｘ_k+1，Ｘ_k-2…に対応したデジタル画像データ（Ｓ_k-2，Ｓ_k-1，Ｓ_k，Ｓ_k+1Ｓ_k+2…）である。
【００５０】
画像処理装置20に内包された補間演算装置30は、原画像データＳorgについてCubicスプライン補間法（第１および第３の補間法）により各補間点における補間信号ＳＣを求めるCubicスプライン補間演算手段31と、原画像データＳorgについてＢスプライン補間法（第２の補間法）により各補間点における補間信号ＳＢを求めるＢスプライン補間演算手段32と、補間信号ＳＣと補間信号ＳＢとの各補間点における差分値である差分信号ΔＳ（＝ＳＣ−ＳＢ）を算出する加算手段33と、差分信号ΔＳを後述するように補正して補正信号ΔＳ′を得る補正手段34と、各補間点における補間信号ＳＣと補正信号ΔＳ′とを減算して最終的な補間画像データＳ′（＝ＳＣ−ΔＳ′）を得る加算手段35とを備えた構成である。
【００５１】
Cubicスプライン補間演算手段31は、既述のCubicスプライン補間方法に従って、原画像データＳorgの各補間点における補間信号ＳＣを求める。具体的には、オリジナルのサンプリング点（画素）Ｘ_k-1〜Ｘ_k+2間に設けられた補間点Ｘpの補間信号ＳＣを３次のCubicスプライン補間演算式（16）により求める。
【００５２】
ＳＣ＝ｃ_k-1Ｓ_k-1＋ｃ_kＳ_k＋ｃ_k+1Ｓ_k+1＋ｃ_k+2Ｓ_k+2 （16）
ｃ_k-1＝（−ｔ³＋２ｔ²−ｔ）／２
ｃ_k＝（３ｔ³−５ｔ²＋２）／２
ｃ_k+1＝（−３ｔ³＋４ｔ²＋ｔ）／２
ｃ_k+2＝（ｔ³−ｔ²）／２
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘ_kを基準としたときの補間点Ｘ_pの画素Ｘ_k+1方向への位置を示す。）
Ｂスプライン補間演算手段32は、既述のＢスプライン補間方法に従って、原画像データＳorgの各補間点における補間信号ＳＢを求める。具体的には、オリジナルのサンプリング点Ｘ_k-1〜Ｘ_k+2間に設けられた補間点Ｘ_pの補間信号ＳＢを３次のＢスプライン補間演算式（17）により求める。
【００５３】
ＳＢ＝ｂ_k-1Ｓ_k-1＋ｂ_kＳ_k＋ｂ_k+1Ｓ_k+1＋ｂ_k+2Ｓ_k+2 （17）
ｂ_k-1＝（−ｔ³＋３ｔ²−３ｔ＋１）／６
ｂ_k＝（３ｔ³−６ｔ²＋４）／６
ｂ_k+1＝（−３ｔ³＋３ｔ²＋３ｔ＋１）／６
ｂ_k+2＝ｔ³／６
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘ_kを基準としたときの補間点Ｘ_pの画素Ｘ_k+1方向への位置を示す。）
また、実際の画像は画素が２次元に配列されて形成されるため、上記Cubicスプライン補間係数ｃ_k-1，ｃ_k，ｃ_k+1，ｃ_k+2、およびＢスプライン補間係数ｂ_k-1,ｂ_k，ｂ_k+1，ｂ_k+2は、それぞれ画像を構成する画素の互いに異なる２つの配列方向（ｉ方向、ｊ方向とする）ごとに求められるものであり、そのように求められたものを、それぞれＣij、Ｂijと表記するものとすることがあるものとする。
【００５４】
ここで、本実施形態の画像再生システムは単に補間画像データＳ′を出力するだけでなく、補間画像データＳ′の配列の間隔を原画像データＳorgの配列間隔と同一になるように拡張することによって、補間画像は原画像を拡大したものとして再生される。
【００５５】
補正手段34は、補間信号ＳＣと補間信号ＳＢとの各補間点における差分値である差分信号ΔＳの値に基づいて補正信号ΔＳ′を算出するものであり、具体的には図２に示すような補正関数に基づいて補正信号ΔＳ′を算出するものである。すなわち、差分信号ΔＳの絶対値がＳ１より小さい場合には、差分信号ΔＳの値をそのまま補正信号ΔＳ′の値とし（ΔＳ＝ΔＳ′）、差分信号ΔＳの絶対値がＳ１より大きくなるのに応じて補正信号ΔＳ′の絶対値を小さくし、さらに絶対値が一定値を超えた場合は補正信号ΔＳ′の値を０とするものである。
【００５６】
ここで、補間信号ＳＣは上述したCubicスプライン補間法に基づいて算出されているため、鮮鋭度の比較的高いシャープな画像を再生する信号となっており、補間信号ＳＢは上述したＢスプライン補間法に基づいて算出されているため、鮮鋭度は比較的低いが滑らかな画像を再生する信号となっている。このため、補間信号ＳＣと補間信号ＳＢとの差分値である差分信号ΔＳにおいては、画像中のエッジ部分などの鮮鋭度の高い部分においては値が大きく、画像中の滑らかな部分については値が小さいものとなっている。したがって、この差分信号ΔＳを補正手段34において図２に示す補正関数に基づいて補正することにより、補正信号ΔＳ′は、画像中の鮮鋭度が高い部分については０もしくは低い値となり、画像中の滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなる。
【００５７】
次に、本実施形態の画像再生システムの作用について説明する。
【００５８】
まず、画像処理装置20は画像データ記憶装置10に予め記憶されている原画像データＳorgを読み出す。また画像処理装置20は、再生手段40の印画紙のサイズに応じた拡大画像を表す補間画像データＳ′を得るために、この読み出された原画像データＳorgを画像処理装置20内の補間演算装置30に入力する。
【００５９】
補間演算装置30に入力された原画像データＳorgは、Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32に入力される。Cubicスプライン補間演算手段31、Ｂスプライン補間演算手段32は、再生手段40の印画紙のサイズに応じた各補間係数におけるｔの値を設定する。例えば２倍の拡大率が入力された場合は、ｔの値として0.5および1.0が設定され、４倍の場合は0.25,0.5,0.75,1.0の各値が設定され、10倍の場合は0.1,0.2,…,1.0の各値がｔの値として設定されて補間信号ＳＣ，ＳＢがそれぞれ求められる。Cubicスプライン補間演算手段31において求められた補間信号ＳＣと、Ｂスプライン補間演算手段32において求められた補間信号ＳＢとはそれぞれ加算手段33に入力され、この加算手段33において補間信号ＳＣと補間信号ＳＢとの各補間点における差分信号ΔＳが算出される。算出された差分信号ΔＳは補正手段34に入力される。
【００６０】
補正手段34に入力された差分信号ΔＳは図２に示す補正関数に基づいて補正されて補正信号ΔＳ′が算出される。ここで、差分信号ΔＳにおいては、画像中のエッジ部分など鮮鋭度が高い部分においては値が大きく、人物の顔など画像中の滑らかな部分については値が小さいものとなっているため、差分信号ΔＳを図２に示す補正関数に基づいて補正することにより、補正信号ΔＳ′は、画像中の鮮鋭度が高い部分については０もしくは低い値となり、画像中の滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなる。
【００６１】
補正手段34において算出された補正信号ΔＳ′は加算手段35に入力され、各補間点における補間信号ＳＣと補正信号ΔＳ′との差分値が算出される。ここで、補間信号ＳＣはCubicスプライン補間法に基づいて算出されているため、図３（ａ）に示すように鮮鋭度の比較的高いシャープな画像を再生する信号となっているが、画像中の本来滑らかであるべき肌色の部分においては図３（ａ）の部分Ｂに示すように写真の粒状等のノイズが目立ったものとなっている。一方、補正信号ΔＳ′は図３（ｂ）に示すように画像中の鮮鋭度が高い部分（図３（ａ）の部分Ａ）については０もしくは低い値であり、滑らかな部分については鮮鋭度が高い部分よりも大きな値を有するものとなっている。したがって、補間信号ＳＣから補正信号ΔＳ′を減算することにより得られる差分値からなる補間画像データＳ′は、図３（ｃ）に示すように、補間信号ＳＣ中の鮮鋭度が高い部分Ａの値が保存され、本来滑らかであるべき部分Ｂにおけるノイズが除去されたものとなる。このようにして得られた補間画像データＳ′は再生手段40に入力される。
【００６２】
再生手段40は入力された補間画像データＳ′に基づいた画像を可視画像として再生する。上述の処理により、この再生された可視画像は、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となっており、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となっている。したがって、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。
【００６３】
次いで、本発明の第２の実施形態について説明する。
【００６４】
図４は本発明の第２の実施形態による画像データ補間方法を実施するための補間演算装置30の構成を示す図である。なお、図２においては、図１に示した画像データ記憶装置10、画像処理装置20および再生手段40を省略している。第２の実施形態は、Ｂスプライン補間演算手段32および加算手段33に代えて、上記Cubicスプライン補間演算式(16)における補間係数ｃ_k-1，ｃ_k，ｃ_k+1，ｃ_k+2と、Ｂスプライン補間演算式（17）における補間係数ｂ_k-1，ｂ_k，ｂ_k+1，ｂ_k+2との各補間点における差分値を差分補間係数ｄ_k-1，ｄ_k，ｄ_k+1，ｄ_k+2として算出し、この差分補間係数ｄ_k-1，ｄ_k，ｄ_k+1，ｄ_k+2に基づいて補間演算を行い、各補間点における差分補間信号ΔＳ″を得る（Cubicスプライン−Ｂスプライン）補間演算手段36を備えた点が第１の実施形態と異なるものである。
【００６５】
ここで、（Cubicスプライン−Ｂスプライン）補間演算手段36においては、Cubicスプライン補間演算式(16)における補間係数ｃ_k-1，ｃ_k，ｃ_k+1，ｃ_k+2と、Ｂスプライン補間演算式（17）における補間係数ｂ_k-1，ｂ_k，ｂ_k+1，ｂ_k+2との各補間点における差分値を差分補間係数ｄ_k-1，ｄ_k，ｄ_k+1，ｄ_k+2として算出し、この差分補間係数ｄ_k-1，ｄ_k，ｄ_k+1，ｄ_k+2に基づいて補間演算を行っているため、得られる差分補間信号ΔＳ″は、上記第１の実施形態の加算手段33において得られる補間信号ＳＣと補間信号ＳＢとの差分信号ΔＳと実質的に同一の値となるものである。
【００６６】
したがって、差分補間信号ΔＳ″を補正手段34において補正して補正信号ΔＳ′を得、加算手段35において各補間点における補間信号ＳＣと補正信号ΔＳ′との差分値を算出することにより、第１の実施形態と同様に図３（ｃ）に示すように、補間信号ＳＣ中の鮮鋭度が高い部分Ａの値が保存され、本来滑らかであるべき部分Ｂにおけるノイズが除去された信号からなる補間画像データＳ′を得ることができる。したがって、この補間画像データＳ′を再生手段40において再生することにより、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となり、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となるため、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。
【００６７】
また、第２の実施形態においては、（Cubicスプライン−Ｂスプライン）補間演算手段36において実質的に第１の実施形態における加算手段33における処理をも同時に行うことができるため、装置の構成を簡易なものとすることができるとともに、演算時間を短縮して高速に処理を行うことができる。
【００６８】
なお、上記第１および第２の実施形態においては、補正信号ΔＳ′をCubicスプライン補間演算手段31において算出された補間信号ＳＣに対して加算しているが、Ｂスプライン補間演算手段32において算出された補間信号ＳＢに対して加算するようにしてもよい。この場合、Ｂスプライン補間法が第３の補間法となる。またこの場合、補正手段34において用いられる補正関数としては、図２に示すものとは逆に、差分信号ΔＳまたは差分補間信号ΔＳ″の信号値が小さい部分については０もしくは低い値とし、信号値が大きい部分についてはこれよりも大きな値となるような関数とするものである。
【００６９】
次いで、本発明の第３の実施形態について説明する。
【００７０】
図５は本発明の第３の実施形態による画像データ補間方法を実施するための補間演算装置30の構成を示す図である。なお、図２においては、図１に示した画像データ記憶装置10、画像処理装置20および再生手段40を省略している。第３の実施形態による補間演算装置30は、原画像データＳorgについて公知のLagurange補間法（第３の補間法）により補間信号ＳＬを求めるLagurange補間演算手段37と、上記第１および第２の実施形態と同様に各補間点における補間信号ＳＣ，ＳＢを算出するCubicスプライン補間演算手段31およびＢスプライン補間演算手段32と、補間信号ＳＣと補間信号ＳＢとをそれぞれ補正して補正補間信号ＳＣ′，ＳＢ′を得る補正手段34′と、各補間点における補正補間信号ＳＣ′を補正補間信号ＳＢ′により除して除算信号ＳＤを得る除算手段38と、除算信号ＳＤに基づいて補間信号ＳＬを補正するための補正信号ＳＤ′を得る演算手段39と、各補間点における補正信号ＳＤ′を補間信号ＳＬに乗じる乗算手段50とを備えた構成である。なお、第３の実施形態においては、Cubicスプライン補間法が第１の補間法、Ｂスプライン補間法が第２の補間法となる。
【００７１】
補正手段34′は、図６に示すような補正関数により補間信号ＳＣ、ＳＢを補正するものである。すなわち、画像中における信号値が大きい明るい部分については暗い部分よりも視覚的に濃度の差を認識しやすいものであるため、図６に示す補正関数により補間信号ＳＣ，ＳＢを補正することにより、より信号値が大きい明るい部分が強調されることとなる。
【００７２】
除算手段38は、各補間点における補正補間信号ＳＣ′を補正補間信号ＳＢ′により除して除算信号ＳＤを得るものである。ここで、補間信号ＳＣは上述したCubicスプライン補間法に基づいて算出されているため、鮮鋭度の比較的高いシャープな画像を再生する信号となっており、補間信号ＳＢは上述したＢスプライン補間法に基づいて算出されているため、鮮鋭度は比較的低いが滑らかな画像を再生する信号となっている。このため、除算信号ＳＤは、画像中のエッジ部分などの鮮鋭度の高い部分においては値が１より大きく、画像中の滑らかな部分については値が１程度のものとなっている。
【００７３】
演算手段39は除算信号ＳＤに基づいて、補間信号ＳＬを補正するための補正信号ＳＤ′を得るためのものであり、具体的に補正信号ＳＤ′は除算信号ＳＤの値が１に近いほど１よりも小さい値となり、除算信号ＳＤの値が１より大きいほど１よりも大きい値となるように演算手段39において補正信号ＳＤ′が演算される。
【００７４】
次に、第３の実施形態の作用について説明する。
【００７５】
補間演算装置30に入力された原画像データＳorgは、Lagurange補間演算手段37、Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32に入力される。Lagurange補間演算手段37においてはLagurange補間法に基づいて補間信号ＳＬが算出される。Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32においては上記第１の実施形態と同様に各補間点における補間信号ＳＣ，ＳＢが算出される。補間信号ＳＣ，ＳＢはそれぞれ補正手段34′に入力され、図６に示す補正関数に基づいて補正されて各補間点における補正補間信号ＳＣ′，ＳＢ′が算出される。補正補間信号ＳＣ′，ＳＢ′は除算手段38に入力され、各補間点における除算信号ＳＤ（＝ＳＣ′／ＳＢ′）が算出される。ここで、除算信号ＳＤにおいては、画像中のエッジ部分などの鮮鋭度の高い部分においては値が１より大きく、画像中の滑らかな部分については値が１程度となっている。除算信号ＳＤは演算手段39に入力され、ここで画像中のエッジ部分などの鮮鋭度の高い部分においては値が１より大きく、画像中の滑らかな部分については値が１より小さい補正信号ＳＤ′が算出される。
【００７６】
各補間点における補正信号ＳＤ′は乗算手段50において補間信号ＳＬに乗算される。ここで、補間信号ＳＬは鮮鋭度が高くもなく低くもない画像を再生するものであるが、補正信号ＳＤ′が乗算されることにより、滑らかな部分は信号値が小さくなり、本来鮮鋭度が比較的高い部分は信号値が大きくなるように補正される。したがって、補間信号ＳＬに補正信号ＳＤ′を乗算することにより得られる乗算信号からなる補間画像データＳ′は、補間信号ＳＬ中の本来滑らかであるべき部分の値が低減され、鮮鋭度が高い部分の値が強調されたものとなる。そしてこのようにして得られた補間画像データＳ′は再生手段40に入力されて可視像として再生される。
【００７７】
このように第３の実施形態においても、再生手段40において再生される可視画像は、画像中のエッジや細かい模様等の部分については鮮鋭度の比較的高いシャープな画像となっており、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかな画像となっているため、画像中の部分に応じた鮮鋭度を有する画像が再生できるように原画像の拡大縮小を行うことができる。
【００７８】
なお、上記第３の実施形態においては、補正手段34′において補間信号ＳＣ，ＳＢに対して図６に示す補正関数により補正を行うようにしているが、原画像データＳorgに対してまずこの補正関数により補正を行い、その後Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32において補間演算を行うようにしてもよい。また、この補正を行わなくてもよいものである。
【００７９】
次いで、本発明の第４の実施形態について説明する。
【００８０】
図７は、本発明の第４の実施形態による画像データ補間方法を実施するための補間演算装置30の構成を示す図である。なお、図７においては、図１に示した画像データ記憶装置10、画像処理装置20および再生手段40を省略している。第４の実施形態による補間演算装置30は、特にカラーの原画像データＳorgに対して処理を行うものであり、原画像データＳorgの各画素データを表すＲＧＢの色信号を下記式（18）に従って、ＹＣＣ輝度色差信号に変換する第１の変換手段51と、
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ
Ｃ１＝-0.299×Ｒ−0.587×Ｇ＋0.886×Ｂ
Ｃ２＝0.701×Ｒ−0.587×Ｇ−0.114×Ｂ （18）
変換手段51により得られたＹＣＣ輝度色差信号のうち輝度信号Ｙについて強調Cubicスプライン補間法（第１および第３の補間法）により各補間点における補間輝度信号ＹＣを求める強調Cubicスプライン補間演算手段31′（補間輝度信号算出手段）と、輝度信号Ｙについて強調Ｂスプライン補間法（第２の補間法）により各補間点における補間輝度信号ＹＢを求める強調Ｂスプライン補間演算手段32′（補間色差信号算出手段）と、色差信号Ｃ１およびＣ２について安定度重視のＢスプライン補間法により各補間点における補間色差信号Ｃ１Ｂ、Ｃ２Ｂを求めるＢスプライン補間演算手段32と、各補間点における補間輝度信号ＹＣと補間輝度信号ＹＢとの差分値である差分輝度信号ΔＹを算出する加算手段33′と、上述した第１の実施形態と同様に差分輝度信号ΔＹを補正して補正輝度信号ΔＹ′を得る補正手段34′と、各補間点における補間輝度信号ＹＣから補正輝度信号ΔＹ′を減算して補間画像信号Ｙ′を得る加算手段35′と、ＹＣＣ輝度色差信号を下記式（19）に従って、ＲＧＢ色信号に変換する第２の変換手段52とを備えた構成である。
【００８１】
Ｒ＝Ｙ′＋Ｃ２
Ｇ＝Ｙ′−0.194×Ｃ２−0.509×Ｃ２
Ｂ＝Ｙ′＋Ｃ１ （19）
ここで、強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′においては、例えば特開平９−９３４２６号公報に記載されているように、上述した補間係数ｃ_k-1，ｃ_k，ｃ_k+1，ｃ_k+2および補間係数ｂ_k-1，ｂ_k，ｂ_k+1，ｂ_k+2を、次式（20）〜（23）にしたがって、原画像データＹ_k-1、Ｙ_k、Ｙ_k+1、Ｙ_k+2に対応するごとに重み付けして加算して補間係数ａ_k-2，ａ_k-1，ａ_k，ａ_k+1，ａ_k+2を決定し、この補間係数ａ_k-2，ａ_k-1，ａ_k，ａ_k+1，ａ_k+2に基づいて補間演算を行うものである。
【００８２】

そして、強調Cubicスプライン補間演算手段31′においては、係数αの値を０よりも小さい値とすることにより、通常のCubicスプライン補間法により得られる画像よりも、一層鮮鋭度の高いシャープな補間画像を得ることができ、強調Ｂスプライン補間演算手段32′においては、係数αの値を１よりも大きい値とすることにより、通常のＢスプライン補間法により得られる画像よりも、さらに滑らかな補間画像を得ることができるものである。
【００８３】
次に、第４の実施形態の作用について説明する。
【００８４】
原画像データＳorgは、まず第１の変換手段51に入力され、Ｒ，Ｇ，Ｂの各色信号は前述の式（18）により輝度色差信号ＹＣＣに変換される。その後、輝度信号Ｙは強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′に入力され、色差信号Ｃ１およびＣ２はＢスプライン補間演算手段32に入力される。
【００８５】
強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′においては、輝度信号Ｙに対して上述した式（20）〜（23）により求められた補間係数ａ_k-1，ａ_k，ａ_k+1，ａ_k+2および係数αに基づいて補間演算が行われ各補間点における補間輝度信号ＹＣ，ＹＢが得られる。一方、Ｂスプライン補間演算手段32においては、上記第１の実施形態と同様にＢスプライン補間法に基づく補間演算が行われ、各補間点における補間色差信号Ｃ１Ｂ，Ｃ２Ｂが得られる。
【００８６】
補間輝度信号ＹＣ，ＹＢは加算手段33′、補正手段34′および加算手段35′において上記第１の実施形態と同様に演算が行われ、補間輝度信号Ｙ′が得られる。補間輝度信号Ｙ′と、補間色差信号Ｃ１ＢおよびＣ２Ｂはそれぞれ第２の変換手段52に入力され、この第２の変換手段52において前述の式（19）により補間色信号Ｒ′，Ｇ′，Ｂ′に変換される。
【００８７】
この補間演算装置30において得られた補間色信号Ｒ′，Ｇ′，Ｂ′は補間画像データＳ′における各色信号であり、補間画像データＳ′は再生手段40に入力されて可視像として再生される。
【００８８】
このように第４の実施形態においては、輝度信号Ｙに対して上記第１の実施形態と同様の補間演算を行うことにより、輝度信号Ｙについては画像中のエッジや細かい模様等の部分が鮮鋭度の比較的高いシャープな画像となり、人物の肌色などの部分が鮮鋭度は比較的低いが滑らかな画像となる。一方、色差信号Ｃ１，Ｃ２については滑らかな画像となる。このため、従来、鮮鋭度重視の補間方法によりＲＧＢ各色信号についてそれぞれ補間色信号を求めていたために生じた、データ補間後の可視画像における各画素での異なる方向および異なる量の色相ずれを生じることがなくなる。一方、人間の視覚は輝度信号に対して非常に敏感であるが、色差信号についてはそれほど敏感ではないものであるため、画像の鮮鋭度は輝度変化に依存するものである。第４の実施形態においては、輝度信号に対しては輝度信号に対して上記第１の実施形態と同様の補間演算を行うことにより、最終的に得られた補間画像データＳ′を再生することにより得られた画像について、エッジや細かい模様等の部分については鮮鋭度の比較的高いシャープなものとすることができるとともに、人物の肌色などの部分については鮮鋭度は比較的低いが滑らかなものとすることができる。
【００８９】
なお、上記第４の実施形態においては、強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′により輝度信号Ｙに対して補間演算を行っているが、上記第１の実施形態と同様のCubicスプライン補間演算手段31およびＢスプライン補間演算手段32により補間演算を行ってもよく、第２の実施形態あるいは第３の実施形態と同様に補間演算を行ってもよいものである。
【００９０】
また、上記第１から第３の実施形態においては、Cubicスプライン補間演算手段31およびＢスプライン補間演算手段32あるいは（Cubicスプライン−Ｂスプライン）補間演算手段36により補間演算を行っているが、第４の実施形態のように強調Cubicスプライン補間演算手段31′および強調Ｂスプライン補間演算手段32′により原画像データＳorgに対して補間演算を行ってもよい。
【００９１】
さらに、上記第４の実施形態においては、補正輝度信号ΔＹ′を強調Cubicスプライン補間演算手段31′において算出された補間輝度信号ＹＣに対して加算しているが、強調Ｂスプライン補間演算手段32′において算出された補間輝度信号ＹＢに対して加算するようにしてもよい。
【００９２】
また、第４の実施形態においては、輝度色差空間における信号としてＹＣＣ輝度色差信号を用いたが、Ｌａｂ，Ｌｕｖ等で表される輝度色差信号を用いてもよい。
【００９３】
なお、本実施形態においては、補間演算装置30は、画像データ記憶装置10に予め記憶された原画像データＳorgを用いるものについて説明したが、本発明の補間演算装置はこの形態に限るものではなく、画像読取装置により読み取って得られた、画像を表す画像データを用いる形態であってもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像データ補間装置を内包する画像再生システムを示すブロック図
【図２】補正関数を示すグラフ
【図３】第１の実施形態の加算手段35において行われる処理を説明するための図
【図４】本発明の第２の実施形態による画像データ補間装置の構成を示すブロック図
【図５】本発明の第３の実施形態による画像データ補間装置の構成を示すブロック図
【図６】第３の実施形態において用いられる補正関数を示すグラフ
【図７】本発明の第４の実施形態による画像データ補間装置の構成を示すブロック図
【図８】従来の、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）の原画像データからCubicスプライン補間演算により補間画像データを求める作用を説明するグラフ
【符号の説明】
10 画像データ記憶装置
20 画像処理装置
30 補間演算装置
31 Cubicスプライン補間演算手段
31′ 強調Cubicスプライン補間演算手段
32 Ｂスプライン補間演算手段
32′ 強調Ｂスプライン補間演算手段
33，35 加算手段
34 補正手段
36 （Cubicスプライン−Ｂスプライン）補間演算手段
37 Lagurange補間演算手段
38 除算手段
39 演算手段
40 再生手段
50 乗算手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image data interpolation method and apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in various fields, an image recorded on a photographic film is photoelectrically read to obtain an image signal, the image signal is subjected to appropriate image processing, and the image is reproduced and recorded. In a system that obtains an image signal and reproduces a visible image based on the image signal, when it is desired to observe a region of interest to be observed in the visible image in more detail, it is possible to enlarge and reproduce the region. is there. In this case, if the number of image data to be enlarged and used for reproduction is enlarged and reproduced with the number of original image data corresponding to the original image, the sharpness of the enlarged image is higher than that of the original image due to human visual characteristics. Are also perceived as having relatively decreased. Therefore, the mere sharp reproduction of the image lowers the sharpness and makes it impossible to observe the image in detail.
[0003]
Therefore, a predetermined interpolation operation is performed on the original image data obtained by reading the original image to obtain a data number different from the original image data number. By obtaining the interpolated image data as secondary image data and reproducing the visible image based on the interpolated image data, it is possible to prevent the sharpness of the image from lowering even when the image is reproduced in an enlarged manner.
[0004]
As described above, various methods of performing an interpolation operation on image data have conventionally been proposed, but generally, a method using a cubic spline interpolation function is often used. This method uses digitally obtained original image data {Z_k｝ Is a cubic function ｛f_k結 び, f at the set position of the interpolation point (the set position within each of the above sections)_kIs used as interpolation image data.
[0005]
The interpolation calculation that passes through the original image data is an interpolation method with relatively high sharpness, and for example, a Cubic spline interpolation calculation is known. Hereinafter, the Cubic spline interpolation calculation will be specifically described.
[0006]
Consecutive pixels X obtained by digitally reading from the original image_k-2, X_k-1, X_k, X_{k + 1}, X_{k + 2},... (Original image data) as shown in FIG._k-2, Z_k-1, Z_k, Z_{k + 1}, Z_{k + 2}, ... Here, the cubic spline interpolation function is expressed in each section X_k-2~ X_k-1, X_k-1~ X_k, X_k~ X_{k + 1}, X_{k + 1}~ X_{k + 2}And the spline interpolation function corresponding to each section is set as f_k-2, F_k-1, F_k, F_{k + 1}, F_{k + 2}And Each of the interpolation functions is a cubic function using the position of each section as a variable.
[0007]
Here, first, a point to be interpolated (hereinafter referred to as an interpolation point) X_pIs section X_k~ X_{k + 1}Will be described. Note that section X_k~ X_{k + 1}Spline interpolation function f corresponding to_kIs represented by the following equation (1).
[0008]
f_k(X) = A_kx^Three+ B_kx^Two+ C_kx + D_k              (1)
In the Cubic spline interpolation operation, the spline interpolation function f_kNeeds to pass through the original sample point (pixel) and its first derivative must be continuous in each section. From these conditions, it is necessary to satisfy the following equations (2) to (5)
f_k(X_k) = Z_k                      (2)
f_k(X_{k + 1}) = Z_{k + 1}                    (3)
f_k′ (X_k) = F_k-1′ (X_k) (4)
f_k′ (X_{k + 1}) = F_{k + 1}′ (X_{k + 1}) (5)
Note that f_k'Is the function f_kFirst derivative (3A_kx^Two+ 2B_kx + C_k).
[0009]
Here, the Cubic spline interpolation operation strictly includes the continuous condition of the second derivative, but the operation condition becomes complicated according to the continuous condition of the second derivative. It is generally used.
[0010]
In the Cubic spline interpolation calculation, the pixel X_kIs the first derivative of the pixel X_kX which is the pixel before and after_k-1And X_{k + 1}And these image data Z_k-1, Z_{k + 1}Gradient (Z_{k + 1}-Z_k-1) / (X_{k + 1}-X_k-1) Is a condition, so that the following equation (6) must be satisfied.
[0011]
f_k′ (X_k) = (Z_{k + 1}-Z_k-1) / (X_{k + 1}-X_k-1) (6)
Similarly, pixel X_{k + 1}Is the first derivative of the pixel X_{k + 1}X which is the pixel before and after_kAnd X_{k + 2}And these image data Z_k, Z_{k + 2}Gradient (Z_{k + 2}-Z_k) / (X_{k + 2}-X_k) Is a condition, so that the following equation (7) must be satisfied.
[0012]
f_k′ (X_{k + 1}) = (Z_{k + 2}-Z_k) / (X_{k + 2}-X_k) (7)
Here, each section X_k-2~ X_k-1, X_k-1~ X_k, X_k~ X_{k + 1}, X_{k + 1}~ X_{k + 2}Is defined as 1 and the pixel X_kPixel X from_{k + 1}Interpolation point X in direction_pIs defined as t (0 ≦ t ≦ 1), from equations (1) to (7),
f_k(0) = D_k= Z_k
f_k(1) = A_k+ B_k+ C_k+ D_k= Z_{k + 1}
f_k'(0) = C_k= (Z_{k + 1}-Z_k-1) / 2
f_k'(1) = 3A_k+ 2B_k+ C_k= (Z_{k + 2}-Z_k) / 2
Therefore,
A_k= (Z_{k + 2}-3Z_{k + 1}+ 3Z_k-Z_k-1) / 2
B_k= (-Z_{k + 2}+ 4Z_{k + 1}-5Z_k+ 2Z_k-1) / 2
C_k= (Z_{k + 1}-Z_k-1) / 2
D_k= Z_k
Note that the spline interpolation function f_k(X) performs the variable transformation of X = t as described above,
f_k(X) = f_k(T)
It becomes. Therefore, the interpolation point X_pImage data Z in_pIs
Z_p= F_k(T) = A_kt^Three+ B_kt^Two+ C_kt + D_k            (8)
Can be represented by Where each coefficient A_k, B_k, C_k, D_kIs substituted into equation (8),

And the image data Z_k-1, Z_k, Z_{k + 1}, Z_{k + 2}Can be expressed by the following equation (9).
[0013]

Here, the original image data Z_k-1, Z_k, Z_{k + 1}, Z_{k + 2}Is used as the interpolation coefficient c_k-1, C_k, C_{k + 1}, C_{k + 2}Called. That is, the original image data Z in the equation (6)_k-1, Z_k, Z_{k + 1}, Z_{k + 2}Interpolation coefficients c corresponding to_k-1, C_k, C_{k + 1}, C_{k + 2}Is
c_k-1= (-T^Three+ 2t^Two−t) / 2
c_k= (3t^Three-5t^Two+2) / 2
c_{k + 1}= (-3t^Three+ 4t^Two+ T) / 2
c_{k + 2}= (T^Three-T^Two) / 2
It becomes.
[0014]
The above operation is performed for each section X_k-2~ X_k-1, X_k-1~ X_k, X_k~ X_{k + 1}, X_{k + 1}~ X_{k + 2}Is repeated, interpolation image data having a different interval from the original image data can be obtained for the entire original image data.
[0015]
By the way, the Cubic spline interpolation operation needs to pass through the original sample point (pixel) as described above, and its first-order differential coefficient needs to be continuous between sections. This is an interpolation function for obtaining interpolated image data for reproducing a highly sharp secondary image (an image obtained by interpolation). On the other hand, the sharpness is relatively low in the interpolation calculation for a portion where the density change of the original image is gentle. It is desirable to reproduce a low but smooth secondary image. As an interpolation function for obtaining interpolated image data for reproducing a smooth secondary image with relatively low sharpness, for example, a B-spline (B-spline) interpolation operation is known. This B-spline interpolation operation does not require passing through the original sample points (pixels), but instead, the first derivative and the second derivative (represented by f ″ (X)) are continuous between sections. Is required.
[0016]
That is,
f_k(X) = A_kx^Three+ B_kx^Two+ C_kx + D_k                (1)
At
f_k′ (X_k) = F_k-1′ (X_k) (4)
f_k′ (X_{k + 1}) = F_{k + 1}′ (X_{k + 1}) (5)
f_k″ (X_k) = F_k-1″ (X_k) (Ten)
f_k″ (X_{k + 1}) = F_{k + 1}″ (X_{k + 1}) (11)
Is a condition. However, pixel X_kIs the first derivative of the pixel X_kX which is the pixel before and after_k-1And X_{k + 1}And these image data Z_k-1, Z_{k + 1}Gradient (Z_{k + 1}-Z_k-1) / (X_{k + 1}-X_k-1) Is a condition, so that the following equation (6) must be satisfied.
[0017]
f_k′ (X_k) = (Z_{k + 1}-Z_k-1) / (X_{k + 1}-X_k-1) (6)
Similarly, pixel X_{k + 1}Is the first derivative of the pixel X_{k + 1}X which is the pixel before and after_kAnd X_{k + 2}And these image data Z_k, Z_{k + 2}Gradient (Z_{k + 2}-Z_k) / (X_{k + 2}-X_k) Is a condition, so that the following equation (7) must be satisfied.
[0018]
f_k′ (X_{k + 1}) = (Z_{k + 2}-Z_k) / (X_{k + 2}-X_k) (7)
The function f (X) is generally approximated by the following equation (12).
[0019]
f (X) = f (0) + f '(0) X + {f "(0) / 2 @ X^Two            (12)
Here, each section X_k-2~ X_k-1, X_k-1~ X_k, X_k~ X_{k + 1}, X_{k + 1}~ X_{k + 2}Is defined as 1 and the pixel X_kPixel X from_{k + 1}Interpolation point X in direction_pIs defined as t (0 ≦ t ≦ 1), from equations (1), (4) to (7), and (10) to (12),
f_k'(0) = C_k= (Z_{k + 1}-Z_k-1) / 2
f_k'(1) = 3A_k+ 2B_k+ C_k= (Z_{k + 2}-Z_k) / 2
f_k″ (0) = Z_{k + 1}-2Z_k+ Z_k-1= 2B
Therefore,
A_k= (Z_{k + 2}-3Z_{k + 1}+ 3Z_k-Z_k-1) / 6
B_k= (Z_{k + 1}-2Z_k+ Z_k-1) / 2
C_k= (Z_{k + 1}-Z_k-1) / 2
Where D_kIs unknown,
D_k= (D₁Z_{k + 2}+ D_TwoZ_{k + 1}+ D_ThreeZ_k+ D_FourZ_k-1) / 6
far. Also, the spline interpolation function f_k(X) performs the variable transformation of X = t as described above,
f_k(X) = f_k(T)
It becomes. Therefore,

And the image data Z_k-1, Z_k, Z_{k + 1}, Z_{k + 2}Can be expressed by the following equation (13).
[0020]

Here, if t = 1,

Next, section X_{k + 1}~ X_{k + 2}Can be expressed by the following equation (14), similarly to the equation (13).
[0021]

Here, if t = 0,

Continuity condition (f_k(1) = f_{k + 1}(0)) and the condition that the coefficients corresponding to the respective original image data are equal to each other,_Four-1 = 0, D_Three-3 = D_Four, D_Two+ 3 = D_Three, D₁+ 1 = D_Two, D₁= 0 and therefore
D_k= (Z_{k + 1}+ 4Z_k+ Z_k-1) / 6
It becomes. Therefore,

Therefore, the original image data Z_k-1, Z_k, Z_{k + 1}, Z_{k + 2}Interpolation coefficients b corresponding to_k-1, B_k, B_{k + 1}, B_{k + 2}Is
b_k-1= (-T^Three+ 3t^Two-3t + 1) / 6
b_k= (3t^Three-6t^Two+4) / 6
b_{k + 1}= (-3t^Three+ 3t^Two+ 3t + 1) / 6
b_{k + 2}= T^Three/ 6
It becomes.
[0022]
The above operation is performed for each section X_k-2~ X_k-1, X_k-1~ X_k, X_k~ X_{k + 1}, X_{k + 1}~ X_{k + 2}Is repeated, interpolation image data having a different interval from the original image data can be obtained for the entire original image data.
[0023]
As described above, when it is desired to reproduce the secondary image (interpolated image) sharply with high sharpness, for example, Cubic spline interpolation calculation is used, and when it is desired to reproduce smoothly with low sharpness, for example, B spline interpolation calculation may be used.
[0024]
[Problems to be solved by the invention]
By the way, an image in which a person is a subject includes clothes and a face worn by the person, and when such an image is enlarged, a pattern of the clothes and the like are reproduced sharply with high sharpness. There is a demand to reduce the sharpness of a skin-colored portion such as a face to remove noise such as graininess and to reproduce smoothly. However, when the image is enlarged using the Cubic spline interpolation method or the B-spline interpolation method described above, the sharpness of the image cannot be partially increased or the image cannot be partially smoothed. It was necessary to choose between sacrifice or noise sacrifice, and the image could not be enlarged to satisfy both.
[0025]
The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide an image data interpolation method and apparatus capable of partially changing the sharpness of an image to perform interpolation enlargement and reduction. It is.
[0026]
[Means for Solving the Problems]
According to a first image data interpolation method of the present invention, an interpolation point is inserted between pixels constituting an image to interpolate the original image data representing the image, and the number of data is different from the original image data. In an image data interpolation method for obtaining image data,
A difference signal of an interpolation signal at each interpolation point of first and second interpolation image data obtained by performing an interpolation operation based on first and second interpolation methods having different sharpness levels on the original image data. Is calculated,
When the absolute value of the differential signal is less than a predetermined threshold, the signal has the signal value of the differential signal. When the absolute value of the differential signal is equal to or more than the predetermined threshold, the differential signal has By reducing the absolute value of the difference signal with an increase in the absolute value, and further correcting the difference signal so that the value of the difference signal is set to 0 when the absolute value exceeds a constant value larger than the absolute value. Calculate the correction signal,
Interpolation is performed on the original image data based on the higher sharpness interpolation method of the first and second interpolation methods to calculate third interpolation image data;
By calculating a difference value between the interpolation signal of the third interpolation image data and the correction signal at each of the interpolation points, it is possible to correct the third interpolation image data to obtain final interpolation image data. It is a feature.
[0027]
In a second image data interpolation method according to the present invention, an interpolation point is inserted between pixels constituting an image, thereby interpolating the original image data representing the image so that the number of data differs from that of the original image data. In an image data interpolation method for obtaining image data,
A difference signal at each interpolation point of the first and second interpolated image data obtained by performing an interpolation operation based on first and second interpolation methods having different sharpness levels on the original image data is calculated. ,
When the absolute value of the difference signal is less than a predetermined threshold value, the difference signal is reduced so that the absolute value of the difference signal is smaller than when the absolute value of the difference signal is equal to or greater than the predetermined threshold value. To calculate a correction signal by correcting
Interpolation is performed on the original image data based on the lower sharpness interpolation method of the first and second interpolation methods to calculate third interpolation image data;
By calculating an added value of the interpolation signal of the third interpolation image data and the correction signal at each of the interpolation points, it is possible to correct the third interpolation image data to obtain final interpolation image data. It is a feature.
[0028]
Here, as the first and second interpolation methods having different sharpness from each other, an interpolation method corresponding to an image having low sharpness is a B-spline interpolation method, and an interpolation method corresponding to an image having higher sharpness is used. It is desirable to use Cubic spline interpolation. This is because in the case of a combination of the two, the first derivative is continuous.
[0029]
However, the interpolation method of the present invention is not limited to these combinations, and various interpolation methods such as B-spline interpolation, Cubic spline interpolation, linear interpolation, and Lagurange interpolation can be used. Can be combined with any two interpolation operation functions.
[0030]
Calculating the feature amount and the interpolated image data does not necessarily require each to be obtained as a calculation result by an arithmetic expression. For example, when the computer executes the image data interpolation method of the present invention, the calculated features are calculated. It also includes physical calculations such as writing the amount and the interpolated image data into a computer memory.
[0031]
Further, these interpolation methods can be used as the third interpolation method, and it is particularly preferable to use any one of the first and second interpolation methods as the third interpolation method.
[0032]
In the first and second image data interpolation methods according to the present invention, the difference signal is calculated by calculating a difference value at each interpolation point between the first interpolation image data and the second interpolation image data. May be performed.
[0033]
In the first and second image data interpolation methods according to the present invention, the calculation of the difference signal is performed by calculating a difference between the interpolation signals at each interpolation point between the first interpolation image data and the second interpolation image data. This may be performed by calculating a value.
[0034]
Further, in the first and second image data interpolation methods according to the present invention, the calculation of the difference signal is performed by using the interpolation coefficient by the first interpolation method in a plurality of pixels in a predetermined range near each of the interpolation points. Calculating a difference interpolation coefficient that is a difference value from the interpolation coefficient obtained by the interpolation method 2, and multiplying a signal in a plurality of pixels in a predetermined range near each of the interpolation points by the corresponding difference interpolation coefficient. This may be performed by adding the plurality of signals multiplied by a coefficient.
[0035]
A third image data interpolation method according to the present invention applies the first and second image data interpolation methods according to the present invention particularly to a color image, and inserts interpolation points between pixels constituting the color image. Thereby, in the image data interpolation method of interpolating the original image data representing the color image to obtain interpolated image data having a different number of data from the original image data,
Converting the R, G, B color signals carrying the original image data into a luminance signal and a color difference signal carrying the original image data;
Calculating an interpolated luminance signal for the luminance signal based on the first or second image data interpolation method according to the present invention;
Calculating an interpolation color difference signal with emphasis on stability for the color difference signal,
The interpolation luminance signal and the interpolation chrominance signal are converted into R, G, B color signals, and interpolated image data composed of the R, G, B color signals obtained by the conversion is obtained. is there.
[0036]
Here, the interpolation with emphasis on stability is interpolation that ensures continuity of signal values, and refers to, for example, the above-described B-spline interpolation.
[0037]
A first image data interpolating apparatus according to the present invention interpolates original image data representing the image by inserting interpolation points between pixels constituting the image, and interpolates the image data different in the number of data from the original image data. In an image data interpolation device for obtaining image data,
A difference signal of an interpolation signal at each interpolation point of first and second interpolation image data obtained by performing an interpolation operation based on first and second interpolation methods having different sharpness levels on the original image data. Difference signal calculating means for calculating
When the absolute value of the differential signal is less than a predetermined threshold, the signal has the signal value of the differential signal. When the absolute value of the differential signal is equal to or more than the predetermined threshold, the differential signal has By reducing the absolute value of the difference signal with an increase in the absolute value, and further correcting the difference signal so that the value of the difference signal is set to 0 when the absolute value exceeds a constant value larger than the absolute value. Correction means for calculating a correction signal;
Interpolation operation means for performing an interpolation operation on the original image data based on the higher sharpness interpolation method of the first and second interpolation methods to calculate third interpolation image data;
Calculating a difference value between an interpolation signal of the third interpolation image data and the correction signal at each of the interpolation points, thereby correcting the third interpolation image data to obtain final interpolation image data It is characterized by having the following.
[0038]
The second image data interpolating apparatus according to the present invention interpolates the original image data representing the image by inserting interpolation points between pixels constituting the image, and interpolates the image data different in the number of data from the original image data. In an image data interpolation device for obtaining image data,
A difference signal at each interpolation point of the first and second interpolation image data obtained by performing an interpolation operation based on the first and second interpolation methods having different sharpness levels on the original image data is calculated. Difference signal calculating means,
When the absolute value of the difference signal is less than a predetermined threshold value, the difference signal is reduced so that the absolute value of the difference signal is smaller than when the absolute value of the difference signal is equal to or greater than the predetermined threshold value. Correction means for calculating a correction signal by correcting
Interpolation operation means for performing an interpolation operation on the original image data based on the lower sharpness interpolation method of the first and second interpolation methods to calculate third interpolation image data;
An adding means for correcting the third interpolation image data to obtain final interpolation image data by calculating an addition value of the interpolation signal of the third interpolation image data and the correction signal at each of the interpolation points; It is characterized by having the following.
[0039]
In the first and second image data interpolating devices according to the present invention, the difference signal calculating means may calculate the difference signal by using each of the first interpolation image data and the second interpolation image data. Means may be performed by calculating a difference value of the interpolation signal at the interpolation point.
[0040]
In the first and second image data interpolation devices according to the present invention, the difference signal means may calculate the difference signal by performing the first interpolation method on a plurality of pixels in a predetermined range near each interpolation point. And a difference interpolation coefficient that is a difference value between the interpolation coefficient according to the second interpolation method and the interpolation coefficient according to the second interpolation method. The signal may be multiplied by adding the plurality of signals multiplied by the difference interpolation coefficient.
[0041]
In the first and second image data interpolation devices according to the present invention, one of the first and second interpolation methods having different sharpness levels is a B-spline interpolation method, and the other is a Cubic spline interpolation method. Is also good.
[0042]
The third image data interpolating device according to the present invention interpolates the original image data representing the color image by inserting interpolation points between pixels constituting the color image, and the number of data is different from the original image data. In an image data interpolator for obtaining different interpolated image data,
First conversion means for converting the R, G, B color signals carrying the original image data into a luminance signal and a color difference signal carrying the original image data;
Interpolation luminance signal calculating means for performing an interpolation operation on the luminance signal by the first and second image data interpolation methods according to the present invention to calculate an interpolation luminance signal;
Interpolation color difference signal calculation means for performing an interpolation operation on the color difference signal by a stability-oriented interpolation method to calculate an interpolation color difference signal,
A second conversion means for converting the interpolated luminance signal and the interpolated color difference signal into R, G, B color signals and obtaining interpolated image data composed of the R, G, B color signals obtained by the conversion; It is characterized by having.
[0043]
【The invention's effect】
In the first image data interpolation method and apparatus according to the present invention, the first and second image data obtained by performing an interpolation operation based on the first and second interpolation methods having different sharpness levels on the original image data. A difference signal of the interpolation signal at each interpolation point of the interpolation image data is calculated, and when the absolute value of the difference signal is smaller than a predetermined threshold, the signal has the signal value of the difference signal. When the absolute value of the differential signal is equal to or larger than the threshold value, the absolute value of the differential signal is decreased with an increase in the absolute value of the differential signal. A correction signal is calculated by correcting the difference signal, and an interpolation operation is performed on the original image data based on the interpolation method having the higher sharpness of the first and second interpolation methods. Calculate interpolated image data and calculate each interpolated point By calculating a difference value between the interpolation signal and the correction signal of definitive the third interpolated image data to obtain the final interpolated image data by correcting the third interpolated image data.
[0044]
In the second image data interpolation method and apparatus according to the present invention, the first and second image data obtained by performing an interpolation operation based on the first and second interpolation methods having different sharpness levels on the original image data. A difference signal of the interpolation signal at each interpolation point of the interpolation image data is calculated. A correction signal is calculated by correcting the difference signal so as to reduce the absolute value of the difference signal, and the original image data is replaced with the lower sharpness interpolation method of the first and second interpolation methods. The third interpolation image data is corrected by calculating the third interpolation image data by performing an interpolation operation based on the third interpolation image data, and calculating the sum of the interpolation signal and the correction signal of the third interpolation image data at each interpolation point. And finally Obtaining between image data.
[0045]
As a result, the sharpness can be emphasized for a portion to be reproduced sharply with high sharpness, and the sharpness can be reduced for a portion to be reproduced smoothly with low sharpness. Therefore, it is possible to partially increase the sharpness of the image or partially smooth the image without sacrificing the sharpness and the noise reduction effect.
[0046]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0047]
FIG. 1 is a schematic block diagram showing an image reproduction system including an interpolation operation device 30 for implementing the image data interpolation method according to the first embodiment of the present invention. As shown in FIG. 1, an image reproduction system including the first embodiment includes an image data storage device 10 storing image data representing an image, and an image data storage device 10 adapted to a predetermined reproduction size. An image processing device 20 that performs predetermined signal processing on the stored original image data Sorg (which may be either color or black and white) and an interpolated image data S ′ that has been subjected to predetermined signal processing by the image processing device 20 And a reproducing means 40 such as a CRT or a printer for reproducing the visible image of the desired reproduction size based on the reproduction size.
[0048]
The image processing device 20 performs signal processing on the original image data Sorg so as to be adapted to the size of the photographic paper (L size, post card size, A4 size, etc.) for outputting the image, for example. At this time, the original image data Sorg includes the interpolation operation device 30 of the present invention that calculates interpolated image data having different numbers of data by interpolation operation.
[0049]
Here, the original image data Sorg used in the present embodiment has sampling points (pixels) X arranged in one direction sampled at equal intervals._k-2, X_k-1, X_k, X_{k + 1}, X_k-2Digital image data (S_k-2, S_k-1, S_k, S_{k + 1}S_{k + 2}…).
[0050]
An interpolation operation device 30 included in the image processing device 20 includes a Cubic spline interpolation operation means 31 for obtaining an interpolation signal SC at each interpolation point by the Cubic spline interpolation method (first and third interpolation methods) for the original image data Sorg. A B-spline interpolation calculating means 32 for obtaining an interpolation signal SB at each interpolation point for the original image data Sorg by a B-spline interpolation method (second interpolation method), and a difference value at each interpolation point between the interpolation signal SC and the interpolation signal SB. Adding means 33 for calculating a difference signal ΔS (= SC−SB), correction means 34 for correcting the difference signal ΔS as described later to obtain a correction signal ΔS ′, and correcting the interpolation signal SC at each interpolation point. An addition means 35 is provided to obtain the final interpolated image data S ′ (= SC−ΔS ′) by subtracting the signal ΔS ′ from the signal ΔS ′.
[0051]
The Cubic spline interpolation calculating means 31 obtains an interpolation signal SC at each interpolation point of the original image data Sorg according to the Cubic spline interpolation method described above. Specifically, the original sampling point (pixel) X_k-1~ X_{k + 2}The interpolation signal SC at the interpolation point Xp provided therebetween is obtained by the cubic spline interpolation equation (16).
[0052]
SC = c_k-1S_k-1+ C_kS_k+ C_{k + 1}S_{k + 1}+ C_{k + 2}S_{k + 2}  (16)
c_k-1= (-T^Three+ 2t^Two−t) / 2
c_k= (3t^Three-5t^Two+2) / 2
c_{k + 1}= (-3t^Three+ 4t^Two+ T) / 2
c_{k + 2}= (T^Three-T^Two) / 2
(However, for t (0 ≦ t ≦ 1), the grid interval is set to 1 and the pixel X_kInterpolation point X with reference to_pPixel X_{k + 1}Indicates the position in the direction. )
The B-spline interpolation calculating means 32 obtains an interpolation signal SB at each interpolation point of the original image data Sorg according to the B-spline interpolation method described above. Specifically, the original sampling point X_k-1~ X_{k + 2}Interpolation point X provided between_pIs obtained by the cubic B-spline interpolation operation formula (17).
[0053]
SB = b_k-1S_k-1+ B_kS_k+ B_{k + 1}S_{k + 1}+ B_{k + 2}S_{k + 2}  (17)
b_k-1= (-T^Three+ 3t^Two-3t + 1) / 6
b_k= (3t^Three-6t^Two+4) / 6
b_{k + 1}= (-3t^Three+ 3t^Two+ 3t + 1) / 6
b_{k + 2}= T^Three/ 6
(However, for t (0 ≦ t ≦ 1), the grid interval is set to 1 and the pixel X_kInterpolation point X with reference to_pPixel X_{k + 1}Indicates the position in the direction. )
Further, since the actual image is formed by arranging the pixels two-dimensionally, the Cubic spline interpolation coefficient c_k-1, C_k, C_{k + 1}, C_{k + 2}, And B-spline interpolation coefficient b_k-1, b_k, B_{k + 1}, B_{k + 2}Is obtained for each of two different arrangement directions (i-direction and j-direction) of pixels constituting an image, and the obtained values are expressed as Cij and Bij, respectively. It may be.
[0054]
Here, the image reproduction system of the present embodiment not only outputs the interpolated image data S 'but also extends the arrangement interval of the interpolated image data S' so as to be the same as the arrangement interval of the original image data Sorg. Thus, the interpolation image is reproduced as an enlarged version of the original image.
[0055]
The correction means 34 calculates the correction signal ΔS ′ based on the value of the difference signal ΔS, which is the difference value at each interpolation point between the interpolation signal SC and the interpolation signal SB. Specifically, as shown in FIG. The correction signal ΔS ′ is calculated based on a suitable correction function. That is, when the absolute value of the difference signal ΔS is smaller than S1, the value of the difference signal ΔS is directly used as the value of the correction signal ΔS ′ (ΔS = ΔS ′), and the absolute value of the difference signal ΔS becomes larger than S1. Accordingly, the absolute value of the correction signal ΔS ′ is reduced, and when the absolute value exceeds a certain value, the value of the correction signal ΔS ′ is set to 0.
[0056]
Here, since the interpolation signal SC is calculated based on the above-mentioned Cubic spline interpolation method, it is a signal for reproducing a sharp image having relatively high sharpness, and the interpolation signal SB is obtained by the above-described B-spline interpolation method. , The sharpness is relatively low, but the signal reproduces a smooth image. For this reason, in the difference signal ΔS which is a difference value between the interpolation signal SC and the interpolation signal SB, the value is large in a portion with high sharpness such as an edge portion in the image, and is large in a smooth portion in the image. It is small. Therefore, by correcting the difference signal ΔS by the correction means 34 based on the correction function shown in FIG. 2, the correction signal ΔS ′ becomes 0 or a low value in a portion where the sharpness in the image is high, and A smooth part has a larger value than a part with high sharpness.
[0057]
Next, the operation of the image reproduction system according to the present embodiment will be described.
[0058]
First, the image processing device 20 reads the original image data Sorg stored in the image data storage device 10 in advance. Further, the image processing device 20 uses the read original image data Sorg as an interpolation operation in the image processing device 20 to obtain interpolated image data S ′ representing an enlarged image corresponding to the size of the photographic paper of the reproducing means 40. Input to the device 30.
[0059]
The original image data Sorg input to the interpolation calculation device 30 is input to the Cubic spline interpolation calculation means 31 and the B spline interpolation calculation means 32. The Cubic spline interpolation calculating means 31 and the B spline interpolation calculating means 32 set the value of t in each interpolation coefficient according to the size of the photographic paper of the reproducing means 40. For example, when a double magnification is input, 0.5 and 1.0 are set as the values of t, and when the magnification is 4 times, the respective values of 0.25, 0.5, 0.75, and 1.0 are set. Each value of 0.2,..., 1.0 is set as the value of t, and the interpolation signals SC and SB are obtained. The interpolation signal SC obtained by the Cubic spline interpolation calculation means 31 and the interpolation signal SB obtained by the B-spline interpolation calculation means 32 are input to the addition means 33, and the addition signal 33 outputs the interpolation signal SC and the interpolation signal SB. Is calculated at each interpolation point. The calculated difference signal ΔS is input to the correction means 34.
[0060]
The difference signal ΔS input to the correction means 34 is corrected based on the correction function shown in FIG. 2 to calculate a correction signal ΔS '. Here, the difference signal ΔS has a large value in a portion with high sharpness such as an edge portion in an image, and has a small value in a smooth portion in an image such as a person's face. By correcting ΔS based on the correction function shown in FIG. 2, the correction signal ΔS ′ has a value of 0 or a low value for a portion having a high sharpness in the image, and has a high value for a smooth portion in the image. It has a larger value than the part.
[0061]
The correction signal ΔS ′ calculated by the correction means 34 is input to the addition means 35, and a difference value between the interpolation signal SC and the correction signal ΔS ′ at each interpolation point is calculated. Here, since the interpolation signal SC is calculated based on the Cubic spline interpolation method, it is a signal for reproducing a sharp image having relatively high sharpness as shown in FIG. In the part of the skin color which should be originally smooth, noise such as graininess of the photograph is conspicuous as shown in a part B of FIG. On the other hand, as shown in FIG. 3B, the correction signal ΔS ′ has a value of 0 or a low value for a portion having a high sharpness in the image (portion A in FIG. 3A), and has a sharpness value for a smooth portion. Has a larger value than the high part. Therefore, as shown in FIG. 3C, the interpolated image data S ′ composed of a difference value obtained by subtracting the correction signal ΔS ′ from the interpolated signal SC has a high sharpness portion A in the interpolated signal SC. The value is saved, and noise in the part B, which should be smooth, is removed. The interpolated image data S 'thus obtained is input to the reproducing means 40.
[0062]
The reproducing means 40 reproduces an image based on the input interpolation image data S 'as a visible image. By the above-described processing, the reproduced visible image is a sharp image having relatively high sharpness in a portion such as an edge or a fine pattern in the image, and is not sharp in a portion such as a human skin color. The image is relatively low but smooth. Therefore, the original image can be enlarged or reduced so that an image having a sharpness corresponding to a portion in the image can be reproduced.
[0063]
Next, a second embodiment of the present invention will be described.
[0064]
FIG. 4 is a diagram showing a configuration of an interpolation operation device 30 for implementing the image data interpolation method according to the second embodiment of the present invention. In FIG. 2, the image data storage device 10, the image processing device 20, and the reproducing means 40 shown in FIG. 1 are omitted. In the second embodiment, the interpolation coefficient c in the above Cubic spline interpolation calculation formula (16) is used instead of the B spline interpolation calculation means 32 and the addition means 33._k-1, C_k, C_{k + 1}, C_{k + 2}And the interpolation coefficient b in the B-spline interpolation equation (17)_k-1, B_k, B_{k + 1}, B_{k + 2}The difference value at each interpolation point with the difference interpolation coefficient d_k-1, D_k, D_{k + 1}, D_{k + 2}And the difference interpolation coefficient d_k-1, D_k, D_{k + 1}, D_{k + 2}The second embodiment differs from the first embodiment in that an interpolation operation is performed on the basis of the equation (3) to obtain a difference interpolation signal ΔS ″ at each interpolation point (Cubic spline-B spline).
[0065]
Here, the (Cubic spline-B spline) interpolation calculation means 36 calculates the interpolation coefficient c in the Cubic spline interpolation calculation formula (16)._k-1, C_k, C_{k + 1}, C_{k + 2}And the interpolation coefficient b in the B-spline interpolation equation (17)_k-1, B_k, B_{k + 1}, B_{k + 2}The difference value at each interpolation point with the difference interpolation coefficient d_k-1, D_k, D_{k + 1}, D_{k + 2}And the difference interpolation coefficient d_k-1, D_k, D_{k + 1}, D_{k + 2}Is obtained, the obtained difference interpolation signal ΔS ″ is substantially the same as the difference signal ΔS between the interpolation signal SC and the interpolation signal SB obtained by the adding means 33 of the first embodiment. Is the value of
[0066]
Therefore, the difference interpolation signal ΔS ″ is corrected by the correction means 34 to obtain a correction signal ΔS ′, and the addition means 35 calculates the difference value between the interpolation signal SC and the correction signal ΔS ′ at each interpolation point, thereby obtaining the first value. As shown in FIG. 3 (c), the value of the portion A having a high sharpness in the interpolation signal SC is preserved, and the interpolation of the signal from which the noise should be removed in the portion B, which should be smooth, as in the embodiment shown in FIG. Therefore, by reproducing the interpolated image data S 'in the reproducing means 40, a sharp image having a relatively high sharpness is obtained for the edges and fine patterns in the image. Because the sharpness of parts such as human skin color is relatively low but smooth, the original image is enlarged so that an image having sharpness corresponding to the parts in the image can be reproduced. It is possible to perform small.
[0067]
Further, in the second embodiment, the (Cubic spline-B spline) interpolation operation means 36 can substantially simultaneously perform the processing in the addition means 33 in the first embodiment. In addition, the processing time can be shortened and the processing can be performed at high speed.
[0068]
In the first and second embodiments, the correction signal .DELTA.S 'is added to the interpolation signal SC calculated by the Cubic spline interpolation calculating means 31, but the correction signal .DELTA.S' is calculated by the B spline interpolation calculating means 32. It may be added to the interpolated signal SB. In this case, the B-spline interpolation method is the third interpolation method. In this case, the correction function used in the correction means 34 is 0 or a low value for a portion where the signal value of the difference signal ΔS or the difference interpolation signal ΔS ″ is small, contrary to the one shown in FIG. For a portion where is large, the function is set to a value larger than this.
[0069]
Next, a third embodiment of the present invention will be described.
[0070]
FIG. 5 is a diagram showing a configuration of an interpolation operation device 30 for implementing the image data interpolation method according to the third embodiment of the present invention. In FIG. 2, the image data storage device 10, the image processing device 20, and the reproducing means 40 shown in FIG. 1 are omitted. An interpolation operation device 30 according to the third embodiment includes a Lagurange interpolation operation means 37 for obtaining an interpolation signal SL for the original image data Sorg by a known Lagurange interpolation method (third interpolation method), and the first and second embodiments. Similarly to the embodiment, a Cubic spline interpolation calculating means 31 and a B spline interpolation calculating means 32 for calculating interpolation signals SC and SB at each interpolation point, and correcting the interpolation signals SC and SB by correcting the interpolation signals SC and SB, respectively. Correction means 34 'for obtaining SB', division means 38 for dividing the corrected interpolation signal SC 'at each interpolation point by the corrected interpolation signal SB', and correction for the interpolation signal SL based on the division signal SD And a multiplying means 50 for multiplying the interpolation signal SL by the correction signal SD 'at each interpolation point. In the third embodiment, the Cubic spline interpolation method is a first interpolation method, and the B spline interpolation method is a second interpolation method.
[0071]
The correction means 34 'corrects the interpolation signals SC and SB using a correction function as shown in FIG. That is, since a bright portion having a large signal value in an image is easier to visually recognize the difference in density than a dark portion, by correcting the interpolation signals SC and SB using the correction function shown in FIG. A bright part having a larger signal value is emphasized.
[0072]
The dividing means 38 divides the corrected interpolation signal SC 'at each interpolation point by the corrected interpolation signal SB' to obtain a division signal SD. Here, since the interpolation signal SC is calculated based on the above-mentioned Cubic spline interpolation method, it is a signal for reproducing a sharp image having relatively high sharpness, and the interpolation signal SB is obtained by the above-described B-spline interpolation method. , The sharpness is relatively low, but the signal reproduces a smooth image. For this reason, the value of the division signal SD is larger than 1 in a portion with high sharpness such as an edge portion in an image, and is about 1 in a smooth portion in the image.
[0073]
The calculating means 39 is for obtaining a correction signal SD 'for correcting the interpolation signal SL based on the division signal SD. More specifically, the correction signal SD' becomes 1 as the value of the division signal SD becomes closer to 1. The correction signal SD 'is calculated by the calculating means 39 so that the value becomes smaller than 1 and the larger the value of the division signal SD is, the larger the value becomes.
[0074]
Next, the operation of the third embodiment will be described.
[0075]
The original image data Sorg input to the interpolation calculation device 30 is input to the Lagurange interpolation calculation means 37, the Cubic spline interpolation calculation means 31, and the B spline interpolation calculation means 32. The Lagurange interpolation calculation means 37 calculates the interpolation signal SL based on the Lagurange interpolation method. In the Cubic spline interpolation calculating means 31 and the B spline interpolation calculating means 32, the interpolation signals SC and SB at the respective interpolation points are calculated as in the first embodiment. The interpolation signals SC and SB are input to the correction means 34 ', respectively, and corrected based on the correction function shown in FIG. 6 to calculate corrected interpolation signals SC' and SB 'at each interpolation point. The corrected interpolation signals SC 'and SB' are input to the division means 38, and division signals SD (= SC '/ SB') at each interpolation point are calculated. Here, in the division signal SD, the value is larger than 1 in a portion having high sharpness such as an edge portion in the image, and the value is about 1 in a smooth portion in the image. The division signal SD is input to the calculating means 39, where the correction signal SD 'has a value larger than 1 in a high-sharpness portion such as an edge portion in the image, and has a value smaller than 1 in a smooth portion in the image. Is calculated.
[0076]
The correction signal SD 'at each interpolation point is multiplied by the interpolation signal SL by the multiplication means 50. Here, the interpolation signal SL reproduces an image having neither high nor low sharpness. However, by multiplying the correction signal SD ′, the signal value of a smooth portion becomes small, and the sharpness is originally reduced. The relatively high portion is corrected so that the signal value becomes large. Therefore, in the interpolated image data S 'composed of a multiplied signal obtained by multiplying the interpolation signal SL by the correction signal SD', the value of the originally smooth portion of the interpolation signal SL is reduced, and the portion of the interpolation signal SL having high sharpness is reduced. Is emphasized. The interpolated image data S 'thus obtained is input to the reproducing means 40 and reproduced as a visible image.
[0077]
As described above, also in the third embodiment, the visible image reproduced by the reproducing unit 40 is a sharp image having relatively high sharpness at the edges and fine patterns in the image, and the person is Since the sharpness is relatively low but smooth in the portion such as the skin color, the original image can be enlarged or reduced so that the image having the sharpness corresponding to the portion in the image can be reproduced.
[0078]
In the third embodiment, the correction means 34 'corrects the interpolation signals SC and SB using the correction function shown in FIG. 6. First, the correction is performed on the original image data Sorg. The correction may be performed by a function, and then the interpolation calculation may be performed in the Cubic spline interpolation calculation means 31 and the B spline interpolation calculation means 32. Further, this correction need not be performed.
[0079]
Next, a fourth embodiment of the present invention will be described.
[0080]
FIG. 7 is a diagram showing a configuration of an interpolation operation device 30 for implementing the image data interpolation method according to the fourth embodiment of the present invention. In FIG. 7, the image data storage device 10, the image processing device 20, and the reproducing means 40 shown in FIG. 1 are omitted. The interpolation arithmetic unit 30 according to the fourth embodiment is particularly for processing color original image data Sorg, and converts RGB color signals representing each pixel data of the original image data Sorg according to the following equation (18). , A first conversion means 51 for converting a YCC luminance / color difference signal into
Y = 0.299 × R + 0.587 × G + 0.114 × B
C1 = -0.299 × R-0.587 × G + 0.886 × B
C2 = 0.701 x R-0.587 x G-0.114 x B (18)
Enhanced Cubic spline interpolation calculating means 31 for obtaining an interpolated luminance signal YC at each interpolation point by an enhanced Cubic spline interpolation method (first and third interpolation methods) for the luminance signal Y among the YCC luminance and color difference signals obtained by the conversion means 51. (Interpolated luminance signal calculating means) and enhanced B-spline interpolation calculating means 32 '(interpolated color difference signal calculating means) for obtaining an interpolated luminance signal YB at each interpolation point by an enhanced B-spline interpolation method (second interpolation method) for the luminance signal Y. Means), B-spline interpolation calculating means 32 for obtaining interpolated color difference signals C1B and C2B at each interpolation point by a B-spline interpolation method emphasizing stability for the color difference signals C1 and C2, an interpolated luminance signal YC and interpolated luminance at each interpolation point. An adding means 33 'for calculating a difference luminance signal ΔY, which is a difference value from the signal YB, is provided in the same manner as in the first embodiment. Correction means 34 'for correcting the partial luminance signal .DELTA.Y to obtain a corrected luminance signal .DELTA.Y', and adding means 35 'for subtracting the corrected luminance signal .DELTA.Y' from the interpolated luminance signal YC at each interpolation point to obtain an interpolated image signal Y '. And a second conversion means 52 for converting the YCC luminance / color difference signal into an RGB color signal according to the following equation (19).
[0081]
R = Y '+ C2
G = Y'-0.194xC2-0.509xC2
B = Y '+ C1 (19)
Here, in the enhanced Cubic spline interpolation calculating means 31 'and the enhanced B spline interpolation calculating means 32', for example, as described in Japanese Patent Application Laid-Open No. 9-93426, the interpolation coefficient c_k-1, C_k, C_{k + 1}, C_{k + 2}And interpolation coefficient b_k-1, B_k, B_{k + 1}, B_{k + 2}According to the following equations (20) to (23):_k-1, Y_k, Y_{k + 1}, Y_{k + 2}And weighted and added for each of the interpolation coefficients a._k-2, A_k-1, A_k, A_{k + 1}, A_{k + 2}And the interpolation coefficient a_k-2, A_k-1, A_k, A_{k + 1}, A_{k + 2}Is used to perform an interpolation operation.
[0082]

Then, in the enhanced Cubic spline interpolation calculating means 31 ', by setting the value of the coefficient α to a value smaller than 0, a sharp interpolated image having a higher sharpness than an image obtained by a normal Cubic spline interpolation method. In the enhanced B-spline interpolation calculating means 32 ', by setting the value of the coefficient α to a value larger than 1, a smoother interpolated image than an image obtained by a normal B-spline interpolation method can be obtained. Can be obtained.
[0083]
Next, the operation of the fourth embodiment will be described.
[0084]
The original image data Sorg is first input to the first conversion means 51, and each of the R, G, and B color signals is converted to a luminance / color difference signal YCC by the above-described equation (18). Thereafter, the luminance signal Y is input to the enhanced Cubic spline interpolation calculating means 31 'and the enhanced B spline interpolation calculating means 32', and the color difference signals C1 and C2 are input to the B spline interpolation calculating means 32.
[0085]
In the emphasized Cubic spline interpolation calculating means 31 'and the emphasized B-spline interpolation calculating means 32', the interpolation coefficient a calculated by the above-described formulas (20) to (23) for the luminance signal Y is used._k-1, A_k, A_{k + 1}, A_{k + 2}And an interpolation operation is performed based on the coefficient α to obtain interpolation luminance signals YC and YB at each interpolation point. On the other hand, in the B-spline interpolation operation means 32, an interpolation operation based on the B-spline interpolation method is performed in the same manner as in the first embodiment, and interpolation color difference signals C1B and C2B at each interpolation point are obtained.
[0086]
The interpolation luminance signals YC and YB are calculated by the addition means 33 ', the correction means 34' and the addition means 35 'in the same manner as in the first embodiment, and an interpolation luminance signal Y' is obtained. The interpolated luminance signal Y 'and the interpolated color difference signals C1B and C2B are input to a second conversion means 52, and the second conversion means 52 calculates the interpolated color signals R', G ', B by the above-mentioned equation (19). '.
[0087]
The interpolated color signals R ', G', B 'obtained by the interpolation operation device 30 are the respective color signals in the interpolated image data S'. The interpolated image data S 'is inputted to the reproducing means 40 and reproduced as a visible image. Is done.
[0088]
As described above, in the fourth embodiment, by performing the same interpolation calculation on the luminance signal Y as in the first embodiment, the luminance signal Y has sharp edges and small patterns in the image. A sharp image having a relatively high degree is obtained, and a portion such as a skin color of a person has a relatively low sharpness but a smooth image. On the other hand, the color difference signals C1 and C2 are smooth images. For this reason, in the related art, since the interpolation color signal is obtained for each of the RGB color signals by the interpolation method emphasizing the sharpness, a different direction and a different amount of hue shift occur in each pixel in the visible image after the data interpolation. Disappears. On the other hand, human vision is very sensitive to the luminance signal, but not so sensitive to the color difference signal, so that the sharpness of the image depends on the luminance change. In the fourth embodiment, the interpolation processing similar to that of the first embodiment is performed on the luminance signal to reproduce the finally obtained interpolated image data S ′. In the image obtained by the above, it is possible to obtain a sharp image having relatively high sharpness for parts such as edges and fine patterns, and a relatively low but smooth image for parts such as skin color of a person. It can be.
[0089]
In the fourth embodiment, the interpolation operation is performed on the luminance signal Y by the enhanced Cubic spline interpolation operation means 31 'and the enhanced B spline interpolation operation means 32'. The interpolation operation may be performed by the similar Cubic spline interpolation operation means 31 and the B spline interpolation operation means 32, and may be performed in the same manner as in the second embodiment or the third embodiment.
[0090]
In the first to third embodiments, the interpolation calculation is performed by the Cubic spline interpolation calculation means 31, the B spline interpolation calculation means 32, or the (Cubic spline-B spline) interpolation calculation means 36. As in the embodiment, the interpolation operation may be performed on the original image data Sorg by the enhanced Cubic spline interpolation operation means 31 'and the enhanced B spline interpolation operation means 32'.
[0091]
Further, in the fourth embodiment, the corrected luminance signal ΔY ′ is added to the interpolated luminance signal YC calculated by the enhanced Cubic spline interpolation operation means 31 ′. May be added to the interpolated luminance signal YB calculated in.
[0092]
In the fourth embodiment, the YCC luminance / chrominance signal is used as the signal in the luminance / chrominance space. However, a luminance / chrominance signal represented by Lab, Luv, or the like may be used.
[0093]
In the present embodiment, the interpolation calculation device 30 has been described as using the original image data Sorg stored in the image data storage device 10 in advance, but the interpolation calculation device of the present invention is not limited to this embodiment. Alternatively, a mode using image data representing an image obtained by reading with an image reading device may be used.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an image reproduction system including an image data interpolation device according to a first embodiment of the present invention.
FIG. 2 is a graph showing a correction function.
FIG. 3 is a diagram for explaining processing performed in an adding unit 35 of the first embodiment.
FIG. 4 is a block diagram illustrating a configuration of an image data interpolation device according to a second embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of an image data interpolation device according to a third embodiment of the present invention.
FIG. 6 is a graph showing a correction function used in the third embodiment.
FIG. 7 is a block diagram showing a configuration of an image data interpolation device according to a fourth embodiment of the present invention.
FIG. 8 is a graph illustrating a conventional operation of obtaining interpolated image data by Cubic spline interpolation from original image data of sampling points (pixels) arranged in one direction and sampled at equal intervals.
[Explanation of symbols]
10 Image data storage device
20 Image processing device
30 Interpolator
31 Cubic spline interpolation calculation means
31 'enhanced Cubic spline interpolation calculation means
32 B spline interpolation calculation means
32 'enhanced B-spline interpolation calculation means
33, 35 Addition means
34 Correction means
36 (Cubic spline-B spline) interpolation calculation means
37 Lagurange interpolation calculation means
38 Division
39 Calculation means
40 Reproduction means
50 Multiplication means

Claims (12)

In an image data interpolation method of interpolating original image data representing the image by inserting interpolation points between pixels constituting the image to obtain interpolated image data having a different number of data from the original image data,
A difference signal of an interpolation signal at each interpolation point of the first and second interpolation image data obtained by performing an interpolation operation based on first and second interpolation methods having different sharpness levels on the original image data. Is calculated,
When the absolute value of the differential signal is less than a predetermined threshold, the signal has the signal value of the differential signal. When the absolute value of the differential signal is equal to or more than the predetermined threshold, the differential signal has By reducing the absolute value of the difference signal with an increase in the absolute value, and further correcting the difference signal so that the value of the difference signal is set to 0 when the absolute value exceeds a constant value larger than the absolute value. Calculate the correction signal,
Interpolation is performed on the original image data based on the higher sharpness interpolation method of the first and second interpolation methods to calculate third interpolation image data;
By calculating a difference value between the interpolation signal of the third interpolation image data and the correction signal at each of the interpolation points, it is possible to correct the third interpolation image data to obtain final interpolation image data. Characteristic image data interpolation method. In an image data interpolation method of interpolating original image data representing the image by inserting interpolation points between pixels constituting the image to obtain interpolated image data having a different number of data from the original image data,
A difference signal at each interpolation point of the first and second interpolated image data obtained by performing an interpolation operation based on first and second interpolation methods having different sharpness levels on the original image data is calculated. ,
When the absolute value of the difference signal is less than a predetermined threshold value, the difference signal is reduced so that the absolute value of the difference signal is smaller than when the absolute value of the difference signal is equal to or greater than the predetermined threshold value. To calculate a correction signal by correcting
Interpolation is performed on the original image data based on the lower sharpness interpolation method of the first and second interpolation methods to calculate third interpolation image data;
By calculating an added value of the interpolation signal of the third interpolation image data and the correction signal at each of the interpolation points, it is possible to correct the third interpolation image data to obtain final interpolation image data. Characteristic image data interpolation method. 3. The method according to claim 1, wherein the calculation of the difference signal is performed by calculating a difference value of an interpolation signal at each interpolation point between the first interpolation image data and the second interpolation image data. Image data interpolation method. The calculation of the difference signal is performed by calculating a difference interpolation coefficient which is a difference value between an interpolation coefficient by the first interpolation method and an interpolation coefficient by the second interpolation method in a plurality of pixels in a predetermined range near each of the interpolation points. The signal is obtained by multiplying a signal in a plurality of pixels in a predetermined range near each of the interpolation points by the corresponding difference interpolation coefficient, and adding the plurality of signals multiplied by the difference interpolation coefficient. 3. The image data interpolation method according to claim 1, wherein 5. The image data according to claim 1, wherein one of the first and second interpolation methods having different sharpness levels is a B-spline interpolation method, and the other is a Cubic spline interpolation method. 6. Interpolation method. An image data interpolation method for interpolating original image data representing the color image to obtain interpolated image data having a different number of data from the original image data by inserting interpolation points between pixels constituting the color image,
Converting the R, G, B color signals carrying the original image data into a luminance signal and a color difference signal carrying the original image data;
An interpolation luminance signal is calculated by performing an interpolation operation on the luminance signal according to the image data interpolation method according to any one of claims 1 to 5.
Calculating an interpolation color difference signal by performing an interpolation operation on the color difference signal by a stability-oriented interpolation method;
Converting the interpolated luminance signal and the interpolated color difference signal into R, G, B color signals, and obtaining interpolated image data composed of the R, G, B color signals obtained by the conversion; Interpolation method. In an image data interpolating apparatus for interpolating original image data representing the image to obtain interpolated image data having a different number of data from the original image data by inserting interpolation points between pixels constituting the image,
A difference signal of an interpolation signal at each interpolation point of the first and second interpolation image data obtained by performing an interpolation operation based on first and second interpolation methods having different sharpness levels on the original image data. Difference signal calculating means for calculating
When the absolute value of the differential signal is less than a predetermined threshold, the signal has the signal value of the differential signal. When the absolute value of the differential signal is equal to or more than the predetermined threshold, the differential signal has By reducing the absolute value of the difference signal with an increase in the absolute value, and further correcting the difference signal so that the value of the difference signal is set to 0 when the absolute value exceeds a constant value larger than the absolute value. Correction means for calculating a correction signal;
Interpolation operation means for performing an interpolation operation on the original image data based on the higher sharpness interpolation method of the first and second interpolation methods to calculate third interpolation image data;
Difference means for calculating a difference value between the interpolation signal of the third interpolation image data and the correction signal at each of the interpolation points, thereby correcting the third interpolation image data to obtain final interpolation image data. An image data interpolating device comprising: In an image data interpolating apparatus for interpolating original image data representing the image to obtain interpolated image data having a different number of data from the original image data by inserting interpolation points between pixels constituting the image,
A difference signal at each interpolation point of the first and second interpolation image data obtained by performing an interpolation operation based on the first and second interpolation methods having different sharpness levels on the original image data is calculated. Difference signal calculating means,
When the absolute value of the difference signal is less than a predetermined threshold value, the difference signal is reduced so that the absolute value of the difference signal is smaller than when the absolute value of the difference signal is equal to or greater than the predetermined threshold value. Correction means for calculating a correction signal by correcting
Interpolation operation means for performing an interpolation operation on the original image data based on the lower sharpness interpolation method of the first and second interpolation methods to calculate third interpolation image data;
An adding means for correcting the third interpolation image data to obtain final interpolation image data by calculating an addition value of the interpolation signal of the third interpolation image data and the correction signal at each of the interpolation points; An image data interpolating device comprising: The difference signal calculation means is means for calculating the difference signal by calculating a difference value of an interpolation signal at each interpolation point between the first interpolation image data and the second interpolation image data. 9. The image data interpolation device according to claim 7, wherein: The difference signal means calculates the difference signal by a difference value between an interpolation coefficient by the first interpolation method and an interpolation coefficient by the second interpolation method in a plurality of pixels in a predetermined range near each of the interpolation points. Calculate a difference interpolation coefficient, multiply signals in a plurality of pixels in a predetermined range near each interpolation point by the corresponding difference interpolation coefficient, and add the plurality of signals multiplied by the difference interpolation coefficient. 9. The image data interpolating apparatus according to claim 7, wherein the image data interpolating means is a means for performing the operation. The image data according to any one of claims 7 to 10, wherein one of the first and second interpolation methods having different sharpness levels is a B-spline interpolation method, and the other is a Cubic spline interpolation method. Interpolator. By inserting interpolation points between pixels constituting a color image, an image data interpolation device for interpolating original image data representing the color image and obtaining interpolated image data having a different data number from the original image data,
First conversion means for converting the R, G, B color signals carrying the original image data into a luminance signal and a color difference signal carrying the original image data;
An interpolated luminance signal calculation means for performing an interpolation operation on the luminance signal by the image data interpolation method according to any one of claims 1 to 5 to calculate an interpolated luminance signal,
Interpolation color difference signal calculation means for performing an interpolation operation on the color difference signal by a stability-oriented interpolation method to calculate an interpolation color difference signal,
A second conversion means for converting the interpolated luminance signal and the interpolated color difference signal into R, G, B color signals and obtaining interpolated image data composed of the R, G, B color signals obtained by the conversion; An image data interpolation device, comprising:

Images