JP4547752B2

JP4547752B2 - Image processing apparatus and method, and recording medium

Info

Publication number: JP4547752B2
Application number: JP2000006570A
Authority: JP
Inventors: ミッシェルグザビエ; 士郎大森; 和彦上田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-01-14
Filing date: 2000-01-14
Publication date: 2010-09-22
Anticipated expiration: 2020-01-14
Also published as: JP2001195571A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、デジタル画像データを高解像度で拡大させることを可能にする画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
デジタル画像データを高解像度で拡大し、表示させる技術が普及しつつある。
例えば、デジタルカメラやカムコーダなどのデジタル画像データの表示技術として、デジタルズームと呼ばれる、デジタル画像データの拡大表示を、高解像度で実現させる為の開発が進められている。
【０００３】
従来、デジタル画像データを拡大させる場合、隣接補間法、２次元線形補間法、または、Ｂスプライン法などに代表される手法が用いられてきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、０次ホールド補間法として知られている隣接補間法は、拡大することによって生じたブランクに、隣接するピクセルを挿入して表示させる方法であるため、ハードウェアに最も負荷をかけずに、簡単に、デジタル画像データを拡大することができる反面、高倍率の拡大表示をすると、いわゆるモザイクパターンが現れてしまい、画像のエッジ部分（輪郭を形成する部分）を歪ませたり、ギザギザに表示してしまうなどの課題があった。
【０００５】
２次元線形補間法は、拡大する際に、元の画像のピクセル間に生じるブランクとなる部分に、水平方向および垂直方向のそれぞれに隣接する元の画像のピクセルの平均となるピクセルを挿入することによりデジタル画像データを拡大する方法であるが、水平方向と垂直方向に補間する為、隣接補間法よりも、補間方法では優れているものの、画像全体が、ぼやけてしまうため、解像度を向上させることは困難である。このため、元の画像データを高倍率で拡大すると、隣接補間法と同様にモザイクパターンが現れてしまうという課題があった。
【０００６】
Ｂスプライン法は、隣接補間法や２次元線形補間法に比べると、安定しており、高倍率で拡大する場合でも、モザイクパターンなどが生じないが、画像をぼやけさせてしまうと共に、複雑な計算をしなければならないため、相対的にハードウェアに負荷がかかってしまうという課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、簡単な装置構成と、計算方法で、デジタル画像データを高解像度で拡大させるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の第1の画像処理装置は、入力された画像データの画像を拡大させる画像処理装置であって、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、文字エッジ検出手段により検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段とを備えることを特徴とする。
【００１１】
本発明の第1の画像処理方法は、入力された画像データの画像を拡大させる画像処理装置であって、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、文字エッジ検出手段により検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段とを備えることを特徴とする画像処理装置の画像処理方法において、判定手段における、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定ステップと、文字エッジ検出手段における、判定ステップの処理での判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出ステップと、文字エッジ強調手段における、文字エッジ検出ステップの処理で検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出ステップにより検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調ステップと、拡大手段における、文字エッジ強調ステップによりエッジ部の接続部が強調された画像データを拡大する拡大ステップとを含むことを特徴とする。
【００１２】
本発明の第1の記録媒体のプログラムは、入力された画像データの画像を拡大させる画像処理装置であって、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、文字エッジ検出手段により検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調手段と、文字エッジ強調手段によりエッジ部の接続部が強調された画像データを拡大する拡大手段とを備えることを特徴とする画像処理装置を制御するコンピュータに読み取り可能なプログラムであって、判定手段における、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定ステップと、文字エッジ検出手段における、判定ステップの処理での判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出ステップと、文字エッジ強調手段における、文字エッジ検出ステップの処理で検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出ステップにより検出された２つのピクセルの組のエネルギの平均値に置換することにより、検出されたエッジ部の接続部を強調する文字エッジ強調ステップと、拡大手段における、文字エッジ強調ステップによりエッジ部の接続部が強調された画像データを拡大する拡大ステップとを含むことを特徴とする。
【００１７】
前記ピクセル生成手段には、ブランクに、エッジ方向検出手段により検出されたエッジ方向上の２つのピクセルのエネルギの線形補間により、ピクセルを生成させるようにすることができる。
【００１９】
前記２次元のフィルタ処理は、３×３ピクセルに対するローパスフィルタ処理と、５×５ピクセルに対するハイパスフィルタ処理とを同時に作用させる５×５ピクセルに対するフィルタ処理とすることができる。
【００２７】
本発明の第２の画像処理装置は、入力された画像データの画像を拡大させる画像処理装置において、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかを判定する判定手段と、判定手段の判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組を、入力された画像データの画像のうちの文字のエッジ部として検出する文字エッジ検出手段と、文字エッジ検出手段により検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルを、文字エッジ検出手段により検出された２つのピクセルの組のエネルギの平均値に置換することにより、エッジ部の接続部を強調する文字エッジ強調手段と、判定手段の判定結果が写真である場合、水平方向および垂直方向のそれぞれのいずれかである第１方向、および第２方向に、入力された画像データの各ピクセル間に、それぞれ第１方向ブランク、および第２方向ブランクを生成するブランク生成手段と、ブランク生成手段により生成された第１方向ブランク、または第２方向ブランクと隣接する各ピクセルに基づいて、第１方向、または第２方向に隣接するピクセル間のエネルギ差を求め、そのエネルギ差が閾値を超える場合、第１方向ブランク、または第２方向ブランクを中心として対称の位置関係となる２つのピクセル同士のエネルギ差が、最小となる２つのピクセル間を結ぶ方向をエッジ方向として検出するエッジ方向検出手段と、第１方向ブランクに、第１方向ブランクに隣接したピクセルと、エッジ方向検出手段により検出されたエッジ方向に基づいて、第１方向に補間してピクセルを生成し、第１方向に補間して生成されたピクセルが付加された画像データの第２方向の各ピクセルの第２方向ブランクに、第２方向ブランクに隣接したピクセルと、エッジ方向検出手段により検出されたエッジ方向に基づいて、第２方向に補間してピクセルを生成するピクセル生成手段と、ピクセル生成手段によりピクセルが生成された画像データの各ピクセルに２次元のフィルタ処理を施すことによりエッジを強調する写真エッジ強調手段と、判定手段の判定結果がグラフィックである場合、第１方向に画像を拡大する第１方向拡大手段と、第１方向拡大手段により拡大された画像のピクセルに１次元の第１方向フィルタ処理を施すことでエッジを強調する第１方向エッジ強調手段と、第２方向に画像を拡大する第２方向拡大手段と、第２方向拡大手段により拡大された画像のピクセルに１次元の第２方向フィルタ処理を施すことでエッジを強調する第２方向エッジ強調手段とを備えることを特徴とする。
【００２８】
本発明の第1の画像処理装置、画像処理方法、および、記録媒体のプログラムにおいては、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかが判定され、判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差とが比較されることにより、いずれかエネルギ差の小さい２つのピクセルの組が、入力された画像データの画像のうちの文字のエッジ部として検出され、検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルが、検出された２つのピクセルの組のエネルギの平均値に置換されることにより、検出されたエッジ部の接続部が強調され、エッジ部の接続部が強調された画像データが拡大される。
【００３０】
本発明の第２の画像処理装置においては、入力された画像データの画像を拡大させる画像処理装置であって、入力された画像データの画像の種類が文字を含むか否か、および、グラフィック、または、写真であるかが判定され、判定結果が文字を含むものである場合、水平方向および垂直方向に対して２次元に配置されるピクセルのうち、第1の斜め方向に相互に隣接する２つのピクセルの組のエネルギ差と、第1の斜め方向とは異なる第２の斜め方向に隣接し、かつ、第１の２つのピクセルの組にそれぞれ隣接する２つのピクセルの組のエネルギ差との比較により、いずれかエネルギ差の小さい２つのピクセルの組が、入力された画像データの画像のうちの文字のエッジ部として検出され、検出された２つのピクセルの組と異なる、エネルギ差の比較により、エネルギ差が大きい２つのピクセルの組のうち、エネルギの大きなピクセルが、検出された２つのピクセルの組のエネルギの平均値に置換されることにより、エッジ部の接続部が強調され、判定結果が写真である場合、水平方向および垂直方向のそれぞれのいずれかである第１方向、および第２方向に、入力された画像データの各ピクセル間に、それぞれ第１方向ブランク、および第２方向ブランクが生成され、生成された第１方向ブランク、または第２方向ブランクと隣接する各ピクセルに基づいて、第１方向、または第２方向に隣接するピクセル間のエネルギ差が求められ、そのエネルギ差が閾値を超える場合、第１方向ブランク、または第２方向ブランクを中心として対称の位置関係となる２つのピクセル同士のエネルギ差が、最小となる２つのピクセル間を結ぶ方向がエッジ方向として検出され、第１方向ブランクに、第１方向ブランクに隣接したピクセルと、検出されたエッジ方向に基づいて、第１方向に補間されてピクセルが生成され、第１方向に補間して生成されたピクセルが付加された画像データの第２方向の各ピクセルの第２方向ブランクに、第２方向ブランクに隣接したピクセルと、検出されたエッジ方向に基づいて、第２方向に補間されてピクセルが生成され、ピクセルが生成された画像データの各ピクセルに２次元のフィルタ処理が施されることによりエッジが強調され、判定結果がグラフィックである場合、第１方向に画像が拡大され、第１方向により拡大された画像のピクセルに１次元の第１方向フィルタ処理が施されることでエッジが強調され、第２方向に画像が拡大され、第２方向により拡大された画像のピクセルに１次元の第２方向フィルタ処理が施されることでエッジが強調される。
【００３１】
【発明の実施の形態】
図１は、本発明を適用した画像拡大装置１の一実施の形態の構成を示すブロック図である。画像拡大装置１に入力されるデジタル画像データは、主に、グラフィックデータ、写真データ、および、文字データ（フォントデータ）の３種類である。
【００３２】
尚、図１を参照して画像拡大装置１の構成について説明するが、その詳細については、動作説明と共に図２以降に後述するものとする。
【００３３】
画像拡大装置１のイメージセレクタ１１は、入力された画像データが、グラフィックデータ、写真データ、または、文字データ（フォントデータ）のいずれのデジタル画像データであるかを判定し、グラフィックデータ、または、写真データであると判定した場合、入力された画像データを水平拡大処理部１２に出力する。また、入力された画像データが、文字データであると判定された場合、イメージセレクタ１１は、入力された画像データをエッジ接続部１５に出力する。
【００３４】
エッジ接続部１５は、イメージセレクタ１１から入力された文字データ（フォントデータ）のうち、拡大することによりぼやけ易い、細いエッジの接続部分を検出し、太くする前処理を施し、水平拡大処理部１２に出力する。
【００３５】
水平拡大処理部１２は、イメージセレクタ１１、または、エッジ接続部１５より入力された画像データを、Ｈ（Horizontal：水平）バッファ１２ａを適宜使用して、水平方向に拡大処理し、入力された画像データが、写真データ、または、文字データである場合、垂直拡大処理部１３に出力する。また、水平拡大処理した画像データが、グラフィックデータである場合、水平拡大処理部１２は、水平拡大処理したグラフィックデータを１Ｄエッジ強調部１６に出力する。
【００３６】
１Dエッジ強調部１６は、水平拡大処理部１２から入力された水平拡大処理されたグラフィックデータに、バッファ１６ａを適宜使用しながら、水平１次元フィルタ処理（水平方向の１Ｄエッジ強調処理）を施し、エッジ部分の水平方向成分を強調処理し、垂直拡大処理部１３に出力する。
【００３７】
垂直拡大処理部１３は、水平拡大処理部１２、または、１Ｄエッジ強調部１６より入力された画像データを、V（Vertical：垂直）バッファ１３ａを適宜使用して、垂直方向に拡大処理し、２Dエッジ強調部１４に出力する。
【００３８】
２Dエッジ強調部１４は、バッファ１４ａを適宜使用しながら、垂直拡大処理部１３より入力された水平方向と垂直方向に拡大された画像データの各ピクセルにフィルタ処理を施し、画像データのエッジ部分を2次元方向（水平方向と垂直方向）に対して強調することにより、画像の輪郭の解像度を高め、最終的な拡大画像データとして、表示部２に出力する。表示部２は、２Ｄエッジ強調部１４より入力された拡大画像データを表示する。
【００３９】
尚、水平拡大処理部１２により水平方向に拡大され、１Ｄエッジ強調部１６により水平方向にエッジ強調されたグラフィックデータが、垂直拡大処理部１３に入力され、垂直拡大処理された後、２Dエッジ強調部１４に入力された画像データは、既にエッジ部分の水平方向成分の強調がなされている為、２Dエッジ強調部１４では、残された方向のエッジ強調、すなわち、エッジ部分の垂直方向成分のみを強調する。
【００４０】
すなわち、２Dエッジ強調部１４は、グラフィックデータが入力された場合、１Dエッジ強調部１６の処理と同様に、垂直方向成分の１次元フィルタ処理のみを実行し、最終的な拡大画像データとして、表示部２に出力する。
【００４１】
この様に、画像データの種類によりエッジ部分の強調処理が異なるのは、次のような理由による。すなわち、例えば、グラフィックデータは、写真データや文字データよりも、エッジが強調された画像（エッジ部分が鮮明な画像）が多いので、水平方向および垂直方向の各々の方向で拡大処理する毎に、エッジ強調をすることにより、拡大処理するごとに発生する、画像データのエッジ部分に発生するぼやけやエラーを減少させることができる。そこで、２Ｄフィルタで一度にエッジ強調をするよりも、各方向毎にエッジが強調される。
【００４２】
これに対して、写真データは、焦点付近の画像と焦点から離れた画像が混在する為、グラフィックデータと比べると、エッジが強調された画像（エッジ部分が鮮明な画像）ではないため、２Ｄフィルタで、水平方向と垂直方向のエッジ強調を一度に処理することにより、遠近により適度にぼやける部分が現れた画像とすることができる。
【００４３】
このように、エッジ強調のフィルタのかけ方を画像データにより切り換えることで、拡大された画像は、人間の視覚に対して、より自然に表現することができる。
【００４４】
次に、図２のフローチャートを参照して、画像拡大装置１が、入力された画像データを拡大処理するときの動作について説明する。
【００４５】
画像拡大装置１に処理の開始が指令されると処理が開始され、ステップＳ１において、イメージセレクタ１１は、入力された画像データ（イメージ）の種類を判別する。
【００４６】
ステップＳ２において、イメージセレクタ１１は、入力された画像データが、文字データ（フォントデータ）であるか否かを判定する。例えば、入力された画像データが、写真データである場合、イメージセレクタ１１は、入力された画像データが、文字データ（フォントデータ）ではないと判定し、ステップＳ３の処理に進む。
【００４７】
ステップＳ３において、イメージセレクタ１１は、入力された画像データ（写真データ）を水平拡大処理部１２に出力する。
【００４８】
ステップＳ４において、水平拡大処理部１２は、水平拡大処理を実行する。
【００４９】
ここで、図３のフローチャートを参照して、水平拡大処理部１２の水平拡大処理について説明する。
【００５０】
ステップＳ２１において、水平拡大処理部１２は、入力された画像データのピクセル間の水平方向にブランクを形成し、Ｈバッファ１２ａに記憶させる。
【００５１】
例えば、２倍に拡大処理する場合、水平拡大処理部１２は、図４に示すように、入力された画像データ（写真データ）の各ピクセルの水平方向に対して１列おきにブランクを設け、これを、Hバッファ１２ａに記憶させる。尚、図３中の実線で描かれている円は、元の画像データのピクセルを示し、点線で描かれている円は、ブランクを示している。
【００５２】
図５は、図４に示すような処理（ステップＳ２１の処理）を施したときの元の画像データ（図５（Ａ））（水平方向の幅：Width＝W、垂直方向の高さ：Height＝H）と、処理を施された後、Ｈバッファ１２ａに記憶された画像データ（図５（Ｂ））の関係を示したものである。図５（Ｂ）に示すように、元のピクセルに対して、水平方向に１ピクセル毎にブランクの列が形成されることになるので、Ｈバッファに記憶されているデータの幅は、２Ｗ−１になる。
【００５３】
ステップＳ２２において、水平拡大処理部１２は、ブランクがあるか否かを判定する。例えば、ブランクが形成された直後の状態である場合、水平拡大処理部１２は、ブランクがあると判定し、その処理はステップＳ２３に進む。
【００５４】
ステップＳ２３において、水平拡大処理部１２は、ピクセルを補間しようとするブランクのエネルギを計算する。
【００５５】
求めようとするブランクのエネルギ関数Ｅ（Ｎ，Ｙ＋（Ｎ−１）／２）は以下のように定義される。
【００５６】
Ｅ（Ｎ，Ｙ＋（Ｎ−１）／２）
＝ABS（Pixel（Ｘ＋２，Ｙ＋（Ｎ−１）／２）
−Pixel（Ｘ，Ｙ＋（Ｎ−１）／２））・・・（１）
【００５７】
ここで、Pixel（）は、各座標上の（既知の）ピクセルのエネルギを表す。Ｎ（Ｎは、任意）は、ピクセルを補間、生成するのに使用する既知のピクセルの個数を意味し、ABS（Absolute）は、絶対値を意味する。
【００５８】
この式（１）で定義されるエネルギ関数は、ブランクに水平方向に隣接するピクセル同士のエネルギ差の絶対値を表す。
【００５９】
尚、ここで言うピクセルのエネルギとは、ピクセルの輝度と色に基づく値であり、エネルギの値から、各ピクセルの輝度と色の値が復元できるものを意味する。以下の説明において、エネルギは、同様の意味で使用するものとする。
【００６０】
例えば、図６（Ａ）の実線で円が描かれているブランクにピクセルを生成する（補間する）ものとし、その座標を（Ｘ＋１，Ｙ＋（Ｎ−１）／２）とする。そして、このピクセルの補間に、左側の列のN個のピクセルと、右側の列のN個のピクセル（図６（Ａ）においては、N＝３の例について示している）を使用するものとすると、それらのピクセル（図中実線の長方形で囲まれている左右のN個のピクセル）の座標は、（Ｘ，Ｙ），（Ｘ，Ｙ＋（Ｎ−１）／２），（Ｘ，Ｙ＋Ｎ−１），（Ｘ＋２，Ｙ），（Ｘ＋２，Ｙ＋（Ｎ−１）／２），および（Ｘ＋２，Ｙ＋Ｎ−１）となる。図６（Ｂ）は、この着目するピクセルと、求めようとするブランクのみを示している。
【００６１】
従って、ステップＳ２３においては、式（１）に示すように、求めようとするブランクの左右のピクセル（図６（B）において、矢印で結ばれている左右のピクセル）のエネルギ差の絶対値が求められている。
【００６２】
尚、以下の説明においては、所定のピクセルまたはブランクに水平方向に隣接するピクセル間のエネルギ差を水平エネルギ差と称し、所定のピクセルまたはブランクに垂直方向に隣接するピクセル間のエネルギ差を垂直エネルギ差と称する。
【００６３】
ステップＳ２４において、水平拡大処理部１２は、計算された水平エネルギ差が予め設定されている所定の閾値以上であるか否かを判定する。例えば、水平エネルギ差が閾値以上ではなかった場合、既知のピクセル間のエネルギに大きな差がないことになるので、ステップＳ２５において、水平拡大処理部１２は、この部分の画像は、フラットな変化のない部分（エッジのない部分）とみなし、上位側の列のピクセルのエネルギ（より大きいX座標のピクセルのエネルギ）をそのまま挿入し、Ｈバッファ１２ａに記憶させる。その後、ステップＳ２２の処理に戻り、それ以降の処理が繰り返される。
【００６４】
ステップＳ２４において、水平エネルギ差が閾値以上であると判定された場合、ステップＳ２６において、水平拡大処理部１２は、ブランクにはエッジが存在するものとみなし、ピクセルを補間しようとするブランクの左右の列にある、Ｎ個の補間用ピクセルのうち、そのブランクを中心として対称な位置関係にあるピクセル同士のエネルギ差の絶対値を計算し、その差の最も小さなピクセルの組み合わせを見つけ出す。
【００６５】
例えば、図７に示すように、各ピクセルのエネルギが、Pixel（Ｘ，Ｙ）＝70，Pixel（Ｘ，Ｙ＋（Ｎ−１）／２）＝50，Pixel（Ｘ，Ｙ＋Ｎ−１）＝50，Pixel（Ｘ＋２，Ｙ）＝50，Pixel（Ｘ＋２，Ｙ＋（Ｎ−１）／２）＝30，およびPixel（Ｘ＋２，Ｙ＋Ｎ−１）＝50であるとき、水平拡大処理部１２は、求めようとするブランクを中心として、着目したピクセルのうち、対称な位置関係となるピクセル同士のエネルギの差を求める。
【００６６】
すなわち、ABS（Pixel（Ｘ，Ｙ）−Pixel（Ｘ＋２，Ｙ＋Ｎ−１））＝70−50＝20，ABS（Pixel（Ｘ，Ｙ＋（Ｎ−１）／２）−Pixel（Ｘ＋２，Ｙ＋（Ｎ−１）／２））＝50−30＝20，およびABS（Pixel（Ｘ，Ｙ＋Ｎ−１）−Pixel（Ｘ＋２，Ｙ））＝50−50＝0が求められる。
【００６７】
図７の例の場合、ABS（Pixel（Ｘ，Ｙ＋Ｎ−１）−Pixel（Ｘ＋２，Ｙ））＝50−50＝0が最小となるので、（Ｘ，Ｙ＋Ｎ−１）と（Ｘ＋２，Ｙ）の組み合わせが選択されることになる。すなわち、この（Ｘ，Ｙ＋Ｎ−１）と（Ｘ＋２，Ｙ）を結ぶ方向がエッジ方向となる。
【００６８】
ステップＳ２７において、水平拡大処理部１２は、エネルギ差が最小となるピクセル同士のピクセルのエネルギの平均値を新たなピクセルのエネルギとしてＨバッファ１２ａに記憶させる。図７の例においては、50（＝（50+50）／２）が新たなピクセルの値として挿入され、Ｈバッファ１２ａに記憶される。
【００６９】
ステップＳ２２において、全てのブランクに新たなピクセルが挿入され、ブランクがないと判定された場合、その処理は終了され、図２のステップＳ４の処理に戻る。
【００７０】
以上のような処理により、例えば、図８（Ａ）に示すような５×５のピクセルの画像データが入力された場合、水平拡大処理部１２は、図８（Ｂ）に示されるような拡大された画像データを生成する。尚、図８において、各マスは、ピクセルを表し、実線で円が描かれているピクセルが、水平拡大処理により新たに生成（補間）されたピクセルを表している。
【００７１】
また、以上においては、補間用のピクセルの個数Ｎ＝３としたが、Ｎの個数を増やせば増やすほど、エッジの方向を正確に求めることができるため、生成されるピクセルの精度を向上させることができる。
【００７２】
ここで、図２のフローチャートの説明に戻る。
【００７３】
ステップＳ５（図２）において、水平拡大処理部１２は、水平拡大処理した画像データが、グラフィックデータであるか否かを判定する。水平拡大処理した画像データが、例えば、写真データである場合、ステップＳ５（図２）において、水平拡大処理部１２は、グラフィックデータではないと判定し、その処理は、ステップＳ６に進む。
【００７４】
ステップＳ６において、水平拡大処理部１２は、水平拡大処理されたＨバッファ１２ａに記憶されている画像データを垂直拡大処理部１３に供給する。
【００７５】
ステップＳ７において、垂直拡大処理部１３は、入力された画像データを垂直拡大処理する。
【００７６】
ここで、図９のフローチャートを参照して、垂直拡大処理部１３の垂直拡大処理について説明する。
【００７７】
ステップＳ３１において、垂直拡大処理部１３は、入力された画像データのピクセル間の垂直方向にブランクを形成し、Ｖバッファ１３ａに記憶させる。
【００７８】
例えば、２倍に拡大処理する場合、垂直拡大処理部１３は、図１０に示すように、入力された画像データ（例えば、写真データ）の各ピクセルの水平方向に対して１行おきにブランクの行を設け、これを、Ｖバッファに記憶させる。尚、図１０中の実線で描かれている白円は、元の画像データのピクセルを表し、実線で描かれている黒円は、水平拡大処理により生成されたピクセルを表し、点線で描かれている円は、ブランクを表している。
【００７９】
図１１は、図１０に示すような処理（ステップＳ３１の処理）を施したときの元の画像データ（図１１（Ａ））（水平方向の幅：Width＝２W−１、垂直方向の高さ：Height＝H）と、処理を施された後、Ｈバッファ１２ａに記憶された画像データ（図１１（Ｂ））の関係を示したものである。図１１（Ｂ）に示すように、元のピクセルに対して、垂直方向に１ピクセル毎にブランクの行が形成されることになるので、Ｖバッファに記憶されているデータの高さは、２Ｈ−１になる。
【００８０】
尚、図１１中で、濃淡で表されているマスは、元の画像データのピクセルを表し、ハッチングされているマスは、水平拡大処理により生成されたピクセルを表し、白い部分がブランクを表している。
【００８１】
ステップＳ３２において、垂直拡大処理部１３は、ブランクがあるか否かを判定する。例えば、ブランクがある場合、垂直拡大処理部１３は、その処理をステップＳ３３に進める。
【００８２】
ステップＳ３３において、垂直拡大処理部１３は、ピクセルを求めようとするブランクの垂直エネルギ差を計算する。
【００８３】
求めようとするピクセルのエネルギ関数Ｅ（Ｎ，Ｘ＋（Ｎ−１）／２）は以下のように定義される。
【００８４】
Ｅ（Ｎ，Ｙ＋（Ｎ−１）／２）
＝ABS（Pixel（Ｘ＋（Ｎ−１）／２，Ｙ＋２）
−Pixel（Ｘ＋（Ｎ−１）／２，Ｙ））・・・（２）
【００８５】
この式（２）で定義されるエネルギ関数は、ブランクに垂直方向に隣接するピクセル同士のエネルギ差の絶対値（垂直エネルギ差）を表す。
【００８６】
例えば、図１２（Ａ）の実線で円が描かれているブランクにピクセルを生成する（補間する）ものとし、その座標を（Ｘ＋（Ｎ−１）／２，Ｙ＋１）とする。
そして、このピクセルの補間に、上側の行のN個のピクセルと、下側の行のN個のピクセル（図１２（Ａ）においては、N＝３の例について示している）を使用するものとすると、それらのピクセル（図中実線の長方形で囲まれている左右のN個のピクセル）の座標は、（Ｘ，Ｙ），（Ｘ＋（Ｎ−１）／２，Ｙ），（Ｘ＋Ｎ−１，Ｙ），（Ｘ，Ｙ＋２），（Ｘ＋（Ｎ−１）／２，Ｙ＋２），および（Ｘ＋Ｎ−１，Ｙ＋２）となる。図１２（Ｂ）は、この着目するピクセルと、求めようとするブランクのみを示している。
【００８７】
従って、ステップＳ３３においては、式（２）に示すように、求めようとするブランクの左右のピクセル（図１２（B）において、矢印で結ばれている上下のピクセル）のエネルギ差の絶対値が求められている。
【００８８】
ステップＳ３４において、垂直拡大処理部１３は、計算された垂直エネルギ差が予め設定されている閾値以上であるか否かを判定する。例えば、垂直エネルギ差が、閾値以上ではなかった場合、既知の隣接するピクセル間に大きなエネルギ差がないことになるので、ここの画像は、フラットな変化のない（エッジのない）部分とみなし、ステップＳ３５において、垂直拡大処理部１３は、上位行のピクセルのエネルギをブランクのピクセルにそのまま挿入し、Ｖバッファ１３ａに記憶させる。その後、ステップＳ３２の処理に戻り、それ以降の処理が繰り返される。
【００８９】
ステップＳ３４において、計算された垂直エネルギ差が閾値以上であると判定された場合、ステップＳ３６において、垂直拡大処理部１３は、ピクセルを補間しようとするブランクの上の行にあるＮ個の補間用ピクセルと、下の行にあるＮ個のピクセルのうち、そのブランクを中心として対称な位置関係にあるピクセル同士のエネルギ差の絶対値を計算し、その差の最も小さなピクセルの組み合わせを見つけ出す。
【００９０】
例えば、図１３に示すように、各ピクセルのエネルギが、Pixel（Ｘ，Ｙ）＝50，Pixel（Ｘ＋（Ｎ−１）／２，Ｙ）＝70，Pixel（Ｘ＋Ｎ−１，Ｙ）＝70，Pixel（Ｘ，Ｙ＋２）＝50，Pixel（Ｘ＋（Ｎ−１）／２，Ｙ＋２）＝30，およびPixel（Ｘ＋Ｎ−１，Ｙ＋２）＝50であるとき、垂直拡大処理部１３は、求めようとするブランクを中心として、着目したピクセルのうち、対称な位置関係となるピクセル同士のエネルギの差の絶対値を求める。
【００９１】
すなわち、ABS（Pixel（Ｘ，Ｙ）−Pixel（Ｘ＋Ｎ−１，Ｙ＋２））＝50−50＝0，ABS（Pixel（Ｘ＋（Ｎ−１）／２，Ｙ）−Pixel（Ｘ＋（Ｎ−１）／２，Ｙ＋２））＝70−30＝40，およびABS（Pixel（Ｘ＋Ｎ−１，Ｙ）−Pixel（Ｘ，Ｙ＋２）＝70−50＝20が求められる。
【００９２】
図１３の例の場合、ABS（Pixel（Ｘ，Ｙ）−Pixel（Ｘ＋Ｎ−１，Ｙ＋２））＝50−50＝0が最小となるので、（Ｘ，Ｙ）と（Ｘ＋Ｎ−１，Ｙ＋２）の組み合わせが選択されることになる。すなわち、（Ｘ，Ｙ）と（Ｘ＋Ｎ−１，Ｙ＋２）を結ぶ、方向が、エッジ方向となる。
【００９３】
ステップＳ３７において、垂直拡大処理部１３は、エネルギ差が最小となるピクセル同士のピクセルのエネルギの平均値を新たなピクセルのエネルギとしてＶバッファ１３ａに記憶させる。
【００９４】
図１３の例においては、50（＝（50+50）／２）が新たなピクセルの値としてブランクのピクセルに挿入され、Ｖバッファに記憶される。その後、ステップＳ３２の処理に戻り、それ以降の処理が繰り返される。
【００９５】
ステップＳ３２において、全てのブランクに新たなピクセルが挿入され、ブランクが存在しないと判定された場合、ステップＳ３８において、垂直拡大処理部１３は、Ｖバッファ１３ａに記憶されている画像データを２Ｄエッジ強調部１４に出力し、その処理は終了され、図２のステップＳ７の処理に戻る。
【００９６】
以上のような処理により、例えば、図８（Ｂ）に示すような画像データが入力された場合、垂直拡大処理部１３は、図８（Ｃ）に示すように、画像データを拡大することになる。従って、水平拡大処理および垂直拡大処理をすることにより、図８（Ａ）に示す画像データは、図８（Ｃ）に示すような画像データに変換されることになる。尚、図８（Ｃ）の点線で描かれた円が、垂直拡大処理により生成されたピクセルを表している。
【００９７】
ここで、図２のフローチャートの説明に戻る。
【００９８】
ステップＳ８において、２Ｄエッジ強調部１４は、入力された水平垂直拡大処理された画像データに、２Ｄエッジ強調処理を実行する。
【００９９】
ここで、図１４のフローチャートを参照して、２Ｄエッジ強調部１４の２Ｄエッジ強調処理について説明する。
【０１００】
ステップＳ４１において、２Ｄエッジ強調部１４は、入力された画像データをバッファ１４ａに記憶させる。
【０１０１】
ステップＳ４２において、２Ｄエッジ強調部１４は、処理すべきピクセルがあるか否かを判定する。例えば、２Ｄエッジ強調処理されていないピクセルがある場合、処理すべきピクセルがあると判定され、その処理は、ステップＳ４３に進む。
【０１０２】
ステップＳ４３において、２Ｄエッジ強調部１４は、処理しようとするピクセルの水平または垂直エネルギ差が、閾値以上であるか否かを判定する。例えば、水平および垂直エネルギ差が閾値以上ではないと判定された場合、ステップＳ４４において、２Ｄエッジ強調部１４は、そのピクセルは、エッジ上のピクセルではないものとみなし、フィルタ処理を施さずに（元のエネルギをそのままそのピクセルのエネルギし）、バッファ１４ａに記憶させる。その後、ステップＳ４２の処理に戻り、それ以降の処理が繰り返される。
【０１０３】
ステップＳ４３において、水平または垂直エネルギ差が閾値以上であると判定された場合、ステップＳ４５において、２Ｄエッジ強調部１４は、そのピクセルがエッジ上にあるものとみなし、２Ｄエッジ強調処理を施す。すなわち、２Ｄエッジ強調部１４は、２Ｄエッジ強調処理しようとするピクセルを中心とする５×５個のピクセルに対して、例えば、図１５に示すようなフィルタ係数を乗算し、その和を、２Ｄエッジ強調処理しようとするピクセルに挿入する。尚、図１５のα（0.5＜α＜1.2）は、２Ｄエッジ処理のレベル（訂正のレベル）を制御する適正パラメータである。また、この２Ｄフィルタは、３×３個のピクセルに対してローパスフィルタ処理すると同時に、５×５個のピクセルに対してハイパスフィルタ処理するフィルタである。
【０１０４】
例えば、α＝0.6とする場合、図１６（Ａ）に示されるようなエネルギの画像データが、２Ｄエッジ強調部１４に入力されたとき、この図１６（Ａ）に示す画像データの実線の四角で囲まれる「30」のピクセルに対して、図１６（Ａ）の点線で囲まれる５×５個のピクセルを用いて、フィルタの演算が実行される。
【０１０５】
すなわち、フィルタの上の行の右から、（１／４−０．６／２）²×３０＋（１／１６−０．６／８）×３０＋（０．６／４−０．６²／２）×３０＋（１／１６−０．６／８）×３０＋（１／４−０．６／２）²×３０＋（１／１６−０．６／８）×７０＋１／１６×３０＋０．６／４×３０＋１／１６×３０＋（１／１６−０．６／８）×３０＋（０．６／４−０．６²／２）×７０＋０．６／４×７０＋０．６²×３０＋０．６／４×３０＋（０．６／４−０．６²／２）×３０＋（１／１６−０．６／８）×７０＋１／１６×７０＋０．６／４×７０＋１／１６×３０＋（１／１６−０．６／８）×３０＋（１／４−０．６／２）²×７０＋（１／１６−０．６／８）×７０＋（０．６／４−０．６²／２）×７０＋（１／１６−０．６／８）×７０＋（１／４−０．６／２）²×３０＝４０となり、フィルタ処理されたエネルギは、図１６（Ｂ）に示すように４０となる。
【０１０６】
ステップＳ４６において、２Ｄエッジ強調部１４は、上記の処理により求められたフィルタ処理されたエネルギをバッファ１４ａに記憶させる。その後、ステップＳ４２の処理に戻り、全てのピクセルに対して処理がなされるまで、それ以降の処理が繰り返される。すなわち、図１５に示すフィルタにより、２Ｄエッジ強調部１４に入力された画像データの各ピクセルが順次フィルタ処理される。
【０１０７】
ステップＳ４２において、全てのピクセルがフィルタ処理され、フィルタ処理されるべきピクセルがないと判定された場合、２Ｄエッジ強調部１４は、ステップＳ４７において、バッファ１４ａに記憶されている画像データを表示部２に出力する。その後、その処理は、図２のフローチャートのステップＳ８の処理に戻る。
【０１０８】
ステップＳ９において、表示部２は、２Ｄエッジ強調部１４から入力された画像データを表示する。
【０１０９】
ステップＳ２において、入力された画像データが、フォントデータであると判定された場合、ステップＳ１０において、イメージセレクタ１１は、入力された画像データをエッジ接続部１５に出力する。
【０１１０】
ステップＳ１１において、エッジ接続部１５は、入力されたフォントデータのエッジのぼやけ易い、接続部分を、以下の処理により太くする。
【０１１１】
エッジの接続部分は、ピクセルで表すと図１７に示すような構成となる。すなわち、図１７（Ａ）に示すように、Pixel０とPixel３のエネルギ差が、Pixel１とPixel２のエネルギよりも低い場合、エッジは、Pixel０とPixel３により構成されることになる。この状態で、ピクセルPixel１とPixel２のエネルギの大小を比較し、例えば、Pixel１の方が、エネルギ的に大きいとき、Pixel１のエネルギをPixel０とPixel３の平均値となるエネルギで置換することによりエッジの接続部分を太くする。
【０１１２】
同様に図１７（B）に示すように、Pixel１とPixel２によりエッジが構成された場合、Pixel０とPixel３のエネルギの大小を比較し、Pixel３の方がエネルギ的に大きいとき、Pixel３に、Pixel１とPixel２の平均値となるエネルギで置換してエッジの接続部分を太くする。
【０１１３】
以上のように、エッジ接続部１５は、入力されたフォントデータの細いエッジの接続部分を太く接続した後、水平拡大処理部１２に出力する。その後、ステップＳ４以降の処理が繰り返される。
【０１１４】
ステップＳ５において、水平拡大処理部１２により水平拡大処理された画像データがグラフィックデータであると判定された場合、ステップＳ１２において、水平拡大処理部１２は、水平拡大処理した画像データを１Ｄエッジ強調部１６に出力する。
【０１１５】
ステップＳ１３において、１Ｄエッジ強調部１６は、入力された水平拡大処理されている画像データを１Ｄエッジ強調処理する。
【０１１６】
ここで、図１８のフローチャートを参照して、１Ｄエッジ強調部１６の１Ｄエッジ強調処理について説明する。
【０１１７】
ステップＳ５１において、１Ｄエッジ強調部１６は、入力された画像データをバッファ１６ａに記憶させる。
【０１１８】
ステップＳ５２において、１Ｄエッジ強調部１６は、処理すべきピクセルがあるか否かを判定する。処理すべきピクセルがある場合、ステップＳ５３において、１Ｄエッジ強調部１６は、処理しようとするピクセルの水平エネルギ差が閾値以上であるか否かを判定する。水平エネルギ差が、閾値以上ではないと判定された場合、ステップＳ５４において、１Ｄエッジ強調部１６は、処理すべきピクセルは、エッジ上のピクセルではないものとみなし、そのピクセルに１Ｄエッジ強調用のフィルタ処理をすることなく、バッファ１６ａに記憶させる。その後、ステップＳ５２の処理に戻り、それ以降の処理が繰り返される。
【０１１９】
ステップＳ５３において、ピクセルの水平エネルギ差が閾値以上であると判定された場合、１Ｄエッジ強調部１６は、そのピクセルがエッジ上のピクセルであるものとみなし、ステップＳ５５において、水平方向の１Ｄエッジ強調用のフィルタ処理を施す。
【０１２０】
例えば、図１９に示すような水平方向の１Ｄエッジ強調用のフィルタを、α＝0.6で使用し、図２０（Ａ）に示すような画像データのうち、実線の四角で囲まれた「３０」のピクセルをフィルタ処理する場合、フィルタ処理は、図１９に示すフィルタと、図２０（Ａ）の点線で囲まれる１×５個のピクセルにより計算される。その計算結果は、（１／４−０．６／２）×７０＋１／４×７０＋０．６×３０＋１／４×３０＋（１／４−０．６／２）×３０＝３８となり、図２０（Ｂ）に示すように、フィルタ処理後のピクセルのエネルギは、「３８」となる。
【０１２１】
ステップＳ５６において、１Ｄエッジ強調部１６は、ステップＳ５５の処理で、フィルタ処理されたピクセルの値を元のピクセルの値とし、バッファ１６ａに記憶させる。その後、ステップＳ５２の処理に戻り、それ以降の処理が繰り返される。
【０１２２】
ステップＳ５２において、全てのピクセルに処理がなされ、処理すべきピクセルがないと判定された場合、ステップＳ５７において、１Ｄエッジ強調部１６は、バッファ１６ａに記憶された画像データを垂直拡大処理部１３に出力する。その後、処理は、図２のステップＳ１３に戻る。
【０１２３】
ここで、図２のフローチャートの説明に戻る。
【０１２４】
ステップＳ１４において、垂直拡大処理部１３は、入力された画像データを垂直拡大処理する。この処理については、図９のフローチャートを参照して説明した処理と同様であるので、省略する。
【０１２５】
ステップＳ１５において、２Ｄエッジ強調部１４は、垂直拡大処理部１３から入力された垂直拡大処理されている画像データが、既に水平方向に１Ｄエッジ強調処理された画像であるので、図１４のフローチャートで説明した２Ｄエッジ強調用のフィルタを使った処理ではなく、垂直方向の１Ｄエッジ強調処理を実行する。
【０１２６】
ここで、図２１のフローチャートを参照して、２Ｄエッジ強調部１６が実行する１Ｄエッジ強調処理（垂直方向）について説明する。
【０１２７】
ステップＳ６１において、２Ｄエッジ強調部１４は、入力された画像データをバッファ１４ａに記憶させる。
【０１２８】
ステップＳ６２において、２Ｄエッジ強調部１４は、処理すべきピクセルがあるか否かを判定する。処理すべきピクセルがある場合、ステップＳ６３において、２Ｄエッジ強調部１４は、処理しようとするピクセルの垂直エネルギ差が閾値以上であるか否かを判定する。垂直エネルギ差が、閾値以上ではないと判定された場合、ステップＳ６４において、２Ｄエッジ強調部１４は、処理すべきピクセルが、エッジ上のピクセルではないとみなし、そのピクセルに１Ｄエッジ強調用のフィルタ処理をすることなく、バッファ１４ａに記憶させる。その後、ステップＳ６２の処理に戻り、それ以降の処理が繰り返される。
【０１２９】
ステップＳ６３において、ピクセルの垂直エネルギ差が閾値以上であると判定された場合、ステップＳ６５において、２Ｄエッジ強調部１４は、そのピクセルがエッジ上のピクセルであるものとみなし、１Ｄエッジ強調用のフィルタ処理を施す。
【０１３０】
例えば、図２２に示すような１Ｄエッジ強調用のフィルタを使用し、α＝0.6とする場合、図２３（Ａ）に示すような画像データのうち、実線の四角で囲まれた「７０」のピクセルをフィルタ処理するとき、フィルタ処理は、図２２に示すフィルタと、図２３（Ａ）の点線で囲まれる５×１個のピクセルにより計算される。その計算結果は、（１／４−０．６／２）×３０＋１／４×３０＋０．６×７０＋１／４×７０＋（１／４−０．６／２）×７０＝６２となり、図２３（Ｂ）に示すように、フィルタ処理後のピクセルのエネルギは、「６２」となる。
【０１３１】
ステップＳ６６において、２Ｄエッジ強調部１４は、ステップＳ６５の処理で、フィルタ処理されたピクセルの値を元のピクセルの値とし、バッファ１４ａに記憶させる。その後、ステップＳ６２の処理に戻り、それ以降の処理が繰り返される。
【０１３２】
ステップＳ６２において、全てのピクセルに処理がなされ、処理すべきピクセルがないと判定された場合、ステップＳ６７において、２Ｄエッジ強調部１４は、バッファ１４ａに記憶された画像データを表示部２に出力する。その後、処理は、図２のステップＳ９に進み、それ以降の処理が繰り返される。
【０１３３】
尚、以上の説明においては、拡大の倍率を水平方向と垂直方向について、それぞれ２倍として説明したが、当然のことながら、これ以上の倍率であってもよい。
【０１３４】
また、画像データの種類については、文字データ、写真データ、およびグラフィックデータのそれぞれの単一データの場合について説明してきたが、複数の種類が組み合わされている場合、画像データをそれぞれのデータの種類ごとに分割して、処理することで複数種類の画像データが組み合わされた画像データにも対応することができる。
【０１３５】
また、以上の画像拡大装置１においては、水平方向に拡大処理を実行した後、垂直方向に拡大処理を実行する例について、説明してきたが、当然のことながら、垂直方向に拡大処理を行った後、水平方向に拡大処理をするようにしてもよく、グラフィックデータを拡大する場合には、垂直方向に拡大処理を実行した後、垂直方向成分のエッジ強調処理を実行し、その後、水平方向に拡大処理を実行した後、水平方向成分のエッジ強調処理を実行するようにしても良い。
【０１３６】
以上によれば、入力された画像データの種類が判定され、文字データである場合、ぼやけ易いエッジの接続部分が強調され、高解像度での拡大処理が可能となる。また、入力された画像データが、写真データである場合、水平方向と垂直方向にブランクを設け、そのブランクに元の画像データのピクセルからエッジ方向を設定し、そのエッジ方向のピクセルからブランクにピクセルを補間し、拡大画像データを生成すると共に、その拡大された画像データの水平方向と垂直方向の両方にエッジ強調処理がなされるので、高解像度で写真データを拡大することが可能となる。さらに、入力された画像データが、グラフィックデータである場合、水平方向に拡大処理をした後、水平方向のエッジ強調処理を施し、続いて、垂直方向の拡大処理をした後、垂直方向のエッジ強調処理を施すようにしたので、拡大処理毎に発生するエッジのぼやけやエラーを減少することができ、エッジ部分をより鮮明に、高解像度で拡大することが可能となる。
【０１３７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、図１に示す画像拡大装置などの専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１３８】
図２４は、パーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの動作の全体を制御する。また、CPU１０１は、バス１０４および入出力インターフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、または半導体メモリ１３４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１３９】
プログラムが記録されている記録媒体は、図２４に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、磁気ディスク１３１（フロッピーディスクを含む）、光ディスク１３２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１３３（MD（Mini-Disk）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、ROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１４０】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１４１】
【発明の効果】
本発明によれば、文字データなどの拡大画像にするとぼやけ易いエッジの接続部分の解像度を高くすることが可能となる。
【０１４２】
また、本発明によれば、水平垂直方向の画像データの拡大処理が簡単で、かつ、拡大処理された画像の解像度を高くすることが可能となる。
【０１４３】
さらに、本発明によれば、グラフィックデータなどの拡大画像のエッジ部分の解像度を高めることが可能となる。
【図面の簡単な説明】
【図１】画像拡大装置の構成を示すブロック図である。
【図２】図１の画像拡大装置が入力された画像データを拡大するときの処理を説明するフローチャートである。
【図３】水平拡大処理を説明するフローチャートである。
【図４】水平拡大するときの元の画像データのピクセルとブランクの位置関係を説明する図である。
【図５】元の画像データに水平方向にブランクを入れた状態を説明する図である。
【図６】水平拡大処理する際に、新たにピクセルを生成する方法を説明する図である。
【図７】水平拡大処理する場合の新たにピクセルを生成するときの一例を示す図である。
【図８】入力された画像データが水平拡大処理および垂直拡大処理されたときの画像データを説明する図である。
【図９】垂直拡大処理を説明するフローチャートである。
【図１０】垂直拡大処理するときの元の画像データのピクセルとブランクの位置関係を説明する図である。
【図１１】元の画像データに垂直方向にブランクを入れた状態を説明する図である。
【図１２】垂直拡大処理する際に、新たにピクセルを生成する方法を説明する図である。
【図１３】垂直拡大処理する際に、新たにピクセルを生成する一例を示す図である。
【図１４】２Ｄエッジ強調処理を説明するフローチャートである。
【図１５】２Ｄエッジ強調用のフィルタの一例を示す図である。
【図１６】２Ｄエッジ強調用フィルタの処理を説明する図である。
【図１７】フォントデータのエッジの接続部分を太くする方法を説明する図である。
【図１８】図１の１Ｄエッジ強調部の１Ｄエッジ強調処理を説明するフローチャートである。
【図１９】水平方向の１Ｄエッジ強調用フィルタの一例を示す図である。
【図２０】水平方向の１Ｄエッジ強調用フィルタの処理を説明する図である。
【図２１】図１の２Ｄエッジ強調部の１Ｄエッジ強調処理を説明するフローチャートである。
【図２２】垂直方向の１Ｄエッジ強調用フィルタの一例を示す図である。
【図２３】垂直方向の１Ｄエッジ強調用フィルタの処理を説明する図である。
【図２４】媒体を説明する図である。
【符号の説明】
１画像拡大装置，２表示部，１１イメージセレクタ，１２水平拡大処理部，１２ａＨバッファ，１３垂直拡大処理部，１３ａＶバッファ，１４２Ｄエッジ強調部，１４ａバッファ，１５エッジ接続部，１６１Ｄエッジ強調部，１６ａバッファ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method, and a recording medium, and more particularly, to an image processing apparatus and method and a recording medium that allow digital image data to be enlarged at high resolution.
[0002]
[Prior art]
A technique for enlarging and displaying digital image data with high resolution is becoming widespread.
For example, as a display technology for digital image data such as a digital camera and a camcorder, development for realizing an enlarged display of digital image data called digital zoom at a high resolution is being advanced.
[0003]
Conventionally, when enlarging digital image data, a technique represented by an adjacent interpolation method, a two-dimensional linear interpolation method, a B-spline method, or the like has been used.
[0004]
[Problems to be solved by the invention]
However, the adjacent interpolation method known as the 0th-order hold interpolation method is a method in which adjacent pixels are inserted and displayed in a blank generated by enlargement. Digital image data can be easily enlarged, but when high-magnification display is used, a so-called mosaic pattern appears, and the edge portion of the image (the part that forms the contour) is distorted or displayed in a jagged manner. There were problems such as.
[0005]
The two-dimensional linear interpolation method inserts a pixel that is an average of the pixels of the original image adjacent to each other in the horizontal direction and the vertical direction into a blank portion generated between the pixels of the original image when expanding. This method enlarges the digital image data, but because it interpolates in the horizontal and vertical directions, the interpolation method is superior to the adjacent interpolation method, but the entire image is blurred, so the resolution is improved. It is difficult. Therefore, when the original image data is enlarged at a high magnification, there is a problem that a mosaic pattern appears like the adjacent interpolation method.
[0006]
The B-spline method is more stable than the adjacent interpolation method and the two-dimensional linear interpolation method, and even when enlarged at a high magnification, a mosaic pattern or the like does not occur, but the image is blurred and complicated calculation is performed. Therefore, there is a problem that the hardware is relatively loaded.
[0007]
The present invention has been made in view of such circumstances, and intends to enlarge digital image data with high resolution by a simple apparatus configuration and a calculation method.
[0008]
[Means for Solving the Problems]
The first image processing apparatus of the present invention, An image processing apparatus for enlarging an image of input image data, Image type of input image data Whether or not contains text and is a graphic or photo And a determination result of the determination means Of the pixels arranged two-dimensionally in the horizontal and vertical directions, the energy difference between the pair of two pixels adjacent to each other in the first diagonal direction and the first diagonal direction A set of two pixels having a smaller energy difference by comparison with the energy difference of the set of two pixels adjacent to each other in a second diagonal direction different from the first set of two pixels. The Of the images of the input image data As the edge of the character To detect Character edge Detection means; Character edge By detection means By comparing the energy difference, which is different from the detected two pixel sets, out of the two sets of pixels having a large energy difference, the energy of the two sets of pixels detected by the character edge detection means is determined as the high-energy pixel. By substituting the average value of Emphasize the connection of detected edges letter Edge enhancement means, letter And an enlarging means for enlarging the image data in which the connection portion of the edge portion is emphasized by the edge emphasizing means.
[0011]
The first image processing method of the present invention, An image processing apparatus for enlarging an image of input image data, wherein the determination unit determines whether the type of the image of the input image data includes a character and whether it is a graphic or a photograph. When the determination result of the determination means includes a character, among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction, the energy difference between a pair of two pixels adjacent to each other in the first diagonal direction By comparing with the energy difference of two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and respectively adjacent to the first two pixel sets, Character edge detection means for detecting a set of two small pixels as an edge portion of a character in the input image data image, and two pixels detected by the character edge detection means. By comparing the energy difference, which is different from the set of data, a pixel having a large energy out of the group of two pixels having a large energy difference is replaced with an average value of the energy of the group of two pixels detected by the character edge detecting means. A character edge emphasizing unit for emphasizing the detected connection portion of the edge portion, and an enlarging unit for enlarging the image data in which the edge portion connection portion is emphasized by the character edge emphasis unit. In the image processing method of the image processing apparatus, In judging means, Image type of input image data Whether or not contains text and is a graphic or photo A determination step for determining In the character edge detection means, Judgment result in the judgment step process Of the pixels arranged two-dimensionally in the horizontal and vertical directions, the energy difference between the pair of two pixels adjacent to each other in the first diagonal direction and the first diagonal direction A set of two pixels having a smaller energy difference by comparison with the energy difference of the set of two pixels adjacent to each other in a second diagonal direction different from the first set of two pixels. The Of the images of the input image data As the edge of the character To detect Character edge A detection step; Character edge in character edge enhancement means In the processing of the detection step By comparing the energy difference, which is different from the detected two pixel sets, the energy of the two pixel sets detected by the character edge detection step is selected from the two pixel sets having the large energy difference. By substituting the average value of Emphasize the connection of detected edges letter An edge enhancement step; Character in enlargement means And an enlargement step of enlarging the image data in which the connection portion of the edge portion is emphasized by the edge enhancement step.
[0012]
The program of the first recording medium of the present invention is An image processing apparatus for enlarging an image of input image data, wherein the determination unit determines whether the type of the image of the input image data includes a character and whether it is a graphic or a photograph. When the determination result of the determination means includes a character, among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction, the energy difference between a pair of two pixels adjacent to each other in the first diagonal direction By comparing with the energy difference of two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and respectively adjacent to the first two pixel sets, Character edge detection means for detecting a set of two small pixels as an edge portion of a character in the input image data image, and two pixels detected by the character edge detection means. By comparing the energy difference, which is different from the set of data, a pixel having a large energy out of the group of two pixels having a large energy difference is replaced with an average value of the energy of the group of two pixels detected by the character edge detecting means. A character edge emphasizing unit for emphasizing the detected connection portion of the edge portion, and an enlarging unit for enlarging the image data in which the edge portion connection portion is emphasized by the character edge emphasis unit. Image processing device Readable by computer to control A program, In judging means, Image type of input image data Whether or not contains text and is a graphic or photo A determination step for determining In the character edge detection means, Judgment result in the judgment step process Of the pixels arranged two-dimensionally in the horizontal and vertical directions, the energy difference between the pair of two pixels adjacent to each other in the first diagonal direction and the first diagonal direction A set of two pixels having a smaller energy difference by comparison with the energy difference of the set of two pixels adjacent to each other in a second diagonal direction different from the first set of two pixels. The Of the images of the input image data As the edge of the character To detect Character edge A detection step; Character edge in character edge enhancement means In the processing of the detection step By comparing the energy difference, which is different from the detected two pixel sets, the energy of the two pixel sets detected by the character edge detection step is selected from the two pixel sets having the large energy difference. By substituting the average value of Emphasize the connection of detected edges letter An edge enhancement step; Character in enlargement means And an enlargement step of enlarging the image data in which the connection portion of the edge portion is emphasized by the edge enhancement step.
[0017]
The pixel generation means may cause the blank to generate pixels by linear interpolation of the energy of two pixels on the edge direction detected by the edge direction detection means.
[0019]
The two-dimensional filter process may be a filter process for 5 × 5 pixels in which a low-pass filter process for 3 × 3 pixels and a high-pass filter process for 5 × 5 pixels simultaneously operate.
[0027]
The second of the present invention An image processing apparatus determines whether an image type of input image data includes a character and whether it is a graphic or a photograph in an image processing apparatus that enlarges an image of input image data. If the determination result of the determination means and the determination means includes a character, among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction, a set of two pixels adjacent to each other in the first diagonal direction By comparing the energy difference with the energy difference of two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and respectively adjacent to the first two pixel sets, either Character edge detection means for detecting a pair of two pixels having a small energy difference as an edge portion of a character in the image of the input image data, and detection by the character edge detection means By comparing the energy difference, which is different from the set of two pixels, a pixel having a large energy out of the pair of two pixels having a large energy difference is detected as the energy of the set of two pixels detected by the character edge detecting means. By replacing with the average value, the character edge emphasizing means for emphasizing the connection part of the edge part, and when the determination result of the determination means is a photo, the first direction which is one of the horizontal direction and the vertical direction, and A blank generating means for generating a first direction blank and a second direction blank between the pixels of the input image data in the second direction, and a first direction blank generated by the blank generating means, or a second Based on each pixel adjacent to the direction blank, an energy difference between adjacent pixels in the first direction or the second direction is obtained, and the difference is determined. If the energy difference exceeds the threshold value, the direction connecting the two pixels where the energy difference between the two pixels having a symmetrical positional relationship with respect to the first direction blank or the second direction blank is the minimum is the edge direction. Based on the edge direction detection means to detect, the first direction blank, the pixel adjacent to the first direction blank, and the edge direction detected by the edge direction detection means, a pixel is generated by interpolation in the first direction. In the second direction blank of each pixel in the second direction of the image data to which the pixel generated by interpolation in the first direction is added, the pixel adjacent to the second direction blank and detected by the edge direction detection means Based on the edge direction, a pixel generation unit that generates a pixel by interpolating in the second direction, and the pixel generation unit generates the pixel. Photographic edge enhancement means for enhancing edges by performing two-dimensional filtering on each pixel of image data; and first direction enlargement means for enlarging an image in a first direction when the determination result of the determination means is graphic First-direction edge enhancement means for enhancing edges by applying a one-dimensional first-direction filtering process to pixels of the image enlarged by the first-direction enlargement means, and second-direction enlargement for enlarging the image in the second direction And a second direction edge enhancement unit that enhances an edge by applying a one-dimensional second direction filtering process to the pixels of the image enlarged by the second direction enlargement unit.
[0028]
In the first image processing apparatus, image processing method, and recording medium program of the present invention, the type of image of the input image data Whether or not contains text and is a graphic or photo Is determined and the result is Of the pixels arranged two-dimensionally in the horizontal and vertical directions, the energy difference between the pair of two pixels adjacent to each other in the first diagonal direction and the first diagonal direction Is compared with the energy difference of the two pixel sets adjacent to each other in the second diagonal direction, and adjacent to each of the first two pixel sets. A set of pixels Of the images of the input image data As the edge of the character Detected, Comparing the energy difference, which is different from the two detected pixel sets, out of the two pixel sets having the large energy difference, the high energy pixel is replaced with the average value of the energy of the two detected pixel sets. By doing The detected connection part of the edge part is emphasized, and the image data in which the connection part of the edge part is emphasized is enlarged.
[0030]
The second of the present invention In the image processing device, the image processing device enlarges the image of the input image data, and whether the type of the image of the input image data includes characters and whether it is a graphic or a photograph Is determined, and the determination result includes a character, among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction, the energy difference between a pair of two pixels adjacent to each other in the first diagonal direction; By comparing with the energy difference of two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and respectively adjacent to the first two pixel sets, A small pair of pixels is detected as an edge of a character in the image of the input image data, and is different from the detected pair of pixels. Of the pair of two pixels having a large energy difference, the pixel having the large energy is replaced with the average value of the energy of the two pairs of detected pixels, so that the edge connection portion is emphasized, and the determination result is In the case of a photograph, a first direction blank and a second direction blank are respectively provided between the pixels of the input image data in the first direction and the second direction which are either the horizontal direction or the vertical direction. Based on the generated first direction blank or each pixel adjacent to the second direction blank, an energy difference between pixels adjacent in the first direction or the second direction is obtained, and the energy difference is determined as a threshold value. The energy difference between the two pixels having a symmetrical positional relationship with the first direction blank or the second direction blank as the center is the minimum. The direction connecting the two pixels is detected as an edge direction, and a pixel is generated by interpolating in the first direction based on the first direction blank, the pixel adjacent to the first direction blank, and the detected edge direction. The second direction blank of each pixel in the second direction of the image data to which the pixel generated by interpolation in the first direction is added is based on the pixel adjacent to the second direction blank and the detected edge direction. If the pixel is generated by interpolation in the second direction, the edge is emphasized by applying a two-dimensional filtering process to each pixel of the image data from which the pixel is generated, and the determination result is a graphic, The image is magnified in one direction, and the pixels of the image magnified in the first direction are subjected to a one-dimensional first direction filtering process to enhance edges, Direction image is enlarged, the edge is emphasized by the second direction filter processing of the one-dimensional pixel of the enlarged image by the second direction is performed.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration of an embodiment of an image enlargement apparatus 1 to which the present invention is applied. The digital image data input to the image enlarging apparatus 1 is mainly of three types: graphic data, photo data, and character data (font data).
[0032]
The configuration of the image enlarging apparatus 1 will be described with reference to FIG. 1, and the details thereof will be described later with reference to FIG.
[0033]
The image selector 11 of the image enlarging apparatus 1 determines whether the input image data is graphic data, photo data, or character data (font data), and the graphic data or the photo. If it is determined that the data is data, the input image data is output to the horizontal enlargement processing unit 12. When it is determined that the input image data is character data, the image selector 11 outputs the input image data to the edge connection unit 15.
[0034]
The edge connection unit 15 detects a thin edge connection part that is easily blurred by enlargement from the character data (font data) input from the image selector 11, performs preprocessing for thickening, and performs horizontal enlargement processing unit 12. Output to.
[0035]
The horizontal enlargement processing unit 12 enlarges the image data input from the image selector 11 or the edge connection unit 15 in the horizontal direction as appropriate using an H (Horizontal) buffer 12a and inputs the input image. When the data is photo data or character data, the data is output to the vertical enlargement processing unit 13. When the image data subjected to the horizontal enlargement process is graphic data, the horizontal enlargement processing unit 12 outputs the graphic data subjected to the horizontal enlargement process to the 1D edge enhancement unit 16.
[0036]
The 1D edge enhancement unit 16 applies horizontal one-dimensional filter processing (horizontal 1D edge enhancement processing) to the horizontally enlarged graphic data input from the horizontal enlargement processing unit 12 while appropriately using the buffer 16a. The horizontal component of the edge portion is enhanced and output to the vertical enlargement processing unit 13.
[0037]
The vertical enlargement processing unit 13 enlarges the image data input from the horizontal enlargement processing unit 12 or the 1D edge enhancement unit 16 in a vertical direction using a V (Vertical) buffer 13a as appropriate, and performs 2D processing. Output to the edge enhancement unit 14.
[0038]
The 2D edge emphasizing unit 14 performs filtering on each pixel of the image data expanded in the horizontal direction and the vertical direction input from the vertical enlargement processing unit 13 while appropriately using the buffer 14a, so that an edge portion of the image data is obtained. By emphasizing with respect to the two-dimensional direction (the horizontal direction and the vertical direction), the resolution of the contour of the image is increased and output to the display unit 2 as final enlarged image data. The display unit 2 displays the enlarged image data input from the 2D edge enhancement unit 14.
[0039]
It should be noted that graphic data enlarged in the horizontal direction by the horizontal enlargement processing unit 12 and edge-enhanced in the horizontal direction by the 1D edge enhancement unit 16 is input to the vertical enlargement processing unit 13 and subjected to the vertical enlargement processing, and then 2D edge enhancement. Since the image data input to the unit 14 has already emphasized the horizontal component of the edge portion, the 2D edge enhancement unit 14 applies only the edge enhancement in the remaining direction, that is, the vertical component of the edge portion. Emphasize.
[0040]
That is, when the graphic data is input, the 2D edge enhancement unit 14 executes only the one-dimensional filter processing of the vertical direction component as in the processing of the 1D edge enhancement unit 16, and displays it as final enlarged image data. Output to part 2.
[0041]
As described above, the edge portion enhancement processing differs depending on the type of image data, for the following reason. That is, for example, graphic data has more edges-enhanced images (images with sharp edges) than photographic data and character data, so each time enlargement processing is performed in each of the horizontal and vertical directions, By performing edge emphasis, it is possible to reduce blurring and errors occurring at the edge portion of the image data that occur each time enlargement processing is performed. Therefore, edges are emphasized in each direction, rather than edge enhancement at once with a 2D filter.
[0042]
On the other hand, since the photographic data is a mixture of an image near the focus and an image away from the focus, the photographic data is not an image in which the edge is emphasized (image where the edge is clear) compared to the graphic data. Thus, by processing the edge enhancement in the horizontal direction and the vertical direction at the same time, it is possible to obtain an image in which a moderately blurred portion appears in perspective.
[0043]
In this way, by switching the edge enhancement filtering method according to the image data, the enlarged image can be expressed more naturally with respect to human vision.
[0044]
Next, an operation when the image enlargement apparatus 1 enlarges input image data will be described with reference to the flowchart of FIG.
[0045]
When the image enlarging apparatus 1 is instructed to start processing, the processing is started. In step S1, the image selector 11 determines the type of input image data (image).
[0046]
In step S2, the image selector 11 determines whether or not the input image data is character data (font data). For example, when the input image data is photo data, the image selector 11 determines that the input image data is not character data (font data), and proceeds to the process of step S3.
[0047]
In step S 3, the image selector 11 outputs the input image data (photo data) to the horizontal enlargement processing unit 12.
[0048]
In step S4, the horizontal enlargement processing unit 12 executes horizontal enlargement processing.
[0049]
Here, the horizontal enlargement processing of the horizontal enlargement processing unit 12 will be described with reference to the flowchart of FIG.
[0050]
In step S21, the horizontal enlargement processing unit 12 forms a blank in the horizontal direction between pixels of the input image data and stores the blank in the H buffer 12a.
[0051]
For example, when the enlargement process is performed twice, the horizontal enlargement processing unit 12 provides blanks every other column in the horizontal direction of each pixel of the input image data (photo data) as shown in FIG. This is stored in the H buffer 12a. In addition, the circle drawn with the continuous line in FIG. 3 has shown the pixel of the original image data, and the circle drawn with the dotted line has shown the blank.
[0052]
FIG. 5 shows the original image data (FIG. 5A) (horizontal width: Width = W, vertical height: Height) when the processing shown in FIG. 4 (the processing of step S21) is performed. = H) and the image data (FIG. 5B) stored in the H buffer 12a after processing. As shown in FIG. 5B, since a blank column is formed for each pixel in the horizontal direction with respect to the original pixel, the width of the data stored in the H buffer is 2W−. 1
[0053]
In step S22, the horizontal enlargement processing unit 12 determines whether there is a blank. For example, in the state immediately after the blank is formed, the horizontal enlargement processing unit 12 determines that there is a blank, and the processing proceeds to step S23.
[0054]
In step S 23, the horizontal enlargement processing unit 12 calculates the energy of a blank from which pixels are to be interpolated.
[0055]
The blank energy function E (N, Y + (N−1) / 2) to be obtained is defined as follows.
[0056]
E (N, Y + (N-1) / 2)
= ABS (Pixel (X + 2, Y + (N-1) / 2)
−Pixel (X, Y + (N−1) / 2)) (1)
[0057]
Here, Pixel () represents the energy of (known) pixels on each coordinate. N (N is arbitrary) means the number of known pixels used to interpolate and generate pixels, and ABS (Absolute) means an absolute value.
[0058]
The energy function defined by this equation (1) represents the absolute value of the energy difference between pixels adjacent to the blank in the horizontal direction.
[0059]
The pixel energy referred to here is a value based on the luminance and color of the pixel, and means that the luminance and color values of each pixel can be restored from the energy value. In the following description, energy is used in the same meaning.
[0060]
For example, a pixel is generated (interpolated) in a blank in which a circle is drawn with a solid line in FIG. 6A, and its coordinates are (X + 1, Y + (N−1) / 2). In this pixel interpolation, N pixels in the left column and N pixels in the right column (in FIG. 6A, an example of N = 3) is used. Then, the coordinates of these pixels (N pixels on the left and right surrounded by a solid rectangle in the figure) are (X, Y), (X, Y + (N−1) / 2), (X, Y + N). -1), (X + 2, Y), (X + 2, Y + (N-1) / 2), and (X + 2, Y + N-1). FIG. 6B shows only the pixel of interest and the blank to be obtained.
[0061]
Therefore, in step S23, as shown in Expression (1), the absolute value of the energy difference between the left and right blank pixels (left and right pixels connected by arrows in FIG. 6B) to be obtained is calculated. It has been demanded.
[0062]
In the following description, the energy difference between pixels adjacent to a predetermined pixel or blank in the horizontal direction is referred to as horizontal energy difference, and the energy difference between pixels adjacent to the predetermined pixel or blank in the vertical direction is referred to as vertical energy. Called the difference.
[0063]
In step S24, the horizontal enlargement processing unit 12 determines whether or not the calculated horizontal energy difference is equal to or greater than a predetermined threshold value set in advance. For example, when the horizontal energy difference is not greater than or equal to the threshold value, there is no significant difference in energy between known pixels. Therefore, in step S25, the horizontal enlargement processing unit 12 causes the image of this part to change flat. It is assumed that there is no part (part without edge), and the energy of the pixel in the upper row (the energy of the pixel with a larger X coordinate) is inserted as it is and stored in the H buffer 12a. Thereafter, the processing returns to step S22, and the subsequent processing is repeated.
[0064]
If it is determined in step S24 that the horizontal energy difference is equal to or greater than the threshold value, in step S26, the horizontal enlargement processing unit 12 regards the blank as having an edge, and the left and right sides of the blank to be interpolated with pixels. Among the N interpolation pixels in the column, the absolute value of the energy difference between the pixels having a symmetrical positional relationship with respect to the blank is calculated, and the combination of the pixels having the smallest difference is found.
[0065]
For example, as shown in FIG. 7, the energy of each pixel is Pixel (X, Y) = 70, Pixel (X, Y + (N−1) / 2) = 50, Pixel (X, Y + N−1) = 50. , Pixel (X + 2, Y) = 50, Pixel (X + 2, Y + (N−1) / 2) = 30, and Pixel (X + 2, Y + N−1) = 50, the horizontal enlargement processing unit 12 will obtain The energy difference between pixels having a symmetrical positional relationship among the focused pixels is obtained with the blank as the center.
[0066]
That is, ABS (Pixel (X, Y) -Pixel (X + 2, Y + N-1)) = 70-50 = 20, ABS (Pixel (X, Y + (N-1) / 2) -Pixel (X + 2, Y + (N -1) / 2)) = 50-30 = 20 and ABS (Pixel (X, Y + N-1) -Pixel (X + 2, Y)) = 50-50 = 0.
[0067]
In the case of the example of FIG. 7, ABS (Pixel (X, Y + N−1) −Pixel (X + 2, Y)) = 50−50 = 0 is minimum, so (X, Y + N−1) and (X + 2, Y) Will be selected. That is, the direction connecting (X, Y + N-1) and (X + 2, Y) is the edge direction.
[0068]
In step S27, the horizontal enlargement processing unit 12 causes the H buffer 12a to store the average value of the pixel energy between the pixels having the smallest energy difference as the energy of the new pixel. In the example of FIG. 7, 50 (= (50 + 50) / 2) is inserted as a new pixel value and stored in the H buffer 12a.
[0069]
In step S22, when a new pixel is inserted into all blanks and it is determined that there are no blanks, the process ends, and the process returns to step S4 in FIG.
[0070]
For example, when image data of 5 × 5 pixels as shown in FIG. 8A is input by the above processing, the horizontal enlargement processing unit 12 performs enlargement as shown in FIG. Generated image data is generated. In FIG. 8, each square represents a pixel, and a pixel in which a circle is drawn with a solid line represents a pixel newly generated (interpolated) by horizontal enlargement processing.
[0071]
In the above description, the number N of interpolation pixels is set to 3. However, as the number of N is increased, the direction of the edge can be obtained more accurately, so that the accuracy of the generated pixel is improved. Can do.
[0072]
Here, the description returns to the flowchart of FIG.
[0073]
In step S5 (FIG. 2), the horizontal enlargement processing unit 12 determines whether the image data subjected to the horizontal enlargement processing is graphic data. When the image data subjected to the horizontal enlargement process is, for example, photograph data, in step S5 (FIG. 2), the horizontal enlargement processing unit 12 determines that it is not graphic data, and the process proceeds to step S6.
[0074]
In step S 6, the horizontal enlargement processing unit 12 supplies the image data stored in the H buffer 12 a subjected to the horizontal enlargement processing to the vertical enlargement processing unit 13.
[0075]
In step S7, the vertical enlargement processing unit 13 performs vertical enlargement processing on the input image data.
[0076]
Here, the vertical enlargement processing of the vertical enlargement processing unit 13 will be described with reference to the flowchart of FIG.
[0077]
In step S31, the vertical enlargement processing unit 13 forms a blank in the vertical direction between pixels of the input image data and stores the blank in the V buffer 13a.
[0078]
For example, when the enlargement process is performed twice, the vertical enlargement processing unit 13 performs blanking every other line in the horizontal direction of each pixel of the input image data (for example, photo data) as shown in FIG. A row is provided and stored in the V buffer. In addition, the white circle drawn by the solid line in FIG. 10 represents the pixel of the original image data, and the black circle drawn by the solid line represents the pixel generated by the horizontal enlargement process, and is drawn by the dotted line. Circles represent blanks.
[0079]
FIG. 11 shows the original image data (FIG. 11A) (horizontal width: Width = 2W−1, vertical height) when the processing shown in FIG. 10 (processing in step S31) is performed. : Height = H) and the relationship between the image data (FIG. 11B) stored in the H buffer 12a after the processing. As shown in FIG. 11B, since a blank row is formed for each pixel in the vertical direction with respect to the original pixel, the height of the data stored in the V buffer is 2H. -1.
[0080]
In FIG. 11, shaded squares represent pixels of the original image data, hatched squares represent pixels generated by horizontal enlargement processing, and white portions represent blanks. Yes.
[0081]
In step S32, the vertical enlargement processing unit 13 determines whether there is a blank. For example, if there is a blank, the vertical enlargement processing unit 13 advances the process to step S33.
[0082]
In step S33, the vertical enlargement processing unit 13 calculates the vertical energy difference of the blank for which a pixel is to be obtained.
[0083]
The energy function E (N, X + (N-1) / 2) of the pixel to be obtained is defined as follows.
[0084]
E (N, Y + (N-1) / 2)
= ABS (Pixel (X + (N-1) / 2, Y + 2)
-Pixel (X + (N-1) / 2, Y)) (2)
[0085]
The energy function defined by Equation (2) represents the absolute value (vertical energy difference) of the energy difference between pixels adjacent to the blank in the vertical direction.
[0086]
For example, a pixel is generated (interpolated) in a blank in which a circle is drawn with a solid line in FIG. 12A, and its coordinates are (X + (N−1) / 2, Y + 1).
In this pixel interpolation, N pixels in the upper row and N pixels in the lower row (in FIG. 12A, an example of N = 3 is used) are used. Then, the coordinates of these pixels (N pixels on the left and right surrounded by a solid rectangle in the figure) are (X, Y), (X + (N-1) / 2, Y), (X + N- 1, Y), (X, Y + 2), (X + (N-1) / 2, Y + 2), and (X + N-1, Y + 2). FIG. 12B shows only the pixel of interest and the blank to be obtained.
[0087]
Therefore, in step S33, as shown in Expression (2), the absolute value of the energy difference between the left and right blank pixels to be obtained (upper and lower pixels connected by arrows in FIG. 12B) is calculated. It has been demanded.
[0088]
In step S34, the vertical enlargement processing unit 13 determines whether or not the calculated vertical energy difference is equal to or greater than a preset threshold value. For example, if the vertical energy difference is not greater than or equal to the threshold value, there will be no significant energy difference between known adjacent pixels, so the image here is considered to be a flat unchanged (edgeless) part, In step S35, the vertical enlargement processing unit 13 inserts the energy of the pixels in the upper row into the blank pixels as they are and stores them in the V buffer 13a. Thereafter, the processing returns to step S32, and the subsequent processing is repeated.
[0089]
If it is determined in step S34 that the calculated vertical energy difference is equal to or greater than the threshold value, in step S36, the vertical enlargement processing unit 13 performs N interpolation operations in the row above the blank to be interpolated. Among the N pixels in the lower row, the absolute value of the energy difference between the pixels that are symmetrical with respect to the blank is calculated, and the combination of the pixels having the smallest difference is found.
[0090]
For example, as shown in FIG. 13, the energy of each pixel is Pixel (X, Y) = 50, Pixel (X + (N−1) / 2, Y) = 70, Pixel (X + N−1, Y) = 70. , Pixel (X, Y + 2) = 50, Pixel (X + (N−1) / 2, Y + 2) = 30, and Pixel (X + N−1, Y + 2) = 50, the vertical enlargement processing unit 13 will obtain The absolute value of the energy difference between the pixels having a symmetrical positional relationship among the focused pixels is obtained with the blank as the center.
[0091]
That is, ABS (Pixel (X, Y) -Pixel (X + N-1, Y + 2)) = 50-50 = 0, ABS (Pixel (X + (N-1) / 2, Y) -Pixel (X + (N-1 ) / 2, Y + 2)) = 70-30 = 40 and ABS (Pixel (X + N-1, Y) -Pixel (X, Y + 2) = 70-50 = 20.
[0092]
In the case of the example of FIG. 13, ABS (Pixel (X, Y) −Pixel (X + N−1, Y + 2)) = 50−50 = 0 is minimum, so (X, Y) and (X + N−1, Y + 2) Will be selected. That is, the direction connecting (X, Y) and (X + N-1, Y + 2) is the edge direction.
[0093]
In step S 37, the vertical enlargement processing unit 13 causes the V buffer 13 a to store the average value of the pixel energy between the pixels having the smallest energy difference as the energy of the new pixel.
[0094]
In the example of FIG. 13, 50 (= (50 + 50) / 2) is inserted as a new pixel value into the blank pixel and stored in the V buffer. Thereafter, the processing returns to step S32, and the subsequent processing is repeated.
[0095]
If it is determined in step S32 that new pixels are inserted into all blanks and no blank exists, the vertical enlargement processing unit 13 performs 2D edge enhancement on the image data stored in the V buffer 13a in step S38. Output to the unit 14, the process is terminated, and the process returns to the process of step S7 in FIG.
[0096]
For example, when image data as shown in FIG. 8B is input by the above processing, the vertical enlargement processing unit 13 enlarges the image data as shown in FIG. 8C. Become. Therefore, by performing horizontal enlargement processing and vertical enlargement processing, the image data shown in FIG. 8A is converted into image data as shown in FIG. 8C. Note that a circle drawn by a dotted line in FIG. 8C represents a pixel generated by the vertical enlargement process.
[0097]
Here, the description returns to the flowchart of FIG.
[0098]
In step S 8, the 2D edge enhancement unit 14 performs 2D edge enhancement processing on the input image data that has been subjected to horizontal and vertical enlargement processing.
[0099]
Here, the 2D edge enhancement processing of the 2D edge enhancement unit 14 will be described with reference to the flowchart of FIG.
[0100]
In step S41, the 2D edge enhancing unit 14 stores the input image data in the buffer 14a.
[0101]
In step S42, the 2D edge enhancement unit 14 determines whether there is a pixel to be processed. For example, if there is a pixel that has not been subjected to 2D edge enhancement processing, it is determined that there is a pixel to be processed, and the processing proceeds to step S43.
[0102]
In step S43, the 2D edge enhancement unit 14 determines whether or not the horizontal or vertical energy difference of the pixel to be processed is equal to or greater than a threshold value. For example, if it is determined that the horizontal and vertical energy difference is not greater than or equal to the threshold value, in step S44, the 2D edge enhancement unit 14 regards that the pixel is not a pixel on the edge, and performs no filtering (( The original energy is directly stored in the pixel) and stored in the buffer 14a. Thereafter, the processing returns to step S42, and the subsequent processing is repeated.
[0103]
If it is determined in step S43 that the horizontal or vertical energy difference is equal to or greater than the threshold value, in step S45, the 2D edge enhancement unit 14 regards that the pixel is on the edge and performs 2D edge enhancement processing. That is, the 2D edge enhancement unit 14 multiplies 5 × 5 pixels centered on a pixel to be subjected to 2D edge enhancement processing by, for example, a filter coefficient as illustrated in FIG. Insert it into the pixel to be edge enhanced. Note that α (0.5 <α <1.2) in FIG. 15 is an appropriate parameter for controlling the level (correction level) of 2D edge processing. The 2D filter is a filter that performs low-pass filter processing on 3 × 3 pixels and simultaneously performs high-pass filter processing on 5 × 5 pixels.
[0104]
For example, when α = 0.6, when image data with energy as shown in FIG. 16 (A) is input to the 2D edge emphasizing unit 14, a solid line square of the image data shown in FIG. 16 (A). The calculation of the filter is executed using the 5 × 5 pixels surrounded by the dotted line in FIG.
[0105]
That is, from the right of the upper line of the filter, (1 / 4-0.6 / 2) ² × 30 + (1 / 16−0.6 / 8) × 30 + (0.6 / 4−0.6) ² /2)×30+(1/16−0.6/8)×30+(1/4−0.6/2) ² × 30 + (1 / 16−0.6 / 8) × 70 + 1/16 × 30 + 0.6 / 4 × 30 + 1/16 × 30 + (1 / 16−0.6 / 8) × 30 + (0.6 / 4-0 .6 ² /2)×70+0.6/4×70+0.6 ² × 30 + 0.6 / 4 × 30 + (0.6 / 4-0.6 ² /2)×30+(1/16−0.6/8)×70+1/16×70+0.6/4×70+1/16×30+(1/16−0.6/8)×30+(1/4 0.6 / 2) ² × 70 + (1 / 16−0.6 / 8) × 70 + (0.6 / 4−0.6) ² /2)×70+(1/16−0.6/8)×70+(1/4−0.6/2) ² X30 = 40, and the filtered energy is 40 as shown in FIG.
[0106]
In step S46, the 2D edge emphasizing unit 14 stores the filtered energy obtained by the above processing in the buffer 14a. Thereafter, the processing returns to step S42, and the subsequent processing is repeated until the processing is performed for all the pixels. In other words, each pixel of the image data input to the 2D edge enhancement unit 14 is sequentially filtered by the filter shown in FIG.
[0107]
If it is determined in step S42 that all pixels have been filtered and there are no pixels to be filtered, the 2D edge enhancement unit 14 displays the image data stored in the buffer 14a in step S47. Output to. Thereafter, the process returns to the process of step S8 in the flowchart of FIG.
[0108]
In step S9, the display unit 2 displays the image data input from the 2D edge enhancement unit 14.
[0109]
If it is determined in step S2 that the input image data is font data, the image selector 11 outputs the input image data to the edge connection unit 15 in step S10.
[0110]
In step S 11, the edge connection unit 15 thickens the connection part where the edge of the input font data is easily blurred by the following process.
[0111]
The connection portion of the edge is configured as shown in FIG. That is, as shown in FIG. 17A, when the energy difference between Pixel0 and Pixel3 is lower than the energy of Pixel1 and Pixel2, the edge is constituted by Pixel0 and Pixel3. In this state, the magnitudes of the energy of the pixels Pixel1 and Pixel2 are compared. For example, when Pixel1 is larger in energy, the energy of Pixel1 is replaced by the energy that is the average value of Pixel0 and Pixel3. Make the part thicker.
[0112]
Similarly, as shown in FIG. 17B, when edges are formed by Pixel1 and Pixel2, the magnitudes of energy of Pixel0 and Pixel3 are compared, and when Pixel3 is larger in energy, Pixel1 and Pixel2 The edge connection portion is thickened by replacing with the energy of the average value of.
[0113]
As described above, the edge connection unit 15 connects the thin edge connection part of the input font data to a thicker image, and then outputs the connection to the horizontal enlargement processing unit 12. Thereafter, the processes after step S4 are repeated.
[0114]
If it is determined in step S5 that the image data subjected to the horizontal enlargement processing by the horizontal enlargement processing unit 12 is graphic data, in step S12, the horizontal enlargement processing unit 12 converts the image data subjected to the horizontal enlargement processing to a 1D edge enhancement unit. 16 is output.
[0115]
In step S13, the 1D edge enhancement unit 16 performs 1D edge enhancement processing on the input image data that has been subjected to horizontal enlargement processing.
[0116]
Here, the 1D edge enhancement processing of the 1D edge enhancement unit 16 will be described with reference to the flowchart of FIG.
[0117]
In step S51, the 1D edge enhancing unit 16 stores the input image data in the buffer 16a.
[0118]
In step S52, the 1D edge enhancement unit 16 determines whether there is a pixel to be processed. If there is a pixel to be processed, in step S53, the 1D edge enhancement unit 16 determines whether or not the horizontal energy difference of the pixel to be processed is equal to or greater than a threshold value. When it is determined that the horizontal energy difference is not greater than or equal to the threshold value, in step S54, the 1D edge enhancement unit 16 regards the pixel to be processed as not a pixel on the edge, and adds 1D edge enhancement to the pixel. The data is stored in the buffer 16a without filtering. Thereafter, the process returns to step S52, and the subsequent processes are repeated.
[0119]
If it is determined in step S53 that the horizontal energy difference of the pixel is greater than or equal to the threshold value, the 1D edge enhancement unit 16 regards the pixel as a pixel on the edge, and in step S55, the horizontal 1D edge enhancement is performed. The filter processing for is performed.
[0120]
For example, a horizontal 1D edge enhancement filter as shown in FIG. 19 is used at α = 0.6, and “30” surrounded by a solid-line square in the image data as shown in FIG. When the pixel is filtered, the filter processing is calculated by the filter shown in FIG. 19 and 1 × 5 pixels surrounded by the dotted line in FIG. The calculation result is (1 / 4−0.6 / 2) × 70 + 1/4 × 70 + 0.6 × 30 + 1/4 × 30 + (1 / 4−0.6 / 2) × 30 = 38, and FIG. As shown in B), the energy of the pixel after filtering is “38”.
[0121]
In step S56, the 1D edge emphasizing unit 16 sets the value of the pixel subjected to the filtering process in step S55 as the original pixel value, and stores it in the buffer 16a. Thereafter, the processing returns to step S52, and the subsequent processing is repeated.
[0122]
If it is determined in step S52 that all pixels have been processed and there are no pixels to be processed, in step S57, the 1D edge enhancement unit 16 sends the image data stored in the buffer 16a to the vertical enlargement processing unit 13. Output. Thereafter, the processing returns to step S13 in FIG.
[0123]
Here, the description returns to the flowchart of FIG.
[0124]
In step S14, the vertical enlargement processing unit 13 performs vertical enlargement processing on the input image data. Since this process is the same as the process described with reference to the flowchart of FIG.
[0125]
In step S15, the 2D edge emphasizing unit 14 is an image in which the vertical enlargement processing image data input from the vertical enlargement processing unit 13 has already been subjected to 1D edge emphasis processing in the horizontal direction. Rather than the processing using the described 2D edge enhancement filter, vertical 1D edge enhancement processing is executed.
[0126]
Here, the 1D edge enhancement processing (vertical direction) executed by the 2D edge enhancement unit 16 will be described with reference to the flowchart of FIG.
[0127]
In step S61, the 2D edge enhancing unit 14 stores the input image data in the buffer 14a.
[0128]
In step S62, the 2D edge enhancement unit 14 determines whether there is a pixel to be processed. If there is a pixel to be processed, in step S63, the 2D edge enhancement unit 14 determines whether or not the vertical energy difference of the pixel to be processed is equal to or greater than a threshold value. If it is determined that the vertical energy difference is not greater than or equal to the threshold value, in step S64, the 2D edge enhancement unit 14 considers that the pixel to be processed is not a pixel on the edge, and filters the pixel for 1D edge enhancement. The data is stored in the buffer 14a without being processed. Thereafter, the processing returns to step S62, and the subsequent processing is repeated.
[0129]
If it is determined in step S63 that the vertical energy difference of the pixel is equal to or greater than the threshold value, in step S65, the 2D edge enhancement unit 14 regards the pixel as a pixel on the edge, and filters for 1D edge enhancement Apply processing.
[0130]
For example, if a filter for 1D edge enhancement as shown in FIG. 22 is used and α = 0.6, “70” surrounded by a solid square in the image data as shown in FIG. When filtering pixels, the filtering process is calculated by the filter shown in FIG. 22 and 5 × 1 pixels surrounded by the dotted line in FIG. The calculation result is (1 / 4−0.6 / 2) × 30 + 1/4 × 30 + 0.6 × 70 + 1/4 × 70 + (1 / 4−0.6 / 2) × 70 = 62, and FIG. As shown in B), the energy of the pixel after filtering is “62”.
[0131]
In step S66, the 2D edge enhancement unit 14 sets the value of the pixel subjected to the filtering process in step S65 as the original pixel value, and stores it in the buffer 14a. Thereafter, the processing returns to step S62, and the subsequent processing is repeated.
[0132]
If it is determined in step S62 that all pixels have been processed and there are no pixels to be processed, the 2D edge enhancement unit 14 outputs the image data stored in the buffer 14a to the display unit 2 in step S67. . Thereafter, the process proceeds to step S9 in FIG. 2, and the subsequent processes are repeated.
[0133]
In the above description, the enlargement magnification has been described as being twice in each of the horizontal direction and the vertical direction.
[0134]
In addition, as for the type of image data, the case of single data of character data, photo data, and graphic data has been described. However, when multiple types are combined, the image data is classified into the type of each data. It is possible to deal with image data in which a plurality of types of image data are combined by dividing and processing each.
[0135]
In the image enlarging apparatus 1 described above, the example in which the enlargement process is executed in the horizontal direction and then the enlargement process is executed in the vertical direction has been described, but naturally the enlargement process was executed in the vertical direction. Later, the image may be enlarged in the horizontal direction. When the graphic data is enlarged, the edge enhancement processing in the vertical direction is executed after the enlargement processing in the vertical direction, and then the horizontal direction. After executing the enlargement process, the edge enhancement process of the horizontal component may be executed.
[0136]
According to the above, the type of the input image data is determined, and in the case of character data, the connection portion of the edge that is easily blurred is emphasized, and the enlargement process at high resolution is possible. When the input image data is photo data, a blank is provided in the horizontal direction and the vertical direction, the edge direction is set from the original image data pixel to the blank, and the pixel from the edge direction pixel to the blank is set. Are interpolated to generate enlarged image data, and edge enhancement processing is performed in both the horizontal direction and the vertical direction of the enlarged image data, so that the photographic data can be enlarged at a high resolution. In addition, when the input image data is graphic data, the image is subjected to enlargement processing in the horizontal direction, and then subjected to horizontal edge enhancement processing, followed by vertical enlargement processing, and then vertical edge enhancement. Since the processing is performed, it is possible to reduce edge blurring and errors that occur in each enlargement process, and it is possible to enlarge the edge portion more clearly and with high resolution.
[0137]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a computer constituting the software is installed in a dedicated hardware such as the image enlargement apparatus shown in FIG. 1 or various programs are installed. For example, it is installed from a recording medium in a general-purpose personal computer capable of executing various functions.
[0138]
FIG. 24 shows the configuration of an embodiment of a personal computer. The CPU 101 of the personal computer controls the entire operation of the personal computer. Further, when a command is input from the input unit 106 such as a keyboard or a mouse from the user via the bus 104 and the input / output interface 105, the CPU 101 stores the instruction in a ROM (Read Only Memory) 102 correspondingly. Run the program. Alternatively, the CPU 101 reads a program read from the magnetic disk 131, the optical disk 132, the magneto-optical disk 133, or the semiconductor memory 134 connected to the drive 110 and installed in the storage unit 108 into a RAM (Random Access Memory) 103. To load and execute. Further, the CPU 101 controls the communication unit 109 to communicate with the outside and exchange data.
[0139]
As shown in FIG. 24, the recording medium on which the program is recorded is distributed to provide the program to the user separately from the computer, and includes a magnetic disk 131 (including a floppy disk), an optical disk 132 (CD-ROM). (Including Compact Disk-Read Only Memory), DVD (Digital Versatile Disk), magneto-optical disk 133 (including MD (Mini-Disk)), or semiconductor memory 134, etc. The ROM 102, the hard disk included in the storage unit 108, and the like provided to the user in a state of being incorporated in the computer in advance.
[0140]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It includes processes that are executed individually.
[0141]
【The invention's effect】
According to the present invention, character data When the enlarged image is used, it is possible to increase the resolution of the connection portion of the edge that is easily blurred.
[0142]
Moreover, according to the present invention, the horizontal and vertical directions The image data enlargement process is easy, and the resolution of the enlarged image can be increased.
[0143]
Furthermore, according to the present invention, graphic data It is possible to increase the resolution of the edge portion of the enlarged image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image enlargement apparatus.
FIG. 2 is a flowchart for explaining processing when the image enlargement apparatus in FIG. 1 enlarges input image data.
FIG. 3 is a flowchart for explaining horizontal enlargement processing;
FIG. 4 is a diagram illustrating a positional relationship between pixels and blanks of original image data when horizontally enlarged.
FIG. 5 is a diagram for explaining a state in which a blank is inserted in the original image data in the horizontal direction;
FIG. 6 is a diagram for explaining a method for newly generating a pixel when performing horizontal enlargement processing;
FIG. 7 is a diagram illustrating an example when a new pixel is generated when horizontal enlargement processing is performed.
FIG. 8 is a diagram illustrating image data when input image data is subjected to horizontal enlargement processing and vertical enlargement processing;
FIG. 9 is a flowchart illustrating vertical enlargement processing.
FIG. 10 is a diagram illustrating a positional relationship between pixels and blanks of original image data when performing vertical enlargement processing.
FIG. 11 is a diagram illustrating a state in which a blank is inserted in the vertical direction on original image data.
FIG. 12 is a diagram illustrating a method for newly generating a pixel when performing vertical enlargement processing;
FIG. 13 is a diagram illustrating an example of generating a new pixel when performing vertical enlargement processing;
FIG. 14 is a flowchart for describing 2D edge enhancement processing;
FIG. 15 is a diagram illustrating an example of a 2D edge enhancement filter.
FIG. 16 is a diagram illustrating processing of a 2D edge enhancement filter.
FIG. 17 is a diagram for explaining a method of thickening the edge connection portion of font data.
18 is a flowchart for describing 1D edge enhancement processing of the 1D edge enhancement unit of FIG. 1; FIG.
FIG. 19 is a diagram illustrating an example of a horizontal 1D edge enhancement filter.
FIG. 20 is a diagram illustrating processing of a 1D edge enhancement filter in the horizontal direction.
FIG. 21 is a flowchart illustrating 1D edge enhancement processing of the 2D edge enhancement unit of FIG. 1;
FIG. 22 is a diagram illustrating an example of a 1D edge enhancement filter in the vertical direction.
FIG. 23 is a diagram illustrating processing of a 1D edge enhancement filter in the vertical direction.
FIG. 24 is a diagram illustrating a medium.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image enlargement apparatus, 2 Display part, 11 Image selector, 12 Horizontal enlargement process part, 12a H buffer, 13 Vertical enlargement process part, 13a V buffer, 142D edge emphasis part, 14a buffer, 15 Edge connection part, 16 1D edge emphasis Part, 16a buffer

Claims

In an image processing apparatus that enlarges an image of input image data,
Determining means for determining whether the type of the image of the input image data includes a character and whether it is a graphic or a photograph;
When the determination result of the determination unit includes a character, among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction, the energy difference between a pair of two pixels adjacent to each other in the first diagonal direction; The energy difference between the two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and adjacent to the first two pixel sets is Character edge detection means for detecting a set of two pixels having a small difference as an edge portion of a character in the image of the input image data;
By comparing the energy difference, which is different from the two pixel sets detected by the character edge detection means, a pixel having a large energy among the two pixel sets having a large energy difference is detected by the character edge detection means. A character edge emphasizing means for emphasizing a connection portion of the detected edge portion by substituting the average value of energy of a set of two pixels.
An image processing apparatus comprising: enlarging means for enlarging image data in which a connection portion of an edge portion is emphasized by the character edge enhancing means.

An image processing apparatus for enlarging an image of input image data,
Determining means for determining whether the type of the image of the input image data includes a character and whether it is a graphic or a photograph;
When the determination result of the determination unit includes a character, among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction, the energy difference between a pair of two pixels adjacent to each other in the first diagonal direction; The energy difference between the two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and adjacent to the first two pixel sets is Character edge detection means for detecting a set of two pixels having a small difference as an edge portion of a character in the image of the input image data;
By comparing the energy difference, which is different from the two pixel sets detected by the character edge detection means, a pixel having a large energy among the two pixel sets having a large energy difference is detected by the character edge detection means. A character edge emphasizing means for emphasizing a connection portion of the detected edge portion by substituting the average value of energy of a set of two pixels.
In the image processing method of the image processing apparatus, comprising: an enlarging unit that enlarges the image data in which the connection portion of the edge portion is emphasized by the character edge emphasizing unit,
A determination step of determining whether the type of the image of the input image data includes a character and whether it is a graphic or a photograph in the determination unit;
When the determination result in the determination step in the character edge detection means includes a character, the pixels adjacent to each other in the first diagonal direction among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction Energy difference between two pixel sets and two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and adjacent to the first two pixel sets, respectively. A character edge detection step of detecting a pair of two pixels having a small energy difference as an edge portion of a character in the image of the input image data by comparison with an energy difference;
In the character edge emphasizing means, a pixel having a large energy out of a pair of two pixels having a large energy difference is determined by comparing the energy differences, which is different from the pair of two pixels detected in the processing of the character edge detecting step. A character edge emphasizing step for emphasizing a connection portion of the detected edge portion by substituting with an average value of energy of a set of two pixels detected by the character edge detecting step;
An image processing method comprising: an enlarging step of enlarging the image data in which the connection portion of the edge portion is emphasized by the character edge emphasizing step in the enlarging means.

An image processing apparatus for enlarging an image of input image data,
Determining means for determining whether the type of the image of the input image data includes a character and whether it is a graphic or a photograph;
When the determination result of the determination unit includes a character, among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction, the energy difference between a pair of two pixels adjacent to each other in the first diagonal direction; The energy difference between the two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and adjacent to the first two pixel sets is Character edge detection means for detecting a set of two pixels having a small difference as an edge portion of a character in the image of the input image data;
By comparing the energy difference, which is different from the two pixel sets detected by the character edge detection means, a pixel having a large energy among the two pixel sets having a large energy difference is detected by the character edge detection means. A character edge emphasizing means for emphasizing a connection portion of the detected edge portion by substituting the average value of energy of a set of two pixels.
A computer-readable program for controlling an image processing apparatus, comprising: an enlarging unit that enlarges image data in which a connection portion of an edge portion is emphasized by the character edge emphasizing unit,
A determination step of determining whether the type of the image of the input image data includes a character and whether it is a graphic or a photograph in the determination unit;
When the determination result in the determination step in the character edge detection means includes a character, the pixels adjacent to each other in the first diagonal direction among the pixels arranged two-dimensionally in the horizontal direction and the vertical direction Energy difference between two pixel sets and two pixel sets adjacent to the second diagonal direction different from the first diagonal direction and adjacent to the first two pixel sets, respectively. A character edge detection step of detecting a pair of two pixels having a small energy difference as an edge portion of a character in the image of the input image data by comparison with an energy difference;
In the character edge emphasizing means, a pixel having a large energy out of a pair of two pixels having a large energy difference is determined by comparing the energy differences, which is different from the pair of two pixels detected in the processing of the character edge detecting step. A character edge emphasizing step for emphasizing a connection portion of the detected edge portion by substituting with an average value of energy of a set of two pixels detected by the character edge detecting step;
A recording medium on which a computer-readable program is recorded, comprising: an enlarging step of enlarging the image data in which the connection portion of the edge portion is emphasized by the character edge emphasizing step in the enlarging means.

In an image processing apparatus that enlarges an image of input image data,
Determining means for determining whether the type of the image of the input image data includes a character and whether it is a graphic or a photograph;
When the determination result of the determination means includes a character,
Among the pixels arranged two-dimensionally with respect to the horizontal direction and the vertical direction, the energy difference between a pair of two pixels adjacent to each other in the first diagonal direction is different from the first diagonal direction. By comparing the energy difference of two pixel sets adjacent to each other in the diagonal direction and adjacent to each of the first two pixel sets, a set of two pixels having a small energy difference is input. Character edge detecting means for detecting the edge portion of the character in the image of the image data,
By comparing the energy difference, which is different from the two pixel sets detected by the character edge detection means, a pixel having a large energy among the two pixel sets having a large energy difference is detected by the character edge detection means. Character edge emphasizing means for emphasizing the connection portion of the edge portion by replacing the average value of the energy of the set of two pixels.
When the determination result of the determination means is a photo,
Blank generation for generating a first direction blank and a second direction blank between the pixels of the input image data in the first direction and the second direction, which are either the horizontal direction or the vertical direction, respectively. Means,
Based on each pixel adjacent to the first direction blank or the second direction blank generated by the blank generation means, an energy difference between pixels adjacent to the first direction or the second direction is obtained, and the energy difference is obtained. When the value exceeds the threshold, the direction connecting the two pixels where the energy difference between the two pixels having a symmetrical positional relationship with respect to the first direction blank or the second direction blank is the center is detected as the edge direction. Edge direction detecting means to perform,
The first direction blank is interpolated in the first direction based on the pixel adjacent to the first direction blank and the edge direction detected by the edge direction detection unit, and the first direction blank is generated. In the second direction blank of each pixel in the second direction of the image data to which the pixel generated by interpolation is added, the pixel adjacent to the second direction blank, and the edge direction detection means detect Pixel generating means for generating a pixel by interpolating in the second direction based on an edge direction;
Photo edge enhancement means for emphasizing edges by performing a two-dimensional filtering process on each pixel of the image data in which pixels are generated by the pixel generation means;
When the determination result of the determination means is a graphic,
First direction enlarging means for enlarging the image in the first direction;
First direction edge emphasizing means for emphasizing edges by applying a one-dimensional first direction filtering process to the pixels of the image magnified by the first direction enlarging means;
Second direction enlarging means for enlarging the image in a second direction;
An image processing apparatus comprising: a second direction edge enhancement unit that enhances an edge by performing a one-dimensional second direction filter process on a pixel of an image enlarged by the second direction enlargement unit.