JP4204673B2

JP4204673B2 - Image processing method and image processing apparatus

Info

Publication number: JP4204673B2
Application number: JP27667998A
Authority: JP
Inventors: 淳榎本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1998-09-30
Filing date: 1998-09-30
Publication date: 2009-01-07
Anticipated expiration: 2018-09-30
Also published as: JP2000115509A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルの画像処理方法および画像処理装置の技術分野に属し、詳しくは、フィルム画像を光電的に読み取り、この画像が再現されたプリント（写真）を得るデジタルフォトプリンタ等において、レンズ付きフィルムや安価なコンパクトカメラやデジタルカメラ等の性能の高くないレンズで撮影された画像であっても、レンズの収差による画質劣化のない、高画質な画像を得ることができる画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
現在、ネガフィルムやリバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの投影光によって感光材料を露光する、いわゆる直接露光（アナログ露光）が主流である。
【０００３】
これに対し、近年、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、プリント（写真）とするデジタルフォトプリンタが実用化された。
【０００４】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。また、画像や文字の合成等も画像データ処理で行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
【０００５】
しかも、デジタルフォトプリンタによれば、フィルムに撮影された画像以外にも、デジタルカメラで撮影された画像やコンピュータで処理した画像もプリントして出力でき、また、プリント以外にも、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００６】
このようなデジタルフォトプリンタは、基本的に、フィルムに読取光を入射して、その投影光を読み取ることによって、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）と、スキャナによって読み取られた画像データやデジタルカメラ等から供給された画像データに所定の画像処理を施し、画像記録のための画像データすなわち露光条件とする画像処理装置と、画像処理装置から出力された画像データに応じて、例えば光ビーム走査によって感光材料を走査露光して潜像を記録するプリンタ（画像記録装置）と、プリンタによって露光された感光材料に現像処理を施して、画像が再生されたプリントとするプロセサ（現像装置）とを有して構成される。
【０００７】
【発明が解決しようとする課題】
ところで、フィルムに撮影された画像をプリントに再生した際の画質劣化の一因として、カメラのレンズ性能に起因する、いわゆるレンズ収差による画質劣化が挙げられる。
【０００８】
例えば、１枚のレンズであっても、Ｒ（赤）光、Ｇ（緑）光、およびＢ（青）光では屈折率が異なる。そのため、シーン中の同位置でも、Ｒ光、Ｇ光およびＢ光でフィルム上での結像位置が異なる、いわゆる倍率色収差を生じ、フィルムに撮影された画像を再生すると、得られた画像に色ズレが生じてしまう。
また、適正な撮影画像を得るためには、シーン中の光軸に垂直な平面は、光軸に対して垂直な同一平面上に結像される必要がある。ところが、通常のレンズでは、結像面が光軸方向にずれる、いわゆる歪曲収差を生じて結像画像が歪み、フィルムに撮影された画像を再生すると、得られた画像が歪みを有するものとなってしまう。
さらに、レンズの性能に応じて生じる、中心部よりも周辺部の方が画像が暗くなってしまう周辺光量の低下や、ピント位置がフィルムの面方向で異なることに起因するピントボケ等も、画質劣化の原因となっている。
【０００９】
一眼レフカメラ等のように、ある程度のコストを掛けられるカメラであれば、精度の高いレンズを用い、さらに複数枚のレンズを組み合わせることにより、各種の収差を補正して、フィルムに適正画像を撮影することができる。
しかしながら、レンズ付きフィルムやコンパクトカメラのように、安価であることが要求されるカメラでは、レンズにコストを掛けることができないため、フィルムに撮影された画像に収差が生じてしまう。その結果、プリントとして再生された画像が、色ズレや歪を有するものとなってしまう。
【００１０】
本発明の目的は、前記従来技術の問題点を解決することにあり、レンズ付きフィルム、安価なコンパクトカメラ、安価なデジタルカメラによって撮影された画像であっても、画像処理によって、レンズの性能に起因する画像の収差（レンズの収差に起因する画質劣化）を補正して、歪や色ズレ等のない高画質な画像を出力することを可能にする、デジタルの画像処理方法および画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
すなわち、本発明の画像処理方法は、レンズで光学的に撮影され、前記レンズに起因する収差が生じた画像から得られた入力画像データに画像処理を施して、撮影された前記レンズに起因する前記画像の前記収差が補正された出力用の出力画像データとするに際し、予め、前記画像を撮影した前記レンズの前記画像の結像面において前記画像に生じた前記収差を補正するために用いられる、前記レンズの前記画像の結像面の位置に対応して設定されている収差補正パラメータに対し、前記出力画像データを得るための電子変倍率、前記入力画像データの入力画素数、入力画像の前記結像面における寸法、および出力画像のサイズの少なくとも１つを用いて、少なくとも前記結像面の位置に対応する寸法の単位から画素単位に換算する変換処理を行い、前記出力画像データの画素単位に対応する収差補正パラメータとし、この画素単位の収差補正パラメータを用いて、前記画像を撮影した前記レンズに起因する前記画像の前記収差を補正して、前記出力用の出力画像データとすることを特徴とする画像処理方法を提供する。
【００１２】
また、本発明の画像処理装置は、レンズで光学的に撮影され、前記レンズに起因する収差が生じた画像から得られた入力画像データに画像処理を施して、撮影された前記レンズに起因する前記画像の前記収差が補正された出力用の出力画像データとする画像処理装置であって、前記画像を撮影した前記レンズを判別する判別情報を取得する取得手段、前記画像を撮影する前記レンズの結像面において前記画像に生じた前記レンズの前記収差を補正するために用いられる、前記レンズの前記画像の結像面の位置に対応して設定されている収差補正パラメータを記憶する記憶手段、前記取得手段が取得した前記判別情報に応じて、前記記憶手段から対応する前記レンズの前記結像面における収差補正パラメータを選択する選択手段、前記出力画像データを得るための電子変倍率、前記入力画像データの入力画素数、入力画像の前記結像面における寸法、および出力画像のサイズの少なくとも１つを用いて、前記選択手段が選択した結像面における収差補正パラメータに対して、少なくとも前記結像面の位置に対応する寸法の単位から画素単位に換算する変換処理を行い、前記出力画像データの画素単位に対応する収差補正パラメータに変換する変換手段、および、前記変換手段が変換した前記画素単位に対応する収差補正パラメータを用いて、前記画像を撮影した前記レンズに起因する前記画像の前記収差を補正して、前記出力用の出力画像データとする補正手段を有することを特徴とする画像処理装置を提供する。
【００１３】
また、前記本発明において、前記画像は、写真フィルムに撮影された画像であって、前記入力画像の前記結像面における寸法は、前記写真フィルムからの前記画像の読み取り寸法であるのが好ましく、また、前記収差が、倍率色収差、歪曲収差、ピントボケ、および周辺光量低下の少なくとも１つであるのが好ましい。
【００１４】
さらに、前記補正手段が、前記収差補正パラメータと画像位置の情報とを用いて、倍率色収差に起因する３原色の基準となる色に対する他の色の画像位置のずれ量を算出し、この倍率色収差に起因するずれ量と、歪曲収差に起因する前記基準となる色の画像位置のずれ量とを用いて、歪曲収差と倍率色収差を補正した各画像の適正な位置を算出し、この適正な位置を用いて歪曲収差および倍率色収差を補正し、あるいは、この適正な位置を用いて電子変倍処理を行なうのが好ましい。
【００１５】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１６】
図１に、本発明の画像処理方法および画像処理装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を像様露光し、現像処理してプリント（写真）として出力するプリンタ１６とを有して構成される。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するディスプレイ２０が接続される。
【００１７】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各画像読取に対応するラインＣＣＤセンサを有するイメージセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有して構成される。
【００１８】
また、フォトプリンタ１０においては、新写真システム(Advanced Photo System）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送される。
【００１９】
スキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４によって光量調整された読取光が、キャリア３０によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
【００２０】
キャリア３０は、図２（Ａ）に示されるように、所定の読取位置にフィルムＦを位置しつつ、イメージセンサ３４のラインＣＣＤセンサの延在方向（主走査方向）と直交する副走査方向に、フィルムＦの長手方向を一致して搬送する、読取位置を副走査方向に挟んで配置される搬送ローラ対３０ａおよび３０ｂと、フィルムＦの投影光を所定のスリット状に規制する、読取位置に対応して位置する主走査方向に延在するスリット４０ａを有するマスク４０とを有する。
フィルムＦは、このキャリア３０によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムＦが主走査方向に延在するスリット４０ａによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００２１】
周知のように、新写真システムのフィルムには、磁気記録媒体が形成されており、新写真システムのフィルム（カートリッジ）に対応するキャリア３０には、この磁気記録媒体に記録された情報を読み取り、また、必要な情報を記録する磁気ヘッド４２が配置されている。フィルムＦの磁気記録媒体に記録された情報は、磁気ヘッド４２で読み取られて、スキャナ１２本体から画像処理装置１４等の必要な部位に送られ、あるいは、各種の情報が磁気ヘッド４２によってフィルムＦの磁気記録媒体に記録される。
また、図中符号４４は、フィルムに光学的に記録されるＤＸコード、拡張ＤＸコード、ＦＮＳコード等のバーコードや、フィルムに光学的に記録された各種の情報、コマ中の画像撮影領域等を読み取るためのセンサであり、センサ４４で読み取られた各種の情報が画像処理装置１４等の所定部位に送られる。
【００２２】
前述のように、読取光は、所定の読取位置において、キャリア３０に保持されたフィルムＦを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット３２によってイメージセンサ３４の受光面に結像される。
図２（Ｂ）に示されるように、イメージセンサ３４は、Ｒ画像を読み取るラインＣＣＤセンサ３４Ｒ、Ｇ画像を読み取るラインＣＣＤセンサ３４Ｇ、およびＢ画像を読み取るラインＣＣＤセンサ３４Ｂを有する、いわゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣＤセンサは、前述のように主走査方向に延在している。フィルムＦの投影光は、このイメージセンサ３４によって、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
イメージセンサ３４の出力信号は、アンプ３６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされて、画像処理装置１４に送られる。
【００２３】
スキャナ１２においては、フィルムＦに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るための本スキャンとの、２回の画像読取で行う。
プレスキャンは、スキャナ１２が対象とする全てのフィルムの画像を、イメージセンサ３４が飽和することなく読み取れるように、あらかじめ設定された、プレスキャンの読取条件で行われる。一方、本スキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３４が飽和するように、各コマ毎に設定された本スキャンの読取条件で行なわれる。
従って、プレスキャンと本スキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じである。
【００２４】
なお、本発明において、スキャナは、このようなスリット走査によるものに限定はされず、エリアＣＣＤセンサを用い、１コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。
また、フォトプリンタ１０は、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ１２以外にも、反射原稿の画像を読み取る画像読取装置、デジタルカメラやデジタルビデオカメラ等の撮像デバイス、コンピュータ通信等の通信手段、ＭＯ（光磁気記録媒体）等の記録媒体などの、各種の供給源から画像データを受け取って、プリントを作成することができる。すなわち、本発明は、デジタルカメラ等の撮像デバイスで光学的に撮影された画像（画像データ）にも好適に利用可能である。
【００２５】
前述のように、スキャナ１２からの出力信号（画像データ）は、画像処理装置１４に出力される。
図３に画像処理装置（以下、処理装置１４とする）のブロック図を示す。処理装置１４は、データ処理部５０、Ｌｏｇ変換器５２、プレスキャンメモリ５４、本スキャンメモリ５６、プレスキャン処理部５８、本スキャン処理部６０、および条件設定部６２を有して構成される。
なお、図３は、主に画像処理関連の部位を示しており、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ等が配置される。また、操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部位に接続される。
【００２６】
スキャナ１２から出力されたＲ，ＧおよびＢの各デジタル信号は、データ処理部５０において、ＤＣオフセット補正、暗時補正、シェーディング補正等の所定のデータ処理を施された後に、Ｌｏｇ変換器５２で変換されてデジタル画像（濃度）データとされ、プレスキャン（画像）データはプレスキャンメモリ５４に、本スキャン（画像）データは本スキャンメモリ５６に、それぞれ記憶される。
なお、プレスキャンデータと本スキャンデータは、解像度（画素密度）と信号レベルが異なる以外は、基本的に同じデータである。
【００２７】
プレスキャンメモリ５４に記憶されたプレスキャンデータはプレスキャン処理部５８において、本スキャンメモリ５６に記憶された本スキャンデータは本スキャン処理部６０において、それぞれ処理される。
プレスキャン処理部５８は、画像処理部６４およびデータ変換部６６を有して構成される。他方、本スキャン処理部６０は、画像処理部６８、データ変換部７０、補正パラメータ供給部７４、および補正パラメータ変換部７５を有して構成される。
【００２８】
プレスキャン処理部５８の画像処理部６４と、本スキャン処理部６０の画像処理部６８は、共に、後述する条件設定部６２が設定した画像処理条件に応じて、スキャナ１２によって読み取られた画像（画像データ）に所定の画像処理を施す部位である。
画像処理部６４および６８は、処理する画像データの画素密度が異なり、また、画像処理部６４が収差補正部７２を有さない以外は、基本的に同じ処理を行なうので、以下の説明は、本スキャン処理部６０の画像処理部６８を代表例として行なう。なお、本発明においては、プレスキャン処理部５８の画像処理部６４にも、収差補正部を設けて、必要に応じて、プレスキャン画像にも後述する収差補正を行なってもよい。
【００２９】
画像処理部６８（６４）のＬＵＴは、ＬＵＴ（ルックアップテーブル）によって、画像の色バランス調整、コントラスト調整（階調処理）、および明るさ調整（濃度調整）を行なう部位である。また、ＭＴＸは、マトリクス演算によって、画像の彩度調整を行なう部位である。
【００３０】
本スキャン処理部６０の画像処理部６８には、ＭＴＸとブロック６８Ａとの間に、画像を撮影したカメラのレンズ特性に起因する歪曲収差および倍率色収差の補正、ならびに電子変倍処理を行う、収差補正部７２が配置される。
また、収差補正部７２には、補正パラメータ供給部７４および補正パラメータ変換部７５が接続される。
【００３１】
補正パラメータ供給部７４には、画像を撮影する各種のレンズ種に対応して、画像の結像面、すなわちフィルム面やデジタルカメラ等のイメージセンサの受光面における、画像の収差を補正（レンズの収差特性に起因する画質劣化を補正）する収差補正パラメータが記憶されており、図示例においては、各種のレンズ種に対応して、倍率色収差を補正する収差補正パラメータ、および歪曲収差を補正する収差補正パラメータが記憶されている。
補正パラメータ供給部７４は、レンズ種の判別情報を取得して、フィルムＦ等に画像を撮影したレンズ種を判別し、記憶している収差補正パラメータを検索して、判別したレンズの収差補正パラメータ選択し、補正パラメータ変換部７５に供給する。
【００３２】
なお、本発明においては、全ての画像に収差補正をかけるのに限定はされず、一眼レフのように高性能なレンズを有するカメラで撮影された、レンズ収差の無い、あるいは極めて少ない画像には、収差補正をかける必要はない。
収差補正の要・不要は、例えば、画像を撮影したレンズ種（カメラの機種）に応じて判断してもよく、あるいは、補正パラメータ供給部７４に、画像を撮影したレンズ種のレンズ特性が記憶されているか否かで決定してもよい。
【００３３】
フィルムＦ等に画像を撮影したレンズ種を判別する判別情報、およびその所得手段には特に限定はなく、各種の方法が利用可能である。
通常は、カメラの機種が判ればレンズ種が判別できるので、例えば、新写真システムのカメラであれば、フィルムＦにカメラの機種やレンズ種を磁気記録し、プリント作成時にスキャナ１２（キャリア３０）において読み取り、これを用いてカメラの機種すなわちレンズ種を判別することができる。また、カメラによってフィルムＦにレンズ種（カメラの機種）の情報を光学的に焼き付け、これをキャリア３０のセンサ４４で読み取ってもよい。レンズ付きフィルムであれば、製造時に、これらの情報を磁気記録あるいは焼き付けておいて、これを利用してレンズ種を判別してもよい。
あるいは、デジタルカメラ等の撮像デバイスであれば、画像データ（データファイル）のヘッダにカメラの機種やレンズ種を記録してもよい。
さらに、受け付け時に、カメラの機種を顧客に聞いて記録しておき、プリント作成時にオペレータがこれをキーボード１８ａ等で入力して、レンズ種を判別してもよい。
【００３４】
前述のように、補正パラメータ供給部７４は、画像を撮影したレンズ種に対応する収差補正パラメータを選択して、補正パラメータ変換部７５に供給する。ここで、補正パラメータ供給部７４に記憶されている収差補正パラメータは、画像を撮影したカメラの結像面における収差の補正に対応するものであり、例えば、結像面上における位置に対応するｍｍ単位のパラメータである。補正パラメータ変換部７５は、この結像面における収差補正パラメータを、画像の電子変倍率、入力画素数（すなわち、電子変倍処理前の画素数、もしくは処理装置１４が取り込んだ画素数）、スキャナ１２によるフィルムＦの読取サイズ（入力画像サイズ）、および出力画像サイズ（出力画素数）の少なくとも１つによって、変換処理して、出力画像の画素単位の収差補正パラメータとし、収差補正部７２に供給するものである。
【００３５】
フィルム等に光学的に撮影された画像をプリントに再生する際において、レンズに起因する画像の収差は、出力するプリントサイズ（すなわち出力画素数）等の入／出力条件によって異なる。従って、収差を適正に補正するためには、補正パラメータをプリントサイズ等に応じて変える必要がある。しかしながら、多数のレンズ種に対応して、出力する可能性があるプリントサイズ等の各種の条件の全てに対応して補正パラメータを持つためには、大きな容量のメモリが必要となり、効率やコストの点で不利である。これに対し、本発明においては、各種のレンズに対応して、結像面における収差を補正する収差補正パラメータを記憶しておき、これを電子変倍率、入力画素数、フィルム読取サイズ、および出力画像サイズの少なくとも一つによって、変換処理して、出力画像の画素単位に対応する収差補正パラメータとすることにより、レンズに起因する画像の収差補正を行う画像処理において、上記不都合を解消して、効率のよい画像処理装置の実現を可能としている。
【００３６】
変換処理を、電子変倍率、入力画素数、フィルム読取サイズ、および出力画像サイズのいずれを用いて行なうかは、フォトプリンタ１０のシステム構成に応じて、適宜選択、設定すればよい。例えば、フィルムの読取サイズやイメージセンサからの出力エリア（入力画像サイズ）が固定で、出力画像サイズが可変である場合には、電子変倍率および入力画素数のみで変換処理を行なえばよい。出力画像サイズは、電子変倍率および入力画素数で決まるので、不要である。
【００３７】
これに対し、入力画像サイズおよび出力画像サイズが、共に可変であるフォトプリンタであれば、電子変倍率、入力画素数、およびフィルム読取サイズによって変換処理を行なう。フィルムＦの画像を光電的に読み取るスキャナでは、より好適な画像情報を得るために、出力するプリントサイズ、例えば、１３５フィルムのパノラマサイズとＬサイズ、新写真システムのＣタイプ、ＨタイプおよびＰタイプでフィルムＦの読取サイズを変えている装置も多い。通常のレンズでは、フィルム面上の位置によって収差は異なるものであり、従って、フィルムＦの読取サイズによって、収差特性に起因する画像データ上の画質劣化の位置は異なる。そのため、このようなスキャナに対応する場合には、電子変倍率および入力画素数に加え、フィルムＦの読取サイズも加味して変換処理を行なう。また、デジタルカメラであれば、同様に、イメージセンサの出力エリアを加味する。
【００３８】
また、入力画素数が固定の系であれば、電子変倍率および出力画像サイズのいずれかを用いれば、変換処理を行うことができる。但し、入力画素数が固定であっても、入力画像サイズ（形等）が異なる場合には、先と同様に、入力画像サイズも加える必要がある。出力画像サイズが固定の系であれば、入力画素数および電子変倍率のいずれか、あるいは、同様にさらに入力画像サイズによって変換処理を行なうことができる。
【００３９】
変換処理の方法には特に限定はなく、収差補正パラメータ等に応じて、電子変倍率や入力画素数等を加味し、結像面上の位置に対応する収差補正パラメータを、出力画像の画素に対応する収差補正パラメータに変換（換算）する処理を行なえばよい。また、電子変倍率、入力画素数、入力画像サイズ、および出力画像サイズは、出力プリントサイズの入力やフィルムサイズ（フィルムのタイプ）の入力等のオペレータによる指示や、前述の新写真システムのフィルムへの磁気記録、フィルムへの光学的な記録、画像データのヘッダへの記録等によって知見すればよい。なお、フィルムサイズはスキャナ１２に装着されるキャリア３０によって知見してもよい。さらに、フィルムＦに記録された磁気情報や光学的な情報等から、画像撮影時の焦点距離を取得して、この焦点距離に応じて収差補正パラメータを補正してもよい。
【００４０】
収差補正パラメータにも特に限定はなく、例えば、収差補正を行う補正関数や補正係数であってもよく、収差補正部７２で収差補正に用いる補正関数に掛かるあるいはこの補正関数を補正する、係数や関数であってもよい。
また、一般的に、歪曲収差や倍率色収差等のレンズの収差の特性は、レンズの光軸すなわちフィルムＦに撮影された画像の中心からの距離（例えば、ｘ−ｙで示される）をパラメータとする３次関数で、ある程度まで近似できるので、この３次関数そのものを収差補正パラメータとして持ってもよく、あるいは、この３次関数に掛かるあるいはこれを補正する係数や関数を収差補正パラメータとしてもよい。
【００４１】
収差補正部７２は、補正パラメータ変換部７５から供給された収差補正パラメータを用いて、画像の歪曲収差および倍率色収差の補正を行うものであり、図示例においては、好ましい態様として、この収差補正パラメータと、画像データの位置（画素位置）の情報、例えば、中心画素（撮影レンズの光軸の中心に対応する画素）からの座標位置（中心画素から何画素目か）とを用いて、歪曲収差および倍率色収差の補正、ならびに電子変倍処理を行なう。なお、この座標は、例えば、ｘ−ｙ座標でも極座標でもよく、画素の位置が相対的に検出できれば、各種の位置情報が利用可能である。
また、収差補正を行なわない画像については、収差補正部７２では電子変倍処理のみが行なわれる。
【００４２】
なお、マスク等によって切り出された画像の中心が、ほぼ撮影時のレンズの光軸の中心として考えられる場合には、切り出された画像の中心の画素をレンズの光軸の中心として、各種の収差（歪曲収差、倍率色収差、周辺光量、画像ボケ）を補正してもよい。
【００４３】
ここで、倍率色収差および歪曲収差の補正を別々に行うと、演算に時間がかかり、また、補間演算も複数回行う必要が生じるため、画質が劣化するという問題がある。
そのため、好ましくは、収差補正パラメータと画素位置とを用いて、Ｒ、ＧおよびＢの３原色の基準となる色（通常はＧ）を基準として、ＲとＢの像倍率を変換して、ＲおよびＢの画像をＧ画像に合わせて倍率色収差を補正し、その後、Ｇ画像の歪曲収差を補正して、画像の倍率色収差および歪曲収差を補正する。
【００４４】
すなわち、倍率色収差に起因する基準色（Ｇ）に対するＲおよびＢの画素位置のずれ量と、歪曲収差に起因する基準色の画素位置のずれ量とから、各画素毎の適正位置を算出し、算出された各画素の適正位置の情報を用いて、各画素の画像データを補間演算することによって、フィルムに撮影された画像の倍率色収差および歪曲収差を補正した画像データを得る。
従って、歪曲収差についてはＧ画像に対する演算のみを行なえばよいので、演算量や補間演算を減らして、より好適な補正を行なうことができる。
【００４５】
ここで、前記変換処理にも影響を与えているが、画像処理装置では、通常、画像データ処理による画像の拡大もしくは縮小、すなわち、電子変倍処理を行って、画像（画像データ）を出力画像に応じたサイズにして出力する。この電子変倍処理は、通常、画像データを補間演算することにより行なわれる。ところが、前記倍率色収差および歪曲収差の補正でも補間演算が必要であるため、２回の補間が行われる結果となり、画質が劣化してしまう場合もある。
【００４６】
そのため、より好ましくは、前記算出された各画素の適正位置の情報を用いて、画像データを電子変倍率に応じたＮ倍補間することにより、同時に画像の電子変倍処理を行なう。言い換えれば、倍率色収差および歪曲収差による画素位置のずれ量を算出して、各画素が本来どの位置にあるべきであるかを知見し、この適正な位置に応じて画像データのＮ倍補間演算を行って電子変倍処理を行なう。
これにより、１回の補間演算で、歪曲収差および倍率色収差の補正と、電子変倍処理とを行なうことができる。
【００４７】
図示例の収差補正部７２は、上記処理方法を実施する部位であり、図４の概念図に示されるように、座標変換処理部７２Ａと、拡大縮小処理部７２Ｂとを有して構成される。
なお、図４において、ｉｒ，ｉｇおよびｉｂは、それぞれＭＴＸから供給された画像データ（入力画像データ）の画素位置（アドレス）を；Ｉｒ，ＩｇおよびＩｂは、倍率色収差および歪曲収差を補正された画像データの画素位置を；
ΔｒおよびΔｂは、それぞれ倍率色収差によるＧの画素位置に対するＲおよびＢの画素位置のずれ量（すなわち補正量）を；Ｄは、歪曲収差によるＧの画素位置のずれ量を；それぞれ示す。
【００４８】
収差補正部７２においては、ＭＴＸから画像データが供給されると、座標変換処理部７２Ａにおいて、補正パラメータ変換部７５から供給された（倍率色収差の）収差補正パラメータを用いて、ＲおよびＢの画像データの各画素位置ｉｒおよびｉｂにおける、Ｇの画像データｉｇに対する倍率色収差によるずれ量ΔｒおよびΔｂを算出し、さらに、補正パラメータ変換部７５から供給された（歪曲収差の）収差補正パラメータを用いてＧの入力画像データｉｇの歪曲収差によるずれ量Ｄを算出する。
【００４９】
次いで、Ｒの入力画像データの各画素位置ｉｒに前記ΔｒとＤを加えて、倍率色収差および歪曲収差を補正されたＲの画像データの画素位置Ｉｒを算出し、Ｂの入力画像データの各画素位置ｉｂに前記ΔｂとＤを加えて、倍率色収差および歪曲収差を補正されたＢの画像データの画素位置Ｉｂを算出し、Ｇの入力画像データの各画素位置ｉｇに前記Ｄを加えて、倍率色収差および歪曲収差を補正されたＢの画像データの画素位置Ｉｂを算出する。
すなわち、この計算では、Ｇ画像を基準として、Ｒ画像およびＢ画像の倍率色収差を補正して、全画像をＧ画像に位置合わせして、Ｇ画像の歪曲収差によるずれ量Ｄを用いて、全体の歪曲収差を補正して、Ｒ，ＧおよびＢの各画像の倍率色収差および歪曲収差を補正された画素位置を算出している。
【００５０】
次いで、拡大縮小処理部７２Ｂにおいて、この倍率色収差および歪曲収差を補正された画素位置Ｉｒ，ＩｇおよびＩｂを用いて、拡大／縮小倍率に応じた画像データの補間処理（Ｎ倍補間）を行なうことにより画像の変倍を行ない、倍率色収差および歪曲収差を補正され、かつ電子変倍処理を行われた画像データとして、ブロック６８Ａに出力する。電子変倍処理の方法には特に限定はなく、公知の方法が各種利用可能であり、例えば、バイリニア補間を用いる方法、スプライン補間を用いる方法等が例示される。
【００５１】
なお、歪曲収差の補正を行なうと、再現領域の画像が無くなる、いわゆるケラレを生じる場合があるので、歪曲収差の補正を行う場合には、通常よりも０．１％〜５％程度、高い変倍率で電子変倍処理（補間）を行なうのが好ましい。
また、その際の電子変倍率は、レンズ種に応じて各種設定してもよい。また、歪曲収差の量は、画像の縦と横で異なる場合があるので、それに応じて、縦と横で電子変倍処理の変倍率を変えてもよい。
【００５２】
図示例の装置においては、好ましい態様として、歪曲収差および倍率色収差の両者を補正しているが、いずれか一方のみを行なってもよい。
この場合にも、収差補正と電子変倍処理とを別々に行なうのではなく、前述の方法と同様に、収差に起因するズレ量を補正した画像の適正位置を算出し、この適正位置の情報を用いて、画像データのＮ倍補間を行って電子変倍処理を行うのが好ましい。
【００５３】
さらに、歪曲収差や倍率色収差のみならず、あるいはそれに代えて、レンズに起因するピントボケ（ＰＳＦ:Point Spread Function）や周辺光量低下等の収差を補正する、結像面における収差補正パラメータも記憶しておき、先と同様に変換処理を行って出力画像の画素に対応する収差補正パラメータとして、前記収差補正に加え、あるいはそれに代えて、ピントボケ補正や周辺光量補正も行なうようにしてもよい。
【００５４】
画像処理部６４のＭＴＸ、および収差補正部７２で処理された画像データは、次いで、ブロック６４Ａおよび６８Ａで処理される。
ブロック６４Ａおよび６８Ａは、シャープネス処理、覆い焼き処理（中間階調を維持した画像ダイナミックレンジの圧縮）、文字や画像の合成等の、前述の各種の処理以外の画像処理を行なう部位である。
【００５５】
画像処理部６４および６８で処理された画像データは、データ変換部６６および７０に送られる。
プレスキャン処理部５８のデータ変換部６６は、画像処理部６４によって処理された画像データを、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データにする。なお、必要に応じて、このデータ変換部６６で電子変倍処理を行なってもよい。
他方、本スキャン処理部６０のデータ変換部７０は、同様に、画像処理部６８によって処理された画像データを３Ｄ−ＬＵＴを用いて変換し、プリンタ１６による画像記録に対応する画像データとしてプリンタ１６に供給する。
【００５６】
プレスキャン処理部５８および本スキャン処理部６０による各種の処理条件は、条件設定部６２によって設定される。
この条件設定部６２は、セットアップ部７２、キー補正部７８およびパラメータ統合部８０を有して構成される。
【００５７】
セットアップ部７２は、プレスキャンデータを用いて、本スキャンの読み取り条件を設定すると共に、施す画像処理を選択して、画像処理部６４および６８やデータ変換部６６および７０における画像処理条件を設定し、パラメータ統合部８０に供給する。
具体的には、セットアップ部７６は、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行ない、加えて、必要に応じて行われるオペレータによる指示に応じて、本スキャンの読み取り条件を設定し、また、前述の色バランス調整等を行なうＬＵＴや彩度調整を行うマトリクス演算式の作成等の画像処理条件を決定する。
【００５８】
キー補正部７８は、キーボード１８ａ等による、明るさ、色、階調、彩度等の補正指示に応じて、画像の補正量を算出して、パラメータ統合部８０に供給するものである。
パラメータ統合部８０は、セットアップ部７６が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャン処理部５８および本スキャン処理部６０の所定部位に設定し、さらに、キー補正部７８で算出された補正量に応じて、この補正を行なうＬＵＴ等を作成して所定の部位に設定し、また、各部位に設定した画像処理条件を補正する。
【００５９】
以下、スキャナ１２および処理装置１４の作用を説明する。
オペレータがフィルムＦに対応するキャリア３０をスキャナ１２に装填し、キャリア３０の所定位置にフィルムＦ（カートリッジ）をセットし、作成するプリントサイズ等の必要な指示を入力した後に、プリント作成開始を指示する。
このプリントサイズの情報等は、処理装置１４に送られ、画像処理部６８や補正パラメータ変換部７５が、電子変倍率、入力画素数、フィルム読取サイズ、出力画像サイズ等に関する情報を得る。
【００６０】
前記プリント作成開始の指示により、スキャナ１２の可変絞り２４の絞り値やイメージセンサ（ラインＣＣＤセンサ）３４の蓄積時間がプレスキャンの読取条件に応じて設定され、その後、キャリア３０がフィルムＦをプレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、前述のように所定の読取位置において、フィルムＦがスリット走査されて投影光がイメージセンサ３４に結像して、フィルムＦに撮影された画像がＲ，ＧおよびＢに分解されて光電的に読み取られる。
【００６１】
また、このフィルムＦの搬送の際に、キャリア３０の磁気ヘッド４２によってフィルムＦに磁気記録された情報が読み取られ、また、センサ４４によって光学的に記録された各種の情報が読まれ、必要な情報が処理装置１４等の所定の部位に送られ、例えば、処理装置１４の補正パラメータ供給部７４がレンズ種の判別情報を得る。なお、判別情報等は、オペレータによる入力等、各種の方法で提供されてもよいのは、前述のとおりである。
【００６２】
なお、プレスキャンおよび本スキャンは、１コマずつ行なってもよく、全コマあるいは所定の複数コマずつ、連続的にプレスキャンおよび本スキャンを行なってもよい。以下の例では、説明を簡潔にするために、１コマの画像読取を例に説明を行う。
【００６３】
プレスキャンによるイメージセンサ３４の出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３８に送られ、デジタル信号とされ、処理装置１４に送られ、データ処理部５０でデータ処理を施され、Ｌｏｇ変換器５２でデジタル画像データであるプレスキャンデータとされ、プレスキャンメモリ５４に記憶される。
【００６４】
プレスキャンメモリ５４にプレスキャンデータが記憶されると、条件設定部６２のセットアップ部７６がこれを読み出し、濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行ない、本スキャンの読取条件を設定してスキャナ１２に供給し、また、階調調整等の各種の画像処理条件を設定し、パラメータ統合部８０に供給する。
パラメータ統合部７６は、供給された画像処理条件を、プレスキャン処理部５６および本スキャン処理部５８の所定部位（ハードウエア）に設定する。
【００６５】
検定を行う場合には、プレスキャン処理部６２によってプレスキャンデータがプレスキャンメモリ５４から読み出され、画像処理部６４おいて設定された画像処理条件で画像処理され、さらに、データ変換部６６で変換され、シュミレーション画像としてディスプレイ２０に表示される。
オペレータは、ディスプレイ２０の表示を見て、画像すなわち処理結果の確認（検定）を行ない、必要に応じて、キーボード１８ａに設定された調整キー等を用いて色、濃度、階調等を補正する。
この調整の入力は、キー補正部７８に送られ、キー補正部７８は補正入力に応じた補正量を算出し、これをパラメータ統合部７６に送る。パラメータ統合部７６は、この補正量に応じて、これを実行するための補正条件を設定し、また、先に設定した画像処理条件の補正等を行なう。従って、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ２０に表示される画像も変化する。
【００６６】
オペレータは、このコマの画像が適正（検定ＯＫ）であると判定すると、キーボード１８ａ等を用いてプリント出力を指示する。これにより、画像処理条件が確定し、スキャナ１２において可変絞り２４の絞り値等が設定された本スキャンの読取条件に応じて設定されると共に、キャリア３０が本スキャンに対応する速度でフィルムＦを搬送し、本スキャンが開始される。
なお、検定を行なわない場合には、パラメータ統合部８０による本スキャン処理部６０への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。このような検定の有無は、モードとして選択可能にするのが好ましい。
【００６７】
本スキャンは、可変絞り２４の絞り値等の読取条件が設定された本スキャンの読取条件となる以外はプレスキャンと同様に行なわれ、イメージセンサ３４からの出力信号はアンプ３６で増幅されて、Ａ／Ｄ変換器３８でデジタル信号とされ、処理装置１４のデータ処理部５０で処理されて、Ｌｏｇ変換器５２で本スキャンデータとされ、本スキャンメモリ５６に送られる。
本スキャンデータが本スキャンメモリ５４に送られると、本スキャン処理部６０によって読み出され、画像処理部６８のＬＵＴおよびＭＴＸで階調調整や彩度調整が施され、次いで、収差補正部７２に送られる。
【００６８】
一方、補正パラメータ供給部７４は、取得した判別情報からレンズ種を判別し、対応するレンズ種の結像面における収差補正パラメータを読み出し、これを補正パラメータ変換部７５に送る。補正パラメータ変換部７５は、供給された結像面における収差補正パラメータを、入力されたプリントサイズの情報等から知見した電子変倍率、入力画素数、フィルム読取サイズ（入力画像サイズ）、出力画像サイズ等によって変換処理して、出力画像データの画素単位に対応する収差補正パラメータとし、これを収差補正部７２に送る。
【００６９】
収差補正部７２は、供給された収差補正パラメータと画像データの画素位置とから、前述のようにして、座標変換処理部７２Ａにおいて、倍率色収差および歪曲収差を補正した画素位置Ｉｒ，ＩｇおよびＩｂを算出して、拡大縮小処理部７２Ｂに送る。拡大縮小処理部７２Ｂでは、画素位置Ｉｒ，ＩｇおよびＩｂを用いて、画像データのＮ倍補間を行って画像の電子変倍を行ない、収差補正および電子変倍処理を施された画像データとしてブロック６８Ａに出力する。
なお、収差補正を行なわない画像は、座標変換処理部７２Ａでは何の処理も行なわれず、拡大縮小処理部７２Ｂで電子変倍処理のみが行なわれる。
【００７０】
画像データは、さらに、ブロック６８Ａにおいてシャープネス処理や覆い焼き処理等の必要な画像処理を施され、データ変換部７０に送られ、次いで、画像データ変換部７０においてプリンタ１６による画像記録に応じた画像データに変換され、プリンタ１６に送られる。
【００７１】
プリンタ１６は、感光材料（印画紙）を画像データに応じて露光して潜像を記録し、感光材料に応じた現像処理を施して（仕上り）プリントとして出力するものである。例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントの記録、感光材料（印画紙）の分光感度特性に応じた、赤（Ｒ）露光、緑（Ｇ）露光および青（Ｂ）露光Ｇの３種の光ビームを画像データ（記録画像）に応じて変調すると共に、主走査方向に偏向し、主走査方向と直交する副走査方向に感光材料を搬送することによる潜像の記録等を行い、潜像を記録した感光材料に、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとした後に、仕分けして集積する。
【００７２】
以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００７３】
【発明の効果】
以上、詳細に説明したように、本発明によれば、ズーム機能を有する安価なコンパクトカメラ等で撮影された画像であっても、好適に歪曲収差や倍率色収差等の収差補正を行なうことができ、高画質な画像が再生されたプリントを出力することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置を利用するデジタルフォトプリンタの一例のブロック図である。
【図２】（Ａ）は、図１に示されるデジタルフォトプリンタのキャリアの概念図を、（Ｂ）は、図１に示されるデジタルフォトプリンタのイメージセンサの概念図を、それぞれ示す。
【図３】図１に示されるデジタルフォトプリンタの画像処理装置の一例のブロック図である。
【図４】図３に示される画像処理装置の収差補正部の概念図である。
【符号の説明】
１０（デジタル）フォトプリンタ
１２スキャナ
１４（画像）処理装置
１６プリンタ
１８操作系
２０ディスプレイ
２２光源
２４可変絞り
２８拡散ボックス
３２結像レンズユニット
３４イメージセンサ
３６アンプ
３８Ａ／Ｄ変換器
４０マスク
４２磁気ヘッド
４４センサ
５０データ処理部
５２Ｌｏｇ変換器
５４プレスキャンメモリ
５６本スキャンメモリ
５８プレスキャン処理部
６０本スキャン処理部
６２条件設定部
６４，６８画像処理部
６６，７０データ変換部
７２収差補正部
７４補正パラメータ供給部
７５補正パラメータ変換部
７６セットアップ部
７８キー補正部
８０パラメータ統合部[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to the technical field of a digital image processing method and an image processing apparatus, and more specifically, in a digital photo printer or the like that photoelectrically reads a film image and obtains a print (photograph) in which the image is reproduced. Image processing method and image processing capable of obtaining high-quality images without image quality deterioration due to lens aberrations even with images taken with lenses that are not high performance such as film, inexpensive compact cameras, digital cameras, etc. Relates to the device.
[0002]
[Prior art]
At present, printing of an image taken on a photographic film (hereinafter referred to as a film) such as a negative film or a reversal film onto a photosensitive material (photographic paper) is a so-called direct exposure in which the photosensitive material is exposed by the projection light of the film. Analog exposure) is the mainstream.
[0003]
On the other hand, in recent years, a printing apparatus using digital exposure, that is, an image for recording after photoelectrically reading an image recorded on a film and converting the read image into a digital signal, and performing various image processing. A digital photo printer that uses data, scans and exposes a photosensitive material with recording light modulated according to the image data, records an image (latent image), and prints it (photograph) has been put into practical use.
[0004]
In digital photo printers, the exposure conditions during printing can be determined by processing the image data as digital image data, so correction of image skipping and blurring caused by backlighting, flash photography, etc., sharpness (sharpening) ) Processing and the like can be suitably performed to obtain a high-quality print that could not be obtained by conventional direct exposure. In addition, images and characters can be combined by image data processing, and prints that are freely edited / processed according to the application can be output.
[0005]
Moreover, according to the digital photo printer, in addition to the image photographed on the film, the image photographed by the digital camera or the image processed by the computer can be printed and output. The image data can be used for various purposes other than photography.
[0006]
Such a digital photo printer basically includes a scanner (image reading device) that photoelectrically reads an image recorded on the film by inputting the reading light to the film and reading the projection light. Predetermined image processing is performed on the read image data or image data supplied from a digital camera or the like, and image data for image recording, that is, an exposure condition, and image data output from the image processing apparatus Accordingly, for example, a printer (image recording apparatus) that scans and exposes a photosensitive material by light beam scanning to record a latent image, and develops the photosensitive material exposed by the printer to obtain a printed image. And a processor (developing device).
[0007]
[Problems to be solved by the invention]
By the way, as a cause of image quality degradation when an image shot on a film is reproduced as a print, image quality degradation due to so-called lens aberration caused by the lens performance of the camera can be cited.
[0008]
For example, even with a single lens, the refractive index differs for R (red) light, G (green) light, and B (blue) light. Therefore, even at the same position in the scene, the image position on the film differs between the R light, G light, and B light, so-called magnification chromatic aberration occurs. Misalignment will occur.
In order to obtain an appropriate captured image, the plane perpendicular to the optical axis in the scene needs to be imaged on the same plane perpendicular to the optical axis. However, with a normal lens, the image formation plane shifts in the optical axis direction, so-called distortion occurs, the image formed is distorted, and when the image taken on the film is reproduced, the obtained image is distorted. End up.
Furthermore, the image quality deteriorates due to the decrease in the amount of peripheral light that is darker in the peripheral area than in the central area and the out-of-focus image that is caused by the focus position being different in the film surface direction, depending on the lens performance. Cause.
[0009]
If it is a camera that costs a certain amount of cost, such as a single-lens reflex camera, use a highly accurate lens and combine multiple lenses to correct various aberrations and shoot an appropriate image on the film. can do.
However, in a camera that is required to be inexpensive, such as a film with a lens and a compact camera, the lens cannot be costly, and thus an aberration is generated in an image photographed on the film. As a result, an image reproduced as a print has color shift and distortion.
[0010]
An object of the present invention is to solve the problems of the prior art described above, and even if an image is taken by a film with a lens, an inexpensive compact camera, or an inexpensive digital camera, the performance of the lens is improved by image processing. A digital image processing method and image processing apparatus capable of correcting image aberration (degradation of image quality due to lens aberration) caused by the image and outputting a high-quality image free from distortion or color shift It is to provide.
[0011]
[Means for Solving the Problems]
That is, the image processing method of the present invention includes: With lens Optically shot Aberration caused by the lens Apply image processing to the input image data obtained from the The aberration of the image due to the taken lens was corrected When making output image data for output, , I took the picture Said On the image plane of the image of the lens And used to correct the aberration generated in the image, and is set corresponding to the position of the image forming surface of the image of the lens. Aberration correction parameters Against , Electronic magnification for obtaining the output image data, the number of input pixels of the input image data, Said At least one of a dimension on the image plane and a size of the output image Using The , And at least converted from a unit of dimensions corresponding to the position of the image plane to a pixel unit Conversion process Perform The aberration correction parameter corresponding to the pixel unit of the output image data, and using the aberration correction parameter of the pixel unit, Said I took a picture Said Due to the lens Said Image Said Correct aberrations Output image data for output and An image processing method is provided.
[0012]
The image processing apparatus of the present invention is With lens Optically shot Aberration caused by the lens Apply image processing to the input image data obtained from the The aberration of the image due to the taken lens was corrected An image processing apparatus for output image data for output, wherein the image is captured Said Acquisition means for acquiring discrimination information for discriminating a lens; Said Take a picture Said On the image plane of the lens And the image that occurred in the image lens Of the above Correct aberrations Set to correspond to the position of the image formation plane of the image of the lens used for Storage means for storing aberration correction parameters, acquired by the acquisition means Said Corresponding from the storage means according to the discrimination information Said Selection means for selecting an aberration correction parameter on the imaging plane of the lens, electronic magnification for obtaining the output image data, the number of input pixels of the input image data, Said At least one of a dimension on the image plane and a size of the output image Using Aberration correction parameters on the image plane selected by the selection means Is converted from a unit of dimensions corresponding to at least the position of the image plane to a pixel unit. Conversion process Do Conversion means for converting into an aberration correction parameter corresponding to a pixel unit of the output image data, and conversion by the conversion means Said Using aberration correction parameters corresponding to pixel units, Said I took a picture Said Due to the lens Said Image Said Correct aberrations Output image data for output and There is provided an image processing apparatus characterized by having a correcting means.
[0013]
In the present invention, the image is an image taken on a photographic film, and the input image Said The dimensions on the image plane are from the photographic film. Said The image reading size is preferable, and the aberration is preferably at least one of lateral chromatic aberration, distortion, defocus, and peripheral light amount reduction.
[0014]
Further, the correction means calculates a shift amount of the image position of the other color with respect to the reference color of the three primary colors caused by the chromatic aberration of magnification using the aberration correction parameter and the image position information, and this chromatic aberration of magnification. And calculating the appropriate position of each image corrected for distortion and lateral chromatic aberration, using the shift amount due to the distortion and the shift amount of the image position of the reference color due to distortion aberration. It is preferable to correct distortion aberration and lateral chromatic aberration using, or to perform electronic scaling using this appropriate position.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image processing method and an image processing apparatus according to the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.
[0016]
FIG. 1 is a block diagram showing an example of a digital photo printer using the image processing method and the image processing apparatus of the present invention.
A digital photo printer (hereinafter referred to as a photo printer 10) shown in FIG. 1 basically includes a scanner (image reading device) 12 that photoelectrically reads an image taken on a film F, and read image data ( The image processing device 14 performs image processing (image information), operation and control of the entire photo printer 10, and the photosensitive material (photographic paper) is imaged with a light beam modulated in accordance with the image data output from the image processing device 14. And a printer 16 that outputs the image as a print (photograph).
Further, the image processing apparatus 14 includes an operation system 18 having a keyboard 18a and a mouse 18b for inputting various settings (settings), processing selection and instructions, instructions for color / density correction, and the like, and a scanner. 12 is connected to a display 20 that displays the image read in step 12, various operation instructions, a condition setting / registration screen, and the like.
[0017]
The scanner 12 is a device that photoelectrically reads an image shot on the film F one frame at a time. The light source 22, the variable aperture 24, and diffusion that makes the reading light incident on the film F uniform in the surface direction of the film F. A box 28, an imaging lens unit 32, an image sensor 34 having a line CCD sensor corresponding to R (red), G (green) and B (blue) image reading, an amplifier 36, and A And a / D (analog / digital) converter 38.
[0018]
Further, in the photo printer 10, the scanner 12 is selected according to the type and size of a film such as a new photographic system (Advanced Photo System) and a 135 size negative (or reversal) film, and the form of a film such as strips and slides. A dedicated carrier that can be attached to the main body is prepared. By exchanging the carrier, various types of films and processing can be handled. Images (frames) photographed on a film and used for print creation are conveyed to a predetermined reading position by this carrier.
[0019]
When the scanner 12 reads an image photographed on the film F, the reading light emitted from the light source 22 and adjusted in light quantity by the variable aperture 24 is incident on the film F positioned at a predetermined reading position by the carrier 30. Thus, the projection light carrying the image photographed on the film F is obtained by transmitting.
[0020]
As shown in FIG. 2A, the carrier 30 is positioned in a predetermined scanning position with the film F in the sub-scanning direction orthogonal to the extending direction (main scanning direction) of the line CCD sensor of the image sensor 34. A pair of conveying rollers 30a and 30b that are arranged with the reading position sandwiched in the sub-scanning direction for conveying the film F in the same longitudinal direction, and the reading position that regulates the projection light of the film F into a predetermined slit shape. And a mask 40 having a slit 40a extending correspondingly in the main scanning direction.
The film F is incident on the reading light while being positioned at the reading position by the carrier 30 and being conveyed in the sub-scanning direction. As a result, the film F is slit-scanned two-dimensionally by the slit 40a extending in the main scanning direction, and the image of each frame photographed on the film F is read.
[0021]
As is well known, a magnetic recording medium is formed on the film of the new photographic system. The carrier 30 corresponding to the film (cartridge) of the new photographic system reads information recorded on the magnetic recording medium, Further, a magnetic head 42 for recording necessary information is disposed. Information recorded on the magnetic recording medium of the film F is read by the magnetic head 42 and sent from the scanner 12 main body to a necessary part such as the image processing device 14, or various kinds of information are transferred by the magnetic head 42 to the film F. Recorded on a magnetic recording medium.
Reference numeral 44 in the figure denotes a bar code such as a DX code, an extended DX code, or an FNS code optically recorded on the film, various information optically recorded on the film, an image shooting area in the frame, etc. The various information read by the sensor 44 is sent to a predetermined part such as the image processing apparatus 14.
[0022]
As described above, the reading light is projected light that carries the image through the film F held by the carrier 30 at a predetermined reading position, and this projection light is emitted from the image sensor 34 by the imaging lens unit 32. An image is formed on the light receiving surface.
As shown in FIG. 2B, the image sensor 34 has a line CCD sensor 34R that reads an R image, a line CCD sensor 34G that reads a G image, and a line CCD sensor 34B that reads a B image. In the color CCD sensor, each line CCD sensor extends in the main scanning direction as described above. The projection light of the film F is separated into three primary colors of R, G and B by the image sensor 34 and is read photoelectrically.
The output signal of the image sensor 34 is amplified by the amplifier 36, converted into a digital signal by the A / D converter 38, and sent to the image processing device 14.
[0023]
In the scanner 12, the image captured on the film F is read by two image readings of a pre-scan for reading at a low resolution and a main scan for obtaining image data of an output image.
The pre-scan is performed under pre-scan reading conditions set in advance so that the image of all the films targeted by the scanner 12 can be read without the image sensor 34 being saturated. On the other hand, the main scan is performed under the main scan reading conditions set for each frame so that the image sensor 34 is saturated at a density slightly lower than the minimum density of the image (frame) from the prescan data.
Therefore, the output signals of the pre-scan and the main scan are basically the same except that the resolution and the output level are different.
[0024]
In the present invention, the scanner is not limited to the one using such slit scanning, and may use a surface exposure that uses an area CCD sensor to read the entire image of one frame at a time. .
In addition to the scanner 12 that photoelectrically reads an image photographed on a film such as a negative or a reversal, the photo printer 10 includes an image reading device that reads an image of a reflected original, an imaging device such as a digital camera or a digital video camera, Prints can be generated by receiving image data from various sources such as communication means such as computer communication and recording media such as MO (magneto-optical recording medium). That is, the present invention can be suitably used for an image (image data) optically captured by an imaging device such as a digital camera.
[0025]
As described above, the output signal (image data) from the scanner 12 is output to the image processing device 14.
FIG. 3 shows a block diagram of an image processing apparatus (hereinafter referred to as processing apparatus 14). The processing device 14 includes a data processing unit 50, a Log converter 52, a prescan memory 54, a main scan memory 56, a prescan processing unit 58, a main scan processing unit 60, and a condition setting unit 62.
FIG. 3 mainly shows parts related to image processing. Besides, the processing device 14 includes a CPU for controlling and managing the entire photo printer 10 including the processing device 14 and the photo printer 10. A memory or the like for storing information necessary for operation or the like is arranged. The operation system 18 and the display 20 are connected to each part via the CPU or the like (CPU bus).
[0026]
The R, G, and B digital signals output from the scanner 12 are subjected to predetermined data processing such as DC offset correction, dark correction, and shading correction in the data processing unit 50, and then are processed by the Log converter 52. It is converted into digital image (density) data, prescan (image) data is stored in the prescan memory 54, and main scan (image) data is stored in the main scan memory 56.
Note that the pre-scan data and the main scan data are basically the same data except that the resolution (pixel density) and the signal level are different.
[0027]
The prescan data stored in the prescan memory 54 is processed in the prescan processing unit 58, and the main scan data stored in the main scan memory 56 is processed in the main scan processing unit 60.
The prescan processing unit 58 includes an image processing unit 64 and a data conversion unit 66. On the other hand, the main scan processing unit 60 includes an image processing unit 68, a data conversion unit 70, a correction parameter supply unit 74, and a correction parameter conversion unit 75.
[0028]
Both the image processing unit 64 of the pre-scan processing unit 58 and the image processing unit 68 of the main scan processing unit 60 are images read by the scanner 12 according to the image processing conditions set by the condition setting unit 62 described later ( (Image data) is a part to be subjected to predetermined image processing.
The image processing units 64 and 68 perform basically the same processing except that the pixel density of the image data to be processed is different and the image processing unit 64 does not have the aberration correction unit 72. The image processing unit 68 of the main scanning processing unit 60 is performed as a representative example. In the present invention, an aberration correction unit may be provided in the image processing unit 64 of the pre-scan processing unit 58, and aberration correction described later may be performed on the pre-scan image as necessary.
[0029]
The LUT of the image processing unit 68 (64) is a part that performs color balance adjustment, contrast adjustment (gradation processing), and brightness adjustment (density adjustment) of an image using an LUT (look-up table). MTX is a part for adjusting the saturation of an image by matrix calculation.
[0030]
The image processing unit 68 of the main scan processing unit 60 performs distortion correction and lateral chromatic aberration correction due to the lens characteristics of the camera that captured the image, and electronic magnification processing between the MTX and the block 68A. A correction unit 72 is arranged.
In addition, a correction parameter supply unit 74 and a correction parameter conversion unit 75 are connected to the aberration correction unit 72.
[0031]
The correction parameter supply unit 74 corrects the aberration of the image on the imaging plane of the image, that is, the light receiving surface of an image sensor such as a digital camera, corresponding to various lens types for taking an image (the lens of the lens). Aberration correction parameters for correcting image quality deterioration due to aberration characteristics are stored, and in the illustrated example, aberration correction parameters for correcting chromatic aberration of magnification and aberrations for correcting distortion aberration are provided for various lens types. Correction parameters are stored.
The correction parameter supply unit 74 obtains lens type discrimination information, discriminates the lens type of the image taken on the film F, etc., searches the stored aberration correction parameters, and determines the aberration correction parameters of the discriminated lens. This is selected and supplied to the correction parameter converter 75.
[0032]
In the present invention, it is not limited to performing aberration correction on all images. For images taken with a camera having a high-performance lens such as a single-lens reflex, there is no lens aberration or very little image. No aberration correction is necessary.
The necessity / unnecessity of aberration correction may be determined according to, for example, the lens type (camera model) that captured the image, or the correction parameter supply unit 74 stores the lens characteristics of the lens type that captured the image. It may be determined depending on whether or not it is done.
[0033]
There is no particular limitation on the discriminating information for discriminating the lens type that has captured the image on the film F or the like, and its income means, and various methods can be used.
Normally, if the camera model is known, the lens type can be determined. For example, in the case of a camera of a new photographic system, the camera model and lens type are magnetically recorded on the film F, and the scanner 12 (carrier 30) is used when creating a print. The camera model, that is, the lens type can be discriminated using this. Alternatively, the information of the lens type (camera model) may be optically printed on the film F by a camera and read by the sensor 44 of the carrier 30. In the case of a film with a lens, these types of information may be magnetically recorded or baked at the time of manufacture, and the lens type may be determined using this information.
Alternatively, in the case of an imaging device such as a digital camera, the camera model and lens type may be recorded in the header of the image data (data file).
Further, at the time of acceptance, the model of the camera may be heard from the customer and recorded, and the operator may input this using the keyboard 18a or the like at the time of printing to determine the lens type.
[0034]
As described above, the correction parameter supply unit 74 selects the aberration correction parameter corresponding to the lens type that has captured the image, and supplies the selected parameter to the correction parameter conversion unit 75. Here, the aberration correction parameter stored in the correction parameter supply unit 74 corresponds to the correction of the aberration on the imaging plane of the camera that captured the image. For example, mm corresponding to the position on the imaging plane. It is a unit parameter. The correction parameter conversion unit 75 sets the aberration correction parameters on the image plane as the electronic magnification of the image, the number of input pixels (that is, the number of pixels before the electronic scaling process, or the number of pixels captured by the processing device 14), the scanner. 12, at least one of the reading size of film F (input image size) and the output image size (number of output pixels), conversion This is processed and used as an aberration correction parameter for each pixel of the output image, and is supplied to the aberration correction unit 72.
[0035]
When an image optically photographed on a film or the like is reproduced as a print, the aberration of the image due to the lens varies depending on input / output conditions such as the output print size (that is, the number of output pixels). Therefore, in order to correct the aberration appropriately, it is necessary to change the correction parameter according to the print size or the like. However, in order to have correction parameters corresponding to all of various conditions such as print size that can be output in correspondence with a large number of lens types, a large capacity memory is required, and efficiency and cost are reduced. It is disadvantageous in terms. On the other hand, in the present invention, aberration correction parameters for correcting aberrations on the imaging plane are stored corresponding to various lenses, and these are stored as electronic magnification, number of input pixels, film reading size, and output. Depending on at least one of the image sizes conversion By processing and setting aberration correction parameters corresponding to the pixel units of the output image, the above disadvantages can be solved and an efficient image processing apparatus can be realized in image processing for correcting aberrations of images caused by lenses. It is possible.
[0036]
conversion Whether the processing is to be performed using the electronic scaling factor, the number of input pixels, the film reading size, or the output image size may be appropriately selected and set according to the system configuration of the photo printer 10. For example, if the film reading size and the output area (input image size) from the image sensor are fixed and the output image size is variable, only the electronic scaling factor and the number of input pixels can be used. conversion What is necessary is just to process. The output image size is not necessary because it is determined by the electronic magnification and the number of input pixels.
[0037]
On the other hand, if the input image size and the output image size are both variable, the conversion process is performed according to the electronic magnification, the number of input pixels, and the film reading size. In a scanner that photoelectrically reads the image of film F, in order to obtain more suitable image information, the print size to be output, for example, panorama size and L size of 135 film, C type, H type and P type of the new photo system Many devices change the reading size of film F. In a normal lens, the aberration varies depending on the position on the film surface. , Aberration characteristics Position of image quality degradation on image data caused by Is different. Therefore, in the case of corresponding to such a scanner, conversion processing is performed in consideration of the reading size of the film F in addition to the electronic variable magnification and the number of input pixels. In the case of a digital camera, similarly, the output area of the image sensor is taken into account.
[0038]
Also, if the number of input pixels is a fixed system, using either the electronic scaling factor or the output image size, conversion Processing can be performed. However, even if the number of input pixels is fixed, if the input image size (shape, etc.) is different, it is necessary to add the input image size as before. If the output image size is a fixed system, either the number of input pixels or the electronic scaling factor, or similarly, depending on the input image size conversion Processing can be performed.
[0039]
conversion There is no particular limitation on the processing method, and the aberration correction parameter corresponding to the position on the image plane is added to the pixel of the output image, taking into account the electronic magnification and the number of input pixels, etc., according to the aberration correction parameter, etc. Convert (convert) to the aberration correction parameter Where Just do it. In addition, the electronic scaling ratio, the number of input pixels, the input image size, and the output image size can be specified by an operator such as an input of an output print size or an input of a film size (film type) or to the film of the new photographic system described above. It may be found by magnetic recording, optical recording on a film, recording image data on a header, or the like. The film size may be known by the carrier 30 attached to the scanner 12. Furthermore, the focal length at the time of image capturing may be acquired from the magnetic information or optical information recorded on the film F, and the aberration correction parameter may be corrected according to this focal length.
[0040]
There is no particular limitation on the aberration correction parameter. For example, a correction function or correction coefficient for performing aberration correction may be used. A coefficient or a correction coefficient that is applied to the correction function used for aberration correction by the aberration correction unit 72 or that corrects this correction function. It may be a function.
In general, lens aberration characteristics such as distortion and lateral chromatic aberration are determined by using the optical axis of the lens, that is, the distance from the center of the image photographed on the film F (for example, indicated by xy) as a parameter. Since the cubic function can be approximated to some extent, the cubic function itself may be included as an aberration correction parameter, or a coefficient or function that is applied to or corrects the cubic function may be used as the aberration correction parameter. .
[0041]
The aberration correction unit 72 corrects distortion aberration and lateral chromatic aberration of an image using the aberration correction parameter supplied from the correction parameter conversion unit 75. In the illustrated example, the aberration correction parameter is a preferable mode. And the position (pixel position) information of the image data, for example, the coordinate position (how many pixels from the center pixel) from the center pixel (pixel corresponding to the center of the optical axis of the photographing lens) Further, correction of lateral chromatic aberration and electronic scaling processing are performed. The coordinates may be, for example, xy coordinates or polar coordinates, and various kinds of position information can be used as long as the pixel positions can be detected relatively.
For an image that is not subjected to aberration correction, the aberration correction unit 72 performs only electronic scaling.
[0042]
In addition, when the center of the image cut out by a mask or the like is considered as the center of the optical axis of the lens at the time of photographing, various aberrations with the pixel at the center of the cut-out image as the center of the optical axis of the lens (Distortion aberration, lateral chromatic aberration, peripheral light amount, image blur) may be corrected.
[0043]
Here, if correction of lateral chromatic aberration and distortion is performed separately, it takes time for the calculation, and it is necessary to perform the interpolation calculation a plurality of times, so that the image quality deteriorates.
Therefore, it is preferable to convert the image magnifications of R and B using the aberration correction parameter and the pixel position, using the reference color (usually G) of the three primary colors R, G, and B as a reference, and R The chromatic aberration of magnification is corrected by matching the images of B and B with the G image, and then the distortion aberration of the G image is corrected to correct the chromatic aberration of magnification and distortion of the image.
[0044]
That is, the appropriate position for each pixel is calculated from the shift amount of the pixel positions of R and B with respect to the reference color (G) caused by the chromatic aberration of magnification and the shift amount of the pixel position of the reference color caused by distortion, By using the calculated information on the appropriate position of each pixel, the image data of each pixel is interpolated to obtain image data in which the chromatic aberration of magnification and distortion of the image photographed on the film are corrected.
Accordingly, since it is only necessary to perform the calculation for the G image for the distortion aberration, more appropriate correction can be performed by reducing the amount of calculation and the interpolation calculation.
[0045]
Where conversion Although the processing is also affected, in an image processing apparatus, the image (image data) is usually sized according to the output image by performing enlargement or reduction of the image by image data processing, that is, electronic scaling processing. Output. This electronic scaling process is usually performed by performing an interpolation operation on image data. However, since the interpolation calculation is also required for correcting the lateral chromatic aberration and distortion, the result is that interpolation is performed twice, and the image quality may deteriorate.
[0046]
Therefore, more preferably, the electronic scaling process of the image is simultaneously performed by interpolating the image data by N times according to the electronic scaling ratio using the calculated information on the appropriate position of each pixel. In other words, the amount of displacement of the pixel position due to the chromatic aberration of magnification and distortion is calculated, the position where each pixel should be originally found, and the N times interpolation operation of the image data is performed according to the appropriate position. To perform electronic scaling.
As a result, the correction of distortion and lateral chromatic aberration and the electronic scaling process can be performed with a single interpolation calculation.
[0047]
The aberration correction unit 72 in the illustrated example is a part that performs the above processing method, and includes a coordinate conversion processing unit 72A and an enlargement / reduction processing unit 72B, as shown in the conceptual diagram of FIG. .
In FIG. 4, ir, ig, and ib are pixel positions (addresses) of image data (input image data) supplied from MTX, respectively; Ir, Ig, and Ib are corrected for lateral chromatic aberration and distortion The pixel position of the image data;
Δr and Δb respectively indicate the shift amount (that is, the correction amount) of the R and B pixel positions with respect to the G pixel position due to the chromatic aberration of magnification; D indicates the shift amount of the G pixel position due to distortion.
[0048]
In the aberration correction unit 72, when image data is supplied from the MTX, the coordinate conversion processing unit 72A uses the aberration correction parameters (for chromatic aberration of magnification) supplied from the correction parameter conversion unit 75, and R and B images. The shift amounts Δr and Δb due to the chromatic aberration of magnification with respect to the G image data ig at the pixel positions ir and ib of the data are calculated, and further, using the aberration correction parameter (for distortion aberration) supplied from the correction parameter converter 75. A shift amount D due to distortion of the input image data ig of G is calculated.
[0049]
Next, Δr and D are added to each pixel position ir of the R input image data to calculate a pixel position Ir of the R image data in which the lateral chromatic aberration and distortion are corrected, and each pixel of the B input image data is calculated. The Δb and D are added to the position ib to calculate the pixel position Ib of the B image data in which the chromatic aberration of magnification and distortion are corrected, the D is added to each pixel position ig of the G input image data, and the magnification A pixel position Ib of B image data corrected for chromatic aberration and distortion is calculated.
That is, in this calculation, the chromatic aberration of magnification of the R image and the B image is corrected with the G image as a reference, the entire image is aligned with the G image, and the total amount is determined using the shift amount D due to the distortion of the G image. The pixel position in which the lateral chromatic aberration and distortion of each of the R, G, and B images are corrected is calculated.
[0050]
Next, in the enlargement / reduction processing unit 72B, using the pixel positions Ir, Ig and Ib corrected for the magnification chromatic aberration and distortion, image data interpolation processing (N-times interpolation) according to the enlargement / reduction magnification is performed. As a result, the image is scaled, and the chromatic aberration of magnification and distortion are corrected and output to the block 68A as image data subjected to the electronic scaling process. There are no particular limitations on the method of electronic scaling processing, and various known methods can be used. Examples include a method using bilinear interpolation and a method using spline interpolation.
[0051]
Note that correction of distortion aberration may cause so-called vignetting in which an image in the reproduction region disappears. Therefore, when correction of distortion aberration is performed, the change is about 0.1% to 5% higher than usual. It is preferable to perform electronic scaling processing (interpolation) at a magnification.
In addition, various electronic magnifications may be set according to the lens type. In addition, since the amount of distortion may be different in the vertical and horizontal directions of the image, the scaling factor of the electronic scaling process may be changed in the vertical and horizontal directions accordingly.
[0052]
In the illustrated apparatus, both distortion and lateral chromatic aberration are corrected as a preferred embodiment, but only one of them may be performed.
In this case as well, the aberration correction and the electronic scaling process are not performed separately, but the appropriate position of the image in which the deviation due to the aberration is corrected is calculated in the same manner as described above, and information on the appropriate position is obtained. Is preferably used to perform electronic scaling processing by performing N-fold interpolation of image data.
[0053]
Furthermore, not only distortion aberration and lateral chromatic aberration, but also an aberration correction parameter on the image plane that corrects aberrations such as out-of-focus (PSF: Point Spread Function) caused by the lens and a decrease in peripheral light amount is stored. Same as before conversion By performing the processing, as an aberration correction parameter corresponding to the pixel of the output image, in addition to or instead of the aberration correction, focus blur correction and peripheral light amount correction may be performed.
[0054]
The image data processed by the MTX of the image processing unit 64 and the aberration correction unit 72 are then processed by blocks 64A and 68A.
Blocks 64A and 68A are parts for performing image processing other than the above-described various processing such as sharpness processing, dodging processing (compression of an image dynamic range while maintaining intermediate gradation), and composition of characters and images.
[0055]
The image data processed by the image processing units 64 and 68 is sent to the data conversion units 66 and 70.
The data conversion unit 66 of the prescan processing unit 58 converts the image data processed by the image processing unit 64 using a 3D (three-dimensional) -LUT or the like into image data corresponding to display on the display 20. . If necessary, this data conversion unit 66 may perform an electronic scaling process.
On the other hand, the data conversion unit 70 of the main scan processing unit 60 similarly converts the image data processed by the image processing unit 68 using a 3D-LUT, and sets the printer 16 as image data corresponding to image recording by the printer 16. To supply.
[0056]
Various processing conditions by the pre-scan processing unit 58 and the main scan processing unit 60 are set by the condition setting unit 62.
The condition setting unit 62 includes a setup unit 72, a key correction unit 78, and a parameter integration unit 80.
[0057]
The setup unit 72 uses the pre-scan data to set the reading conditions for the main scan, select the image processing to be performed, and set the image processing conditions in the image processing units 64 and 68 and the data conversion units 66 and 70. To the parameter integration unit 80.
Specifically, the setup unit 76 creates density histograms from pre-scan data, calculates image feature amounts such as average density, highlight (lowest density), shadow (highest density), and the like. Set the scanning conditions for the main scan according to the instructions given by the operator as necessary, and set the image processing conditions such as the LUT for performing the above color balance adjustment and the creation of the matrix arithmetic expression for performing the saturation adjustment. decide.
[0058]
The key correction unit 78 calculates an image correction amount according to a correction instruction such as brightness, color, gradation, and saturation from the keyboard 18a and the like, and supplies the image correction amount to the parameter integration unit 80.
The parameter integration unit 80 receives the image processing conditions set by the setup unit 76, sets the supplied image processing conditions in predetermined portions of the pre-scan processing unit 58 and the main scan processing unit 60, and further, the key correction unit 78 In accordance with the calculated correction amount, an LUT or the like for performing this correction is created and set in a predetermined part, and the image processing conditions set in each part are corrected.
[0059]
Hereinafter, the operation of the scanner 12 and the processing device 14 will be described.
The operator loads the carrier 30 corresponding to the film F into the scanner 12, sets the film F (cartridge) at a predetermined position of the carrier 30, inputs a necessary instruction such as a print size to be created, and then instructs the start of print creation. To do.
The print size information and the like are sent to the processing device 14, and the image processing unit 68 and the correction parameter conversion unit 75 obtain information on the electronic magnification, the number of input pixels, the film reading size, the output image size, and the like.
[0060]
According to the print creation start instruction, the aperture value of the variable aperture 24 of the scanner 12 and the accumulation time of the image sensor (line CCD sensor) 34 are set according to the prescan reading conditions, and then the carrier 30 presses the film F. The film is conveyed in the sub-scanning direction at a speed corresponding to the can, and pre-scanning is started. As described above, the film F is slit-scanned at the predetermined reading position, and the projection light is imaged on the image sensor 34. The image photographed in F is decomposed into R, G, and B and is read photoelectrically.
[0061]
Further, when the film F is conveyed, information magnetically recorded on the film F is read by the magnetic head 42 of the carrier 30 and various information optically recorded by the sensor 44 is read. The information is sent to a predetermined part such as the processing device 14, and for example, the correction parameter supply unit 74 of the processing device 14 obtains lens type discrimination information. As described above, the discrimination information and the like may be provided by various methods such as input by an operator.
[0062]
Note that the pre-scan and the main scan may be performed one frame at a time, or the pre-scan and the main scan may be performed continuously for all frames or a predetermined plurality of frames. In the following example, in order to simplify the description, the description will be given by taking an example of image reading of one frame.
[0063]
The output signal of the image sensor 34 by the pre-scan is amplified by the amplifier 36, sent to the A / D converter 38, converted into a digital signal, sent to the processing device 14, and subjected to data processing by the data processing unit 50. The Log converter 52 converts the digital image data into pre-scan data, which is stored in the pre-scan memory 54.
[0064]
When the pre-scan data is stored in the pre-scan memory 54, the setup unit 76 of the condition setting unit 62 reads it, creates a density histogram, calculates image features such as highlight and shadow, etc. Reading conditions are set and supplied to the scanner 12, and various image processing conditions such as gradation adjustment are set and supplied to the parameter integration unit 80.
The parameter integration unit 76 sets the supplied image processing conditions in predetermined parts (hardware) of the prescan processing unit 56 and the main scan processing unit 58.
[0065]
When the test is performed, prescan data is read from the prescan memory 54 by the prescan processing unit 62, is subjected to image processing under the image processing conditions set in the image processing unit 64, and is further processed by the data conversion unit 66. It is converted and displayed on the display 20 as a simulation image.
The operator looks at the display 20 and confirms (tests) the image, that is, the processing result, and corrects the color, density, gradation, and the like as necessary using the adjustment keys set on the keyboard 18a. .
The input of this adjustment is sent to the key correction unit 78, and the key correction unit 78 calculates a correction amount corresponding to the correction input and sends it to the parameter integration unit 76. The parameter integration unit 76 sets correction conditions for executing this according to the correction amount, and corrects the previously set image processing conditions. Accordingly, the image displayed on the display 20 also changes in accordance with this correction, that is, an adjustment input by the operator.
[0066]
If the operator determines that the image of this frame is appropriate (verification is OK), the operator instructs print output using the keyboard 18a or the like. As a result, the image processing conditions are determined and set according to the reading conditions of the main scan in which the aperture value and the like of the variable aperture 24 are set in the scanner 12, and the carrier 30 moves the film F at a speed corresponding to the main scan. The main scan is started.
In the case where the verification is not performed, the image processing conditions are determined when the setting of the image processing conditions to the main scan processing unit 60 by the parameter integration unit 80 is completed, and the main scan is started. The presence or absence of such an assay is preferably selectable as a mode.
[0067]
The main scan is performed in the same manner as the prescan except that the reading conditions such as the aperture value of the variable aperture 24 are set, and the output signal from the image sensor 34 is amplified by the amplifier 36. It is converted into a digital signal by the A / D converter 38, processed by the data processing unit 50 of the processing device 14, converted to main scan data by the Log converter 52, and sent to the main scan memory 56.
When the main scan data is sent to the main scan memory 54, it is read by the main scan processing unit 60, gradation adjustment and saturation adjustment are performed by the LUT and MTX of the image processing unit 68, and then to the aberration correction unit 72. Sent.
[0068]
On the other hand, the correction parameter supply unit 74 discriminates the lens type from the obtained discrimination information, reads out the aberration correction parameter on the imaging surface of the corresponding lens type, and sends this to the correction parameter conversion unit 75. The correction parameter conversion unit 75 converts the aberration correction parameters on the supplied imaging surface from the input print size information, the electronic magnification, the number of input pixels, the film reading size (input image size), and the output image size. Etc. conversion The aberration correction parameter corresponding to the pixel unit of the output image data is processed and sent to the aberration correction unit 72.
[0069]
From the supplied aberration correction parameter and the pixel position of the image data, the aberration correction unit 72 obtains pixel positions Ir, Ig, and Ib in which the chromatic aberration of magnification and distortion are corrected in the coordinate conversion processing unit 72A as described above. It is calculated and sent to the enlargement / reduction processing unit 72B. The enlargement / reduction processing unit 72B uses the pixel positions Ir, Ig, and Ib to perform N-fold interpolation of the image data to perform electronic scaling of the image, and blocks the image data that has been subjected to aberration correction and electronic scaling processing. Output to 68A.
Note that an image that is not subjected to aberration correction is not subjected to any processing in the coordinate conversion processing unit 72A, and is only subjected to electronic scaling processing in the enlargement / reduction processing unit 72B.
[0070]
The image data is further subjected to necessary image processing such as sharpness processing and dodging processing in block 68A, and is sent to the data conversion unit 70. It is converted into data and sent to the printer 16.
[0071]
The printer 16 exposes a photosensitive material (photographic paper) according to image data, records a latent image, performs development processing according to the photosensitive material (finished), and outputs it as a print. For example, after the photosensitive material is cut into a predetermined length according to the print, back print recording, red (R) exposure, green (G) exposure and blue (B) according to the spectral sensitivity characteristics of the photosensitive material (printing paper) ) The three types of light beams for exposure G are modulated in accordance with image data (recorded image), deflected in the main scanning direction, and the latent image formed by conveying the photosensitive material in the sub-scanning direction orthogonal to the main scanning direction. The photosensitive material on which the latent image is recorded is subjected to a predetermined wet development process such as color development, bleach-fixing, washing with water, etc., dried to be printed, and then sorted and accumulated.
[0072]
Although the image processing method and the image processing apparatus of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and various improvements and modifications can be made without departing from the gist of the present invention. Of course it is good.
[0073]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to suitably correct aberrations such as distortion aberration and lateral chromatic aberration even for an image taken with an inexpensive compact camera or the like having a zoom function. In addition, a print in which a high-quality image is reproduced can be output.
[Brief description of the drawings]
FIG. 1 is a block diagram of an example of a digital photo printer using an image processing apparatus of the present invention.
2A is a conceptual diagram of the carrier of the digital photo printer shown in FIG. 1, and FIG. 2B is a conceptual diagram of the image sensor of the digital photo printer shown in FIG.
3 is a block diagram of an example of an image processing apparatus of the digital photo printer shown in FIG.
4 is a conceptual diagram of an aberration correction unit of the image processing apparatus shown in FIG.
[Explanation of symbols]
10 (Digital) Photo Printer
12 Scanner
14 (Image) processing device
16 Printer
18 Operation system
20 display
22 Light source
24 Variable aperture
28 Diffusion box
32 Imaging lens unit
34 Image sensor
36 amplifiers
38 A / D converter
40 mask
42 Magnetic head
44 sensors
50 Data processing section
52 Log Converter
54 Pre-scan memory
56 scan memory
58 Prescan processor
60 scan processing section
62 Condition setting section
64, 68 Image processing unit
66,70 Data converter
72 Aberration corrector
74 Correction parameter supply unit
75 Correction parameter converter
76 Setup section
78 Key correction part
80 Parameter integration section

Claims

Reading the input image data with a reading size different from the size of the input image data, and converting the input image data obtained from an image optically captured by a lens and having an aberration caused by the lens; subjected to magnification process, when the output image data for output,
A lens type corresponding to the position of the image forming surface of the image of the lens, which is used to correct the aberration generated in the image on the image forming surface of the image of the lens that has previously captured the image. for the first aberration correction parameter is set to each electronic magnification for obtaining the output image data, the number of input pixels of the input image data, the read size of the input image data, and size of the output image using the read size and electronic magnification of the input image is determined using from the input image data in obtaining the output image data, based on the determination result, the dimensions corresponding to the position of the imaging plane A conversion process for converting from a unit to a pixel unit is performed to obtain a second aberration correction parameter corresponding to a pixel unit of the output image data,
An image processing method characterized in that, using the second aberration correction parameter, the aberration of the image caused by the lens that has captured the image is corrected to be output image data for output.

Reading the input image data with a reading size different from the size of the input image data, and converting the input image data obtained from an image optically captured by a lens and having an aberration caused by the lens; subjected to magnification process, an image processing apparatus according to output image data for output,
Acquisition means for acquiring discrimination information for discriminating the lens that has captured the image;
It is set for each lens type corresponding to the position of the image formation surface of the image of the lens, which is used to correct the aberration generated in the image on the image formation surface of the lens that captures the image. Storage means for storing a first aberration correction parameter;
Selection means for selecting a first aberration correction parameter on the imaging surface of the corresponding lens from the storage means according to the discrimination information acquired by the acquisition means;
Electronic magnification for obtaining the output image data, the number of input pixels of the input image data, reading the size of the input image data, and using the size of the output image, the output image data from the input image data the read size and electronic magnification of the input image is determined using in obtaining, determined based on the result, the first aberration correction parameter of the imaging surface selected by the selecting unit, before Kiyui image surface Conversion means for performing conversion processing for converting from a unit of dimensions corresponding to a position to a pixel unit, and converting to a second aberration correction parameter corresponding to the pixel unit of the output image data; and
Using the second aberration correction parameter converted by the conversion unit, correcting the aberration of the image caused by the lens that has captured the image to obtain output image data for output. An image processing apparatus.

The image processing apparatus according to claim 2, wherein the image is an image taken on a photographic film, and the reading size of the input image data is a reading size of the image from the photographic film.

4. The image processing apparatus according to claim 2, wherein the aberration is at least one of lateral chromatic aberration, distortion, defocus due to a point spread function , and a decrease in peripheral light amount.