Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3733158B2 - White balance control method - Google Patents
[go: Go Back, main page]

JP3733158B2 - White balance control method - Google Patents

White balance control method Download PDF

Info

Publication number
JP3733158B2
JP3733158B2 JP08053995A JP8053995A JP3733158B2 JP 3733158 B2 JP3733158 B2 JP 3733158B2 JP 08053995 A JP08053995 A JP 08053995A JP 8053995 A JP8053995 A JP 8053995A JP 3733158 B2 JP3733158 B2 JP 3733158B2
Authority
JP
Japan
Prior art keywords
signal
white balance
image
balance control
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08053995A
Other languages
Japanese (ja)
Other versions
JPH08280033A (en
Inventor
晃治 古林
正範 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP08053995A priority Critical patent/JP3733158B2/en
Publication of JPH08280033A publication Critical patent/JPH08280033A/en
Application granted granted Critical
Publication of JP3733158B2 publication Critical patent/JP3733158B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/11Scanning of colour motion picture films, e.g. for telecine

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、写真フイルムに記録された画像をイメージセンサで撮像してビデオ信号に変換する画像入力装置に好適なホワイトバランス制御方法に関するものである。
【0002】
【従来の技術】
ビデオカメラの一形態として、写真フイルムに撮影された画像、あるいはプリント写真の画像をCCD固体撮像素子あるいはMOS型固体撮像素子等のイメージセンサで撮像し、得られた光電信号に適宜の信号処理を行ってNTSC方式に準拠した映像信号を得、これをCRTモニタやビデオプリンタに入力して画像観察できるようにした画像入力装置が知られている(例えば本出願人が商品化した「FUJIX FOTOVISION FV7」)。
【0003】
このような画像入力装置では、写真フイルムが被写体として選択されることから、通常のビデオカメラで用いられているようなホワイトバランス制御を行っても、必ずしも適切なカラーバランスをとることができない。というのは、例えばカラーネガフイルムに記録された画像を撮像しようとしたときには、
▲1▼ フイルムベース自体にオレンジ系の着色が施され、その着色の程度もフイルムの種類ごとに大きくことなること
▲2▼ 撮像時にフイルムを照明する光源の色温度が特定できないこと
▲3▼ フイルムに写真撮影を行ったときの色温度が不明であること
などの理由から、これらの画像に対してホワイトバランス制御を行おうとする際には、特殊な色温度検出手法及び調節手法が必要となってくる。
【0004】
こうした事情を勘案し、すでに本出願人から上記画像入力装置に好適なホワイトバランス調節手法に関する出願がなされており、これによればカラーネガフイルムに記録された画像については良好なホワイトバランス調節を実現することができる。
【0005】
【発明が解決しようとする課題】
しかしながら、画像入力装置の機能をさらに向上させ、その被写体としてカラーネガフイルムの画像だけでなく、リバーサルフイルムの画像やプリント写真の画像はもとより、通常のビデオカメラのように一般被写体をも選択できるようにした場合には、これまでに提案されている調節手法では対処しきれないことが多い。というのは、カラーフェリアを防止しつつ適切なホワイトバランス調節を実現するためには、被写体の色温度の検出範囲をある程度狭めておく必要があるが、単に狭めてしまうと、例えば途中でネガフイルムの種類が変わった場合にカラーフェリアと判断してホワイトバランス調節が中断されてしまうことにもなりかねず、逆に色温度の検出範囲を広げてしまうと、今度はカラーフェリアが生じる頻度が高くなる。そしてこのような弊害は、カラーネガフイルムだけでなく、ポジ画像の種類が変わったときにも同様に生じてしまう。
【0006】
本発明は上記従来技術の欠点を解消し、撮像対象として選択された被写体の種類ごとに、それぞれ最適なホワイトバランス調節を行うことができるようにしたホワイトバランス制御方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明は上記目的を達成するために、まずイメージセンサの撮像画面を区画した各エリアごとに色信号を積分して得られる各色積分値から、ホワイトバランス制御に用いる色積分値を選別するための選別基準を、撮像対象となっている画像がポジ画像であるかネガ画像であるかに応じて変更し、撮像対象となっている画像がネガ画像であるときは、前記各エリアごとに輝度信号を積分して得られる各輝度積分値から最も大きな最大輝度積分値を求め、最大輝度積分値が所定値より大きい場合には、最大輝度積分値が得られたエリアの色積分値のみを前記選別基準による選別の対象とし、最大輝度積分値が所定値より小さい場合には、前記各エリアごとに色信号を積分して得られる各色積分値を前記選別基準による選別の対象とする。また、撮像対象となっている画像がポジ画像であるときは、前記各エリアごとに色信号を積分して得られる各色積分値を前記選別基準による選別の対象とする。なお、前記色信号は、赤色信号、緑色信号、及び青色信号からなり、前記選別基準は、赤色信号の積分値と緑色信号の積分値の比と、青色信号の積分値と緑色信号の積分値の比とをパラメータとした範囲で定められたものである。また、前記選別基準を定める前記範囲内に、ホワイトバランス制御の収束値を設定するとともに、この収束値はポジ画像撮像時とネガ画像撮像時とで異なっている。
【0008】
ホワイトバランス制御は、検出された赤色積分値と緑色積分値の比と、青色積分値と緑色積分値の比との組み合わせが収束値に達したときに完了するが、この収束値はポジ画像用,ネガ画像用でそれぞれ異なっている。さらに、これらの収束値に向けてホワイトバランス制御を行う際には、赤色信号,青色信号の各増幅率が色ごとに制御信号によって増減されるが、その可変範囲はポジ画像,ネガ画像に応じて切替えられる。また、各可変範囲の中に基準となるプリセットデータが設定され、ホワイトバランス制御の開始時にはプリセットデータによって決まる制御信号のもとで赤色信号,青色信号の各増幅率が決められる。
【0009】
撮像画面の全エリアの輝度信号を積分して得られる輝度積分値が所定の変化幅より大きく変動した場合には、例え撮像対象をネガ画像,ポジ画像間で変更しない場合であっても、前記可変範囲内で決められたその時点での制御信号がプリセットデータに対応した制御信号に再設定される。なお、後述する実施例で説明するように、ホワイトバランス制御に用いる色積分値を選別するための選別基準、さらにはホワイトバランス調節を行う際の制御信号の可変範囲を、単にポジ画像,ネガ画像で変更するだけでなく、一般の被写体,プリンイト写真,ポジフイルム,ネガフイルムのように被写体の種類ごとに変更するとよい。
【0010】
【実施例】
本発明を用いた画像入力装置の外観を示す図2において、本体部2の上部にはヘッド部3が設けられている。ヘッド部3は、スリット4aが形成されたマウント部4とその上に開閉自在に軸着された一対の照明ユニット5とからなる。例えば6コマごとにシート状に分断した現像済みの写真フイルム6をフイルムホルダ7に保持させ、このフイルムホルダ7をスリット4aに挿入して照明ユニット5を点灯すると、その照明光が乳白色のフイルムホルダ7を通して写真フイルム6を背面側から拡散照明する。
【0011】
本体部2には一対の支持脚9,9が軸着され、これを図示のように開くことによって本体部2が正立状態に支持される。本体部2にはズーム光学系と、例えばCCD,MOS型固体撮像素子で知られるイメージセンサが内蔵され、写真フイルム6に記録された画像を静止画像として撮像する。写真フイルム6としては、カラーネガフイルム,カラーポジフイルムのいずれであってもよく、フイルム種別に応じてモード切替えレバー10を適宜に操作することによって、ネガ−ポジ反転等の必要な信号処理が行われる。なお、ヘッド部3はマウント部4の部分から本体部2に対して90°回動できるようになっており、写真フイルム6の画像が横姿勢で撮影されたものでも縦姿勢で撮影されたものでも対処できるようになっている。
【0012】
また、支持脚9,9を図示位置からさらに上方に回動し、かつ照明ユニット5,5を開いて本体部2を倒立状態で支持することもできる。この状態では、例えば下に置かれたプリント写真を照明ユニット5,5で照明し、その画像を撮像することが可能となる。また、照明ユニット5,5を開いて本体部2を把持し、これを被写体に向けることによって、通常のビデオカメラのように使用することもできる。
【0013】
本体部2には、次に挙げるマニュアル操作部が設けられている。
(1) 電源スイッチ11
電源のON/OFF時に操作される。また、照明ユニット5を点灯,消灯させるインバータ回路53のON/OFFスイッチに兼用されている。
(2) オートスイッチ12
ONにすると色調整(ホワイトバランス,色の濃さ)及び明るさ調整が自動化。OFFにするとボリュームダイヤル16〜20の操作により、再生画像の色調整,明るさ調整が可能となる。
(3) マスクスイッチ13
写真フイルム6の画像が横姿勢,縦姿勢であるか、さらにはパノラマサイズであるかに応じて、CRTモニタに画像表示を行うときに、画像周辺の余分なスペースを電気的にマスキングするときに操作される。押圧回数によってマスク範囲の切替えが行われる。
(4) モードスイッチ15
撮像モードの変更時に切替え操作される。撮像モードは次のとおり。
・カメラモード
通常のビデオカメラとして撮像するときのモード。
・プリント写真モード
本体部2を倒立状態に起立させ、下に置いたプリント写真(ポジ画像)を撮像するときのモード。
・ポジフイルムモード
マウント部4にセットしたポジフイルムの画像を撮像するときのモード。
・ネガフイルムモード
マウント部4にセットしたネガフイルムの画像を撮像するときのモード。
【0014】
(5) マニュアルボリュームダイヤル16〜20
赤,青の色調整用のほか、色の濃さ調整用,明るさ調整用がある。これらのダイヤルは、オートスイッチ12をOFFにしたときに有効。
(6) AF切替えスイッチ22
オートフォーカス,マニュアルフォーカスの切替え時、及びセットアップAFの起動スイッチとして用いられる。
(7) マニュアルフォーカススイッチ23
マニュアルでフォーカシングを行うときに操作される。+−の2方向シーソースイッチで、ピント合わせの方向に応じて押圧操作される。
(8) ズームスイッチ24
ズーム光学系の変倍を行うときに操作され、テレ方向,ワイド方向の2方向シーソースイッチで構成される。
【0015】
上記画像入力装置の機能ブロックを示す図1において、ズーム光学系25はフォーカスレンズ25aと変倍レンズ25bとを備え、変倍レンズ25bよりも物体側でフォーカスレンズ25aを移動させる前玉フォーカス方式となっている。なお、写真フイルム6がズーム光学系25の先端から10〜30mm程度の近距離位置にセットされることから、特に斜入光線に対する光学性能をカバーするためにフォーカスレンズ25aよりも物体側に固定の凸レンズを配置してもよい。また、変倍レンズ25bよりも像面側に各種の収差補正用の固定レンズを設けてもよい。
【0016】
フォーカスレンズ25a及び変倍レンズ25bの移動は、各々独立して駆動されるステッピングモータ26a,26bによって行われる。フォーカスレンズ25a及び変倍レンズ25bは鏡筒28内で光軸方向に進退し、変倍及びフォーカシングを行う。変倍に伴うフォーカスレンズ25aの移動制御については、予め何種類かの被写体距離について、変倍レンズ25bの位置に対してフォーカスレンズ25aの位置を対応づけたトラッキングデータを用意しておき、一旦、フォーカシングが完了した後に変倍が行われたときには、トラッキングデータに基づいてフォーカスレンズ25aの位置を決めることができる。トラッキングデータが用意されていない被写体距離については、用意されたトラッキングデータに基づいて補間演算を行ってフォーカスレンズ25aの位置を算出すればよい。
【0017】
ズーム光学系25の光軸上に位置するように、鏡筒28の後端にはイメージセンサ30が固定され、ズーム光学系25によって光電面に結像された光学画像を光電信号に変換して出力する。また、鏡筒28は全体的に光軸方向に移動できるように本体部2に組み込まれており、外部操作によって写真フイルム6に10mm程度まで接近した近接位置と、その位置から10mm程度後退した後退位置とのいずれかの位置を選択することができる。近接位置では、一定の位置にある写真フイルムに対してズーム光学系25の撮像範囲が狭まり、後退位置ではズーム光学系25の撮像範囲を広げることができるから、ズーム光学系25を変倍せずに、各々の位置でフォーカシングを行うだけで像倍率を変えることが可能となる。鏡筒28がいずれの位置にあるかを検知するために鏡筒28に舌片28aが設けられ、これが一対のマイクロスイッチ31で検出される。
【0018】
イメージセンサ30から得られた光電信号はゲインコントロールアンプ33により適切な出力レベルに調節された後、ADコンバータ34によってデジタル信号に変換され、デジタル信号処理ユニット35に入力される。デジタル信号処理ユニット35はCPU36の管制の元に各種のデジタル信号処理を行うもので、信号処理回路35a,積分回路35b,同期信号発生器35c,インターフェース回路35d等を含む。信号処理回路35aは、デジタル信号として入力されてくる光電信号を輝度信号と色信号に分離する他、ホワイトバランス調節用に色信号ごとの増幅を行ったり、マトリクス演算や補間処理等の適宜の信号処理を施してデジタル信号形態のビデオ信号を生成する。こうして得られたビデオ信号は、DAコンバータ37によってアナログ信号に変換された後、ビデオアンプ38によってコンポジット信号形態、あるいはRGB信号形態のビデオ信号として出力される。
【0019】
積分回路35bは、信号処理回路35aから画素ごとに得られる色信号及び輝度信号をそれぞれデジタル積分する。色信号の積分を行うときには、赤色信号(R信号),緑色信号(G信号),青色信号(B信号)の各々について積分が行われる。この積分処理のために、撮像画面が図3に示すように64個のエリアに区画され、積分回路35bは各々のエリアA1 〜A64ごとの輝度積分値IY1 〜IY64、R信号の積分値IR1 〜IR64、G信号の積分値IG1 〜IG64、B信号の積分値IB1 〜IB64を求める。こうして求められた積分データは、インターフェース回路35cを経てCPU36に入力される。
【0020】
さらに積分回路35bは、撮像画面全体又は撮像画面中心を含む一定範囲内において、隣接する画素ごとの輝度信号の変化分(絶対値)を積分する機能を備えている。そして、この輝度信号変化分の総和データは、フォーカス信号としてCPU36に入力される。画素間の輝度信号の変化分は画像のコントラストが高くなる程大きくなるから、フォーカス信号のレベル変化をCPU36で評価しながらフォーカスレンズ25aを移動調節することによって、ズーム光学系25のピント合わせを行うことができる。
【0021】
同期信号発生器35dは、CPU36,イメージセンサ30を駆動するセンサドライバ40に同期信号を入力し、これらを同期して作動させる。また、同期信号はデジタル信号処理ユニット35内の各回路部にも供給され、イメージセンサ30,デジタル信号処理ユニット35,CPU36は、互いに同期して駆動される。
【0022】
CPU36は、デジタル信号処理回路35から入力される積分データに基づいて、後述するホワイトバランス制御を行う他、露光制御及びフォーカシング制御を行う。アイリスドライバ41は、アイリス(絞り)42を開閉するアイリスモータ43を駆動するために用いられる。CPU36から出力されたアイリス信号はDAコンバータ44でアナログ量に変換され、これによってアイリス42が開閉される。アイリス42の開閉によって、信号処理回路35aから得られる輝度信号のレベルが変化するから、CPU36で輝度信号のレベル変化を監視しながらアイリス42の開口径を調節することによって、自動的に露光制御を行うことができる。
【0023】
また、アイリス42の調節やイメージセンサ42の電荷蓄積時間の調節では光電信号の出力レベルを適切な範囲に収め得ない場合には、ゲインコントロールアンプ33のゲインを調節してこれに対処することができる。ただし、ゲインコントロールアンプ33のゲインが大きくなり過ぎると、光電信号のSN比が劣化してくるため、被写体の種類ごとにゲインの最大値を決めておき、その範囲内でゲイン調節するのがよい。さらに、アイリス42の開口径が大きくなるにしたがって、ズーム光学系25の光学性能(MTF)が劣化してくるから、変倍に応じて制限開口径を設定しておき、この制限開口径よりも大きくならない範囲でアイリス調節を行うがよい。ホール素子45及びホールアンプ46はこれを考慮して設けられており、アイリスモータ43の回転位置を検知してアイリス42の開口径情報をCPU36に入力する。
【0024】
CPU36は、さらにフォーカスドライバ48,ズームドライバ49にそれぞれ駆動信号を供給する。各ドライバ48,49は、入力された駆動信号に対応した個数の駆動パルスをステッピングモータ26a,26bに供給し、これによりフォーカスレンズ25a,変倍レンズ25bが光軸方向に進退移動する。前述したように、CPU36はデジタル信号処理ユニット35から入力されてくるフォーカス信号を評価しながら、フォーカスレンズ25aをピントの合った位置に移動調節する。
【0025】
また、照明ユニット5に組み込まれた写真用蛍光灯5aは電源回路51,DC/DCコンバータ52,インバータ回路53によって点灯される。そして、CPU36はインバータ回路53のON/OFF状態から自己照明の点灯,消灯状態を判断し、その消灯時にはイメージセンサ30の電子シャッター秒時(電荷蓄積時間)を1/100sec 、インバータ回路53からの信号でその点灯が確認されたときには1/60sec に切替えることによって、ビデオ信号にフリッカノイズが重畳されるのを防ぐことができる。
【0026】
マニュアル入力部55,ダイヤル入力部56からは、段落〔0014〕,〔0015〕で説明した各種の操作信号が入力され、CPU36はこれらの操作信号に基づいて撮像シーケンスを実行するとともに、各種制御の制御モードの切替えを行う。これらのシーケンスプログラム及び制御プログラムはメモリ58のROM領域に書き込まれ、またRAM領域には撮像シーケンスの実行の過程で得られる各種のフラグやデータが適宜書き込まれ、読み出される。またEEPROM領域には、例えばフォーカシング時に用いられるトラッキングデータ等のように、シーケンスプログラム及び制御プログラムの実行過程で参照されるデータが格納されている。なお、メモリ58は実際にはCPU36の内部に一体に組み込まれている。
【0027】
メモリ58のEEPROM領域には、ホワイトバランス制御を行うときに参照される検出枠データと制御範囲枠データとが格納されている。検出枠データは、模式的に図4のように表される。図4において、横軸にはG信号の積分値IGとR信号の積分値IRとの比〔IR/IG〕が、縦軸にはG信号の積分値IGとB信号の積分値IBとの比〔IB/IG〕がとられている。そして、これらの比〔IR/IG〕,〔IB/IG〕をパラメータとする3種類の検出枠K1,K2,K3が設定されている。
【0028】
これらの検出枠K1〜K3は、CPU36がデジタル信号処理ユニット35から各色信号の積分値IR,IG,IBを読み込んだときに、ホワイトバランス制御を実行するか否かを判断するときに参照されるもので、読み込んだ積分値による前記比〔IR/IG〕,〔IB/IG〕の組み合わせが、それぞれの枠内にあったときにホワイトバランス制御が実行される。検出枠K1〜K3は撮像モードによって次のように使い分けられる。
検出枠K1:カメラモード時
検出枠K2:プリント写真モード時及びポジフイルムモード時
検出枠K3:ネガフイルムモード時
また、この検出枠データには、ポジ画像に対するホワイトバランス制御の収束ポイントOP と、ネガ画像に対するホワイトバランス制御の収束ポイントON とが決められている。
【0029】
制御範囲枠データは模式的に図5のように表される。図5において、横軸にはR信号の制御信号RCONTを、縦軸にはB信号の制御信号BCONTがとってある。これらの制御信号RCONT,BCONTはCPU36からデジタル信号処理回路35に入力され、これにより信号処理回路35aは各々の制御信号RCONT,BCONTに対応してR信号,B信号を増幅する。ただし、撮像モードに対応して4種類の制御範囲枠S1〜S4が設定されており、制御信号RCONT,BCONTの組み合わせが各制御範囲枠S1〜S4からはみ出すことは禁止されている。
【0030】
制御範囲枠S1〜S4は、撮像モードに応じて次のように使い分けられる。
制御範囲枠S1:カメラモード時
制御範囲枠S2:プリント写真モード時
制御範囲枠S3:ポジフイルムモード時
制御範囲枠S4:ネガフイルムモード時
また、それぞれの制御範囲枠S1〜S4のほぼ中心に、制御開始の基準となるプリセットデータP1〜P4が設定されている。
【0031】
次に、上記構成によるホワイトバランス制御処理について、図6に示すフローチャートにしたがって説明する。CPU36は、まず設定された撮像モードに応じた露光制御を行い、デジタル信号処理回路35に入力される光電信号の出力レベルを適正レベルに調節する。この露光制御のためには、撮像モードがカメラモードであるときには撮像画面の中央部重点測光を行い、それ以外のモードのときには撮像画面全体について平均測光を行う。そして、それぞれの測光値が適正露光となる目標測光値と一致するようにアイリス42の開口径制御を行う。なお、平均測光を行う場合においても、その平均測光値が中央部重点測光値と比較して大きく異なる場合には、逆光シーンあるいはスポット光照明状態と判断して目標測光値の補正が行われる。
【0032】
こうして露光制御が行われた後、色調整スイッチ12がオートであることを確認してホワイトバランス制御処理を開始する。ホワイトバランス制御が開始されると、図6に示すように、まずステップ1(ST1)により撮像対象がネガ画像であるかポジ画像であるかを判断する。この判断のためにCPU36はマニュアル入力部55からの信号により、モードスイッチ15がいずれのセット位置にあるかを読み取る。そして、撮像モードがネガフイルムモードであるときに「Y」に分岐し、それ以外のときには「N」に分岐する。
【0033】
ネガ画像が撮像対象であることが識別されると、CPU36は信号処理回路35aをネガ・ポジ反転モードで作動させ、入力されてくる光電信号をネガ・ポジ反転した光電信号に変換して輝度信号,各色信号に分離する。そして、積分回路35bはこの変換後の輝度信号,各色信号を積分する。積分回路35bは、まず撮像画面を分割した各エリアA1 〜A64ごとに得られる輝度積分値IY1 〜IY64を読み込む。そして、ST2に示すように、エリアA1 〜A64の中で最も高い(最も明るい)最大輝度積分値IYm を抽出する。
【0034】
ST3では、こうして得られた最大輝度積分値IYm が予め決められた設定値αと比較され、その大小に応じて処理が分岐する。そして、「IYm ≧α」であると分割画面積分タイプのホワイトバランス制御が行われ、「IYm <α」であると加算画面積分タイプのホワイトバランス制御が行われる。なお、上記設定値αは、最大輝度積分値IYm が撮像画面の中の白色部分の輝度値であるとみなして決められており、例えば被写体が均一な白色であるときに各エリアから得られる輝度積分値IYよりも若干大きい値として設定されている。
【0035】
分割画面積分タイプのホワイトバランス制御では、最大輝度積分値IYm が白色部分の輝度値であるとみなし、このエリアが白色に再現されるようなホワイトバランスの調節を行う。すなわち、最大輝度積分値IYm が得られているエリアAm について、R,G,Bの各色信号の積分値IRm ,IGm ,IBm を総和したときに白色となるように、R信号,B信号の増幅率を決める制御信号RCONT,BCONTの値が制御される。
【0036】
一方、加算画面積分タイプのホワイトバランス制御では、撮像画面全体の各色信号を平均したときにはグレー(無彩色)になるという知見に基づいてホワイトバランスの調節が行われる。このため、撮像画面の各エリアA1 〜A64から得られる色信号の積分値IR1 〜IR64の総和積分値ΣIR、積分値IG1 〜IG64の総和積分値ΣIG、積分値IB1 〜IB64の総和積分値ΣIBが求められ、これらを総和したときに白色となるように制御信号RCONT,BCONTの値が制御される。なお、詳しくは後述するように、各エリアA1 〜A64の総和積分値ΣIR,ΣIG,ΣIBを求める際に、極端に隔たった色については加算対象から排除する処理が行われる。
【0037】
ST4では、ホワイトバランス調節の可否が判断される。このためCPU36は、撮像モードに対応して検出枠K1〜K3のいずれかを用いる。例えば、ネガフイルムモードに設定されている場合には検出枠K3が用いられ、分割画面積分タイプのホワイトバランス制御時には、最大輝度積分値IYm が得られているエリアAm の積分値IRm ,IGm ,IBm に基づき、これらの比〔IRm /IGm 〕,〔IBm /IGm 〕を算出する。そして、これらの組み合わせによって検出点が検出枠K3の中に含まれないときには、データ排除処理に移行してホワイトバランス制御を中止する。というのは、このような状態となるエリアAm の色は、極端に赤あるいは青に隔たっているか、あるいは色調が非常に濃いものあるいは薄いものであることを意味する。そして、このような場合にこのエリアの色に対してホワイトバランス調節を強行すると、カラーフェリアとなる可能性が極めて高くなるからである。
【0038】
一方、加算画面積分タイプのホワイトバランス制御時には、エリアごとの比〔IR/IG〕,〔IB/IG〕で決まる検出点を検出枠K3と対照し、検出点が検出枠K3外となるエリアのデータを排除し、検出枠K3の中に含まれるエリアのデータを選出する。このデータ選出により、加算画面積分タイプのホワイトバランス制御を行うときでも、撮像画面内の偏った色によってホワイトバランスが影響されることを防ぐことができる。こうして選出されたエリアごとの積分値IR,IG,IBについては、その総和積分値ΣIR,ΣIG,ΣIBが算出され、さらに比〔ΣIR/ΣIG〕,〔ΣIB/ΣIG〕が求められる。
【0039】
ST5の処理では、このようにして算出された比〔IRm /IGm 〕,〔IBm /IGm 〕、又は比〔ΣIR/ΣIG〕,〔ΣIB/ΣIG〕で決まる検出点が図4に示す収束点ON ,OP と比較される。そして、ネガフイルムモードでは検出点を収束点ON に近づける方向に制御信号RCONT,BCONTを増減する。制御信号RCONT,BCONTの増減に際しては、やはり撮像モードに対応して制御範囲枠S1〜S4のいずれかが選択される。
【0040】
ネガフイルムモードで分割画面積分タイプのホワイトバランス制御が行われるときには制御範囲枠S4が選択され、まずプリセットデータP4で決まる制御信号RCONT,BCONTによってR信号とB信号の増幅が行われる。これにより、エリアAm から得られる積分値IRm ,IGm ,IBm 、及び比〔IRm /IGm 〕,〔IBm /IGm 〕が変化する。CPU36は、再びST4以降の処理により比〔IRm /IGm 〕,〔IBm /IGm 〕によって決まる検出点が収束点ON に合致するまで、制御信号RCONT,BCONTの値を増減しながら同様の処理を繰り返す。
【0041】
制御信号RCONT,BCONTを増減する際には、制御信号RCONT,BCONTの組み合わせで決まる制御点が制御範囲枠S4から外れるか否かがST6で判断される。そして、制御点が制御範囲枠S4から逸脱するときには、その時点でホワイトバランスの調節が中止される。また、制御範囲枠S4内で制御信号RCONT,BCONTを増減しながら処理を行う間に、ST7の判断により検出点と収束点ON との一致が検出されると、その時点でホワイトバランス調節が完了し、信号処理回路35aはこれまでの処理によって決められた制御信号RCONT,BCONTによりR信号,B信号を増幅し、良好なホワイトバランス調節が行われる。
【0042】
検出点が収束点ON と一致した場合には、分割画面積分タイプ,加算画面積分タイプのいずれのホワイトバランス調節であれ、色調節の評価対象となっているエリアの色積分値IR,IG,IBの割合が平均的になり、良好なホワイトバランスの画像が得られたことを意味する。また、上記途中で制御点が制御範囲枠S4から逸脱する場合は、そのままホワイトバランス調節を強行したときにカラーフェリアが発生する可能性が高いことを意味するから、その時点でホワイトバランス調節を中止することによって、カラーフェリアにならない範囲でホワイトバランス調節を行うことができる。
【0043】
このように、ネガフイルムモード時には撮像画面内の輝度信号分布に応じて分割画面積分タイプのホワイトバランス制御と加算画面積分タイプのホワイトバランス制御とを使い分けるようにしてあるから、シーンに合った良好なホワイトバランス調節を行うことができる。
【0044】
撮像モードがカメラモード,プリント写真モード,ポジフイルムモードの場合には、いずれも加算画面積分タイプのホワイトバランス制御が行われるが、各々のモードに対応して制御枠K1,K2、制御範囲枠S1〜S3が使い分けられる以外は、全く同様にして制御信号RCONT,BCONTの増減が行われる。加算画面積分タイプのホワイトバランス制御を行うにあたっても、ST4の処理によって不適切なデータ排除を行うようにしてあるから、例えシーンの変更を行ったような場合でも、それぞれ適切なホワイトバランス調節が実現される。
【0045】
ところで、撮像モードに応じて複数種類の検出枠K1〜K3及び制御範囲枠S1〜S4を用意し、これらを適宜に選択して用いるようにしてあるが、これは次の理由による。ネガフイルムモードの場合には、撮像対象となるフイルムベースの着色にかなりのバラツキがあり、写真撮影時の照明光源の色温度も様々に想定されるため検出枠K3を広めに設定しておくのがよく、制御範囲枠S4についても、制御信号RCONT,BCONTの増減範囲にある程度自由度をもたせておくのがよい。
【0046】
プリント写真モード及びポジフイルムモードにおいては、プリント写真及びポジフイルムに撮影された画像の色と再生画像の色を合わせるという点で、検出枠K2が狭め設定される。また、プリント写真モードの制御範囲枠S2については、やはりプリント写真そのものの色再現性があまり変化しないように狭く設定される。ポジフイルムモードの制御範囲枠S3については、照明光源として内蔵の写真用蛍光灯5aの他に市販のライトボックス,スライドビュアーが使用された場合でもこれに対応することができるように、少し広めに設定される。
【0047】
一方、カメラモードでは、様々な照明光源の色温度に対してホワイトバランス調節しなければならないため、検出枠K1は広く設定される。そして、その制御範囲枠S1のパターンは種々の照明光源の色温度に対応できるように決められている。
【0048】
こうして各撮像モードに対応してホワイトバランス制御が行われ、その撮像モードのまま順次に画像が変更される場合には、設定された制御信号RCONT,BCONTが大きく変動することはない。ただし、大きな露出変動、すなわち各エリアA1 〜A64の輝度積分値IY1 〜IY64の総和が予め設定した変化幅よりも大きく変化した場合には、その時点で設定されている検出枠から検出点がはみ出すことがある。そこで、このような場合にはその時点で設定されている制御信号RCONT,BCONTの値を制御範囲枠内で決められたプリセットデータPの値に戻し、再度その撮像モード下でのホワイトバランス制御が行われる。また、撮像モードの変更があった場合には、やはりその時点で設定されている制御信号RCONT,BCONTの値をクリアし、変更後の撮像モードに対応した検出枠K,制御範囲枠Sを選択するとともに、制御信号RCONT,BCONTの値にはその撮像モードに対応したプリセットデータPの値に戻す。
【0049】
さらに、写真フイルムを撮像対象にする場合、写真画像の縦横に応じてヘッド部3を回動操作することがある。このような操作を行った場合、撮像画面内に隣接する写真画像が入り込んだり、あるいはマスクスイッチ13の操作によって、写真画像の周囲を電気的に黒マスクや白マスクで覆うことがある。このような操作が行われると、露出変動や各色信号の積分値に大きな変化が生じてしまい、ホワイトバランス制御が大きく変動してしまう。これを避けるために、ヘッド部3の回転操作やマスクスイッチ操作が行われたときには、それまでのホワイトバランス制御によって求められている制御信号RCONT,BCONTがそのまま保存される。なお、マスクスイッチ13を操作したときのマスクとしては、CRTモニタに画像表示を行うときには黒マスク、ビデオプリンタにビデオ信号を出力してプリントを行わせるときには白マスクに切り替えるのがよい。
【0050】
さらに、これまでの実施例においては、カメラモード時,プリント写真モード時,ポジフイルムモード時,ネガフイルムモード時でそれぞれホワイトバランス制御の検出枠及び制御範囲枠の切り換えを行うようにしてあるが、基本的には被写体がポジ画像であるかネガ画像であるかに応じて検出枠及び制御範囲枠の切り換えを行うようにしてもよい。
【0051】
【発明の効果】
以上のように、本発明のホワイトバランス制御方法では、撮像対象となる画像がポジ画像であるかネガ画像であるかに応じてホワイトバランス制御に用いる色積分値を選別するための選別基準を変更してあるから、それぞれの画像に適した基準でホワイトバランス制御に用いる色積分値の可否を決めることができ、カラーフェリアを防止して良好なホワイトバランス制御を行うことができる。
【0052】
ホワイトバランス制御に用いる色積分値の可否を決めるにあたっては、光電信号から得られる赤色信号積分値と緑色信号積分値の比と、青色信号積分値と緑色信号積分値の比との組み合わせに基づいて予めポジ画像用,ネガ画像用に検出枠を設定し、実際に撮像を行ったときの光電信号から得られる赤色信号積分値と緑色信号積分値の比と、青色信号積分値と緑色信号積分値の比との組み合わせが検出枠に含まれるか否かで判断するようにしたから、ポジ画像,ネガ画像に応じて適宜に設定した検出枠が利用でき、またワイトバランス制御の収束値もそれぞれ個別に設定することができるから、汎用性に富んだホワイトバランス制御が可能となる。
【0053】
さらに、ホワイトバランス制御を行う際には、赤色信号,青色信号の各増幅率が色ごとに制御信号によって増減されるが、その可変範囲をポジ画像,ネガ画像に応じて切替えることによって、ホワイトバランス制御を行う間にカラーフェリアが発生することを防ぐことができる。また、各可変範囲の中に基準となるプリセットデータを設定し、これに基づいてホワイトバランス制御の開始時、あるいは大きな輝度変化が生じたときに赤色信号,青色信号の各増幅率を決めることによって、シーンの変化に追従して効率的かつ短時間でホワイトバランス制御を行うことができる。
【図面の簡単な説明】
【図1】本発明を用いた画像入力装置の機能ブロック図である。
【図2】本発明を用いた画像入力装置の外観図である。
【図3】撮像画面のエリア分割の説明図である。
【図4】ホワイトバランス制御に用いられる検出枠の説明図である。
【図5】ホワイトバランス制御に用いられる制御範囲枠の説明図である。
【図6】ホワイトバランス制御の処理の流れを示すフローチャートである。
【符号の説明】
6 写真フイルム
25 ズーム光学系
30 イメージセンサ
33 ゲインコントロールアンプ
35 デジタル信号処理ユニット
35a 信号処理回路
35b 積分回路
36 CPU
58 メモリ
[0001]
[Industrial application fields]
The present invention relates to a white balance control method suitable for an image input apparatus that captures an image recorded on a photographic film with an image sensor and converts the image into a video signal.
[0002]
[Prior art]
As one form of video camera, an image taken on a photographic film or an image of a printed photograph is imaged by an image sensor such as a CCD solid-state image sensor or a MOS type solid-state image sensor, and appropriate photoelectric processing is performed on the obtained photoelectric signal There is known an image input device which performs video observation conforming to the NTSC system, and inputs it to a CRT monitor or video printer so that the image can be observed (for example, “FUJIX FOTOVISION FV7 commercialized by the present applicant”). ").
[0003]
In such an image input apparatus, since a photographic film is selected as a subject, even if white balance control as used in a normal video camera is performed, an appropriate color balance cannot always be obtained. For example, when trying to capture an image recorded on a color negative film,
(1) The film base itself is colored orange, and the degree of coloration varies greatly depending on the type of film.
(2) The color temperature of the light source that illuminates the film during imaging cannot be specified.
(3) The color temperature when taking a photo on the film is unknown.
For these reasons, when performing white balance control on these images, a special color temperature detection method and adjustment method are required.
[0004]
In view of these circumstances, the applicant has already filed an application regarding a white balance adjustment method suitable for the image input device. According to this, an excellent white balance adjustment is realized for an image recorded on a color negative film. be able to.
[0005]
[Problems to be solved by the invention]
However, the function of the image input device has been further improved so that not only color negative film images but also reversal film images and print photo images can be selected as general subjects as in ordinary video cameras. In this case, the adjustment methods proposed so far often cannot be dealt with. This is because, in order to achieve appropriate white balance adjustment while preventing color feria, it is necessary to narrow the detection range of the subject's color temperature to some extent. If the type changes, the color balance may be judged to be interrupted, and the white balance adjustment may be interrupted. Conversely, if the detection range of the color temperature is widened, the frequency of color failure will increase. Become. Such an adverse effect occurs not only when the color negative film is used but also when the type of the positive image is changed.
[0006]
An object of the present invention is to provide a white balance control method that eliminates the above-described drawbacks of the prior art and can perform optimum white balance adjustment for each type of subject selected as an imaging target. .
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the present invention first selects a color integral value used for white balance control from each color integral value obtained by integrating a color signal for each area partitioning the imaging screen of the image sensor. Change the sorting criteria depending on whether the image being imaged is a positive image or a negative image And When the image to be imaged is a negative image, the largest maximum luminance integrated value is obtained from each luminance integrated value obtained by integrating the luminance signal for each area, and the maximum luminance integrated value is larger than a predetermined value. If it is larger, only the color integral value of the area where the maximum luminance integral value has been obtained is subject to sorting by the sorting criterion, and if the maximum luminance integral value is smaller than a predetermined value, the color signal is output for each area. Each color integrated value obtained by integration is set as a selection target according to the selection criterion. When the image to be imaged is a positive image, each color integration value obtained by integrating the color signal for each area is selected as a selection target based on the selection criterion. The color signal includes a red signal, a green signal, and a blue signal, and the selection criterion includes a ratio of an integral value of the red signal and an integral value of the green signal, an integral value of the blue signal, and an integral value of the green signal. It is determined in a range using the ratio of In addition, a convergence value of white balance control is set within the range that defines the selection criterion, and this convergence value differs between positive image capturing and negative image capturing.
[0008]
White balance control is completed when the combination of the detected red and green integrated values and the blue and green integrated values reaches the convergence value. This convergence value is used for positive images. , It is different for negative images. Furthermore, when white balance control is performed toward these convergence values, the amplification factors of the red signal and blue signal are increased or decreased by the control signal for each color, but the variable range depends on the positive image and the negative image. Can be switched. Also, reference preset data is set in each variable range, and when the white balance control is started, the amplification factors of the red signal and the blue signal are determined based on a control signal determined by the preset data.
[0009]
If the integrated luminance value obtained by integrating the luminance signal of all areas of the imaging screen fluctuates more than the predetermined change width, Even if the imaging target is not changed between the negative image and the positive image, the control signal at that time determined within the variable range is reset to the control signal corresponding to the preset data. As will be described later in the embodiments, white balance control is performed. For color integral value selection In addition to changing the reference and variable range of the control signal for white balance adjustment with a positive image or negative image, it can be changed for each type of subject, such as general subjects, print photos, positive films, and negative films. It is good to change to.
[0010]
【Example】
In FIG. 2 showing the external appearance of the image input apparatus using the present invention, a head portion 3 is provided on the upper portion of the main body portion 2. The head unit 3 includes a mount unit 4 in which a slit 4a is formed and a pair of illumination units 5 that are pivotally mounted on the mount unit 4 so as to be freely opened and closed. For example, when the developed photographic film 6 divided into sheets every six frames is held by the film holder 7 and the film holder 7 is inserted into the slit 4a and the illumination unit 5 is turned on, the illumination light is milky white film holder. The photographic film 6 is diffusely illuminated from the back side through 7.
[0011]
A pair of support legs 9, 9 are pivotally attached to the main body 2, and the main body 2 is supported in an upright state by opening it as shown in the figure. The main body 2 incorporates a zoom optical system and an image sensor known as, for example, a CCD or MOS type solid-state imaging device, and images an image recorded on the photographic film 6 as a still image. The photographic film 6 may be either a color negative film or a color positive film. Necessary signal processing such as negative / positive inversion is performed by appropriately operating the mode switching lever 10 according to the film type. The head portion 3 can be rotated 90 ° from the mount portion 4 with respect to the main body portion 2, and the image of the photographic film 6 is taken in the horizontal posture, even if it is taken in the horizontal posture. But it can handle it.
[0012]
Further, the support legs 9 and 9 can be rotated further upward from the illustrated position, and the illumination units 5 and 5 can be opened to support the main body 2 in an inverted state. In this state, for example, it is possible to illuminate a printed photograph placed underneath with the illumination units 5 and 5 and take an image thereof. Moreover, it can also be used like a normal video camera by opening the lighting units 5 and 5 and holding the main body 2 and directing it toward the subject.
[0013]
The main body unit 2 is provided with the following manual operation unit.
(1) Power switch 11
Operated when the power is turned ON / OFF. Further, it is also used as an ON / OFF switch of the inverter circuit 53 for turning on / off the lighting unit 5.
(2) Auto switch 12
When turned on, color adjustment (white balance, color density) and brightness adjustment are automated. When turned off, the color and brightness of the reproduced image can be adjusted by operating the volume dials 16 to 20.
(3) Mask switch 13
When an image is displayed on the CRT monitor depending on whether the image of the photographic film 6 is in the horizontal posture, the vertical posture, or the panorama size, when extra space around the image is electrically masked Operated. The mask range is switched depending on the number of times of pressing.
(4) Mode switch 15
Switching operation is performed when the imaging mode is changed. Imaging modes are as follows.
・ Camera mode
Mode for capturing images as a normal video camera.
・ Print photo mode
A mode in which the main body 2 is raised in an inverted state and a printed photograph (positive image) placed underneath is taken.
・ Positive film mode
A mode for capturing a positive film image set on the mount unit 4.
・ Negative film mode
A mode for capturing an image of a negative film set on the mount unit 4.
[0014]
(5) Manual volume dial 16-20
In addition to red and blue color adjustments, there are color density adjustments and brightness adjustments. These dials are effective when the auto switch 12 is turned off.
(6) AF switch 22
Used when switching between auto focus and manual focus, and as a start-up switch for setup AF.
(7) Manual focus switch 23
This is operated when focusing manually. With the + -two-way seesaw switch, the pressing operation is performed according to the focusing direction.
(8) Zoom switch 24
It is operated when zooming the zoom optical system, and is composed of a two-direction seesaw switch in the tele and wide directions.
[0015]
In FIG. 1 showing the functional blocks of the image input device, the zoom optical system 25 includes a focus lens 25a and a variable magnification lens 25b, and a front lens focus method in which the focus lens 25a is moved closer to the object side than the variable magnification lens 25b. It has become. Since the photographic film 6 is set at a short distance position of about 10 to 30 mm from the front end of the zoom optical system 25, the photographic film 6 is fixed to the object side of the focus lens 25a in order to cover the optical performance particularly with respect to obliquely incident light. A convex lens may be arranged. Also, various aberration correction fixed lenses may be provided on the image plane side of the variable magnification lens 25b.
[0016]
The focus lens 25a and the variable power lens 25b are moved by stepping motors 26a and 26b that are independently driven. The focus lens 25a and the zoom lens 25b move back and forth in the direction of the optical axis in the lens barrel 28 to perform zooming and focusing. Regarding the movement control of the focus lens 25a accompanying zooming, tracking data in which the position of the focus lens 25a is associated with the position of the zoom lens 25b is prepared in advance for several types of subject distances. When zooming is performed after focusing is completed, the position of the focus lens 25a can be determined based on the tracking data. For subject distances for which no tracking data is prepared, an interpolation calculation may be performed based on the prepared tracking data to calculate the position of the focus lens 25a.
[0017]
An image sensor 30 is fixed to the rear end of the lens barrel 28 so as to be positioned on the optical axis of the zoom optical system 25, and an optical image formed on the photocathode by the zoom optical system 25 is converted into a photoelectric signal. Output. The lens barrel 28 is incorporated in the main body 2 so that it can move in the direction of the optical axis as a whole. The lens barrel 28 is moved close to the photographic film 6 by about 10 mm by an external operation, and retracted by about 10 mm from the position. Any position can be selected. In the close position, the imaging range of the zoom optical system 25 is narrowed with respect to a photographic film at a certain position, and in the retracted position, the imaging range of the zoom optical system 25 can be widened. Therefore, the zoom optical system 25 is not scaled. In addition, it is possible to change the image magnification only by performing focusing at each position. In order to detect which position the lens barrel 28 is in, a tongue piece 28 a is provided on the lens barrel 28, and this is detected by a pair of microswitches 31.
[0018]
The photoelectric signal obtained from the image sensor 30 is adjusted to an appropriate output level by the gain control amplifier 33, converted to a digital signal by the AD converter 34, and input to the digital signal processing unit 35. The digital signal processing unit 35 performs various types of digital signal processing under the control of the CPU 36, and includes a signal processing circuit 35a, an integration circuit 35b, a synchronization signal generator 35c, an interface circuit 35d, and the like. The signal processing circuit 35a separates a photoelectric signal input as a digital signal into a luminance signal and a color signal, performs amplification for each color signal for white balance adjustment, and performs an appropriate signal such as matrix calculation or interpolation processing. Processing is performed to generate a video signal in the form of a digital signal. The video signal thus obtained is converted into an analog signal by the DA converter 37 and then output as a video signal in the form of a composite signal or RGB signal by the video amplifier 38.
[0019]
The integrating circuit 35b digitally integrates the color signal and the luminance signal obtained for each pixel from the signal processing circuit 35a. When the color signal is integrated, the red signal (R signal), the green signal (G signal), and the blue signal (B signal) are integrated. For this integration process, the imaging screen is divided into 64 areas as shown in FIG. 1 ~ A 64 Luminance integral value IY for each 1 ~ IY 64 , R signal integral value IR 1 ~ IR 64 , G signal integral value IG 1 ~ IG 64 , B signal integral value IB 1 ~ IB 64 Ask for. The integral data thus obtained is input to the CPU 36 via the interface circuit 35c.
[0020]
Further, the integrating circuit 35b has a function of integrating the change (absolute value) of the luminance signal for each adjacent pixel within a certain range including the entire imaging screen or the center of the imaging screen. Then, the sum total data for the luminance signal change is input to the CPU 36 as a focus signal. Since the change in luminance signal between pixels increases as the contrast of the image increases, the zoom optical system 25 is focused by adjusting the movement of the focus lens 25a while evaluating the level change of the focus signal by the CPU. be able to.
[0021]
The synchronization signal generator 35d inputs a synchronization signal to the CPU 36 and the sensor driver 40 that drives the image sensor 30, and operates them in synchronization. The synchronization signal is also supplied to each circuit unit in the digital signal processing unit 35, and the image sensor 30, the digital signal processing unit 35, and the CPU 36 are driven in synchronization with each other.
[0022]
The CPU 36 performs exposure control and focusing control in addition to performing white balance control, which will be described later, based on the integration data input from the digital signal processing circuit 35. The iris driver 41 is used to drive an iris motor 43 that opens and closes an iris (aperture) 42. The iris signal output from the CPU 36 is converted into an analog amount by the DA converter 44, and thereby the iris 42 is opened and closed. Since the level of the luminance signal obtained from the signal processing circuit 35a is changed by opening and closing the iris 42, the exposure control is automatically performed by adjusting the opening diameter of the iris 42 while monitoring the level change of the luminance signal by the CPU 36. It can be carried out.
[0023]
Further, if the output level of the photoelectric signal cannot be kept within an appropriate range by adjusting the iris 42 or the charge accumulation time of the image sensor 42, the gain of the gain control amplifier 33 can be adjusted to cope with this. it can. However, if the gain of the gain control amplifier 33 becomes too large, the S / N ratio of the photoelectric signal deteriorates. Therefore, it is preferable to determine the maximum gain value for each type of subject and adjust the gain within that range. . Furthermore, as the aperture diameter of the iris 42 increases, the optical performance (MTF) of the zoom optical system 25 deteriorates. Therefore, a limit aperture diameter is set in accordance with zooming, and is larger than this limit aperture diameter. Iris adjustment should be performed within a range that does not increase. The hall element 45 and the hall amplifier 46 are provided in consideration of this, and detects the rotational position of the iris motor 43 and inputs the aperture diameter information of the iris 42 to the CPU 36.
[0024]
The CPU 36 further supplies drive signals to the focus driver 48 and the zoom driver 49, respectively. Each driver 48, 49 supplies a number of drive pulses corresponding to the input drive signal to the stepping motors 26a, 26b, whereby the focus lens 25a and the variable power lens 25b move forward and backward in the optical axis direction. As described above, the CPU 36 moves and adjusts the focus lens 25a to the in-focus position while evaluating the focus signal input from the digital signal processing unit 35.
[0025]
The fluorescent fluorescent lamp 5 a incorporated in the illumination unit 5 is turned on by a power supply circuit 51, a DC / DC converter 52, and an inverter circuit 53. Then, the CPU 36 determines whether the self-illumination is turned on or off from the ON / OFF state of the inverter circuit 53. At the time of turning off, the electronic shutter time (charge accumulation time) of the image sensor 30 is 1/100 sec. When the lighting is confirmed by the signal, switching to 1/60 sec can prevent flicker noise from being superimposed on the video signal.
[0026]
Various operation signals described in the paragraphs [0014] and [0015] are input from the manual input unit 55 and the dial input unit 56, and the CPU 36 executes an imaging sequence based on these operation signals and performs various control operations. Switch the control mode. These sequence program and control program are written in the ROM area of the memory 58, and various flags and data obtained in the process of executing the imaging sequence are appropriately written and read in the RAM area. The EEPROM area stores data referred to in the execution process of the sequence program and the control program, such as tracking data used during focusing. Note that the memory 58 is actually integrated into the CPU 36.
[0027]
The EEPROM area of the memory 58 stores detection frame data and control range frame data that are referred to when white balance control is performed. The detection frame data is schematically represented as shown in FIG. In FIG. 4, the horizontal axis represents the ratio [IR / IG] of the G signal integral value IG and the R signal integral value IR, and the vertical axis represents the G signal integral value IG and the B signal integral value IB. The ratio [IB / IG] is taken. Three types of detection frames K1, K2, and K3 are set with these ratios [IR / IG] and [IB / IG] as parameters.
[0028]
These detection frames K1 to K3 are referred to when the CPU 36 determines whether to execute white balance control when the integrated values IR, IG, and IB of the respective color signals are read from the digital signal processing unit 35. Therefore, when the combination of the ratios [IR / IG] and [IB / IG] based on the read integrated value is within the respective frames, white balance control is executed. The detection frames K1 to K3 are properly used as follows depending on the imaging mode.
Detection frame K1: In camera mode
Detection frame K2: Print photo mode and positive film mode
Detection frame K3: in negative film mode
The detection frame data includes a convergence point O of white balance control for a positive image. P And the convergence point O of white balance control for negative images N It has been decided.
[0029]
The control range frame data is schematically represented as shown in FIG. In FIG. 5, the horizontal axis represents the control signal R of the R signal. CONT , And the vertical axis represents the control signal B of the B signal CONT There is. These control signals R CONT , B CONT Is input from the CPU 36 to the digital signal processing circuit 35, whereby the signal processing circuit 35a receives each control signal R. CONT , B CONT The R signal and the B signal are amplified correspondingly. However, four types of control range frames S1 to S4 are set corresponding to the imaging mode, and the control signal R CONT , B CONT It is forbidden for the combination of to protrude from the control range frames S1 to S4.
[0030]
The control range frames S1 to S4 are properly used as follows according to the imaging mode.
Control range frame S1: In camera mode
Control range frame S2: Print photo mode
Control range frame S3: In positive film mode
Control range frame S4: In negative film mode
In addition, preset data P1 to P4 serving as a reference for starting control are set at substantially the center of each control range frame S1 to S4.
[0031]
Next, the white balance control processing with the above configuration will be described with reference to the flowchart shown in FIG. First, the CPU 36 performs exposure control according to the set imaging mode, and adjusts the output level of the photoelectric signal input to the digital signal processing circuit 35 to an appropriate level. For this exposure control, center-weighted metering is performed when the imaging mode is the camera mode, and average metering is performed for the entire imaging screen when the imaging mode is any other mode. Then, the aperture diameter control of the iris 42 is performed so that each photometric value matches the target photometric value at which proper exposure is achieved. Even when average photometry is performed, if the average photometry value is significantly different from the center-weighted photometry value, the target photometry value is corrected by determining that the scene is a backlight scene or a spotlight illumination state.
[0032]
After the exposure control is performed in this way, it is confirmed that the color adjustment switch 12 is auto, and the white balance control process is started. When the white balance control is started, as shown in FIG. 6, it is first determined in step 1 (ST1) whether the imaging target is a negative image or a positive image. For this determination, the CPU 36 reads the set position of the mode switch 15 based on a signal from the manual input unit 55. The process branches to “Y” when the imaging mode is the negative film mode, and branches to “N” otherwise.
[0033]
When the negative image is identified as the imaging target, the CPU 36 operates the signal processing circuit 35a in the negative / positive inversion mode, converts the input photoelectric signal into a negative / positive inversion photoelectric signal, and converts the luminance signal. , Separate into each color signal. The integrating circuit 35b integrates the luminance signal and each color signal after conversion. The integrating circuit 35b firstly displays each area A obtained by dividing the imaging screen. 1 ~ A 64 Luminance integral value IY obtained for each 1 ~ IY 64 Is read. Then, as shown in ST2, area A 1 ~ A 64 The highest (brightest) maximum luminance integral value IY m To extract.
[0034]
In ST3, the maximum luminance integrated value IY thus obtained is obtained. m Is compared with a predetermined set value α, and the processing branches depending on the magnitude. And "IY m If ≧ α, split screen integral type white balance control is performed, and “IY m If it is <α, addition screen integration type white balance control is performed. The set value α is the maximum luminance integrated value IY. m Is determined to be the luminance value of the white portion in the imaging screen, and is set to a value slightly larger than the luminance integrated value IY obtained from each area when the subject is uniform white, for example. .
[0035]
In the split screen integral type white balance control, the maximum luminance integral value IY m The white balance is adjusted so that the area is reproduced as white. That is, the maximum luminance integral value IY m Area A where is obtained m , Integral value IR of each color signal of R, G, B m , IG m , IB m A control signal R that determines the amplification factor of the R signal and the B signal so that a white color is obtained by summing CONT , B CONT The value of is controlled.
[0036]
On the other hand, in the addition screen integration type white balance control, white balance is adjusted based on the knowledge that when the respective color signals of the entire imaging screen are averaged, the color becomes gray (achromatic color). For this reason, each area A of the imaging screen 1 ~ A 64 Integrated value IR of the color signal obtained from 1 ~ IR 64 Sum total integral value ΣIR, integral value IG 1 ~ IG 64 Sum total integral value ΣIG, integral value IB 1 ~ IB 64 Is calculated so as to be white when the sum is summed. CONT , B CONT The value of is controlled. As will be described in detail later, each area A 1 ~ A 64 When obtaining the total integrated values ΣIR, ΣIG, and ΣIB, a process of excluding extremely separated colors from the addition target is performed.
[0037]
In ST4, it is determined whether white balance adjustment is possible. For this reason, the CPU 36 uses one of the detection frames K1 to K3 corresponding to the imaging mode. For example, the detection frame K3 is used when the negative film mode is set, and the maximum luminance integral value IY is used during the white balance control of the split screen integral type. m Area A where is obtained m Integral value of IR m , IG m , IB m These ratios [IR m / IG m ], [IB m / IG m ] Is calculated. When the detection point is not included in the detection frame K3 by these combinations, the process shifts to the data exclusion process and the white balance control is stopped. Because this is the area A m This means that the color is extremely red or blue, or the color tone is very dark or light. In such a case, if the white balance adjustment is forcibly performed for the color of this area, the possibility of color failure becomes extremely high.
[0038]
On the other hand, at the time of addition screen integration type white balance control, the detection point determined by the ratio [IR / IG], [IB / IG] for each area is compared with the detection frame K3, and the detection point is outside the detection frame K3. The data is excluded and the data of the area included in the detection frame K3 is selected. This data selection can prevent the white balance from being affected by the biased color in the imaging screen even when the addition screen integration type white balance control is performed. For the integrated values IR, IG, IB for each area thus selected, the total integrated values ΣIR, ΣIG, ΣIB are calculated, and the ratios [ΣIR / ΣIG], [ΣIB / ΣIG] are obtained.
[0039]
In the process of ST5, the ratio [IR m / IG m ], [IB m / IG m ] Or a detection point determined by the ratio [ΣIR / ΣIG], [ΣIB / ΣIG] is a convergence point O shown in FIG. N , O P Compared with In the negative film mode, the detection point is the convergence point O. N Control signal R in the direction approaching CONT , B CONT Increase or decrease. Control signal R CONT , B CONT When increasing / decreasing, one of the control range frames S1 to S4 is selected corresponding to the imaging mode.
[0040]
When the split screen integral type white balance control is performed in the negative film mode, the control range frame S4 is selected, and first, the control signal R determined by the preset data P4 is selected. CONT , B CONT As a result, the R signal and the B signal are amplified. As a result, area A m Integrated value IR obtained from m , IG m , IB m And ratio [IR m / IG m ], [IB m / IG m ] Changes. The CPU 36 again performs the ratio [IR by the process after ST4. m / IG m ], [IB m / IG m ] Is determined by the convergence point O N Control signal R until CONT , B CONT The same processing is repeated while increasing or decreasing the value of.
[0041]
Control signal R CONT , B CONT When increasing or decreasing the control signal R CONT , B CONT In ST6, it is determined whether or not the control point determined by the combination of these is out of the control range frame S4. When the control point deviates from the control range frame S4, the white balance adjustment is stopped at that point. Further, the control signal R within the control range frame S4. CONT , B CONT While performing processing while increasing / decreasing the detection point and the convergence point O according to the determination of ST7 N Is detected, the white balance adjustment is completed at that time, and the signal processing circuit 35a controls the control signal R determined by the previous processing. CONT , B CONT As a result, the R signal and the B signal are amplified, and good white balance adjustment is performed.
[0042]
Detection point is convergence point O N When the white balance adjustment of the split screen integration type or the addition screen integration type is performed, the ratios of the color integration values IR, IG, and IB of the area to be evaluated for color adjustment are averaged. This means that a good white balance image was obtained. Also, if the control point deviates from the control range frame S4 in the middle of the above, it means that there is a high possibility that color failure will occur when the white balance adjustment is forced, so the white balance adjustment is stopped at that point. By doing so, it is possible to perform white balance adjustment within a range that does not result in color failure.
[0043]
In this way, in the negative film mode, the split screen integration type white balance control and the addition screen integration type white balance control are properly used according to the luminance signal distribution in the imaging screen. White balance can be adjusted.
[0044]
When the imaging mode is the camera mode, the print photo mode, or the positive film mode, the addition screen integration type white balance control is performed. The control frames K1 and K2 and the control range frame S1 correspond to each mode. The control signal R is exactly the same except that ~ S3 is properly used. CONT , B CONT Increase / decrease is performed. Even when performing addition screen integration type white balance control, inappropriate data exclusion is performed by the processing of ST4, so even if the scene is changed, appropriate white balance adjustment is realized. Is done.
[0045]
Incidentally, a plurality of types of detection frames K1 to K3 and control range frames S1 to S4 are prepared in accordance with the imaging mode, and these are selected and used as appropriate, for the following reason. In the case of the negative film mode, there is considerable variation in the color of the film base to be imaged, and the color temperature of the illumination light source at the time of photography is also assumed variously, so the detection frame K3 is set to be wide. The control signal R is also applied to the control range frame S4. CONT , B CONT It is better to give some degree of freedom to the range of increase and decrease.
[0046]
In the print photo mode and the positive film mode, the detection frame K2 is set narrower in that the color of the image taken on the print photo and the positive film matches the color of the reproduced image. Further, the control range frame S2 in the print photograph mode is set so narrow that the color reproducibility of the print photograph itself does not change so much. The control range frame S3 in the positive film mode is slightly wider so that it can be used even when a commercially available light box or slide viewer is used in addition to the built-in fluorescent lamp 5a as an illumination light source. Is set.
[0047]
On the other hand, in the camera mode, the white balance must be adjusted with respect to the color temperature of various illumination light sources, so the detection frame K1 is set wide. The pattern of the control range frame S1 is determined so as to correspond to the color temperature of various illumination light sources.
[0048]
In this way, white balance control is performed corresponding to each imaging mode, and when the images are sequentially changed in the imaging mode, the set control signal R CONT , B CONT Does not fluctuate significantly. However, large exposure fluctuations, that is, each area A 1 ~ A 64 Luminance integral value IY of 1 ~ IY 64 When the sum of the values changes more than a preset change width, the detection point may protrude from the detection frame set at that time. Therefore, in such a case, the control signal R set at that time is set. CONT , B CONT Is returned to the value of the preset data P determined within the control range frame, and white balance control is performed again under the imaging mode. In addition, when there is a change in the imaging mode, the control signal R set at that time is also used. CONT , B CONT Is cleared, the detection frame K and the control range frame S corresponding to the changed imaging mode are selected, and the control signal R CONT , B CONT To the value of preset data P corresponding to the imaging mode.
[0049]
Further, when a photographic film is an imaging target, the head unit 3 may be rotated according to the length and width of the photographic image. When such an operation is performed, an adjacent photographic image may enter the imaging screen, or the photographic image may be electrically covered with a black mask or a white mask by the operation of the mask switch 13. When such an operation is performed, a large change occurs in the exposure fluctuation and the integrated value of each color signal, and the white balance control greatly fluctuates. In order to avoid this, when a rotation operation or mask switch operation of the head unit 3 is performed, the control signal R obtained by the white balance control so far is performed. CONT , B CONT Is saved as is. The mask when the mask switch 13 is operated is preferably switched to a black mask when displaying an image on a CRT monitor, and to a white mask when outputting a video signal to a video printer for printing.
[0050]
Further, in the embodiments so far, the white balance control detection frame and the control range frame are switched in the camera mode, the print photo mode, the positive film mode, and the negative film mode, respectively. Basically, the detection frame and the control range frame may be switched depending on whether the subject is a positive image or a negative image.
[0051]
【The invention's effect】
As described above, in the white balance control method of the present invention, white balance control is performed depending on whether the image to be imaged is a positive image or a negative image. For color integral value selection Since the standard has been changed, white balance control is performed with a standard suitable for each image. Of color integral value used for Whether or not it is possible can be determined, and color balance can be prevented and good white balance control can be performed.
[0052]
White balance control The color integral value used for Are determined for the positive image and the negative image in advance based on the combination of the ratio of the red signal integration value and the green signal integration value obtained from the photoelectric signal and the ratio of the blue signal integration value and the green signal integration value. The detection frame includes a combination of the ratio of the red signal integration value and green signal integration value obtained from the photoelectric signal when the frame is set and actually captured, and the ratio of the blue signal integration value and the green signal integration value. The detection frame set appropriately according to the positive image and the negative image can be used. Ho Since the convergence value of the light balance control can be set individually, white balance control with high versatility is possible.
[0053]
Furthermore, when white balance control is performed, the amplification factors of the red signal and blue signal are increased or decreased by the control signal for each color, but by changing the variable range according to the positive image or negative image, the white balance is controlled. It is possible to prevent color feria from occurring during the control. Also, by setting preset reference data in each variable range, and determining the amplification factor of the red signal and blue signal at the start of white balance control or when a large luminance change occurs based on this preset data The white balance control can be performed efficiently and in a short time following the change of the scene.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of an image input apparatus using the present invention.
FIG. 2 is an external view of an image input apparatus using the present invention.
FIG. 3 is an explanatory diagram of area division of an imaging screen.
FIG. 4 is an explanatory diagram of a detection frame used for white balance control.
FIG. 5 is an explanatory diagram of a control range frame used for white balance control.
FIG. 6 is a flowchart showing a flow of white balance control processing.
[Explanation of symbols]
6 Photo film
25 Zoom optical system
30 Image sensor
33 Gain control amplifier
35 Digital signal processing unit
35a Signal processing circuit
35b integration circuit
36 CPU
58 memory

Claims (7)

写真フイルム又はプリント写真の画像をイメージセンサで撮像し、ビデオ信号に変換して出力する画像入力装置に用いられるホワイトバランス制御方法において、
イメージセンサの撮像画面を区画した各エリアごとに色信号を積分して得られる各色積分値から、ホワイトバランス制御に用いる色積分値を選別するための選別基準を、撮像対象となっている画像がポジ画像であるかネガ画像であるかに応じて変更し、
撮像対象となっている画像がネガ画像であるときは、前記各エリアごとに輝度信号を積分して得られる各輝度積分値から最も大きな最大輝度積分値を求め、最大輝度積分値が所定値より大きい場合には、最大輝度積分値が得られたエリアの色積分値のみを前記選別基準による選別の対象とし、最大輝度積分値が所定値より小さい場合には、前記各エリアごとに色信号を積分して得られる各色積分値を前記選別基準による選別の対象とすることを特徴とするホワイトバランス制御方法。
In a white balance control method used for an image input device that captures an image of a photographic film or a printed photograph with an image sensor, converts the image into a video signal, and outputs the video signal.
The image to be imaged is used as a selection criterion for selecting a color integral value used for white balance control from each color integral value obtained by integrating the color signal for each area that divides the imaging screen of the image sensor. Change depending on whether the image is positive or negative ,
When the image to be imaged is a negative image, the largest maximum luminance integrated value is obtained from each luminance integrated value obtained by integrating the luminance signal for each area, and the maximum luminance integrated value is larger than a predetermined value. If it is larger, only the color integral value of the area where the maximum luminance integral value has been obtained is subject to sorting by the sorting criterion, and if the maximum luminance integral value is smaller than a predetermined value, the color signal is output for each area. A white balance control method characterized in that each color integration value obtained by integration is a target of selection based on the selection criterion .
撮像対象となっている画像がポジ画像であるときは、前記各エリアごとに色信号を積分して得られる各色積分値を前記選別基準による選別の対象とすることを特徴とする請求項記載のホワイトバランス制御方法。When the image that is imaged is a positive image, according to claim 1, characterized in that the interest of the sorting by said sorting based on the respective color integral value obtained by integrating the color signals for each area White balance control method. 前記色信号は、赤色信号、緑色信号、及び青色信号からなり、前記選別基準は、赤色信号の積分値と緑色信号の積分値の比と、青色信号の積分値と緑色信号の積分値の比とをパラメータとした範囲で定められたものであることを特徴とする請求項1または2記載のホワイトバランス制御方法。The color signal includes a red signal, a green signal, and a blue signal, and the selection criterion includes a ratio of an integration value of the red signal and an integration value of the green signal, and a ratio of an integration value of the blue signal and the integration value of the green signal. 3. The white balance control method according to claim 1, wherein the white balance control method is defined within a range in which the parameters are set as parameters. 前記選別基準を定める前記範囲内に、ホワイトバランス制御の収束値を設定するとともに、この収束値はポジ画像撮像時とネガ画像撮像時とで異なることを特徴とする請求項記載のホワイトバランス制御方法。4. The white balance control according to claim 3 , wherein a convergence value of white balance control is set within the range defining the selection criterion, and the convergence value is different between positive image capturing and negative image capturing. Method. ホワイトバランス制御のために赤色信号及び青色信号の各増幅率を決める制御信号の可変範囲を、撮像対象がポジ画像であるかネガ画像であるかに応じて変更することを特徴とする請求項1ないしいずれか記載のホワイトバランス制御方法。2. A variable range of a control signal that determines each amplification factor of a red signal and a blue signal for white balance control is changed according to whether the imaging target is a positive image or a negative image. 5. A white balance control method according to any one of 4 to 4 . 前記各々の可変範囲の中にプリセットデータを設定し、ホワイトバランス制御の開始時にはこれらのプリセットデータに対応した制御信号によって赤色信号及び青色信号の各増幅率を決めることを特徴とする請求項記載のホワイトバランス制御方法。Sets preset data within the variable range of the respective claim 5, wherein at the start of the white balance control, characterized in that to determine the respective amplification factors of the red signal and blue signal by a control signal corresponding to these preset data White balance control method. 撮像画面の全エリアの輝度信号を積分して得られる輝度積分値が所定の変化幅より大きく変動した場合には、赤色信号及び青色信号の各増幅率を前記プリセットデータに対応した制御信号により再設定することを特徴とする請求項記載のホワイトバランス制御方法。When the integrated luminance value obtained by integrating the luminance signals of all areas of the imaging screen fluctuates more than a predetermined change width, the amplification factors of the red signal and the blue signal are reproduced by the control signal corresponding to the preset data. The white balance control method according to claim 6 , wherein the white balance control method is set.
JP08053995A 1995-04-05 1995-04-05 White balance control method Expired - Fee Related JP3733158B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08053995A JP3733158B2 (en) 1995-04-05 1995-04-05 White balance control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08053995A JP3733158B2 (en) 1995-04-05 1995-04-05 White balance control method

Publications (2)

Publication Number Publication Date
JPH08280033A JPH08280033A (en) 1996-10-22
JP3733158B2 true JP3733158B2 (en) 2006-01-11

Family

ID=13721163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08053995A Expired - Fee Related JP3733158B2 (en) 1995-04-05 1995-04-05 White balance control method

Country Status (1)

Country Link
JP (1) JP3733158B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7388612B2 (en) * 2002-11-26 2008-06-17 Canon Kabushiki Kaisha Image pickup apparatus and method, recording medium, and program providing user selected hue and white balance settings

Also Published As

Publication number Publication date
JPH08280033A (en) 1996-10-22

Similar Documents

Publication Publication Date Title
US7920205B2 (en) Image capturing apparatus with flash device having an LED array
US8155432B2 (en) Photographing apparatus
US20080273097A1 (en) Image capturing device, image capturing method and controlling program
JP3634232B2 (en) Digital still camera
JP4025865B2 (en) Electronic camera
US20070291334A1 (en) Imaging apparatus
US20200154034A1 (en) Imaging apparatus, control method, and non-transitory storage medium
JP2005269562A (en) Imaging device
JP3726630B2 (en) Digital still camera
WO2008056561A1 (en) Imaging device
JP4160205B2 (en) Electronic still camera
US20140192167A1 (en) Stereoscopic imaging device
JP4033456B2 (en) Digital camera
JP3633022B2 (en) Focusing method and apparatus
JP4106774B2 (en) Digital camera
JP2003121731A (en) Digital camera
JP2008228185A (en) Imaging device
JP3733158B2 (en) White balance control method
JP3546855B2 (en) Digital camera
JP4335648B2 (en) Digital camera and imaging method of digital camera
JP3963041B2 (en) Color imaging apparatus and white balance correction method
JP2009033386A (en) Imaging apparatus and imaging method
JP2003090952A (en) Imaging device
JP2004159211A (en) Digital camera and image generation method
US8670044B2 (en) Photometric device with accumulation control

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051017

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081021

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081021

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees