JP4150878B2

JP4150878B2 - Image data generator

Info

Publication number: JP4150878B2
Application number: JP2001272281A
Authority: JP
Inventors: 政信白川; 耕平籬
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-09-07
Filing date: 2001-09-07
Publication date: 2008-09-17
Anticipated expiration: 2021-09-07
Also published as: JP2003087718A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子にて取り込まれた画像情報に基づいて主画像データを生成するとともに、副画像データを生成して表示する画像データ生成装置に関する。
【０００２】
【従来の技術】
従来、この種の画像データ生成装置を備えるディジタルスチルカメラのような撮像装置では、カラーモザイクフィルタを介して撮像素子にて画像情報を取り込み、ハードウェアの画像処理回路により画素補間処理等の所定の処理を行って主画像データを生成し、同主画像データをフラッシュメモリカード等の記憶媒体に記憶させている。また、撮像装置は、撮像した画像情報をその場で確認可能とするための液晶ディスプレイを備えており、生成された主画像データから副画像データを生成して、副画像を液晶ディスプレイに表示する処理も行っている。
【０００３】
【発明が解決しようとする課題】
上述した従来の画像データ生成装置においては、画素補間処理等を行う画像処理回路が複雑になってしまう問題があった。
また、画像処理回路を簡素化させるため、ソフトウェアに基づく処理により主画像データを生成するとともに同主画像データから副画像データを生成することも考えられる。しかし、主画像データを生成するのに時間がかかるため、副画像が表示されるまでに時間がかかりすぎてしまい、この手法では実用化することができなかった。
本発明は、上記課題にかんがみてなされたもので、簡易な回路構成で、短時間にて副画像を表示することが可能な画像データ生成装置の提供を目的とする。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、撮像素子にて取り込まれた画像情報に基づいて所定画素数の主画像データを生成する主画像データ生成手段と、上記画像情報に対応して同所定画素数よりも少ない画素数の副画像データを生成するとともに生成した副画像データに基づいて所定の表示手段に副画像を表示させる副画像データ生成手段とを備える画像データ生成装置であって、上記副画像データ生成手段は、ソフトウェアに基づく処理により、上記画像情報に基づいて上記副画像データを生成するとともに上記表示手段に副画像を表示させ、上記主画像データ生成手段は、ソフトウェアに基づく処理により、上記副画像データ生成手段にて上記副画像データが生成された後に該副画像データの生成に使用された上記画像情報に基づいて上記主画像データを生成する構成としてある。
【０００５】
上記のように構成した請求項１にかかる発明においては、主画像データ生成手段は、撮像素子にて取り込まれた画像情報に基づいて所定画素数の主画像データを生成する。また、副画像データ生成手段は、同画像情報に対応して主画像データの画素数よりも少ない画素数の副画像データを同画像情報に基づいて生成するとともに、生成した副画像データに基づいて所定の表示手段に副画像を表示させる。ここで、主画像データ生成手段と副画像データ生成手段とは、ともにソフトウェアに基づいて上記処理を行う。そして、主画像データ生成手段は、副画像データ生成手段にて副画像データが生成された後に該副画像データの生成に使用された上記画像情報に基づいて主画像データを生成する。
すると、主画像データの生成を待つことなく副画像データが生成されるので、短時間にて副画像を表示することが可能となる。また、主画像データの生成をハードウェアの画像処理回路にて行う必要が無くなるので、回路構成を簡素化させることができる。
【０００６】
主画像データ生成手段は、副画像データが生成された後に主画像データを生成すればよく、その構成の一例として、請求項２にかかる発明は、上記主画像データ生成手段は、上記表示手段にて上記副画像が表示された後に上記主画像データを生成する構成としてある。すなわち、主画像データの生成を待つことなく副画像が表示されるので、より確実に短時間にて副画像を表示することが可能となる。むろん、主画像データを生成する処理と副画像を表示する処理を並行して行うようにしてもよい。
【０００７】
副画像データ生成手段が主画像データの画素数よりも少ない画素数の副画像データを生成する構成の一例として、請求項３にかかる発明は、上記副画像データ生成手段は、上記画像情報をドットマトリクス状の画素で多階調表現した画像データの画素を間引く処理を行ってから上記副画像データを生成する構成としてある。すなわち、副画像データを生成する簡易な構成を提供することができ、副画像データを生成する処理時間が短くて済む。むろん、副画像データは様々な処理により生成することが可能であり、本画像データ生成装置の使用環境に応じて、例えば、上記画像データの複数の画素に対応したデータに対して平均する処理を行ってから上記副画像データを生成するようにしてもよい。
【０００８】
ところで、主画像を所定の記憶媒体に記憶させ、同記憶媒体から選択して読み出す際、主画像よりもデータサイズの小さい参照用の画像データがあると好適である。そこで、請求項４にかかる発明は、上記画像情報に対応して上記副画像データの画素数よりも少ない画素数のサムネール画像データを生成するサムネール生成手段と、上記主画像データと同サムネール画像データとを対応させて所定の記憶媒体に記憶させる画像データ記憶手段とが設けられている構成としてある。すなわち、記憶媒体に記憶された主画像データを選択して読み出す際に、サムネール画像データを参照することにより素早く選択することができる。
【０００９】
また、サムネール画像データを生成する構成の一例として、請求項５にかかる発明は、上記サムネール生成手段は、上記副画像データ生成手段にて作成された副画像データに基づいて上記サムネール画像データを生成する構成としてある。すなわち、データサイズが比較的小さい副画像データからサムネール画像データを生成するため、サムネール画像生成処理を短縮させることができる。
【００１０】
さらに、請求項６にかかる発明は、上記サムネール生成手段は、上記副画像データの画素を間引く処理を行って上記サムネール画像データを生成する構成としてある。すなわち、サムネール画像データを生成する簡易な構成を提供することができ、サムネール画像データを生成する処理時間が短くて済む。むろん、サムネール画像データは様々な処理により生成することが可能であり、本画像データ生成装置の使用環境に応じて、例えば、副画像データの複数の画素に対応するデータに対して平均する処理を行ってから上記副画像データを生成するようにしてもよい。また、副画像データではなく、上記画像情報をドットマトリクス状の画素で表現した画像データに基づいて、サムネール画像データを生成してもよい。
【００１１】
ところで、副画像データ生成手段がソフトウェアに基づく処理により副画像を表示させる構成の一例として、請求項７にかかる発明は、上記表示手段は、上記副画像データを書き込み可能なメモリと、同副画像データの画素に対応した表示素子を有して同メモリに書き込まれた副画像データを読み込んで表示する液晶ディスプレイとからなり、上記副画像データ生成手段は、上記副画像データを上記メモリに書き込むことにより上記表示手段に副画像を表示させる構成としてある。すなわち、副画像データ生成手段は副画像データをメモリに書き込むのみにて副画像を液晶ディスプレイに表示させることができるので、副画像データ生成手段の行う処理時間が少なくて済む。ここで、副画像データの画素と液晶ディスプレイの表示素子とは１対１に対応している必要はなく、例えば、副画像データの１画素を液晶ディスプレイの複数の表示素子に対応させて表示させてもよい。
【００１２】
上述したように、ソフトウェアに基づく処理により副画像データが生成された後に主画像データを生成する際の手法は、必ずしも実体のある装置に限られる必要はなく、所定の手順に従って処理を進めていくうえで、その根底にはその手順に発明が存在するということは当然である。したがって、本発明は方法としても適用可能であり、基本的には同様の作用となる。すなわち、その方法としても有効であり、請求項２〜請求項７に記載された装置構成を当該方法に対応させることが可能であることは言うまでもない。
【００１３】
また、本発明を実施しようとする際に、画像データ生成装置にて所定のプログラムをコンピュータに実行させる場合もある。そこで、画像データ生成プログラムにかかる発明においても、基本的には同様の作用となり、請求項２〜請求項７に記載された装置構成を当該プログラムに対応させることが可能であることは言うまでもない。
【００１４】
さらに、本発明を実施しようとする際に、上記プログラムを記録した媒体が流通し、コンピュータにそのプログラムを実行させる場合もある。そこで、画像データ生成プログラムを記録した媒体にかかる発明においても、基本的には同様の作用となる。また、請求項２〜請求項７に記載された装置構成を当該プログラムを記録した媒体に対応させることが可能であることは言うまでもない。
【００１５】
ここで、コンピュータで読み取り可能な記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一部がソフトウェアであって、一部がハードウェアで実現される場合においても本発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む形態のものも含まれる。さらに、一次複製品、二次複製品などの複製段階については全く問う余地なく同等である。
【００１６】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、簡易な回路構成で、短時間にて副画像を表示することが可能な画像データ生成装置を提供することができる。
また、請求項２にかかる発明によれば、より確実に短時間にて副画像を表示することが可能となる。
さらに、請求項３にかかる発明によれば、簡易な構成で、短時間にて副画像データを生成することができる。
さらに、請求項４にかかる発明によれば、記憶媒体に記憶された主画像データを選択して読み出す際に、サムネール画像データを参照することにより素早く選択することができるので、利便性を向上させることができる。
【００１７】
さらに、請求項５にかかる発明によれば、サムネール画像生成処理を短縮させることが可能となる。
さらに、請求項６にかかる発明によれば、簡易な構成で、短時間にてサムネール画像データを生成することができる。
さらに、請求項７にかかる発明によれば、短時間にて副画像を表示させることができる。
【００１８】
【発明の実施の形態】
以下、下記の順序に従って本発明の実施形態を説明する。
（１）画像データ生成装置が適用されるディジタルスチルカメラの概略構成：
（２）第一の実施形態にかかる画像データ生成装置の動作の全体像：
（３）確認画像データを生成する処理：
（４）サムネール画像データを生成する処理：
（５）主画像データを生成する処理：
（６）生成した画像データを記憶させる処理：
（７）第二の実施形態：
【００１９】
（１）画像データ生成装置が適用されるディジタルスチルカメラの概略構成：
図１は、本発明の第一の実施形態にかかる画像データ生成装置が適用されるディジタルスチルカメラの概略構成をブロック図により示している。
ディジタルスチルカメラ１０は、光学部２０と、ＣＰＵ３２を核とする制御部３０とから構成されている。光学部２０は、光学レンズ系２１と、オートフォーカス機構２２と、測距部２３と、オートフォーカスコントローラ２４とを備え、オートフォーカスコントローラ２４がコントローラ２５からの制御信号に基づいて測距部２３にて被写体までの距離を測定しつつオートフォーカス機構２２にて光学レンズ系２１を駆動してピントを合わせる。光学レンズ系２１にて被写体像を結像するのは撮像素子としてのＣＣＤ２６の撮像面であり、本ＣＣＤ２６は１８００×１２００画素を有する単板で構成されている。単板で構成しているため、２×２画素について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成してある。なお、シャッターについては電子シャッターとともにメカニカルシャッターを備えているが、メカニカルシャッターについては図示を省略している。
【００２０】
この他、光学部２０にはストロボ２７も備えられており、コントローラ２５からの駆動信号に応じて所定光量および所定回数の発光を行う。これにより、赤目防止であるとかスローシンクといった撮影を実現している。なお、ＣＣＤ２６が出力するアナログ量の電気信号を増幅するオートゲインコントローラ（ＡＧＣ）２８が備えられ、増幅後のアナログ電気信号をディジタル値に変換して出力するＡ／Ｄコンバータ２９が備えられている。
むろん、以上の光学部２０については、ディジタルスチルカメラ１０としての一般的な構成の一例に過ぎず、各種の変更が可能であることはいうまでもない。例えば、光学レンズ系２１にはズームレンズを備えることもできるし、あるいは固定焦点としてオートフォーカスの機能を備えない廉価なものであっても良い。
【００２１】
また、制御部３０はバス３１を備えており、当該バス３１にＣＰＵ３２とＲＯＭ３３とＲＡＭ３４と上記Ａ／Ｄコンバータ２９が接続されている。ＣＰＵ３２はＲＯＭ３３に書き込まれたファームウェアを実行して光学部２０の制御や画像処理の演算等を実行するものであり、その際にＲＡＭ３４は画像データを保存する画像エリア３４ａとして機能したり演算処理のためのワークエリア３４ｂとして機能したりする。ＣＰＵ３２が光学部２０を制御する際には、コントローラ２５に対して制御信号を出力し、同コントローラ２５が各構成回路などに対して適宜制御信号を生成して出力する。
【００２２】
制御部３０はマンマシンインターフェイスとしての機能も有しており、操作ボタンなどを配置した操作パネル３５と、撮影画像や操作指示などを表示する液晶ディスプレイであるＬＣＤパネル３６を備えており、ＣＰＵ３２は操作パネル３５の操作を監視し、適宜、操作を受けつつ対応する制御を実行する。ＬＣＤパネル３６は後述する確認画像の画像データの画素に対応した横７２０×縦４８０ドット分の表示素子を有しており、ＬＣＤパネル３６への表示はＲＡＭ３４に割り当てられたビデオＲＡＭエリア３４ｃに対してＣＰＵ３２が所定のデータを書き込むことにより、ＬＣＤパネル３６に備えられたディスプレイコントローラが適宜同データを読み込んで表示を行う。本発明にいう表示手段は、ＬＣＤパネル３６とビデオＲＡＭエリア３４ｃとから構成される。そして、撮影され、所定の画像処理を経て生成される画像データはＩ／Ｏ３７ａを介して外部の記憶媒体であるフラッシュメモリカード３７ｂに書き込まれ、また、必要に応じて同フラッシュメモリカード３７ｂから読み出される。
【００２３】
制御部３０の構成もこの種のディジタルスチルカメラ１０の典型例であって、各種の変更が可能である。例えば、外部記憶媒体の種類については適宜他の種類のものに置き換えることは容易であるし、さらには着脱可能な記憶媒体とのインターフェイスを備えなくてもＵＳＢインターフェイスを介してコンピュータに画像データを出力するようにしてもよい。また、表示部としてＬＣＤパネルに付随した別のＬＣＤ表示器を備えてもよいし、ＣＰＵ３２については制御対象が異なる複数のＣＰＵを備えても良い。
光学部２０で撮像された画像はＣＣＤ２６からアナログ電気信号として出力された後、ＡＧＣ２８を経てＡ／Ｄコンバータ２９にてディジタルデータに変換され、さらにバス３１を介してＲＡＭ３４の画像エリア３４ａに記録される。そして、ＣＰＵ３２が所定の画像処理を実行することによりＪＰＥＧ画像データに変換されて上述したフラッシュメモリカード３７ｂに書き込まれることになる。図２は、この画像処理の主要な流れを示している。細部においては後述するような具体的な処理が実行されるものの、概略的にはこの流れに従って処理を進めている。まず、この概略について説明する。
【００２４】
ステップＳ１０２では、欠陥画素補間を実行する。およそ２００万画素を有するＣＣＤ２６には欠陥画素は避けられず、所定の基準値以下のものであれば良品として供給される。このため、良品の範囲内での欠陥画素については同色画素だけを基準とした５×５画素のメヂアンフィルタを使用して補う。すなわち、欠陥画素がシアンの画素であるとすると、この欠陥画素の周囲に位置する５×５のシアン画素の出力値を順番に並べ、中央値を欠陥画素の値とする。なお、欠陥画素自体の検出は光学部２０において既にされている。
次のステップＳ１０４ではホワイトバランスの測定を行う。撮影時の光源の種類、およびＣＣＤ２６とカラーフィルタとの組合せによっては、ホワイトバランスがずれることがあり、本実施形態においては、各撮影ごとにステップＳ１０４にてホワイトバランスを測定し、その結果を反映させてずれを少なくするようにステップＳ１１０にてホワイトバランスの制御をする。ホワイトバランスを測定するときには平均化処理でデータサイズを小さくした１１３×７５画素の画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りとＢ成分の偏りを測定する。なお、本ＣＣＤ２６は補色系のカラーフィルタを備えており、補色系であることを踏まえて制御をしている。
【００２５】
本実施形態では三種類の画像を生成する。一つ目は本発明にいう副画像である確認画像であり、二つ目はサムネール画像であり、三つ目は主画像である。確認画像は撮影後速やかにＬＣＤパネル３６に表示するための画像であり、７２０×２４０画素の画像データで構成される。なお、ＬＣＤパネル３６は横７２０×縦４８０ドットとされているため、１画素を横１×縦２ドットに対応させて確認画像を表示する。サムネール画像は主画像とともに画像データとして記録されるものであり１６０×１２０画素の画像データで構成される。主画像は操作者の選択によって三つのサイズを選択可能であり、Ｅ−ｍａｉｌ画像という７２０×４８０画素か、Ｐｒｉｎｔ画像という１８００×１２００画素か、Ｈｙｐｉｃｔ２という高解像度化した２１６０×１４４０画素かのいずれかである。
【００２６】
図２において、ステップＳ１０６〜ステップＳ１１４は破線で囲む表示をしてあり、少なくともこれらの処理は生成される三種類の画像ごとに実施される。ステップＳ１０６ではデータ補間を実施する。ＣＣＤ２６は単板で構成され、２００万画素を有しているものの全画素のそれぞれで色情報が完結しているわけではない。すなわち、ある画素についてはシアンの情報だけ、ある画素についてはマゼンタの情報だけ、ある画素についてはイエローの情報だけ、ある画素についてはグリーンの情報だけとなっている。このデータをモザイクデータと呼ぶ。データ補間では各画素に対して不足する他の色の情報を補うことにより、各画素ごとに色情報を完結させるための処理である。不足する情報は注目画素に隣接して取り囲む８画素に含まれる色情報の平均値である。例えば、シアン画素（Ｃ１）の周囲にはイエローの画素が二個（Ｙ１，Ｙ２）、マゼンタの画素が二個（Ｍ１，Ｍ２）、グリーンの画素が四個（Ｇ１〜Ｇ４）存在する。従って、このシアン画素の色情報（Ｃ，Ｍ，Ｙ，Ｇ）については、
Ｃ＝Ｃ１・・・（１）
Ｍ＝（Ｍ１＋Ｍ２）／２・・・（２）
Ｙ＝（Ｙ１＋Ｙ２）／２・・・（３）
Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４・・・（４）
として計算する。
【００２７】
ステップＳ１０８では、表色系を変えてＲＧＢ画像データに変換する。変換のための一般式も存在するが、実際には単純な一般式を利用するのではなく、チューニングを施したルックアップテーブルを利用したり行列式を利用したりして変換を行う。ＲＧＢ画像データに変換後、ステップＳ１１０では、上述したようにＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくする制御を実行する。
次のステップＳ１１２ではトーンカーブ補正を行う。トーンカーブ補正はいわゆるγ補正とも呼ばれ、このときに各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズの低減や階調性の保持のためにγカーブ自体についての調整も行っている。トーンカーブ補正自体はルックアップテーブルを利用しており、予めチューニングして作成した１０ビット→８ビットのルックアップテーブルを参照して変換する。
【００２８】
この後、ＪＰＥＧ画像圧縮技術を利用するため、ＲＧＢ表色系からＹＵＶ表色系へと色変換する（ステップＳ１１４）。なお、輝度とイエローを区別するため、以後において輝度はＹｍと表示し、また、後述するようにモザイクカラーデータから直接導き出す輝度を単純輝度Ｙｓとして表示することにする。ＲＧＢ表色系からＹＵＶ表色系への色変換は一般式あるいは行列式を利用して変換する。
なお、モザイクカラーデータからＹＵＶ表色系への変換の一般式は、
Ｙｓ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ）
Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ）
Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ
となっているが、実際には上述したようなチューニングやホワイトバランスの制御が実施され、この通りの対応関係を採用しているわけではない。
【００２９】
ステップＳ１１６とステップＳ１１８は主画像の作成の際にのみ実施される処理である。ノイズ除去は色成分としてＵＶ成分についてのみいわゆるローパスフィルタを適用する演算を行う。すなわち、色変化が急峻すぎるものについては押さえ気味に作用する。また、エッジ強調は輝度成分についてのみ当該輝度成分に基づくエッジ量に非線形関数（例えば、コアリング関数）を適用し、非線形関数値を算出し、同非線形関数値を元の輝度成分に加重して演算している。従って、隣接する画素間で輝度値が変化する場合にそのエッジ量を算出し、当該エッジ量の絶対値が大きければその変化量を大きく輝度値に反映させるし、同絶対値が小さければ元輝度値はほぼ元のままの値となる。
以上が画像処理の概略であるが、上記手順は実際の演算処理において複数の処理を同時に行うなどすることにより、演算処理時間の短縮を図ることも行う。
【００３０】
撮影は上述した三種類の画像ごとに上述したソフトウェアに基づく画像処理を実行し、確認画像をＬＣＤパネル３６に表示するとともに、最終的にはサムネール画像を含んだ主画像のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに書き込むことによって完了する。この他にも、本ディジタルスチルカメラにはフラッシュメモリカード３７ｂから画像データを読み込んでＬＣＤパネル３６に表示したり、データの削除や各種の設定を実行可能であるが、これについては一般的な技術を適用可能であるので説明を省略する。
【００３１】
（２）第一の実施形態にかかる画像データ生成装置の動作の全体像：
なお、上述した三種類の画像の画像データを生成するにあたり、ハードウェアの画像処理回路により画素補間処理等の所定の処理を行って主画像データを生成し、生成した主画像データから確認画像データやサムネール画像データを生成する手法もある。しかし、この手法では、画素補間処理等を行う画像処理回路が複雑になってしまい、コストアップにつながってしまう。
また、画像処理回路を簡素化させるため、ソフトウェアに基づく処理により主画像データを生成するとともに同主画像データから確認画像データを生成することも考えられる。しかし、主画像データを生成するのに時間がかかるため、確認画像が表示されるまでに時間がかかりすぎてしまうことになる。これでは、実用化は困難である。
そこで、本画像データ生成装置は、三種類の画像データを生成する順序を工夫することにより、ソフトウェアに基づく処理により三種類の画像データを生成することにしている。
図３は、上述した三種類の画像データを生成する流れをフローチャートにより示している。
上述したように、ＲＡＭ３４の画像エリア３４ａに記録された画像データは、１８００×１２００のドットマトリクス状の画素で多階調表現されている。本実施形態の場合、各画素に１０ビットを割り当てた１０２４階調としている。しかし、各画素のそれぞれで色情報が完結しているわけではなく、図４の左側に示すように、各要素色であるＣＭＹＧ別にモザイク状に配置されたモザイクデータとされている。また、全画素のうちデータの無い欠陥画素もある。そこで、まず、光学部２０において検出された欠陥画素について、同色画素だけを基準とした５×５画素のメヂアンフィルタを使用し、欠陥画素補間を実行する（ステップＳ２０２）。
【００３２】
次に、ホワイトバランスの測定を行う（ステップＳ２０４）。すなわち、全画素のうち、１６×１６画素のデータを平均してデータサイズを小さくした１１３×７５画素の縮小画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りを補正するホワイトバランス係数Ｒｃと、同Ｇ成分を基準としたＢ成分の偏りを補正する係数Ｂｃを算出する。ここで、ホワイトバランス係数Ｒｃ，Ｂｃは様々な手法により算出することができる。例えば、以下のようにして、ホワイトバランス係数Ｒｃ，Ｂｃを算出すればよい。
まず、ＣＭＹＧの縮小画像データから上記単純輝度Ｙｓを算出し、縮小画像データを所定の換算式によりＲＧＢデータに変換する。次に、ＲＧＢの縮小画像データを単純輝度Ｙｓの大きさの順に画素数が均等となるように所定の帯域に分け、各帯域内で、Ｇ成分の総和をＲ成分の総和で除したもの（Ｒｃｉとする）と、Ｇ成分の総和をＢ成分の総和で除したもの（Ｂｃｉとする）を算出する。さらに、Ｒｃｉ，Ｂｃｉが１よりも小さい場合は、Ｒｃｉ，Ｂｃｉを一時的に逆数に置き換える。そして、各Ｒｃｉ，Ｂｃｉについて、評価関数
Ｅｉ＝｜１−Ｒｃｉ｜＋｜１−Ｂｃｉ｜
を求め、逆数に置き換えたＲｃｉ，Ｂｃｉを元に戻して評価関数Ｅｉが最も小さくなるＲｃｉ，Ｂｃｉを取得し、ホワイトバランス係数Ｒｃ，Ｂｃとすることができる。むろん、この手法は一例に過ぎないため、他の一般的な手法を採用してもよいし、本ディジタルスチルカメラの特性に最も合うように他の手法を検討して採用することも可能である。
【００３３】
その後、確認画像データを生成する確認画像生成処理（ステップＳ２０６）、サムネール画像データを生成するサムネール生成処理（ステップＳ２０８）、主画像データを生成する主画像生成処理（ステップＳ２１０）を順番に行う。その際、ステップＳ２０４で算出したホワイトバランス係数Ｒｃ，ＢｃをステップＳ２０６〜Ｓ２１０のすべての処理に使用する。そして、主画像データとサムネール画像データとを圧縮してフラッシュメモリカード３７ｂに記憶させる画像データ記憶処理を行い（ステップＳ２１２）、本フローを終了する。
【００３４】
（３）確認画像データを生成する処理：
以下、ステップＳ２０６〜Ｓ２１２の各処理の詳細を説明する。
図５は、上記確認画像生成処理をフローチャートにより示している。
光学部２０で撮像された画像情報は、ドットマトリクス状の画素で多階調表現した画像データとしてＲＡＭ３４の画像エリア３４ａに記録されている。同画像データは１８００×１２００画素で表現され、ＣＭＹＧ別のモザイクデータとされているが、撮像した画像をＬＣＤパネル３６に表示させるには、７２０×２４０画素の画像データにする必要がある。そこで、まず、１８００×１２００画素のモザイクデータを７２０×２４０画素のモザイクデータに変換する画素数変換処理を行う（ステップＳ３０２）。
この画素数変換処理は、画像データの１８００×１２００画素を間引く処理により行う。ここで、１８００×１２００画素の１８００画素を横方向、１２００画素を縦方向とすると、横７２０×縦２４０画素とするには、横方向の画素が７２０／１２００＝１／２．５、縦方向の画素が２４０／１２００＝１／５となるように間引く必要がある。図４は、この間引き処理の考え方の一例を説明する模式図である。
【００３５】
記録された画像データ４１のある座標４１ａを基準として、横方向に２．５画素間隔、縦方向に５画素間隔の座標を考える（図では、各座標の位置を四角で囲っている）。また、基準の座標４１ａ（図ではＧの画像データが格納されている）については、間引き後の画像データ４２の基準の画素４２ａに同色要素Ｇのデータを格納するものとする。
ここで、縦方向については５画素間隔となるので、基準の座標４１ａの５画素下の座標４１ｂはＹのデータとなる。そこで、同座標４１ｂについては、画素４２ａの一つ下の画素４２ｂに同色要素Ｙのデータを格納することができる。同様にして、基準の座標４１ａと同じ列の座標については、間引き後の画像データ４２の基準の画素４２ａと同じ列に同要素色のデータを格納することができる。
【００３６】
しかし、横方向については２．５画素間隔となるので、基準の座標４１ａの２．５画素右の座標４１ｃは記録された画像データ４１の二つの画素にまたがっている。そこで、同二つの画素のうち、間引き後の画像データ４２に格納すべきＭのデータを取得して、画素４２ｃに格納する。座標４１ｃの５画素下の座標４１ｄ等、同じ列の座標についても同様である。
また、座標４１ｃの２．５画素右の座標４１ｅについては、間引き後の画像データ４２の画素４２ｅにＧのデータを格納すべきであるのに対し、Ｇとは異なるＭのデータとなっている。そこで、座標４１ｅに近隣した画素のうちＧのデータが格納された画素（図では、座標４１ｅの左隣と右隣）のデータを取得し、これらのデータを平均して画素４２ｅに格納する。座標４１ｅの５画素下の座標４１ｆ等、同じ列の座標についても同様である。さらに、座標４１ｅの２．５画素右の座標４１ｇについては、記録された画像データ４１の二つの画素にまたがるので、間引き後の画像データ４２に格納すべきＭのデータを取得して、画素４２ｇに格納する。座標４１ｇの５画素下の座標４１ｈ等、同じ列の座標についても同様である。
【００３７】
以上の考えに基づいた画素数変換処理を示すフローチャートの一例を、図６に示している。なお、図のフローを行う前提として、間引き後の画像データ４２を記憶する領域がＲＡＭ３４のワークエリア３４ｂに設けられている。
まず、抽出する画素の座標を算出し（ステップＳ４０２）、この座標の画素の要素色が間引き後の画像データ４２に格納するデータの要素色と同じかどうかを判断する（ステップＳ４０４）。ここで、座標が複数（本例の場合は二つのみ）の画素にまたがっている場合には、同複数の画素のうちいずれか一つが画像データ４２に格納するデータの要素色と同じであれば条件成立としている。例えば、図４の座標４１ａ，４１ｃ，４１ｇに座標がある場合に条件成立となる。条件成立の場合、間引き後の画像データ４２に格納するデータの要素色の画像データを取得し（ステップＳ４０６）、ステップＳ４１２に進む。
一方、図４の座標４１ｅに座標があるときのように、ステップＳ４０４で条件不成立の場合、座標に近隣した画素から画像データ４２に格納するデータの要素色と同じ要素色の画像データを取得し（ステップＳ４０８）、取得した画像データを平均して（ステップＳ４１０）、ステップＳ４１２に進む。
【００３８】
ステップＳ４１２では、取得した画像データを、間引き後の画像データ４２を記憶する領域に格納する。そして、次の座標があるかどうかを判断し（ステップＳ４１４）、次の座標がある場合には再びステップＳ４０２〜Ｓ４１４の処理を行い、次の座標が無い場合には本フローを終了する。
このようにして、ＲＡＭ３４の画像エリア３４ａに記録された画像データの画素を間引く処理を行うことができる。その結果、７２０×２４０画素のモザイクデータを生成する処理時間が短くて済む。
【００３９】
画素数変換処理が終了すると、７２０×２４０画素のモザイクデータに対してデータ補間を実施する（ステップＳ３０４）。すなわち、上記補間式（１）〜（４）を用いて、各画素に対して不足する他の色の情報を注目画素に隣接して取り囲む８画素に含まれる色情報の平均値とするように計算する。
次に、一般式に基づいてチューニングを施した行列式Ａ１を利用して、ＣＭＹＧの画像データをＲＧＢの画像データに色変換する（ステップＳ３０６）。すなわち、ＣＭＹＧの画像データの各画素の各成分を（Ｃ，Ｍ，Ｙ，Ｇ）、ＲＧＢの画像データの各画素の各成分を（Ｒ，Ｇ，Ｂ）で表すと、ＲＧＢの画像データは以下の式により演算することができる。
【数１】

【００４０】
さらに、ステップＳ２０４で算出したホワイトバランス係数Ｒｃ，ＢｃによりＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくするホワイトバランス制御を行う（ステップＳ３０８）。すなわち、補正後のＲＧＢの画像データにおける各画素の各成分を（Ｒ’，Ｇ’，Ｂ’）で表すと、以下の式によりホワイトバランス制御を行うことができる。
【数２】

【００４１】
ホワイトバランス制御後は、予めチューニングして作成したルックアップテーブルを参照して、トーンカーブ補正を行う（ステップＳ３１０）。このとき、ＲＧＢの各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズを低減させたり階調性を保持させたりする。
このようにして生成した画像データが、本発明にいう副画像データである確認画像データとなる。
なお、ＲＡＭ３４のビデオＲＡＭエリア３４ｃにはＹｍＵＶの８ビットの画像データを書き込む仕様となっており、ＬＣＤパネル３６に送出される画像データはＹｍＵＶの画像データの状態でビデオＲＡＭエリア３４ｃからハードウェアの回路にて読み出される。そこで、一般的な行列式Ａ２を用いて、ＲＧＢの画像データをＹｍＵＶの画像データに色変換する処理を行う（ステップＳ３１２）。すなわち、ＹｍＵＶの画像データの各画素の各成分を（Ｙｍ，Ｕ，Ｖ）で表すと、ＲＧＢの画像データの各画素の各成分（Ｒ’，Ｇ’，Ｂ’）からＹｍＵＶの画像データは以下の式により演算することができる。
【数３】

【００４２】
そして、生成したＹｍＵＶの確認画像データをＲＡＭ３４のビデオＲＡＭエリア３４ｃに書き込み（ステップＳ３１４）、本フローを終了する。
すると、ＬＣＤパネル３６に備えられたディスプレイコントローラがビデオＲＡＭエリア３４ｃに書き込まれた確認画像データを読み込んで、ＬＣＤパネル３６に確認画像を表示する。なお、主画像データもＲＡＭ３４の画像エリア３４ａに記録された画像データに基づいて生成されるので、確認画像は主画像に対応した画像となる。
このように、図５に示す確認画像生成処理は、ソフトウェアに基づく処理により、撮像素子にて取り込まれた画像情報に対応して主画像データの画素数よりも少ない画素数の副画像データを生成するとともに生成した副画像データに基づいて所定の表示手段に副画像を表示させる副画像データ生成手段を構成する。
【００４３】
（４）サムネール画像データを生成する処理：
確認画像データを生成すると、図３のステップＳ２０８のサムネール生成処理を行う。
図７は、上記サムネール生成処理をフローチャートにより示している。なお、ステップＳ５０２〜Ｓ５１２については、上記確認画像生成処理と概略同様の処理を行うことになる。
まず、１８００×１２００画素のモザイクデータを１６０×１０４画素のモザイクデータに変換する画素数変換処理を行う（ステップＳ５０２）。この画素数変換処理では、横方向の画素が１６０／１８００＝１／１１．２５、縦方向の画素が１０４／１２００＝１／１１．５４となるように間引く処理を行う。
この処理は、図６で示したフローチャートにより行うことができる。すなわち、抽出する画素の座標を算出し、この座標の画素の要素色が間引き後の画像データに格納するデータの要素色と同じかどうかを判断する（ステップＳ４０２〜Ｓ４０４）。座標が複数の画素にまたがっている場合には、同複数の画素のうちいずれか一つが上記格納するデータの要素色と同じであれば条件成立とする。条件成立の場合、上記格納するデータの要素色の画像データを取得し（ステップＳ４０６）、条件不成立の場合、座標に近隣した画素から上記格納するデータの要素色と同じ要素色の画像データを取得し、取得した画像データを平均する（ステップＳ４０８〜Ｓ４１０）。その後、取得した画像データを、間引き後の画像データを記憶する領域に格納し、次の座標があるかどうかを判断する（ステップＳ４１２〜Ｓ４１４）。次の座標がある場合には再びステップＳ４０２〜Ｓ４１４の処理を行い、次の座標が無い場合には本フローを終了する。
このようにして画像エリア３４ａに記録された画像データの画素を間引く処理を行うことができ、１６０×１０４画素のモザイクデータを生成する処理時間が短くて済む。
【００４４】
画素数変換処理が終了すると、上記補間式（１）〜（４）を用いて、１２０×１０４画素のモザイクデータに対してデータ補間を実施する（ステップＳ５０４）。次に、上記変換式（５）、（６）を用いて、ＣＭＹＧの画像データをＲＧＢの画像データに色変換し（ステップＳ５０６）、ＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくするホワイトバランス制御を行う（ステップＳ５０８）。さらに、チューニングして作成したルックアップテーブルを参照して、ＲＧＢの各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、トーンカーブ補正を行う（ステップＳ５１０）。
その後、フラッシュメモリカード３７ｂにサムネール画像データを記憶させる際にＪＰＥＧ画像圧縮を行うため、上記変換式（７）を用いてＲＧＢの画像データをＹｍＵＶの画像データに色変換する（ステップＳ５１２）。
【００４５】
ここで、生成した画像データは１６０×１０４画素であり、サムネール画像の規格である１６０×１２０画素に対して縦方向において１６画素少なくなっている。そこで、本実施形態では、１６０×１０４画素の画像データの上下にそれぞれ帯状の８画素分の白色画素を付加し、１６０×１２０画素の画像データに変換して（ステップＳ５１４）、本フローを終了する。そして、生成した画像データが、本発明にいうサムネール画像データとなる。なお、主画像データもＲＡＭ３４の画像エリア３４ａに記録された画像データに基づいて生成されるので、サムネール画像は主画像に対応した画像となる。
このように、図７に示すサムネール生成処理は、撮像素子にて取り込まれた画像情報に対応して副画像データの画素数よりも少ない画素数のサムネール画像データを生成するサムネール生成手段を構成する。
【００４６】
（５）主画像データを生成する処理：
サムネール画像データを生成すると、図３のステップＳ２１０の主画像生成処理を行う。なお、主画像生成処理では、図２のステップＳ１０６〜Ｓ１１８の処理を行うので、図２を用いて説明することにする。また、ステップＳ１０６〜Ｓ１１４の処理ついては、確認画像生成処理やサムネール生成処理と概略同様の処理を行うので、詳細な説明を省略する。
【００４７】
主画像データを生成する際には、ＲＡＭ３４の画像エリア３４ａに記録された画像データを間引くことなくそのまま使用する。そこで、まず、上記補間式（１）〜（４）を用いて、１８００×１２００画素のモザイクデータに対してデータ補間を実施する（ステップＳ１０６）。次に、上記変換式（５）、（６）を用いて、ＣＭＹＧの画像データをＲＧＢの画像データに色変換し（ステップＳ１０８）、ＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくするホワイトバランス制御を行う（ステップＳ１１０）。さらに、チューニングして作成したルックアップテーブルを参照して、ＲＧＢの各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、トーンカーブ補正を行う（ステップＳ１１２）。その後、フラッシュメモリカード３７ｂにサムネール画像データを記憶させる際にＪＰＥＧ画像圧縮を行うため、上記変換式（７）を用いてＲＧＢの画像データをＹｍＵＶの画像データに色変換する（ステップＳ１１４）。
なお、主画像は操作者の選択によって三つのサイズを選択可能である。そこで、図示していないが、１８００×１２００画素の画像データについて、Ｅ−ｍａｉｌ画像が選択された場合には７２０×４８０画素の画像データに変換し、Ｈｙｐｉｃｔ２が選択された場合には２１６０×１４４０画素の画像データに変換し、Ｐｒｉｎｔ画像が選択された場合には画素数の変換を行わないようにしている。
【００４８】
主画像生成処理では、さらに、ＹｍＵＶの画像データのうち、ＵＶ成分についてのみ３×３のいわゆるローパスフィルタを適用してノイズ除去を行う（ステップＳ１１６）。すなわち、ＵＶ各成分についてそれぞれ注目画素を中心とした３×３の画像データを取得し、ＵＶ各成分それぞれ９個の画像データに対してフィルタの係数を乗じた総和を注目画素の画像データとする。その結果、色変化が急峻すぎるものについては、押さえ気味のデータに置き換えられる。
その後、ＹｍＵＶの画像データのうち、Ｙｍ成分についてエッジ強調を行い（ステップＳ１１８）、本フローを終了する。エッジ強調では、まず、輝度成分についてのみ３×３のいわゆるラプラシアンフィルタを使用してエッジ量を算出する。例えば、Ｙｍ成分について注目画素を中心とした３×３の画像データを取得し、９個の画像データに対してフィルタの係数を乗じた総和をエッジ量とする。次に、エッジ量を非線形関数に代入して非線形関数値を算出し、ＹｍＵＶの画像データのＹｍ成分に算出した非線形関数値を加重する。その結果、隣接する画素間で輝度値が大きく変化する場合にその変化量を大きく輝度値に反映させ、変化が小さい場合は元輝度値はほぼ元のままの値となる。
【００４９】
このように、主画像生成処理は、ソフトウェアに基づく処理により、撮像素子にて取り込まれた画像情報に基づいて所定画素数の主画像データを生成する主画像データ生成手段を構成する。そして、生成する主画像データのデータサイズが大きいとともに画質向上のためノイズ除去やエッジ強調を行うため、処理に時間がかかることになる。なお、試作機にて計測したところ、主画像データを生成する処理時間は約２秒であった。
しかし、ソフトウェアに基づく処理により確認画像データが生成された後に主画像データを生成するようにしたので、主画像データが生成される前に上記確認画像生成処理にて確認画像データが生成され、ＬＣＤパネル３６に確認画像が表示される。すなわち、ディジタルスチルカメラの使用者は、短時間にて確認画像を確認することが可能となる。なお、同じ試作機にて計測したところ、撮像してから確認画像が表示されるまで、約０．２秒であった。したがって、主画像データが生成されるまで待つ必要が無くなり、動作が遅いと感じなくなる。また、主画像データの生成をハードウェアの画像処理回路にて行う必要が無くなるので、回路構成を簡素化させることができる。
なお、本実施形態では、確認画像をＬＣＤパネル３６に表示した後に主画像データを生成しているが、確認画像データを生成した時点で即座に主画像データを生成する処理を行ってもよい。その際、主画像データを生成する処理と確認画像を表示する処理を並行して行うと、主画像データが生成される前に確認画像を表示することができるので、利用者は動作が遅いと感じなくなる。
【００５０】
（６）生成した画像データを記憶させる処理：
主画像データを生成すると、図３のステップＳ２１２の画像データ記憶処理を行う。
図８は、上記画像データ記憶処理をフローチャートにより示している。本画像データ記憶処理では、主画像データとサムネール画像データとをＪＰＥＧ画像圧縮を行った後、フラッシュメモリカード３７ｂに記憶させる処理を行う。
まず、サムネール画像データに対して、一般的なＪＰＥＧ画像圧縮を行う（ステップＳ６０２）。すなわち、ＹｍＵＶのサムネール画像データの８×８画素ごとに離散コサイン変換（ＤＣＴ）によりサムネール画像データを周波数空間に変換し、所定の量子化テーブルを参照して量子化を行って周波数表現されたデータを粗く離散化し、ハフマン符号に基づく符号化を行う。その結果、サムネール画像データは圧縮されることになる。なお、量子化では量子化テーブルの値を変更することにより圧縮率を変えることができるが、サムネール画像データのＪＰＥＧ画像圧縮の際には固定された値を使用している。
【００５１】
その後、圧縮後のサムネール画像データのデータサイズを圧縮前のサムネール画像データのデータサイズで除し、圧縮率を算出する（ステップＳ６０４）。次に、算出したサムネール画像データの圧縮率に基づいて、主画像データについての量子化テーブルを選択する（ステップＳ６０６）。この処理は、例えば、図９に示す対応関係を示す図のように、サムネール画像データの圧縮率が小さいほど格納された値の大きい量子化テーブルを選択し、サムネール画像データの圧縮率が大きいほど格納された値の小さい量子化テーブルを選択することにより行うことができる。
量子化テーブルを選択した後、主画像データに対して一般的なＪＰＥＧ画像圧縮を行う。すなわち、ＹｍＵＶの主画像データの８×８画素ごとにＤＣＴにより主画像データを周波数空間に変換する（ステップＳ６０８）。次に、選択した量子化テーブルを参照して、量子化を行って周波数表現されたデータを粗く離散化する（ステップＳ６１０）。ここで、サムネール画像データの圧縮率が小さい場合、選択される量子化テーブルの値は大きいので、主画像データの圧縮率を大きくさせることになる。一方、サムネール画像データの圧縮率が大きい場合、選択される量子化テーブルの値は小さいので、主画像データの圧縮率を小さくさせる。したがって、フラッシュメモリカード３７ｂに記憶させる主画像データのデータサイズを調整することが可能となる。
【００５２】
そして、ハフマン符号に基づく符号化を行い（ステップＳ６１２）、圧縮された主画像データとサムネール画像データとを対応させてフラッシュメモリカード３７ｂに記憶させ（ステップＳ６１４）、本フローを終了する。
このように、図８の画像データ記憶処理は、主画像データとサムネール画像データとを対応させて所定の記憶媒体に記憶させる画像データ記憶手段を構成する。そして、記憶媒体に記憶された主画像データを選択して読み出す際に、サムネール画像データを参照することにより素早く選択することができ、便利である。また、主画像データに対して所定の圧縮処理を行うとともに、サムネール画像データに基づいて圧縮処理の圧縮率を決定するので、データサイズの小さいサムネール画像データを利用することにより、記憶媒体に記憶させる主画像データのデータサイズを調整することが可能となる。
なお、本フローは、ＪＰＥＧ画像圧縮以外にも、様々な圧縮処理に適用可能であり、例えば、ＧＩＦ画像圧縮等に適用してもよい。
以上説明したフローにより、速やかに確認画像をＬＣＤパネル３６に表示した後、サムネール画像を含んだ主画像のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに書き込んで、撮影を完了させることになる。
【００５３】
（７）第二の実施形態：
なお、本発明の画像データ生成装置は、様々な構成が可能である。
主画像データは確認画像データのような副画像データが生成された後に生成されればよいので、上記確認画像生成処理の後に上記主画像生成処理を行い、その後、上記サムネール生成処理を行うようにしてもよい。この場合、生成した主画像データに基づいてサムネール画像データを生成することが可能となる。
また、生成した副画像データに基づいてサムネール画像データを生成する構成とすることも可能である。
図１０は、第二の実施形態にかかる画像データ生成装置が行うサムネール生成処理をフローチャートにより示している。
まず、７２０×２４０画素のＣｍＵＶの確認画像データから１６０×１０４画素の画像データに変換する処理を行う（ステップＳ７０２）。ここで、確認画像データはモザイクデータではないので、図６で示した画素数変換処理よりも処理を簡素化することができる。
【００５４】
図１１は、ステップＳ７０２の画素数変換処理の一例をフローチャートにより示している。なお、図のフローを行う前提として、間引き後の画像データ４２を記憶する領域がＲＡＭ３４のワークエリア３４ｂに設けられている。
この画素数変換処理では、横方向の画素が１６０／７２０＝１／４．５、縦方向の画素が１０４／２４０＝１／２．３１となるように間引く処理を行う。すなわち、抽出する画素の座標を算出し（ステップＳ８０２）、算出した座標の画像データを取得する（ステップＳ８０４）。座標が複数の画素にまたがっている場合には、同複数の画素に対応する画像データを取得する。変換前の画像データはモザイクデータではないので、各画素にＹｍＵＶのデータが格納されている。そこで、取得した画像データを各要素色別に平均する（ステップＳ８０６）。その後、取得した画像データを、間引き後の画像データを記憶する領域に格納する（ステップＳ８０８）。そして、次の座標があるかどうかを判断する（ステップＳ８１０）。次の座標がある場合には再びステップＳ８０２〜Ｓ８１０の処理を行い、次の座標が無い場合には本フローを終了する。
このようにして７２０×２４０画素の確認画像データから画素を間引く処理を行うことができ、１６０×１０４画素の画像データを生成する処理時間が短くて済む。
【００５５】
ここで、変換前の確認画像データは、既に、上記データ補間、色変換、ホワイトバランス制御、トーンカーブ補正が行われたデータであるので、変換後の１６０×１０４画素の画像データに対してこれらの処理を行う必要がない。そこで、１６０×１０４画素の画像データの上下にそれぞれ帯状の８画素分の白色画素を付加し、１６０×１２０画素の画像データに変換して（ステップＳ７０４）、本フローを終了する。ここで、生成した画像データが、サムネール画像データとなる。
このように、副画像データ生成手段にて作成された副画像データに基づいてサムネール画像データを生成することが可能である。そして、データサイズが比較的小さい副画像データからサムネール画像データを生成するため、サムネール画像生成処理を短縮させることができる。また、副画像データの画素を間引く処理によりサムネール画像データを生成するので、サムネール画像データを生成する処理時間が短くて済む。
【００５６】
以上説明したように、本発明によると、種々の態様により、簡易な回路構成で、短時間にて副画像を表示することが可能な画像データ生成装置を提供することができる。また、本発明は、画像データを生成する方法やプログラムやプログラムが記録された媒体としても適用可能である。
【図面の簡単な説明】
【図１】本発明の画像データ生成装置が適用されるディジタルスチルカメラの概略構成を示すブロック図である。
【図２】画像処理の主要な流れを示すフローチャートである。
【図３】三種類の画像データを生成する流れを示すフローチャートである。
【図４】間引き処理の考え方の一例を説明する模式図である。
【図５】確認画像生成処理を示すフローチャートである。
【図６】画素数変換処理を示すフローチャートである。
【図７】サムネール生成処理を示すフローチャートである。
【図８】画像データ記憶処理を示すフローチャートである。
【図９】量子化テーブルの対応関係を示す図である。
【図１０】第二の実施形態にかかる画像データ生成装置が行うサムネール生成処理を示すフローチャートである。
【図１１】第二の実施形態にかかる画像データ生成装置が行う画素数変換処理を示すフローチャートである。
【符号の説明】
１０…ディジタルスチルカメラ
２０…光学部
２１…光学レンズ系
２２…オートフォーカス機構
２３…測距部
２４…オートフォーカスコントローラ
２５…コントローラ
２６…ＣＣＤ
２７…ストロボ
２８…オートゲインコントローラ（ＡＧＣ）
２９…Ａ／Ｄコンバータ
３０…制御部
３１…バス
３２…ＣＰＵ
３３…ＲＯＭ
３４…ＲＡＭ
３４ａ…画像エリア
３４ｂ…ワークエリア
３４ｃ…ビデオＲＡＭエリア
３５…操作パネル
３６…ＬＣＤパネル
３７ａ…Ｉ／Ｏ
３７ｂ…フラッシュメモリカード
４１，４２…画像データ[0001]
BACKGROUND OF THE INVENTION
The present invention provides an image data generation device that generates main image data based on image information captured by an image sensor and generates and displays sub-image data. In place Related.
[0002]
[Prior art]
Conventionally, in an imaging apparatus such as a digital still camera provided with this type of image data generation apparatus, image information is captured by an imaging element via a color mosaic filter, and a predetermined image processing such as pixel interpolation is performed by a hardware image processing circuit. Processing is performed to generate main image data, and the main image data is stored in a storage medium such as a flash memory card. In addition, the imaging apparatus includes a liquid crystal display that enables the captured image information to be confirmed on the spot, generates sub image data from the generated main image data, and displays the sub image on the liquid crystal display. Processing is also performed.
[0003]
[Problems to be solved by the invention]
The above-described conventional image data generation apparatus has a problem that an image processing circuit for performing pixel interpolation processing and the like becomes complicated.
In order to simplify the image processing circuit, it is conceivable that main image data is generated by processing based on software and sub-image data is generated from the main image data. However, since it takes time to generate the main image data, it takes too much time to display the sub-image, and this method cannot be put into practical use.
The present invention has been made in view of the above problems, and is an image data generation device capable of displaying a sub-image in a short time with a simple circuit configuration. Set For the purpose of provision.
[0004]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to claim 1 corresponds to main image data generation means for generating main image data of a predetermined number of pixels based on image information captured by an image sensor, and the image information. An image data generating device including sub image data generating means for generating sub image data having a smaller number of pixels than the predetermined number of pixels and causing a predetermined display means to display a sub image based on the generated sub image data. Thus, the sub-image data generation means performs processing based on software, Based on the above image information The sub image data is generated and the display means displays a sub image. The main image data generating means is configured to generate a sub image after the sub image data is generated by the sub image data generating means by processing based on software. Based on the image information used to generate the sub-image data The main image data is generated.
[0005]
In the invention according to claim 1 configured as described above, the main image data generation means generates main image data of a predetermined number of pixels based on image information captured by the image sensor. Further, the sub image data generating means generates sub image data having a number of pixels smaller than the number of pixels of the main image data corresponding to the image information. Based on the image information At the same time, the sub-image is displayed on a predetermined display means based on the generated sub-image data. Here, both the main image data generation unit and the sub image data generation unit perform the above-described processing based on software. Then, the main image data generating unit is configured to generate the sub image data after the sub image data is generated by the sub image data generating unit. Based on the image information used to generate the sub-image data Main image data is generated.
Then, since the sub image data is generated without waiting for the generation of the main image data, the sub image can be displayed in a short time. Further, since it is not necessary to generate main image data by a hardware image processing circuit, the circuit configuration can be simplified.
[0006]
The main image data generation unit may generate the main image data after the sub image data is generated. As an example of the configuration of the main image data generation unit, the main image data generation unit includes the display unit. The main image data is generated after the sub-image is displayed. That is, since the sub image is displayed without waiting for the generation of the main image data, the sub image can be displayed more reliably in a short time. Of course, the process of generating the main image data and the process of displaying the sub image may be performed in parallel.
[0007]
As an example of a configuration in which the sub-image data generating unit generates sub-image data having a smaller number of pixels than the number of pixels of the main image data, the invention according to claim 3 is characterized in that the sub-image data generating unit converts the image information into dots. The sub image data is generated after thinning out the pixels of the image data expressed in multi-tone with matrix pixels. That is, a simple configuration for generating sub-image data can be provided, and the processing time for generating sub-image data can be shortened. Of course, the sub-image data can be generated by various processes. For example, depending on the use environment of the image data generation apparatus, for example, a process of averaging the data corresponding to a plurality of pixels of the image data is performed. The sub image data may be generated after the execution.
[0008]
By the way, when the main image is stored in a predetermined storage medium and selected and read from the storage medium, it is preferable that there is reference image data having a data size smaller than that of the main image. Therefore, according to a fourth aspect of the present invention, there is provided thumbnail generation means for generating thumbnail image data having a smaller number of pixels than the sub-image data corresponding to the image information, and the main image data and the same thumbnail image data. And image data storage means for storing them in a predetermined storage medium. That is, when the main image data stored in the storage medium is selected and read, it can be quickly selected by referring to the thumbnail image data.
[0009]
Further, as an example of a configuration for generating thumbnail image data, the invention according to claim 5 is such that the thumbnail generation unit generates the thumbnail image data based on the sub-image data created by the sub-image data generation unit. It is as composition to do. That is, since thumbnail image data is generated from sub-image data having a relatively small data size, the thumbnail image generation processing can be shortened.
[0010]
Furthermore, the invention according to claim 6 is configured such that the thumbnail generation means generates the thumbnail image data by performing a process of thinning out pixels of the sub-image data. That is, a simple configuration for generating thumbnail image data can be provided, and the processing time for generating thumbnail image data can be shortened. Of course, the thumbnail image data can be generated by various processes, and depending on the usage environment of the image data generation apparatus, for example, a process for averaging the data corresponding to a plurality of pixels of the sub-image data is performed. The sub image data may be generated after the execution. Also, thumbnail image data may be generated based on image data in which the image information is expressed by dot matrix pixels instead of sub-image data.
[0011]
By the way, as an example of a configuration in which the sub-image data generating means displays the sub-image by processing based on software, the invention according to claim 7 is directed to the display means comprising: a memory capable of writing the sub-image data; A liquid crystal display having a display element corresponding to a pixel of data and reading and displaying the sub-image data written in the memory, wherein the sub-image data generating means writes the sub-image data into the memory The sub-image is displayed on the display means. That is, since the sub image data generating means can display the sub image on the liquid crystal display only by writing the sub image data to the memory, the processing time performed by the sub image data generating means can be reduced. Here, the pixels of the sub-image data and the display elements of the liquid crystal display do not need to correspond one-to-one. For example, one pixel of the sub-image data is displayed corresponding to a plurality of display elements of the liquid crystal display. May be.
[0012]
As described above, the method for generating the main image data after the sub image data is generated by the processing based on the software is not necessarily limited to the actual apparatus, and the processing proceeds according to a predetermined procedure. In addition, it is natural that the invention exists in the procedure at the root. Therefore, the present invention can be applied as a method. , Group This is basically the same operation. That is, it is effective as the method, and it is needless to say that the apparatus configuration described in claims 2 to 7 can be made to correspond to the method.
[0013]
Further, when trying to implement the present invention, the image data generating apparatus may cause a computer to execute a predetermined program. Therefore, Image data generation program In the invention according to the above, it is basically the same operation, and it is needless to say that the apparatus configuration described in claims 2 to 7 can be associated with the program.
[0014]
Furthermore, when trying to implement the present invention, a medium storing the above-mentioned program may be distributed and let the computer execute the program. Therefore, Medium on which image data generation program is recorded In the invention according to this embodiment, the same operation is basically performed. Further, it goes without saying that the apparatus configuration described in claims 2 to 7 can be made to correspond to a medium storing the program.
[0015]
Here, the computer-readable recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium that will be developed in the future. In addition, even when a part is software and a part is realized by hardware, the idea of the present invention is not completely different, and a part is recorded on a recording medium and is appropriately changed as necessary. It includes a reading form. Furthermore, the duplication stages such as the primary replica and the secondary replica are equivalent without any question.
[0016]
【The invention's effect】
As explained above, the claims 1 According to such an invention, an image data generation device capable of displaying a sub-image in a short time with a simple circuit configuration. Place Can be provided.
According to the invention of claim 2, it is possible to display the sub-image more reliably in a short time.
Furthermore, according to the third aspect of the invention, sub-image data can be generated in a short time with a simple configuration.
Furthermore, according to the invention of claim 4, when selecting and reading main image data stored in the storage medium, it is possible to quickly select the image by referring to the thumbnail image data, thereby improving convenience. be able to.
[0017]
Furthermore, according to the fifth aspect of the present invention, the thumbnail image generation process can be shortened.
Furthermore, according to the sixth aspect of the present invention, thumbnail image data can be generated in a short time with a simple configuration.
Furthermore, according to the seventh aspect of the present invention, the sub image can be displayed in a short time.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in the following order.
(1) Schematic configuration of a digital still camera to which the image data generation device is applied:
(2) Overall image of the operation of the image data generation device according to the first embodiment:
(3) Processing for generating confirmation image data:
(4) Processing for generating thumbnail image data:
(5) Processing for generating main image data:
(6) Processing for storing generated image data:
(7) Second embodiment:
[0019]
(1) Schematic configuration of a digital still camera to which the image data generation device is applied:
FIG. 1 is a block diagram showing a schematic configuration of a digital still camera to which an image data generating apparatus according to a first embodiment of the present invention is applied.
The digital still camera 10 includes an optical unit 20 and a control unit 30 having a CPU 32 as a core. The optical unit 20 includes an optical lens system 21, an autofocus mechanism 22, a distance measuring unit 23, and an autofocus controller 24, and the autofocus controller 24 controls the distance measuring unit 23 based on a control signal from the controller 25. The optical lens system 21 is driven by the autofocus mechanism 22 while the distance to the subject is measured. A subject image is formed by the optical lens system 21 on the image pickup surface of a CCD 26 as an image pickup element, and the CCD 26 is constituted by a single plate having 1800 × 1200 pixels. Since it is composed of a single plate, green (G), magenta (M), yellow (Y), and cyan (C) color filters are sequentially formed for 2 × 2 pixels. In addition, although the shutter is provided with the mechanical shutter with the electronic shutter, illustration is abbreviate | omitted about the mechanical shutter.
[0020]
In addition, the optical unit 20 is also provided with a strobe 27, which emits a predetermined amount of light and a predetermined number of times according to a drive signal from the controller 25. This realizes shooting such as red-eye prevention or slow sync. Note that an auto gain controller (AGC) 28 for amplifying an analog electric signal output from the CCD 26 is provided, and an A / D converter 29 for converting the amplified analog electric signal into a digital value and outputting the digital value. .
Of course, the optical unit 20 described above is merely an example of a general configuration as the digital still camera 10, and it is needless to say that various changes can be made. For example, the optical lens system 21 may include a zoom lens, or may be an inexpensive one that does not have an autofocus function as a fixed focus.
[0021]
The control unit 30 includes a bus 31, and the CPU 32, the ROM 33, the RAM 34, and the A / D converter 29 are connected to the bus 31. The CPU 32 executes firmware written in the ROM 33 to execute control of the optical unit 20 and calculation of image processing. At this time, the RAM 34 functions as an image area 34a for storing image data or performs calculation processing. Function as a work area 34b. When the CPU 32 controls the optical unit 20, a control signal is output to the controller 25, and the controller 25 generates and outputs a control signal as appropriate to each component circuit.
[0022]
The control unit 30 also has a function as a man-machine interface, and includes an operation panel 35 on which operation buttons and the like are arranged, and an LCD panel 36 that is a liquid crystal display for displaying captured images and operation instructions. The operation of the operation panel 35 is monitored, and the corresponding control is executed while receiving the operation as appropriate. The LCD panel 36 has display elements for horizontal 720 × vertical 480 dots corresponding to pixels of image data of a confirmation image, which will be described later, and display on the LCD panel 36 is performed on a video RAM area 34 c assigned to the RAM 34. When the CPU 32 writes predetermined data, the display controller provided in the LCD panel 36 reads the data as appropriate and displays it. The display means referred to in the present invention comprises an LCD panel 36 and a video RAM area 34c. Then, the image data that is shot and generated through the predetermined image processing is written to the flash memory card 37b that is an external storage medium via the I / O 37a, and is read out from the flash memory card 37b as necessary. It is.
[0023]
The configuration of the control unit 30 is also a typical example of this type of digital still camera 10, and various changes can be made. For example, the type of external storage medium can be easily replaced with another type as appropriate, and image data can be output to a computer via a USB interface without an interface with a removable storage medium. You may make it do. Further, another LCD display attached to the LCD panel may be provided as a display unit, and the CPU 32 may be provided with a plurality of CPUs having different control targets.
The image picked up by the optical unit 20 is output from the CCD 26 as an analog electric signal, then converted into digital data by the A / D converter 29 via the AGC 28, and further recorded in the image area 34 a of the RAM 34 via the bus 31. The Then, the CPU 32 executes predetermined image processing to convert it into JPEG image data and write it into the above-described flash memory card 37b. FIG. 2 shows the main flow of this image processing. Although detailed processing as described below is executed in detail, the processing is generally proceeded according to this flow. First, this outline will be described.
[0024]
In step S102, defective pixel interpolation is executed. A defective pixel is inevitable in the CCD 26 having about 2 million pixels, and if it is below a predetermined reference value, it is supplied as a non-defective product. For this reason, defective pixels within a non-defective range are compensated by using a 5 × 5 pixel median filter based on only the same color pixels. That is, if the defective pixel is a cyan pixel, the output values of 5 × 5 cyan pixels located around the defective pixel are arranged in order, and the median value is set as the value of the defective pixel. Note that the defective pixel itself has already been detected in the optical unit 20.
In the next step S104, white balance is measured. Depending on the type of light source at the time of shooting and the combination of the CCD 26 and the color filter, the white balance may be shifted. In this embodiment, the white balance is measured at step S104 for each shooting, and the result is reflected. In step S110, the white balance is controlled so as to reduce the deviation. When measuring the white balance, 113 × 75 pixel image data whose data size is reduced by averaging processing is used to measure the deviation of the R component and the deviation of the B component based on the G component in the RGB color system. The CCD 26 includes a complementary color filter, and performs control based on the fact that it is a complementary color system.
[0025]
In this embodiment, three types of images are generated. The first is a confirmation image that is a sub-image according to the present invention, the second is a thumbnail image, and the third is a main image. The confirmation image is an image to be displayed on the LCD panel 36 immediately after shooting, and is composed of image data of 720 × 240 pixels. Since the LCD panel 36 is 720 × 480 dots wide, a confirmation image is displayed with one pixel corresponding to two horizontal dots × vertical dots. The thumbnail image is recorded as image data together with the main image, and is composed of image data of 160 × 120 pixels. The main image can be selected in three sizes according to the selection of the operator, and is either 720 × 480 pixels as an E-mail image, 1800 × 1200 pixels as a Print image, or 2160 × 1440 pixels with high resolution as Hypic2 It is.
[0026]
In FIG. 2, Steps S106 to S114 are displayed surrounded by broken lines, and at least these processes are performed for each of the three types of generated images. In step S106, data interpolation is performed. Although the CCD 26 is composed of a single plate and has 2 million pixels, the color information is not completely completed for all the pixels. That is, there is only cyan information for some pixels, only magenta information for some pixels, only yellow information for some pixels, and only green information for some pixels. This data is called mosaic data. Data interpolation is a process for completing the color information for each pixel by supplementing the information of other colors that are insufficient for each pixel. The lacking information is the average value of the color information included in the eight pixels surrounding the target pixel. For example, there are two yellow pixels (Y1, Y2), two magenta pixels (M1, M2), and four green pixels (G1-G4) around the cyan pixel (C1). Therefore, for the color information (C, M, Y, G) of this cyan pixel,
C = C1 (1)
M = (M1 + M2) / 2 (2)
Y = (Y1 + Y2) / 2 (3)
G = (G1 + G2 + G3 + G4) / 4 (4)
Calculate as
[0027]
In step S108, the color system is changed and converted to RGB image data. There are general formulas for conversion, but actually, a simple general formula is not used, but conversion is performed using a tuned lookup table or a determinant. After conversion into RGB image data, in step S110, as described above, control is performed to reduce the bias of the R component and the bias of the B component in the RGB color system.
In the next step S112, tone curve correction is performed. Tone curve correction is also referred to as so-called γ correction. At this time, 10-bit image data is converted into 8-bit image data for each component, and further noise reduction and gradation characteristics in the white side region and the black side region are performed. The γ curve itself is also adjusted to maintain The tone curve correction itself uses a look-up table, and is converted with reference to a 10-bit → 8-bit look-up table created by tuning in advance.
[0028]
Thereafter, in order to use the JPEG image compression technique, color conversion is performed from the RGB color system to the YUV color system (step S114). In order to distinguish between brightness and yellow, the brightness is hereinafter displayed as Ym, and the brightness directly derived from the mosaic color data is displayed as simple brightness Ys as described later. The color conversion from the RGB color system to the YUV color system is performed using a general formula or a determinant.
The general formula for conversion from mosaic color data to YUV color system is:
Ys = 0.25 × (C + M + Y + G)
U = C + M- (Y + G)
V = -C + M + Y-G
However, in practice, the tuning and white balance control as described above are performed, and this correspondence is not adopted.
[0029]
Steps S116 and S118 are processes performed only when the main image is created. Noise removal is performed by applying a so-called low-pass filter only for the UV component as the color component. In other words, the color change that is too steep acts on the pressing feeling. Edge enhancement applies a nonlinear function (for example, a coring function) to the edge amount based on the luminance component only for the luminance component, calculates a nonlinear function value, and weights the non-linear function value to the original luminance component. Arithmetic. Therefore, when the luminance value changes between adjacent pixels, the edge amount is calculated, and if the absolute value of the edge amount is large, the amount of change is reflected in the luminance value. If the absolute value is small, the original luminance is calculated. The value is almost unchanged.
The above is the outline of the image processing. However, in the above procedure, the arithmetic processing time is shortened by simultaneously performing a plurality of processes in the actual arithmetic processing.
[0030]
For shooting, the image processing based on the software described above is executed for each of the three types of images described above, a confirmation image is displayed on the LCD panel 36, and finally a JPEG compressed image of the main image including the thumbnail image is stored in the flash memory. Complete by writing to card 37b. In addition, the present digital still camera can read image data from the flash memory card 37b and display it on the LCD panel 36, or can delete data and perform various settings. The description is omitted because it is applicable.
[0031]
(2) Overall image of the operation of the image data generation device according to the first embodiment:
In generating the image data of the three types of images described above, main image data is generated by performing predetermined processing such as pixel interpolation processing by a hardware image processing circuit, and confirmation image data is generated from the generated main image data. There is also a method for generating thumbnail image data. However, this method complicates an image processing circuit for performing pixel interpolation processing and the like, leading to an increase in cost.
In order to simplify the image processing circuit, it is conceivable that main image data is generated by processing based on software and confirmation image data is generated from the main image data. However, since it takes time to generate main image data, it takes too much time to display the confirmation image. This makes it difficult to put it to practical use.
In view of this, the present image data generation apparatus is designed to generate three types of image data by processing based on software by devising the order of generating the three types of image data.
FIG. 3 is a flowchart showing the flow of generating the above-described three types of image data.
As described above, the image data recorded in the image area 34a of the RAM 34 is expressed in multiple gradations by pixels of a 1800 × 1200 dot matrix. In the case of the present embodiment, the gradation is 1024 with 10 bits assigned to each pixel. However, the color information is not completely completed for each pixel, and as shown on the left side of FIG. 4, the mosaic data is arranged in a mosaic pattern for each element color CMYG. In addition, there is a defective pixel without data among all the pixels. Therefore, first, defective pixel detection is performed on the defective pixel detected by the optical unit 20 by using a 5 × 5 pixel median filter based on only the same color pixel (step S202).
[0032]
Next, white balance is measured (step S204). That is, out of all the pixels, the reduced image data of 113 × 75 pixels obtained by averaging the data of 16 × 16 pixels and reducing the data size is used, and the bias of the R component based on the G component in the RGB color system is used. A white balance coefficient Rc to be corrected and a coefficient Bc to correct the bias of the B component with respect to the G component are calculated. Here, the white balance coefficients Rc and Bc can be calculated by various methods. For example, the white balance coefficients Rc and Bc may be calculated as follows.
First, the simple luminance Ys is calculated from the CMYG reduced image data, and the reduced image data is converted into RGB data by a predetermined conversion formula. Next, the RGB reduced image data is divided into predetermined bands so that the number of pixels is equal in the order of the magnitude of the simple luminance Ys, and within each band, the sum of the G components is divided by the sum of the R components ( Rci) and the sum of G components divided by the sum of B components (Bci). Furthermore, when Rci and Bci are smaller than 1, Rci and Bci are temporarily replaced with reciprocals. And for each Rci, Bci, the evaluation function
Ei = | 1-Rci | + | 1-Bci |
Rci and Bci replaced with reciprocals are restored, and Rci and Bci with the smallest evaluation function Ei are obtained to obtain white balance coefficients Rc and Bc. Of course, this method is only an example, so other general methods may be adopted, and other methods may be studied and adopted to best suit the characteristics of the digital still camera. .
[0033]
Thereafter, a confirmation image generation process for generating confirmation image data (step S206), a thumbnail generation process for generating thumbnail image data (step S208), and a main image generation process for generating main image data (step S210) are sequentially performed. At that time, the white balance coefficients Rc and Bc calculated in step S204 are used for all the processes in steps S206 to S210. Then, the main image data and thumbnail image data are compressed and stored in the flash memory card 37b (step S212), and this flow ends.
[0034]
(3) Processing for generating confirmation image data:
Hereinafter, details of each processing of steps S206 to S212 will be described.
FIG. 5 is a flowchart showing the confirmation image generation process.
Image information picked up by the optical unit 20 is recorded in the image area 34a of the RAM 34 as image data expressed in multiple gradations by dots matrix pixels. The image data is expressed by 1800 × 1200 pixels and is mosaic data for each CMYG, but in order to display the captured image on the LCD panel 36, it is necessary to make the image data of 720 × 240 pixels. Therefore, first, pixel number conversion processing is performed to convert mosaic data of 1800 × 1200 pixels into mosaic data of 720 × 240 pixels (step S302).
This pixel number conversion process is performed by thinning out 1800 × 1200 pixels of the image data. Here, when 1800 pixels of 1800 × 1200 pixels are set in the horizontal direction and 1200 pixels are set in the vertical direction, the horizontal pixels are set to 720/1200 = 1 / 2.5 in the vertical direction to set 720 × 240 pixels in the horizontal direction. It is necessary to thin out the pixels so that 240/1200 = 1/5. FIG. 4 is a schematic diagram for explaining an example of the concept of the thinning process.
[0035]
Considering the coordinates 41a of the recorded image data 41 as a reference, the coordinates of 2.5 pixel intervals in the horizontal direction and 5 pixel intervals in the vertical direction are considered (in the figure, the positions of the respective coordinates are surrounded by squares). As for the reference coordinates 41a (G image data is stored in the figure), the data of the same color element G is stored in the reference pixel 42a of the image data 42 after thinning.
Here, since the vertical direction is an interval of 5 pixels, the coordinate 41b 5 pixels below the reference coordinate 41a is Y data. Therefore, for the same coordinate 41b, data of the same color element Y can be stored in the pixel 42b immediately below the pixel 42a. Similarly, for the coordinates in the same column as the reference coordinates 41a, data of the same element color can be stored in the same column as the reference pixels 42a of the thinned image data 42.
[0036]
However, since the interval in the horizontal direction is 2.5 pixels, the coordinates 41c to the right of 2.5 pixels of the reference coordinates 41a extend over two pixels of the recorded image data 41. Therefore, among the two pixels, M data to be stored in the thinned image data 42 is acquired and stored in the pixel 42c. The same applies to the coordinates in the same column, such as the coordinates 41d five pixels below the coordinates 41c.
In addition, the coordinate 41e on the right side of the pixel 41c by 2.5 pixels is G data that should be stored in the pixel 42e of the thinned image data 42, but is M data different from G. . Therefore, the data of the pixel in which G data is stored among the pixels adjacent to the coordinate 41e (in the figure, the left adjacent and right adjacent to the coordinate 41e) is acquired, and these data are averaged and stored in the pixel 42e. The same applies to the coordinates in the same column, such as the coordinates 41f five pixels below the coordinates 41e. Further, since the coordinate 41g to the right of 2.5 pixels of the coordinate 41e extends over two pixels of the recorded image data 41, M data to be stored in the thinned image data 42 is acquired, and the pixel 42g To store. The same applies to the coordinates in the same column, such as the coordinates 41h five pixels below the coordinates 41g.
[0037]
An example of a flowchart showing the pixel number conversion process based on the above idea is shown in FIG. As a premise for performing the flow of the figure, an area for storing the thinned image data 42 is provided in the work area 34b of the RAM 34.
First, the coordinates of the pixel to be extracted are calculated (step S402), and it is determined whether the element color of the pixel at this coordinate is the same as the element color of the data stored in the thinned image data 42 (step S404). Here, when the coordinates extend over a plurality of pixels (only two in this example), any one of the plurality of pixels may have the same element color as the data stored in the image data 42. The condition is met. For example, the condition is satisfied when the

coordinates

41a, 41c, and 41g in FIG. If the condition is satisfied, the image data of the element color of the data stored in the thinned image data 42 is acquired (step S406), and the process proceeds to step S412.
On the other hand, when the condition is not satisfied in step S404 as in the case where the coordinate 41e in FIG. 4 has a coordinate, image data having the same element color as the element color of the data stored in the image data 42 is obtained from the pixel adjacent to the coordinate. (Step S408), average the acquired image data (Step S410), and proceed to Step S412.
[0038]
In step S412, the acquired image data is stored in an area for storing the image data 42 after thinning. Then, it is determined whether or not there is a next coordinate (step S414). If there is a next coordinate, the processes of steps S402 to S414 are performed again. If there is no next coordinate, this flow is ended.
In this way, it is possible to perform a process of thinning out the pixels of the image data recorded in the image area 34a of the RAM 34. As a result, the processing time for generating mosaic data of 720 × 240 pixels can be shortened.
[0039]
When the pixel number conversion process ends, data interpolation is performed on mosaic data of 720 × 240 pixels (step S304). That is, by using the above-described interpolation formulas (1) to (4), the information of other colors that are insufficient for each pixel is set as the average value of the color information included in the eight pixels surrounding the target pixel. calculate.
Next, the CMYG image data is color-converted into RGB image data using the determinant A1 that has been tuned based on the general formula (step S306). That is, if each component of each pixel of CMYG image data is represented by (C, M, Y, G) and each component of each pixel of RGB image data is represented by (R, G, B), RGB image data is It can be calculated by the following equation.
[Expression 1]

[0040]
Further, white balance control is performed to reduce the deviation of the R component and the B component in the RGB color system using the white balance coefficients Rc and Bc calculated in step S204 (step S308). That is, when each component of each pixel in the corrected RGB image data is represented by (R ′, G ′, B ′), white balance control can be performed by the following equation.
[Expression 2]

[0041]
After the white balance control, tone curve correction is performed with reference to a lookup table created by tuning in advance (step S310). At this time, 10-bit image data is converted into 8-bit image data for each component of RGB, and noise in the white side region and the black side region is further reduced and gradation is maintained.
The image data generated in this way becomes confirmation image data which is sub-image data according to the present invention.
The YmUV 8-bit image data is written in the video RAM area 34c of the RAM 34, and the image data sent to the LCD panel 36 is in the state of YmUV image data from the video RAM area 34c to the hardware. Read by the circuit. Therefore, a process of color-converting RGB image data into YmUV image data is performed using a general determinant A2 (step S312). That is, if each component of each pixel of the YmUV image data is represented by (Ym, U, V), the YmUV image data from each component (R ′, G ′, B ′) of the RGB image data is It can be calculated by the following equation.
[Equation 3]

[0042]
Then, the generated YmUV confirmation image data is written in the video RAM area 34c of the RAM 34 (step S314), and this flow is finished.
Then, the display controller provided in the LCD panel 36 reads the confirmation image data written in the video RAM area 34 c and displays the confirmation image on the LCD panel 36. Since the main image data is also generated based on the image data recorded in the image area 34a of the RAM 34, the confirmation image is an image corresponding to the main image.
As described above, the confirmation image generation process shown in FIG. 5 generates sub-image data having a number of pixels smaller than the number of pixels of the main image data corresponding to the image information captured by the image sensor by a process based on software. In addition, sub image data generating means for displaying the sub image on a predetermined display means based on the generated sub image data is configured.
[0043]
(4) Processing for generating thumbnail image data:
When the confirmation image data is generated, the thumbnail generation process in step S208 of FIG. 3 is performed.
FIG. 7 is a flowchart showing the thumbnail generation process. In addition, about steps S502-S512, the process similar to the said confirmation image generation process is performed.
First, pixel number conversion processing is performed to convert mosaic data of 1800 × 1200 pixels into mosaic data of 160 × 104 pixels (step S502). In this pixel number conversion process, a thinning process is performed so that the horizontal pixels are 160/1800 = 1 / 11.25 and the vertical pixels are 104/1200 = 1 / 1.54.
This process can be performed according to the flowchart shown in FIG. That is, the coordinates of the pixel to be extracted are calculated, and it is determined whether or not the element color of the pixel at this coordinate is the same as the element color of the data stored in the thinned image data (steps S402 to S404). When the coordinates extend over a plurality of pixels, the condition is satisfied if any one of the plurality of pixels is the same as the element color of the stored data. If the condition is satisfied, the image data of the element color of the stored data is acquired (step S406). If the condition is not satisfied, the image data of the same element color as the element color of the stored data is acquired from the pixels adjacent to the coordinates. Then, the acquired image data is averaged (steps S408 to S410). Thereafter, the acquired image data is stored in an area for storing the image data after thinning, and it is determined whether there is a next coordinate (steps S412 to S414). If there is a next coordinate, the processes of steps S402 to S414 are performed again, and if there is no next coordinate, this flow is terminated.
In this way, it is possible to thin out the pixels of the image data recorded in the image area 34a, and the processing time for generating mosaic data of 160 × 104 pixels can be shortened.
[0044]
When the pixel number conversion process is completed, data interpolation is performed on the 120 × 104 pixel mosaic data using the interpolation formulas (1) to (4) (step S504). Next, using the conversion equations (5) and (6), the CMYG image data is color-converted into RGB image data (step S506), and the R component bias and the B component bias in the RGB color system are determined. White balance control to be reduced is performed (step S508). Further, referring to the look-up table created by tuning, tone curve correction is performed while converting 10-bit image data into 8-bit image data for each of the RGB components (step S510).
Thereafter, in order to perform JPEG image compression when the thumbnail image data is stored in the flash memory card 37b, the RGB image data is color-converted into YmUV image data using the conversion equation (7) (step S512).
[0045]
Here, the generated image data is 160 × 104 pixels, which is 16 pixels fewer in the vertical direction than the 160 × 120 pixels that are the standard for thumbnail images. Therefore, in the present embodiment, eight strip-like white pixels are added to the top and bottom of the image data of 160 × 104 pixels, respectively, and converted into image data of 160 × 120 pixels (step S514), and this flow ends. To do. The generated image data becomes the thumbnail image data referred to in the present invention. Since the main image data is also generated based on the image data recorded in the image area 34a of the RAM 34, the thumbnail image is an image corresponding to the main image.
As described above, the thumbnail generation processing shown in FIG. 7 constitutes thumbnail generation means for generating thumbnail image data having a smaller number of pixels than the number of pixels of the sub-image data corresponding to the image information captured by the image sensor. .
[0046]
(5) Processing for generating main image data:
When the thumbnail image data is generated, the main image generation process of step S210 in FIG. 3 is performed. In the main image generation process, the processes in steps S106 to S118 in FIG. 2 are performed, and will be described with reference to FIG. In addition, since the processes in steps S106 to S114 are substantially the same as the confirmation image generation process and the thumbnail generation process, detailed description thereof is omitted.
[0047]
When generating the main image data, the image data recorded in the image area 34a of the RAM 34 is used without being thinned out. Therefore, first, data interpolation is performed on mosaic data of 1800 × 1200 pixels using the above-described interpolation formulas (1) to (4) (step S106). Next, using the conversion equations (5) and (6), the CMYG image data is color-converted into RGB image data (step S108), and the R component bias and the B component bias in the RGB color system are determined. White balance control to be reduced is performed (step S110). Further, referring to the look-up table created by tuning, tone curve correction is performed while converting 10-bit image data into 8-bit image data for each of the RGB components (step S112). Thereafter, in order to perform JPEG image compression when the thumbnail image data is stored in the flash memory card 37b, the RGB image data is color-converted into YmUV image data using the conversion equation (7) (step S114).
The main image can be selected from three sizes according to the selection of the operator. Therefore, although not shown, image data of 1800 × 1200 pixels is converted into image data of 720 × 480 pixels when an E-mail image is selected, and 2160 × 1440 when Hypict2 is selected. The image data is converted into pixel image data. When a Print image is selected, the number of pixels is not converted.
[0048]
In the main image generation process, noise removal is further performed by applying a 3 × 3 so-called low-pass filter for only the UV component of the YmUV image data (step S116). That is, 3 × 3 image data centered on the target pixel is acquired for each UV component, and the sum obtained by multiplying the nine image data of each UV component by the filter coefficient is used as the image data of the target pixel. . As a result, if the color change is too steep, it will be replaced with data that seems to be pressed down.
After that, edge enhancement is performed on the Ym component in the YmUV image data (step S118), and this flow ends. In edge enhancement, first, the edge amount is calculated using a 3 × 3 so-called Laplacian filter only for the luminance component. For example, 3 × 3 image data centered on the target pixel is acquired for the Ym component, and the sum obtained by multiplying the nine image data by the coefficient of the filter is used as the edge amount. Next, a nonlinear function value is calculated by substituting the edge amount into the nonlinear function, and the calculated nonlinear function value is weighted to the Ym component of the YmUV image data. As a result, when the luminance value changes greatly between adjacent pixels, the amount of change is largely reflected in the luminance value, and when the change is small, the original luminance value is almost unchanged.
[0049]
As described above, the main image generation processing constitutes main image data generation means for generating main image data of a predetermined number of pixels based on image information captured by the image sensor by processing based on software. Since the main image data to be generated has a large data size and noise removal and edge enhancement are performed to improve the image quality, the processing takes time. When measured with a prototype, the processing time for generating the main image data was about 2 seconds.
However, since the main image data is generated after the confirmation image data is generated by the process based on the software, the confirmation image data is generated by the confirmation image generation process before the main image data is generated. A confirmation image is displayed on the panel 36. That is, the user of the digital still camera can confirm the confirmation image in a short time. In addition, when it measured with the same prototype, it was about 0.2 second until a confirmation image was displayed after imaging. Therefore, there is no need to wait until the main image data is generated, and it is not felt that the operation is slow. Further, since it is not necessary to generate main image data by a hardware image processing circuit, the circuit configuration can be simplified.
In the present embodiment, the main image data is generated after the confirmation image is displayed on the LCD panel 36. However, the main image data may be immediately generated when the confirmation image data is generated. At that time, if the process of generating the main image data and the process of displaying the confirmation image are performed in parallel, the confirmation image can be displayed before the main image data is generated. I can't feel it.
[0050]
(6) Processing for storing generated image data:
When the main image data is generated, the image data storage process of step S212 in FIG. 3 is performed.
FIG. 8 is a flowchart showing the image data storage process. In the main image data storage process, the main image data and the thumbnail image data are subjected to JPEG image compression and then stored in the flash memory card 37b.
First, general JPEG image compression is performed on thumbnail image data (step S602). In other words, thumbnail image data is converted into frequency space by discrete cosine transform (DCT) for every 8 × 8 pixels of YmUV thumbnail image data, and frequency representation is performed by performing quantization with reference to a predetermined quantization table. Is coarsely discretized and encoding based on the Huffman code is performed. As a result, the thumbnail image data is compressed. In the quantization, the compression rate can be changed by changing the value of the quantization table, but a fixed value is used for JPEG image compression of thumbnail image data.
[0051]
Thereafter, the compression size is calculated by dividing the data size of the thumbnail image data after compression by the data size of the thumbnail image data before compression (step S604). Next, a quantization table for main image data is selected based on the calculated compression ratio of thumbnail image data (step S606). In this process, for example, as shown in the diagram showing the correspondence relationship shown in FIG. 9, the smaller the compression rate of the thumbnail image data, the larger the stored value is selected, and the higher the compression rate of the thumbnail image data is, This can be done by selecting a quantization table with a small stored value.
After selecting the quantization table, general JPEG image compression is performed on the main image data. That is, the main image data is converted into the frequency space by DCT for every 8 × 8 pixels of the YmUV main image data (step S608). Next, with reference to the selected quantization table, quantization is performed to coarsely discretize the frequency-represented data (step S610). Here, when the compression rate of the thumbnail image data is small, the value of the selected quantization table is large, so that the compression rate of the main image data is increased. On the other hand, when the compression rate of the thumbnail image data is large, the value of the selected quantization table is small, so that the compression rate of the main image data is reduced. Therefore, it is possible to adjust the data size of the main image data stored in the flash memory card 37b.
[0052]
Then, encoding based on the Huffman code is performed (step S612), the compressed main image data and thumbnail image data are associated with each other and stored in the flash memory card 37b (step S614), and this flow ends.
As described above, the image data storage processing of FIG. 8 constitutes image data storage means for storing main image data and thumbnail image data in a predetermined storage medium in association with each other. When the main image data stored in the storage medium is selected and read, it can be quickly selected by referring to the thumbnail image data, which is convenient. In addition, a predetermined compression process is performed on the main image data, and the compression rate of the compression process is determined based on the thumbnail image data, so that the thumbnail image data having a small data size is used and stored in the storage medium. It becomes possible to adjust the data size of the main image data.
This flow can be applied to various compression processes other than JPEG image compression, and may be applied to, for example, GIF image compression.
According to the flow described above, the confirmation image is promptly displayed on the LCD panel 36, and then the JPEG compressed image of the main image including the thumbnail image is written in the flash memory card 37b to complete the photographing.
[0053]
(7) Second embodiment:
Note that the image data generation apparatus of the present invention can have various configurations.
Since the main image data may be generated after the sub image data such as the confirmation image data is generated, the main image generation processing is performed after the confirmation image generation processing, and then the thumbnail generation processing is performed. May be. In this case, thumbnail image data can be generated based on the generated main image data.
In addition, it is possible to generate thumbnail image data based on the generated sub-image data.
FIG. 10 is a flowchart showing thumbnail generation processing performed by the image data generation apparatus according to the second embodiment.
First, a process of converting the CmUV confirmation image data of 720 × 240 pixels into image data of 160 × 104 pixels is performed (step S702). Here, since the confirmation image data is not mosaic data, the processing can be simplified compared to the pixel number conversion processing shown in FIG.
[0054]
FIG. 11 is a flowchart illustrating an example of the pixel number conversion process in step S702. As a premise for performing the flow of the figure, an area for storing the thinned image data 42 is provided in the work area 34b of the RAM 34.
In this pixel number conversion process, a thinning process is performed so that the horizontal pixel is 160/720 = 1 / 4.5 and the vertical pixel is 104/240 = 1 / 2.31. That is, the coordinates of the pixel to be extracted are calculated (step S802), and image data of the calculated coordinates is acquired (step S804). When the coordinates extend over a plurality of pixels, image data corresponding to the plurality of pixels is acquired. Since the image data before conversion is not mosaic data, YmUV data is stored in each pixel. Therefore, the acquired image data is averaged for each element color (step S806). Thereafter, the acquired image data is stored in an area for storing the image data after thinning (step S808). Then, it is determined whether there is a next coordinate (step S810). If there is a next coordinate, the processes of steps S802 to S810 are performed again. If there is no next coordinate, this flow is terminated.
In this way, it is possible to perform the process of thinning out the pixels from the confirmation image data of 720 × 240 pixels, and the processing time for generating the image data of 160 × 104 pixels can be shortened.
[0055]
Here, since the confirmation image data before conversion is already subjected to the data interpolation, color conversion, white balance control, and tone curve correction, the image data of 160 × 104 pixels after conversion is used. There is no need to perform the process. Therefore, 8 white belt-like white pixels are added to the top and bottom of the 160 × 104 pixel image data, respectively, and converted into 160 × 120 pixel image data (step S704), and this flow ends. Here, the generated image data becomes thumbnail image data.
As described above, it is possible to generate thumbnail image data based on the sub image data created by the sub image data generating means. Since thumbnail image data is generated from sub-image data having a relatively small data size, the thumbnail image generation process can be shortened. Further, since the thumbnail image data is generated by the process of thinning out the pixels of the sub image data, the processing time for generating the thumbnail image data can be shortened.
[0056]
As described above, according to the present invention, it is possible to provide an image data generation apparatus capable of displaying a sub-image in a short time with a simple circuit configuration according to various aspects. The present invention is also applicable to a method for generating image data, a program, and a medium on which the program is recorded.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a digital still camera to which an image data generation apparatus of the present invention is applied.
FIG. 2 is a flowchart showing a main flow of image processing.
FIG. 3 is a flowchart showing a flow of generating three types of image data.
FIG. 4 is a schematic diagram illustrating an example of a concept of thinning processing.
FIG. 5 is a flowchart showing a confirmation image generation process.
FIG. 6 is a flowchart illustrating a pixel number conversion process.
FIG. 7 is a flowchart showing thumbnail generation processing.
FIG. 8 is a flowchart showing image data storage processing.
FIG. 9 is a diagram illustrating a correspondence relationship of quantization tables.
FIG. 10 is a flowchart showing thumbnail generation processing performed by the image data generation apparatus according to the second embodiment.
FIG. 11 is a flowchart illustrating a pixel number conversion process performed by the image data generation apparatus according to the second embodiment.
[Explanation of symbols]
10. Digital still camera
20 ... Optical part
21 ... Optical lens system
22 ... Autofocus mechanism
23. Ranging section
24 ... Autofocus controller
25 ... Controller
26 ... CCD
27 Strobe
28 ... Auto gain controller (AGC)
29 ... A / D converter
30 ... Control unit
31 ... Bus
32 ... CPU
33 ... ROM
34 ... RAM
34a ... Image area
34b ... Work area
34c ... Video RAM area
35 ... Control panel
36 ... LCD panel
37a ... I / O
37b ... Flash memory card
41, 42 ... image data

Claims

Main image data generating means for generating main image data having a predetermined number of pixels based on image information captured by the image sensor; and sub-image data having a number of pixels smaller than the predetermined number of pixels corresponding to the image information. An image data generation device comprising: a sub-image data generation unit that generates a sub-image on a predetermined display unit based on the generated sub-image data.
The sub-image data generation means generates the sub-image data based on the image information by a process based on software and displays the sub-image on the display means.
The main image data generation unit is configured to perform the main image based on the image information used to generate the sub image data after the sub image data is generated by the sub image data generation unit by processing based on software. An image data generation apparatus characterized by generating data.

2. The image data generating apparatus according to claim 1, wherein the main image data generating unit generates the main image data after the sub image is displayed on the display unit.

2. The sub-image data generation unit generates the sub-image data after performing a process of thinning out pixels of image data in which the image information is expressed in multi-tone with dot matrix pixels. The image data generation device according to claim 2 .

Thumbnail generating means for generating thumbnail image data having a smaller number of pixels than the sub-image data corresponding to the image information, and the main image data and the thumbnail image data are associated with each other in a predetermined storage medium. 4. The image data generation apparatus according to claim 1, further comprising image data storage means for storing the image data.

5. The image data generation apparatus according to claim 4, wherein the thumbnail generation unit generates the thumbnail image data based on the sub image data created by the sub image data generation unit.

6. The image data generation apparatus according to claim 5, wherein the thumbnail generation means generates the thumbnail image data by performing a process of thinning out pixels of the sub-image data.

The display means includes a memory in which the sub-image data can be written, and a liquid crystal display that has a display element corresponding to the pixel of the sub-image data and reads and displays the sub-image data written in the memory. The image data generation unit according to any one of claims 1 to 6, wherein the sub-image data generation unit displays the sub-image on the display unit by writing the sub-image data into the memory. apparatus.