JP4006961B2

JP4006961B2 - Image file generator

Info

Publication number: JP4006961B2
Application number: JP2001184374A
Authority: JP
Inventors: 直樹鍬田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-06-19
Filing date: 2001-06-19
Publication date: 2007-11-14
Anticipated expiration: 2021-06-19
Also published as: JP2003006666A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データの画像処理情報と画像データとを含む画像ファイルの生成及び該画像ファイルを用いた画像処理に関する。
【０００２】
【従来の技術】
近年、デジタルスチルカメラが普及している。デジタルスチルカメラは、電子結合素子（ＣＣＤ）などの光に反応する半導体素子を用いて画像を電気信号に変換し、デジタルデータとして磁気ディスクや半導体メモリに記憶する。デジタルスチルカメラは、通常、液晶ディスプレイを搭載しているため、ユーザは、撮影した画像をその場で確認したり、気に入らない画像を削除できる。また、デジタルスチルカメラで撮影した画像は、汎用のパーソナルコンピュータのディスプレイやプリンタなどの画像出力装置に出力することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、ユーザが、デジタルスチルカメラで撮影した画像に所望の画像処理を施すためには、まず、メモリカードやケーブルを介し、画像ファイルをパーソナルコンピュータに転送し、画像レタッチアプリケーションやプリンタドライバを用いて処理する必要があった。そのため、ユーザはパーソナルコンピュータや画像レタッチアプリケーションの使用法を十分習得している必要があり、画像ごとにこのような作業を行うのは非常に煩雑な作業であった。
【０００４】
画像の解析に基づき、自動的に画像処理を施す技術も提案されてはいるが、露出補正や背景ぼかし処理など、特定の部位の参照が必要となる処理では、ユーザの意図を反映した画像処理を自動的に行うことは困難であった。
【０００５】
本発明は、上記問題を解決するためになされたものであり、特定の部位を参照して行われる画像処理において、ユーザの意図を反映しつつ、自動化を図ることを目的とする。
【０００６】
【課題を解決するための手段およびその作用・効果】
上述の課題の少なくとも一部を解決するため、本発明は以下の構成を採用した。すなわち、本発明の画像ファイル生成装置は、
画像データと該画像データの画像処理に用いられる画像処理制御データとを含む画像ファイルを生成する画像ファイル生成装置であって、
画像を撮影し、該画像を表す画像データを生成する画像データ生成手段と、
前記画像の撮影時における焦点合わせ用の位置である焦点位置を、所定の画像処理を行うために参照される部位として設定する部位設定手段と、
前記部位を示す部位情報を含む画像処理制御データと前記生成された画像データとを一体的に有する画像ファイルを生成する画像ファイル生成手段と、
前記所定の画像処理を行うために参照される部位を、前記生成された画像データ内の座標によって指定する部位指定手段とを備え、
前記部位指定手段は、前記焦点位置を、前記指定を行う部位の初期値として扱い、前記部位設定手段によって設定された部位を、前記焦点位置から前記指定された部位に変更することを要旨とする。
【０００７】
上述の画像ファイル生成装置は、画像データと画像処理制御データとを含む画像ファイルを生成する。ここで「画像処理制御データ」とは、画像処理装置が画像データに対して施す画像処理を制御するデータである。画像処理装置はこの画像処理制御データを解析することにより、画像処理に用いる各種情報を自動的に設定し画像データに対して画像処理を施すことができる。この情報には、コントラスト、明るさ、カラーバランス、彩度、シャープネス、ガンマ値、ターゲット色空間などが含まれ得る。本発明の画像ファイル生成装置では、画像撮影時の焦点位置を、画像処理制御データ内に設定することができる。したがって、画像処理装置は、その焦点位置を参照して画像処理を施すことができる。こうすることで、ユーザは部位の参照が必要となる画像処理も含め、自分の意図する画像処理を煩雑な手間なしに実現することができる。また、所定の画像処理を行うために参照される部位を焦点位置とすることで、ユーザが特に部位を指定しないでも、画像処理制御データに部位情報を記録することができる。この結果、ユーザの操作を低減させることができる。なお、焦点の位置は部位情報の初期値としてもよく、ユーザの操作によりその位置を焦点位置と異なる位置に移動させることも可能である。
【０００８】
上述の画像ファイル生成装置において、
前記部位指定手段は、前記画像データを予め設定したパターンで分割して定義される領域単位で前記指定を行うものとすることができる。
【０００９】
こうすることにより、ユーザは、予め分割された領域の中から少なくとも一つの領域を選択する操作のみで所望の部位を指定できるため、操作の負担を軽減することができる。
【００１０】
また、上述の画像ファイル生成装置において、
前記部位指定手段は、前記画像データ内で規定された座標を指定するものとしてもよい。
【００１１】
こうすることにより、ユーザは画像データ内の部位を詳細に指定することができるため、画像処理装置に対し正確な部位を参照させて画像処理を施させることができる。なお、参照部位は複数でもよい。この場合、画像処理時に参照する部位の優先順位を併せて設定可能としてもよい。
【００１２】
さらに、上述の画像ファイル生成装置において、
前記所定の画像処理は階調補正処理とすることができる。
【００１３】
階調補正処理とは、減色処理、露出補正処理、輝度補正処理などを含む。これにより、画像ファイル生成装置は、画像処理装置に対し、画像データ内で指定した部位を基準として画像の色調を変化させる処理をさせることができる。
【００１４】
また、本発明の画像ファイル生成装置において、
前記所定の画像処理は、ぼかし処理としてもよい。
【００１５】
こうすることによって、画像ファイル生成装置は、画像処理装置に対し、指定部位を含むその付近の画像をその他の部分に比し引き立たせる処理をさせることができる。
【００１８】
なお、本発明の画像ファイル生成装置は、画像データを生成することのできる種々の装置に適応可能であり、例えばデジタルスチルカメラやデジタルビデオカメラ、スキャナーなどに適応させることができる。
【００１９】
次に、本発明の画像処理装置は、
画像ファイルに対して画像処理を施す画像処理装置であって、
画像データと該画像データの特定の部位を示す部位情報とを含む画像ファイルを入力する手段と、
前記画像ファイルから画像データを取得する第１の取得手段と、
前記画像ファイルから部位情報を取得する第２の取得手段と、
前記取得された部位情報に基づき、前記画像データ内の特定の部位を参照して所定の画像処理を行う画像処理手段とを備えることを要旨とする。
【００２０】
上述の画像処理装置は、入力された画像ファイルから画像データと部位情報を取得し、取得した部位情報を基に画像処理を施すことができる。つまり、所定の画像処理を自動的に施すことができるため、ユーザは何ら操作することなく所望の画像処理が施された画像を得ることができ、操作の負担を軽減することができる。
【００２１】
次に、本発明の画像ファイル編集装置は、
画像データと該画像データの特定の部位を示す部位情報とを含む画像ファイルを入力する入力部と、
新たな部位情報を入力する部位情報入力部と、
該部位情報を前記新たな部位情報に更新する更新手段とを備える画像ファイル編集装置を提供することを要旨とする。
【００２２】
こうすることにより、画像ファイルを生成した後においても、部位情報のみを編集し更新することが可能となる。
【００２３】
また、本発明は、上述の画像ファイル生成装置として構成できるほか、画像ファイルの生成方法の発明として構成することもできる。この場合、コンピュータプログラム、あるいはそのプログラムを記録した記録媒体、そのプログラムを具現化するネットワーク伝送可能な電気信号など、種々の態様で実現することが可能である。なお、これらの態様において、先に示した種々の付加的要素が適用可能であることはいうまでもない。
【００２４】
本発明における画像処理は、画像処理装置において実現できるほか、プログラムとしても実現可能である。この場合、画像処理装置を駆動するプログラム全体として構成するものとしてもよいし、他のプログラムを構成する一部の機能のプログラムとして構成するものとしてもよい。
【００２５】
上述のプログラムは、むろんコンピュータにおいて読み取り可能な記録媒体に記録されていてもよい。記録媒体として、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどの半導体記憶装置）や外部記憶装置（磁気ディスク装置）などの種々の媒体を利用できる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について、以下の順序で実施例に基づき説明する。
Ａ．画像処理システムの構成：
Ｂ．画像ファイル生成装置：
Ｃ．画像ファイルの構成：
Ｄ．画像処理制御データの生成処理：
（Ｄ１）画像処理モードの設定
（Ｄ２）部位情報の設定
Ｅ．画像ファイルの生成処理：
Ｆ．画像処理装置による画像処理：
（Ｆ１）階調補正
（Ｆ２）ぼかし処理
Ｇ．画像ファイル編集装置：
【００２７】
Ａ．画像処理システムの構成：
図１は、本実施例における画像処理システムの概略構成の一例を示す説明図である。本実施例の画像処理システム１０は、画像ファイル生成装置としてのデジタルスチルカメラ１１と、画像ファイルを格納する媒体としてのメモリカードＭＣと、画像処理装置としてのパーソナルコンピュータ１２と、画像出力装置としてのカラープリンタＣＰとから構成される。
【００２８】
デジタルスチルカメラ１１は、ユーザ所望の画像処理モードや、画像データ内の特定の部位情報などを画像処理制御データＰＩＭ内に設定できる。画像処理モードとは、例えば階調補正やぼかし処理などの画像処理の方法を意味する。部位情報とは、パーソナルコンピュータ１２などの画像処理処置が画像処理を行う際に参照する画像データ内の特定の部位を示す情報である。デジタルスチルカメラ１１は、画像を撮影して得られた画像データと画像処理制御データＰＩＭとを一体的に備える画像ファイルを生成する。生成した画像ファイルＧＦはメモリカードＭＣに格納される。
【００２９】
パーソナルコンピュータ１２は、画像処理機能を有している。パーソナルコンピュータ１２は、メモリカードＭＣを介して、あるいは図示しないケーブルを介してデジタルスチルカメラから画像ファイルＧＦを入力し、画像ファイルＧＦに含まれる画像処理制御データＰＩＭを解析する。画像処理制御データＰＩＭには、部位情報が含まれるので、これを参照してユーザ所望の画像処理を施す。画像処理が施された画像データは、カラープリンタＣＰに転送され、印刷が行われる。
【００３０】
以上のように、本実施例の画像処理システム１０では、デジタルスチルカメラ１１側からパーソナルコンピュータ１２における画像処理を制御して、ユーザが所望した画像処理を自動的に施すことができる。デジタルスチルカメラ１１、画像ファイルＧＦ、パーソナルコンピュータ１２についての詳細は後述する。なお、ここではパーソナルコンピュータ１２が画像処理機能を有しているとしたが、むろんカラープリンタＣＰに画像処理機能を具備してもよい。
【００３１】
画像処理システム１０は、種々の態様を採ることができる。図２は、画像処理システム１０のバリエーションを示す説明図である。画像処理システム１０は、図１に示したデジタルスチルカメラ１１やパーソナルコンピュータ１２、カラープリンタＣＰの他に、画像処理機能を内蔵したディスプレイＤＰやサーバーＳＶを含むことができる。これらは、ケーブルＣＶあるいは無線通信で、直接あるいはネットワークＮＥを介して接続され、データのやり取りを行う。画像ファイル生成装置として、スキャナーやデジタルビデオカメラを接続することも可能である。
【００３２】
Ｂ．画像ファイル生成装置：
図３は、デジタルスチルカメラの概略構成を示すブロック図である。デジタルスチルカメラ１１は、光の情報をデジタルデバイス（ＣＣＤや光電子倍管）に結像させることにより画像を取得するカメラである。デジタルスチルカメラ１１は、光情報を収集するためのＣＣＤ等を備える光学回路１１１と、光学回路１１１を制御して画像を取得するための画像取得回路１１２と、取得したデジタル画像を加工するための画像加工回路１１３と、各回路を制御する制御部１１４とを備えている。制御部１１４は、内部にＣＰＵ、ＲＡＭ、ＲＯＭを備えるマイクロコンピュータとして構成されている。デジタルスチルカメラ１１は、また、画像処理モードや部位情報の各種設定を行うための選択・決定ボタン１１６や、撮影画像をプレビューしたり、各種設定画面を表示するための液晶ディスプレイ１１７を備えている。
【００３３】
図４は、デジタルスチルカメラ１１の機能ブロックを示す説明図である。デジタルスチルカメラ１１は、画像データを生成する画像データ生成部１１ａと、画像データ内で特定の部位を指定する部位指定部１１ｂと、画像処理制御データを生成する画像処理制御データ生成部１１ｃと、画像データと画像処理制御データとを含む画像ファイルを生成する画像ファイル生成部１１ｄと、生成された画像ファイルを出力する画像ファイル出力部１１ｅを備えている。
【００３４】
ユーザによって選択・決定ボタン１１６を用いて設定された各種情報は、画像処理制御データ生成部１１ｃによって画像処理制御データ内に設定され、画像データとともに一体的に画像ファイルとしてメモリカードＭＣ内に格納される。なお、画像処理制御データには、先に示した画像処理モードや部位情報の他に、デジタルスチルカメラ１１のガンマ値、ターゲット色空間や、撮影時に設定された露出時間、ホワイトバランス、絞り、シャッタースピード、レンズの焦点距離等の情報も含まれ得る。これらの情報は画像処理装置にて画像処理を施す際に適宜参照される。
【００３５】
デジタルスチルカメラ１１は、上述のように、取得した画像をデジタルデータとして記憶装置としてのメモリカードＭＣに保存する。デジタルスチルカメラ１１における画像データの保存形式としては、ＪＰＥＧ形式が一般的であるが、この他にもＴＩＦＦ形式、ＧＩＦ形式、ＢＭＰ形式等の保存形式が用いられ得る。
【００３６】
Ｃ．画像ファイルの構成：
図５は、画像ファイルＧＦの構成の一例を概念的に示す説明図である。画像ファイルＧＦは、デジタルスチルカメラ用画像ファイルフォーマット規格であるＥｘｉｆに従ったファイル構造を有している。Ｅｘｉｆファイルの仕様は、電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。
【００３７】
画像ファイルＧＦは、画像データを格納する画像データ格納領域１０１と、格納されている画像データに関する各種付属情報を格納する付属情報格納領域１０２とを備えている。画像データ格納領域１０１には、画像データがＪＰＥＧ形式で格納される。付属情報格納領域には、付属情報がＴＩＦＦ形式で格納される。付属情報格納領域１０２は、MakerNoteデータ格納領域１０３を備えている。MakerNoteデータ格納領域１０３は、デジタルスチルカメラ１１のメーカーに開放されている未定義領域である。本実施例における画像処理制御データＰＩＭは、MakerNoteデータ格納領域１０３に格納されている。なお、当業者にとって周知であるように、Ｅｘｉｆ形式のファイルでは、各データを特定するためにタグが用いられており、MakerNoteデータ格納領域１０３に格納されているデータに対してはタグ名としてMakerNoteが割り当てられ、MakerNoteタグと呼ばれている。
【００３８】
図６は、画像ファイルＧＦの詳細な階層構造を示す説明図である。図６（ａ）は、MakerNoteデータ格納領域１０３のデータ構造を示している。図６（ｂ）は、MakerNoteデータ格納領域１０３内に定義されているPrintMatchingデータ格納領域１０４を示している。PrintMatchingデータが画像処理制御データＰＩＭに相当する。
【００３９】
画像ファイルＧＦのMakerNoteデータ格納領域１０３もまた、タグによって格納されているデータを識別できる構成を備えており、画像処理制御データＰＩＭにはPrintMatchingのタグが割り当てられている。MakerNoteデータ格納領域１０３の各タグは、MakerNoteデータ格納領域１０３のトップアドレスからのオフセット値でポインタにより指定される。MakerNoteデータ格納領域１０３には、トップアドレスにメーカー名（６バイト）、続いて予約領域（２バイト）、ローカルタグのエントリ数（２バイト）、各ローカルタグオフセット（１２バイト）の情報が格納されている。メーカー名の後には、文字終端列を示す００ｘ０の終端コードが付されている。
【００４０】
PrintMatchingデータ格納領域１０４には、PrintMatchingパラメータが格納されていることを示すPrintMatching識別子や、指定されているパラメータ数を示すパラメータ指定数、予めパラメータ毎に割り振られているパラメータ番号を指定する値が格納されるパラメータ番号、指定されたパラメータ番号のパラメータの設定値が格納されているパラメータ設定値の情報、などが格納されている。パラメータ番号は、例えば、２バイトの領域に格納される情報であり、パラメータ設定値は、４バイトの領域に格納される情報である。画像処理装置側では、このPrintMatchingタグを指標として画像処理制御データＰＩＭ（各パラメータ値）を取得することができる。
【００４１】
図７は、PrintMatchingデータの一例を概念的に示す説明図である。図示するように、MakerNoteデータ格納領域１０３には、ガンマ値、色空間、コントラスト、明るさ、カラーバランス、彩度、後述する部位情報などの画像処理制御データＰＩＭ等が格納される。
【００４２】
なお、本実施例では、画像ファイルＧＦは、Ｅｘｉｆ形式のファイルであるものとして説明したが、もちろんこれに限られるものではない。画像データと画像処理制御データとを一体的に備える構造を採っていればよい。
【００４３】
Ｄ．画像処理制御データの生成処理：
（Ｄ１）画像処理モードの設定
上述した画像ファイルＧＦの生成に先立って、デジタルスチルカメラ１１には画像処理制御データＰＩＭが入力される。画像処理制御データＰＩＭには、ガンマ値やターゲット色空間、露出時間、ホワイトバランス、絞り、シャッタースピード、画像処理モード、部位情報などの各種パラメータを設定可能である。その中で、図８は、画像処理モードを設定するためのグラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す説明図である。本図はデジタルスチルカメラに具備された液晶ディスプレイ１１７に表示される画面を表したものであり、その操作には選択・決定ボタン１１６を用いることが可能である。まず、図８の上方に示すとおり、「画像処理モード」を選択した後、「決定」ボタンを押すと、図８の下方に示すように各種画像処理モードを選択することができる。本図では「階調補正」を選択した場合を例示した。さらに「決定」ボタンを押すことにより、選択された画像処理モードが画像処理制御データＰＩＭに設定される。設定された画像処理制御データＰＩＭは、揮発的あるいは不揮発的に制御部１１４内のＲＡＭあるいはＲＯＭに保存される。ここで、「階調補正」、「ぼかし処理」が選択されたときは、各処理で参照する部位の指定に移行する。なお、前記ＲＯＭは、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの各種書き換え可能なＲＯＭでもよい。
【００４４】
（Ｄ２）部位情報の設定
次に、画像処理制御データＰＩＭの一部である部位情報の設定方法を説明する。図９は、画像内に特定の部位を指定するためのＧＵＩの一例を示す説明図ある。ユーザは、選択・決定ボタン１１６を用いることにより、まず、第１の座標Ｐ１を液晶ディスプレイ１１７内で指定する。つづいて、第２の座標Ｐ２を指定することにより、矩形領域である部位Ａを指定することができる。次に、「決定」ボタンを押すことにより、指定された部位Ａの座標を示すＰ１（ｘ，ｙ）およびＰ２（ｘｘ，ｙｙ）が、部位情報として画像処理制御データＰＩＭに設定され、制御部１１４内のＲＡＭあるいはＲＯＭに保存される。なお、「決定」ボタンではなく、「キャンセル」ボタンを選択すれば、何度でも部位を指定しなおすことができる。
【００４５】
部位情報の設定方法は、上述の方法に限られることはなく、他の方法でも設定可能である。図１０は、画像内に部位を指定するためのＧＵＩの他の一例を示す説明図である。図１０では、予め設定されたパターンに従い、液晶ディスプレイ１１７内の領域をａ１からａ９までの９つの領域に分割している。ユーザは選択・決定ボタン１１６を用い、この領域の中で少なくとも１つの領域を選択する。本実施例の場合では領域ａ５を選択している。領域を選択した後、「決定」ボタンを押すことにより、その領域に対応した座標が部位情報として画像処理制御データＰＩＭ内に設定される。なお、座標に代えて、領域に固有に付された番号等を用いてもよい。部位情報が設定された画像処理制御データＰＩＭは、制御部１１４内のＲＡＭあるいはＲＯＭに保存される。
【００４６】
部位情報とは領域としての情報だけではなく、１点の座標としての情報でもよい。図１１は、画像内に部位を指定するためのＧＵＩの他の一例を示す説明図である。ユーザは選択・決定ボタン１１６を用いて液晶ディスプレイ１１７内の十字カーソル１２０等を操作し、座標Ｐ３（ｘ，ｙ）を指定する。指定された座標は、部位情報として画像処理制御データＰＩＭ内に設定され、部位情報が設定された画像処理制御データＰＩＭは、制御部１１４内のＲＡＭあるいはＲＯＭに保存される。
【００４７】
部位情報を設定する際に、上述のような座標の指定を毎回行うことは、ユーザーにとって大変煩わしい作業である。そのため、指定する座標の初期値をデジタルスチルカメラの焦点位置とすると好適である。この初期値は、ユーザの操作により変更可能であり、焦点位置以外の座標を初期値とすることも可能である。
【００４８】
Ｆ．画像ファイルの生成処理：
次に、画像ファイルの生成処理について説明する。図１２は、デジタルスチルカメラ１１における画像ファイルの生成処理の流れを示すフローチャートである。制御部１１４内のＣＰＵは、ユーザからの撮影要求、例えば、シャッターボタンの押し下げに応じて、光学回路１１１と画像取得回路１１２を制御し、画像データＧＤを生成する（ステップＳ１００）。ＣＰＵは生成された画像データＧＤを、一旦、制御部１１４内のＲＡＭに保存する。次に、ＲＡＭ内に保存された画像データＧＤを基に液晶ディスプレイ１１７上に画像を表示する。ユーザは上述した各種方法により、画像処理モードを選択し（ステップＳ１１０）、液晶ディスプレイ１１７内に表示された画像を参照して部位を指定する（ステップＳ１２０）。ＣＰＵは、選択された画像処理モードと指定された部位情報を基に画像処理制御データＰＩＭを生成する（ステップＳ１３０）。このとき、自動で、あるいは手動で設定された他のパラメータを画像処理制御データＰＩＭに含めてもよい。ＣＰＵは、生成した画像処理制御データＰＩＭをＲＡＭに保存する。最後に、ＣＰＵは、ＲＡＭに保存した画像データＧＤと画像処理制御データＰＩＭとを一体的に結合し、１つの画像ファイルＧＦを生成し（ステップＳ１４０）画像ファイルの生成工程を終了する。
【００４９】
以上の工程によって画像ファイルＧＦは生成され、最終的に、生成された画像ファイルＧＦはメモリカードＭＣに格納される。なお、本実施例では、画像データＧＤを生成してから画像処理モードや部位情報などを含む画像処理制御データＰＩＭを生成したが、画像処理制御データＰＩＭを生成してから画像データＧＤを生成しても構わない。この場合、液晶ディスプレイ１１７上に画像が表示されないこともあり得る。
【００５０】
Ｆ．画像処理装置による画像処理：
次に、パーソナルコンピュータ１２内で行う画像処理の詳細を説明する。図１３は、画像処理装置としてのパーソナルコンピュータ１２における画像処理の流れを示すフローチャートである。パーソナルコンピュータ１２は、メモリカードＭＣやケーブルＣＶを介し、デジタルスチルカメラ１１から画像ファイルＧＦを入力する（ステップＳ２００）。続いて、入力した画像ファイルＧＦから、画像データＧＤと画像処理制御データＰＩＭを抽出する（ステップＳ２１０、ステップＳ２２０）。次に、パーソナルコンピュータ１２は、抽出した画像処理制御データＰＩＭを解析し（ステップＳ２３０）、解析した画像処理制御データＰＩＭに基づき画像データＧＤに対し後述する各種画像処理を行い（ステップＳ２４０）、画像処理を終了する。
【００５１】
（Ｆ１）階調補正
図１３のステップＳ２４０における画像処理は、様々な態様が考えられ得るが、ここでは特に階調補正処理について説明する。図１４は、画像処理装置としてのパーソナルコンピュータ１２内おける階調補正処理の流れを示すフローチャートである。パーソナルコンピュータ１２は、画像データＧＤを予め設定した領域に分割し、各領域における画像の輝度平均値Ｙａｖｅを求める（ステップＳ３００）。通常、画像データＧＤは、ＹＣｂＣｒ色空間を用いたＪＰＥＧ形式で記録されているため、輝度平均値Ｙａｖｅは、その領域内の各画素のＹ値を加算し、領域内の全画素数で除することにより求めることができる。その後、部位情報により指定された部位を含む領域（指定領域ＳＡ）の輝度平均値を輝度基準値Ｙｓｔｄとして決定する（ステップＳ３１０）。本実施例では、図１０におけるａ５を指定領域ＳＡとした。
【００５２】
パーソナルコンピュータ１２が、画像データＧＤに階調補正を施すにあたり、より効果的な階調補正を行うためには、先に決定した輝度基準値Ｙｓｔｄからかけ離れた輝度平均値Ｙａｖｅを持つ領域を、以後の計算から省く必要がある。そのため、指定領域ＳＡから各領域までの距離に応じた閾値を設定する（ステップＳ３２０）。図１５は、指定領域ＳＡの中心点から他の領域の中心点までの距離Ｌを示す図である。図１７は、距離Ｌに対応した閾値Ｔｈを示すグラフである。本図に示すように、指定領域ＳＡから遠い領域ほど、不要領域として除外されやすくなるように閾値Ｔｈを設定する。図１６は、各領域における輝度平均値Ｙａｖｅと、輝度平均値Ｙａｖｅと輝度基準値Ｙｓｔｄとの差の絶対値Ｄｉｆを示す表である。パーソナルコンピュータ１２は、各領域について、輝度平均値Ｙａｖｅと輝度基準値Ｙｓｔｄとの差の絶対値Ｄｉｆを計算する（ステップＳ３３０）。絶対値Ｄｉｆと、その距離における閾値Ｔｈとを比較し（ステップＳ３４０）、絶対値Ｄｉｆが閾値を超えた場合、その領域を不要領域ＦＡとし、以後の計算からその領域を除外する（ステップＳ３５０）。本実施例の場合、図１７を見ると、ａ３，ａ６，ａ９の領域が除外されることがわかる。
【００５３】
次に、不要領域ＦＡ以外の領域（有効領域ＨＡ）と指定領域ＳＡとの距離によって重みづけを施した画像データＧＤ全体の輝度平均値Ｙａｖｅ’を求める（ステップＳ３６０）。図１８は、指定領域ＳＡから有効領域ＨＡまでの距離に対する重みづけＷの関係を示すグラフである。指定領域ａ５に対する各領域の重みづけＷを、本図のように、
ａ５：（ａ２，ａ８）：ａ４：（ａ１，ａ７）＝４：３：２：１
とすれば、次式によりＹａｖｅ’を求めることができる。
ΣＹａｖｅ＝ａ５＊４＋（ａ２＋ａ８）＊３＋ａ４＊２＋（ａ１＋ａ７）＊１
Ｙａｖｅ’＝ΣＹａｖｅ／（１＊４＋２＊３＋１＊２＋２＊１）
なお、閾値Ｔｈおよび重みづけＷは任意の値である。
【００５４】
最後に、重みづけを施した輝度平均値Ｙａｖｅ’を用い、画像データＧＤ全体に対し階調補正を行う（ステップＳ３７０）。不要領域ＦＡを含む画像データ全体の輝度平均値をＹａｌｌとし、画像データＧＤの各画素の輝度をＹｇとすると、新たな各画素の輝度Ｙｇ’は次式によって求めることができる。
Ｙｇ’＝Ｙｇ＊Ｙａｖｅ’／Ｙａｌｌ
この計算を全画素について行い、新たな画像データを生成し、パーソナルコンピュータ１２は階調補正を終了する。
【００５５】
（Ｆ２）ぼかし処理
次に、図１３のステップＳ２４０における画像処理の他の態様であるぼかし処理について説明する。図１９は、画像処理装置としてのパーソナルコンピュータ１２における、ぼかし処理の流れを示すフローチャートである。なお、本実施例において、指定部位は１点の座標（指定座標ＳＺ）とする。まず、パーソナルコンピュータ１２は、ぼかし処理を行う画素と指定座標ＳＺとの距離Ｌを測定する（ステップＳ４００）。次に、図２０のグラフに示すような関数により、距離Ｌに応じた行列成分値ｘを得る（ステップＳ４１０）。続いて、ぼかし処理を施す画素ＢＰを中心とする周囲９点について、以下に示す行列演算を行い新たな画素値ＢＰ’を得る。
【数１】

この行列演算を画像データＧＤ内の全ての画素について行い（ステップＳ４２０）、新たな画像データを生成し、パーソナルコンピュータ１２は、ぼかし処理を終了する。
【００５６】
以上、本実施例に従うパーソナルコンピュータ１２によれば、先に説明したデジタルスチルカメラ１１によって生成された画像ファイルＧＦの画像データＧＤに対し、所望の画像処理を施すことができる。
【００５７】
Ｇ．画像ファイル編集装置：
最後に、画像ファイル編集装置について説明する。画像ファイル編集装置は、既に画像処理制御データＰＩＭが設定された画像ファイルに対し、後から画像処理制御データＰＩＭを修正し、再設定することができる装置である。本実施例では、画像処理制御データＰＩＭの中で、特に部位情報の編集について説明する。図２１は、画像ファイル編集装置における画像処理制御データＰＩＭの編集処理の流れを示すフローチャートである。まず、画像処理制御装置は、画像ファイルＧＦをメモリカードＭＣやケーブルＣＶを介し入力する（ステップＳ５００）。次に、画像ファイルＧＦを解析し、画像データＧＤと画像処理制御データＰＩＭとを抽出する（ステップＳ５１０、ステップＳ５２０）。さらに画像処理制御データＰＩＭから部位情報を抽出し（ステップＳ５３０）、画像ファイル生成装置によって指定された部位（指定部位）を画像ファイル編集装置のユーザに提示する（ステップＳ５４０）。ユーザは、提示された指定部位を変更したい場合、新たな部位を指定する（ステップＳ５５０）。変更しない場合はそのまま処理を終了する。画像ファイル編集装置は、新たに指定された部位を部位情報として画像処理制御データ内に設定する（ステップＳ５６０）。最後に、先に抽出した画像データと新たな画像処理制御データとを一体的に結合し、新たな画像ファイルを得る（ステップＳ５７０）。画像処理制御装置は、新たな画像ファイルをメモリカードＭＣやケーブルＣＶを介し出力し（ステップＳ５８０）、画像ファイル編集処理を完了する。
【００５８】
なお、画像ファイル編集装置としての具体的な態様は、画像ファイルが編集できる装置であればよく、デジタルスチルカメラやパーソナルコンピュータ、プリンタなど各種考えられ得る。この場合、ユーザが新たな部位を指定するために、液晶ディスプレイやディスプレイ等の表示装置、マウスやキーボード等の入力装置を備えていることが好適である。
【００５９】
以上、本実施例に従う画像ファイル編集装置によれば、先に説明したデジタルスチルカメラ１１によって生成された画像ファイルＧＦの画像処理制御データＰＩＭを編集し、再設定することができる。
【００６０】
以上、実施例に基づき本発明に係る画像ファイル生成装置、画像処理装置、画像ファイル編集装置を説明してきたが、上述した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本実施例では、部位情報を設定する際、一箇所の部位を指定した場合のみを説明したが、複数の部位を指定してもよい。また、ソフトウェアで実現している機能をハードウェアで実現してもよいし、その逆ももちろん可能である。その他にも、本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
【図面の簡単な説明】
【図１】本実施例における画像処理システムの概略構成の一例を示す説明図である。
【図２】画像処理システムのバリエーションを示す説明図である。
【図３】デジタルスチルカメラの概略構成を示すブロック図である。
【図４】デジタルスチルカメラの機能ブロックを示す説明図である。
【図５】画像ファイルの構成の一例を概念的に示す説明図である。
【図６】画像ファイルの詳細な階層構造を示す説明図である。
【図７】PrintMatchingデータの一例を概念的に示す説明図である。
【図８】画像処理モードを設定するためのグラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す説明図である。
【図９】画像内に特定の部位を指定するためのＧＵＩの一例を示す説明図ある。
【図１０】画像内に部位を指定するためのＧＵＩの他の一例を示す説明図である。
【図１１】画像内に部位を指定するためのＧＵＩの他の一例を示す説明図である。
【図１２】デジタルスチルカメラにおける画像ファイルの生成処理の流れを示すフローチャートである。
【図１３】画像処理装置としてのパーソナルコンピュータにおける画像処理の流れを示すフローチャートである。
【図１４】画像処理装置としてのパーソナルコンピュータにおける階調補正処理の流れを示すフローチャートである。
【図１５】指定領域から他の領域までの距離Ｌ示す説明図である。
【図１６】各領域における輝度平均値と、輝度平均値と輝度基準値との差の絶対値を示す表である。
【図１７】距離に対応した閾値を示すグラフである。
【図１８】指定領域から有効領域までの距離に対する重みづけの関係を示すグラフである。
【図１９】画像処理装置としてのパーソナルコンピュータにおけるぼかし処理の流れを示すフローチャートである。
【図２０】距離に応じた行列成分値ｘを示すグラフである。
【図２１】画像ファイル編集装置における画像処理制御データの編集処理の流れを示すフローチャートである。
【符号の説明】
１０…画像処理システム
１１…デジタルスチルカメラ
１１ａ…画像データ生成部
１１ｂ…部位指定部
１１ｃ…画像処理制御データ生成部
１１ｄ…画像ファイル生成部
１１ｅ…画像ファイル出力部
１２…パーソナルコンピュータ
１００…画像ファイル
１０１…画像データ格納領域
１０２…付属情報格納領域
１１１…光学回路
１１２…画像取得回路
１１４…制御部
１１６…選択・決定ボタン
１１７…液晶ディスプレイ
１２０…十字カーソル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to generation of an image file including image processing information of image data and image data, and image processing using the image file.
[0002]
[Prior art]
In recent years, digital still cameras have become widespread. A digital still camera converts an image into an electrical signal using a semiconductor element that reacts to light, such as an electronic coupling element (CCD), and stores it as digital data in a magnetic disk or a semiconductor memory. Since a digital still camera is usually equipped with a liquid crystal display, a user can check a photographed image on the spot or delete an image that he / she does not like. In addition, an image taken with a digital still camera can be output to an image output device such as a display or printer of a general-purpose personal computer.
[0003]
[Problems to be solved by the invention]
However, in order for a user to perform desired image processing on an image captured with a digital still camera, first, the image file is transferred to a personal computer via a memory card or cable, and an image retouching application or a printer driver is used. Had to be processed. Therefore, it is necessary for the user to sufficiently learn how to use a personal computer and an image retouching application, and performing such a work for each image is a very complicated work.
[0004]
Although technology that automatically performs image processing based on image analysis has been proposed, image processing that reflects the user's intention is required for processing that requires reference to specific parts, such as exposure correction and background blurring processing. It was difficult to do automatically.
[0005]
The present invention has been made to solve the above-described problem, and an object thereof is to achieve automation while reflecting the user's intention in image processing performed with reference to a specific part.
[0006]
[Means for solving the problems and their functions and effects]
In order to solve at least a part of the problems described above, the present invention employs the following configuration. That is, the image file generation device of the present invention is
An image file generation device that generates an image file including image data and image processing control data used for image processing of the image data,
Image data generating means for capturing an image and generating image data representing the image;
A site setting means for setting a focus position, which is a position for focusing at the time of photographing the image, as a site to be referred to for performing predetermined image processing;
Image file generation means for generating an image file integrally including image processing control data including part information indicating the part and the generated image data ;
A part designating unit that designates a part to be referred to for performing the predetermined image processing by coordinates in the generated image data;
The part designating unit treats the focal position as an initial value of the part to be designated, and changes the part set by the part setting unit from the focal position to the designated part. .
[0007]
The above-described image file generation device generates an image file including image data and image processing control data. Here, the “image processing control data” is data for controlling image processing performed on the image data by the image processing apparatus. By analyzing the image processing control data, the image processing apparatus can automatically set various information used for image processing and perform image processing on the image data. This information may include contrast, brightness, color balance, saturation, sharpness, gamma value, target color space, and the like. In the image file generation device of the present invention, the focal position at the time of image shooting can be set in the image processing control data. Therefore, the image processing apparatus can perform image processing with reference to the focal position. By doing so, the user can realize the image processing intended by the user without any troublesome work including the image processing that requires the reference of the part. In addition, by setting a part referred to for performing predetermined image processing as a focal position, part information can be recorded in the image processing control data even if the user does not specify the part. As a result, user operations can be reduced. The focus position may be an initial value of the part information, and the position can be moved to a position different from the focus position by a user operation.
[0008]
In the above-described image file generation device,
The part designating unit may perform the designation in units of areas defined by dividing the image data by a preset pattern.
[0009]
By doing so, the user can specify a desired part only by an operation of selecting at least one area from among the previously divided areas, so that the operation burden can be reduced.
[0010]
In the above image file generation device,
The part designating unit may designate coordinates defined in the image data.
[0011]
By doing so, the user can specify the part in the image data in detail, and the image processing apparatus can be referred to the correct part and can perform image processing. There may be a plurality of reference sites. In this case, the priority order of the parts to be referred to during image processing may be set together.
[0012]
Furthermore, in the above-described image file generation device,
The predetermined image processing can be gradation correction processing.
[0013]
The gradation correction process includes a color reduction process, an exposure correction process, a brightness correction process, and the like. As a result, the image file generation device can cause the image processing device to perform a process of changing the color tone of the image with reference to the part designated in the image data.
[0014]
In the image file generation device of the present invention,
The predetermined image processing may be blurring processing.
[0015]
By doing so, the image file generation device can cause the image processing device to perform processing to enhance the image in the vicinity including the designated portion as compared with other portions.
[0018]
The image file generation apparatus of the present invention can be applied to various apparatuses that can generate image data, and can be applied to, for example, a digital still camera, a digital video camera, a scanner, and the like.
[0019]
Next, an image processing apparatus according to the present invention includes:
An image processing apparatus that performs image processing on an image file,
Means for inputting an image file including image data and part information indicating a specific part of the image data;
First acquisition means for acquiring image data from the image file;
Second acquisition means for acquiring site information from the image file;
The gist of the present invention is to provide image processing means for performing predetermined image processing with reference to a specific part in the image data based on the acquired part information.
[0020]
The above-described image processing apparatus can acquire image data and part information from an input image file, and can perform image processing based on the acquired part information. That is, since predetermined image processing can be performed automatically, the user can obtain an image that has undergone desired image processing without any operation, and the burden of operation can be reduced.
[0021]
Next, the image file editing apparatus of the present invention is
An input unit for inputting an image file including image data and part information indicating a specific part of the image data;
A part information input unit for inputting new part information;
The gist of the present invention is to provide an image file editing apparatus including update means for updating the part information to the new part information.
[0022]
This makes it possible to edit and update only the part information even after the image file is generated.
[0023]
Further, the present invention can be configured as the above-described image file generation apparatus, and can also be configured as an invention of an image file generation method. In this case, the present invention can be realized in various modes such as a computer program, a recording medium on which the program is recorded, and an electric signal that can be transmitted through a network that embodies the program. In addition, in these aspects, it cannot be overemphasized that the various additional elements shown previously are applicable.
[0024]
The image processing in the present invention can be realized by an image processing apparatus or a program. In this case, the entire program for driving the image processing apparatus may be configured, or may be configured as a program for a part of functions configuring other programs.
[0025]
Of course, the above-mentioned program may be recorded on a computer-readable recording medium. Various media such as flexible disks, CD-ROMs, magneto-optical disks, IC cards, ROM cartridges, computer internal storage devices (semiconductor storage devices such as RAM and ROM) and external storage devices (magnetic disk devices) as recording media Can be used.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described based on examples in the following order.
A. Image processing system configuration:
B. Image file generator:
C. Image file structure:
D. Image processing control data generation processing:
(D1) Image processing mode setting (D2) Site information setting Image file generation processing:
F. Image processing by image processing device:
(F1) Tone correction (F2) Blur processing Image file editing device:
[0027]
A. Image processing system configuration:
FIG. 1 is an explanatory diagram illustrating an example of a schematic configuration of an image processing system according to the present exemplary embodiment. The image processing system 10 of this embodiment includes a digital still camera 11 as an image file generation device, a memory card MC as a medium for storing image files, a personal computer 12 as an image processing device, and an image output device. And a color printer CP.
[0028]
The digital still camera 11 can set an image processing mode desired by the user, specific part information in the image data, and the like in the image processing control data PIM. The image processing mode means an image processing method such as gradation correction and blurring processing. The part information is information indicating a specific part in image data that is referred to when an image processing procedure such as the personal computer 12 performs image processing. The digital still camera 11 generates an image file that integrally includes image data obtained by capturing an image and image processing control data PIM. The generated image file GF is stored in the memory card MC.
[0029]
The personal computer 12 has an image processing function. The personal computer 12 inputs the image file GF from the digital still camera via the memory card MC or via a cable (not shown), and analyzes the image processing control data PIM included in the image file GF. Since the image processing control data PIM includes the part information, the image processing desired by the user is performed with reference to this part information. The image data that has been subjected to image processing is transferred to the color printer CP and printed.
[0030]
As described above, in the image processing system 10 of this embodiment, the image processing in the personal computer 12 can be controlled from the digital still camera 11 side, and the image processing desired by the user can be automatically performed. Details of the digital still camera 11, the image file GF, and the personal computer 12 will be described later. Although the personal computer 12 has an image processing function here, the color printer CP may of course have an image processing function.
[0031]
The image processing system 10 can take various aspects. FIG. 2 is an explanatory diagram showing variations of the image processing system 10. The image processing system 10 can include a display DP and a server SV with a built-in image processing function in addition to the digital still camera 11, the personal computer 12, and the color printer CP shown in FIG. These are connected via a cable CV or wireless communication, directly or via a network NE, and exchange data. It is also possible to connect a scanner or a digital video camera as the image file generation device.
[0032]
B. Image file generator:
FIG. 3 is a block diagram showing a schematic configuration of the digital still camera. The digital still camera 11 is a camera that acquires an image by imaging light information on a digital device (CCD or photomultiplier tube). The digital still camera 11 includes an optical circuit 111 including a CCD for collecting optical information, an image acquisition circuit 112 for controlling the optical circuit 111 to acquire an image, and a processing for processing the acquired digital image. An image processing circuit 113 and a control unit 114 that controls each circuit are provided. The control unit 114 is configured as a microcomputer including a CPU, RAM, and ROM therein. The digital still camera 11 also includes a selection / decision button 116 for performing various settings of the image processing mode and part information, and a liquid crystal display 117 for previewing the captured image and displaying various setting screens. .
[0033]
FIG. 4 is an explanatory diagram showing functional blocks of the digital still camera 11. The digital still camera 11 includes an image data generating unit 11a that generates image data, a part specifying unit 11b that specifies a specific part in the image data, an image processing control data generating unit 11c that generates image processing control data, An image file generation unit 11d that generates an image file including image data and image processing control data, and an image file output unit 11e that outputs the generated image file are provided.
[0034]
Various types of information set by the user using the selection / decision button 116 are set in the image processing control data by the image processing control data generation unit 11c, and are stored together with the image data in the memory card MC as an image file. The The image processing control data includes the gamma value of the digital still camera 11, the target color space, the exposure time set at the time of shooting, the white balance, the aperture, the shutter, in addition to the image processing mode and the part information described above. Information such as speed, lens focal length, etc. may also be included. Such information is appropriately referred to when image processing is performed in the image processing apparatus.
[0035]
As described above, the digital still camera 11 stores the acquired image as digital data in a memory card MC as a storage device. As a storage format of image data in the digital still camera 11, a JPEG format is common, but other storage formats such as a TIFF format, a GIF format, and a BMP format can be used.
[0036]
C. Image file structure:
FIG. 5 is an explanatory diagram conceptually showing an example of the configuration of the image file GF. The image file GF has a file structure according to Exif, which is an image file format standard for digital still cameras. Exif file specifications are defined by the Japan Electronics and Information Technology Industries Association (JEITA).
[0037]
The image file GF includes an image data storage area 101 for storing image data, and an attached information storage area 102 for storing various attached information related to the stored image data. In the image data storage area 101, image data is stored in JPEG format. In the attached information storage area, attached information is stored in the TIFF format. The attached information storage area 102 includes a MakerNote data storage area 103. The MakerNote data storage area 103 is an undefined area that is open to the manufacturer of the digital still camera 11. The image processing control data PIM in this embodiment is stored in the MakerNote data storage area 103. As is well known to those skilled in the art, a tag is used to specify each data in an Exif format file, and MakerNote is used as a tag name for data stored in the MakerNote data storage area 103. Is assigned and is called a MakerNote tag.
[0038]
FIG. 6 is an explanatory diagram showing a detailed hierarchical structure of the image file GF. FIG. 6A shows the data structure of the MakerNote data storage area 103. FIG. 6B shows a PrintMatching data storage area 104 defined in the MakerNote data storage area 103. PrintMatching data corresponds to the image processing control data PIM.
[0039]
The MakerNote data storage area 103 of the image file GF also has a configuration capable of identifying the data stored by the tag, and a PrintMatching tag is assigned to the image processing control data PIM. Each tag in the MakerNote data storage area 103 is designated by a pointer with an offset value from the top address of the MakerNote data storage area 103. In the MakerNote data storage area 103, information on the maker name (6 bytes), the reserved area (2 bytes), the number of local tag entries (2 bytes), and each local tag offset (12 bytes) is stored at the top address. ing. After the manufacturer name, a 00x0 end code indicating a character end string is attached.
[0040]
The PrintMatching data storage area 104 stores a PrintMatching identifier indicating that a PrintMatching parameter is stored, a parameter specification number indicating the number of specified parameters, and a value specifying a parameter number assigned in advance for each parameter. Information of the parameter setting value in which the parameter number to be set, the parameter setting value of the designated parameter number is stored, and the like are stored. The parameter number is, for example, information stored in a 2-byte area, and the parameter setting value is information stored in a 4-byte area. On the image processing apparatus side, the image processing control data PIM (each parameter value) can be acquired using the PrintMatching tag as an index.
[0041]
FIG. 7 is an explanatory diagram conceptually illustrating an example of PrintMatching data. As illustrated, the MakerNote data storage area 103 stores image processing control data PIM such as a gamma value, color space, contrast, brightness, color balance, saturation, and part information described later.
[0042]
In the present embodiment, the image file GF has been described as an Exif format file, but the present invention is not limited to this. It is only necessary to adopt a structure in which image data and image processing control data are integrally provided.
[0043]
D. Image processing control data generation processing:
(D1) Setting of Image Processing Mode Prior to generation of the image file GF described above, image processing control data PIM is input to the digital still camera 11. Various parameters such as a gamma value, target color space, exposure time, white balance, aperture, shutter speed, image processing mode, and part information can be set in the image processing control data PIM. Among them, FIG. 8 is an explanatory diagram showing a graphical user interface (GUI) for setting the image processing mode. This figure shows a screen displayed on the liquid crystal display 117 provided in the digital still camera, and the selection / determination button 116 can be used for the operation. First, as shown in the upper part of FIG. 8, after selecting the “image processing mode” and pressing the “OK” button, various image processing modes can be selected as shown in the lower part of FIG. 8. This figure illustrates the case where “tone correction” is selected. Further, by pressing the “OK” button, the selected image processing mode is set in the image processing control data PIM. The set image processing control data PIM is stored in the RAM or ROM in the control unit 114 in a volatile or non-volatile manner. Here, when “gradation correction” or “blurring process” is selected, the process proceeds to designation of a part to be referred to in each process. The ROM may be various rewritable ROMs such as PROM, EPROM, and EEPROM.
[0044]
(D2) Setting of part information Next, a method for setting part information which is a part of the image processing control data PIM will be described. FIG. 9 is an explanatory diagram showing an example of a GUI for designating a specific part in an image. The user first designates the first coordinate P1 in the liquid crystal display 117 by using the selection / determination button 116. Subsequently, by designating the second coordinate P2, the part A that is a rectangular area can be designated. Next, by pressing the “OK” button, P1 (x, y) and P2 (xx, yy) indicating the coordinates of the designated part A are set in the image processing control data PIM as part information, and the control unit The data is stored in the RAM or ROM in 114. If the “cancel” button is selected instead of the “decision” button, the part can be designated again and again.
[0045]
The method for setting the part information is not limited to the method described above, and can be set by other methods. FIG. 10 is an explanatory diagram showing another example of a GUI for designating a part in an image. In FIG. 10, the area in the liquid crystal display 117 is divided into nine areas a1 to a9 according to a preset pattern. The user uses the selection / decision button 116 to select at least one of the areas. In the present embodiment, the area a5 is selected. After selecting an area, by pressing the “OK” button, coordinates corresponding to the area are set as part information in the image processing control data PIM. In place of the coordinates, a number uniquely assigned to the area may be used. The image processing control data PIM in which the part information is set is stored in the RAM or ROM in the control unit 114.
[0046]
The part information may be not only information as a region but also information as coordinates of one point. FIG. 11 is an explanatory diagram illustrating another example of a GUI for designating a part in an image. The user operates the cross cursor 120 or the like in the liquid crystal display 117 using the selection / determination button 116 to designate coordinates P3 (x, y). The designated coordinates are set in the image processing control data PIM as part information, and the image processing control data PIM in which the part information is set is stored in the RAM or ROM in the control unit 114.
[0047]
It is very troublesome for the user to specify the coordinates as described above every time when setting the part information. For this reason, it is preferable that the initial value of the designated coordinates is the focal position of the digital still camera. This initial value can be changed by a user's operation, and coordinates other than the focal position can be used as the initial value.
[0048]
F. Image file generation processing:
Next, image file generation processing will be described. FIG. 12 is a flowchart showing the flow of image file generation processing in the digital still camera 11. The CPU in the control unit 114 controls the optical circuit 111 and the image acquisition circuit 112 in response to a shooting request from the user, for example, a depression of the shutter button, and generates image data GD (step S100). The CPU temporarily stores the generated image data GD in the RAM in the control unit 114. Next, an image is displayed on the liquid crystal display 117 based on the image data GD stored in the RAM. The user selects an image processing mode by the various methods described above (step S110), and designates a part by referring to the image displayed in the liquid crystal display 117 (step S120). The CPU generates image processing control data PIM based on the selected image processing mode and the designated part information (step S130). At this time, other parameters set automatically or manually may be included in the image processing control data PIM. The CPU stores the generated image processing control data PIM in the RAM. Finally, the CPU integrally couples the image data GD stored in the RAM and the image processing control data PIM to generate one image file GF (step S140), and ends the image file generation process.
[0049]
The image file GF is generated by the above steps, and finally the generated image file GF is stored in the memory card MC. In this embodiment, the image processing control data PIM including the image processing mode and the part information is generated after the image data GD is generated. However, the image data GD is generated after the image processing control data PIM is generated. It doesn't matter. In this case, an image may not be displayed on the liquid crystal display 117.
[0050]
F. Image processing by image processing device:
Next, details of image processing performed in the personal computer 12 will be described. FIG. 13 is a flowchart showing the flow of image processing in the personal computer 12 as the image processing apparatus. The personal computer 12 inputs the image file GF from the digital still camera 11 via the memory card MC and the cable CV (step S200). Subsequently, image data GD and image processing control data PIM are extracted from the input image file GF (steps S210 and S220). Next, the personal computer 12 analyzes the extracted image processing control data PIM (step S230), performs various image processing to be described later on the image data GD based on the analyzed image processing control data PIM (step S240), and performs image processing. The process ends.
[0051]
(F1) Gradation Correction Although various modes can be considered for the image processing in step S240 in FIG. 13, here, gradation correction processing will be particularly described. FIG. 14 is a flowchart showing the flow of gradation correction processing in the personal computer 12 as the image processing apparatus. The personal computer 12 divides the image data GD into preset areas, and obtains an average luminance value Yave of the image in each area (step S300). Usually, since the image data GD is recorded in the JPEG format using the YCbCr color space, the luminance average value Yave is obtained by adding the Y value of each pixel in the area and dividing by the total number of pixels in the area. Can be obtained. Thereafter, the luminance average value of the region (designated region SA) including the part designated by the part information is determined as the luminance reference value Ystd (step S310). In this embodiment, a5 in FIG. 10 is designated area SA.
[0052]
In order to perform more effective gradation correction when the personal computer 12 performs gradation correction on the image data GD, an area having a luminance average value Yave that is far from the previously determined luminance reference value Ystd is referred to below. It is necessary to omit from the calculation. Therefore, a threshold corresponding to the distance from the designated area SA to each area is set (step S320). FIG. 15 is a diagram illustrating the distance L from the center point of the designated area SA to the center point of another area. FIG. 17 is a graph showing the threshold Th corresponding to the distance L. As shown in the figure, the threshold value Th is set so that an area farther from the designated area SA is more easily excluded as an unnecessary area. FIG. 16 is a table showing the luminance average value Yave in each region and the absolute value Dif of the difference between the luminance average value Yave and the luminance reference value Ystd. The personal computer 12 calculates the absolute value Dif of the difference between the luminance average value Yave and the luminance reference value Ystd for each region (step S330). The absolute value Dif is compared with the threshold value Th at the distance (step S340). If the absolute value Dif exceeds the threshold value, the area is regarded as an unnecessary area FA and the area is excluded from the subsequent calculations (step S350). . In the case of the present embodiment, it can be seen from FIG. 17 that the areas a3, a6, and a9 are excluded.
[0053]
Next, the luminance average value Yave ′ of the entire image data GD weighted by the distance between the area other than the unnecessary area FA (effective area HA) and the designated area SA is obtained (step S360). FIG. 18 is a graph showing the relationship of the weight W with respect to the distance from the designated area SA to the effective area HA. The weight W of each area for the designated area a5 is as shown in the figure.
a5: (a2, a8): a4: (a1, a7) = 4: 3: 2: 1
Then, Yave ′ can be obtained by the following equation.
ΣYave = a5 * 4 + (a2 + a8) * 3 + a4 * 2 + (a1 + a7) * 1
Yave '= ΣYave / (1 * 4 + 2 * 3 + 1 * 2 + 2 * 1)
Note that the threshold Th and the weight W are arbitrary values.
[0054]
Finally, gradation correction is performed on the entire image data GD using the weighted luminance average value Yave ′ (step S370). If the average luminance value of the entire image data including the unnecessary area FA is Yall and the luminance of each pixel of the image data GD is Yg, the new luminance Yg ′ of each pixel can be obtained by the following equation.
Yg '= Yg * Yave' / Yall
This calculation is performed for all pixels to generate new image data, and the personal computer 12 ends the gradation correction.
[0055]
(F2) Blur Processing Next, the blur processing, which is another aspect of the image processing in step S240 in FIG. 13, will be described. FIG. 19 is a flowchart showing the flow of blurring processing in the personal computer 12 as the image processing apparatus. In the present embodiment, the designated part is a single point coordinate (designated coordinate SZ). First, the personal computer 12 measures the distance L between the pixel to be blurred and the designated coordinate SZ (step S400). Next, a matrix component value x corresponding to the distance L is obtained by a function as shown in the graph of FIG. 20 (step S410). Subsequently, the following matrix calculation is performed on nine points around the pixel BP to be subjected to blurring processing to obtain a new pixel value BP ′.
[Expression 1]

This matrix calculation is performed for all the pixels in the image data GD (step S420), new image data is generated, and the personal computer 12 ends the blurring process.
[0056]
As described above, according to the personal computer 12 according to the present embodiment, desired image processing can be performed on the image data GD of the image file GF generated by the digital still camera 11 described above.
[0057]
G. Image file editing device:
Finally, the image file editing apparatus will be described. The image file editing device is a device capable of correcting and resetting the image processing control data PIM later on the image file in which the image processing control data PIM has already been set. In this embodiment, editing of part information will be described in the image processing control data PIM. FIG. 21 is a flowchart showing a flow of editing processing of the image processing control data PIM in the image file editing apparatus. First, the image processing control apparatus inputs the image file GF via the memory card MC or the cable CV (step S500). Next, the image file GF is analyzed, and the image data GD and the image processing control data PIM are extracted (steps S510 and S520). Further, part information is extracted from the image processing control data PIM (step S530), and the part (designated part) designated by the image file generation device is presented to the user of the image file editing device (step S540). When the user wants to change the designated part that is presented, the user designates a new part (step S550). If no change is made, the process is terminated. The image file editing apparatus sets the newly designated part as part information in the image processing control data (step S560). Finally, the previously extracted image data and new image processing control data are integrally combined to obtain a new image file (step S570). The image processing control apparatus outputs a new image file via the memory card MC or the cable CV (step S580), and completes the image file editing process.
[0058]
The specific mode of the image file editing device may be any device that can edit an image file, and various types such as a digital still camera, a personal computer, and a printer can be considered. In this case, it is preferable that the user has a display device such as a liquid crystal display or a display and an input device such as a mouse or a keyboard in order to designate a new part.
[0059]
As described above, according to the image file editing apparatus according to the present embodiment, the image processing control data PIM of the image file GF generated by the digital still camera 11 described above can be edited and reset.
[0060]
As described above, the image file generation device, the image processing device, and the image file editing device according to the present invention have been described based on the embodiments. However, the embodiments of the present invention described above are for facilitating understanding of the present invention. There is no limitation to the present invention. In the present embodiment, only the case where one part is specified when setting the part information has been described, but a plurality of parts may be specified. In addition, functions realized by software may be realized by hardware, and vice versa. In addition, the present invention can be changed and improved without departing from the spirit and scope of the claims, and it is needless to say that the present invention includes equivalents thereof.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram illustrating an example of a schematic configuration of an image processing system according to an embodiment.
FIG. 2 is an explanatory diagram showing variations of the image processing system.
FIG. 3 is a block diagram illustrating a schematic configuration of a digital still camera.
FIG. 4 is an explanatory diagram showing functional blocks of a digital still camera.
FIG. 5 is an explanatory diagram conceptually illustrating an example of the configuration of an image file.
FIG. 6 is an explanatory diagram showing a detailed hierarchical structure of an image file.
FIG. 7 is an explanatory diagram conceptually illustrating an example of PrintMatching data.
FIG. 8 is an explanatory diagram showing a graphical user interface (GUI) for setting an image processing mode.
FIG. 9 is an explanatory diagram showing an example of a GUI for designating a specific part in an image.
FIG. 10 is an explanatory diagram illustrating another example of a GUI for designating a part in an image.
FIG. 11 is an explanatory diagram illustrating another example of a GUI for designating a part in an image.
FIG. 12 is a flowchart showing a flow of image file generation processing in the digital still camera.
FIG. 13 is a flowchart showing a flow of image processing in a personal computer as an image processing apparatus.
FIG. 14 is a flowchart showing a flow of gradation correction processing in a personal computer as an image processing apparatus.
FIG. 15 is an explanatory diagram showing a distance L from a designated area to another area.
FIG. 16 is a table showing a luminance average value in each region and an absolute value of a difference between the luminance average value and the luminance reference value.
FIG. 17 is a graph showing threshold values corresponding to distances.
FIG. 18 is a graph showing a relationship of weighting with respect to a distance from a designated area to an effective area.
FIG. 19 is a flowchart showing a flow of blurring processing in a personal computer as an image processing apparatus.
FIG. 20 is a graph showing matrix component values x according to distances.
FIG. 21 is a flowchart showing a flow of editing processing of image processing control data in the image file editing apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Image processing system 11 ... Digital still camera 11a ... Image data generation part 11b ... Site designation part 11c ... Image processing control data generation part 11d ... Image file generation part 11e ... Image file output part 12 ... Personal computer 100 ... Image file 101 Image data storage area 102 Attached information storage area 111 Optical circuit 112 Image acquisition circuit 114 Control unit 116 Selection / determination button 117 Liquid crystal display 120 Crosshair cursor

Claims

An image file generation device that generates an image file including image data and image processing control data used for image processing of the image data,
Image data generating means for capturing an image and generating image data representing the image;
A site setting means for setting a focus position, which is a position for focusing at the time of photographing the image, as a site to be referred to for performing predetermined image processing;
Image file generation means for generating an image file integrally including image processing control data including part information indicating the part and the generated image data ;
A part designating unit that designates a part to be referred to for performing the predetermined image processing by coordinates in the generated image data;
The part designating unit treats the focal position as an initial value of a part to be designated, and changes the part set by the part setting unit from the focal position to the designated part .

The image file generation device according to claim 1 ,
The image file generation device, wherein the predetermined image processing is gradation correction processing.

The image file generation device according to claim 1 ,
The image file generation device, wherein the predetermined image processing is blurring processing.