JP4364466B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4364466B2 JP4364466B2 JP2001284163A JP2001284163A JP4364466B2 JP 4364466 B2 JP4364466 B2 JP 4364466B2 JP 2001284163 A JP2001284163 A JP 2001284163A JP 2001284163 A JP2001284163 A JP 2001284163A JP 4364466 B2 JP4364466 B2 JP 4364466B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- face image
- image data
- cut out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に、光学系を介して被写体からの光信号を電気信号である画像信号に変換して出力する画像撮像手段を有し、被写体の顔を認識すると自動的に顔画像が切り出されてファイルに保存される撮像装置に関するものである。
【0002】
【従来の技術】
近年パーソナルコンピュータの発達に相まって、その画像入力装置としてのデジタルカメラの利用が広まってきた。特に、特殊な技術をもたない撮影者が使用する場合がほとんどであり、撮影の失敗を無くすためにシャッター速度、露出、ピント合わせを被写体に合わせて自動的に設定するようになっているものが多い。また、一般に被写体は人物である場合が多く、人物特有の設定モードを特別に備えたデジタルカメラはない。特開平10−334213号公報には、撮影背景、照度に影響されることなく、人物像を含むカラー画像データから対象の人物像の顔画像を自動認識し、顔画像のサイズに応じた領域を切り出す技術について開示されている。それによると、人物像を含むカラー画像を取得する画像取得CPUと、取得されたカラー画像などを画面表示するカラー液晶表示部と、前記カラー画像から人物像の顔画像を認識するため複数の顔認識色データを予め記憶した顔認識色メモリと、顔画像認識処理を指示する認識指示部と、前記画像認識処理の指示を受け、前記カラー画像の全領域の色データと前記顔認識色データを比較しいずれかの顔認識色データに一致する色データの領域を顔画像として認識する顔画像認識CPUと、認識された顔画像の切出領域を指示する領域指示部と、切出領域の指示を受け、顔画像のサイズに応じた領域の枠を作成する枠作成CPUと、前記枠に囲まれる領域の顔画像を切り出す顔画像切出CPUとから構成される。
【0003】
【発明が解決しようとする課題】
従来より証明写真などの撮影の際に、撮影された画像の顔が左右や上下に寄ったり傾いたりという問題があった。また、傾いている際には、画像を見て人が手動で切り出し位置を指定させたり、顔の位置を指定するなど作業が面倒であった。
また、特開平10−334213号公報は、撮影背景、照度に影響されることなく、人物像を含むカラー画像データから対象の人物像の顔画像を自動認識し、顔画像のサイズに応じた領域を切り出す技術であり、切り出すサイズのバランスや画像の傾きを補正することは考慮されていない。
本発明は、かかる課題に鑑み、顔画像を認識、判別することで自動的にサイズと傾きを補正した顔画像を切り出し、別の画像ファイルとして保存することが可能な撮像装置を提供することを目的とする。
【0004】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項1の発明は、光学系を介して得られた被写体に関する光信号を画像信号に変換し、画像データを出力する画像撮像手段を有する撮像装置において、前記被写体の画像データの中から顔画像を認識する顔画像認識手段と、該顔画像認識手段で認識された顔画像から、顔画像の各部分を判別する顔部分判別手段と、該顔部分判別手段で判別された前記顔画像の各部分に基づいて、前記被写体の画像データから前記顔画像の画像データを切り出す顔画像切出し手段と、前記顔画像認識手段により前記顔画像が認識された場合、前記被写体の画像データに対応する被写体画像ファイルと、前記顔画像切出し手段により切り出された前記顔画像の画像データに対応する顔画像ファイルとを作成、記録する記録手段とを備え、前記顔画像切出し手段は、前記顔部分判別手段により判別された前記顔画像の各部分の中心点を結ぶ直線が切り出す画像枠の垂直方向と平行になり、かつ、前記左右の余白は等しく、前記上下の余白は上の余白に対して下の余白が大きくなるようにすることで、切り出される前記顔画像の画像データにおける左右上下の余白が切り出される顔画像上の顔の大きさに対して一定の割合となるよう、前記顔画像の画像データを切り出すように構成されたことを特徴とする。証明書用の写真の被写体は人物である。従って、人物を撮影する場合、そのシャッターチャンスを逃さず撮影することが重要である。そして撮影された被写体の画像データをファイルに保存する。特に、デジタルカメラは画像信号をデジタル化して記録するため、コンピュータによる解析が容易である。かかる発明によれば、顔画像認識手段により被写体の画像データから顔画像が認識された場合、顔画像切出し手段が被写体の画像データから顔画像の画像データを切り出して被写体の画像データに対応する被写体画像ファイルとは別の顔画像の画像データに対応する顔画像ファイルとして記録するので、撮影する時顔が画像の端にあっても、証明書用写真を作製することができる。各パーツ(顔画像の各部分)は顔の中心線に対してほぼ対照的に配置されている。従って、各パーツの中心点を結ぶ直線が、切り出す画像枠の垂直方向と平行になるように、前記顔画像の画像データを切り出せば、顔が傾かずに切り出すことができる。かかる技術手段によれば、判別された前記顔画像の各部分の中心点を結ぶ直線が、切り出す画像枠の垂直方向と平行になるように前記顔画像の画像データを切り出すので、顔が傾かずに切り出すことができる。証明書用の写真の最も重要な点は、画像品質が高いことと、画像面の背景と顔とのバランスが良いことである。そのバランスは、切り出される顔画像の画像データにおける左右上下の余白と顔との比率で決定される。左右の余白は等しくし、上下の余白は上の余白に対して下の余白を大きくする。この理由は、下は首と胸があるためである。かかる技術手段によれば、切り出される顔画像の画像データにおける左右上下の余白が、該切り出される顔画像上の顔の大きさに対して一定の割合であるので、バランスの良い写真を作製することができる。
【0005】
また、請求項2の発明は、前記記録手段は、前記被写体画像ファイルと前記顔画像ファイルとを、関連付けて記録するよう構成されたことを特徴とする。切り出された顔画像とその元画像をファイリングする場合、関連付けされていたほうが好ましい。例えば、ファイル名を同じにして、形式または拡張子を変えるなどの方法がある。かかる技術手段によれば、前記被写体画像ファイルと前記顔画像ファイルとが、関連付けて記録されるので、元データと切り出した顔データの整理が容易となる。また、請求項3の発明は、前記切り出された顔画像の画像データに対し、前記顔画像上の顔および該顔と一体となる体部分以外の部分を、所定の色で塗りつぶすよう構成されたことを特徴とする。証明書用写真の特徴は、背景がある特定の色で塗りつぶされていることである。この理由は、それにより一層人物が際立つからである。しかし一般の写真から証明書用写真を作製しようとする場合、何らかの背景が撮影されていることが多い。そこで、その背景を所定の色で塗りつぶす操作が必要となる。尚、ここでいう顔画像とは顔と一体となる体部分も指す。かかる技術手段によれば、切り出された顔画像以外の部分を所定の色で塗りつぶすので、人物を一層際立たせることができる。
【0006】
また、請求項4の発明は、画像データの内容を表示する表示手段を備えると共に、該表示手段は、前記顔画像切出し手段により前記顔画像の画像データを切り出す際に、切り出す顔画像の領域を枠で表示するよう構成されたことを特徴とする。ここで、顔画像の領域とは顔画像とその背景を指す。表示手段がある場合、切り出される画像領域が目視できるのが最も明瞭に認識できる方法である。そこで、切り出す顔画像の領域を枠で表示するようにするのが好ましい。かかる技術手段によれば、前記顔画像の画像データを切り出す際に、切り出す顔画像の領域を枠で表示するので、切り出し領域を明瞭に認識でき、操作性が向上する。また、請求項5の発明は、画像の記録若しくは消去を選択する選択手段を備えると共に、該選択手段は、前記表示手段により表示された画像の記録若しくは消去を選択可能に構成されたことを特徴とする。撮影した画像あるいは切り出し画像は、全てが必要な画像ではない。表示手段によりそれらの画像を観察してその時点で記録か消去かを選択できれば操作性上好ましい。かかる技術手段によれば、表示手段により表示された顔画像に対して、前記選択手段により該画像の記録若しくは消去を選択可能としたので、操作性の向上とメモリの有効使用が可能となる。また、請求項6の発明は、前記表示手段により表示された前記顔画像に占める顔の面積が所定の面積より小さい場合に、前記顔画像を記録しないよう構成されたことを特徴とする。前記で説明したように、証明書用の写真の最も重要な点は、画像品質が高いことと、画像面の背景と顔とのバランスが良いことである。特に、画像品質の良否を判定する一つの指標は、顔の面積である。つまり面積が大きいほど画像品質が良いといえる。かかる技術手段によれば、表示手段により表示された前記顔画像に占める顔の面積が所定の面積より小さい場合に、前記顔画像を記録しないので、メモリの無駄な使用が防止でき、品質の悪い証明書用写真を撮影することが防げる。また、請求項7の発明は、前記顔の面積は、該面積が占める画素数の総和により決定されるよう構成されたことを特徴とする。画像を光電変換するCCDの単位面積あたりの画素密度は一定である。従って、面積が大きいほど画素数の総和は大きくなる。つまり、面積と画像品質は比例関係にある。かかる技術手段によれば、前記顔の面積は、該面積が占める画素数の総和により決定されるので、簡単な制御で正確に画像品質を判断することができる。また、請求項8の発明は、前記顔部分判別手段は、前記顔画像認識手段で認識された顔画像から、口、鼻、目の各部分を判別するよう構成されたことを特徴とする。人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出し、その顔画像から目、口、鼻などの各パーツ(部分)が判別できて初めて鮮明な画像を撮影することができる。また、判別した目、口、鼻などの各パーツの中心点を用いて顔画像の画像データを切り出すことで、顔が傾かずに切り出すことができる。
【0007】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図1は、本発明の実施形態のデジタルスチルカメラのブロック図である。この構成は、被写体の光学画像を集光するレンズ1と、レンズ1により集光された光束を集束する絞り部2と、図示しない複数のレンズを移動させて合焦したり、絞り部2を駆動するモータドライバ11と、レンズ1と絞り部2を通過した光学画像を光電変換するCCD(Charge Coupled Device:電荷結合素子)3と、CCD3に含まれる雑音を低減するCDS(Correlated Double Sampling)4と、CCD3からのアナログ信号をデジタル信号に変換するA/D変換器5と、前記CCD3、CDS4、A/D変換器5のタイミングを発生するタイミング発生器13と、画像処理パラメータに従って画像処理を行うデジタル信号処理回路7と、撮像画素の記録と画像処理された画像を記憶するフレームメモリ6と、液晶(LCD:Liquid Crystal Display)により撮像画像を表示する表示部8と、デジタル信号処理回路7で処理された画像データを圧縮あるいは源画像データに伸張する画像圧縮伸張回路9と、画像圧縮伸張回路9により圧縮された画像データを格納するメモリカード10と、制御プログラムに基づいて所定の制御を実行するマイクロコンピュータ(以下、マイコンと記す)14と、パラメータを格納するEEPROM(Electrically Erasable and Programmable Read Only Memory)16と、操作者がカメラ本体を操作するためのレリーズボタン等を備えたカメラ操作部17と、フイルム枚数やストロボの発光状態を監視するOSD(On-Screen Display)15と、被写体を照明するストロボ12により構成される。尚、レンズ1、絞り2、CCD3が主として画像撮像手段を構成し、表示部8、デジタル信号処理回路7、マイコン14が主として表示手段を構成し、カメラ操作部17が主として選択手段を構成する。
【0008】
次に、図1を参照しながら、本構成のデジタルスチルカメラ100の動作概要について説明する。操作者は図示しないファインダから被写体を覗き、カメラ操作部17のレリーズボタンを押すと、マイコン14はその信号を検出してモータドライバ11に対してレンズ1と絞り2を駆動して、被写体の画像をCCD3に合焦させる。必要であればストロボ12を発光させる。これらの一連の動作は、自動的にマイコン14が図示しないセンサの情報に基づいて行われる。CCD3に合焦された画像は、タイミング発生器13から発生されるクロックにより順次取り出され、CDS4によりデータに含まれる雑音を低減する。ここで、CCDの出力信号に含まれる雑音は、リセット雑音が支配的である。この雑音を低減するために信号期間に含まれる映像信号とリセット雑音及び、フィールドスルー期間のみに含まれるリセット雑音から両者を引き算することによりリセット雑音をキャンセルしている。そして、そのアナログ信号をA/D変換器5により10ビットのデジタル信号に変換して、デジタル信号処理回路7に入力され、フレームメモリ6に一時保管される。そして、EEPROM16に格納されたパラメータにより、マイコン14からの指示によりフレームメモリ6に一時保管されたデータを処理し、その処理された画像をフレームメモリ6に再び格納する。この処理の中にホワイトバランス処理が含まれる。さらに、フレームメモリ6に書き込まれたデータを表示部8の制御部に送り、LCDにその内容を表示する。
フレームメモリ6は、少なくとも撮像画素の1画面以上の画像データを蓄積することができる画像メモリであり、例えば、VRAM(Video Random Access Memory)、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory) 、あるいはSDRAM(Synchronous DRAM)などの一般に用いられているメモリを用いる。
【0009】
ここで、操作者の意思により、その画像をメモリカード10に記録しておきたい場合、カメラ操作部17から指示をすると、マイコン14はそれに従って、デジタル信号処理回路7に対して画像をメモリカード10に転送する制御を実行する。つまり、画像処理された画像をフレームメモリ6から読み出し、画像圧縮伸張回路9に送る。ここで、JPEG(Joint Photographic Experts Group)方式で画像を圧縮し、メモリカード10に記憶する。この符号化アルゴリズムにはADCT(適応離散コサイン)を用い、最初に解像度の低い画像を符号化し、次第に解像度が高くなるような階層符号化も取り入れられる。このようにメモリカードは、フレームメモリ6に格納されたデータを圧縮し、その圧縮データを格納しておくためのものである。この他に、例えば8MB程度の内部メモリあるいはスマートメディア・コンパクトフラッシュなどに記録する構成であってもよい。
また、逆にメモリカード10の内容を表示部8に表示する場合や、外部端子により他のPCと接続して画像データを転送したい場合は、所望のメモリカードをカメラ本体の図示しないコネクタに挿入して、カメラ操作部17から指示すると、マイコン14はデジタル信号処理回路7に指示してメモリカードの圧縮された画像データを読み出し、画像圧縮伸張回路9に入力して、圧縮のアルゴリズムに従ってデータを伸張して元に戻し、表示部8に画像を表示する。
【0010】
図6は、本発明の実施形態の顔画像切り出し部の概略ブロック図である。この構成は、被写体の画像を1枚分記憶する画像メモリ20と、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部21と、全体の制御を司る制御部22と、複数の顔の特徴を格納する顔特徴記憶部24と、画像取り込み部21からのデータと顔特徴記憶部24からのデータから顔を認識して各部分を判別する認識・判別部23と、その結果データから所定の顔画像を切り出す顔画像切り出し部26と、最終的な判断結果を外部に出力する出力部25から構成されている。ここで、画像メモリ20は図1のフレームメモリ6を使用しても良い。また、その他の部分は図1のマイコン14により実現しても構わないし、あるいは専用のLSIにより実現しても良い。尚、認識・判別部23と顔特徴記憶部24が主として顔画像認識手段と顔部分判別手段を構成する。
【0011】
次に、顔画像の検出の説明に入る前に、公知の顔画像の認識技術について、その概要を説明しておく。尚、本発明での顔認識は従来の個人の顔として確実に認識できるレベルである必要は無く、被写体が顔か、あるいはそれ以外の他の物体かの2者択一の認識レベルで充分である。顔画像認識における対象項目は大きく分けると次の2つとなる。
1)人物の識別:対象人物が誰であるかを識別する。
2)表情識別:人物がどのような表情をしているかを識別する。
すなわち、1)の人物識別は顔の構造認識であり静的識別といえる。また、2)の表情識別は顔の形状変化の認識であり、動的識別ともいえる。本発明の場合は、前記よりさらに単純な識別といえる。また、これらの識別の手法として、1)2次元的手法、2)3次元的手法があり、コンピュータでは主に1)2次元的手法が使用されている。これらの詳しい内容はここでは省略する。また、表情識別の手法として、FACS(Facial ACtion unit System)による考え方があり、これを用いると表情構成要素の特徴点の位置を用いて表現できる。
今後は、これらの技術を用いて入室管理システム、人物像データベースシステム、認識通信システム等に適用が考えられる。
【0012】
図2は、本発明の実施形態の動作フローチャートである。図1、図6と併せて参照しながら説明する。被写体の画像データは前記図1のCCDにより光電変換され画像処理されて画像メモリ20に記憶される。その画像データはある所定の単位(フレーム、バイト)に画像取り込み部21に取り込まれる(S1)。次に、画像データは認識・判別部23に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部24とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部22に伝えられ、顔画像が認識され(S2)、そのデータから各部分(目、鼻、口)が判別される(S3)。その結果顔画像の認識と各部分が判別された場合(YESのルート)、以下、実施形態ごとに分けて説明する。図3は、本発明の第1の実施形態を説明するための顔画像の図である。まず顔画像認識手段は、被写体の画像データの中から顔画像1を認識する。顔部分判別手段は、顔画像認識手段で認識された顔画像1から、顔画像1の各部分を判別する。そして、顔画像切出し手段(顔画像切出し部26)は、顔部分判別手段で判別された顔画像1の各部分に基づいて、被写体の画像データから顔画像1の画像データを切り出す。顔画像認識手段により顔画像1が認識された場合に、記録手段は、被写体の画像データに対応する被写体画像ファイルと、顔画像切出し手段により切り出された顔画像1の画像データに対応する顔画像ファイルとを作成、記録する。より具体的には、顔画像切出し部26や制御部22は顔画像1をパーツごとにエリアを分割する。つまり、口のパーツ3、鼻のパーツ4、及び目のパーツ5の3パーツに分割する(S4)。次に、口の中心A、鼻の中心B、目の中心Cを割り出し(S5)、A、B、C3点より一番近い直線2を割り出す(S6)。ここで、直線2は、切り出す画像の枠14の垂直方向と平行になるように切り出す。以上のように、人物を特定する最適な部分は、顔であり、被写体中から顔画像1を抽出し、その顔画像1から、口3、鼻4、目5などの各パーツが判別できて初めて鮮明な画像を撮影することができる。そして各パーツは顔の中心線2に対してほぼ対照的に配置されている。従って、各パーツの中心点A、B、Cを結ぶ直線2が、切り出す顔画像1の枠14の垂直方向と平行になるように、顔画像1の画像データを切り出せば、顔が傾かずに切り出すことができる。
【0013】
図4と図5は、本発明の第2の実施形態を説明するための顔画像の図である。図4により、切り出される顔画像1上の顔の大きさから左右の余白8、9を決め、切り出し枠6、7の垂直を割り出す(S7)。次に、図5により顔画像1上の顔の大きさから上下の余白10、11を決め、切り出し枠12、13の水平を割り出す(S8)。次に、ステップ7、8で割り出された切り出し枠6、13、7、12に沿って顔画像1が切り出される(S9)。以上のように、証明書用の写真の最も重要な点は、画像品質が高いことと、画像面の背景と顔とのバランスが良いことである。そのバランスは、切り出される顔画像1の画像データにおける左右上下の余白と顔との比率で決定される。一般には左右の余白8、9は等しくし、上下の余白10、11は上の余白10に対して下の余白11を大きくする。この理由は、下は首と胸があるためである。このように、切り出される顔画像1の画像データの左右上下の余白が、切り出される顔画像1上の顔の大きさに対して一定の割合であるので、バランスの良い写真を作製することができる。
【0014】
次に、本発明の第3の実施形態として、切り出された顔画像のファイルが作成され(S10)、さらに元画像(撮影画像)のファイルが作成される(S11)。切り出された顔画像とその元画像をファイリングする場合、関連付けされていたほうが後々都合がよい。例えば、元画像をRimg0001.jpg、顔画像をRimg0001.tifのように、ファイル名を同じにして、形式または拡張子を変えるなどの方法がある。その他にも、画像ファイル名は8文字で構成され、上位4文字は任意のアルファベットもしくは数字にし、下位4文字は数字とする。または元画像と顔画像の上位4文字を異なるものにし、下位4文字を同じ値にするという方法もある(元画像:Rimg0001.jpg、顔画像Rpic0001.jpg)。これにより、元画像(被写体画像ファイル)と顔画像(顔画像ファイル)とが、上記したような所定の関係に基づいてファイルとして記録されるので、元データと切り出した顔データの整理が容易となる。また、本発明の第4の実施形態として、証明書用写真の特徴は、背景がある特定の色で塗りつぶされていることである。この理由は、こうすることにより、より一層人物が際立つからである。しかし一般の写真から証明書用写真を作製しようとする場合、何らかの背景が撮影されていることが多い。そこで、その背景を所定の色で塗りつぶす操作が必要となる。尚、ここでいう顔画像とは顔と一体となる体部分も指す。ここで、本発明の第5の実施形態として、表示部8に切り出される画像領域が目視できるようにすれば、最も明瞭に切り出す顔画像1の領域が認識できる。そこで、切り出す顔画像1の領域を枠で表示するようにするのが好ましい。これにより、切り出す顔画像1の領域を明瞭に認識でき、操作性が向上する。また、本発明の第6の実施形態として、撮影した画像あるいは切り出し画像は、全てが必要な画像ではない。表示部8によりそれらの画像を観察して、その時点で記録か消去かを選択できれば操作性上好ましい。これにより、操作性の向上とメモリの有効使用が可能となる。
【0015】
また、本発明の第7の実施形態として、前記で説明したように、証明書用の写真の最も重要な点は、画像品質が高いことと、画像面の背景と顔とのバランスが良いことである。特に、画像品質の良否を判定する一つの指標は、顔の面積である。つまり面積が大きいほど画像品質が良いといえる。つまり、画像を光電変換するCCDの単位面積あたりの画素密度は一定である。従って、面積が大きいほど画素数の総和は大きくなる。つまり、面積と画像品質は比例関係にあるといえる。そのような理由により、前記顔の面積は、該面積が占める画素数の総和により決定されるので、簡単な制御で正確に画像品質を判断することができる。また、表示部8により表示された顔画像に占める顔の面積が所定の面積より小さい場合に、顔画像を記録しないので、メモリの無駄な使用が防止でき、品質の悪い証明書用写真を撮影することが防げる。
【0016】
【発明の効果】
以上記載のごとく本発明によれば、請求項1は、顔画像認識手段により被写体の画像データから顔画像が認識された場合、顔画像切出し手段が被写体の画像データから顔画像の画像データを切り出して被写体の画像データに対応する被写体画像ファイルとは別の顔画像の画像データに対応する顔画像ファイルとして記録するので、撮影する時顔が画像の端にあっても、証明書用写真を作製することができる。また、顔の各部分の略中心点を結ぶ直線が、切り出す画像枠の垂直方向と平行になるように顔画像の画像データを切り出すので、顔が傾かずに切り出すこことができる。また、切り出される顔画像の画像データにおける左右上下の余白が、切り出される顔画像上の顔の大きさに対して一定の割合となるように、顔画像の画像データを切り出すよう構成されているので、また、左右の余白は等しくし、下は首と胸があるため上下の余白は上の余白に対して下の余白を大きくしているので、バランスの良い写真を作製することができる。請求項2は、被写体画像ファイル(元データ)と顔画像ファイル(顔データ)とが、関連付けて記録されるので、元データと切り出した顔データの整理が容易となる。請求項3は、切り出された顔画像上の顔および該顔と一体となる体部分以外の部分を所定の色で塗りつぶすので、人物を一層際立たせることができる。請求項4は、顔画像の画像データを切り出す際に、切り出す顔画像の領域を枠で表示するので、切り出し領域を明瞭に認識でき、操作性が向上する。請求項5は、表示手段により表示された顔画像に対して、前記選択手段により該画像の記録若しくは消去を選択可能としたので、操作性の向上とメモリの有効使用が可能となる。請求項6は、表示手段により表示された顔画像に占める顔の面積が所定の面積より小さい場合に、顔画像を記録しないので、メモリの無駄な使用が防止でき、品質の悪い証明書用写真を撮影することが防げる。請求項7は、前記顔の面積は、該面積が占める画素数の総和により決定されるので、簡単な制御で正確に画像品質を判断することができる。また、請求項8の発明は、前記顔部分判別手段は、前記顔画像認識手段で認識された顔画像から、口、鼻、目の各部分を判別するよう構成されたことを特徴とする。人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出し、その顔画像から目、口、鼻などの各パーツ(部分)が判別できて初めて鮮明な画像を撮影することができる。また、判別した目、口、鼻などの各パーツの略中心点を用いて顔画像の画像データを切り出すことで、顔が傾かずに切り出すことができる。
【図面の簡単な説明】
【図1】本発明の実施形態のデジタルスチルカメラのブロック図である。
【図2】本発明の実施形態を説明するためのフローチャートである。
【図3】本発明の第1の実施形態を説明するための顔画像(その1)の図である。
【図4】本発明の第2の実施形態を説明するための顔画像(その2)の図である。
【図5】本発明の第2の実施形態を説明するための顔画像の図である。
【図6】本発明の実施形態の顔画像切り出し部の概略ブロック図である。
【符号の説明】
20 画像メモリ、21 画像取り込み部、22 制御部、23 認識・判別部、24 顔特徴記憶部、25 出力部、26 顔画像切り出し部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image pickup apparatus, and more particularly to an image pickup unit that converts an optical signal from a subject into an image signal that is an electrical signal via an optical system and outputs the image signal. The present invention relates to an imaging apparatus in which an image is cut out and saved in a file.
[0002]
[Prior art]
In recent years, with the development of personal computers, the use of digital cameras as image input devices has become widespread. Especially, it is mostly used by photographers who do not have special technology, and the shutter speed, exposure, and focus are automatically set according to the subject to eliminate shooting failures There are many. In general, the subject is often a person, and there is no digital camera specially equipped with a person-specific setting mode. In Japanese Patent Laid-Open No. 10-334213, a face image of a target person image is automatically recognized from color image data including a person image without being affected by the shooting background and illuminance, and an area corresponding to the size of the face image is defined. A technique for cutting out is disclosed. According to this, an image acquisition CPU for acquiring a color image including a human image, a color liquid crystal display unit for displaying the acquired color image and the like, and a plurality of faces for recognizing a human facial image from the color image. A face recognition color memory in which recognition color data is stored in advance, a recognition instruction unit for instructing a face image recognition process, and an instruction for the image recognition process, and the color data of the entire area of the color image and the face recognition color data are A face image recognition CPU that recognizes, as a face image, an area of color data that matches and matches one of the face recognition color data, an area instruction unit that indicates a cut-out area of the recognized face image, and an instruction for the cut-out area And a frame creation CPU that creates a frame of an area according to the size of the face image, and a face image cut-out CPU that cuts out a face image of the area surrounded by the frame.
[0003]
[Problems to be solved by the invention]
Conventionally, when taking a photograph or the like, there has been a problem that the face of the photographed image approaches or tilts to the left or right or up and down. In addition, when tilted, it is troublesome for a person to manually specify a cutout position or specify a face position by looking at an image.
Japanese Patent Laid-Open No. 10-334213 discloses a region corresponding to the size of the face image by automatically recognizing the face image of the target person image from color image data including the person image without being affected by the photographing background and illuminance. This is a technique for cutting out images, and it is not considered to correct the balance of the size to be cut out or the inclination of the image.
In view of such a problem, the present invention provides an imaging device capable of automatically cutting out a face image whose size and inclination are corrected by recognizing and discriminating the face image and saving it as another image file. Objective.
[0004]
[Means for Solving the Problems]
In order to solve this problem, the present invention provides an image pickup apparatus having an image pickup means for converting an optical signal relating to a subject obtained through an optical system into an image signal and outputting image data. A face image recognizing unit for recognizing a face image from the image data of the subject, a face part determining unit for determining each part of the face image from the face image recognized by the face image recognizing unit, and the face part When the face image is recognized by the face image recognizing means and the face image extracting means for extracting the image data of the face image from the image data of the subject based on each part of the face image determined by the determining means A subject image file corresponding to the image data of the subject, and a face image file corresponding to the image data of the face image cut out by the face image cutting means. And means, the face image cut-out unit is collimated perpendicular direction of the face portion image frame straight line cut connecting the center points of each part of the face image is determined by the determining means, and the right and left The size of the face on the face image from which the left and right and top and bottom margins are extracted in the image data of the face image to be cut out by making the upper and lower margins equal to each other so that the lower margin is larger than the upper margin. The image data of the face image is cut out so as to be a constant ratio with respect to the height . The subject of the certificate photo is a person. Therefore, when photographing a person, it is important to photograph without missing a photo opportunity. Then, the image data of the photographed subject is stored in a file. In particular, since a digital camera digitizes and records an image signal, analysis by a computer is easy. According to this invention, when the face image is recognized from the image data of the subject by the face image recognition means, the face image extraction means cuts out the image data of the face image from the image data of the subject and corresponds to the subject image data. Since it is recorded as a face image file corresponding to the image data of a face image different from the image file, a certificate photograph can be created even when the face is at the edge of the image . Each part (each part of the face image) is arranged almost in contrast to the center line of the face. Therefore, if the image data of the face image is cut out so that the straight line connecting the center points of the parts is parallel to the vertical direction of the image frame to be cut out, the face can be cut out without being inclined. According to this technical means, the image data of the face image is cut out so that the straight line connecting the center points of the determined portions of the face image is parallel to the vertical direction of the image frame to be cut out. Can be cut out. The most important points of a certificate photograph are high image quality and good balance between the background of the image plane and the face. The balance is determined by the ratio of the left, right, top and bottom margins and the face in the image data of the face image to be cut out. The left and right margins are the same, and the upper and lower margins are larger than the upper margin. This is because the bottom has a neck and chest. According to such technical means, the left and right and upper and lower margins in the image data of the face image to be cut out are a fixed ratio with respect to the size of the face on the face image to be cut out. Can do.
[0005]
Further, the invention of
[0006]
According to a fourth aspect of the present invention, there is provided display means for displaying the contents of image data, and the display means defines a face image area to be cut out when the face image cutout means cuts out the image data of the face image. It is configured to display with a frame. Here, the face image area refers to the face image and its background. When there is a display means, the most clearly recognizable method is that the image area to be cut out can be visually observed. Therefore, it is preferable to display the face image area to be cut out with a frame. According to this technical means, when the image data of the face image is cut out, the face image area to be cut out is displayed with a frame, so that the cut out area can be clearly recognized and the operability is improved. Further, the invention of claim 5 is provided with selection means for selecting recording or erasing of an image, and the selection means is configured to be able to select recording or erasing of an image displayed by the display means. And The captured image or the cut-out image is not all necessary images. It is preferable in terms of operability if these images can be observed by the display means and recording or erasing can be selected at that time. According to such technical means, since the face image displayed by the display means can be selected to record or erase the image by the selection means, it is possible to improve the operability and effectively use the memory. Further, the invention of claim 6 is characterized in that the face image is not recorded when the area of the face occupied in the face image displayed by the display means is smaller than a predetermined area. As described above, the most important points of the certificate photograph are high image quality and a good balance between the background of the image surface and the face. In particular, one index for determining the quality of image quality is the area of the face. In other words, the larger the area, the better the image quality. According to such a technical means, when the area of the face occupied in the face image displayed by the display means is smaller than a predetermined area, the face image is not recorded, so that useless use of the memory can be prevented and the quality is poor. You can prevent taking a photo for the certificate. The invention of
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to embodiments shown in the drawings. However, the components, types, combinations, shapes, relative arrangements, and the like described in this embodiment are merely illustrative examples and not intended to limit the scope of the present invention only unless otherwise specified. .
FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention. In this configuration, a lens 1 that collects an optical image of a subject, a
[0008]
Next, an outline of the operation of the digital
The frame memory 6 is an image memory that can store image data of at least one screen of image pickup pixels. For example, a video random access memory (VRAM), a static random access memory (SRAM), a dynamic random access memory (DRAM). ) Or a commonly used memory such as SDRAM (Synchronous DRAM).
[0009]
Here, if the operator wants to record the image on the
Conversely, when displaying the contents of the
[0010]
FIG. 6 is a schematic block diagram of the face image cutout unit according to the embodiment of the present invention. This configuration includes an
[0011]
Next, before describing the detection of a face image, an outline of a known face image recognition technique will be described. Note that the face recognition in the present invention does not have to be a level at which it can be reliably recognized as a conventional individual face, and a two-way recognition level of whether the subject is a face or another object is sufficient. is there. The target items in face image recognition are roughly divided into the following two.
1) Person identification: Identify who the target person is.
2) Facial expression identification: what kind of facial expression a person has is identified.
That is, the person identification of 1) is a face structure recognition and can be said to be a static identification. Also, facial expression identification in 2) is recognition of face shape change and can be said to be dynamic identification. In the case of the present invention, it can be said that the identification is simpler than the above. Further, these identification methods include 1) a two-dimensional method and 2) a three-dimensional method, and 1) a two-dimensional method is mainly used in a computer. These detailed contents are omitted here. Further, as a facial expression identification method, there is a concept based on FACS (Facial ACtion unit System), which can be expressed using the position of the feature point of the facial expression component.
In the future, it is possible to apply these technologies to room entry management systems, person image database systems, recognition communication systems, and the like.
[0012]
FIG. 2 is an operation flowchart of the embodiment of the present invention. This will be described with reference to FIGS. The subject image data is photoelectrically converted by the CCD shown in FIG. 1, subjected to image processing, and stored in the
[0013]
FIG. 4 and FIG. 5 are face image diagrams for explaining the second embodiment of the present invention. 4, the left and
[0014]
Next, as a third embodiment of the present invention, a clipped face image file is created (S10), and an original image (captured image) file is created (S11). When filing the cut face image and its original image, it is more convenient later to associate them. For example, if the original image is Rimg0001. jpg, the face image is set to Rimg0001. Like tif, there is a method of changing the format or extension with the same file name. In addition, the image file name is composed of 8 characters, the upper 4 characters are arbitrary alphabets or numbers, and the lower 4 characters are numbers. Alternatively, there is a method in which the upper 4 characters of the original image and the face image are different and the lower 4 characters are set to the same value (original image: Rimg0001.jpg, face image Rpic0001.jpg). As a result, the original image (subject image file) and the face image (face image file) are recorded as a file based on the above-described predetermined relationship, so that the original data and the extracted face data can be easily organized. Become. Further, as a fourth embodiment of the present invention, a feature of the certificate photograph is that the background is filled with a specific color. This is because the person stands out even more by doing this. However, when creating a certificate photo from a general photo, some background is often taken. Therefore, an operation for painting the background with a predetermined color is required. The face image referred to here also refers to a body part that is integrated with the face. Here, as a fifth embodiment of the present invention, if such an image area to be cut out on the
[0015]
As described above, as the seventh embodiment of the present invention, the most important points of the certificate photograph are that the image quality is high and the background of the image plane and the face are well balanced. It is. In particular, one index for determining the quality of image quality is the area of the face. In other words, the larger the area, the better the image quality. That is, the pixel density per unit area of the CCD that photoelectrically converts the image is constant. Therefore, the larger the area, the larger the total number of pixels. That is, it can be said that the area and the image quality are in a proportional relationship. For this reason, the area of the face is determined by the total number of pixels that the area occupies, so that the image quality can be accurately determined with simple control. Further, when the area of the face occupied by the face image displayed by the
[0016]
【The invention's effect】
As described above, according to the present invention, in the first aspect, when the face image is recognized from the image data of the subject by the face image recognizing unit, the face image extracting unit extracts the image data of the face image from the image data of the subject. Because it is recorded as a face image file corresponding to the image data of the face image different from the subject image file corresponding to the image data of the subject, even if the face is at the edge of the image, a certificate photo is created can do. In addition, since the image data of the face image is cut out so that the straight line connecting the approximate center points of each part of the face is parallel to the vertical direction of the image frame to be cut out, the face can be cut out without being inclined. In addition, the image data of the face image is cut out so that the left, right, top and bottom margins in the image data of the face image to be cut out are a fixed ratio with respect to the size of the face on the face image to be cut out. Also, since the left and right margins are equal and the bottom has a neck and chest, the top and bottom margins are larger than the top margin, so that a well-balanced photo can be produced. According to the second aspect , the subject image file (original data) and the face image file (face data) are recorded in association with each other, so that the original data and the extracted face data can be easily organized. According to the third aspect , the face other than the face on the cut face image and the body part integrated with the face is painted in a predetermined color, so that the person can be more prominent. According to the fourth aspect , when the image data of the face image is cut out, the face image area to be cut out is displayed with a frame, so that the cut out area can be clearly recognized and the operability is improved. According to the fifth aspect , since the face image displayed by the display unit can be selected to record or delete the image by the selection unit, the operability can be improved and the memory can be used effectively. According to the sixth aspect of the present invention, since the face image is not recorded when the area of the face in the face image displayed by the display means is smaller than the predetermined area, useless use of the memory can be prevented, and the certificate photograph with poor quality can be prevented. You can prevent shooting. According to the seventh aspect of the present invention, since the area of the face is determined by the total number of pixels occupied by the area, the image quality can be accurately determined by simple control. The invention according to
[Brief description of the drawings]
FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention.
FIG. 2 is a flowchart for explaining an embodiment of the present invention.
FIG. 3 is a face image (part 1) for explaining the first embodiment of the present invention;
FIG. 4 is a face image (No. 2) for describing a second embodiment of the present invention;
FIG. 5 is a face image for explaining a second embodiment of the present invention.
FIG. 6 is a schematic block diagram of a face image cutout unit according to the embodiment of the present invention.
[Explanation of symbols]
20 image memory, 21 image capture unit, 22 control unit, 23 recognition / discrimination unit, 24 face feature storage unit, 25 output unit, 26 face image cutout unit
Claims (8)
前記被写体の画像データの中から顔画像を認識する顔画像認識手段と、
該顔画像認識手段で認識された顔画像から、顔画像の各部分を判別する顔部分判別手段と、
該顔部分判別手段で判別された前記顔画像の各部分に基づいて、前記被写体の画像データから前記顔画像の画像データを切り出す顔画像切出し手段と、
前記顔画像認識手段により前記顔画像が認識された場合、前記被写体の画像データに対応する被写体画像ファイルと、前記顔画像切出し手段により切り出された前記顔画像の画像データに対応する顔画像ファイルとを作成、記録する記録手段とを備え、
前記顔画像切出し手段は、
前記顔部分判別手段により判別された前記顔画像の各部分の中心点を結ぶ直線が切り出す画像枠の垂直方向と平行になり、かつ、
前記左右の余白は等しく、前記上下の余白は上の余白に対して下の余白が大きくなるようにすることで、切り出される前記顔画像の画像データにおける左右上下の余白が切り出される顔画像上の顔の大きさに対して一定の割合となるよう、
前記顔画像の画像データを切り出すように構成されたことを特徴とする撮像装置。In an imaging apparatus having an image imaging means for converting an optical signal relating to a subject obtained through an optical system into an image signal and outputting image data,
Face image recognition means for recognizing a face image from the image data of the subject;
Face part discrimination means for discriminating each part of the face image from the face image recognized by the face image recognition means;
Face image cutout means for cutting out the image data of the face image from the image data of the subject based on each part of the face image determined by the face portion determination means;
When the face image is recognized by the face image recognition unit, a subject image file corresponding to the image data of the subject, and a face image file corresponding to the image data of the face image cut out by the face image cutout unit the creation and recording means for recording,
The face image cutting means is
A straight line connecting the center points of each part of the face image determined by the face part determining means is parallel to the vertical direction of the image frame to be cut out, and
The left and right margins are equal, and the upper and lower margins are set so that the lower margin is larger than the upper margin, whereby the left and right and upper and lower margins in the image data of the face image to be cut out are on the face image to be cut out. To be a certain percentage of the face size,
An image pickup apparatus configured to cut out image data of the face image .
該表示手段は、前記顔画像切出し手段により前記顔画像の画像データを切り出す際に、切り出す顔画像の領域を枠で表示するよう構成されたことを特徴とする請求項1ないし3記載の撮像装置。A display means for displaying the contents of the image data is provided,
The display means, the face image by cut-out means when cutting out the image data of the face image, the image pickup apparatus to 3 according claims 1, characterized in that the area of the facial image is configured to display a frame cutting .
該選択手段は、前記表示手段により表示された画像の記録若しくは消去を選択可能に構成されたことを特徴とする請求項4記載の撮像装置。A selection means for selecting whether to record or erase the image;
5. The imaging apparatus according to claim 4 , wherein the selection unit is configured to be able to select recording or erasing of the image displayed by the display unit.
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001284163A JP4364466B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
| US10/244,670 US7298412B2 (en) | 2001-09-18 | 2002-09-17 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
| US11/745,753 US7973853B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method calculating an exposure based on a detected face |
| US11/745,775 US7787025B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device that cuts out a face image from subject image data |
| US11/745,703 US7903163B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
| US11/745,686 US7978261B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
| US11/745,789 US7920187B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device that identifies portions of a face |
| US13/012,558 US8421899B2 (en) | 2001-09-18 | 2011-01-24 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001284163A JP4364466B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003092726A JP2003092726A (en) | 2003-03-28 |
| JP4364466B2 true JP4364466B2 (en) | 2009-11-18 |
Family
ID=19107536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001284163A Expired - Fee Related JP4364466B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4364466B2 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005084980A (en) * | 2003-09-09 | 2005-03-31 | Fuji Photo Film Co Ltd | Data generation unit for card with face image, method and program |
| JP4281498B2 (en) * | 2003-09-30 | 2009-06-17 | カシオ計算機株式会社 | Image photographing apparatus and program |
| JP4553346B2 (en) * | 2003-10-22 | 2010-09-29 | キヤノン株式会社 | Focus adjustment device and focus adjustment method |
| JP4647289B2 (en) * | 2004-11-10 | 2011-03-09 | 富士フイルム株式会社 | Image processing method, apparatus, and program |
| JP4538386B2 (en) | 2005-07-06 | 2010-09-08 | 富士フイルム株式会社 | Target image recording apparatus, imaging apparatus, and control method thereof |
| JP4929631B2 (en) * | 2005-07-08 | 2012-05-09 | カシオ計算機株式会社 | Image generating apparatus and image generating method |
| JP2007065290A (en) | 2005-08-31 | 2007-03-15 | Nikon Corp | Autofocus device |
| JP2007124446A (en) * | 2005-10-31 | 2007-05-17 | Nikon Corp | Digital camera |
| JP2007310487A (en) * | 2006-05-16 | 2007-11-29 | Canon Inc | Image processing apparatus, image processing method, program, and recording medium |
| JP4829804B2 (en) * | 2007-01-29 | 2011-12-07 | キヤノン株式会社 | Image recording apparatus, control method for image recording apparatus, control program, and storage medium |
| KR101460130B1 (en) * | 2007-12-11 | 2014-11-10 | 삼성전자주식회사 | A method of video communication in a portable terminal and an apparatus thereof |
| JP4623193B2 (en) | 2008-09-29 | 2011-02-02 | カシオ計算機株式会社 | Imaging apparatus, imaging method, and program |
| JP2010117787A (en) | 2008-11-11 | 2010-05-27 | Seiko Epson Corp | Image processing apparatus |
| JP5202283B2 (en) * | 2008-12-20 | 2013-06-05 | 三洋電機株式会社 | Imaging apparatus and electronic apparatus |
| KR20130078676A (en) * | 2011-12-30 | 2013-07-10 | 삼성전자주식회사 | Display apparatus and control method thereof |
| IL302194A (en) * | 2015-04-01 | 2023-06-01 | Owl Labs Inc | Compositing and scaling angularly separated sub-scenes |
| JP7694002B2 (en) * | 2020-03-04 | 2025-06-18 | 日本電気株式会社 | Facial recognition device and facial recognition method |
-
2001
- 2001-09-18 JP JP2001284163A patent/JP4364466B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003092726A (en) | 2003-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4364466B2 (en) | Imaging device | |
| US8488847B2 (en) | Electronic camera and image processing device | |
| US7734098B2 (en) | Face detecting apparatus and method | |
| US8494286B2 (en) | Face detection in mid-shot digital images | |
| CN1678032B (en) | Digital camera and control method thereof | |
| CN101616261B (en) | Image recording apparatus, image recording method, image processing apparatus, and image processing method | |
| JP4364464B2 (en) | Digital camera imaging device | |
| US7835550B2 (en) | Face image recording apparatus, image sensing apparatus and methods of controlling same | |
| US20050248681A1 (en) | Digital camera | |
| TWI496109B (en) | Image processor and image synthesis method thereof | |
| JP2005086516A (en) | Imaging apparatus, printing apparatus, image processing apparatus, and program | |
| US8421900B2 (en) | Image capturing apparatus, an image capturing method and a machine readable medium storing thereon a computer program for capturing an image of a range wider than an image capture designation range | |
| JP4364465B2 (en) | Imaging device | |
| JP4421151B2 (en) | Digital camera imaging device | |
| US20050200722A1 (en) | Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program | |
| JP4894708B2 (en) | Imaging device | |
| JP3649468B2 (en) | Electronic album system with shooting function | |
| JP2005323015A (en) | Digital camera | |
| JP4371219B2 (en) | Digital camera | |
| JP2007150603A (en) | Electronic camera | |
| JP5213506B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
| JP4802884B2 (en) | Imaging apparatus, captured image recording method, and program | |
| JP5640377B2 (en) | Image processing apparatus, camera, and image processing program | |
| JP2008172501A (en) | Imaging apparatus | |
| KR101467871B1 (en) | Digital image processing apparatus having automatic zoom function and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070323 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090819 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |