JP5595239B2 - Image processing apparatus and control method thereof - Google Patents
Image processing apparatus and control method thereof Download PDFInfo
- Publication number
- JP5595239B2 JP5595239B2 JP2010255813A JP2010255813A JP5595239B2 JP 5595239 B2 JP5595239 B2 JP 5595239B2 JP 2010255813 A JP2010255813 A JP 2010255813A JP 2010255813 A JP2010255813 A JP 2010255813A JP 5595239 B2 JP5595239 B2 JP 5595239B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- bracket
- processing apparatus
- similar
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、ブラケット撮影された画像データを処理する機能を備えた画像処理装置及びその制御方法に関するものである。 The present invention relates to an image processing apparatus having a function of processing image data captured by bracketing and a control method thereof.
ビデオカメラやデジタルカメラには、複数の異なる撮影条件で同一被写体を連続して撮影するブラケット撮影を行なう機能を備えたものがある。例えば、複数の露出で撮影する露出ブラケット撮影、複数の合焦位置で撮影するフォーカスブラケット撮影、複数の感度(ISO値)で撮影するISOブラケット撮影等がある。ブラケット撮影において設定値を異ならせる撮影パラメータをブラケット撮影パラメータと称する。ブラケット撮影を活用することで、失敗撮影の回避や、同じシーンを異なった撮影条件で記録しておくことができる。ブラケット撮影機能は動画像の撮影にも適用できる。 Some video cameras and digital cameras have a function of performing bracket shooting for continuously shooting the same subject under a plurality of different shooting conditions. For example, there are exposure bracket shooting for shooting with multiple exposures, focus bracket shooting for shooting with multiple focus positions, ISO bracket shooting for shooting with multiple sensitivities (ISO values), and the like. Shooting parameters that vary the set values in bracket shooting are referred to as bracket shooting parameters. By using bracket shooting, it is possible to avoid failed shooting and to record the same scene under different shooting conditions. The bracket shooting function can also be applied to moving image shooting.
ブラケット撮影された画像データ(以下、ブラケット撮影データという)は、ブラケット撮影パラメータの値が異なる複数の画像データ(以下、ブラケットコンテンツという)から構成される。図3を用いてブラケット撮影データとブラケットコンテンツについて説明する。図3は、種々の撮影パラメータのうち特にフォーカス位置(合焦位置)をブラケット撮影パラメータとするブラケット撮影により得られる2つの画像データからなるブラケット撮影データの例である。すなわち、フォーカス以外の撮影パラメータの値はブラケットコンテンツ間で共通である。フォーカスブラケット撮影は、例えば、撮像範囲を複数の分割領域に分割し、異なる複数の分割領域を選択し、合焦対象を各分割領域内の被写体に限定して複数回撮影することにより行う。 Image data taken with bracketing (hereinafter referred to as bracketing imaging data) is composed of a plurality of image data (hereinafter referred to as bracketing content) having different bracketing shooting parameter values. The bracket shooting data and the bracket content will be described with reference to FIG. FIG. 3 shows an example of bracket shooting data composed of two image data obtained by bracket shooting using a focus shooting position (focus position) as a bracket shooting parameter among various shooting parameters. That is, the values of the shooting parameters other than the focus are common between the bracket contents. Focus bracket shooting is performed by, for example, dividing an imaging range into a plurality of divided areas, selecting a plurality of different divided areas, and shooting a plurality of times by limiting a focus target to a subject in each divided area.
図3において、フォーカスブラケット撮影データ301は、フォーカスA(ある分割領域内にある被写体Aに合焦)とフォーカスB(別の分割領域内にある被写体Bに合焦)とに合焦位置を異ならせてフォーカスブラケット撮影された画像データである。フォーカスAで撮影された画像データがブラケットコンテンツ302、フォーカスBで撮影された画像データがブラケットコンテンツ303である。ブラケット撮影データとブラケットコンテンツとの関係は、静止画像のブラケット撮影データも動画像のブラケット撮影データも同様とする。 In FIG. 3, the focus bracket shooting data 301 has different focus positions for focus A (focusing on subject A in a certain divided area) and focus B (focusing on subject B in another divided area). It is the image data taken with focus bracketing. Image data photographed with focus A is bracket content 302, and image data photographed with focus B is bracket content 303. The relationship between bracket shooting data and bracket content is the same for bracket shooting data for still images and bracket shooting data for moving images.
ブラケット撮影データは、異なる複数の撮影条件で撮影した複数のブラケットコンテンツを含むため、データ量が大きくなる課題がある。特に動画像のブラケット撮影においてこの課題はより顕著である。 Since the bracket shooting data includes a plurality of bracket contents shot under a plurality of different shooting conditions, there is a problem that the amount of data increases. In particular, this problem is more conspicuous in bracket shooting of moving images.
この問題を解決するために、ブラケット撮影された画像データを優先的に削除して記録媒体の空き容量を確保する技術が特許文献1に記載されている。 In order to solve this problem, Patent Document 1 discloses a technique for preferentially deleting image data captured by bracketing to secure a free space on a recording medium.
ブラケット撮影された画像データには、撮影条件は異なるものの実際の画像にはほとんど差がない冗長な複数の画像データが含まれる場合もある。一方、ブラケット撮影は、複数の異なる撮影条件で撮影した画像データを記録しておきたいというユーザの積極的な意
図により行われることもある。そのような場合、ブラケット撮影された複数の画像データはいずれもユーザにとって必要な画像データであると考えられる。
In some cases, the bracketed image data includes a plurality of redundant image data with different image capturing conditions but almost no difference in actual images. On the other hand, bracket shooting may be performed by the user's positive intention to record image data shot under a plurality of different shooting conditions. In such a case, it is considered that all of the plurality of image data captured by bracket shooting is image data necessary for the user.
特許文献1の技術では、ブラケット撮影された画像データは無条件に削除対象となってしまうので、ユーザにとって必要な画像データが意図せず削除される可能性がある。 In the technique of Patent Document 1, since image data captured by bracketing is unconditionally deleted, image data necessary for the user may be deleted unintentionally.
そこで、本発明は、ブラケット撮影により得られた画像データのデータ量を削減することができる技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique capable of reducing the data amount of image data obtained by bracket photographing.
本発明は、所定の撮影パラメータの値を異ならせて撮影を行うブラケット撮影により得られた複数の画像データのうち、前記撮影パラメータの値の差分が閾値以下である2つの画像データを類似画像データと判定する判定手段と、
前記判定手段により類似画像データと判定された2つの画像データのうち一方の画像データを削除する削除手段と、
を有する画像処理装置である。
According to the present invention, two pieces of image data in which a difference between the photographing parameter values is equal to or less than a threshold value among a plurality of pieces of image data obtained by bracket photographing that performs photographing with different values of predetermined photographing parameters are similar image data. Determining means for determining
A deletion unit that deletes one of the two pieces of image data determined to be similar image data by the determination unit;
Is an image processing apparatus.
本発明は、所定の撮影パラメータの値を異ならせて撮影を行うブラケット撮影により得られた複数の画像データのうち、前記撮影パラメータの値の差分が閾値以下である2つの画像データを類似画像データと判定する判定工程と、
前記判定工程により類似画像データと判定された2つの画像データのうち一方の画像データを削除する削除工程と、
を有する画像処理装置の制御方法である。
According to the present invention, two pieces of image data in which a difference between the photographing parameter values is equal to or less than a threshold value among a plurality of pieces of image data obtained by bracket photographing that performs photographing with different values of predetermined photographing parameters are similar image data. A determination step for determining
A deletion step of deleting one of the two pieces of image data determined to be similar image data by the determination step;
Is a control method of an image processing apparatus having
本発明によれば、ブラケット撮影された画像データのデータ量を削減することが可能になる。 According to the present invention, it is possible to reduce the data amount of image data captured by bracketing.
以下、本発明に係わる画像処理装置の発明を実施するための形態について、図面を用いて説明する。図1は本実施例の画像処理装置の概略構成を示したブロック図である。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments for carrying out the invention of an image processing apparatus according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of the image processing apparatus according to the present embodiment.
画像処理装置101は、画像入力部102、蓄積部103(メモリ)、画像処理部104、及び表示部105を有し、画像入力部102に入力される映像が蓄積部103及び画像処理部104を経て表示部105に表示される。また、入力される画像データがブラケット撮影データか否かを判定するブラケット判定部106、ブラケット撮影データ内のブラケットコンテンツ群の中に互いに類似したブラケットコンテンツがあるか否かを判定する類似判定部107が備わる。更に、ブラケットコンテンツの削除処理の指示を出す削除指示部108、削除通知部109、操作部110が含まれている。以下に各部の詳細について述べる。
The image processing apparatus 101 includes an
画像処理装置101は、入力される画像データを蓄積し、画像データに対し画像処理を行った結果を再生し表示することができる。また、画像処理装置101は、蓄積された画
像データがブラケット撮影データであるか否かを判定し、ブラケット撮影データ内のブラケットコンテンツの削除処理を行うことができる。
The image processing apparatus 101 can store input image data, and can reproduce and display the result of performing image processing on the image data. Further, the image processing apparatus 101 can determine whether or not the accumulated image data is bracket shooting data, and can perform a process of deleting the bracket content in the bracket shooting data.
画像入力部102は、画像処理装置101で蓄積し表示可能な画像データの入力インターフェースであり、受信した画像データを蓄積部103へ出力する。
The
蓄積部103は、画像入力部102から入力された画像データを蓄積する。また、蓄積部103は、画像データをブラケット判定部106へ出力する。これにより、画像入力部102から入力され蓄積した画像データがブラケット撮影データか否かが判断される。画像データがブラケット撮影データの場合は、後述する類似判定の結果に応じて、削除指示部108の指示により、ブラケット撮影データ内のブラケットコンテンツの削除処理が行われる。類似判定及び削除処理の詳細は後述する。また、蓄積部103は、画像データを表示するために、後段の画像処理部104へ画像データを送信する。
The
画像処理部104は、蓄積部103から入力された画像データに対し画像処理を行う。更に、削除通知部109から入力される情報表示用グラフィックスを前記画像データに合成する処理を行い、表示部105に転送する。
The
表示部105は、画像処理部104から入力される画像データ又は画像データと情報表示用グラフィックスとを合成したデータを、表示パネルによって表示する。
The
ブラケット判定部106は、蓄積部103から入力される画像データを解析し、前記画像データがブラケット撮影データであるか否かを判定する。画像データの解析は、静止画像データの場合、例えばEXIF(Exchangeable Image File Format)のような、撮像装置側で画像データに付加した撮影条件情報に基づき行う。動画像の場合、例えばMPEG(Moving Picture Experts Group)のメタデータなどに記述される撮影条件情報に基づいて画像データの解析をすることで、ブラケット撮影データか否かを判断することができる。
The
類似判定部107は、ブラケット判定部106でブラケット撮影データであると判断された場合に、前記ブラケット撮影データ内で互いに類似しているブラケットコンテンツ(類似画像データ)があるか否かを判定する(判定手段)。判定の方法は、前記撮影条件情報で示されている撮影パラメータの値を解析する方法と、ブラケットコンテンツの画像データの差分を解析する方法とがある。詳細は後述する。
The
削除指示部108は、類似判定部107にて類似しているブラケットコンテンツがあると判定されたことを示す信号を受信した場合に、削除指示信号を蓄積部103に出力する。また、操作部110から削除指示を受信した場合についても、削除指示信号を蓄積部103に出力する。具体的には、削除指示部108は、類似していると判定された2つのブラケットコンテンツのうち、一方を残し他方を削除する指示を蓄積部103に対して出力する。
The
削除通知部109は、類似判定部107にて類似しているブラケットコンテンツがあると判定されたことを示す信号を受信した場合、ユーザに対して削除を促す通知を行う。そのために、削除通知部109は、ユーザに削除指示を入力させるGUI(グラフィカルユーザインターフェース)を構成するグラフィックスを生成し、画像処理部104に出力する。削除通知部109は、本発明の入力手段として機能している。
When the
操作部110は、画像処理装置101への指示を入力するためのユーザの操作を受け付け、ユーザによる操作を画像処理装置101への指示に変換して所定の機能部へ通知する
。例えば、前記削除を促す通知を表示部105で確認したユーザが、削除するか否かを判断して、その指示を操作部110に対する操作によって画像処理装置101に入力することができる。操作部110は、ユーザの操作に応じて、削除指示部108に対して、削除処理を行うか否かの信号を出力する。
The
図2は、画像処理装置101における、ブラケット撮影データ内のブラケットコンテンツを削除する処理を行うための画像処理装置の制御方法を表すフローチャートである。 FIG. 2 is a flowchart showing a control method of the image processing apparatus for performing the process of deleting the bracket content in the bracket shooting data in the image processing apparatus 101.
ステップS201にてブラケット撮影データ内のブラケットコンテンツの削除処理が開始されると、ステップS202で画像入力部102に画像データが入力される。ステップS203では入力された画像データが蓄積部103に蓄積される。蓄積された画像データは、ブラケット判定部106により、撮影条件を解析される(ステップS204)。
When the deletion processing of the bracket content in the bracket shooting data is started in step S201, the image data is input to the
ステップS205では、ブラケット判定部106により、前記撮影条件の解析結果から、入力(蓄積)された画像データがブラケット撮影データか否か判定する。ブラケット撮影データであると判定された場合(ステップS205:Yes)は、ステップS206の処理が実行され、そうでない場合(ステップS205:No)はステップS213で本フローの処理が終了する。
In step S205, the
ステップS206では、類似判定部107が、前記ブラケット撮影データ内のブラケットコンテンツの中に互いに類似しているブラケットコンテンツが存在するか否かを判定する。ブラケット撮影データ内に類似するブラケットコンテンツがある場合(ステップS207:Yes)は、ステップS208の処理が実行され、そうでない場合(ステップS207:No)は、ステップS213で本フローの処理が終了する。ブラケットコンテンツ同士の類似判断の具体的な方法については後述する。
In step S206, the
ステップS208では、画像処理装置101が自動削除モードに設定されているか否かが判断される。自動削除モードになっている場合(ステップS208:Yes)は、ステップS209において、削除指示部108は、類似していると判定された2つのブラケットコンテンツのうち一方を削除するよう蓄積部103に指示する。蓄積部103は指示されたブラケットコンテンツの削除を実行し、ステップS213で本フローの処理が終了する。
In step S208, it is determined whether the image processing apparatus 101 is set to the automatic deletion mode. When the automatic deletion mode is set (step S208: Yes), in step S209, the
ここで、「自動削除モード」とは、ユーザに確認を求める通知を表示したり、ユーザによる指示の入力を待機したりせずに、類似していると判定されたブラケットコンテンツに対する上記の削除処理が実行される画像処理装置101の動作モードをいう。画像処理装置101を自動削除モードに設定するか否かは、操作部110を介してユーザが指示を入力することができる。
Here, the “automatic deletion mode” refers to the above-described deletion processing for bracket contents that are determined to be similar without displaying a notification requesting confirmation from the user or waiting for the user to input an instruction. Is an operation mode of the image processing apparatus 101 in which is executed. The user can input an instruction via the
自動削除モードになっていない場合(ステップS208:No)は、ステップS210において、ブラケット撮影データの中に類似するブラケットコンテンツがある旨をユーザに通知するための表示が表示部105に表示される。
If the automatic deletion mode is not set (step S208: No), a display for notifying the user that there is similar bracket content in the bracket shooting data is displayed on the
ステップS211では、前記類似していると判定されたブラケットコンテンツの画像をユーザが確認するためのGUIが表示部105に表示される。さらに、当該ブラケットコンテンツを削除するか否かの指示をユーザが操作部110を介して画像処理装置101に入力するためのGUIが表示部105に表示される。ユーザが、不要と判断したブラケットコンテンツについて、当該ブラケットコンテンツの削除を指示する操作を操作部110にて行うと、削除指示部108の指示により、蓄積部103は当該ブラケットコンテンツの削除を実行する(ステップS212)。
In step S <b> 211, a GUI for the user to confirm the bracket content image determined to be similar is displayed on the
ユーザが積極的に撮影条件を異ならせた画像データを残したいという意図により行ったブラケット撮影では、ブラケット撮影パラメータの値がある程度大きく異なると考えられる。逆に、2つのブラケットコンテンツにおいて、ブラケット撮影パラメータの値がほとんど変わらない場合、つまり類似している場合、異なる撮影条件で撮影した画像データを残すというユーザの積極的な意図を反映しているとは言い難い。従って、このような類似しているブラケットコンテンツは、ユーザにとっての重要度が低いと判断し、本実施例では、いずれか一方のブラケットコンテンツを削除する処理の対象とする。逆に、ブラケット撮影パラメータの値が大きく異なるブラケットコンテンツは、ユーザにとっての重要度が高いと判断し、削除対象とはしない。 In bracket shooting performed with the intention that the user wants to leave image data in which shooting conditions are actively changed, the value of the bracket shooting parameter is considered to be significantly different. Conversely, if the bracket shooting parameter values in the two bracket contents hardly change, that is, they are similar, it reflects the user's positive intention to leave image data shot under different shooting conditions. Is hard to say. Therefore, it is determined that such similar bracket contents are low in importance to the user, and in this embodiment, one of the bracket contents is to be deleted. On the other hand, bracket contents with greatly different bracket shooting parameter values are judged to be highly important for the user and are not deleted.
本実施例では、ブラケット撮影データ内の2つのブラケットコンテンツが類似していると判定される場合に限り、一方のブラケットコンテンツを自動的に削除する。又は、ユーザに、ブラケットコンテンツが類似している旨を通知したり、類似していると判定したブラケットコンテンツの内容を実際に確認するためのGUIを表示したりする。そして、一方のブラケットコンテンツを削除するか否かの指示を入力させるインターフェースを提供(GUIを表示)する。 In this embodiment, only one bracket content is automatically deleted only when it is determined that two bracket contents in the bracket shooting data are similar. Alternatively, the user is notified that the bracket contents are similar, or a GUI for actually confirming the contents of the bracket contents determined to be similar is displayed. Then, an interface for inputting an instruction as to whether or not to delete one of the bracket contents is provided (GUI is displayed).
従って、本実施例の画像処理装置によれば、ブラケット撮影データの削除処理において、ユーザが積極的に撮影条件を異ならせて撮り分けたいという撮影意図をもって撮影したブラケットコンテンツが意図せず削除されてしまうことを抑制できる。よって、ユーザに必要な画像データが削除されることを抑制しつつ、ブラケット撮影により得られた画像データのデータ量を削減することが可能となる。 Therefore, according to the image processing apparatus of the present embodiment, in the bracket shooting data deletion process, the bracket content shot with the shooting intention that the user wants to actively shoot with different shooting conditions is unintentionally deleted. Can be suppressed. Therefore, it is possible to reduce the data amount of image data obtained by bracket shooting while suppressing deletion of image data necessary for the user.
次に、類似判定部107におけるブラケットコンテンツの類似判定方法について説明する。判定方法としてここでは2つの方法を例示する。第1の判定方法は、2つのブラケットコンテンツのブラケット撮影パラメータの値を比較し、設定値の差異がある基準以下の場合に当該ブラケットコンテンツ同士は類似していると判断する方法である。第2の判定方法は、判定対象の2つのブラケットコンテンツの画像データの差分を解析して、その差分がある閾値以下の場合に当該ブラケットコンテンツ同士は類似していると判断する方法である。
Next, a bracket content similarity determination method in the
まず、第1の判定方法、すなわち2つのブラケットコンテンツのブラケット撮影パラメータの値を比較して類似判定を行う方法について説明する。本実施例では、判定対象の2つのブラケットコンテンツのブラケット撮影パラメータの値の差分(差の大きさ)を算出し、算出した差分が予め設定しておいた閾値以下の場合に、当該2つのブラケットコンテンツは類似していると判定する。 First, a first determination method, that is, a method of performing similarity determination by comparing the bracket shooting parameter values of two bracket contents will be described. In this embodiment, a difference (magnitude of difference) between bracket shooting parameter values of two bracket contents to be determined is calculated, and when the calculated difference is equal to or less than a preset threshold, the two brackets It is determined that the contents are similar.
例えば、ブラケット撮影パラメータが露出の場合、2つのブラケットコンテンツの露出値の差が±1以内(差分が1以下)の場合に、当該2つのブラケットコンテンツは類似している判定する。なお、閾値は例示であり、上記の値に限らない。 For example, when the bracket shooting parameter is exposure, when the difference between the exposure values of the two bracket contents is within ± 1 (the difference is 1 or less), the two bracket contents are determined to be similar. The threshold value is an example, and is not limited to the above value.
例えば、図4(A)に示す露出ブラケット撮影データ401が入力された場合、画像処理装置101は、まず撮影条件情報から露出ブラケット撮影データであること(ブラケット撮影パラメータが露出であること)を認識する。次に、2つのブラケットコンテンツ402及び403の露出値の差分を算出する。ブラケットコンテンツ402の露出値は「標準±0EV」、ブラケットコンテンツ403の露出値は「標準+1EV」であり、その差分は閾値である1EV以下である。よって画像処理装置101は、ブラケットコンテンツ402とブラケットコンテンツ403とは類似していると判断する。ここで、EV(Exposure value)は露出値の単位を表す。 For example, when the exposure bracket shooting data 401 shown in FIG. 4A is input, the image processing apparatus 101 first recognizes from the shooting condition information that it is exposure bracket shooting data (the bracket shooting parameter is exposure). To do. Next, the difference between the exposure values of the two bracket contents 402 and 403 is calculated. The exposure value of the bracket content 402 is “standard ± 0 EV”, the exposure value of the bracket content 403 is “standard + 1 EV”, and the difference is 1 EV or less which is a threshold value. Therefore, the image processing apparatus 101 determines that the bracket content 402 and the bracket content 403 are similar. Here, EV (Exposure value) represents a unit of exposure value.
従って、図4(A)の露出ブラケット撮影データ401が入力された場合、画像処理装置101は、ブラケットコンテンツ402又はブラケットコンテンツ403の一方を削除する。なお、ブラケットコンテンツ403の露出値が「標準+2EV」であったとすると、画像処理装置101は、ブラケットコンテンツ402とブラケットコンテンツ403とは類似していないと判断し、いずれのブラケットコンテンツも削除しない。 Therefore, when the exposure bracket shooting data 401 in FIG. 4A is input, the image processing apparatus 101 deletes one of the bracket content 402 and the bracket content 403. If the exposure value of the bracket content 403 is “standard + 2EV”, the image processing apparatus 101 determines that the bracket content 402 and the bracket content 403 are not similar, and does not delete any bracket content.
このように、第1の判定方法では、2つのブラケットコンテンツのブラケット撮影パラメータの値の差分が小さい場合、2つのブラケットコンテンツは類似していると判断し、ブラケットコンテンツを削除可能と判断する。 As described above, in the first determination method, when the difference between the bracket shooting parameter values of the two bracket contents is small, it is determined that the two bracket contents are similar, and it is determined that the bracket contents can be deleted.
なお、ブラケット撮影パラメータ以外の撮影パラメータの値にも基づいて、より細かい類似判定を行うこともできる。具体的には、2つのブラケットコンテンツのブラケット撮影パラメータの値の差分に加えて、その他の撮影パラメータの値の差分も算出し、これら算出した各種撮影パラメータの値の差分に係数を乗じて総和を算出する(重み付き総和をとる)。このとき、ブラケット撮影パラメータの値の差分に乗じる係数を、他の撮影パラメータの値の差分に乗じる係数よりも大きくする。すなわち、重み付き総和に、ブラケット撮影パラメータの値の差分の影響がより強く反映されるようにする。重み付き総和が予め設定しておいた閾値以下の場合に、2つのブラケットコンテンツは類似していると判定する。 Note that finer similarity determination can also be performed based on the values of shooting parameters other than the bracket shooting parameters. Specifically, in addition to the difference between the bracket shooting parameter values of the two bracket contents, the difference between the other shooting parameter values is also calculated, and the calculated difference between the various shooting parameter values is multiplied by a coefficient to obtain the total. Calculate (take weighted sum). At this time, the coefficient to be multiplied by the difference between the bracket shooting parameter values is set larger than the coefficient to be multiplied by the difference between the other shooting parameter values. That is, the influence of the difference in the bracket shooting parameter value is more strongly reflected in the weighted sum. When the weighted sum is equal to or less than a preset threshold value, it is determined that the two bracket contents are similar.
例えば、露出ブラケット撮影データにおいて、2つのブラケットコンテンツ間の露出値の差分に大きい係数を乗じ、それ以外の撮影パラメータ(シャッタスピードや絞りなど)の値の差分に小さい係数を乗じ、総和(重み付き総和)を算出する。算出した重み付き総和が所定の閾値以下であれば、着目している2つの露出ブラケットコンテンツは類似している判定する。このような類似判定により、ブラケット撮影パラメータの値の差異に重きをおいた類似判定が行える。従って、ブラケット撮影データのユーザにとっての重要度を精度良く判定できる。 For example, in exposure bracket shooting data, the difference between exposure values between two bracket contents is multiplied by a large coefficient, and the difference between other shooting parameter values (shutter speed, aperture, etc.) is multiplied by a small coefficient to obtain the sum (weighted). Sum) is calculated. If the calculated weighted sum is equal to or smaller than a predetermined threshold value, it is determined that the two exposed bracket contents of interest are similar. By such similarity determination, similarity determination can be performed with emphasis on the difference in bracket shooting parameter values. Therefore, it is possible to accurately determine the importance of the bracket shooting data for the user.
次に、第2の判定方法、すなわち2つのブラケットコンテンツの実際の画像データ同士の差分を解析して、その差分が小さい場合に当該2つのブラケットコンテンツ同士は類似していると判定する方法について述べる。最も単純な方法としては、2つのブラケットコンテンツの対応する全ての画素について画素値を比較し、その差分の合計値により類似度を判定する方法がある。つまり、全画素の差分絶対値和が所定の閾値以下の場合に、2つのブラケットコンテンツは類似していると判定することができる。 Next, a second determination method, that is, a method of analyzing a difference between actual image data of two bracket contents and determining that the two bracket contents are similar when the difference is small will be described. . As the simplest method, there is a method in which pixel values of all corresponding pixels of two bracket contents are compared, and the similarity is determined based on the total value of the differences. That is, when the sum of absolute differences of all pixels is equal to or smaller than a predetermined threshold, it can be determined that the two bracket contents are similar.
なお、ブラケット撮影パラメータの種類に応じて2つのブラケットコンテンツ同士の比較方法を変えてもよい。例えば、ブラケット撮影パラメータが露出の場合、2つのブラケットコンテンツの輝度値について比較し、輝度値の差分に基づいて類似度を判定してもよい。 Note that the method of comparing two bracket contents may be changed according to the type of bracket shooting parameter. For example, when the bracket shooting parameter is exposure, the brightness values of two bracket contents may be compared, and the similarity may be determined based on the difference between the brightness values.
フォーカスブラケット撮影により得られた2つの画像データの類似判定方法について図5を用いて説明する。図5の例では、撮像領域を9個の分割領域に分割し、各分割領域に対応するフォーカス枠を選択することにより、選択したフォーカス枠内の被写体に限定して合焦するように撮影することができる。この場合、ブラケット撮影パラメータはフォーカス枠の位置である。フォーカスブラケット撮影データ501には、中央のフォーカス枠506が合焦対象として選択されたブラケットコンテンツ502と、右下のフォーカス枠507が合焦対象として選択されたブラケットコンテンツ503と、を含んでいる。 A similarity determination method for two image data obtained by focus bracket imaging will be described with reference to FIG. In the example of FIG. 5, the imaging region is divided into nine divided regions, and a focus frame corresponding to each divided region is selected, so that shooting is performed so as to focus on a subject within the selected focus frame. be able to. In this case, the bracket shooting parameter is the position of the focus frame. The focus bracket shooting data 501 includes bracket content 502 in which the center focus frame 506 is selected as a focus target and bracket content 503 in which the lower right focus frame 507 is selected as a focus target.
このブラケットコンテンツ502及び503について類似判定する場合は、同一フォー
カス枠内の画素同士で比較を行う。図5の場合、ブラケットコンテンツ502とブラケットコンテンツ503との間で、ブラケットコンテンツ502で合焦対象として選択されたフォーカス枠506内の画素同士の比較(504)を行う。また、ブラケットコンテンツ502とブラケットコンテンツ503との間で、ブラケットコンテンツ503で合焦対象として選択されたフォーカス枠507内の画素同士の比較(505)を行う。
When the similarity determination is performed for the bracket contents 502 and 503, the pixels within the same focus frame are compared with each other. In the case of FIG. 5, between the bracket content 502 and the bracket content 503, the pixels in the focus frame 506 selected as the focus target in the bracket content 502 are compared (504). Further, between the bracket content 502 and the bracket content 503, the pixels in the focus frame 507 selected as the focus target in the bracket content 503 are compared (505).
比較504及び比較505の結果、フォーカス枠506及びフォーカス枠507の両方において、2つのブラケットコンテンツ502とブラケットコンテンツ503との間の画素値の差分が所定の閾値以下であれば、両者は類似していると判定される。 As a result of the comparison 504 and the comparison 505, if the difference in pixel value between the two bracket contents 502 and the bracket contents 503 is equal to or less than a predetermined threshold in both the focus frame 506 and the focus frame 507, the two are similar. It is determined that
このように、ブラケット撮影パラメータの種類に応じて類似判定方法を変えることで、撮影者が積極的に撮り分けようとした撮影パラメータに重きをおいた類似判定を行うことができる。 In this way, by changing the similarity determination method according to the type of bracket shooting parameter, it is possible to perform similarity determination with emphasis on the shooting parameters that the photographer has actively tried to shoot.
なお、本実施例では、ブラケット撮影データが2つのブラケットコンテンツで構成される例を説明したが、図4(B)に示すように1つのブラケット撮影データに3つ以上のブラケットコンテンツが含まれている場合にも本発明を適用できる。例えば、3つ以上のブラケットコンテンツのうちから、ブラケット撮影パラメータの値の差分が閾値以下という条件を満たす2つのブラケットコンテンツを選び出す。ブラケット撮影パラメータの値の差分が閾値以下という条件を満たす2つのブラケットコンテンツの組み合わせが複数通り考えられる場合は、どれを選択しても良いし、ブラケット撮影パラメータの値の差分に応じて優先順位を定めても良い。そして、選択した2つのブラケットコンテンツのうち一方のブラケットコンテンツを削除する。このような削除処理を1回実行することにより、例えば3つのブラケットコンテンツからなるブラケット撮影データから、1つのブラケットコンテンツが削除されるので、結果としてブラケット撮影データのデータ量を削減できる。ただし、ユーザの指定する代表画像や検索キーになるような画像(例:露出値「標準±0EV」の画像)は削除しないようにしてもよい。
削除処理を1回実行した後、ブラケット撮影データのうちに、ブラケット撮影パラメータの値の差分が閾値以下という条件を満たす2つのブラケットコンテンツがなお存在する場合、当該2つのブラケットコンテンツを対象として本発明の削除処理を実行しても良い。つまり、3つ以上のブラケットコンテンツからなるブラケット撮影データに対しては、本発明の削除処理を少なくとも1回実行する。これにより、ブラケット撮影データのデータ量を削減できる。本発明の削除処理を複数回実行すれば、ブラケット撮影データのデータ量をさらに削減できる。そして、いずれの削除処理においても、削除されるのは、類似していると判定されるブラケットコンテンツの一方であるから、ユーザが積極的に撮り分けたデータが削除されてしまうことを好適に抑制できる。
本発明は、次のように捉えることも出来る。すなわち、ブラケット撮影データに含まれるブラケットコンテンツを、ブラケット撮影パラメータの値の差分が閾値以下という条件を満たすブラケットコンテンツの集合によりグループ分けする。これにより、ブラケット撮影パラメータの値が近い複数のブラケットコンテンツが1つのグループに属すると共に、ブラケット撮影パラメータの値が離れているブラケットコンテンツ同士は、互いに異なるグループに属するようにグループ分けされる。そして、特に複数のブラケットコンテンツを含むグループに関して、当該グループに属するブラケットコンテンツのうち少なくとも1つを残し他を削除する。
例えば、ブラケット撮影パラメータが露出であり、露出値が異なる6つのブラケットコンテンツを含むブラケット撮影データにおいて、5つの露出値EV1からEV5が、EV1〜EV2<<EV3〜EV4<<EV5という大小関係であるとする。ここで、EV1〜EV2は、EV1とEV2の差分が閾値以下であることを表し、EV2<<EV3は、EV2とEV3の差分が閾値を超えることを表す。この場合、露出値がEV1とEV2のブラケットコンテンツが第1のグループ、露出値がEV3とEV4のブラケットコンテン
ツが第2のグループ、露出値がEV5のブラケットコンテンツが第3のグループにそれぞれグループ分けされる。これらのグループのうち、複数のブラケットコンテンツを含む第1のグループ及び第2のグループに対して、グループに属する少なくとも1つのブラケットコンテンツを残し他を削除する処理が行われる。これにより、例えば、露出値がEV1、EV4、EV5のブラケットコンテンツが残され、他のブラケットコンテンツが削除されるので、非類似のブラケットコンテンツを残しつつブラケット撮影データのデータ量を削減することができる。
In this embodiment, an example in which bracket shooting data is composed of two bracket contents has been described. However, as shown in FIG. 4B, one bracket shooting data includes three or more bracket contents. The present invention can also be applied to cases where For example, two bracket contents that satisfy the condition that the difference between the bracket shooting parameter values is equal to or less than a threshold value are selected from three or more bracket contents. When there are a plurality of combinations of two bracket contents that satisfy the condition that the difference in bracket shooting parameter value is less than or equal to the threshold value, any of them can be selected, and the priority order is set according to the difference in bracket shooting parameter value. It may be determined. Then, one of the two selected bracket contents is deleted. By executing such deletion processing once, for example, one bracket content is deleted from bracket shooting data consisting of three bracket contents, and as a result, the amount of bracket shooting data can be reduced. However, the representative image specified by the user or an image that serves as a search key (eg, an image with an exposure value “standard ± 0 EV”) may not be deleted.
After the deletion process is executed once, if there are still two bracket contents in the bracket shooting data that satisfy the condition that the difference between the bracket shooting parameter values is less than or equal to the threshold value, the present invention targets the two bracket contents. The deletion process may be executed. In other words, the deletion processing of the present invention is executed at least once for bracket shooting data including three or more bracket contents. Thereby, the data amount of bracket imaging | photography data can be reduced. If the deletion process of the present invention is executed a plurality of times, the data amount of the bracket shooting data can be further reduced. In any deletion process, since it is one of the bracket contents that are determined to be similar to each other, it is preferable to suppress the deletion of the data that the user actively captured and deleted. it can.
The present invention can also be understood as follows. That is, the bracket contents included in the bracket shooting data are grouped according to a set of bracket contents that satisfy the condition that the difference in bracket shooting parameter values is equal to or less than a threshold value. Thus, a plurality of bracket contents having similar bracket shooting parameter values belong to one group, and bracket contents having different bracket shooting parameter values are grouped so as to belong to different groups. In particular, regarding a group including a plurality of bracket contents, at least one of the bracket contents belonging to the group is left and the other is deleted.
For example, in bracket shooting data including six bracket contents with different bracket shooting parameters whose exposure is the bracket shooting parameter, the five exposure values EV1 to EV5 have a magnitude relationship of EV1 to EV2 << EV3 to EV4 << EV5. And Here, EV1 to EV2 represent that the difference between EV1 and EV2 is equal to or less than the threshold value, and EV2 << EV3 represents that the difference between EV2 and EV3 exceeds the threshold value. In this case, bracket contents with exposure values EV1 and EV2 are grouped into a first group, bracket contents with exposure values EV3 and EV4 are grouped into a second group, and bracket contents with exposure values EV5 are grouped into a third group. The Among these groups, a process of leaving at least one bracket content belonging to the group and deleting others is performed on the first group and the second group including a plurality of bracket contents. Thereby, for example, bracket contents with exposure values EV1, EV4, and EV5 are left and other bracket contents are deleted, so that the data amount of bracket shooting data can be reduced while leaving dissimilar bracket contents. .
本実施例は、静止画像のブラケット撮影データにも動画像のブラケット撮影データにも適用できる。動画像のブラケット撮影データの場合、ブラケット撮影パラメータの値を異ならせたことによるフレーム画像への効果の現れ方が、シーンによって異なる場合があり得る。従って、動画像の全てのフレームや、数フレームおきに抽出した複数のフレームや、シーンチェンジを検出してシーン毎に抽出した複数のフレームなどについて、類似判定による比較を行っても良い。そして、全てのフレーム或いは抽出した全てのフレームが類似している場合に、2つの動画像のブラケットコンテンツは類似していると判定するようにしても良い。 This embodiment can be applied to both bracket shooting data of still images and bracket shooting data of moving images. In the case of moving image bracket shooting data, the appearance of the effect on the frame image by changing the value of the bracket shooting parameter may differ depending on the scene. Therefore, comparison by similarity determination may be performed for all frames of a moving image, a plurality of frames extracted every several frames, a plurality of frames extracted for each scene by detecting a scene change, and the like. Then, when all the frames or all the extracted frames are similar, the bracket contents of the two moving images may be determined to be similar.
本実施例に係る画像処理装置は、デジタルカメラやビデオカメラなどの撮像装置や、デジタルテレビやメディアプレーヤーなどの画像表示装置などに適用することができる。特に、撮像装置に適用した場合には、記録メディアの空き容量が不足したときに、ユーザにとって重要度の高いブラケットコンテンツが削除されることを抑制しつつ、冗長なブラケットコンテンツを優先的に削除して迅速な空き容量の確保を容易にする。 The image processing apparatus according to the present embodiment can be applied to an imaging apparatus such as a digital camera or a video camera, an image display apparatus such as a digital television or a media player, and the like. In particular, when applied to an imaging device, redundant bracket content is preferentially deleted while suppressing the deletion of bracket content that is highly important to the user when there is insufficient free space on the recording medium. Making it easy to secure free space quickly.
101 画像処理装置、107 類似判定部、108 削除指示部
101
Claims (23)
前記判定手段により類似画像データと判定された2つの画像データのうち一方の画像データを削除する削除手段と、
を有する画像処理装置。 Judgment to determine, as similar image data, two pieces of image data in which a difference between the photographing parameter values is equal to or less than a threshold value among a plurality of image data obtained by bracket photographing in which photographing is performed with different values of predetermined photographing parameters Means,
A deletion unit that deletes one of the two pieces of image data determined to be similar image data by the determination unit;
An image processing apparatus.
前記判定手段は、前記複数の画像データのうち、輝度値の差分が閾値以下である2つの画像データを類似画像データと判定する請求項1に記載の画像処理装置。 The predetermined imaging parameter is exposure;
The image processing apparatus according to claim 1, wherein the determination unit determines two image data having a luminance value difference equal to or less than a threshold among the plurality of image data as similar image data.
前記判定手段は、前記複数の画像データのうち、対応するフォーカス枠内の画素同士の画素値の差分の総和が閾値以下である2つの画像データを類似画像データと判定する請求項1に記載の画像処理装置。 The predetermined shooting parameter is a position of a focus frame,
2. The determination unit according to claim 1, wherein the determination unit determines, as similar image data, two pieces of image data in which a total sum of pixel values of pixels within a corresponding focus frame is equal to or less than a threshold among the plurality of image data. Image processing device.
前記削除手段は、ユーザにより前記指示が入力された場合に、前記類似画像データと判定された2つの画像データのうち一方の画像データの削除を実行する請求項1から5のいずれか1項に記載の画像処理装置。 Input means for allowing the user to input an instruction as to whether or not to delete one of the two pieces of image data determined as similar image data by the determination means;
6. The deletion device according to claim 1, wherein when the user inputs the instruction, the deletion unit deletes one of the two pieces of image data determined to be the similar image data. 7. The image processing apparatus described.
前記削除手段は、前記判定手段により選ばれた前記類似画像データの2つの画像データのうち一方の画像データを削除する請求項1から6のいずれか1項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the deletion unit deletes one of the two pieces of image data of the similar image data selected by the determination unit.
前記削除手段は、複数の画像データを含むグループに関して、当該グループに属する画像データのうち少なくとも1つを残し他を削除する請求項1から9のいずれか1項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the deletion unit deletes at least one of the image data belonging to the group and deletes the other regarding the group including the plurality of image data.
前記判定手段は、動画像の全てのフレーム、数フレームおきに抽出した複数のフレーム、又はシーンチェンジを検出してシーン毎に抽出した複数のフレームについて、前記類似画像データであるか判定を行い、判定を行った全てのフレームについて類似画像データと判定した場合に、2つの動画像の画像データは類似していると判定する請求項1から10のいずれか1項に記載の画像処理装置。The determination means determines whether all the frames of the moving image, a plurality of frames extracted every several frames, or a plurality of frames extracted for each scene by detecting a scene change, are the similar image data, The image processing apparatus according to any one of claims 1 to 10, wherein when all of the determined frames are determined to be similar image data, the image data of the two moving images are determined to be similar.
前記判定工程により類似画像データと判定された2つの画像データのうち一方の画像データを削除する削除工程と、
を有する画像処理装置の制御方法。 Judgment to determine, as similar image data, two pieces of image data in which a difference between the photographing parameter values is equal to or less than a threshold value among a plurality of image data obtained by bracket photographing in which photographing is performed with different values of predetermined photographing parameters Process,
A deletion step of deleting one of the two pieces of image data determined to be similar image data by the determination step;
A method for controlling an image processing apparatus.
前記判定工程では、前記複数の画像データのうち、輝度値の差分が閾値以下である2つの画像データを類似画像データと判定する請求項13に記載の画像処理装置の制御方法。The method of controlling an image processing apparatus according to claim 13, wherein in the determination step, two image data having a luminance value difference equal to or less than a threshold value among the plurality of image data are determined as similar image data.
前記判定工程では、前記複数の画像データのうち、対応するフォーカス枠内の画素同士の画素値の差分の総和が閾値以下である2つの画像データを類似画像データと判定する請求項13に記載の画像処理装置の制御方法。14. The determination according to claim 13, wherein in the determination step, two image data in which a total sum of pixel values of pixels in a corresponding focus frame is equal to or less than a threshold among the plurality of image data is determined as similar image data. A method for controlling an image processing apparatus.
前記削除工程では、ユーザにより前記指示が入力された場合に、前記類似画像データと判定された2つの画像データのうち一方の画像データの削除を実行する請求項13から17のいずれか1項に記載の画像処理装置の制御方法。18. The deletion process according to claim 13, wherein, when the instruction is input by a user, deletion of one of the two pieces of image data determined as the similar image data is executed. A control method of the image processing apparatus described.
前記削除工程では、前記判定工程により選ばれた前記類似画像データの2つの画像データのうち一方の画像データを削除する請求項13から18のいずれか1項に記載の画像処理装置の制御方法。19. The method of controlling an image processing apparatus according to claim 13, wherein, in the deletion step, one of the two pieces of image data of the similar image data selected in the determination step is deleted. 19.
前記削除工程では、複数の画像データを含むグループに関して、当該グループに属する画像データのうち少なくとも1つを残し他を削除する請求項13から21のいずれか1項に記載の画像処理装置の制御方法。The method for controlling an image processing apparatus according to any one of claims 13 to 21, wherein in the deletion step, with respect to a group including a plurality of image data, at least one of the image data belonging to the group is left and the other is deleted. .
前記判定工程では、動画像の全てのフレーム、数フレームおきに抽出した複数のフレーム、又はシーンチェンジを検出してシーン毎に抽出した複数のフレームについて、前記類似画像データであるか判定を行い、判定を行った全てのフレームについて類似画像データと判定した場合に、2つの動画像の画像データは類似していると判定する請求項13から22のいずれか1項に記載の画像処理装置の制御方法。In the determination step, it is determined whether all the frames of the moving image, a plurality of frames extracted every several frames, or a plurality of frames extracted for each scene by detecting a scene change, are the similar image data, The control of the image processing apparatus according to any one of claims 13 to 22, wherein when all the frames that have been determined are determined to be similar image data, the image data of the two moving images are determined to be similar. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010255813A JP5595239B2 (en) | 2010-11-16 | 2010-11-16 | Image processing apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010255813A JP5595239B2 (en) | 2010-11-16 | 2010-11-16 | Image processing apparatus and control method thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012109718A JP2012109718A (en) | 2012-06-07 |
| JP2012109718A5 JP2012109718A5 (en) | 2013-12-26 |
| JP5595239B2 true JP5595239B2 (en) | 2014-09-24 |
Family
ID=46494889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010255813A Expired - Fee Related JP5595239B2 (en) | 2010-11-16 | 2010-11-16 | Image processing apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5595239B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3103699B2 (en) * | 1993-03-04 | 2000-10-30 | 京セラ株式会社 | Digital electronic still camera with continuous shooting function |
| JP2000175149A (en) * | 1998-12-09 | 2000-06-23 | Matsushita Electric Ind Co Ltd | Video detection device and summary video generation device |
| JP2006324920A (en) * | 2005-05-18 | 2006-11-30 | Hitachi Maxell Ltd | Electronic camera and control method thereof |
| JP4603472B2 (en) * | 2005-11-30 | 2010-12-22 | オリンパス株式会社 | Image pickup apparatus and image pickup apparatus having interval shooting function |
| JP4867595B2 (en) * | 2006-11-13 | 2012-02-01 | カシオ計算機株式会社 | Imaging control apparatus, imaging control method, and program |
| JP4829772B2 (en) * | 2006-12-27 | 2011-12-07 | 株式会社シグマ | Method for reproducing image data in photographing apparatus |
| JP2010251971A (en) * | 2009-04-14 | 2010-11-04 | Canon Inc | Image processing apparatus, image storage method, and program for executing image processing |
-
2010
- 2010-11-16 JP JP2010255813A patent/JP5595239B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012109718A (en) | 2012-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6267502B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
| CN103716534B (en) | Camera device and method for synthesizing images | |
| JP5299912B2 (en) | Imaging device and data structure of image file | |
| JP6261205B2 (en) | Image processing device | |
| JP6077853B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP2010016544A (en) | Image capturing apparatus and image processing apparatus, and image processing program | |
| JP4796007B2 (en) | Imaging device | |
| JP5197801B2 (en) | Movie reproduction system and photographing apparatus | |
| JP4639043B2 (en) | Moving picture editing apparatus and moving picture editing method | |
| JP2011155477A (en) | Video processing apparatus, video processing method, and program | |
| CN101998060A (en) | Method and apparatus for determining shaken image by using auto focusing | |
| JP5245636B2 (en) | Electronics | |
| JP2002369125A (en) | Imaging device and method of deleting image thereof | |
| JP5595239B2 (en) | Image processing apparatus and control method thereof | |
| JP2019096364A (en) | Image evaluation device | |
| JP2015156189A (en) | Image evaluation apparatus and image evaluation program | |
| US9854166B2 (en) | Image pickup apparatus and method of controlling the same, and reproduction apparatus and method of controlling the same | |
| JP6157238B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5157528B2 (en) | Imaging device | |
| JP4769693B2 (en) | Imaging apparatus, method, and program | |
| JP2006115289A (en) | Imaging device for displaying deletion candidate images | |
| JP2008092046A (en) | Camera capable of automatic composition extraction and composition extraction program | |
| JP2009193569A (en) | Image display device and image display program | |
| JP6271985B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
| JP5002683B2 (en) | Image display device and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140805 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5595239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |