JP5906884B2 - Image processing apparatus, imaging apparatus, and program - Google Patents
Image processing apparatus, imaging apparatus, and program Download PDFInfo
- Publication number
- JP5906884B2 JP5906884B2 JP2012075771A JP2012075771A JP5906884B2 JP 5906884 B2 JP5906884 B2 JP 5906884B2 JP 2012075771 A JP2012075771 A JP 2012075771A JP 2012075771 A JP2012075771 A JP 2012075771A JP 5906884 B2 JP5906884 B2 JP 5906884B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal intensity
- imaging
- information
- dark current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、画像処理装置、撮像装置及びプログラムに関する。 The present invention relates to an image processing device, an imaging device, and a program.
従来、固体撮像素子によって生じる暗電流によるノイズが含まれる画像データからノイズを除去する補正処理を行う撮像装置(例えば、電子カメラ)が知られている(例えば、特許文献1を参照)。この暗電流の大きさは、固体撮像素子の温度に依存するため、露光時間や撮像感度などの撮像条件によって、この暗電流の大きさが変化することがある。このため、このような撮像装置が備える画像処理装置は、生じた暗電流の大きさに応じて、除去するノイズの大きさを変えて、画像データからノイズを除去する補正処理を行っている。 2. Description of the Related Art Conventionally, an imaging device (for example, an electronic camera) that performs correction processing for removing noise from image data including noise due to dark current generated by a solid-state imaging device is known (see, for example, Patent Document 1). Since the magnitude of this dark current depends on the temperature of the solid-state imaging device, the magnitude of this dark current may change depending on the imaging conditions such as exposure time and imaging sensitivity. For this reason, the image processing apparatus included in such an imaging apparatus performs correction processing for removing noise from image data by changing the magnitude of noise to be removed in accordance with the magnitude of generated dark current.
しかしながら、例えば、上述のような撮像装置が備える画像処理装置において、補正後の画像データの画質は、暗電流の値が大きい場合を想定した所定の画質に設定されることがある。つまり、上述のような撮像装置が備える画像処理装置は、生じた暗電流の値が小さい場合であっても、補正後の画像データの画質を所定の画質以上に向上させることができないという問題があった。 However, for example, in the image processing apparatus included in the imaging apparatus as described above, the image quality of the corrected image data may be set to a predetermined image quality assuming that the dark current value is large. That is, the image processing apparatus included in the imaging apparatus as described above has a problem that the image quality of the corrected image data cannot be improved beyond a predetermined image quality even when the value of the generated dark current is small. there were.
本発明は、上記問題を解決すべくなされたもので、その目的は、補正後の画像データの画質を向上させることができる画像処理装置を提供することにある。 The present invention has been made to solve the above problems, and an object of the present invention is to provide an image processing apparatus capable of improving the image quality of image data after correction.
本発明の一実施形態は、撮像部によって検出された信号強度情報に基づいて、前記信号強度情報に含まれている前記撮像部に発生した暗電流の大きさを示す暗電流成分を抽出する抽出部と、前記抽出部によって抽出された前記暗電流成分に応じて、前記信号強度情報における有効な信号強度の範囲を前記暗電流成分の信号強度であって前記暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定部と、前記信号強度情報を、前記設定部によって設定された前記範囲を有効な情報とする補正情報に変換する変換部とを備える画像処理装置である。 According to an embodiment of the present invention, an extraction is performed to extract a dark current component indicating a magnitude of a dark current generated in the imaging unit included in the signal intensity information based on signal intensity information detected by the imaging unit. And an effective signal intensity range in the signal intensity information in accordance with the dark current component extracted by the extraction section and corresponding to the dark current component signal intensity and the dark current magnitude. A setting unit that is set by a predetermined threshold corresponding to the level of the signal strength divided into a plurality of levels, and the signal strength information is set to be valid information in the range set by the setting unit. a images processing device Ru and a converter for converting the corrected information.
また、本発明の一実施形態は、撮像対象を撮像した画像の信号強度情報を検出する撮像部と、上述の画像処理装置を備える撮像装置である。 In addition, an embodiment of the present invention is an imaging apparatus including an imaging unit that detects signal intensity information of an image obtained by imaging an imaging target and the above-described image processing apparatus.
また、本発明の一実施形態は、撮像対象を撮像した画像の信号強度情報を検出する撮像部と、前記撮像部の撮像条件に基づいて、前記撮像部によって検出された前記信号強度情報のうち有効な情報とする信号強度の範囲を、暗電流成分の信号強度であって暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定部と、検出された前記信号強度情報から、前記設定部によって設定された前記範囲を有効な情報とする補正情報に変換する変換部とを備える撮像装置である。 One embodiment of the present invention includes an imaging unit that detects signal intensity information of an image obtained by imaging an imaging target, and the signal intensity information detected by the imaging unit based on imaging conditions of the imaging unit. The signal intensity range that is effective information is a predetermined threshold corresponding to the stage of the signal intensity, which is the signal intensity of the dark current component and is divided into a plurality of stages corresponding to the magnitude of the dark current. An imaging apparatus comprising: a setting unit that is set according to a value; and a conversion unit that converts the detected signal intensity information into correction information that uses the range set by the setting unit as valid information.
また、本発明の一実施形態は、撮像対象を撮像した画像の信号強度情報を検出する撮像部と、前記撮像部の温度を検出する検出部と、前記検出部が検出した前記温度に基づいて、前記撮像部によって検出された前記信号強度情報のうち有効な情報とする信号強度の範囲を、暗電流成分の信号強度であって暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定部と、検出された前記信号強度情報と前記設定部によって設定された前記範囲とに基づいて、前記信号強度情報から、設定された前記範囲を有効な情報とする補正情報に変換する変換部とを備える撮像装置である。 One embodiment of the present invention is based on an imaging unit that detects signal intensity information of an image obtained by imaging an imaging target, a detection unit that detects a temperature of the imaging unit, and the temperature detected by the detection unit. The signal intensity range that is effective information among the signal intensity information detected by the imaging unit is divided into a plurality of stages corresponding to the signal intensity of the dark current component and the magnitude of the dark current. From the signal strength information, based on the setting unit set by a predetermined threshold according to the stage of the signal strength, and the detected signal strength information and the range set by the setting unit, It is an imaging device provided with the conversion part which converts into the correction information which uses the set said range as effective information.
また、本発明の一実施形態は、撮像部によって検出された信号強度情報に基づいて、前記撮像部が生成する暗電流による暗電流成分を前記信号強度情報から抽出する抽出部と、前記抽出部によって抽出された前記暗電流成分の信号強度に基づいて、前記信号強度情報を補正するガンマ値を前記暗電流成分の信号強度であって前記暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定部と前記設定部によって設定された前記ガンマ値に基づいて、前記撮像部によって検出された前記信号強度情報をガンマ補正する補正部とを備える画像処理装置である。 According to one embodiment of the present invention, an extraction unit that extracts a dark current component due to a dark current generated by the imaging unit based on the signal intensity information detected by the imaging unit, and the extraction unit The gamma value for correcting the signal intensity information is divided into a plurality of stages corresponding to the magnitude of the dark current, which is the signal intensity of the dark current component , based on the signal intensity of the dark current component extracted by The signal intensity information detected by the imaging unit based on the gamma value set by the setting unit and the setting unit set by a predetermined threshold corresponding to the stage of the signal intensity a images processing device Ru and a correcting unit for correcting.
また、本発明の一実施形態は、画像処理装置が備えるコンピュータに、撮像部によって検出された信号強度情報に基づいて、前記撮像部が生成する暗電流による暗電流成分を前記信号強度情報から抽出する抽出ステップと、前記抽出ステップによって抽出された前記暗電流成分の信号強度に応じて、前記信号強度情報のうち有効な情報とする信号強度の範囲を前記暗電流成分の信号強度であって前記暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定ステップと、検出された前記信号強度情報から、前記設定ステップによって設定された前記範囲を有効な情報とする補正情報に変換する変換ステップとを実行させるためのプログラムである。 In one embodiment of the present invention, a dark current component due to dark current generated by the imaging unit is extracted from the signal intensity information based on the signal intensity information detected by the imaging unit in a computer included in the image processing apparatus. And a signal intensity range that is effective information among the signal intensity information in accordance with the signal intensity of the dark current component extracted by the extraction step, and the signal intensity of the dark current component A setting step for setting the signal intensity according to the level of the signal intensity divided into a plurality of levels corresponding to the magnitude of the dark current, and the setting step based on the detected signal strength information And a conversion step for converting the range set in step 1 into correction information that makes effective information.
本発明によれば、補正後の画像データの画質を向上させることができる。 According to the present invention, the image quality of corrected image data can be improved.
[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態を説明する。
図1は、本実施形態の撮像装置100の構成を示す構成図である。
図1において、撮像装置100は、撮像部10、バッファメモリ部30、画像表示処理部40、表示部50、記憶部60、通信部70、操作部80、及び制御部90を備える。また、撮像装置100は、画像処理装置20を備える。ここで、画像処理装置20は、制御部90の一部分と記憶部60の一部分とを含む。
[First embodiment]
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram illustrating a configuration of an
In FIG. 1, the
撮像部10は、複数のレンズを備える光学系11、撮像素子12、及びA/D(アナログ/デジタル)変換部13を備える。この撮像部10は、設定された撮像条件(例えば、絞り値、露光時間、撮像感度など)に基づいて制御部90によって制御される。また、撮像部10は、光学系11を介した光学像を撮像素子12に結像させ、A/D変換部13によって変換された当該光学像に基づいて、撮像対象を撮像した画像の信号強度情報を含む画像データを生成する。すなわち、撮像部10は、撮像対象を撮像した画像の信号強度情報を検出する。
なお、上述した光学系11は、撮像装置100に取り付けられて一体とされていてもよいし、撮像装置100に着脱可能に取り付けられてもよい。
The
The
撮像素子12は、例えば、受光面(不図示)に結像した光学像を電気信号(電圧信号)に変換して、A/D変換部13に供給する。撮像素子12の受光面は、例えば、CCD(Charge Coupled Device)イメージセンサなどの格子状に配置されている複数のイメージセンサ(不図示)で構成され、それぞれのイメージセンサは、結像された光学像を電圧値に変換する。
A/D変換部13は、撮像素子12によって変換された電圧値、つまり、信号強度をアナログ−デジタル変換し、この変換したデジタル信号である画像データを出力する。この画像データには、撮像素子12によって変換された電圧値がアナログ−デジタル変換された情報である信号強度情報が含まれている。この信号強度情報には、例えば、撮像素子12によって撮像された光学像の光の強さを示す情報が含まれている。
For example, the
The A /
操作部80は、例えば、電源スイッチ、シャッターボタン、十字キー、確定ボタン、削除ボタン、及び、その他の操作キーを含み、使用者によって操作されることで、使用者の操作入力を受け付けて、制御部90に供給する。
The
画像表示処理部40は、バッファメモリ部30に記憶されている画像データを表示部50に表示させる表示制御処理を行う。ここでいうバッファメモリ部30に記憶されている画像データとは、画像表示処理部40に入力される画像データ(入力画像)のことであり、例えば、撮像画像データ、スルー画像データ、または、記憶媒体200から読み出された撮像画像データのことである。
表示部50は、例えば、液晶ディスプレイであって、撮像部10によって得られた画像データや、操作画面等を表示する。
The image
The
記憶部60には、制御部90によって撮像部10が制御される際の撮像条件等が予め記憶されている。
バッファメモリ部30は、撮像部10によって撮像された画像データを、一時的に記憶する。
The
The
通信部70は、カードメモリ等の取り外しが可能な記憶媒体200と接続され、この記憶媒体200への撮像画像データの書込み、読み出しを行う。
記憶媒体200は、撮像装置100に対して着脱可能に接続される記憶部であり、例えば、撮像部10によって生成された撮像画像データを記憶する。
The
The
バス300は、撮像部10と、制御部90と、操作部80と、画像表示処理部40と、表示部50と、記憶部60と、バッファメモリ部30と、通信部70とに接続され、各部から出力された画像データや制御信号等を転送する。
The
また、撮像装置100は、画像処理装置20を含む。ここで、画像処理装置20は、制御部90の一部分と記憶部60の一部分とを含む。
The
制御部90は、例えば、CPU(Central processing unit)などを含み、撮像装置100が備える各構成を制御する。制御部90は、例えば、操作部80を介して撮像指示を受け付けた際に、撮像素子12とA/D変換部13とを介して得られる画像データを、撮像された静止画や動画の撮像画像データとして、記憶媒体200に記憶させる。また、制御部90は、例えば、操作部80を介して撮像指示を受け付けていない状態において、撮像素子12とA/D変換部13とを介して連続的に得られる画像データをスルー画(スルー画データ)として画像表示処理部40に供給し、表示部50に連続的に表示させる。
The
次に、図2を用いて、図1に示された画像処理装置20の構成について説明する。
図2は、本実施形態における画像処理装置20を示す構成図である。
この図において、画像処理装置20は、抽出部91と、設定部92と、変換部93と、補正部94と、選択部95と、ガンマ値記憶部61とを備えている。なお、抽出部91と、設定部92と、変換部93と、補正部94と、選択部95とは、制御部90に含まれる。また、ガンマ値記憶部61は、記憶部60に含まれる。
Next, the configuration of the
FIG. 2 is a configuration diagram showing the
In this figure, the
抽出部91は、撮像部10によって検出された信号強度情報に基づいて、信号強度情報に含まれている撮像部10撮像部に発生した暗電流の大きさを示す暗電流成分を抽出する。ここで、抽出部91は、バス300を介して撮像部10によって検出された信号強度情報を取得する。本実施形態の抽出部91は、例えば、撮像対象が撮像部10によって撮像された第1の画像データに含まれる第1の信号強度情報とは別に、暗黒画像(例えば、撮像素子12の受光面に光が入射しないようにされた状態の画像)が撮像部10によって撮像された第2の画像データに含まれる第2の信号強度情報を取得する。暗黒画像は、撮像素子12の受光面に光が入射しないようにされた状態によって撮像される。つまり、第2の信号強度情報には、撮像素子12の暗電流成分による信号強度情報が含まれている。したがって、第1の信号強度情報と第2の信号強度情報とを生成する条件が一致していれば、第1の信号強度情報に含まれている暗電流成分と第2の信号強度情報とが一致する。そこで、抽出部91は、取得した第1の信号強度情報と第2の信号強度情報とを比較した結果(例えば、第1の信号強度情報と第2の信号強度情報との差分)に基づいて、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出する。
Based on the signal intensity information detected by the
なお、抽出部10は、撮像部10の一部の撮像素子12の受光面に光が入射しないようにされた状態(オプティカルブラック状態)にして撮像された画像データに含まれる第1の信号強度情報に基づいて、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出してもよい。この場合、上述した第2の画像データが不要になるため、画像処理装置20の抽出部91は、短時間に暗電流成分を信号強度情報から抽出することができる。
このようにして、抽出部91は、撮像部10によって検出された信号強度情報に基づいて、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出する。
The
In this manner, the
設定部92は、抽出部91によって抽出された暗電流成分に応じて、信号強度情報における有効な信号強度の範囲を設定する。ここで、信号強度の範囲とは、A/D変換部13のアナログ−デジタル変換によって所定のビット数(例えば、12ビット)に量子化された画像データに含まれる信号強度情報の階調(例えば、4096階調)の範囲である。つまり、信号強度の範囲とは、例えば、画像データに含まれる信号強度のダイナミックレンジである。また、設定部92は、範囲(つまり、信号強度の範囲)を、暗電流成分の信号強度の段階に応じた所定のしきい値によって設定する。ここで、信号強度の段階とは、信号強度情報の階調値を、連続した階調値の上限値と下限値とを定めて複数の連続する領域に分割した場合の階調値の領域である。つまり、暗電流成分の信号強度は、暗電流の大きさに対応して複数の段階に区分されている。本実施形態の設定部92は、画像データに含まれる信号強度のダイナミックレンジを、暗電流成分の信号強度の段階に応じて段階的に設定される所定のしきい値によって設定する。例えば、設定部92は、図3A〜図3Dに示すように範囲を設定する。
The setting
図3A〜図3Dは、設定部92が設定するしきい値の一例を示す模式図である。
ここで、本実施形態のA/D変換部13は、撮像素子12によって変換された電圧値を例えば、12ビット量子化によるアナログ−デジタル変換を行った画像データを出力する。この場合、A/D変換部13は、画像データに含まれる信号強度情報を、0〜4095の4096階調に量子化する。また、本実施形態においては、信号強度情報のうち有効な情報とする信号強度のダイナミックレンジは、所定の基準値が設定されている。本実施形態におけるダイナミックレンジの所定の基準値として、例えば、3600階調が設定されている。つまり、この場合、信号強度の値は3600階調で示される。また、この場合、所定の基準値であるしきい値の値は、例えば、3600である。
3A to 3D are schematic diagrams illustrating examples of threshold values set by the setting
Here, the A /
そして、本実施形態の設定部92は、抽出部91によって抽出された暗電流成分の信号強度に応じて上記のダイナミックレンジを設定する。つまり、設定部92は、所定の基準値に設定されているダイナミックレンジを、暗電流成分の信号強度に応じたダイナミックレンジに変更して、信号強度のダイナミックレンジを設定する。
例えば、設定部92は、図3Aに示すように、量子化された暗電流成分の信号強度が4096階調のうち、例えば、0〜30の値を示す場合(図3Aにおいては、30の値を示す場合)には、信号強度情報のうち有効な情報とする信号強度のダイナミックレンジを、例えば、所定の基準値である3600階調から、3800階調に変更して設定する。ここで、暗電流成分の信号強度を、図3A〜図3Dにおいてハッチングによって示している。この場合、所定のしきい値の値は、例えば、3800である。
同様に、設定部92は、図3Bに示すように、量子化された暗電流成分の信号強度が4096階調のうち、例えば、31〜100の値を示す場合(図3Bにおいては、100の値を示す場合)には、信号強度情報のうち有効な情報とする信号強度のダイナミックレンジを、例えば、3730階調に設定する。この場合、所定のしきい値の値は、例えば、3730である。
同様に、設定部92は、図3Cに示すように、量子化された暗電流成分の信号強度が4096階調のうち、例えば、101〜200の値を示す場合(図3Dにおいては、200の値を示す場合)には、信号強度情報のうち有効な情報とする信号強度のダイナミックレンジを、例えば、3630階調に設定する。この場合、所定のしきい値の値は、例えば、3630である。
同様に、設定部92は、図3Dに示すように、量子化された暗電流成分の信号強度が4096階調のうち、例えば、201の値以上を示す場合(図3Dにおいては、250の値を示す場合)には、信号強度情報のうち有効な情報とする信号強度のダイナミックレンジを、例えば、3600階調に設定する。この場合、所定のしきい値の値は、例えば、3600である。
このように、本実施形態の設定部92は、所定の基準値に設定されているダイナミックレンジを、抽出部91によって抽出された暗電流成分の信号強度に応じて設定する。
And the setting
For example, as illustrated in FIG. 3A, the setting
Similarly, as shown in FIG. 3B, the setting
Similarly, as illustrated in FIG. 3C, the setting
Similarly, as illustrated in FIG. 3D, the setting
As described above, the setting
再び、図2を参照して、図1に示された画像処理装置20の構成について説明する。
変換部93は、検出された信号強度情報から、設定部92によって設定された範囲を有効な情報とする補正情報に変換する。本実施形態の変換部93は、設定部92によって設定された範囲として、例えば、上述したように3800階調が設定された場合には、検出された信号強度情報から、3800階調を有効な情報とする補正情報に変換する。同様に、変換部93は、設定部92によって設定された範囲として、例えば、上述したように3730階調が設定された場合には、検出された信号強度情報から、3730階調を有効な情報とする補正情報に変換する。設定部92によって設定された範囲として、他の階調が設定された場合も同様である。
つまり、本実施形態の変換部93によって変換された補正情報は、設定部92によって設定された階調を有している。
Again, referring to FIG. 2, the configuration of the
The
That is, the correction information converted by the
選択部95は、所定のガンマ値のうちから、補正部94に供給されるガンマ値を選択する。例えば、図4に示すように、本実施形態のガンマ値記憶部61には、複数のガンマ値情報がしきい値に関連付けられて、それぞれ予め記憶されている。
The
図4は、ガンマ値記憶部61に記憶されている情報の一例を示す構成図である。
例えば、ガンマ値記憶部61には、しきい値3800に関連付けられて、第1のガンマ値情報が記憶されており、しきい値3730に関連付けられて、第2のガンマ値情報が記憶されている。また、ガンマ値記憶部61には、他のしきい値についても同様に記憶されている。
本実施形態の選択部95は、しきい値に関連付けられているガンマ値情報を、バス300を介してガンマ値記憶部61から読み出す。そして、選択部95は、後述する補正部94からしきい値を取得し、取得したしきい値に関連付けられているガンマ値情報を補正部94に出力する。
FIG. 4 is a configuration diagram illustrating an example of information stored in the gamma
For example, the gamma
The
再び、図2を参照して、補正部94について説明する。
補正部94は、変換部93によって変換された補正情報を、しきい値の段階に応じた所定のガンマ値によってガンマ補正をする。本実施形態の補正部94は、バス300を介して設定部92からしきい値を取得し、取得したしきい値に関連付けられているガンマ値情報を、選択部95から取得する。そして、補正部94は、変換部93から取得した補正情報を、取得したガンマ値情報によってガンマ補正し、ガンマ補正後の補正情報を、バス300を介して記憶部60に記憶させる。
このようにして、本実施形態の画像処理装置20は、撮像部によって検出された信号強度情報からガンマ補正後の補正情報に変換する画像処理を行う。
Again, the correction |
The
In this manner, the
次に、本実施形態の画像処理装置20を備える撮像装置100の動作について説明する。
図5は、本実施形態の画像処理装置20を備える撮像装置100の動作を示すフローチャートである。
Next, the operation of the
FIG. 5 is a flowchart illustrating the operation of the
撮像部10は、撮像部10は、撮像素子12の受光面に結像した光学像を電気信号(電圧信号)に変換する(ステップS100)。
次に、A/D変換部13は、撮像素子12から出力された当該光学像の電気信号をデジタル信号である画像データに変換して、変換した画像データを出力する(ステップS110)。
The
Next, the A /
次に、抽出部91は、A/D変換部13から出力された画像データを、バス300を介して取得し、取得した画像データに含まれる信号強度情報に基づいて、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出する(ステップS120、抽出ステップ)。
次に、設定部92は、抽出部91によって抽出された暗電流成分の信号強度に応じて、信号強度情報のうち有効な情報とする信号強度の範囲のしきい値を設定する(ステップS130、設定ステップ)。つまり、本実施形態の設定部92は、所定の基準値に設定されているダイナミックレンジを、抽出部91によって抽出された暗電流成分の信号強度に応じて設定する。
Next, the
Next, the setting
次に、変換部93は、検出された信号強度情報から、設定部92によって設定された範囲を有効な情報とする補正情報に変換する(ステップS140、変換ステップ)。ここで、変換部93は、設定部92によって設定されたしきい値を、画像データの変換処理の飽和レベルとして入力される信号強度情報を補正情報に変換する。例えば、変換部93は、入力された信号強度情報の階調が、設定されたしきい値(つまり、変換処理の飽和レベル)を超える場合には、入力された信号強度情報の階調値のうちしきい値を超える値について、しきい値と同じ階調値に変換する。このようにして、変換部93は、入力された信号強度情報の階調値を補正情報の階調値に変換する。
次に、選択部95は、所定のガンマ値のうちから、補正部94に供給されるガンマ値を選択する(ステップS150)。上述したように、本実施形態の選択部95は、設定部92からバス300を介して取得したしきい値に関連付けられているガンマ値をガンマ値記憶部61から予め読み出しておく。そして、選択部95は、設定部92によって設定されたしきい値に基づいて、予め読み出しておいたガンマ値のうちから、当該しきい値に関連付けられているガンマ値を選択する。
Next, the
Next, the
次に、補正部94は、変換部93によって変換された補正情報を、選択部95によって選択された、しきい値の段階に応じた所定のガンマ値によってガンマ補正をする(ステップS160)。そして、補正部94は、ガンマ補正後の補正情報を、バス300を介して記憶部60に記憶させて、処理を終了する。
Next, the
以上、説明したように、本実施形態の撮像装置100の画像処理装置20は、抽出部91と、設定部92と、変換部93とを備えている。また、抽出部91は、撮像部10によって検出された信号強度情報に基づいて、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出する。また、設定部92は、抽出部91によって抽出された暗電流成分の信号強度に応じて、信号強度情報のうち有効な情報とする信号強度の範囲を設定する。また、変換部93は、検出された信号強度情報から、設定部92によって設定された範囲を有効な情報とする補正情報に変換する。これにより、画像処理装置20は、画像データに含まれる暗電流成分の大きさに応じて、信号強度情報のうち有効な情報とする信号強度の範囲(つまり、画像データのダイナミックレンジ)を変えることができる。例えば、画像処理装置20は、画像データに含まれる暗電流成分が、基準値に比べて小さい場合には、基準値に設定されている画像データのダイナミックレンジを拡大することができる。ここで、画像処理装置20において、画像データのダイナミックレンジは画像データの画質に影響を及ぼす。例えば、撮像装置100において、画像データのダイナミックレンジが広いほど、変換後の画像データの画質が向上する。つまり、本実施形態の撮像装置100が備える画像処理装置20は、補正後の画像データの画質を向上させることができる。
As described above, the
また、本実施形態の撮像装置100の設定部92は、信号強度情報のうち有効な情報とする信号強度の範囲(つまり、画像データのダイナミックレンジ)を、暗電流成分の信号強度の段階に応じた所定のしきい値によって設定する。このように、本実施形態の画像処理装置20は、所定のしきい値を設計段階において予め設定することができる。これにより、本実施形態の画像処理装置20は、しきい値を設定するために、例えば、別途演算部などを備える必要がなく、単純な構成によってしきい値を設定することができる。
In addition, the setting
また、本実施形態の撮像装置100の画像処理装置20は、変換部93によって変換された補正情報を、しきい値の段階に応じた所定のガンマ値によってガンマ補正をする補正部94を備えている。これにより、本実施形態の画像処理装置20は、画像データのダイナミックレンジの変化に応じてガンマ値を正確に設定することができる。つまり、本実施形態の画像処理装置20は、画像データの画質を向上させることができる。また、本実施形態の画像処理装置20は、複数の所定のガンマ値を設計段階において予め設定することができる。これにより、本実施形態の画像処理装置20は、ガンマ値を設定するために、例えば、別途演算部などを備える必要がなく、単純な構成によってガンマ値を設定することができる。
In addition, the
また、本実施形態の撮像装置100の画像処理装置20は、所定のガンマ値のうちから、補正部94に供給されるガンマ値を選択する選択部95を備えている。これにより、本実施形態の画像処理装置20は、例えば、ガンマ値記憶部61に記憶されている複数のガンマ値を、撮像部10によって撮像される前に、ガンマ値記憶部61から予め読み出しておくことができる。つまり、本実施形態の画像処理装置20は、ガンマ値の補正処理の速度を向上させることができる。
Further, the
また、本実施形態の撮像装置100は、撮像対象を撮像した画像の信号強度情報を検出する撮像部10と、上述した画像処理装置20とを備えている。これにより、本実施形態の撮像装置100は、補正後の画像データの画質を向上させることができる。
Further, the
[第2の実施形態]
次に、図6を参照して、本発明の第2の実施形態を説明する。なお、第1の実施形態において説明した構成及び動作と同一の構成及び動作は、説明を省略する。
図6は、本実施形態の撮像装置100の構成を示す構成図である。
図6に示すように、本実施形態の撮像装置100は、撮像部10と、設定部92と、変換部93とを備えている。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIG. Note that the description of the same configuration and operation as those described in the first embodiment is omitted.
FIG. 6 is a configuration diagram illustrating a configuration of the
As illustrated in FIG. 6, the
撮像部10は、撮像対象を撮像した画像の信号強度情報を検出する。
設定部92は、撮像部10の撮像条件に基づいて、撮像部10によって検出された信号強度情報のうち有効な情報とする信号強度の範囲を設定する。
変換部93は、撮像部10によって検出された信号強度情報から、設定部92によって設定された範囲を有効な情報とする補正情報に変換する。
また、上記の撮像条件には、撮像部10が撮像対象を撮像する撮像感度が含まれる。
ここで、撮像部10の撮像素子12によって発生する暗電流は、撮像部10が撮像対象を撮像する撮像感度に応じて変化する。また、撮像素子12によって発生する暗電流と、撮像部10が撮像対象を撮像する撮像感度との関係は、撮像装置100の設計段階において予め求めておくことができる。したがって、撮像装置100は、撮像部10が撮像対象を撮像する撮像感度に応じて、信号強度情報のうち有効な情報とする信号強度の範囲(つまり、画像データのダイナミックレンジ)を変えれば、撮像素子12によって発生する暗電流の大きさに応じて、信号強度情報のうち有効な情報とする信号強度の範囲を変えることと同じ効果を得ることができる。つまり、本実施形態の撮像装置100は、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出することなく、補正後の画像データの画質を向上させることができる。
The
Based on the imaging conditions of the
The
The imaging conditions include imaging sensitivity with which the
Here, the dark current generated by the
なお、撮像条件には、撮像部10が撮像対象を撮像する露光時間が含まれていてもよい。ここで、撮像部10の撮像素子12によって発生する暗電流は、撮像部10が撮像対象を撮像する露光時間に応じて変化する。また、撮像素子12によって発生する暗電流と、撮像部10が撮像対象を撮像する露光時間との関係は、撮像装置100の設計段階において予め求めておくことができる。したがって、撮像装置100は、撮像部10が撮像対象を撮像する露光時間に応じて、信号強度情報のうち有効な情報とする信号強度の範囲(つまり、画像データのダイナミックレンジ)を変えれば、撮像素子12によって発生する暗電流の大きさに応じて、信号強度情報のうち有効な情報とする信号強度の範囲を変えることと同じ効果を得ることができる。つまり、本実施形態の撮像装置100は、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出することなく、補正後の画像データの画質を向上させることができる。
The imaging condition may include an exposure time for the
[第3の実施形態]
次に、図7を参照して、本発明の第3の実施形態を説明する。なお、第1の実施形態、及び第2の実施形態において説明した構成及び動作と同一の構成及び動作は、説明を省略する。
図7は、本実施形態の撮像装置100の構成を示す構成図である。
図7に示すように、本実施形態の撮像装置100は、撮像部10と、検出部14と、設定部92と、変換部93とを備えている。
検出部14は、例えば、温度センサを備えており、撮像部10の温度を検出する。
設定部92は、検出部14が検出した温度に基づいて、撮像部10によって検出された信号強度情報のうち有効な情報とする信号強度の範囲を設定する。
変換部93は、検出された信号強度情報と設定部92によって設定された範囲とに基づいて、信号強度情報から、設定された範囲を有効な情報とする補正情報に変換する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described with reference to FIG. Note that the description of the same configuration and operation as those described in the first and second embodiments is omitted.
FIG. 7 is a configuration diagram illustrating a configuration of the
As illustrated in FIG. 7, the
The
Based on the temperature detected by the
Based on the detected signal strength information and the range set by the setting
ここで、撮像部10の撮像素子12によって発生する暗電流は、撮像部10の温度、特に撮像素子12の温度に応じて変化する。また、撮像素子12によって発生する暗電流と、撮像部10の温度との関係は、撮像装置100の設計段階において予め求めておくことができる。したがって、撮像装置100は、撮像部10の温度に応じて、信号強度情報のうち有効な情報とする信号強度の範囲(つまり、画像データのダイナミックレンジ)を変えれば、撮像素子12によって発生する暗電流の大きさに応じて、信号強度情報のうち有効な情報とする信号強度の範囲を変えることと同じ効果を得ることができる。つまり、本実施形態の撮像装置100は、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出することなく、補正後の画像データの画質を向上させることができる。
Here, the dark current generated by the
[第4の実施形態]
次に、図8を参照して、本発明の第4の実施形態を説明する。なお、第1の実施形態、から第3の実施形態において説明した構成及び動作と同一の構成及び動作は、説明を省略する。
図8は、本実施形態の撮像装置100が備える画像処理装置20の構成を示す構成図である。
図8に示すように、本実施形態の画像処理装置20は、抽出部91と、設定部92と、補正部94と、ガンマ値記憶部61とを備えている。
抽出部91は、撮像部10によって検出された信号強度情報に基づいて、撮像部10が生成する暗電流による暗電流成分を信号強度情報から抽出する。
設定部92は、抽出部91によって抽出された暗電流成分の信号強度に基づいて、信号強度情報を補正するガンマ値を設定する。例えば、本実施形態のガンマ値記憶部61には、暗電流成分の信号強度の段階に応じて設定されたしきい値に関連付けられて、ガンマ値情報が予め記憶されている。そして、設定部92は、抽出部91によって抽出された暗電流成分の信号強度の段階に応じてしきい値を求め、求めたしきい値に関連付けられているガンマ値情報を、バス300を介してガンマ値記憶部61から読み出す。そして、設定部92は、読みだしたガンマ値情報を、信号強度情報を補正するガンマ値として設定する。
補正部94は、設定部92によって設定されたガンマ値に基づいて、撮像部10によって検出された信号強度情報をガンマ補正する。
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described with reference to FIG. Note that the description of the same configuration and operation as those described in the first to third embodiments is omitted.
FIG. 8 is a configuration diagram illustrating a configuration of the
As shown in FIG. 8, the
Based on the signal intensity information detected by the
The setting
The
このように、本実施形態の撮像装置100の画像処理装置20は、抽出部91によって抽出された暗電流成分の信号強度に基づいて設定されたガンマ値によって、画像データをガンマ補正する。これにより、本実施形態の画像処理装置20は、画像データに含まれている暗電流成分の変化に応じてガンマ値を正確に設定することができる。つまり、本実施形態の画像処理装置20は、画像データの画質を向上させることができる。
As described above, the
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。 As mentioned above, although embodiment of this invention has been explained in full detail with reference to drawings, a concrete structure is not restricted to this embodiment and can be suitably changed in the range which does not deviate from the meaning of this invention. .
なお、上記の実施形態における制御部90又はこの制御部90が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
Note that the
なお、この制御部90又は制御部90が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この制御部90又は制御部90が備える各部はメモリおよびCPU(中央演算装置)により構成され、制御部90又は制御部90が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
The
また、制御部90又は制御部90が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部90又は制御部90が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
Further, the
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
10…撮像部、14…検出部、20…画像処理装置、91…抽出部、92…設定部、93…変換部、94…補正部、95…選択部、100…撮像装置
DESCRIPTION OF
Claims (10)
前記抽出部によって抽出された前記暗電流成分に応じて、前記信号強度情報における有効な信号強度の範囲を前記暗電流成分の信号強度であって前記暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定部と、
前記信号強度情報を、前記設定部によって設定された前記範囲を有効な情報とする補正情報に変換する変換部と
を備える画像処理装置。 Based on the signal intensity information detected by the imaging unit, an extraction unit that extracts a dark current component indicating the magnitude of the dark current generated in the imaging unit included in the signal intensity information;
According to the dark current component extracted by the extraction unit, an effective signal intensity range in the signal intensity information is a plurality of stages corresponding to the dark current component signal intensity and the dark current magnitude. A setting unit configured to set with a predetermined threshold according to the stage of the signal strength divided into
An image processing apparatus comprising: a conversion unit that converts the signal intensity information into correction information that uses the range set by the setting unit as effective information.
を備える請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising: a correction unit that performs gamma correction on the correction information converted by the conversion unit using a predetermined gamma value corresponding to the threshold level.
を備える請求項2に記載の画像処理装置。 The image processing apparatus according to claim 2, further comprising: a selection unit that selects the gamma value supplied to the correction unit from among the predetermined gamma values.
請求項1から請求項3までのいずれか一項に記載の画像処理装置と
を備える撮像装置。 An imaging unit for detecting signal intensity information of an image obtained by imaging an imaging target;
An imaging device comprising: the image processing device according to any one of claims 1 to 3.
前記撮像部の撮像条件に基づいて、前記撮像部によって検出された前記信号強度情報のうち有効な情報とする信号強度の範囲を、暗電流成分の信号強度であって暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定部と、
検出された前記信号強度情報から、前記設定部によって設定された前記範囲を有効な情報とする補正情報に変換する変換部と
を備える撮像装置。 An imaging unit for detecting signal intensity information of an image obtained by imaging an imaging target;
Based on the imaging conditions of the imaging unit, the signal intensity range that is effective information among the signal intensity information detected by the imaging unit corresponds to the dark current component signal intensity and the dark current magnitude. And a setting unit that sets the signal strength according to a predetermined threshold value corresponding to the level of the signal intensity divided into a plurality of levels,
A conversion unit that converts the detected signal intensity information into correction information that uses the range set by the setting unit as valid information.
前記撮像部が前記撮像対象を撮像する撮像感度が含まれる
請求項5に記載の撮像装置。 The imaging conditions include
The imaging device according to claim 5, wherein the imaging unit includes imaging sensitivity for imaging the imaging target.
前記撮像部が前記撮像対象を撮像する露光時間が含まれる
請求項5または請求項6に記載の撮像装置。 The imaging conditions include
The imaging apparatus according to claim 5, wherein the imaging unit includes an exposure time for imaging the imaging target.
前記撮像部の温度を検出する検出部と、
前記検出部が検出した前記温度に基づいて、前記撮像部によって検出された前記信号強度情報のうち有効な情報とする信号強度の範囲を、暗電流成分の信号強度であって暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定部と、
検出された前記信号強度情報と前記設定部によって設定された前記範囲とに基づいて、前記信号強度情報から、設定された前記範囲を有効な情報とする補正情報に変換する変換部と
を備える撮像装置。 An imaging unit for detecting signal intensity information of an image obtained by imaging an imaging target;
A detection unit for detecting the temperature of the imaging unit;
Based on the temperature detected by the detection unit, a signal intensity range that is effective information among the signal intensity information detected by the imaging unit is a signal intensity of a dark current component and a magnitude of the dark current. A setting unit that sets the signal strength according to a predetermined threshold corresponding to the level of the signal intensity that is divided into a plurality of levels,
An imaging device comprising: a conversion unit that converts the signal intensity information into correction information that makes the set range effective information based on the detected signal intensity information and the range set by the setting unit. apparatus.
前記抽出部によって抽出された前記暗電流成分の信号強度に基づいて、前記信号強度情報を補正するガンマ値を前記暗電流成分の信号強度であって前記暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定部と
前記設定部によって設定された前記ガンマ値に基づいて、前記撮像部によって検出された前記信号強度情報をガンマ補正する補正部と
を備える画像処理装置。 Based on the signal intensity information detected by the imaging unit, an extraction unit that extracts a dark current component due to the dark current generated by the imaging unit from the signal intensity information;
Based on the signal strength of the dark current component extracted by the extraction unit, a gamma value for correcting the signal strength information is a plurality of signals corresponding to the magnitude of the dark current, which is the signal strength of the dark current component. A setting unit that is set by a predetermined threshold corresponding to the level of the signal intensity divided into stages, and the signal intensity detected by the imaging unit based on the gamma value set by the setting unit An image processing apparatus comprising: a correction unit that performs gamma correction on information.
撮像部によって検出された信号強度情報に基づいて、前記撮像部が生成する暗電流による暗電流成分を前記信号強度情報から抽出する抽出ステップと、
前記抽出ステップによって抽出された前記暗電流成分の信号強度に応じて、前記信号強度情報のうち有効な情報とする信号強度の範囲を前記暗電流成分の信号強度であって前記暗電流の大きさに対応して複数の段階に区分されている当該信号強度の前記段階に応じた所定のしきい値によって設定する設定ステップと、
検出された前記信号強度情報から、前記設定ステップによって設定された前記範囲を有効な情報とする補正情報に変換する変換ステップと
を実行させるためのプログラム。 In the computer provided in the image processing apparatus,
An extraction step for extracting a dark current component due to a dark current generated by the imaging unit from the signal intensity information based on the signal intensity information detected by the imaging unit;
According to the signal intensity of the dark current component extracted by the extraction step, the signal intensity range that is effective information among the signal intensity information is the signal intensity of the dark current component and the magnitude of the dark current. A setting step for setting with a predetermined threshold value corresponding to the stage of the signal intensity divided into a plurality of stages corresponding to
A conversion step of converting the detected signal intensity information into correction information that uses the range set in the setting step as valid information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012075771A JP5906884B2 (en) | 2012-03-29 | 2012-03-29 | Image processing apparatus, imaging apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012075771A JP5906884B2 (en) | 2012-03-29 | 2012-03-29 | Image processing apparatus, imaging apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013207632A JP2013207632A (en) | 2013-10-07 |
| JP5906884B2 true JP5906884B2 (en) | 2016-04-20 |
Family
ID=49526298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012075771A Active JP5906884B2 (en) | 2012-03-29 | 2012-03-29 | Image processing apparatus, imaging apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5906884B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019142836A1 (en) * | 2018-01-16 | 2019-07-25 | 株式会社ニコン | Coding device, decoding device, coding method, decoding method, coding program, and decoding program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006006373A1 (en) * | 2004-07-07 | 2006-01-19 | Nikon Corporation | Image processor and computer program product |
| JP4616794B2 (en) * | 2006-05-18 | 2011-01-19 | 富士フイルム株式会社 | Image data noise reduction apparatus and control method therefor |
| JP5374217B2 (en) * | 2009-04-22 | 2013-12-25 | キヤノン株式会社 | Image processing apparatus and method |
-
2012
- 2012-03-29 JP JP2012075771A patent/JP5906884B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013207632A (en) | 2013-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5701182B2 (en) | Image processing apparatus, image processing method, and computer program | |
| KR101594292B1 (en) | Digital imaging device, digital imaging device control method, and computer readable storage medium | |
| WO2015135395A1 (en) | Image acquisition method and image acquisition apparatus | |
| JP4831067B2 (en) | Image processing apparatus, image processing method, image processing program product, and imaging apparatus | |
| JP6720881B2 (en) | Image processing apparatus and image processing method | |
| JP4602413B2 (en) | Solid-state imaging device and dark current component removal method | |
| CN108028885A (en) | Imaging device and imaging method thereof | |
| JP4720537B2 (en) | Imaging device | |
| JP5906884B2 (en) | Image processing apparatus, imaging apparatus, and program | |
| JP2015192338A (en) | Image processing device and image processing program | |
| JP2013207610A (en) | Image pickup device and program | |
| KR20180138530A (en) | Detection apparatus, image processing apparatus, detection method, and image processing method | |
| JP4947105B2 (en) | Image processing apparatus, image processing program, and imaging apparatus | |
| JP2013207611A (en) | Imaging device | |
| JP2018107532A (en) | Projection control apparatus, projection control method, and program | |
| JP2011029710A (en) | Image processor, image processing program, and imaging apparatus | |
| JP2010278724A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2015233202A (en) | Image processing apparatus, image processing method, and program | |
| JP2012044480A (en) | Image pickup apparatus and image pickup method | |
| JP2009147875A (en) | Image reading and display device | |
| JP5316662B2 (en) | Image processing apparatus, image processing program, and imaging apparatus | |
| JP4322258B2 (en) | Noise processing apparatus and imaging apparatus | |
| JP6818585B2 (en) | Image processing device, image processing method, and program | |
| JP2006180500A (en) | Imaging apparatus and method for correcting nonlinear image | |
| JP2012222508A (en) | Image processor and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5906884 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |