Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4841582B2 - 画像補正プログラムおよび画像補正装置 - Google Patents
[go: Go Back, main page]

JP4841582B2 - 画像補正プログラムおよび画像補正装置 - Google Patents

画像補正プログラムおよび画像補正装置 Download PDF

Info

Publication number
JP4841582B2
JP4841582B2 JP2008070174A JP2008070174A JP4841582B2 JP 4841582 B2 JP4841582 B2 JP 4841582B2 JP 2008070174 A JP2008070174 A JP 2008070174A JP 2008070174 A JP2008070174 A JP 2008070174A JP 4841582 B2 JP4841582 B2 JP 4841582B2
Authority
JP
Japan
Prior art keywords
image
exposure amount
brightness
predetermined
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008070174A
Other languages
English (en)
Other versions
JP2009225345A (ja
Inventor
征啓 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008070174A priority Critical patent/JP4841582B2/ja
Priority to PCT/JP2008/072042 priority patent/WO2009116208A1/ja
Priority to CN200880128114.7A priority patent/CN101978681B/zh
Publication of JP2009225345A publication Critical patent/JP2009225345A/ja
Priority to US12/923,387 priority patent/US8310572B2/en
Application granted granted Critical
Publication of JP4841582B2 publication Critical patent/JP4841582B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

この発明は、画像データに対して補正処理を行う画像補正プログラム、画像補正装置および画像補正方法に関する。
従来より、デジタルカメラ等によって撮影された画像データに対して補正処理を行うことが知られている。例えば、撮影された画像データが露出不足などで暗くなった画像データに対して、明るく変換する明変換を行って明るい画像に補正する処理が行われている。
ところが、上記暗くなった画像データが、夜景などを撮影した画像データであった場合には、元来暗めの画像を明るく変換して、昼間のような画像に誤って変換してしまう場合がある。
このため、画像データの補正処理の具合を制御する技術として、露出補正量(例えば、ユーザが決定するカメラの露光シフト量)を用いて、自動補正具合を補正する技術が知られている(特許文献1、特許文献2および特許文献3参照)。例えば、ユーザが決定するカメラの露光シフト量を用いて、アンダー失敗画像か夜景か、撮影被写体を推測特定して、画像データの補正処理の具合を制御する。
特開2005−62993号公報 国際公開第2004/008754号パンフレット 特開2007−295542号公報
ところで、上記した画像データの補正処理の具合を制御する技術では、露出補正量を用いて、自動補正具合を補正するので、例えば、ユーザが露出補正量を誤って決定した場合や露出補正量を固定にしている場合には、露出補正量からでは、撮影被写体を推測特定することができないため、自動補正量の適正な決定が困難である結果、画像データに対して精度の高い補正処理ができないという課題があった。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像データに対して精度の高い補正処理を行う画像補正プログラム、画像補正装置および画像補正方法を提供することを目的とする。
この装置は、撮影時における前記撮影部に関する情報を用いて、露出量を算出する露出量算出手段と、前記画像データに関する情報を用いて、当該画像の明るさを算出する明るさ算出手段と、前記露出量算出手段によって算出された前記露出量と、前記明るさ算出手段によって算出された前記画像の明るさとに基づいて、前記画像データの明るさを補正することを要件とする。
開示の装置は、画像データに対して精度の高い補正処理を行うという効果を奏する。
以下に添付図面を参照して、この発明に係る画像補正プログラム、画像補正装置および画像補正方法の実施例を詳細に説明する。
以下の実施例では、実施例1に係る画像補正装置の構成および処理の流れを順に説明し、最後に実施例1による効果を説明する。なお、以下では、デジタルカメラで撮影された画像のデータを補正し、接続されたプリンタに出力する場合の例を説明する。
[画像補正装置の構成]
次に、図1を用いて、実施例1に係る画像補正装置10の構成を説明する。図1は、実施例1に係る画像補正装置10の構成を示すブロック図である。同図に示すように、この画像補正装置10は、デジタルカメラI/F11、プリンタI/F12、制御部13、記憶部14を備え、ケーブルやネットワーク等を介してデジタルカメラ20およびプリンタ30と接続される。以下にこれらの各部の処理を説明する。
デジタルカメラI/F11は、接続されるデジタルカメラ20との間でやり取りする各種情報に関する通信を制御する。具体的には、デジタルカメラI/F11は、デジタルカメラ20から撮影画像データを受信する。
プリンタI/F12は、接続されるプリンタ30との間でやり取りする各種情報に関する通信を制御する。具体的には、プリンタI/F12は、補正処理を行った画像データをプリンタ30に送信する。
記憶部14は、制御部13による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、LUT(Look Up Table、以下LUTと略す)14aを備える。このLUT14aとは、図2に例示するように、入力画像の輝度値と出力画像の輝度値の対応関係を表わす変換テーブルである。
また、同図に例示するように、LUT14aでは、複数の変換テーブルを有しており、入力輝度の輝度値よりも出力輝度の輝度値を大きくする明変換用のLUTと(図2の(1−1)、(1−2)参照)、入力輝度の輝度値よりも出力輝度の輝度値を小さくする暗変換用のLUT(図2の(2))とを有する。ここで、LUT14aは、明変換用のLUTとして、弱い明変換を行う場合の弱明変換用のLUT(図2の(1−1)参照)と、強い明変換を行う場合の強明変換用のLUT(図2の(2)参照)とを有している。
制御部13は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、撮影画像情報抽出部13a、露出量算出部13b、輝度値算出部13c、画像状態判別部13d、画像補正部13eを備える。
撮影画像情報抽出部13aは、撮影時におけるデジタルカメラ20に関する情報および画像データに関する情報をデジタルカメラから受信した撮影画像データから抽出する。例えば、撮影画像情報抽出部13aは、デジタルカメラ20の撮影時のシャッタースピード、絞り、ISO(撮影素子感度)の情報を含んだ「Exif情報」と、RGBの画素データや画素数分の輝度値データを含んだ「画素データ」とを撮影画像データから抽出する。そして、撮影画像情報抽出部13aは、「Exif情報」を後述する露出量算出部13bに通知し、「画素データ」を後述する輝度値算出部13cに通知する。
露出量算出部13bは、撮影時におけるデジタルカメラ20に関する情報を用いて、露出量(EV値)を算出する。例えば、露出量算出部13bは、下記(1)式を用いて、Exif情報から露出量(EV値)を算出し、後述する画像状態判別部13dに通知する。ここで、EV値は、絞りF/シャッターT/感度ISOの関数で表記される。
Figure 0004841582
輝度値算出部13cは、画像データに関する情報を用いて、画像の明るさを算出する。具体的には、輝度値算出部13cは、図3に例示するように、画素データを用いて、明るさのヒストグラムを採取し、画素統計(つまり、画像の明るさの平均値)を算出し、後述する画像状態判別部13dに通知する。
画像状態判別部13dは、算出された画像の明るさが所定の閾値より明るいかを判別し、当該画像の明るさが所定の閾値より明るい場合には、露出量が所定の閾値より大きいか少ないかを判別する。また、画像状態判別部13dは、画像の明るさが所定の閾値より暗い場合には、露出量が所定の閾値より大きいか少ないかを判別する。
具体的には、画像状態判別部13dは、画像の明るさの平均値が所定の閾値より高いか低いか判定し、画像の明るさの平均値が所定の閾値より低い場合(つまり、暗い画像の場合)には、EV値が所定の閾値より高いか低いかを判定する。
その結果、画像状態判別部13dは、EV値が所定の閾値より低い場合には、補正処理を行わずに元画像をプリンタ30に出力する旨の要求を画像補正部13eに通知する。また、画像状態判別部13dは、EV値が所定の閾値より高い場合には、EV値が中間であるか高いかを判定する。
その結果、画像状態判別部13dは、EV値が中間である場合には、弱い明変換を行う場合の弱明変換用のLUT(図2の(1−1)参照)を用いて明変換を行う旨の要求を画像補正部13eに通知する。また、画像状態判別部13dは、EV値が所定の閾値より高い場合には、強い明変換を行う場合の強明変換用のLUT(図2の(1−2)参照)を用いて明変換を行う旨の要求を画像補正部13eに通知する。
つまり、画像の明るさの平均値が所定の閾値より低く、EV値が所定の閾値より低い画像については、図4の(1)に例示するように、シャッターが遅い(例えば「EV=1」)状態で撮影された夜景の画像であるとして、明変換を行わず、そのままにする。また、画像の明るさの平均値が所定の閾値より低く、EV値が所定の閾値より低い画像については、図4の(2)に例示するように、画像の明るさの平均値が所定の閾値より低く、EV値が高い(または中間の)画像については、シャッターが速い(例えば「EV=15」)状態で撮影されたアンダーな失敗画像であるとして、明変換を行う。
一方、画像状態判別部13dは、画像の明るさの平均値が所定の閾値より高い場合(つまり、明るい画像の場合)には、EV値が所定の閾値より高いか低いかを判定する。その結果、画像状態判別部13dは、EV値が所定の閾値より低い場合には、暗変換用のLUT(図2の(2)参照)を用いて暗変換を行う旨の要求を画像補正部13eに通知する。また、画像状態判別部13dは、EV値が所定の閾値より高い場合には、原画像をプリンタ30に出力する旨の要求を画像補正部13eに通知する。
画像補正部13eは、露出量および画像の明るさに基づいて、画像データの明るさを補正する。具体的には、画像補正部13eは、画像状態判別部13dから弱い明変換を行う場合の弱明変換用のLUT(図2の(1−1)参照)を用いて明変換を行う旨の要求を受け付けた場合には、LUT14aから弱明変換用のLUTを読み出し、弱明変換用のLUTを用いて明変換を行った後、画像データをプリンタ30に出力する。
また、画像補正部13eは、画像状態判別部13dから強い明変換を行う場合の強明変換用のLUT(図2の(1−2)参照)を用いて明変換を行う旨の要求を受け付けた場合には、LUT14aから強明変換用のLUTを読み出し、強明変換用のLUTを用いて明変換を行った後、画像データをプリンタ30に出力する。
また、画像補正部13eは、画像状態判別部13dから暗変換用のLUT(図2の(2)参照)を用いて暗変換を行う旨の要求を受け付けた場合には、LUT14aから暗変換用のLUTを読み出し、暗変換用のLUTを用いて暗変換を行った後、画像データをプリンタ30に出力する。
また、画像補正部13eは、画像状態判別部13dから原画像をプリンタ30に出力する旨の要求を受け付けた場合には、原画像をプリンタ30に出力する。なお、画像補正部13eは、画像の明るさの平均値が所定の閾値より低くてEV値が所定の閾値より低い画像と、画像の明るさの平均値が所定の閾値より高くてEV値が所定の閾値より高い画像について、原画像をプリンタ30に出力するのではなく、弱い明変換または弱い暗変換を行った後、プリンタ30に出力するようにしてもよい。
[画像補正装置による処理]
次に、図5を用いて、実施例1に係る画像補正装置10による処理を説明する。図5は、実施例1に係る画像補正装置10の処理動作を示すフローチャートである。同図に示すように、画像補正装置10は、デジタルカメラ20から撮影画像データを受け付けると(ステップS101)、「Exif情報」と「画素データ」とを撮影画像データから抽出する(ステップS102)。
そして、画像補正装置10は、Exif情報から露出量(EV値)を算出し(ステップS103)、画素データを用いて、明るさのヒストグラムを採取し、画素統計(つまり、画像の明るさの平均値)を算出する(ステップS104)。
続いて、画像補正装置10は、画像の明るさの平均値が所定の閾値より低いか判定する(ステップS105)。その結果、画像補正装置10は、画像の明るさの平均値が所定の閾値より低い場合(つまり、暗い画像の場合)には(ステップS105肯定)、EV値が所定の閾値より低いかを判定する(ステップS106)。
その結果、画像補正装置10は、EV値が所定の閾値より低い場合には(ステップS106肯定)、補正処理を行わずに元画像を保持して(ステップS107)、プリンタ30に出力する(ステップS114)。また、画像補正装置10は、EV値が所定の閾値より高い場合には(ステップS106否定)、EV値が中間であるかを判定する(ステップS108)。
その結果、画像補正装置10は、EV値が中間である場合には(ステップS108肯定)、弱い明変換を行う場合の弱明変換用のLUTを用いて明変換を行って(ステップS109)、プリンタ30に出力する(ステップS114)。また、画像補正装置10は、EV値が所定の閾値より高い場合には(ステップS108否定)、強い明変換を行う場合の強明変換用のLUTを用いて明変換を行って(ステップS110)、プリンタ30に出力する(ステップS114)。
一方、画像補正装置10は、画像の明るさの平均値が所定の閾値より高い場合(つまり、明るい画像の場合)には(ステップS105否定)、EV値が所定の閾値より低いかを判定する(ステップS111)。
その結果、画像補正装置10は、EV値が所定の閾値より低い場合には(ステップS111肯定)、暗変換用のLUTを用いて暗変換を行って(ステップS112)、プリンタ30に出力する(ステップS114)。また、画像補正装置10は、EV値が所定の閾値より高い場合には(ステップS111否定)、補正処理を行わずに元画像を保持して(ステップS113)、プリンタ30に出力する(ステップS114)。
[実施例1の効果]
上述してきたように、画像補正装置10は、撮影時におけるデジタルカメラ20に関する情報(例えば、Exif情報)を用いて、露出量を算出し、画像データに関する情報(例えば、画像の画素データ)を用いて、画像の明るさの平均値を算出し、露出量および画像の明るさの平均値に基づいて、画像データの明るさを補正するので、露出量および画像の明るさの平均値から撮影シーン状況を推測し、撮影シーン状況を考慮した精度の高い補正処理を画像データに対して行うことが可能である。
また、実施例1によれば、画像の明るさの平均値が所定の閾値より明るいかを判別し、画像の明るさの平均値が所定の閾値より明るい場合には、算出された露出量が所定の閾値より大きいか少ないかを判別し、露出量が所定の閾値より少ないと判別された場合には、画像データの明るさを補正する処理を行わず、露出量が所定の閾値より大きいと判別された場合には、画像データの明るさを補正する処理として、画像データを明るく変換する明変換処理を行うので、例えば、画像の明るさの平均値が所定の閾値より低く、EV値が所定の閾値より低い画像については、シャッターが遅い状態で撮影された夜景の画像であるとして、明変換を行わず、補正する処理を行わない。また、画像の明るさの平均値が所定の閾値より低く、EV値が所定の閾値より低い画像については、画像の明るさの平均値が所定の閾値より低く、EV値が高い画像については、シャッターが速い状態で撮影されたアンダーな失敗画像であるとして、明変換を行う結果、明るい画像に対して、撮影シーン状況を考慮した精度の高い補正処理を行うことが可能である。
また、実施例1によれば、画像の明るさの平均値が所定の閾値より明るいかを判別し、画像の明るさの平均値が所定の閾値より明るい場合には、露出量が所定の閾値より大きいか少ないかを判別し、露出量が所定の閾値より少ないと判別された場合には、露出量が所定の閾値より大きい場合に行う明変換処理よりも弱い明変換処理を行い、露出量が所定の閾値より大きいと判別された場合には、露出量が所定の閾値より少ない場合に行う明変換処理よりも強い明変換処理を行うので、明るい画像に対して、撮影シーン状況を考慮した精度の高い補正処理を行うことが可能である。
また、実施例1によれば、算出された画像の明るさが所定の閾値より暗いかを判別し、画像の明るさが所定の閾値より暗い場合には、算出された露出量が所定の閾値より大きいか少ないかを判別し、露出量が所定の閾値より少ないと判別された場合には、画像データの明るさを補正する処理として、画像データを暗く変換する暗変換処理を行い、露出量が所定の閾値より大きいと判別された場合には、画像データの明るさを補正する処理を行わないので、例えば、画像の明るさの平均値が所定の閾値より低く、EV値が所定の閾値より低い画像については、シャッターが遅い状態で撮影された元来暗い風景が明るい画像になった場合として、暗変換を行う。また、画像の明るさの平均値が所定の閾値より低く、EV値が所定の閾値より高い画像については、適正画像であるとして、暗変換を行わない結果、暗い画像に対して、撮影シーン状況を考慮した精度の高い補正処理を行うことが可能である。
また、実施例1によれば、算出された画像の明るさの平均値が所定の閾値より暗いかを判別し、画像の明るさが所定の閾値より暗い場合には、算出された露出量が所定の閾値より大きいか少ないかを判別し、露出量が所定の閾値より少ないと判別された場合には、露出量が所定の閾値より大きい場合に行う暗変換処理よりも強い暗変換処理を行い、露出量が所定の閾値より大きいと判別された場合には、露出量が所定の閾値より少ない場合に行う暗変換処理よりも弱い暗変換処理を行うので、暗い画像に対して、撮影シーン状況を考慮した精度の高い補正処理を行うことが可能である。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例2として本発明に含まれる他の実施例を説明する。
(1)画像補正
上記の実施例1では、露出量および画像の明るさが、それぞれに対して設定された所定の閾値より高いか低いかを判別し、その判別結果に対応するLUTを用いて、明変換または暗変換を行う画像補正を行う場合を説明したが、本発明はこれに限定されるものではなく、露出量および画像の明るさの平均の値の高低に応じて、暗変換または明変換の強度を変更して、画像補正を行うようにしてもよい。
具体的には、実施例2に係る画像補正装置は、画像の明るさの平均値が所定の閾値より低い場合には、露出量の値が大きいほど、強い明変換を行い、露出量の値が小さいほど、弱い明変換を行う。また、画像の明るさの平均値が所定の閾値より高い場合には、露出量の値が小さいほど、強い暗変換を行い、露出量の値が大きいほど、弱い暗変換を行う。
また、実施例2に係る画像補正装置は、画像の明るさの平均値も考慮して、明変換を行う場合には、画像の明るさの平均値が大きいほど、弱い明変換を行い、画像の明るさの平均値が小さいほど、強い明変換を行うように調整してもよい。一方、実施例2に係る画像補正装置は、暗変換を行う場合には、画像の明るさの平均値が大きいほど、強い暗変換を行い、画像の明るさの平均値が小さいほど、弱い暗変換を行うように調整してもよい。
(2)デジタルカメラ
また、上記の実施例1では、デジタルカメラが外部の画像補正装置に画像データを送信し、画像補正装置が当該画像データを補正する場合を説明したが、本発明はこれに限定されるものではなく、デジタルカメラに上記した画像補正装置を適用し、デジタルカメラ自身が撮影した画像データに補正処理を行うようにしてもよい。
(3)システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像状態判別部13dと画像補正部13eを統合してもよい。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、上記した画像状態を判別する所定の閾値は、任意に変更することができる。
(4)プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをコンピュータで実行することによって実現することができる。そこで、以下では、図6を用いて、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図6は、画像補正プログラムを実行するコンピュータを示す図である。
同図に示すように、画像補正装置としてのコンピュータ600は、HDD610、RAM620、ROM630およびCPU640をバス650で接続して構成される。
そして、ROM630には、上記の実施例と同様の機能を発揮する画像補正プログラム、つまり、図6に示すように、撮影画像情報抽出プログラム631、露出量算出プログラム632、輝度値算出プログラム633、画像状態判別プログラム634および画像補正プログラム635が予め記憶されている。なお、プログラム631〜635については、図1に示した画像補正装置の各構成要素と同様、適宜統合または分散してもよい。
そして、CPU640が、これらのプログラム631〜635をROM630から読み出して実行することで、図6に示すように、各プログラム631〜635は、撮影画像情報抽出プロセス641、露出量算出プロセス642、輝度値算出プロセス643、画像状態判別プロセス644および画像補正プロセス645として機能するようになる。各プロセス641〜645は、図1に示した撮影画像情報抽出部13a、露出量算出部13b、輝度値算出部13c、画像状態判別部13d、画像補正部13eにそれぞれ対応する。
また、HDD610には、図6に示すように、LUT611が設けられる。なお、LUT611は、図1に示したLUT14aに対応する。そして、CPU640は、LUT611を用いて、画像補正処理を実行する。
以上の実施例1〜2を含む実施形態に関し、更に以下の付記を開示する。
(付記1)撮影部によって撮影された画像データに対して補正処理を行う画像補正方法をコンピュータに実行させる画像補正プログラムであって、
撮影時における前記撮影部に関する情報を用いて、露出量を算出する露出量算出手順と、
前記画像データに関する情報を用いて、当該画像の明るさを算出する明るさ算出手順と、
前記露出量算出手順によって算出された前記露出量と、前記明るさ算出手順によって算出された前記画像の明るさとに基づいて、前記画像データの明るさを補正する画像補正手順と、
をコンピュータに実行させることを特徴とする画像補正プログラム。
(付記2)前記明るさ算出手順によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出手順によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別手順をさらにコンピュータに実行させ、
前記画像補正手順は、前記画像判別手順によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理を行わず、前記画像判別手順によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを明るく変換する明変換処理を行うことを特徴とする付記1に記載の画像補正プログラム。
(付記3)前記明るさ算出手順によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出手順によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別手順をさらにコンピュータに実行させ、
前記画像補正手順は、前記画像判別手順によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う明変換処理よりも弱い明変換処理を行い、前記画像判別手順によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う明変換処理よりも強い明変換処理を行うことを特徴とする付記1に記載の画像補正プログラム。
(付記4)前記画像判別手順は、前記明るさ算出手順によって算出された前記画像の明るさが所定の明度閾値より暗いかを判別し、当該画像の明るさが所定の明度閾値より暗い場合には、前記露出量算出手順によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別し、
前記画像補正手順は、前記画像判別手順によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを暗く変換する暗変換処理を行い、前記画像判別手順によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理を行わないことを特徴とする付記1〜3のいずれか一つに記載の画像補正プログラム。
(付記5)前記画像判別手順は、前記明るさ算出手順によって算出された前記画像の明るさが所定の明度閾値より暗いかを判別し、当該画像の明るさが所定の明度閾値より暗い場合には、前記露出量算出手順によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別し、
前記画像補正手順は、前記画像判別手順によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う暗変換処理よりも強い暗変換処理を行い、前記画像判別手順によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う暗変換処理よりも弱い暗変換処理を行うことを特徴とする付記1〜3のいずれか一つに記載の画像補正プログラム。
(付記6)撮影部によって撮影された画像データに対して補正処理を行う画像補正装置であって、
撮影時における前記撮影部に関する情報を用いて、露出量を算出する露出量算出手段と、
前記画像データに関する情報を用いて、当該画像の明るさを算出する明るさ算出手段と、
前記露出量算出手段によって算出された前記露出量と、前記明るさ算出手段によって算出された前記画像の明るさとに基づいて、前記画像データの明るさを補正する画像補正手段と、
を備えることを特徴とする画像補正装置。
(付記7)前記明るさ算出手段によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出手段によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別手段をさらに備え、
前記画像補正手段は、前記画像判別手段によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理を行わず、前記画像判別手段によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを明るく変換する明変換処理を行うことを特徴とする付記6に記載の画像補正装置。
(付記8)前記明るさ算出手段によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出手段によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別手段をさらに備え、
前記画像補正手段は、前記画像判別手段によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う明変換処理よりも弱い明変換処理を行い、前記画像判別手段によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う明変換処理よりも強い明変換処理を行うことを特徴とする付記6に記載の画像補正装置。
(付記9)前記画像判別手段は、前記明るさ算出手段によって算出された前記画像の明るさが所定の明度閾値より暗いかを判別し、当該画像の明るさが所定の明度閾値より暗い場合には、前記露出量算出手段によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別し、
前記画像補正手段は、前記画像判別手段によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを暗く変換する暗変換処理を行い、前記画像判別手段によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理を行わないことを特徴とする付記6〜8のいずれか一つに記載の画像補正装置。
(付記10)前記画像判別手段は、前記明るさ算出手段によって算出された前記画像の明るさが所定の明度閾値より暗いかを判別し、当該画像の明るさが所定の明度閾値より暗い場合には、前記露出量算出手段によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別し、
前記画像補正手段は、前記画像判別手段によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う暗変換処理よりも強い暗変換処理を行い、前記画像判別手段によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う暗変換処理よりも弱い暗変換処理を行うことを特徴とする付記6〜8のいずれか一つに記載の画像補正装置。
(付記11)撮影部によって撮影された画像データに対して補正処理を行う画像補正方法であって、
撮影時における前記撮影部に関する情報を用いて、露出量を算出する露出量算出工程と、
前記画像データに関する情報を用いて、当該画像の明るさを算出する明るさ算出工程と、
前記露出量算出工程によって算出された前記露出量と、前記明るさ算出工程によって算出された前記画像の明るさとに基づいて、前記画像データの明るさを補正する画像補正工程と、
を含んだことを特徴とする画像補正方法。
(付記12)前記明るさ算出工程によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出工程によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別工程をさらに含み、
前記画像補正工程は、前記画像判別工程によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理を行わず、前記画像判別工程によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを明るく変換する明変換処理を行うことを特徴とする付記11に記載の画像補正方法。
(付記13)前記明るさ算出工程によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出工程によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別工程をさらに備え、
前記画像補正工程は、前記画像判別工程によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う明変換処理よりも弱い明変換処理を行い、前記画像判別工程によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う明変換処理よりも強い明変換処理を行うことを特徴とする付記11に記載の画像補正方法。
(付記14)前記画像判別工程は、前記明るさ算出工程によって算出された前記画像の明るさが所定の明度閾値より暗いかを判別し、当該画像の明るさが所定の明度閾値より暗い場合には、前記露出量算出工程によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別し、
前記画像補正工程は、前記画像判別工程によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを暗く変換する暗変換処理を行い、前記画像判別工程によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理を行わないことを特徴とする付記11〜13のいずれか一つに記載の画像補正方法。
(付記15)前記画像判別工程は、前記明るさ算出工程によって算出された前記画像の明るさが所定の明度閾値より暗いかを判別し、当該画像の明るさが所定の明度閾値より暗い場合には、前記露出量算出工程によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別し、
前記画像補正工程は、前記画像判別工程によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う暗変換処理よりも強い暗変換処理を行い、前記画像判別工程によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う暗変換処理よりも弱い暗変換処理を行うことを特徴とする付記11〜13のいずれか一つに記載の画像補正方法。
実施例1に係る画像補正装置の構成を示すブロック図である。 LUTを説明するための図である。 画像の明るさの平均値を算出する処理について説明するための図である。 画像の補正処理について説明するための図である。 実施例1に係る画像補正装置の処理手順を説明するためのフローチャートである。 画像補正プログラムを実行するコンピュータを示す図である。
符号の説明
10 画像補正装置
11 デジタルカメラI/F
12 プリンタI/F
13 処理部
13a 撮影画像情報抽出部
13b 露出量算出部
13c 輝度値算出部
13d 画像状態判別部
13e 画像補正部
14 記憶部
14a LUT
20 デジタルカメラ
30 プリンタ

Claims (6)

  1. 撮影部によって撮影された画像データに対して補正処理を行う画像補正方法をコンピュータに実行させる画像補正プログラムであって、
    撮影時における前記撮影部に関する情報を用いて、露出量を算出する露出量算出手順と、
    前記画像データに関する情報を用いて、当該画像の明るさを算出する明るさ算出手順と、
    前記明るさ算出手順によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出手順によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別手順と、
    前記画像判別手順によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理を行わず、前記画像判別手順によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを明るく変換する明変換処理を行う画像補正手順と、
    をコンピュータに実行させることを特徴とする画像補正プログラム。
  2. 撮影部によって撮影された画像データに対して補正処理を行う画像補正方法をコンピュータに実行させる画像補正プログラムであって、
    撮影時における前記撮影部に関する情報を用いて、露出量を算出する露出量算出手順と、
    前記画像データに関する情報を用いて、当該画像の明るさを算出する明るさ算出手順と、
    前記明るさ算出手順によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出手順によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別手順と、
    前記画像判別手順によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う明変換処理よりも弱い明変換処理を行い、前記画像判別手順によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う明変換処理よりも強い明変換処理を行う画像補正手順と、
    をコンピュータに実行させることを特徴とする画像補正プログラム。
  3. 前記画像判別手順は、前記明るさ算出手順によって算出された前記画像の明るさが所定の明度閾値より暗いかを判別し、当該画像の明るさが所定の明度閾値より暗い場合には、前記露出量算出手順によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別し、
    前記画像補正手順は、前記画像判別手順によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを暗く変換する暗変換処理を行い、前記画像判別手順によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理を行わないことを特徴とする請求項1または2に記載の画像補正プログラム。
  4. 前記画像判別手順は、前記明るさ算出手順によって算出された前記画像の明るさが所定の明度閾値より暗いかを判別し、当該画像の明るさが所定の明度閾値より暗い場合には、前記露出量算出手順によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別し、
    前記画像補正手順は、前記画像判別手順によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う暗変換処理よりも強い暗変換処理を行い、前記画像判別手順によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う暗変換処理よりも弱い暗変換処理を行うことを特徴とする請求項1または2に記載の画像補正プログラム。
  5. 撮影部によって撮影された画像データに対して補正処理を行う画像補正装置であって、
    撮影時における前記撮影部に関する情報を用いて、露出量を算出する露出量算出手段と、
    前記画像データに関する情報を用いて、当該画像の明るさを算出する明るさ算出手段と、
    前記明るさ算出手段によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出手段によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別手段と、
    前記画像判別手段によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記画像データの明るさを補正する処理を行わず、前記画像判別手段によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記画像データの明るさを補正する処理として、前記画像データを明るく変換する明変換処理を行う画像補正手段と、
    を備えることを特徴とする画像補正装置。
  6. 撮影部によって撮影された画像データに対して補正処理を行う画像補正装置であって、
    撮影時における前記撮影部に関する情報を用いて、露出量を算出する露出量算出手段と、
    前記画像データに関する情報を用いて、当該画像の明るさを算出する明るさ算出手段と、
    前記明るさ算出手段によって算出された前記画像の明るさが所定の明度閾値より明るいかを判別し、当該画像の明るさが所定の明度閾値より明るい場合には、前記露出量算出手段によって算出された前記露出量が所定の露出量閾値より大きいか少ないかを判別する画像判別手段と、
    前記画像判別手段によって前記露出量が所定の露出量閾値より少ないと判別された場合には、前記露出量が所定の露出量閾値より大きい場合に行う明変換処理よりも弱い明変換処理を行い、前記画像判別手段によって前記露出量が所定の露出量閾値より大きいと判別された場合には、前記露出量が所定の露出量閾値より少ない場合に行う明変換処理よりも強い明変換処理を行う画像補正手段と、
    を備えることを特徴とする画像補正装置。
JP2008070174A 2008-03-18 2008-03-18 画像補正プログラムおよび画像補正装置 Expired - Fee Related JP4841582B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008070174A JP4841582B2 (ja) 2008-03-18 2008-03-18 画像補正プログラムおよび画像補正装置
PCT/JP2008/072042 WO2009116208A1 (ja) 2008-03-18 2008-12-04 画像補正プログラム、画像補正装置および画像補正方法
CN200880128114.7A CN101978681B (zh) 2008-03-18 2008-12-04 图像修正装置以及图像修正方法
US12/923,387 US8310572B2 (en) 2008-03-18 2010-09-17 Computer readable storage medium, image correction apparatus, and image correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008070174A JP4841582B2 (ja) 2008-03-18 2008-03-18 画像補正プログラムおよび画像補正装置

Publications (2)

Publication Number Publication Date
JP2009225345A JP2009225345A (ja) 2009-10-01
JP4841582B2 true JP4841582B2 (ja) 2011-12-21

Family

ID=41090624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008070174A Expired - Fee Related JP4841582B2 (ja) 2008-03-18 2008-03-18 画像補正プログラムおよび画像補正装置

Country Status (4)

Country Link
US (1) US8310572B2 (ja)
JP (1) JP4841582B2 (ja)
CN (1) CN101978681B (ja)
WO (1) WO2009116208A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158069B2 (ja) * 2009-12-28 2013-03-06 カシオ計算機株式会社 画像処理装置、及び、画像加工プログラム
TWI472224B (zh) * 2011-07-15 2015-02-01 Altek Corp 影像處理裝置及其影像處理方法
US8754977B2 (en) * 2011-07-28 2014-06-17 Hewlett-Packard Development Company, L.P. Second camera for finding focal target in poorly exposed region of frame taken by first camera
EP4002831A1 (en) * 2017-03-10 2022-05-25 Sony Group Corporation Information-processing device, information-processing method, and information-processing program
US10785419B2 (en) * 2019-01-25 2020-09-22 Pixart Imaging Inc. Light sensor chip, image processing device and operating method thereof
JP7618414B2 (ja) * 2020-09-09 2025-01-21 キヤノン株式会社 撮像制御装置、撮像制御方法、及びプログラム
KR102899288B1 (ko) * 2023-12-21 2025-12-12 세종대학교산학협력단 이미지 향상 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261822A (ja) * 1998-03-12 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法
JP4057147B2 (ja) * 1998-06-16 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置
JP4311465B2 (ja) 2002-07-12 2009-08-12 セイコーエプソン株式会社 画像データの出力画像調整
WO2004008754A1 (ja) 2002-07-12 2004-01-22 Seiko Epson Corporation 画像データの出力画像調整
US7397969B2 (en) 2002-08-30 2008-07-08 Fujifilm Corporation Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
JP2004145287A (ja) * 2002-08-30 2004-05-20 Fuji Photo Film Co Ltd 赤目補正方法、画像処理方法、プリント方法およびプリンタ
CN1310189C (zh) * 2003-06-13 2007-04-11 金宝电子工业股份有限公司 数位相机中降低影像杂讯及加强边缘的方法
JP3858859B2 (ja) * 2003-07-14 2006-12-20 セイコーエプソン株式会社 画像データの出力調整
JP3915755B2 (ja) 2003-08-08 2007-05-16 セイコーエプソン株式会社 画像データの出力画像調整
US8004511B2 (en) * 2004-12-02 2011-08-23 Sharp Laboratories Of America, Inc. Systems and methods for distortion-related source light management
EP1898624B1 (en) * 2005-06-20 2015-08-26 Nikon Corporation Image processing device, image processing method, image processing program product, and image-capturing device
US8035728B2 (en) * 2008-06-27 2011-10-11 Aptina Imaging Corporation Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range

Also Published As

Publication number Publication date
CN101978681A (zh) 2011-02-16
JP2009225345A (ja) 2009-10-01
US8310572B2 (en) 2012-11-13
CN101978681B (zh) 2012-12-26
US20110013047A1 (en) 2011-01-20
WO2009116208A1 (ja) 2009-09-24

Similar Documents

Publication Publication Date Title
JP4751907B2 (ja) 画像補正プログラム、画像補正装置および画像補正方法
JP4841582B2 (ja) 画像補正プログラムおよび画像補正装置
EP1784008A2 (en) Image-pickup device, image-pickup method, and program
JP6935272B2 (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
JP4941370B2 (ja) 画像補正プログラム、画像補正装置および画像補正方法
CN113163127B (zh) 图像处理方法、装置、电子设备及存储介质
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
JP5152405B2 (ja) 画像処理装置および画像処理方法、画像処理プログラム
JP2015130615A (ja) 撮像装置、その制御方法及びプログラム
CN110809146A (zh) 一种图像对比度调整方法、装置、终端设备及存储介质
CN110677558B (zh) 图像处理方法与电子装置
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
CN109040579A (zh) 一种拍摄控制方法、终端及计算机可读介质
US20220021800A1 (en) Image capturing apparatus, method of controlling image capturing apparatus, and storage medium
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US20130063628A1 (en) Image capturing apparatus, control method therefor and recording medium
JP5566680B2 (ja) 撮像装置及び撮像方法
CN108965700A (zh) 一种拍摄控制方法、终端及计算机可读介质
KR101710629B1 (ko) 촬상 장치 및 촬상 방법
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
KR101617553B1 (ko) 노이즈 인식 선형 모델을 사용한 최소 촬영 자동 노출 방법 및 장치
JP2003259231A (ja) 自動露出制御装置及びそのプログラム
CN116389909A (zh) 曝光参数调节方法、装置、终端设备及介质
JP4918903B2 (ja) デコード処理プログラム、デコード処理方法およびデコード処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111004

R150 Certificate of patent or registration of utility model

Ref document number: 4841582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees