JP5744648B2 - Image processing apparatus, image processing method, and computer program - Google Patents
Image processing apparatus, image processing method, and computer program Download PDFInfo
- Publication number
- JP5744648B2 JP5744648B2 JP2011148501A JP2011148501A JP5744648B2 JP 5744648 B2 JP5744648 B2 JP 5744648B2 JP 2011148501 A JP2011148501 A JP 2011148501A JP 2011148501 A JP2011148501 A JP 2011148501A JP 5744648 B2 JP5744648 B2 JP 5744648B2
- Authority
- JP
- Japan
- Prior art keywords
- divided
- luminance range
- luminance
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、入力した画像に対してガンマ補正処理を行うために用いて好適なものである。 The present invention relates to an image processing apparatus, an image processing method, and a computer program, and is particularly suitable for use in performing gamma correction processing on an input image.
従来から、画像を最適なコントラストにするための手法として、ガンマ制御がある。ガンマ制御を行うに際し、入力された1フレームの画像の画面全体に、同一の入出力特性(ガンマ曲線)を持ったガンマをかけるようにする技術がある(特許文献1を参照)。 Conventionally, there is gamma control as a method for making an image have an optimum contrast. In performing gamma control, there is a technique for applying gamma having the same input / output characteristics (gamma curve) to the entire screen of an input image of one frame (see Patent Document 1).
ガンマ曲線は、撮影された映像をモニタで見た場合に、肉眼で見たときと同じ階調に見えるようにするための階調の入出力特性である。撮影された画像は、映像処理信号IC(以下、DSPと称す)に入力される。DSPは、ガンマ曲線を用いて、画像のコントラストを調整する。例えば、モニタ出力レベルが85%の人物の顔と、モニタ出力レベルが30%の山と、モニタ出力レベルが95%の人物の顔とを含む画像を撮像するとする。尚、例えば、256階調(0〜255)の画像のモニタ出力レベルは、その最大値(255)を100%とし、その最小値(0)を0%とするものである。 The gamma curve is an input / output characteristic of gradation for making a photographed image look the same gradation as when viewed with the naked eye when viewed on a monitor. The captured image is input to a video processing signal IC (hereinafter referred to as a DSP). The DSP adjusts the contrast of an image using a gamma curve. For example, it is assumed that an image including a human face having a monitor output level of 85%, a mountain having a monitor output level of 30%, and a human face having a monitor output level of 95% is captured. For example, the monitor output level of an image of 256 gradations (0 to 255) has a maximum value (255) of 100% and a minimum value (0) of 0%.
前述したモニタ出力レベルの画像に対し、露出補正にて、人物の顔の明るさを適正にしようとすると、山の部分まで暗くなる。特に、ビデオカメラのガンマ曲線の入力が小さい領域は、大きい領域よりも傾きが急峻である。このため、入力の変化に対する出力の変化がより敏感になり、山が真っ暗に表示されることになる。そこで、山の階調性を保ったまま、人物の顔のレベルを変化させる手法として、ガンマ曲線を変更することが考えられている。具体的には、ある入力レベル(ニーポイント)以上のガンマ曲線を変更することにより、山が真っ暗に表示されることを防止することができる。 If the brightness of a person's face is adjusted appropriately by exposure correction for the above-mentioned monitor output level image, the image becomes darker to the mountain. In particular, an area where the input of the gamma curve of the video camera is small has a steeper slope than a large area. For this reason, the change of the output becomes more sensitive to the change of the input, and the mountain is displayed in darkness. Therefore, it is considered to change the gamma curve as a technique for changing the level of a person's face while maintaining the gradation of the mountain. Specifically, by changing the gamma curve above a certain input level (knee point), it is possible to prevent the mountain from being displayed in darkness.
しかしながら、前述した従来の技術では、変更されたガンマ曲線を画面全体に適応させてしまうため、以下のような問題点があった。すなわち、例えば、前述したようなモニタ出力レベルの画像を撮像する場合、ある入力レベル以上のガンマ曲線を変更することにより、出力レベルが95%で適正であった雲の出力レベルが下がる。そうすると、見た目とは異なる暗い雨雲のような雲の画像が表示されてしまう。
本発明は、以上の問題点に鑑みてなされたものであり、被写体のそれぞれに合うようにガンマ曲線を変更できるようにすることを目的とする。
However, the conventional technique described above has the following problems because the changed gamma curve is adapted to the entire screen. That is, for example, when an image of the monitor output level as described above is taken, the output level of the cloud, which is appropriate when the output level is 95%, is lowered by changing the gamma curve above a certain input level. If it does so, the image of the cloud like the dark rain cloud different from the appearance will be displayed.
The present invention has been made in view of the above problems, and an object of the present invention is to make it possible to change a gamma curve so as to suit each subject.
本発明の画像処理装置は、入力された画像を、複数の第1の分割領域に分割する第1の分割手段と、前記第1の分割領域の画像のそれぞれを、複数の第2の分割領域に分割する第2の分割手段と、前記第1の分割領域の画像の輝度値に基づいて、当該第1の分割領域の画像に対する階調の入出力特性を表すガンマ曲線の一部の領域を変更する変更手段と、前記変更手段により変更された、前記ガンマ曲線の入力の領域に対応する輝度範囲を取得する第1の輝度範囲取得手段と、前記第1の分割領域に含まれる前記第2の分割領域であって、当該第1の分割領域とは異なる他の第1の分割領域との境界に位置する前記第2の分割領域の輝度範囲を取得する第2の輝度範囲取得手段と、前記第1の輝度範囲取得手段により取得された輝度範囲と、前記第2の輝度範囲取得手段により取得された輝度範囲との少なくとも一部が相互に重なるか否かを判定する判定手段と、前記判定手段により輝度範囲が重なると判定されると、当該輝度範囲の重なりがなくなるように、前記ガンマ曲線の一部の領域を再変更する再変更手段と、を有することを特徴とする。 The image processing apparatus according to the present invention includes a first dividing unit that divides an input image into a plurality of first divided regions, and each of the images of the first divided regions is divided into a plurality of second divided regions. A region of a gamma curve representing a gradation input / output characteristic for an image of the first divided region based on a luminance value of the image of the first divided region and a second dividing unit that divides the image into Change means for changing, first brightness range acquisition means for acquiring a brightness range corresponding to the input area of the gamma curve changed by the change means, and the second included in the first divided area. A second luminance range acquisition means for acquiring a luminance range of the second divided region located at a boundary with another first divided region different from the first divided region, The luminance range acquired by the first luminance range acquisition means; A determination unit that determines whether or not at least a part of the luminance range acquired by the second luminance range acquisition unit overlaps, and the luminance range when the determination unit determines that the luminance range overlaps Re-changing means for re-changing a partial region of the gamma curve so that there is no overlap.
本発明によれば、入力された画像を、複数の第1の分割領域に分割して、複数の第1の分割領域の画像のそれぞれに対するガンマ曲線を設定するに際し、第1の分割領域の画像のそれぞれを、複数の第2の分割領域に分割する。そして、第1の分割領域に対するガンマ曲線を変更した場合に、変更したガンマ曲線の入力の領域に対応する輝度範囲と、当該第1の分割領域の他の第1の分割領域との境界にある第2の分割領域の画像の輝度範囲とに重なりがあるか否かを判定する。この判定の結果、輝度範囲に重なりがある場合、その重なりがなくなるようにガンマ曲線を再変更する。したがって、第1の分割領域に分割した画像を再び1枚の画像に合成しても、それらの境界付近に生じる輝度段差を低減しつつ、第1の分割領域の画像(被写体)に応じたガンマ曲線を設定することができる。 According to the present invention, when an input image is divided into a plurality of first divided regions and a gamma curve is set for each of the images of the plurality of first divided regions, the image of the first divided region is set. Are divided into a plurality of second divided regions. When the gamma curve for the first divided region is changed, the luminance range corresponding to the input region of the changed gamma curve is at the boundary between the first divided region and the other first divided region. It is determined whether or not there is an overlap with the luminance range of the image of the second divided region. As a result of this determination, if there is an overlap in the luminance range, the gamma curve is changed again so that the overlap does not exist. Therefore, even if the image divided into the first divided areas is combined again into one image, the gamma corresponding to the image (subject) in the first divided area is reduced while reducing the luminance step near the boundary between them. A curve can be set.
以下、図面を参照しながら、本発明の一実施形態を説明する。
図1は、撮像装置の構成の一例を示すブロック図である。具体的に図1(A)は、撮像装置の全体の構成の一例を示す図であり、図1(B)は、撮像装置のDSPの詳細な構成の一例を示す図である。このように本実施形態では、画像処理装置が撮像装置である場合を例に挙げて説明する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating an example of the configuration of the imaging apparatus. Specifically, FIG. 1A is a diagram illustrating an example of the entire configuration of the imaging device, and FIG. 1B is a diagram illustrating an example of a detailed configuration of a DSP of the imaging device. As described above, in the present embodiment, a case where the image processing apparatus is an imaging apparatus will be described as an example.
撮像レンズ110は、被写体の結像用のレンズである。絞り機構120は、入射される光の量を制御する。駆動モータ130は、絞り機構120を駆動する。絞り機構駆動装置140は、絞り駆動モータ130を駆動する。絞り位置検出装置150は、絞り機構120の位置を検出する。センサ200は、入射した光を光電変換する撮像素子を有する。センサ駆動装置210は、センサ200を制御する。センサ駆動装置210は、例えば、光電変換された信号を読み出すと共に、信号の蓄積時間を制御(いわゆる電子シャッタとしての機能を実行)する。また、センサ駆動装置210は、センサ200から出力された電荷を、加算して読み出すのか、非加算で読み出すのか、それとも間引いて読み出すのかを制御する。
The
サンプルホールド装置220は、センサ200で光電変換された信号をサンプリングする。A/D変換器240は、アナログ信号をディジタル信号に変換するアナログ−ディジタル変換器である。第1の画像分割装置250は、A/D変換器240から出力された画像を複数(ここでは4つ)の第1の分割領域に分割する。DSP260a〜260dは、信号処理装置であり、それぞれ、第1の分割領域の画像に対して、ガンマ補正を行った後、色分離・色差マトリクス等の処理を施す。その後、DSP260a〜260dは、処理した画像信号に同期信号を加えて標準テレビジョン信号を生成する。
The sample hold
画像合成装置270は、DSP260で信号処理が施された「複数(ここでは4つ)の第1の分割領域の画像」を合成し、1枚の画像にする。記録媒体280は、画像合成装置270で得られた「動画像や静止画像」を記録する。液晶パネル290は、画像合成装置270で得られた「動画像や静止画像」を表示する。マイクロコンピュータ300は、撮像装置を統括的に制御する。マイクロコンピュータ300は、例えば、絞り機構駆動装置140、センサ駆動装置210、及びDSP260等に処理命令を出す。
The image synthesizing
次に、DSP260の構成(機能)について説明する。尚、DSP260a〜260dは、全て同じ構成(機能)を有する。
第2の画像分割装置261は、第1の画像分割装置250により分割された第1の分割領域の画像のそれぞれを、メッシュ状の複数の第2の分割領域に分割する。輝度値取得装置262は、第2の画像分割装置261により分割された第2の分割領域の画像のそれぞれの輝度値を取得する。入出力輝度変換装置263は、ガンマ補正カーブ(ガンマ曲線)を用いて、第1の画像分割装置250から出力された「第1の分割領域の画像信号」のそれぞれに対してガンマ補正処理を個別に施す。そして、入出力輝度変換装置263は、ガンマ補正処理を施した「第1の分割領域の画像信号」を、画像合成装置270に出力する。人物検出装置264は、第1の画像分割装置250から出力された「第1の分割領域の画像」から人物を検出する。人物の検出は、例えば、第1の分割領域の画像の特徴量を検出することにより行うことができる。
Next, the configuration (function) of the DSP 260 will be described. The DSPs 260a to 260d all have the same configuration (function).
The second
次に、マイクロコンピュータ300の構成(機能)について説明する。
評価値算出装置301は、輝度値取得装置262から出力された輝度値に、第2の分割領域ごとに設定される重み付け係数を掛けて加重平均し、適正な露出かどうかを判断する指標を算出する。
露出制御装置302は、評価値算出装置301で算出された指標に基づいて、適正な露出であるかどうかを判断し、判断した結果に基づいて、絞り、電子シャッタ、及びゲインの動作命令を出力する。
Next, the configuration (function) of the
The evaluation
The
入出力特性変化量算出装置303は、輝度値取得装置262から出力された輝度値を元に、入出力特性であるガンマ補正カーブの変化量を算出し、ガンマ補正カーブを変換させる命令を出力する。入力輝度値変化範囲取得装置304は、入出力特性変化量算出装置303により算出された「ガンマ補正カーブの変化量」に基づいて、ガンマ補正カーブの入力階調のどの範囲を変化させるのかを特定し、特定した範囲を輝度の範囲に換算する。以下の説明では、この輝度の範囲を必要に応じて入力輝度変化範囲と称する。
The input / output characteristic change
入力輝度分布取得装置305は、第1の分割領域の「当該第1の分割領域と異なる他の第1の分割領域との境界に接する部分」に位置する第2の分割領域の画像の(ガンマ補正処理が施される前の)輝度の分布を取得する。この分布は、輝度値とその輝度値を有する第2の分割領域の個数との関係を示すものである。以下の説明では、この分布を必要に応じて境界部分輝度分布と称する。
比較装置306は、入力輝度値変化範囲取得装置304で取得された入力輝度変化範囲と、入力輝度分布取得装置305で取得された境界部分輝度分布の輝度範囲とを比較し、これらの少なくとも一部が相互に重なっているか否かを判定する。
入出力特性変化量算出装置303は、比較装置306により、入力輝度変化範囲と、境界部分輝度分布の輝度範囲とが重なっていると判定された場合、これらが重ならないように、ガンマ補正カーブの変化量を算出し直す。
The input luminance distribution acquisition device 305 (gamma) of the image of the second divided region located in the “part in contact with the boundary between the first divided region and another first divided region” of the first divided region. The luminance distribution (before the correction process is performed) is acquired. This distribution shows the relationship between the luminance value and the number of second divided regions having the luminance value. In the following description, this distribution is referred to as a boundary portion luminance distribution as necessary.
The comparison device 306 compares the input luminance change range acquired by the input luminance value change
When the comparison device 306 determines that the input luminance change range and the luminance range of the boundary portion luminance distribution overlap, the input / output characteristic change
次に、ガンマ補正カーブを設定する際の撮像装置の処理の一例の詳細を説明する。
図2は、ガンマ補正カーブを設定する際の撮像装置の処理の一例を説明するフローチャートである。
第1の画像分割装置250は、A/D変換器240から出力された画像を4つの第1の分割領域に分割する第1の分割処理を行う(ステップS201)。
図3は、第1の分割領域の一例を示す図である。
第1の画像分割装置250に入力された画像は、図3の破線(境界線)を境界として、4つの第1の分割領域に分割される。4つの第1の分割領域310a、310b、310c、310dに分割された画像は、それぞれDSP260a、260b、260c、260dに入力される。本実施形態では、1つのDSP260に入力される「第1の分割領域の画像」の数は1つである。本実施形態では、第1の分割領域310a〜310dの画像の数は4枚であるので、DSP260a〜260dの数は4つである。
Next, details of an example of processing of the imaging apparatus when setting a gamma correction curve will be described.
FIG. 2 is a flowchart for explaining an example of processing of the imaging apparatus when setting a gamma correction curve.
The first
FIG. 3 is a diagram illustrating an example of the first divided region.
The image input to the first
ただし、第1の画像分割装置250で第1の分割領域分割される画像の数は、4より少なくても多くてもよい。その場合、DSP260の数が、分割される画像の数分だけ存在する。また、分割される画像の数が、DSP260の個数を上回る場合には、時分割処理を行うことにより、1つのDSP260が複数の画像に対する処理を行うようにしてもよい。
DSP260a〜260dに入力された第1の分割領域310a〜310dの画像は、第2の画像分割装置261、入出力輝度変換装置263、及び人物検出装置264にそれぞれ入力される。
第2の画像分割装置261は、第1の分割領域310の画像を更に細かい第2の分割領域に分割する第2の分割処理を行う(ステップS202)。図4は、第2の分割領域の一例を示す図である。具体的に図4(A)は、第2の分割領域を示す図である。図4(B)は、ガンマ補正カーブを変更する対象となる第1の分割領域310a、301bの「当該第1の分割領域とは異なる他の第1の分割領域との境界(図4に示す破線)」に位置する第2の分割領域を太枠で示す図である。
However, the number of images to be divided into the first divided areas by the first
The images of the first divided
The second
図4(A)に示すように、本実施形態では、第1の分割領域は、更に細かい第2の分割領域に分割される。図4に示す例では、各第1の分割領域は、横16×縦8の128個の矩形の第2の分割領域に分割される。
輝度値取得装置262は、各第2の分割領域の画像の輝度値を取得する(ステップS203)。このように、第2の分割領域への分割は、輝度値を第2の分割領域毎に取得するためのものである。本実施形態では、1個の第1の分割領域が、128個の第2の分割領域に分割される。したがって、1つのDSP260で取得される輝度値の個数は128個である。この輝度値取得装置262により取得された輝度値は、マイクロコンピュータ300内にある、入出力特性変化量算出装置303に入力される。
As shown in FIG. 4A, in the present embodiment, the first divided area is divided into finer second divided areas. In the example illustrated in FIG. 4, each first divided region is divided into 128 rectangular second divided regions of 16 × 8 in length.
The luminance value acquisition device 262 acquires the luminance value of the image of each second divided region (step S203). As described above, the division into the second divided areas is for acquiring the luminance value for each second divided area. In the present embodiment, one first divided region is divided into 128 second divided regions. Therefore, the number of luminance values acquired by one DSP 260 is 128. The luminance value acquired by the luminance value acquisition device 262 is input to the input / output characteristic change
入出力特性変化量算出装置303は、第1の分割領域の画像の輝度値(本実施形態では、当該第1の分割領域に含まれる第2の分割領域の画像の輝度値に基づいて、最適なガンマ補正カーブを算出する(ステップS204)。入出力特性変化量算出装置303は、第1の分割領域310の画像毎にガンマ補正カーブを個別に算出する。このガンマ補正カーブの算出方法について以下に2つの例を挙げて説明する。図5は、ガンマ補正カーブの一例を示す図である。具体的に図5(A)は、変更前のガンマ補正カーブを示す。図5(B)は、変更前のガンマ補正カーブと変更後のガンマ補正カーブを示す図である。図5(C)は、ある被写体の画像を、2つのガンマ補正カーブに適用すると、異なる出力が得られることを説明する図である。図5において、横軸のDSP入力は、DSP260に入力される第1の分割領域310の画像の階調を表し、縦軸のDSP出力は、DSP260から出力される第1の分割領域310の画像の階調を表す。
The input / output characteristic change
ガンマ補正カーブを算出する一つ目の方法を説明する。
人物検出装置264により、人物の顔が検出され、輝度値取得装置262により、人物の顔の輝度値が取得されたとする。そして、人物の顔の適正出力明るさが70%であるとする。入出力特性変化量算出装置303は、図5(A)に示すガンマ補正カーブ501のニーポイントを変更することにより、ガンマ補正カーブを、図5(B)に示すガンマ補正カーブ502に変更し、明るすぎた顔の明るさが適正な顔の明るさになるようにする。
A first method for calculating the gamma correction curve will be described.
It is assumed that a person's face is detected by the
次に、ガンマ補正カーブを算出する二つ目の方法を説明する。この方法は、例えば、人物検出装置264により、人物の顔が検出されなかった場合に使用される方法である。図6は、輝度値が閾値以上の第2の分割領域の個数と、ニーポイントとの関係の一例を示す図である。
図6の横軸は、DSP260に入力された第1の分割領域に含まれる第2の分割領域のうち、輝度値が閾値以上の第2の分割領域の個数である。図6の縦軸は、ガンマ補正カーブを変更するためのニーポイントである。図6の縦軸のレンジは、図5の横軸(DSP入力)に相当する。
Next, a second method for calculating the gamma correction curve will be described. This method is, for example, a method used when a human face is not detected by the
The horizontal axis of FIG. 6 represents the number of second divided areas having a luminance value equal to or greater than a threshold value among the second divided areas included in the first divided area input to the DSP 260. The vertical axis in FIG. 6 is a knee point for changing the gamma correction curve. The range of the vertical axis in FIG. 6 corresponds to the horizontal axis (DSP input) in FIG.
入出力特性変化量算出装置303は、第2の分割領域の画像の輝度値が閾値(ここでは閾値を「150」とする)以上である第2の分割領域の数を計数する。入出力特性変化量算出装置303は、計数した第2の分割領域の数が30個以下であれば、計数した第2の分割領域の数に関わらず、ガンマ補正カーブを変更しない。計数した第2の分割領域の数が30個より多く90個以下であれば、入出力特性変化量算出装置303は、計数した第2の分割領域の数に応じて、ニーポイントを、「255」未満「100」以上の範囲の何れかの値にする。計数した第2の分割領域の数が90個より多ければ、入出力特性変化量算出装置303は、計数した第2の分割領域の数に関わらず、ニーポイントを「100」にする。このようにしてガンマ補正カーブ501のニーポイントを変更することにより、ガンマ補正カーブ501は、例えば、ガンマ補正カーブ502、503に変化される。このように、本実施形態では、計数した第2の分割領域の数が30個より多く90個以下である場合には、計数した第2の分割領域の数が多いほどニーポイントが小さくなるようにする。すなわち、高輝度な被写体の面積が大きければ大きい程、高輝度の被写体の明るさが抑えられるように、ガンマ補正カーブが変更される仕組みとなっている。
The input / output characteristic change
入出力特性変化量算出装置303は、以上のようなガンマ補正カーブの算出(変更)を、4つのDSP260a〜260dの出力(第1の分割領域310a〜310dの画像)のそれぞれに対して行う。すると、輝度が最大輝度の85%となる人物の顔が存在している第1の分割領域310aの画像に係るガンマ補正カーブは、例えば、図5(B)に示すガンマ補正カーブ502となる。また、輝度が最大輝度の95%となる雲が存在している第2の分割領域310bの画像に係るガンマ補正カーブは、例えば、図5(B)に示すガンマ補正カーブ503となる。尚、ガンマ補正カーブの変更は、必ずしも、第1の分割領域310a〜310dの画像の全てについて行わなくてもよい。
The input / output characteristic change
ここで、隣り合う2つの第1の分割領域の画像のガンマ補正カーブが異なると、それらの画像の境界部分で輝度の差が生じる原因となってしまう。例えば、図5(C)に示すように、その他の被写体の輝度が、ガンマ補正カーブの入力輝度変化範囲内にあり、その被写体が、第1の分割領域310a、310bの画像の境界に存在するとする。そうすると、その境界を境に、その被写体の輝度が異なってしまって、輝度段差が見えてしまう。一方の第1の分割領域の画像は、ガンマ補正カーブ501を用いてガンマ補正処理がなされた画像となるのに対して、他方の第1の分割領域の画像は、ガンマ補正カーブ502を用いてガンマ補正処理がなされた画像となるからである。
Here, if the gamma correction curves of the images of the two adjacent first divided regions are different, it causes a difference in luminance at the boundary between the images. For example, as shown in FIG. 5C, when the brightness of the other subject is within the input brightness change range of the gamma correction curve and the subject exists at the boundary between the images of the first divided
この輝度の段差を無くすため、入力輝度値変化範囲取得装置304は、第1の分割領域310の画像のガンマ補正カーブの入力輝度変化範囲を導出する第1の輝度範囲取得処理を行う(ステップS205)。
図7は、ガンマ補正カーブと、境界部分輝度分布との関係の第1の例を示す図である。図7は、第1の分割領域310aの画像についての図である。前述したように、入力輝度変化範囲とは、ガンマ補正カーブの入力階調の変化範囲に対応する輝度の範囲である。また、境界部分輝度分布とは、第1の分割領域の「当該第1の分割領域とは異なる他の第1の分割領域との境界に接する部分」に位置する第2の分割領域の入力画像の輝度値と、当該第2の分割領域の数との関係を示すものである。
In order to eliminate this luminance step, the input luminance value change
FIG. 7 is a diagram illustrating a first example of the relationship between the gamma correction curve and the boundary portion luminance distribution. FIG. 7 is a diagram of an image of the first divided
図7に示す入力輝度変化範囲R1は、第1の分割領域310aの画像に対して算出されたガンマ補正カーブ502の入力輝度変化範囲を示す。図7に示すように、ニーポイントよりも大きな輝度の範囲が入力輝度変化範囲となる。
次に、入力輝度分布取得装置305は、境界部分輝度分布を導出する第2の輝度範囲取得処理を行う(ステップS206)。ここでいう境界部分輝度分布とは、第1の分割領域の「当該第1の分割領域とは異なる他の第1の分割領域との境界に接する部分」に位置する第2の分割領域の入力画像の輝度値と、当該第2の分割領域の数と関係である。図7に示す境界部分輝度分布701は、第1の分割領域310aの「第1の分割領域310b〜310dとの境界に接する部分」に位置する第2の分割領域(第1の分割領域310aの画像内の太枠)についての境界部分輝度分布である。
An input luminance change range R1 illustrated in FIG. 7 indicates an input luminance change range of the
Next, the input luminance
比較装置306は、入力輝度値変化範囲取得装置304により導出された入力輝度変化範囲と、入力輝度分布取得装置305により導出された境界部分輝度分布とを入力する。比較装置306は、入力輝度変化範囲と、境界部分輝度分布の輝度範囲に重なる部分があるか否かを判定する(ステップS207)。図7では、入力輝度変化範囲R1と境界部分輝度分布701には、重なりLがあることを示している。
The comparison device 306 inputs the input luminance change range derived by the input luminance value change
この判定の結果、重なりLがあると判定されると、入出力特性変化量算出装置303は、その重なりLがなくなる方向に、前回算出したガンマ補正カーブ502に対し、ニーポイントを再変更する(ステップS208)。そして、入出力特性変化量算出装置303は、変更したニーポイントに基づいて、ガンマ補正カーブ501を再変更する(ステップS204)。そして、重なりLがなくなるまで、ステップS204〜S208の処理が繰り返し行われる。
If it is determined that there is an overlap L as a result of this determination, the input / output characteristic change
尚、ステップS208では、例えば、ガンマ補正回路(DSP260(入出力輝度変換装置263))の入出力の分解能を最小単位として、予め設定された値ずつ、ニーポイントを再変更することができる。例えば、重なりLが閾値よりも大きいときには、3LSBずつニーポイントを変更し、重なりLが閾値以下のときには、1LSBずつニーポイントを変更することができる。
また、ここでは、重なりLがなくなるまで、ステップS204〜S208の処理が繰り返し行われるようにした。しかしながら、ステップS208の1回の処理で、重なりLをなくすことができれば、ステップS208の処理の後、以下のステップS209に直ちに進むようにしてもよい。
In step S208, for example, the knee point can be changed again by a preset value with the input / output resolution of the gamma correction circuit (DSP 260 (input / output luminance conversion device 263)) as the minimum unit. For example, when the overlap L is larger than the threshold, the knee point can be changed by 3 LSBs, and when the overlap L is less than or equal to the threshold, the knee point can be changed by 1 LSB.
Here, the processes in steps S204 to S208 are repeated until the overlap L disappears. However, if the overlap L can be eliminated by a single process of step S208, the process may immediately proceed to the following step S209 after the process of step S208.
以上のようにして重なりLがなくなると、ガンマ補正カーブは、例えば、図7に示すガンマ補正カーブ702のようになる。この例では、境界部分輝度分布701の輝度範囲の最大値をニーポイントとしてガンマ補正カーブ702を求めるようにしている。このようにすれば、入力輝度変化範囲を可及的に大きくすることができるので好ましいが、重なりLを減らすようにガンマ補正カーブを再変更していれば、必ずしもこのようにする必要はない。
以上のステップS204〜S208の処理を、第1の分割領域の画像の全てについて個別に行う(ステップS209)。図3に示す例では、第1の分割領域310aの画像に加えて、第1の分割領域310b〜310dの画像についても、以上のステップS204〜S208の処理を行う。ステップS204〜S208の処理は、必ずしも、第1の分割領域310の画像の全てについて行う必要はなく、ガンマ補正カーブ501の変更が必要な第1の分割領域310の画像(の全て)についてのみ行うようにしてもよい。
When the overlap L disappears as described above, the gamma correction curve becomes, for example, a
The processes in steps S204 to S208 are individually performed for all the images in the first divided area (step S209). In the example illustrated in FIG. 3, the processes in steps S <b> 204 to S <b> 208 are performed on the images of the first divided
図8は、ガンマ補正カーブと、境界部分輝度分布との関係の第2の例を示す図である。図8は、第1の分割領域310bの画像についての図である。
図8に示すように、入出力特性変化量算出装置303は、ガンマ補正カーブ501をガンマ補正カーブ503に変更する(ステップS204)。次に、入力輝度値変化範囲取得装置304は、ガンマ補正カーブ503の入力輝度変化範囲R2を導出する(ステップS205)。
FIG. 8 is a diagram illustrating a second example of the relationship between the gamma correction curve and the boundary portion luminance distribution. FIG. 8 is a diagram of an image in the first divided
As shown in FIG. 8, the input / output characteristic change
次に、入力輝度分布取得装置305は、第1の分割領域310bの画像についての境界部分輝度分布801を導出する(ステップS206)。図8に示す境界部分輝度分布801は、第1の分割領域310bの「第1の分割領域310a、310c、310dとの境界に接する部分」に位置する第2の分割領域(第1の分割領域310bの画像内の太枠)についての境界部分輝度分布である。
Next, the input luminance
次に、比較装置306は、入力輝度変化範囲R2と、境界部分輝度分布801に重なる部分があるか否かを判定する(ステップS207)。図8に示すように、入力輝度変化範囲R2と、境界部分輝度分布801は重ならない。よって、ニーポイントの再変更は行われず、第1の分割領域310bの画像に対するガンマ補正カーブは、ガンマ補正カーブ503となる(図8の最下段を参照)。
Next, the comparison device 306 determines whether or not there is a portion overlapping the input luminance change range R2 and the boundary portion luminance distribution 801 (step S207). As shown in FIG. 8, the input luminance change range R2 and the boundary
以上のようにして、第1の分割領域310a〜310dの画像の全てに対するガンマ補正カーブが決定すると、入出力輝度変換装置263は、自身が処理を担当する第1の分割領域310の画像についてのガンマ補正カーブを入力して次の処理を行う。すなわち、入出力輝度変換装置263は、液晶パネル290やその他のテレビモニタ等で表示されたときに階調性が自然となるように、決定したガンマ補正カーブを用いてガンマ補正処理を施す。そして、ガンマ補正処理が施された第1の分割領域の画像が、DSP260a〜260dから画像合成装置270に出力される。
As described above, when the gamma correction curves for all of the images in the first divided
以上のように本実施形態では、入力した画像を4つの第1の分割領域に分割し、4つの第1の分割領域310a〜310dの画像のそれぞれについて個別にガンマ補正カーブの再変更の有無を判断する。例えば、第1の分割領域310aの画像のガンマ補正カーブ501を変更する場合には、変更後のガンマ補正カーブ502の入力輝度変化範囲R1と、当該第1の分割領域の境界部分輝度分布701との重なりの有無を判断する。重なりLがある場合には、その重なりLがなくなるように、ガンマ補正カーブ502をガンマ補正カーブ702に再変更する。そして、この再変更後のガンマ補正カーブ702を第1の分割領域310aの画像のガンマ補正カーブとする。
したがって、第1の分割領域310a〜310dに分割を行った画像を再び1枚の画像に合成しても、それらの境界付近に生じる輝度段差を低減しつつ、第1の分割領域310a〜310dの画像(被写体)ごとに最適なガンマ補正カーブを適用することができる。よって、全体として最適な明るさ、コントラストを有する画像を出力することができる。
As described above, in the present embodiment, the input image is divided into four first divided areas, and whether or not the gamma correction curve is re-changed individually for each of the four first divided
Therefore, even if the image divided into the first divided
本実施形態では、画像を4分割する場合を例に挙げて説明した。しかしながら、画像を更に多くの第1の分割領域に分割すれば、より細かいエリア毎に最適なガンマ補正カーブを設定することができる。したがって、第1の分割領域の境界に輝度段差をより一層低減することができ、より最適な明るさ、コントラストを有する画像を出力することができる。 In this embodiment, the case where an image is divided into four has been described as an example. However, if the image is divided into more first divided regions, an optimal gamma correction curve can be set for each finer area. Therefore, the luminance level difference can be further reduced at the boundary of the first divided region, and an image having more optimal brightness and contrast can be output.
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
(Other examples)
The present invention is also realized by executing the following processing. That is, first, software (computer program) for realizing the functions of the above embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the computer program.
250 第1の画像分割装置、260 DSP、300 マイクロコンピュータ 250 First image segmentation apparatus, 260 DSP, 300 microcomputer
Claims (8)
前記第1の分割領域の画像のそれぞれを、複数の第2の分割領域に分割する第2の分割手段と、
前記第1の分割領域の画像の輝度値に基づいて、当該第1の分割領域の画像に対する階調の入出力特性を表すガンマ曲線の一部の領域を変更する変更手段と、
前記変更手段により変更された、前記ガンマ曲線の入力の領域に対応する輝度範囲を取得する第1の輝度範囲取得手段と、
前記第1の分割領域に含まれる前記第2の分割領域であって、当該第1の分割領域とは異なる他の第1の分割領域との境界に位置する前記第2の分割領域の輝度範囲を取得する第2の輝度範囲取得手段と、
前記第1の輝度範囲取得手段により取得された輝度範囲と、前記第2の輝度範囲取得手段により取得された輝度範囲との少なくとも一部が相互に重なるか否かを判定する判定手段と、
前記判定手段により輝度範囲が重なると判定されると、当該輝度範囲の重なりがなくなるように、前記ガンマ曲線の一部の領域を再変更する再変更手段と、を有することを特徴とする画像処理装置。 First dividing means for dividing the input image into a plurality of first divided regions;
Second dividing means for dividing each of the images of the first divided area into a plurality of second divided areas;
Changing means for changing a partial area of a gamma curve representing an input / output characteristic of a gradation with respect to an image of the first divided area based on a luminance value of the image of the first divided area;
First luminance range acquisition means for acquiring a luminance range corresponding to the input area of the gamma curve changed by the changing means;
The luminance range of the second divided area located at the boundary with the second divided area that is included in the first divided area and different from the first divided area. Second luminance range acquisition means for acquiring
A determination unit that determines whether at least a part of the luminance range acquired by the first luminance range acquisition unit and the luminance range acquired by the second luminance range acquisition unit overlap each other;
Re-changing means for re-changing a part of the gamma curve so that the luminance ranges do not overlap when the determining means determines that the luminance ranges overlap. apparatus.
前記第1の分割領域の画像のそれぞれを、複数の第2の分割領域に分割する第2の分割工程と、
前記第1の分割領域の画像の輝度値に基づいて、当該第1の分割領域の画像に対する階調の入出力特性を表すガンマ曲線の一部の領域を変更する変更工程と、
前記変更工程により変更された、前記ガンマ曲線の入力の領域に対応する輝度範囲を取得する第1の輝度範囲取得工程と、
前記第1の分割領域に含まれる前記第2の分割領域であって、当該第1の分割領域とは異なる他の第1の分割領域との境界に位置する前記第2の分割領域の輝度範囲を取得する第2の輝度範囲取得工程と、
前記第1の輝度範囲取得工程により取得された輝度範囲と、前記第2の輝度範囲取得工程により取得された輝度範囲との少なくとも一部が相互に重なるか否かを判定する判定工程と、
前記判定工程により輝度範囲が重なると判定されると、当該輝度範囲の重なりがなくなるように、前記ガンマ曲線の一部の領域を再変更する再変更工程と、を有することを特徴とする画像処理方法。 A first dividing step of dividing the input image into a plurality of first divided regions;
A second dividing step of dividing each of the images of the first divided area into a plurality of second divided areas;
A changing step of changing a partial region of a gamma curve representing an input / output characteristic of a gradation with respect to an image of the first divided region based on a luminance value of the image of the first divided region;
A first luminance range acquisition step of acquiring a luminance range corresponding to the input region of the gamma curve, changed by the changing step;
The luminance range of the second divided area located at the boundary with the second divided area that is included in the first divided area and different from the first divided area. A second luminance range acquisition step of acquiring
A determination step of determining whether at least a part of the luminance range acquired by the first luminance range acquisition step and the luminance range acquired by the second luminance range acquisition step overlap each other;
And a re-changing step of re-changing a part of the gamma curve so that the luminance ranges do not overlap when it is determined that the luminance ranges are overlapped by the determination step. Method.
前記第1の分割領域の画像のそれぞれを、複数の第2の分割領域に分割する第2の分割工程と、
前記第1の分割領域の画像の輝度値に基づいて、当該第1の分割領域の画像に対する階調の入出力特性を表すガンマ曲線の一部の領域を変更する変更工程と、
前記変更工程により変更された、前記ガンマ曲線の入力の領域に対応する輝度範囲を取得する第1の輝度範囲取得工程と、
前記第1の分割領域に含まれる前記第2の分割領域であって、当該第1の分割領域とは異なる他の第1の分割領域との境界に位置する前記第2の分割領域の輝度範囲を取得する第2の輝度範囲取得工程と、
前記第1の輝度範囲取得工程により取得された輝度範囲と、前記第2の輝度範囲取得工程により取得された輝度範囲との少なくとも一部が相互に重なるか否かを判定する判定工程と、
前記判定工程により輝度範囲が重なると判定されると、当該輝度範囲の重なりがなくなるように、前記ガンマ曲線の一部の領域を再変更する再変更工程と、をコンピュータに実行させることを特徴とするコンピュータプログラム。 A first dividing step of dividing the input image into a plurality of first divided regions;
A second dividing step of dividing each of the images of the first divided area into a plurality of second divided areas;
A changing step of changing a partial region of a gamma curve representing an input / output characteristic of a gradation with respect to an image of the first divided region based on a luminance value of the image of the first divided region;
A first luminance range acquisition step of acquiring a luminance range corresponding to the input region of the gamma curve, changed by the changing step;
The luminance range of the second divided area located at the boundary with the second divided area that is included in the first divided area and different from the first divided area. A second luminance range acquisition step of acquiring
A determination step of determining whether at least a part of the luminance range acquired by the first luminance range acquisition step and the luminance range acquired by the second luminance range acquisition step overlap each other;
When the determination step determines that the luminance ranges overlap, the computer is caused to execute a re-change step of re-changing a part of the gamma curve so that the luminance ranges do not overlap. Computer program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011148501A JP5744648B2 (en) | 2011-07-04 | 2011-07-04 | Image processing apparatus, image processing method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011148501A JP5744648B2 (en) | 2011-07-04 | 2011-07-04 | Image processing apparatus, image processing method, and computer program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013017049A JP2013017049A (en) | 2013-01-24 |
| JP2013017049A5 JP2013017049A5 (en) | 2014-08-14 |
| JP5744648B2 true JP5744648B2 (en) | 2015-07-08 |
Family
ID=47689284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011148501A Expired - Fee Related JP5744648B2 (en) | 2011-07-04 | 2011-07-04 | Image processing apparatus, image processing method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5744648B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE202015009982U1 (en) * | 2014-02-07 | 2022-08-02 | Sony Group Corporation | Transmission device, receiving device and display device |
| CN115689903A (en) * | 2021-07-23 | 2023-02-03 | Oppo广东移动通信有限公司 | Image processing method and device, equipment and storage medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010049491A (en) * | 2008-08-21 | 2010-03-04 | Toyota Motor Corp | Driving state monitoring apparatus |
| JP5159647B2 (en) * | 2009-01-07 | 2013-03-06 | キヤノン株式会社 | Image processing apparatus and image processing method |
-
2011
- 2011-07-04 JP JP2011148501A patent/JP5744648B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013017049A (en) | 2013-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5624809B2 (en) | Image signal processing device | |
| JP6116272B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP6720881B2 (en) | Image processing apparatus and image processing method | |
| US8477212B2 (en) | Camera device, exposure control method, and program | |
| JP2016081427A (en) | Image processor, image processing method and program | |
| JP5271631B2 (en) | Image processing unit, imaging device, composite image creation program | |
| JP6552325B2 (en) | Imaging device, control method of imaging device, and program | |
| JP5814799B2 (en) | Image processing apparatus and image processing method | |
| JP4999871B2 (en) | Imaging apparatus and control method thereof | |
| WO2020090176A1 (en) | Image processing device and image processing method | |
| US9191573B2 (en) | Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same | |
| US11310440B2 (en) | Image processing apparatus, surveillance camera system, and image processing method | |
| JP7346077B2 (en) | Image processing device, image processing method and program | |
| JP5744648B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP6243629B2 (en) | Image processing apparatus and method, and imaging apparatus | |
| JP5038190B2 (en) | Image capturing apparatus and setting method thereof | |
| JP6386843B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP5335964B2 (en) | Imaging apparatus and control method thereof | |
| JP2013062689A (en) | Imaging apparatus, control method thereof and program | |
| JP2007336258A (en) | Video signal processing apparatus and video signal processing method | |
| JP6504892B2 (en) | Imaging device | |
| JP5335355B2 (en) | Signal processing apparatus, signal processing method, and imaging apparatus | |
| JP6929185B2 (en) | Image processing equipment and image processing methods, programs, storage media | |
| JP2007336419A (en) | Brightness converter | |
| JP2022012832A (en) | Image processing equipment and image processing methods, imaging equipment, programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140701 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140701 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150430 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5744648 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |