Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7748334B2 - Image display device and program - Google Patents
[go: Go Back, main page]

JP7748334B2 - Image display device and program - Google Patents

Image display device and program

Info

Publication number
JP7748334B2
JP7748334B2 JP2022090182A JP2022090182A JP7748334B2 JP 7748334 B2 JP7748334 B2 JP 7748334B2 JP 2022090182 A JP2022090182 A JP 2022090182A JP 2022090182 A JP2022090182 A JP 2022090182A JP 7748334 B2 JP7748334 B2 JP 7748334B2
Authority
JP
Japan
Prior art keywords
color correction
shift
degree
correction parameter
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022090182A
Other languages
Japanese (ja)
Other versions
JP2023177478A (en
Inventor
隆之 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TVS Regza Corp
Original Assignee
TVS Regza Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TVS Regza Corp filed Critical TVS Regza Corp
Priority to JP2022090182A priority Critical patent/JP7748334B2/en
Priority to CN202380013675.7A priority patent/CN117981292A/en
Priority to PCT/CN2023/084777 priority patent/WO2023231546A1/en
Publication of JP2023177478A publication Critical patent/JP2023177478A/en
Application granted granted Critical
Publication of JP7748334B2 publication Critical patent/JP7748334B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/44Colour synchronisation
    • H04N9/45Generation or recovery of colour sub-carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明の実施形態は、画像表示装置およびプログラムに関する。 Embodiments of the present invention relate to an image display device and a program.

従来、デジタルカメラ等の撮像装置では、AI(Artificial Intelligence:人工知能)技術を利用するなどして人物を撮影した撮影画像から顔を検出し、検出した顔の肌色部分を色補正する技術が開示されている。 Conventionally, imaging devices such as digital cameras have disclosed techniques for detecting faces from captured images of people using AI (Artificial Intelligence) technology and then color correcting the skin color of the detected faces.

特許第4983643号公報Patent No. 4983643

しかしながら、従来技術をテレビ等の画像表示装置に適用しようとした場合、入力映像の撮影時および編集時の環境が不明であり、かつ、コンテンツまたはシーン毎に映像特性も異なるため、コンテンツやシーンに適した色補正を行うことが難しい、という課題がある。 However, when applying conventional technology to image display devices such as televisions, the environment when the input video was shot and edited is unknown, and the video characteristics differ for each content or scene, making it difficult to perform color correction appropriate for the content or scene.

実施形態の画像表示装置は、入力された映像データを画像処理して表示部へ出力する画像表示装置であって、前記映像データから人物の顔の検出を行う顔検出部と、前記映像データから色相のヒストグラム検出を行うヒストグラム検出部と、前記顔検出部における顔検出結果と、前記ヒストグラム検出部におけるヒストグラム検出結果を用いて、前記映像データの肌色の色相が赤色よりにシフトしている度合いである赤色シフト度合い、および前記映像データの肌色の色相が黄色よりにシフトしている度合いである黄色シフト度合いを検出するシフト検出部と、前記シフト検出部で検出した前記赤色シフト度合いおよび前記黄色シフト度合いを基に、色補正用のパラメータを生成する色補正パラメータ生成部と、前記色補正パラメータ生成部で生成された前記色補正用のパラメータに基づいて、前記映像データの色補正を行う色補正部と、を備え、前記色補正パラメータ生成部は、前記赤色シフト度合いおよび前記黄色シフト度合いが最小値のときに適用する標準的な第1の色補正用のパラメータと、前記赤色シフト度合いが最大値のときに最適な第2の色補正用のパラメータと、前記黄色シフト度合いが最大値のときに最適な第3の色補正用のパラメータと、を有していて、前記第1の色補正用のパラメータは肌色領域に対して赤みを加えた値であるとき、前記第2の色補正用のパラメータは赤みを加える量を前記第1の色補正用のパラメータと比較してマイナスした値とし、前記第3の色補正用のパラメータは赤みを加える量を前記第1の色補正用のパラメータと比較してプラスした値とする。 An image display device according to an embodiment is an image display device that processes input video data and outputs the processed video data to a display unit, and includes: a face detection unit that detects a human face from the video data; a histogram detection unit that detects a hue histogram from the video data; a shift detection unit that uses a face detection result from the face detection unit and a histogram detection result from the histogram detection unit to detect a red shift degree, which is a degree to which the hue of the skin color of the video data is shifted toward red, and a yellow shift degree, which is a degree to which the hue of the skin color of the video data is shifted toward yellow; a color correction parameter generation unit that generates color correction parameters based on the red shift degree and the yellow shift degree detected by the shift detection unit; and a color correction unit that performs color correction of the video data based on the color correction parameters that are generated by the color correction unit, wherein the color correction parameter generation unit has a standard first color correction parameter that is applied when the degree of red shift and the degree of yellow shift are minimum values, a second color correction parameter that is optimal when the degree of red shift is maximum value, and a third color correction parameter that is optimal when the degree of yellow shift is maximum value, and when the first color correction parameter is a value that adds redness to a skin color region, the second color correction parameter is a value that is obtained by subtracting the amount of redness that is added from the first color correction parameter, and the third color correction parameter is a value that is obtained by adding the amount of redness that is added from the first color correction parameter.

図1は、第1の実施形態にかかる画像表示装置の一例を示す模式図である。FIG. 1 is a schematic diagram illustrating an example of an image display device according to a first embodiment. 図2は、肌画像補正部の機能構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing the functional configuration of the skin image correction unit. 図3は、顔検出部における顔検出方法の一例を示す図である。FIG. 3 is a diagram showing an example of a face detection method in the face detection unit. 図4は、ヒストグラム検出部におけるヒストグラム検出方法の一例を示す図である。FIG. 4 is a diagram showing an example of a histogram detection method in the histogram detection unit. 図5は、ヒストグラム検出に制限を加える例を示す図である。FIG. 5 is a diagram showing an example of adding restrictions to histogram detection. 図6は、色補正部における色補正の例を示す図である。FIG. 6 is a diagram showing an example of color correction in the color correction unit. 図7は、肌画像補正部が実行する肌画像補正処理の流れの一例を示すフローチャートである。FIG. 7 is a flowchart showing an example of the flow of the skin image correction process executed by the skin image corrector. 図8は、画像表示装置の変形例を示す模式図である。FIG. 8 is a schematic diagram showing a modified example of the image display device. 図9は、第2の実施形態にかかる肌画像補正部の機能構成を示す機能ブロック図である。FIG. 9 is a functional block diagram showing the functional configuration of a skin image correction unit according to the second embodiment. 図10は、ヒストグラム検出部におけるヒストグラム検出方法の一例を示す図である。FIG. 10 is a diagram showing an example of a histogram detection method in the histogram detection unit. 図11は、肌画像補正部が実行する肌画像補正処理の流れの一例を示すフローチャートである。FIG. 11 is a flowchart showing an example of the flow of the skin image correction process executed by the skin image corrector.

以下に添付図面を参照して、画像表示装置およびプログラムを詳細に説明する。 The image display device and program are described in detail below with reference to the attached drawings.

(第1の実施形態)
図1は、第1の実施形態にかかる画像表示装置1の一例を示す模式図である。
(First embodiment)
FIG. 1 is a schematic diagram showing an example of an image display device 1 according to the first embodiment.

画像表示装置1は、画像処理部10と、表示部12と、を備える。画像処理部10で画像処理を行ったデータを表示部12に転送し、ディスプレイに表示を行う。 The image display device 1 includes an image processing unit 10 and a display unit 12. Data that has undergone image processing in the image processing unit 10 is transferred to the display unit 12 and displayed on the screen.

画像処理部10には、図示しないチューナー部、HDMI(High-Definition Multimedia Interface)(登録商標)端子などから映像データ40が入力される。画像処理部10は、入力された映像データ40を画像処理した映像データ42を、表示部12へ出力する。 Video data 40 is input to the image processing unit 10 from a tuner unit, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, or the like (not shown). The image processing unit 10 processes the input video data 40 to generate video data 42, which it then outputs to the display unit 12.

画像処理部10は、画質調整部20と、肌画像補正部22と、を備える。 The image processing unit 10 includes an image quality adjustment unit 20 and a skin image correction unit 22.

画質調整部20は、入力される映像データ40に対して、ガンマ、色合い、明るさなどを調整する機能を有する。画質調整部20は、入力された映像データ40を調整した映像データ41を、肌画像補正部22へ出力する。 The image quality adjustment unit 20 has the function of adjusting the gamma, hue, brightness, etc. of the input video data 40. The image quality adjustment unit 20 adjusts the input video data 40 to generate video data 41, which is then output to the skin image correction unit 22.

肌画像補正部22は、撮影時や編集時等の環境(条件)が分からない場合でも良好な映像表示を行うために、画質調整部20から入力された映像データ41に対し、リアルタイムに補正対象シーンの判定および色補正を行う。 The skin image correction unit 22 determines scenes to be corrected and performs color correction in real time on the video data 41 input from the image quality adjustment unit 20, in order to display good images even when the environment (conditions) at the time of shooting or editing are unknown.

ここで、図2は肌画像補正部22の機能構成を示す機能ブロック図である。 Here, Figure 2 is a functional block diagram showing the functional configuration of the skin image correction unit 22.

図2に示すように、肌画像補正部22は、顔検出部23、ヒストグラム検出部24、シフト検出部である肌色色相シフト検出部25、色補正パラメータ生成部26、および色補正部27を有する。肌画像補正部22は、概略的には、顔検出部23における顔検出結果とヒストグラム検出部24におけるヒストグラム検出結果を用いて、肌色色相シフト検出部25において画質調整部20から入力された映像データ41(入力映像)の肌色の色相シフト度合いを検出する。肌画像補正部22は、肌色色相シフト検出部25において検出された色相シフト度合いに基づき色補正パラメータ生成部26により色相シフト度合いに応じた補正パラメータを生成して、色補正部27により色補正を行う。 As shown in FIG. 2, the skin image correction unit 22 has a face detection unit 23, a histogram detection unit 24, a skin color hue shift detection unit 25 which is a shift detection unit, a color correction parameter generation unit 26, and a color correction unit 27. In general, the skin image correction unit 22 uses the face detection result from the face detection unit 23 and the histogram detection result from the histogram detection unit 24 to detect the degree of hue shift in the skin color of the video data 41 (input video) input from the image quality adjustment unit 20 in the skin color hue shift detection unit 25. Based on the degree of hue shift detected in the skin color hue shift detection unit 25, the skin image correction unit 22 generates correction parameters corresponding to the degree of hue shift in the color correction parameter generation unit 26, and performs color correction in the color correction unit 27.

なお、顔検出部23、ヒストグラム検出部24、肌色色相シフト検出部25、色補正パラメータ生成部26、および色補正部27は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよく、また、ハードウェアとソフトウェアを両方用いて実現してもよい。 The face detection unit 23, histogram detection unit 24, skin color hue shift detection unit 25, color correction parameter generation unit 26, and color correction unit 27 may be realized by hardware, software, or both hardware and software.

表示部12は、ディスプレイ駆動部14と、ディスプレイ部16と、を備える。ディスプレイ部16は、画像を表示するディスプレイである。ディスプレイ部16は、例えば、有機EL(Organic Light Emitting Diode)ディスプレイ、液晶ディスプレイ、などである。 The display unit 12 includes a display driver 14 and a display unit 16. The display unit 16 is a display that displays images. The display unit 16 is, for example, an organic light-emitting diode (EL) display, a liquid crystal display, or the like.

ディスプレイ駆動部14は、画像処理部10から入力される映像データ42に応じてディスプレイ部16を駆動するための電圧、電流に変換を行い、ディスプレイ部16を駆動する。 The display driver 14 converts the video data 42 input from the image processor 10 into voltage and current for driving the display unit 16, and drives the display unit 16.

次に、肌画像補正部22を構成する各部について詳述する。 Next, we will describe in detail each component that makes up the skin image correction unit 22.

顔検出部23は、画質調整部20から入力された映像データ41から人物の顔の検出を行う。ここで、図3は顔検出部23における顔検出方法の一例を示す図である。図3に示すように、顔検出方法としては、さまざまな顔を検出できるように予め学習したDNN(Deep Neural Network)を用いて、映像データ41を複数のエリアに分割し、それぞれの領域に人物の顔が含まれる確率(0~1)を求める方法などがある。このような方法によれば、人物の顔が含まれる領域の数値は高く、人物の顔が含まれない領域の数値は低くなるため、顔検出部23は、一定の閾値より値が大きい領域を人物の顔あり、閾値より値が小さい領域を人物の顔なしと検出する。顔検出部23は、人物の顔ありの領域が一定面積以上の場合、人物の顔として検出する。 The face detection unit 23 detects human faces from the video data 41 input from the image quality adjustment unit 20. Here, Figure 3 is a diagram showing an example of a face detection method used by the face detection unit 23. As shown in Figure 3, one face detection method involves using a DNN (Deep Neural Network) that has been trained in advance to detect various faces to divide the video data 41 into multiple areas and calculate the probability (0 to 1) that each area contains a human face. With this method, areas that contain human faces have high numerical values and areas that do not contain human faces have low numerical values. Therefore, the face detection unit 23 detects areas with values greater than a certain threshold as containing a human face and areas with values smaller than the threshold as not containing a human face. If the area containing a human face is equal to or greater than a certain area, the face detection unit 23 detects it as a human face.

ヒストグラム検出部24は、画質調整部20から入力された映像データ41から色相のヒストグラム検出を行う。ここで、図4はヒストグラム検出部24におけるヒストグラム検出方法の一例を示す図である。図4(a)は、YCbCr信号におけるCbCrに基づく色相分布を示し、図4(b)は、YCbCr色空間を示すものである。ヒストグラム検出部24によるヒストグラム検出は、例えば、映像データ41にかかる画像全体、または人物の顔を含む映像データ41にかかる画像の一部の領域における特定の色相に分布する画素数を求めてヒストグラム化するものである。 The histogram detection unit 24 performs hue histogram detection from the video data 41 input from the image quality adjustment unit 20. Here, Figure 4 shows an example of a histogram detection method used by the histogram detection unit 24. Figure 4(a) shows a hue distribution based on CbCr in a YCbCr signal, and Figure 4(b) shows the YCbCr color space. Histogram detection by the histogram detection unit 24 involves, for example, determining the number of pixels distributed in a specific hue in the entire image related to the video data 41, or in a partial area of the image related to the video data 41 that includes a person's face, and creating a histogram.

ここで、図5はヒストグラム検出に制限を加える例を示す図である。図5に示すように、ヒストグラム検出部24は、ヒストグラム検出において、3次元のYCbCr色空間で彩度の範囲に制限を加えたり(図5(a))、3次元のYCbCr色空間で輝度の範囲に制限を加えたり(図5(b))するなどしても良い。 Here, Figure 5 shows an example of adding restrictions to histogram detection. As shown in Figure 5, the histogram detection unit 24 may add restrictions to the saturation range in the three-dimensional YCbCr color space (Figure 5(a)) or the luminance range in the three-dimensional YCbCr color space (Figure 5(b)) during histogram detection.

肌色色相シフト検出部25は、顔検出部23における顔検出結果とヒストグラム検出部24におけるヒストグラム検出結果を用いて、画質調整部20から入力された映像データ41の肌色の色相シフト度合いを検出する。肌色色相シフト検出部25は、例えば、画質調整部20から入力された映像データ41の肌色の色相が赤色または黄色よりにシフトしている度合いを検出する。 The skin color hue shift detection unit 25 uses the face detection results from the face detection unit 23 and the histogram detection results from the histogram detection unit 24 to detect the degree of hue shift in the skin color of the video data 41 input from the image quality adjustment unit 20. The skin color hue shift detection unit 25 detects, for example, the degree to which the hue of the skin color of the video data 41 input from the image quality adjustment unit 20 has shifted toward red or yellow.

例えば、肌色色相シフト検出部25は、肌色の色相が赤よりにシフトしている場合、赤よりにシフトしている度合いを示す「赤よりシフト量」を計算する。また、肌色色相シフト検出部25は、肌色の色相が黄よりにシフトしている場合、黄よりにシフトしている度合いを示す「黄よりシフト量」を計算する。一方、肌色色相シフト検出部25は、肌色の色相が赤よりにシフトしていない場合、および、肌色の色相が黄よりにシフトしていない場合、赤よりにシフトしている度合いを示す「赤よりシフト量」および「黄よりシフト量」を0とする。 For example, if the skin color hue is shifted toward red, the skin color hue shift detection unit 25 calculates a "shift toward red" indicating the degree of the shift toward red. Furthermore, if the skin color hue is shifted toward yellow, the skin color hue shift detection unit 25 calculates a "shift toward yellow" indicating the degree of the shift toward yellow. On the other hand, if the skin color hue is not shifted toward red, or if the skin color hue is not shifted toward yellow, the skin color hue shift detection unit 25 sets the "shift toward red" and "shift toward yellow," indicating the degree of the shift toward red, to 0.

色補正パラメータ生成部26は、肌色色相シフト検出部25で検出した「赤よりシフト量」または「黄よりシフト量」を基に、色補正部27に適用する色補正用のパラメータを生成する。 The color correction parameter generation unit 26 generates color correction parameters to be applied to the color correction unit 27 based on the "amount of shift toward red" or "amount of shift toward yellow" detected by the skin color hue shift detection unit 25.

例えば、色補正パラメータ生成部26は、色相シフトのないときに適用する標準的なカラーマネジメントテーブル(CMS[m])と、赤色シフト度合い(RH;0~1)が1のときに最適なカラーマネジメントテーブル(CMR[m])と、黄色シフト度合い(YH;0~1)が1のときに最適なカラーマネジメントテーブル(CMY[m])と、を有しているとする。 For example, the color correction parameter generation unit 26 has a standard color management table (CMS[m]) that is applied when there is no hue shift, a color management table (CMR[m]) that is optimal when the degree of red shift (RH; 0 to 1) is 1, and a color management table (CMY[m]) that is optimal when the degree of yellow shift (YH; 0 to 1) is 1.

色補正パラメータ生成部26は、色補正用のパラメータを、最終的に色補正部27に適用するカラーマネジメントテーブル(CM[m])とする。ここで、CM[m]は、色相H[h],彩度S[s],明度V[v]の要素からなる。すなわち、m=h×s×vである。 The color correction parameter generation unit 26 generates the color correction parameters as a color management table (CM[m]) that is ultimately applied to the color correction unit 27. Here, CM[m] consists of the elements hue H[h], saturation S[s], and lightness V[v]. In other words, m = h × s × v.

色補正パラメータ生成部26は、肌色色相シフト検出部25による検出結果における赤色シフト度合いも黄色シフト度合いも0のとき、CM[m]=CMS[m]として、色補正部27に適用する色補正用のパラメータとする。また、色補正パラメータ生成部26は、肌色色相シフト検出部25による検出結果における赤色シフト度合いが0でないとき、CM[m]=RH×CMR[m]+(1-RH)×CMS[m]として、色補正部27に適用する色補正用のパラメータとする。また、色補正パラメータ生成部26は、肌色色相シフト検出部25による検出結果における黄色シフト度合いが0でないとき、CM[m]=YH×CMY[m]+(1-YH)×CMS[m]として、色補正部27に適用する色補正用のパラメータとする。 When the degree of red shift and the degree of yellow shift in the detection result by the skin color hue shift detection unit 25 are both 0, the color correction parameter generation unit 26 sets CM[m] = CMS[m] as a color correction parameter to be applied to the color correction unit 27. Furthermore, when the degree of red shift in the detection result by the skin color hue shift detection unit 25 is not 0, the color correction parameter generation unit 26 sets CM[m] = RH × CMR[m] + (1 - RH) × CMS[m] as a color correction parameter to be applied to the color correction unit 27. Furthermore, when the degree of yellow shift in the detection result by the skin color hue shift detection unit 25 is not 0, the color correction parameter generation unit 26 sets CM[m] = YH × CMY[m] + (1 - YH) × CMS[m] as a color correction parameter to be applied to the color correction unit 27.

ここで、CMS[m]は肌色領域に対して少し赤みを加えた値であるとき、CMR[m]は赤みを加える量をいくらか-(マイナス)した値とし、CMY[m]は赤みを加える量をいくらか+(プラス)した値とする。画質調整部20から入力された映像データ41(入力映像)が赤よりにシフトしている場合には、過剰な補正を抑制することができる。また、画質調整部20から入力された映像データ41(入力映像)が黄よりにシフトしている場合には、補正不足を補うことができる。 Here, when CMS[m] is a value that adds a slight redness to the skin color area, CMR[m] is a value that is a slight negative (minus) amount of redness to be added, and CMY[m] is a value that is a slight positive (plus) amount of redness to be added. If the image data 41 (input image) input from the image quality adjustment unit 20 is shifted toward red, excessive correction can be suppressed. Also, if the image data 41 (input image) input from the image quality adjustment unit 20 is shifted toward yellow, insufficient correction can be compensated for.

色補正部27は、色補正パラメータ生成部26で適用されたカラーマネジメントテーブル(CM[m])に基づいて、画質調整部20から入力された映像データ41の色補正を行う。 The color correction unit 27 performs color correction on the video data 41 input from the image quality adjustment unit 20 based on the color management table (CM[m]) applied by the color correction parameter generation unit 26.

図6は、色補正部27における色補正の例を示す図である。CM[m]は、色相H[h],彩度S[s],明度V[v]の要素からなる。色相H[h],彩度S[s],明度V[v]は、3次元のYCbCr空間において、h,s,vが重なったポイント(図6(d)参照)における色相、彩度、輝度の補正度合いを表している。 Figure 6 shows an example of color correction in the color correction unit 27. CM[m] consists of the elements hue H[h], saturation S[s], and lightness V[v]. Hue H[h], saturation S[s], and lightness V[v] represent the degree of correction of hue, saturation, and brightness at the point where h, s, and v overlap in three-dimensional YCbCr space (see Figure 6(d)).

なお、色補正部27は、ポイントの中間の値については、隣接するポイントの補正値を用いて補間を行う。 For intermediate values between points, the color correction unit 27 interpolates using the correction values of adjacent points.

次に、肌画像補正部22が実行する肌画像補正処理の流れの一例を説明する。 Next, we will explain an example of the flow of the skin image correction process performed by the skin image correction unit 22.

図7は、肌画像補正部22が実行する肌画像補正処理の流れの一例を示すフローチャートである。図7に示すように、顔検出部23は、画質調整部20から入力された映像データ41を複数のエリアに分割し、それぞれの領域に人物の顔が含まれるかを検出する(ステップS1)。 Figure 7 is a flowchart showing an example of the flow of the skin image correction process executed by the skin image correction unit 22. As shown in Figure 7, the face detection unit 23 divides the video data 41 input from the image quality adjustment unit 20 into multiple areas and detects whether each area contains a human face (step S1).

顔検出部23は、人物の顔ありの領域が一定面積以上の場合(ステップS2のYes)、映像データ41に人物の顔を検出したものとして、ステップS3に進む。一方、顔検出部23は、人物の顔ありの領域が一定面積未満の場合(ステップS2のNo)、映像データ41に人物の顔を検出しなかったものとして、ステップS6に進む。 If the area containing a human face is equal to or larger than a certain area (Yes in step S2), the face detection unit 23 determines that a human face has been detected in the video data 41, and proceeds to step S3. On the other hand, if the area containing a human face is smaller than a certain area (No in step S2), the face detection unit 23 determines that a human face has not been detected in the video data 41, and proceeds to step S6.

ステップS3では、ヒストグラム検出部24は、画質調整部20から入力された映像データ41から色相のヒストグラムを取得する。 In step S3, the histogram detection unit 24 obtains a hue histogram from the video data 41 input from the image quality adjustment unit 20.

続いて、肌色色相シフト検出部25は、顔検出部23における顔検出結果とヒストグラム検出部24におけるヒストグラム検出結果を用いて、画質調整部20から入力された映像データ41の肌色の色相が赤よりにシフトしている度合い、肌色の色相が黄よりにシフトしている度合いを検出する(ステップS4)。 Next, the skin color hue shift detection unit 25 uses the face detection results from the face detection unit 23 and the histogram detection results from the histogram detection unit 24 to detect the degree to which the skin color hue of the video data 41 input from the image quality adjustment unit 20 has shifted toward red and the degree to which the skin color hue has shifted toward yellow (step S4).

肌色色相シフト検出部25は、肌色の色相が赤よりにシフトしている場合、または、肌色の色相が黄よりにシフトしている場合、(ステップS4のYes)、赤よりにシフトしている度合いを示す「赤よりシフト量」、または、黄よりにシフトしている度合いを示す「黄よりシフト量」、を計算する(ステップS5)。一方、肌色色相シフト検出部25は、肌色の色相が赤よりにシフトしていない場合、または、肌色の色相が黄よりにシフトしていない場合(ステップS4のNo)、または人物の顔ありの領域が一定面積未満の場合(ステップS2のNo)、赤よりにシフトしている度合いを示す「赤よりシフト量」、黄よりにシフトしている度合いを示す「黄よりシフト量」を0とする(ステップS6)。 If the skin color hue has shifted toward red or toward yellow (Yes in step S4), the skin color hue shift detection unit 25 calculates the "amount of red shift" indicating the degree of red shift or the "amount of yellow shift" indicating the degree of yellow shift (step S5). On the other hand, if the skin color hue has not shifted toward red or the skin color hue has not shifted toward yellow (No in step S4), or if the area containing a human face is less than a certain area (No in step S2), the skin color hue shift detection unit 25 sets the "amount of red shift" indicating the degree of red shift and the "amount of yellow shift" indicating the degree of yellow shift to 0 (step S6).

次いで、色補正パラメータ生成部26は、肌色色相シフト検出部25で検出した「赤よりシフト量」または「黄よりシフト量」を基に、色補正部27に適用する色補正用のパラメータを生成する(ステップS7)。 Next, the color correction parameter generation unit 26 generates color correction parameters to be applied to the color correction unit 27 based on the "amount of shift toward red" or "amount of shift toward yellow" detected by the skin color hue shift detection unit 25 (step S7).

最後に、色補正部27は、色補正パラメータ生成部26で適用された色補正用のパラメータに基づいて、画質調整部20から入力された映像データ41の色補正を行う(ステップS8)。 Finally, the color correction unit 27 performs color correction on the video data 41 input from the image quality adjustment unit 20 based on the color correction parameters applied by the color correction parameter generation unit 26 (step S8).

このように、第1の実施形態の画像表示装置によれば、リアルタイムに顔検出と色相シフト度合いとを検出して、入力映像の特性に合わせた肌色の補正を行うことで、撮影時や編集時等の環境(条件)が分からないようなコンテンツでも美しい肌色を表示することができ、良好な映像表示を行うことができる。 In this way, the image display device of the first embodiment detects faces and the degree of hue shift in real time, and corrects skin color to match the characteristics of the input video. This makes it possible to display beautiful skin colors even in content where the environment (conditions) at the time of shooting or editing are unknown, thereby enabling good video display.

なお、本実施形態においては、ヒストグラム検出部24は、画質調整部20から入力された映像データ41から色相のヒストグラムを取得するようにしたが、これに限るものではない。ここで、図8は画像表示装置1の変形例を示す模式図である。図8に示すように、画像表示装置1は、肌画像補正部22に、顔領域抽出部28を更に備えるようにしてもよい。顔領域抽出部28は、顔検出部23における顔検出結果から、入力映像のうち人物の顔の確率が高い領域のみを抽出する。そして、ヒストグラム検出部24は、入力映像のうち人物の顔の確率が高い領域のみから色相のヒストグラムを取得する。 In this embodiment, the histogram detection unit 24 acquires a hue histogram from the video data 41 input from the image quality adjustment unit 20, but this is not limited to this. Here, FIG. 8 is a schematic diagram showing a modified example of the image display device 1. As shown in FIG. 8, the image display device 1 may further include a face region extraction unit 28 in the skin image correction unit 22. The face region extraction unit 28 extracts only those areas of the input video that are highly likely to contain a human face based on the face detection results from the face detection unit 23. The histogram detection unit 24 then acquires a hue histogram from only those areas of the input video that are highly likely to contain a human face.

このようにすることで、ヒストグラム検出結果に人物の顔以外の成分がなるべく含まれないようにすることができる。 By doing this, it is possible to minimize the inclusion of components other than human faces in the histogram detection results.

(第2の実施形態)
次に、第2の実施の形態について説明する。
Second Embodiment
Next, a second embodiment will be described.

第2の実施の形態は、映像データ41から彩度のヒストグラム検出を行う点が、第1の実施の形態と異なる。以下、第2の実施の形態の説明では、第1の実施の形態と同一部分の説明については省略し、第1の実施の形態と異なる箇所について説明する。 The second embodiment differs from the first embodiment in that a saturation histogram is detected from the video data 41. In the following explanation of the second embodiment, we will omit explanations of the same parts as the first embodiment and focus on the differences from the first embodiment.

図9は、第2の実施形態にかかる肌画像補正部22の機能構成を示す機能ブロック図である。 Figure 9 is a functional block diagram showing the functional configuration of the skin image correction unit 22 according to the second embodiment.

図9に示すように、本実施形態にかかる画像表示装置1の肌画像補正部22は、第2の実施形態で説明したヒストグラム検出部24、肌色色相シフト検出部25、色補正パラメータ生成部26に代えて、ヒストグラム検出部34、シフト検出部である肌色彩度シフト検出部35、色補正パラメータ生成部36を有する。 As shown in FIG. 9, the skin image correction unit 22 of the image display device 1 according to this embodiment has a histogram detection unit 34, a skin color saturation shift detection unit 35 (which is a shift detection unit), and a color correction parameter generation unit 36, instead of the histogram detection unit 24, skin color hue shift detection unit 25, and color correction parameter generation unit 26 described in the second embodiment.

ヒストグラム検出部34は、画質調整部20から入力された映像データ41から彩度のヒストグラム検出を行う。ここで、図10はヒストグラム検出部34におけるヒストグラム検出方法の一例を示す図である。図10(a)は、YCbCr信号におけるCbCrに基づく彩度分布を示し、図10(b)は、YCbCr色空間を示すものである。ヒストグラム検出部34によるヒストグラム検出は、例えば、映像データ41にかかる画像全体、または人物の顔を含む映像データ41にかかる画像の一部の領域における特定の彩度に分布する画素数を求めてヒストグラム化するものである。図10(a)に示すように、ヒストグラム検出部34は、ヒストグラム検出において、3次元のYCbCr色空間で彩度の制限を加えるようにしてもよい。 The histogram detection unit 34 performs saturation histogram detection from the video data 41 input from the image quality adjustment unit 20. Here, Figure 10 shows an example of a histogram detection method used by the histogram detection unit 34. Figure 10(a) shows a saturation distribution based on CbCr in a YCbCr signal, and Figure 10(b) shows the YCbCr color space. Histogram detection by the histogram detection unit 34 involves, for example, determining the number of pixels distributed at a specific saturation in the entire image related to the video data 41, or in a partial area of the image related to the video data 41 that includes a person's face, and creating a histogram. As shown in Figure 10(a), the histogram detection unit 34 may also apply saturation restrictions in the three-dimensional YCbCr color space during histogram detection.

肌色彩度シフト検出部35は、顔検出部23における顔検出結果とヒストグラム検出部34におけるヒストグラム検出結果を用いて、画質調整部20から入力された映像データ41の肌色の彩度シフト度合いを検出する。肌色彩度シフト検出部35は、例えば、肌色の彩度が想定より高彩度にシフトしている度合いである「高彩度シフト量」、肌色の彩度が想定より低彩度にシフトしている度合いである「低彩度シフト量」、を検出する。 The skin color saturation shift detection unit 35 uses the face detection results from the face detection unit 23 and the histogram detection results from the histogram detection unit 34 to detect the degree of saturation shift in skin color in the video data 41 input from the image quality adjustment unit 20. The skin color saturation shift detection unit 35 detects, for example, the "amount of high saturation shift," which is the degree to which the saturation of skin color has shifted to a higher saturation than expected, and the "amount of low saturation shift," which is the degree to which the saturation of skin color has shifted to a lower saturation than expected.

色補正パラメータ生成部36は、肌色彩度シフト検出部35で検出した「高彩度シフト量」および「低彩度シフト量」を基に、色補正部27に適用する色補正用のパラメータを生成する。 The color correction parameter generation unit 36 generates color correction parameters to be applied to the color correction unit 27 based on the "high saturation shift amount" and "low saturation shift amount" detected by the skin color saturation shift detection unit 35.

例えば、色補正パラメータ生成部36は、彩度シフトのないときに適用する標準的なカラーマネジメントテーブル(CMS[m])と、高彩度シフト度合い(RH;0~1)が1のときに最適なカラーマネジメントテーブル(CMR[m])と、低彩度シフト度合い(YH;0~1)が1のときに最適なカラーマネジメントテーブル(CMY[m])と、を有しているとする。 For example, the color correction parameter generation unit 36 may have a standard color management table (CMS[m]) that is applied when there is no saturation shift, a color management table (CMR[m]) that is optimal when the degree of high saturation shift (RH; 0 to 1) is 1, and a color management table (CMY[m]) that is optimal when the degree of low saturation shift (YH; 0 to 1) is 1.

色補正パラメータ生成部36は、色補正用のパラメータを、最終的に色補正部27に適用するカラーマネジメントテーブル(CM[m])とする。ここで、CM[m]は、色相H[h],彩度S[s],明度V[v]の要素からなる。すなわち、m=h×s×vである。 The color correction parameter generation unit 36 generates the color correction parameters as a color management table (CM[m]) that is ultimately applied to the color correction unit 27. Here, CM[m] consists of the elements hue H[h], saturation S[s], and lightness V[v]. In other words, m = h × s × v.

色補正パラメータ生成部36は、肌色彩度シフト検出部35による検出結果における高彩度シフト度合いも低彩度シフト度合いも0のとき、CM[m]=CMS[m]として、色補正部27に適用する色補正用のパラメータとする。また、色補正パラメータ生成部36は、肌色彩度シフト検出部35による検出結果における高彩度シフト度合いが0でないとき、CM[m]=RH×CMR[m]+(1-RH)×CMS[m]として、色補正部27に適用する色補正用のパラメータとする。また、色補正パラメータ生成部36は、肌色彩度シフト検出部35による検出結果における低彩度シフト度合いが0でないとき、CM[m]=YH×CMY[m]+(1-YH)×CMS[m]として、色補正部27に適用する色補正用のパラメータとする。 When both the degree of high saturation shift and the degree of low saturation shift detected by the skin color saturation shift detection unit 35 are zero, the color correction parameter generation unit 36 sets CM[m] = CMS[m] as a color correction parameter to be applied to the color correction unit 27. Furthermore, when the degree of high saturation shift detected by the skin color saturation shift detection unit 35 is not zero, the color correction parameter generation unit 36 sets CM[m] = RH × CMR[m] + (1 - RH) × CMS[m] as a color correction parameter to be applied to the color correction unit 27. Furthermore, when the degree of low saturation shift detected by the skin color saturation shift detection unit 35 is not zero, the color correction parameter generation unit 36 sets CM[m] = YH × CMY[m] + (1 - YH) × CMS[m] as a color correction parameter to be applied to the color correction unit 27.

ここで、CMS[m]は肌色領域に対して少し彩度を上げた値であるとき、CMR[m]は彩度を上げる量をいくらか-(マイナス)した値とし、CMY[m]は彩度を上げる量をいくらか+(プラス)した値とする。画質調整部20から入力された映像データ41(入力映像)が高彩度にシフトしている場合には、過剰な補正を抑制することができる。画質調整部20から入力された映像データ41(入力映像)が低彩度にシフトしている場合には、補正不足を補うことができる。 Here, when CMS[m] is a value that slightly increases the saturation for the skin color area, CMR[m] is a value that increases the saturation by some amount (-), and CMY[m] is a value that increases the saturation by some amount (+). If the image data 41 (input image) input from the image quality adjustment unit 20 is shifted toward high saturation, excessive correction can be suppressed. If the image data 41 (input image) input from the image quality adjustment unit 20 is shifted toward low saturation, insufficient correction can be compensated for.

次に、肌画像補正部22が実行する肌画像補正処理の流れの一例を説明する。 Next, we will explain an example of the flow of the skin image correction process performed by the skin image correction unit 22.

図11は、肌画像補正部22が実行する肌画像補正処理の流れの一例を示すフローチャートである。図11に示すように、顔検出部23は、画質調整部20から入力された映像データ41を複数のエリアに分割し、それぞれの領域に人物の顔が含まれるかを検出する(ステップS11)。 Figure 11 is a flowchart showing an example of the flow of the skin image correction process executed by the skin image correction unit 22. As shown in Figure 11, the face detection unit 23 divides the video data 41 input from the image quality adjustment unit 20 into multiple areas and detects whether each area contains a human face (step S11).

顔検出部23は、人物の顔ありの領域が一定面積以上の場合(ステップS12のYes)、映像データ41に人物の顔を検出したものとして、ステップS13に進む。一方、顔検出部23は、人物の顔ありの領域が一定面積未満の場合(ステップS12のNo)、映像データ41に人物の顔を検出しなかったものとして、ステップS16に進む。 If the area containing a human face is equal to or larger than a certain area (Yes in step S12), the face detection unit 23 determines that a human face has been detected in the video data 41, and proceeds to step S13. On the other hand, if the area containing a human face is smaller than a certain area (No in step S12), the face detection unit 23 determines that a human face has not been detected in the video data 41, and proceeds to step S16.

ステップS13では、ヒストグラム検出部34は、画質調整部20から入力された映像データ41から彩度のヒストグラムを取得する。 In step S13, the histogram detection unit 34 obtains a saturation histogram from the video data 41 input from the image quality adjustment unit 20.

続いて、肌色彩度シフト検出部35は、顔検出部23における顔検出結果とヒストグラム検出部34におけるヒストグラム検出結果を用いて、画質調整部20から入力された映像データ41の肌色の彩度が想定より高彩度にシフトしている度合い、を検出する(ステップS14)。 Next, the skin color saturation shift detection unit 35 uses the face detection results from the face detection unit 23 and the histogram detection results from the histogram detection unit 34 to detect the degree to which the skin color saturation of the video data 41 input from the image quality adjustment unit 20 has shifted to a higher saturation than expected (step S14).

肌色彩度シフト検出部35は、肌色の彩度が想定より高彩度にシフトしている場合、または、肌色の彩度が想定より低彩度にシフトしている場合(ステップS14のYes)、高彩度にシフトしている度合いを示す「高彩度シフト量」、または、低彩度にシフトしている度合いを示す「低彩度シフト量」、を計算する(ステップS15)。一方、肌色彩度シフト検出部35は、肌色の彩度が想定より高彩度にシフトしていない場合、および、肌色の彩度が想定より低彩度にシフトしていない場合(ステップS14のNo)、または人物の顔ありの領域が一定面積未満の場合(ステップS12のNo)、高彩度にシフトしている度合いを示す「高彩度シフト量」、低彩度にシフトしている度合いを示す「低彩度シフト量」を0とする(ステップS16)。 If the skin color saturation has shifted higher than expected or lower than expected (Yes in step S14), the skin color saturation shift detection unit 35 calculates a "high saturation shift amount" indicating the degree of shift to high saturation or a "low saturation shift amount" indicating the degree of shift to low saturation (step S15). On the other hand, if the skin color saturation has not shifted higher than expected or has not shifted lower than expected (No in step S14), or if the area containing a human face is less than a certain area (No in step S12), the skin color saturation shift detection unit 35 sets the "high saturation shift amount" indicating the degree of shift to high saturation and the "low saturation shift amount" indicating the degree of shift to low saturation to 0 (step S16).

次いで、色補正パラメータ生成部36は、肌色彩度シフト検出部35で検出した「高彩度シフト量」または「低彩度シフト量」を基に、色補正部27に適用する色補正用のパラメータを生成する(ステップS17)。 Next, the color correction parameter generation unit 36 generates color correction parameters to be applied to the color correction unit 27 based on the "high saturation shift amount" or "low saturation shift amount" detected by the skin color saturation shift detection unit 35 (step S17).

最後に、色補正部27は、色補正パラメータ生成部26で適用された色補正用のパラメータに基づいて、画質調整部20から入力された映像データ41の色補正を行う(ステップS18)。 Finally, the color correction unit 27 performs color correction on the video data 41 input from the image quality adjustment unit 20 based on the color correction parameters applied by the color correction parameter generation unit 26 (step S18).

このように、第2の実施形態の画像表示装置によれば、リアルタイムに顔検出と彩度シフト度合いとを検出して、入力映像の特性に合わせた肌色の補正を行うことで、撮影時や編集時等の環境(条件)が分からないようなコンテンツでも美しい肌色を表示することができ、良好な映像表示を行うことができる。 In this way, the image display device of the second embodiment detects faces and the degree of saturation shift in real time, and corrects skin color to match the characteristics of the input video. This makes it possible to display beautiful skin colors even in content where the environment (conditions) at the time of shooting or editing are unknown, thereby enabling good video display.

なお、本実施形態においては、ヒストグラム検出部34は、画質調整部20から入力された映像データ41から彩度のヒストグラムを取得するようにしたが、これに限るものではない。例えば、ヒストグラム検出部34は、画質調整部20から入力された映像データ41から取得した彩度のヒストグラムに加えて、第1の実施形態で説明した色相のヒストグラムを取得するようにしてもよい。このようにリアルタイムに顔検出と、色相シフト度合いおよび彩度シフト度合いを検出して、入力映像の特性に合わせた肌色の補正を行うことで、どのようなコンテンツでも美しい肌色を表示することができる。 In this embodiment, the histogram detection unit 34 acquires a saturation histogram from the video data 41 input from the image quality adjustment unit 20, but this is not limited to this. For example, the histogram detection unit 34 may acquire a hue histogram as described in the first embodiment, in addition to the saturation histogram acquired from the video data 41 input from the image quality adjustment unit 20. In this way, by detecting faces in real time and detecting the degree of hue shift and the degree of saturation shift, and correcting skin color to match the characteristics of the input video, it is possible to display beautiful skin colors in any content.

なお、本実施形態の画像表示装置1で実行されるプログラム(ソフトウェア)は、ROM等に予め組み込まれて提供される。 The program (software) executed by the image display device 1 of this embodiment is provided pre-installed in a ROM or the like.

本実施形態の画像表示装置1で実行されるプログラム(ソフトウェア)は、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 The program (software) executed by the image display device 1 of this embodiment may be provided by being recorded in an installable or executable file format on a computer-readable recording medium such as a CD-ROM, flexible disk (FD), CD-R, or DVD (Digital Versatile Disc).

さらに、本実施形態の画像表示装置1で実行されるプログラム(ソフトウェア)を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像表示装置1で実行されるプログラム(ソフトウェア)をインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Furthermore, the program (software) executed by the image display device 1 of this embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Furthermore, the program (software) executed by the image display device 1 of this embodiment may be provided or distributed via a network such as the Internet.

なお、上記には、本発明の実施形態および変形例を説明したが、上記実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the above describes embodiments and variations of the present invention, these embodiments and variations are presented as examples and are not intended to limit the scope of the invention. These novel embodiments and variations may be embodied in a variety of other forms, and various omissions, substitutions, and modifications may be made without departing from the spirit of the invention. The above embodiments and variations are included within the scope and spirit of the invention, as well as within the scope of the invention and its equivalents as set forth in the claims.

1 画像表示装置
12 表示部
23 顔検出部
24、34 ヒストグラム検出部
25、35 シフト検出部
26、36 色補正パラメータ生成部
27 色補正部
28 顔領域抽出部
REFERENCE SIGNS LIST 1 image display device 12 display unit 23 face detection unit 24, 34 histogram detection unit 25, 35 shift detection unit 26, 36 color correction parameter generation unit 27 color correction unit 28 face region extraction unit

Claims (7)

入力された映像データを画像処理して表示部へ出力する画像表示装置であって、
前記映像データから人物の顔の検出を行う顔検出部と、
前記映像データから色相のヒストグラム検出を行うヒストグラム検出部と、
前記顔検出部における顔検出結果と、前記ヒストグラム検出部におけるヒストグラム検出結果を用いて、前記映像データの肌色の色相が赤色よりにシフトしている度合いである赤色シフト度合い、および前記映像データの肌色の色相が黄色よりにシフトしている度合いである黄色シフト度合いを検出するシフト検出部と、
前記シフト検出部で検出した前記赤色シフト度合いおよび前記黄色シフト度合いを基に、色補正用のパラメータを生成する色補正パラメータ生成部と、
前記色補正パラメータ生成部で生成された前記色補正用のパラメータに基づいて、前記映像データの色補正を行う色補正部と、
を備え、
前記色補正パラメータ生成部は、
前記赤色シフト度合いおよび前記黄色シフト度合いが最小値のときに適用する標準的な第1の色補正用のパラメータと、前記赤色シフト度合いが最大値のときに最適な第2の色補正用のパラメータと、前記黄色シフト度合いが最大値のときに最適な第3の色補正用のパラメータと、を有していて、
前記第1の色補正用のパラメータは肌色領域に対して赤みを加えた値であるとき、前記第2の色補正用のパラメータは赤みを加える量を前記第1の色補正用のパラメータと比較してマイナスした値とし、前記第3の色補正用のパラメータは赤みを加える量を前記第1の色補正用のパラメータと比較してプラスした値とする、
ことを特徴とする画像表示装置。
An image display device that processes input video data and outputs the processed video data to a display unit,
a face detection unit that detects a person's face from the video data;
a histogram detection unit that detects a hue histogram from the video data;
a shift detection unit that uses the face detection result from the face detection unit and the histogram detection result from the histogram detection unit to detect a red shift degree, which is the degree to which the hue of the skin color of the video data is shifted toward red, and a yellow shift degree, which is the degree to which the hue of the skin color of the video data is shifted toward yellow;
a color correction parameter generation unit that generates parameters for color correction based on the degree of red shift and the degree of yellow shift detected by the shift detection unit;
a color correction unit that performs color correction on the video data based on the color correction parameters generated by the color correction parameter generation unit;
Equipped with
The color correction parameter generation unit
a standard first color correction parameter to be applied when the degree of red shift and the degree of yellow shift are at their minimum values, a second color correction parameter that is optimal when the degree of red shift is at its maximum value, and a third color correction parameter that is optimal when the degree of yellow shift is at its maximum value,
When the first color correction parameter is a value for adding reddishness to a skin color region, the second color correction parameter is a minus value obtained by comparing the amount of reddishness to the first color correction parameter, and the third color correction parameter is a plus value obtained by comparing the amount of reddishness to the first color correction parameter.
An image display device characterized by:
入力された映像データを画像処理して表示部へ出力する画像表示装置であって、
前記映像データから人物の顔の検出を行う顔検出部と、
前記映像データから彩度のヒストグラム検出を行うヒストグラム検出部と、
前記顔検出部における顔検出結果と、前記ヒストグラム検出部におけるヒストグラム検出結果を用いて、前記映像データの肌色の彩度が想定した値より高彩度にシフトしている度合いである高彩度シフト度合い、および前記映像データの肌色の彩度が想定した値より低彩度にシフトしている度合いである低彩度シフト度合いを検出するシフト検出部と、
前記シフト検出部で検出した前記高彩度シフト度合いおよび前記低彩度シフト度合いを基に、色補正用のパラメータを生成する色補正パラメータ生成部と、
前記色補正パラメータ生成部で生成された前記色補正用のパラメータに基づいて、前記映像データの色補正を行う色補正部と、
を備え、
前記色補正パラメータ生成部は、
前記高彩度シフト度合いおよび前記低彩度シフト度合いが最小値のときに適用する標準的な第1の色補正用のパラメータと、前記高彩度シフト度合いが最大値のときに最適な第2の色補正用のパラメータと、前記低彩度シフト度合いが最大値のときに最適な第3の色補正用のパラメータと、を有していて、
前記第1の色補正用のパラメータは肌色領域に対して彩度を上げた値であるとき、前記第2の色補正用のパラメータは彩度を上げる量を前記第1の色補正用のパラメータと比較してマイナスした値とし、前記第3の色補正用のパラメータは彩度を上げる量を前記第1の色補正用のパラメータと比較してプラスした値とする、
ことを特徴とする画像表示装置。
An image display device that processes input video data and outputs the processed video data to a display unit,
a face detection unit that detects a person's face from the video data;
a histogram detection unit that detects a saturation histogram from the video data;
a shift detection unit that uses the face detection result from the face detection unit and the histogram detection result from the histogram detection unit to detect a high saturation shift degree, which is a degree to which the saturation of the skin color of the video data has shifted to a higher saturation than an assumed value, and a low saturation shift degree, which is a degree to which the saturation of the skin color of the video data has shifted to a lower saturation than an assumed value;
a color correction parameter generation unit that generates parameters for color correction based on the degree of the high saturation shift and the degree of the low saturation shift detected by the shift detection unit;
a color correction unit that performs color correction on the video data based on the color correction parameters generated by the color correction parameter generation unit;
Equipped with
The color correction parameter generation unit
a standard first color correction parameter applied when the degree of the high saturation shift and the degree of the low saturation shift are at their minimum values, a second color correction parameter that is optimal when the degree of the high saturation shift is at its maximum value, and a third color correction parameter that is optimal when the degree of the low saturation shift is at its maximum value,
When the first color correction parameter is a value that increases saturation for a skin color region, the second color correction parameter is a value obtained by subtracting the amount of saturation increase from the first color correction parameter, and the third color correction parameter is a value obtained by adding the amount of saturation increase from the first color correction parameter.
An image display device characterized by:
前記ヒストグラム検出部は、前記映像データからのヒストグラム検出において、3次元のYCbCr色空間で彩度の範囲に制限を加える、
ことを特徴とする請求項1または2に記載の画像表示装置。
the histogram detection unit limits the range of saturation in a three-dimensional YCbCr color space in detecting a histogram from the video data.
3. The image display device according to claim 1, wherein the image display device is a display device having a plurality of display areas.
前記ヒストグラム検出部は、前記映像データからのヒストグラム検出において、3次元のYCbCr色空間で輝度の範囲に制限を加える、
ことを特徴とする請求項1に記載の画像表示装置。
the histogram detection unit limits a luminance range in a three-dimensional YCbCr color space in detecting a histogram from the video data.
2. The image display device according to claim 1, wherein the image display device is a display device having a plurality of display areas.
前記顔検出部における顔検出結果から、前記映像データのうち人物の顔の確率が高い領域のみを抽出する顔領域抽出部を備え、
前記ヒストグラム検出部は、前記顔領域抽出部により抽出された前記人物の顔の確率が高い領域のみから色相のヒストグラムを取得する、
ことを特徴とする請求項1に記載の画像表示装置。
a face region extraction unit that extracts only a region of the video data that is highly likely to contain a human face based on the face detection result of the face detection unit;
the histogram detection unit acquires a hue histogram only from the area extracted by the face area extraction unit that has a high probability of being the person's face.
2. The image display device according to claim 1, wherein the image display device is a display device having a plurality of display areas.
入力された映像データを画像処理して表示部へ出力する画像表示装置を制御するコンピュータを、
前記映像データから人物の顔の検出を行う顔検出部と、
前記映像データから色相のヒストグラム検出を行うヒストグラム検出部と、
前記顔検出部における顔検出結果と、前記ヒストグラム検出部におけるヒストグラム検出結果を用いて、前記映像データの肌色の色相が赤色よりにシフトしている度合いである赤色シフト度合い、および前記映像データの肌色の色相が黄色よりにシフトしている度合いである黄色シフト度合いを検出するシフト検出部と、
前記シフト検出部で検出した前記赤色シフト度合いおよび前記黄色シフト度合いを基に、色補正用のパラメータを生成する色補正パラメータ生成部と、
前記色補正パラメータ生成部で生成された前記色補正用のパラメータに基づいて、前記映像データの色補正を行う色補正部と、
として機能させ、
前記色補正パラメータ生成部は、
前記赤色シフト度合いおよび前記黄色シフト度合いが最小値のときに適用する標準的な第1の色補正用のパラメータと、前記赤色シフト度合いが最大値のときに最適な第2の色補正用のパラメータと、前記黄色シフト度合いが最大値のときに最適な第3の色補正用のパラメータと、を有していて、
前記第1の色補正用のパラメータは肌色領域に対して赤みを加えた値であるとき、前記第2の色補正用のパラメータは赤みを加える量を前記第1の色補正用のパラメータと比較してマイナスした値とし、前記第3の色補正用のパラメータは赤みを加える量を前記第1の色補正用のパラメータと比較してプラスした値とする、
ためのプログラム。
A computer that controls an image display device that processes input video data and outputs the processed video data to a display unit,
a face detection unit that detects a person's face from the video data;
a histogram detection unit that detects a hue histogram from the video data;
a shift detection unit that uses the face detection result from the face detection unit and the histogram detection result from the histogram detection unit to detect a red shift degree, which is the degree to which the hue of the skin color of the video data is shifted toward red, and a yellow shift degree, which is the degree to which the hue of the skin color of the video data is shifted toward yellow;
a color correction parameter generation unit that generates parameters for color correction based on the degree of red shift and the degree of yellow shift detected by the shift detection unit;
a color correction unit that performs color correction on the video data based on the color correction parameters generated by the color correction parameter generation unit;
It functions as
The color correction parameter generation unit
a standard first color correction parameter to be applied when the degree of red shift and the degree of yellow shift are at their minimum values, a second color correction parameter that is optimal when the degree of red shift is at its maximum value, and a third color correction parameter that is optimal when the degree of yellow shift is at its maximum value,
When the first color correction parameter is a value for adding reddishness to a skin color region, the second color correction parameter is a minus value obtained by comparing the amount of reddishness to the first color correction parameter, and the third color correction parameter is a plus value obtained by comparing the amount of reddishness to the first color correction parameter.
Program for.
入力された映像データを画像処理して表示部へ出力する画像表示装置を制御するコンピュータを、
前記映像データから人物の顔の検出を行う顔検出部と、
前記映像データから彩度のヒストグラム検出を行うヒストグラム検出部と、
前記顔検出部における顔検出結果と、前記ヒストグラム検出部におけるヒストグラム検出結果を用いて、前記映像データの肌色の彩度が想定した値より高彩度にシフトしている度合いである高彩度シフト度合い、および前記映像データの肌色の彩度が想定した値より低彩度にシフトしている度合いである低彩度シフト度合いを検出するシフト検出部と、
前記シフト検出部で検出した前記高彩度シフト度合いおよび前記低彩度シフト度合いを基に、色補正用のパラメータを生成する色補正パラメータ生成部と、
前記色補正パラメータ生成部で生成された前記色補正用のパラメータに基づいて、前記映像データの色補正を行う色補正部と、
として機能させ、
前記色補正パラメータ生成部は、
前記高彩度シフト度合いおよび前記低彩度シフト度合いが最小値のときに適用する標準的な第1の色補正用のパラメータと、前記高彩度シフト度合いが最大値のときに最適な第2の色補正用のパラメータと、前記低彩度シフト度合いが最大値のときに最適な第3の色補正用のパラメータと、を有していて、
前記第1の色補正用のパラメータは肌色領域に対して彩度を上げた値であるとき、前記第2の色補正用のパラメータは彩度を上げる量を前記第1の色補正用のパラメータと比較してマイナスした値とし、前記第3の色補正用のパラメータは彩度を上げる量を前記第1の色補正用のパラメータと比較してプラスした値とする、
ためのプログラム。
A computer that controls an image display device that processes input video data and outputs the processed video data to a display unit,
a face detection unit that detects a person's face from the video data;
a histogram detection unit that detects a saturation histogram from the video data;
a shift detection unit that uses the face detection result from the face detection unit and the histogram detection result from the histogram detection unit to detect a high saturation shift degree, which is a degree to which the saturation of the skin color of the video data has shifted to a higher saturation than an assumed value, and a low saturation shift degree, which is a degree to which the saturation of the skin color of the video data has shifted to a lower saturation than an assumed value;
a color correction parameter generation unit that generates parameters for color correction based on the degree of the high saturation shift and the degree of the low saturation shift detected by the shift detection unit;
a color correction unit that performs color correction on the video data based on the color correction parameters generated by the color correction parameter generation unit;
It functions as
The color correction parameter generation unit
a standard first color correction parameter applied when the degree of the high saturation shift and the degree of the low saturation shift are at their minimum values, a second color correction parameter that is optimal when the degree of the high saturation shift is at its maximum value, and a third color correction parameter that is optimal when the degree of the low saturation shift is at its maximum value,
When the first color correction parameter is a value that increases saturation for a skin color region, the second color correction parameter is a value obtained by subtracting the amount of saturation increase from the first color correction parameter, and the third color correction parameter is a value obtained by adding the amount of saturation increase from the first color correction parameter.
Program for.
JP2022090182A 2022-06-02 2022-06-02 Image display device and program Active JP7748334B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022090182A JP7748334B2 (en) 2022-06-02 2022-06-02 Image display device and program
CN202380013675.7A CN117981292A (en) 2022-06-02 2023-03-29 Image display device
PCT/CN2023/084777 WO2023231546A1 (en) 2022-06-02 2023-03-29 Image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022090182A JP7748334B2 (en) 2022-06-02 2022-06-02 Image display device and program

Publications (2)

Publication Number Publication Date
JP2023177478A JP2023177478A (en) 2023-12-14
JP7748334B2 true JP7748334B2 (en) 2025-10-02

Family

ID=89026852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022090182A Active JP7748334B2 (en) 2022-06-02 2022-06-02 Image display device and program

Country Status (3)

Country Link
JP (1) JP7748334B2 (en)
CN (1) CN117981292A (en)
WO (1) WO2023231546A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200312A (en) 2009-01-28 2010-09-09 Nikon Corp Electronic camera and image processing program
JP2020526809A (en) 2017-07-13 2020-08-31 シセイドウ アメリカズ コーポレイション Virtual face makeup removal, fast face detection and landmark tracking

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5874988A (en) * 1996-07-08 1999-02-23 Da Vinci Systems, Inc. System and methods for automated color correction
JP2004023737A (en) * 2002-06-20 2004-01-22 Canon Inc Image processing apparatus and method
JP4731202B2 (en) * 2005-05-13 2011-07-20 Nkワークス株式会社 Color correction processing method and color correction processing apparatus using the same
US8467604B2 (en) * 2007-09-03 2013-06-18 Entropic Communications, Inc. Color enhancement
US9672414B2 (en) * 2015-11-11 2017-06-06 Adobe Systems Incorporated Enhancement of skin, including faces, in photographs
CN107564047B (en) * 2017-09-12 2020-10-20 北京小米移动软件有限公司 Image processing method and device, electronic equipment and computer readable storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200312A (en) 2009-01-28 2010-09-09 Nikon Corp Electronic camera and image processing program
JP2020526809A (en) 2017-07-13 2020-08-31 シセイドウ アメリカズ コーポレイション Virtual face makeup removal, fast face detection and landmark tracking

Also Published As

Publication number Publication date
WO2023231546A1 (en) 2023-12-07
JP2023177478A (en) 2023-12-14
CN117981292A (en) 2024-05-03

Similar Documents

Publication Publication Date Title
JP4677753B2 (en) Moving image processing apparatus and method
JP3668014B2 (en) Image processing method and apparatus
RU2491760C2 (en) Image processing device, image processing method and programme
KR101927968B1 (en) METHOD AND DEVICE FOR DISPLAYING IMAGE BASED ON METADATA, AND RECORDING MEDIUM THEREFOR
JP3959909B2 (en) White balance adjustment method and adjustment device
US20070085911A1 (en) Apparatus for color correction of subject-image data, and method of controlling same
WO2004025966A1 (en) Digital still camera and image correction method
JP4708406B2 (en) White balance automatic adjustment device and automatic adjustment method
KR20070111389A (en) Image Correction Circuit, Image Correction Method, and Image Display
JP7296745B2 (en) Image processing device, image processing method, and program
US20090009525A1 (en) Color Adjustment Device and Method
JP6904788B2 (en) Image processing equipment, image processing methods, and programs
KR20120016475A (en) Image processing method and image processing device
Zamir et al. Vision models for wide color gamut imaging in cinema
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
KR20070111381A (en) Image Correction Circuit, Image Correction Method, and Image Display
US20050207669A1 (en) Method, system, and program for correcting the image quality of a moving image
JP7129520B2 (en) Image processing device, image processing method, and program
CN105957020A (en) Image generator and image generation method
US8189909B2 (en) Color temperature conversion method and apparatus having luminance correction conversion function
JP7748334B2 (en) Image display device and program
CN101925921A (en) Image signal processing device and image signal processing program
JP7715754B2 (en) Image display device and program
JP2008072551A (en) Image processing method, image processing apparatus, program, and recording medium
KR101227082B1 (en) Color Balancing Apparatus and Method for Multiple Image Synthesis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250919

R150 Certificate of patent or registration of utility model

Ref document number: 7748334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150