Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6187119B2 - Image color adjustment apparatus, image color adjustment method, and program - Google Patents
[go: Go Back, main page]

JP6187119B2 - Image color adjustment apparatus, image color adjustment method, and program - Google Patents

Image color adjustment apparatus, image color adjustment method, and program Download PDF

Info

Publication number
JP6187119B2
JP6187119B2 JP2013211460A JP2013211460A JP6187119B2 JP 6187119 B2 JP6187119 B2 JP 6187119B2 JP 2013211460 A JP2013211460 A JP 2013211460A JP 2013211460 A JP2013211460 A JP 2013211460A JP 6187119 B2 JP6187119 B2 JP 6187119B2
Authority
JP
Japan
Prior art keywords
color
color space
image data
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013211460A
Other languages
Japanese (ja)
Other versions
JP2015075904A (en
Inventor
伸也 北岡
伸也 北岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2013211460A priority Critical patent/JP6187119B2/en
Publication of JP2015075904A publication Critical patent/JP2015075904A/en
Application granted granted Critical
Publication of JP6187119B2 publication Critical patent/JP6187119B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、目標となる画像への色調整を行う画像色調整装置等に関するものである。   The present invention relates to an image color adjustment apparatus that performs color adjustment on a target image.

近年、IT技術の普及および深耕に伴い、消費者の商品購入形態も変化し、Webを介して商品購入が可能な電子取引商サービスが急激に成長している。消費者向けの電子取引商サービスとして、家で手軽に商品購入を楽しむことが可能なWebサービス(以下、EC(Electronic Commerce)サイトと記載する)が普及し、ECサイトを通して商品を購入するスタイルが、商品購入としての新たな文化となりつつある。また、そういった消費者の価値観に対応するために、サービスを提供する提供者や仕組みが、現在もなお増え続けている。   In recent years, with the spread and deep cultivation of IT technology, consumer product purchase forms have also changed, and electronic merchant services capable of purchasing products via the Web are rapidly growing. As an electronic trading business service for consumers, a Web service (hereinafter referred to as an EC (Electronic Commerce) site) that allows customers to easily purchase products at home has become widespread, and there is a style of purchasing products through EC sites. It is becoming a new culture as a product purchase. In addition, in order to respond to such consumer values, the number of providers and mechanisms that provide services are still increasing.

ところで、サービス提供側が、消費者向けの商品購入ECサイトを構築するためには、商品画像の撮影が不可欠であり、特に、その商品の特徴を伝えるために、一つの商品に対して、あらゆるアングルから数カット撮影するのが現在の主流である。   By the way, in order for a service provider to construct a product purchase EC site for consumers, it is indispensable to take a product image. It is the current mainstream to take a few cuts.

ECサイト立ち上がり初期の段階では、ECサイトの商品の撮影は、商品の質感、雰囲気、および色等を正確に伝えるために、プロカメラマンが、撮影および画像補正を行っていた。   In the early stage of the EC site launch, the photographer of the EC site took a photograph and corrected the image in order to accurately convey the texture, atmosphere and color of the product.

一般に、画像補正の手法は様々提案されており、例えば、特許文献1には、レプリカ作成時、フラッシュ有りとフラッシュ無しの2枚の画像を連続撮影し、フラッシュ付の被写体の色をフラッシュなしの色に合わせる技術が提案されている。   In general, various image correction methods have been proposed. For example, Patent Document 1 discloses that when a replica is created, two images with and without flash are continuously photographed, and the subject color with flash is set without flash. Techniques for matching colors have been proposed.

特開2011−124955号公報JP 2011-124955 A

近年では、大量商品撮影を短期間で対応するほどの撮影スピードおよび安価な撮影コストが求められるため、例えば、撮影スピードを維持するために撮影条件を固定しての撮影や、撮影コストを安価にするために、プロでないカメラマンおよびスタッフが撮影し、商品管理するケースが増えてきている。   In recent years, there has been a demand for shooting speed and low shooting cost that can handle mass-product shooting in a short period of time, so for example, shooting with fixed shooting conditions to maintain shooting speed and shooting cost can be reduced. In order to do this, there are an increasing number of cases where non-professional photographers and staff take pictures and manage products.

その結果、写真品質の維持が困難な状況になってきている。特に、現状の撮影スタイルが要因で発生する問題の一つとして、「同商品の撮影カット毎の色の相違」がある。掲載された写真の色で購入するかを判断せざるを得ないECサイト利用者にとって、色の相違は致命的な問題であり、サイト自体の信頼性を損ねてしまうため、継続運営するためには、何らかの方法によって色の相違を解消しなければならない。   As a result, it has become difficult to maintain photo quality. In particular, one of the problems caused by the current shooting style is “color difference for each shooting cut of the same product”. For EC site users who have to decide whether or not to purchase with the color of the posted photo, the color difference is a fatal problem, and the reliability of the site itself is impaired. The color difference must be resolved by some method.

色の相違を解消するための一般的な方法としては、人手による画像レタッチが挙げられるが、上述した通り、近年の撮影スタイルの変化から、スキルを持たない撮影者や作業者が撮影するケースにおいて、高度な補正技術を望めず、スキルレスで簡易的に色合わせができる手法が求められる。   As a general method for resolving the color difference, manual image retouching can be mentioned. However, as described above, due to recent changes in the shooting style, in the case of shooting by a photographer or worker who does not have skills Therefore, there is a need for a skillless and simple color matching method that does not require advanced correction technology.

しかしながら、特許文献1に記載の技術では、例えば、吊るし撮影とアップ撮影等の撮影アングルが異なる場合、スキルレスで簡易的に色合わせを行うことは困難である。   However, with the technique described in Patent Document 1, for example, when the shooting angles such as hanging shooting and up shooting are different, it is difficult to easily perform color matching without skill.

本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、撮影アングルが異なる同じ被写体の画像において、簡単に色調整することが可能な画像色調整装置などを提供することである。   The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an image color adjustment device that can easily perform color adjustment on images of the same subject with different shooting angles. That is.

前述した目的を達成するための第1の発明は、撮影アングルが異なる同じ被写体の画像データを色調整する画像色調整装置であって、色調整の目標となるリファレンス画像データ、および、色調整をしたいマッチング画像データを入力する入力手段と、前記リファレンス画像データの被写体領域がマーキングされたリファレンスマーキング画像データ、および、前記マッチング画像データの被写体領域がマーキングされたマッチングマーキング画像データを作成する画像作成手段と、前記リファレンスマーキング画像データのマーキング情報に基づき、リファレンス画像の被写体領域の第1の画素色を取得する第1の色取得手段と、前記マッチングマーキング画像データのマーキング情報に基づき、マッチング画像の被写体領域の第2の画素色を取得する第2の色取得手段と、前記第2の色取得手段で取得された前記第2の画素色から、主要色空間領域を決定する主要色空間領域決定手段と、前記主要色空間領域に相当する色空間領域の周辺領域に前記第1の色取得手段で取得された前記第1の画素色の分布密度の高い領域が存在するか否かを検索する近似色空間領域検索手段と、前記近似色空間領域検索手段による検索の結果、前記リファレンス画像データに近似色空間領域が存在する場合、前記主要色空間領域内の前記第2の画素色の平均値と前記近似色空間領域内の前記第1の画素色の平均値から差分値を算出する差分値算出手段と、前記差分値算出手段による算出結果に基づいて、前記主要色空間領域を前記近似色空間領域へ色写像する色写像手段と、を備えることを特徴とする画像色調整装置である。
第1の発明によって、撮影アングルが異なる同じ被写体の画像において、簡単に色調整することが可能となる。
A first invention for achieving the above-described object is an image color adjustment device for color-adjusting image data of the same subject having different shooting angles, and performs reference image data and color adjustment that are targets of color adjustment. Input means for inputting desired matching image data, reference marking image data in which the subject area of the reference image data is marked, and image creation means for creating matching marking image data in which the subject area of the matching image data is marked First color acquisition means for acquiring a first pixel color of the subject area of the reference image based on the marking information of the reference marking image data, and a subject of the matching image based on the marking information of the matching marking image data The second pixel of the region A second color acquisition means for acquiring a main color space area determining means for determining a main color space area from the second pixel color acquired by the second color acquisition means, and the main color space area Approximate color space region search means for searching whether there is a region with a high distribution density of the first pixel color acquired by the first color acquisition means in a peripheral region of the color space region corresponding to As a result of the search by the approximate color space area search means, when an approximate color space area exists in the reference image data, an average value of the second pixel colors in the main color space area and the approximate color space area A difference value calculating unit that calculates a difference value from an average value of the first pixel colors, and a color map that color-maps the main color space region to the approximate color space region based on a calculation result by the difference value calculating unit And means comprising An image color adjustment apparatus.
According to the first invention, color adjustment can be easily performed on images of the same subject having different shooting angles.

前記主要色空間領域決定手段は、前記第2の画素色の画素密度分布が高い小色空間領域を主要色空間領域として決定する。
これによって、画素密度分布が高い主要色空間領域を容易に検索することができる。
The main color space region determining means determines a small color space region having a high pixel density distribution of the second pixel color as a main color space region.
As a result, a main color space region having a high pixel density distribution can be easily searched.

前記近似色空間領域検索手段は、前記主要色空間領域決定手段により決定された前記主要色空間領域と同じ領域およびその周辺領域の中で、前記第1の画素色の画素密度分布が高い小空間領域を前記近似色空間領域として検索する。
これによって、近似色空間領域と主要色空間領域を関連付けることができる。
The approximate color space area search means is a small space having a high pixel density distribution of the first pixel color in the same area as the main color space area determined by the main color space area determination means and its peripheral area. A region is searched as the approximate color space region.
As a result, the approximate color space region and the main color space region can be associated with each other.

前記色写像手段は、色写像中心点からの色空間上の距離に応じて、写像強度を減衰させる。
これによって、平均値に近いほど色写像強度が1.0に近くになり、平均値から離れるにつれて、色写像強度が0.0に近くなる。
The color mapping means attenuates the mapping intensity according to the distance in the color space from the color mapping center point.
As a result, the closer to the average value, the closer the color map intensity becomes to 1.0, and the closer to the average value, the closer to the color map intensity to 0.0.

前記画像作成手段は、前記マッチング画像データの被写体領域がマーキングされたマッチングマーキング画像データからマスク画像を作成し、前記色写像手段は、前記マスク画像内のマスク領域のみを色写像する。
これによって、マスク領域にのみ色写像を適用することができる。
The image creating means creates a mask image from matching marking image data in which the subject area of the matching image data is marked, and the color mapping means color maps only the mask area in the mask image.
As a result, the color mapping can be applied only to the mask region.

第2の発明は、撮影アングルが異なる同じ被写体の画像データを色調整する画像色調整装置で行われる画像色調整方法あって、色調整の目標となるリファレンス画像データ、および、色調整をしたいマッチング画像データを入力する入力ステップと、前記リファレンス画像データの被写体領域がマーキングされたリファレンスマーキング画像データ、および、前記マッチング画像データの被写体領域がマーキングされたマッチングマーキング画像データを作成する画像作成ステップと、前記リファレンスマーキング画像データのマーキング情報に基づき、リファレンス画像の被写体領域の第1の画素色を取得する第1の色取得ステップと、前記マッチングマーキング画像データのマーキング情報に基づき、マッチン画像の被写体領域の第2の画素色を取得する第2の色取得ステップと、前記第2の色取得ステップで取得された前記第2の画素色から、主要色空間領域を決定する主要色空間領域決定ステップと、前記主要色空間領域に相当する色空間領域の周辺領域に前記第1の色取得ステップで取得された前記第1の画素色の分布密度の高い領域が存在するか否かを検索する近似色空間領域検索ステップと、前記近似色空間領域検索ステップによる検索の結果、前記リファレンス画像データに近似色空間領域が存在する場合、前記主要色空間領域内の前記第2の画素色の平均値と前記近似色空間領域内の前記第1の画素色の平均値から差分値を算出する差分値算出ステップと、前記差分値算出ステップによる算出結果に基づいて、前記主要色空間領域を前記近似色空間領域へ色写像する色写像ステップと、を含むことを特徴とする画像色調整方法である。
第2の発明によって、撮影アングルが異なる同じ被写体の画像において、簡単に色調整することが可能となる。
According to a second aspect of the present invention, there is provided an image color adjustment method performed by an image color adjustment device that performs color adjustment on image data of the same subject having different shooting angles, and reference image data that is a target of color adjustment, and matching for which color adjustment is desired. An input step of inputting image data; reference marking image data in which a subject region of the reference image data is marked; and an image creation step of creating matching marking image data in which a subject region of the matching image data is marked; Based on the marking information of the reference marking image data, a first color acquisition step of acquiring a first pixel color of the subject area of the reference image; and based on the marking information of the matching marking image data, Second A second color acquisition step of acquiring a primary color; a main color space region determination step of determining a main color space region from the second pixel color acquired in the second color acquisition step; and the main color Approximate color space region search step for searching whether there is a region having a high distribution density of the first pixel color acquired in the first color acquisition step in a peripheral region of the color space region corresponding to the space region As a result of the search in the approximate color space area search step, if an approximate color space area exists in the reference image data, the average value of the second pixel color in the main color space area and the approximate color space area A difference value calculation step of calculating a difference value from an average value of the first pixel colors in the image, and a color mapping of the main color space region to the approximate color space region based on a calculation result of the difference value calculation step A color mapping step that is an image color adjustment method characterized by including the.
According to the second invention, color adjustment can be easily performed on images of the same subject having different shooting angles.

第3の発明は、コンピュータを、色調整の目標となるリファレンス画像データ、および、色調整をしたいマッチング画像データを入力する入力手段、前記リファレンス画像データの被写体領域がマーキングされたリファレンスマーキング画像データ、および、前記マッチング画像データの被写体領域がマーキングされたマッチングマーキング画像データを作成する画像作成手段、前記リファレンスマーキング画像データのマーキング情報に基づき、リファレンス画像の被写体領域の第1の画素色を取得する第1の色取得手段、前記マッチングマーキング画像データのマーキング情報に基づき、マッチン画像の被写体領域の第2の画素色を取得する第2の色取得手段、前記第2の色取得手段で取得された前記第2の画素色から、主要色空間領域を決定する主要色空間領域決定手段、前記主要色空間領域に相当する色空間領域の周辺領域に前記第1の色取得手段で取得された前記第1の画素色の分布密度の高い領域が存在するか否かを検索する近似色空間領域検索手段、前記近似色空間領域検索手段による検索の結果、前記リファレンス画像データに近似色空間領域が存在する場合、前記主要色空間領域内の前記第2の画素色の平均値と前記近似色空間領域内の前記第1の画素色の平均値から差分値を算出する差分値算出手段、前記差分値算出手段による算出結果に基づいて、前記主要色空間領域を前記近似色空間領域へ色写像する色写像手段、として機能させるためのプログラムである。
第3の発明のプログラムを汎用のコンピュータにインストールすることによって、第1の発明の画像色調整装置を得ることができる。
According to a third aspect of the present invention, there is provided a computer, an input unit that inputs reference image data that is a target of color adjustment, and matching image data that is desired to be color adjusted, reference marking image data in which a subject area of the reference image data is marked, And image creation means for creating matching marking image data in which the subject area of the matching image data is marked, and a first pixel color of the subject area of the reference image is acquired based on the marking information of the reference marking image data 1 color acquisition means, based on the marking information of the matching marking image data, second color acquisition means for acquiring the second pixel color of the subject area of the matchon image, and the second color acquisition means acquired by the second color acquisition means From the second pixel color to the main color space region A main color space region determining means to determine, and a region having a high distribution density of the first pixel color obtained by the first color obtaining device exists in a peripheral region of the color space region corresponding to the main color space region. As a result of the search by the approximate color space area search means for searching whether or not the approximate color space area exists in the reference image data, the second color in the main color space area A difference value calculation means for calculating a difference value from an average value of pixel colors and an average value of the first pixel colors in the approximate color space area, and the main color space area based on a calculation result by the difference value calculation means Is a program for functioning as color mapping means for performing color mapping on the approximate color space region.
By installing the program of the third invention on a general-purpose computer, the image color adjusting device of the first invention can be obtained.

本発明により、撮影アングルが異なる同じ被写体の画像において、簡単に色調整することが可能となる。   According to the present invention, it is possible to easily perform color adjustment on images of the same subject having different shooting angles.

本発明の実施の形態に係る画像色調整装置のハードウェアの構成例を示す図である。It is a figure which shows the structural example of the hardware of the image color adjustment apparatus which concerns on embodiment of this invention. 画像色調整装置の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of an image color adjustment apparatus. 入入力画像の一例を示す図である。It is a figure which shows an example of an input / input image. マーキング画像の一例を示す図である。It is a figure which shows an example of a marking image. リファレンス画像の画素分布およびマッチング画像の画素分布の一例を示す図である。It is a figure which shows an example of the pixel distribution of a reference image, and the pixel distribution of a matching image. 主要色空間領域を検索する様子を模式的に示す図であるIt is a figure which shows typically a mode that a main color space area | region is searched. 近似色空間領域を検索する様子を模式的に示す図である。It is a figure which shows typically a mode that an approximate color space area | region is searched. 近似色空間領域に属する画素色の平均値とマッチング画像の主要色空間領域に属する画素色の平均値を模式的に示す図である。It is a figure which shows typically the average value of the pixel color which belongs to an approximate color space area | region, and the average value of the pixel color which belongs to the main color space area | region of a matching image. 重み付け強度関数f(x)の波形を示す図である。It is a figure which shows the waveform of the weighting intensity function f (x). 画像色調整処理を説明するフローチャートである。It is a flowchart explaining an image color adjustment process. 色写像が干渉しない場合の写像処理を説明する図である。It is a figure explaining the mapping process in case a color map does not interfere. 色写像が干渉しない場合の写像処理を説明する図である。It is a figure explaining the mapping process in case a color map does not interfere.

以下、図面に基づいて、本発明の実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

[本発明の実施の形態]
図1は、本発明の実施の形態に係る画像色調整装置1のハードウェアの構成例を示す図である。尚、図1のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
[Embodiments of the present invention]
FIG. 1 is a diagram illustrating a hardware configuration example of an image color adjusting apparatus 1 according to an embodiment of the present invention. Note that the hardware configuration in FIG. 1 is an example, and various configurations can be adopted depending on the application and purpose.

画像色調整装置1は、制御部11、記憶部12、メディア入出力部13、通信制御部14、入力部15、表示部16、周辺機器I/F部17等が、バス18を介して接続される。   The image color adjustment apparatus 1 includes a control unit 11, a storage unit 12, a media input / output unit 13, a communication control unit 14, an input unit 15, a display unit 16, a peripheral device I / F unit 17 and the like connected via a bus 18. Is done.

制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。CPUは、記憶部12、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各装置を駆動制御し、画像色調整装置1が行う後述する処理を実現する。ROMは、不揮発性メモリであり、画像色調整装置1のブートプログラムやBIOS(Basic Input/Output System)等のプログラム、データ等を恒久的に保持している。RAMは、揮発性メモリであり、記憶部12、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各種処理を行う為に使用するワークエリアを備える。   The control unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The CPU calls and executes a program stored in the storage unit 12, ROM, recording medium, or the like to a work memory area on the RAM, drives and controls each device connected via the bus 18, and controls the image color adjusting device 1. The process to be described later is realized. The ROM is a non-volatile memory, and permanently stores a boot program of the image color adjustment apparatus 1, a program such as BIOS (Basic Input / Output System), data, and the like. The RAM is a volatile memory, and temporarily stores a program, data, and the like loaded from the storage unit 12, ROM, recording medium, and the like, and includes a work area used by the control unit 11 to perform various processes.

記憶部12は、HDD(ハードディスクドライブ)等であり、制御部11が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、後述する処理を画像色調整装置1に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。   The storage unit 12 is an HDD (hard disk drive) or the like, and stores a program executed by the control unit 11, data necessary for program execution, an OS (operating system), and the like. As for the program, a control program corresponding to the OS and an application program for causing the image color adjusting apparatus 1 to execute processing to be described later are stored. Each of these program codes is read by the control unit 11 as necessary, transferred to the RAM, read by the CPU, and executed as various means.

メディア入出力部13(ドライブ装置)は、データの入出力を行い、例えば、CDドライブ(−ROM、−R、−RW等)、DVDドライブ(−ROM、−R、−RW等)等のメディア入出力装置を有する。   The media input / output unit 13 (drive device) inputs / outputs data, for example, media such as a CD drive (-ROM, -R, -RW, etc.), DVD drive (-ROM, -R, -RW, etc.) Has input / output devices.

通信制御部14は、通信制御装置、通信ポート等を有し、画像色調整装置1とネットワーク間の通信を媒介する通信インターフェイスであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。   The communication control unit 14 includes a communication control device, a communication port, and the like, and is a communication interface that mediates communication between the image color adjustment device 1 and the network, and performs communication control between other devices via the network. . The network may be wired or wireless.

入力部15は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部15を介して、画像色調整装置1に対して、操作指示、動作指示、データ入力等を行うことができる。   The input unit 15 inputs data and includes, for example, a keyboard, a pointing device such as a mouse, and an input device such as a numeric keypad. An operation instruction, an operation instruction, data input, and the like can be performed on the image color adjustment apparatus 1 via the input unit 15.

表示部16は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して画像色調整装置1のビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。   The display unit 16 includes a display device such as a CRT monitor and a liquid crystal panel, and a logic circuit (such as a video adapter) for realizing the video function of the image color adjusting device 1 in cooperation with the display device.

周辺機器I/F(インターフェイス)部17は、画像色調整装置1に周辺機器を接続させるためのポートであり、周辺機器I/F部17を介して画像色調整装置1は周辺機器とのデータの送受信を行う。周辺機器I/F部17は、USB(Universal Serial
Bus)やIEEE(The Institute of
Electrical and Electronics Engineers)1394やRS−235C等で構成されており、通常複数の周辺機器I/Fを有する。周辺機器との接続形態は有線、無線を問わない。
The peripheral device I / F (interface) unit 17 is a port for connecting the peripheral device to the image color adjusting device 1, and the image color adjusting device 1 receives data from the peripheral device via the peripheral device I / F unit 17. Send and receive. The peripheral device I / F unit 17 is a USB (Universal Serial
Bus) and IEEE (The Institute of
Electrical and Electronics Engineers) 1394, RS-235C, etc., and usually has a plurality of peripheral devices I / F. The connection form with the peripheral device may be wired or wireless.

バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。   The bus 18 is a path that mediates transmission / reception of control signals, data signals, and the like between the devices.

図2は、画像色調整装置1の機能構成例を示すブロック図である。図2に示す機能部のうちの少なくとも一部は、図1の制御部11により画像色調整処理プログラムが実行されることによって実現される。   FIG. 2 is a block diagram illustrating a functional configuration example of the image color adjusting apparatus 1. At least a part of the functional units shown in FIG. 2 is realized by executing an image color adjustment processing program by the control unit 11 of FIG.

画像入力部21は、記憶部12、メディア入出力部13、通信制御部14、または周辺機器I/F(インターフェイス)部17を介して、メディアや周辺機器から、撮影アングルが異なる同じ被写体のRGB画像を入力し、色調整の目標となる画像をリファレンス画像とし、色調整を行う画像をマッチング画像として画像作成部22に出力する。例えば、図3(A)に示すようなリファレンス画像R、図3(B)に示すようなマッチング画像Mが画像入力部21に入力され、画像作成部22に出力される。   The image input unit 21 receives the RGB of the same subject having different shooting angles from the media and the peripheral device via the storage unit 12, the media input / output unit 13, the communication control unit 14, or the peripheral device I / F (interface) unit 17. An image is input, an image that is a target of color adjustment is set as a reference image, and an image that is subjected to color adjustment is output as a matching image to the image creating unit 22. For example, a reference image R as shown in FIG. 3A and a matching image M as shown in FIG. 3B are input to the image input unit 21 and output to the image creation unit 22.

画像作成部22は、入力部15を介してユーザにより入力されたマーキング指示に基づいて、リファレンスマーキング画像およびマッチングマーキング画像を作成する。   The image creation unit 22 creates a reference marking image and a matching marking image based on the marking instruction input by the user via the input unit 15.

例えば、ユーザが、リファレンス画像R(図3(A))中の色調整の目標となる被写体領域に対してマーキングMK1を指示すると、画像作成部22は、図4(A)に示すようなリファレンスマーキング画像RMを作成する。また、ユーザは、マッチング画像M(図3(B))に対しても色調整をしたい被写体領域に対してマーキングMK2を指示する。なお、色調整を所望する領域以外の色の変化を防止するため、少なくとも、マッチング画像Mについては、アルファマスクを生成することが望ましい。そのため、マッチング画像Mについては、色を変化させたくない領域に対してもマーキングMK3を指示する。これらの指示によって、画像作成部22は、図4(B)に示すようなマッチングマーキング画像MMを作成する。マッチング画像Mについては、マッチングマーキング画像MMのマーキング情報に基づいて、図4(C)に示すようなアルファマスク画像αを生成する。そして、後述する処理によって、そのアルファマスク領域αAのみに、色写像が行われる。   For example, when the user designates the marking MK1 for the subject area that is the target of color adjustment in the reference image R (FIG. 3A), the image creating unit 22 uses the reference as shown in FIG. A marking image RM is created. In addition, the user instructs the marking MK2 for the subject area for which color adjustment is to be performed on the matching image M (FIG. 3B). It should be noted that it is desirable to generate an alpha mask for at least the matching image M in order to prevent color changes other than the region where color adjustment is desired. Therefore, for the matching image M, the marking MK3 is instructed even for an area where the color is not desired to be changed. In response to these instructions, the image creating unit 22 creates a matching marking image MM as shown in FIG. For the matching image M, an alpha mask image α as shown in FIG. 4C is generated based on the marking information of the matching marking image MM. Then, color mapping is performed only on the alpha mask area αA by a process described later.

マーキング情報を利用してアルファマスクを生成するアルゴリズムは、公知の技術であり、例えば、「A Closed Form Solution to Natural Image matting」などに記載されている。   An algorithm for generating an alpha mask using the marking information is a known technique and is described in, for example, “A Closed Form Solution to Natural Image matting”.

Lab変換部23は、画像作成部22からのリファレンス画像、マッチング画像を、RGB空間からLab色空間に変換する。なお、RGB空間からLab色空間への変換方法は、公知の手法を利用することができる。
Lab色空間とは、補色空間の一種で、明度(明るさ)を表わす「L」、赤(R)から緑(G)への色度を表わす「a」、青(B)から黄色(Y)への色度を表わす「b」の3つの次元を持ち、この3次元空間における変化量と、その変化によって受ける視覚の色変化の印象とが比例するよう補正された、人間が知覚できる全ての色を表すカラーモデルである。
The Lab conversion unit 23 converts the reference image and the matching image from the image creation unit 22 from the RGB space to the Lab color space. As a conversion method from the RGB space to the Lab color space, a known method can be used.
The Lab color space is a type of complementary color space, “L” representing lightness (brightness), “a” representing chromaticity from red (R) to green (G), and blue (B) to yellow (Y 3) “b” representing the chromaticity of), and the amount of change in this three-dimensional space is corrected to be proportional to the impression of the visual color change caused by the change, all that can be perceived by humans It is a color model that represents the color of.

Lab変換部23は、Lab色空間に変換されたリファレンス画像Rおよびマッチング画像Mを、第1の色取得手段24および第2の色取得手段25にそれぞれ供給する。   The Lab conversion unit 23 supplies the reference image R and the matching image M converted to the Lab color space to the first color acquisition unit 24 and the second color acquisition unit 25, respectively.

第1の色取得部24は、リファレンスマーキング画像RM内の色調整の目標となる被写体領域に対しマーキングされた同座標の画素色(リファレンス色)をリファレンス画像Rから取得する。図4(A)の例では、リファレンスマーキング画像RM内のマーキングMK1が辿る軌跡上の画素色がリファレンス画像Rから取得される。取得された画素色(リファレンス色)は、近似色空間領域検索部26に出力される。   The first color acquisition unit 24 acquires, from the reference image R, the pixel color (reference color) of the same coordinates marked for the subject area that is the target of color adjustment in the reference marking image RM. In the example of FIG. 4A, the pixel color on the trajectory followed by the marking MK1 in the reference marking image RM is acquired from the reference image R. The acquired pixel color (reference color) is output to the approximate color space region search unit 26.

第2の色取得部25は、マッチングマーキング画像MM内の色調整をしたい被写体領域に対しマーキングされた同座標の画素色(マッチング色)をマッチング画像Mから取得する。図4(C)の例では、アルファマスク領域αA内の画素色がマッチング画像Mから取得される。取得された画素色(マッチング色)は、主要色空間領域決定部27に出力される。   The second color acquisition unit 25 acquires, from the matching image M, the pixel color (matching color) of the same coordinates marked for the subject region in the matching marking image MM that is desired to be color-adjusted. In the example of FIG. 4C, the pixel color in the alpha mask area αA is acquired from the matching image M. The acquired pixel color (matching color) is output to the main color space region determination unit 27.

図5は、Lab色空間における、第1の色取得部24により取得されたリファレンス画像Rの画素分布DR、および第2の色取得部25により取得されたマッチング画像Mの画素分布DMの一例を示している。   FIG. 5 shows an example of the pixel distribution DR of the reference image R acquired by the first color acquisition unit 24 and the pixel distribution DM of the matching image M acquired by the second color acquisition unit 25 in the Lab color space. Show.

主要色空間領域決定部26は、第2の色取得部25で取得されたLab色空間上のマッチング画像Mの画素分布DMにおいて、少なくともLab色空間全体よりも小さい、例えば、(L×a×b)=20×16×16の大きさの小色空間領域Bを任意に設定する。主要色空間領域決定部26は、図6の左側に示すように、小色空間領域Bを用いて、Lab色空間全体を、小色空間領域B1、B2、B3、B4・・・と順にスキャンし、図6の矢印A1の先に示すように、画素分布密度が高い小色空間領域Bmを主要色空間領域として検索(決定)する。 The main color space region determination unit 26 is smaller than at least the entire Lab color space in the pixel distribution DM of the matching image M on the Lab color space acquired by the second color acquisition unit 25, for example, (L * × a * × b * ) = a small color space region B having a size of 20 × 16 × 16 is arbitrarily set. As shown on the left side of FIG. 6, the main color space area determination unit 26 scans the entire Lab color space in the order of the small color space areas B1, B2, B3, B4... Using the small color space area B. Then, as shown at the tip of arrow A1 in FIG. 6, the small color space region Bm having a high pixel distribution density is searched (determined) as the main color space region.

主要色空間領域であるか否かの判断方法としては、例えば、次式(1)に示すような閾値による判断方法がある。つまり、式(1)の条件を満たす小色空間領域がマッチング画像の主要色空間領域として決定される。

Figure 0006187119
なお、主要色空間領域は複数個あってもよい。 As a method for determining whether or not it is the main color space region, for example, there is a determination method using a threshold as shown in the following equation (1). That is, the small color space region that satisfies the condition of Expression (1) is determined as the main color space region of the matching image.
Figure 0006187119
There may be a plurality of main color space regions.

図2の説明に戻る。近似色空間領域検索部27は、図7の左側に示すように、第2の色取得部25で取得されたLab色空間上のマッチング画像Mの画素分布DMにおいて決定された主要色空間領域Bmより、図7の矢印A2の先に示すように、主要色空間領域Bmを中心とした周辺領域Bm+1を検索する。   Returning to the description of FIG. As shown on the left side of FIG. 7, the approximate color space region search unit 27 determines the main color space region Bm determined in the pixel distribution DM of the matching image M on the Lab color space acquired by the second color acquisition unit 25. Thus, as shown at the tip of arrow A2 in FIG. 7, a peripheral area Bm + 1 centered on the main color space area Bm is searched.

近似色空間領域決定部27は、検索の結果、検索領域(つまり、主要色空間領域Bmを含む周辺領域Bm+1)の中で最大の画素数が分布する小色空間領域を、マッチング画像Mの主要色空間領域Bmに相当する色を含んだリファレンス画像Rの色空間領域Bnと推定し、リファレンス画像Rの近似色空間領域DRとマッチング画像Mの主要色空間領域DMを関連付ける。関連付けの際、閾値以上の画素数を保有する小空間領域が存在しない場合には、関連付けは行わない。この関連付け処理を、マッチング画像の主要色として抽出した個数分の色空間領域に対し、全て行う。   As a result of the search, the approximate color space region determination unit 27 determines a small color space region in which the maximum number of pixels are distributed in the search region (that is, the peripheral region Bm + 1 including the main color space region Bm) as a main part of the matching image M. The color space region Bn of the reference image R including the color corresponding to the color space region Bm is estimated, and the approximate color space region DR of the reference image R and the main color space region DM of the matching image M are associated. At the time of association, if there is no small space area having the number of pixels equal to or greater than the threshold, the association is not performed. This associating process is performed for all the color space regions extracted as the main colors of the matching image.

差分値算出部28は、図8に示すように、近似色空間領域検索部27で関連付けられたリファレンス画像Rの近似色空間領域DRに属する画素色の平均値μ1とマッチング画像Mの主要色空間領域DMに属する画素色の平均値μ2をそれぞれ算出する。   As shown in FIG. 8, the difference value calculation unit 28 uses the average value μ1 of pixel colors belonging to the approximate color space region DR of the reference image R associated by the approximate color space region search unit 27 and the main color space of the matching image M. An average value μ2 of pixel colors belonging to the region DM is calculated.

差分値算出部28は、算出した各色空間領域の色分布の平均値の差分値Labベクトルを、次式(2)に従って算出する。式(2)において、μL1、μa1、μb1は、近似色空間領域DRに属する画素色の輝度成分L、色成分a、色成分bの平均値をそれぞれ表し、μL2、μa2、μb2は、主要色空間領域DMに属する画素色の輝度成分L、色成分a、色成分bの平均値をそれぞれ表す。

Figure 0006187119
The difference value calculation unit 28 calculates a difference value Lab vector of the calculated average value of the color distribution of each color space region according to the following equation (2). In Expression (2), μ L1 , μ a1 , and μ b1 represent average values of the luminance component L * , the color component a * , and the color component b * of the pixel colors that belong to the approximate color space region DR, respectively, and μ L2 , μ a2 and μ b2 represent average values of the luminance components L * , color components a * , and color components b * of the pixel colors belonging to the main color space region DM, respectively.
Figure 0006187119

色写像部29は、差分値算出部28で算出された差分値を写像強度として、マッチング画像Mの画素に対して減算(画素変換)する。写像強度は、画素値の色によって重み付けしながら画素値を変換していく。より具体的には、差分値算出部28で算出されたマッチング画像Mの主要色空間領域DMに属する画素色の輝度成分L、色成分a、色成分bの平均値と同じ画素値となる写像強度は1となり、各画素値の色空間距離が平均値から離れるにつれて、写像強度を減衰させる(写像強度の最小は0となる)。 The color mapping unit 29 performs subtraction (pixel conversion) on the pixels of the matching image M using the difference value calculated by the difference value calculation unit 28 as the mapping intensity. The mapping intensity is converted from pixel values while being weighted by the color of the pixel values. More specifically, the same pixel value as the average value of the luminance component L * , color component a * , and color component b * of the pixel color belonging to the main color space region DM of the matching image M calculated by the difference value calculation unit 28. The mapping intensity becomes 1 and the mapping intensity is attenuated as the color space distance of each pixel value is away from the average value (the minimum mapping intensity is 0).

写像強度である重み付け強度関数をf(x)とすると、次式(3)に示すようなガウス関数で表される。式(3)において、σは、ガウス関数の重みを制御するパラメータである。

Figure 0006187119
If the weighting intensity function that is the mapping intensity is f (x), it is represented by a Gaussian function as shown in the following equation (3). In Equation (3), σ is a parameter that controls the weight of the Gaussian function.
Figure 0006187119

図9は、色写像時の主要色空間領域Bmの輝度成分Lの平均値μL2からの空間距離(L)における重み付け強度関数f(x)の波形を示す図である。図9に示すように、重み付け強度関数f(x)は、正規分布となる。つまり、マッチング画像Mの画素は、輝度成分Lの平均値μL2に近いほど、写像強度は、1.0に近くなり、平均値μL2から離れるにつれて、写像強度は、0.0に近くなる。 Figure 9 is a diagram showing a waveform of a weighting intensity function f (x) in the spatial distance (L *) from the luminance component of the primary color space region Bm during color mapping L * of the average value mu L2. As shown in FIG. 9, the weighting intensity function f (x) has a normal distribution. That is, the pixel of the matching image M is closer to the luminance component L * of the average value mu L2, mapping intensity becomes close to 1.0, as the distance from the average value mu L2, mapping strength is close to 0.0 Become.

そして、色写像部29は、次式(4)に従って、マッチング画像Mの画素を変換(色写像)する。式(4)において、G(i,j)、G(i,j)、G(i,j)は、色写像後の画素値を表わし、I(i,j)、I(i,j)、I(i,j)は、マッチング画像Mの画素値を表わし、μL12、μa12、μb12は、各色空間領域の色分布の輝度成分L、色成分a、色成分bの平均値の差分値をそれぞれ表し、mは、色写像強度を調整するパラメータを表わす。

Figure 0006187119
Then, the color mapping unit 29 converts (color maps) the pixels of the matching image M according to the following equation (4). In Expression (4), G L (i, j), G a (i, j), G b (i, j) represent pixel values after color mapping, and I L (i, j), I a (I, j) and I b (i, j) represent pixel values of the matching image M, and μ L12 , μ a12 , and μ b12 represent the luminance component L * and the color component a * of the color distribution in each color space region . , Each represents a difference value of the average values of the color components b * , and m represents a parameter for adjusting the color mapping intensity.
Figure 0006187119

さらに、式(4)において、f(x)、f(x)、f(x)は、重み付け強度関数を表わし、それぞれ、次式(5)で表される。

Figure 0006187119
Furthermore, in the equation (4), f L (x ), f a (x), f b (x) represents a weighting intensity function, respectively, is expressed by the following equation (5).
Figure 0006187119

RGB変換部30は、色写像部29において色写像が行われたマッチング画像Mを、Lab色空間からRGB色空間に変換する。   The RGB conversion unit 30 converts the matching image M on which the color mapping is performed in the color mapping unit 29 from the Lab color space to the RGB color space.

(画像色調整処理)
図10は、画像色調整装置1が実行する画像色調整処理を説明するフローチャートである。
(Image color adjustment processing)
FIG. 10 is a flowchart for explaining image color adjustment processing executed by the image color adjustment apparatus 1.

ステップS1において、RGB画像入力部21は、画像の色調整を行うRGB画像を、記憶部12、メディア入出力部13、通信制御部14、または周辺機器I/F(インターフェイス)部17を介して入力する。例えば、図3(A)に示す、色合わせの目標になるリファレンス画像R、および、図3(B)に示す、色合わせを行うマッチング画像Mが入力される。   In step S <b> 1, the RGB image input unit 21 outputs an RGB image for color adjustment of the image via the storage unit 12, the media input / output unit 13, the communication control unit 14, or the peripheral device I / F (interface) unit 17. input. For example, a reference image R that is a color matching target shown in FIG. 3A and a matching image M that performs color matching shown in FIG. 3B are input.

ステップS2において、画像作成部22は、ステップS1の処理で入力された画像から、入力部15を介してユーザにより入力されたマーキング指示に基づいてマーキング画像を作成する。例えば、図4(A)に示す、リファレンスマーキング画像RM、図4(B)に示す、マッチングマーキング画像MMが作成される。さらに、マッチングマーキング画像MMのマーキング情報に基づき、図4(C)に示す、アルファマスク画像αが作成される。   In step S <b> 2, the image creation unit 22 creates a marking image based on the marking instruction input by the user via the input unit 15 from the image input in the process of step S <b> 1. For example, a reference marking image RM shown in FIG. 4A and a matching marking image MM shown in FIG. 4B are created. Furthermore, an alpha mask image α shown in FIG. 4C is created based on the marking information of the matching marking image MM.

ステップS3において、Lab変換部23は、ステップS1の処理で取得されたリファンレンス画像Rおよびマッチング画像Mを、RGB空間からLab色空間にそれぞれ変換する。   In step S3, the Lab converter 23 converts the reference image R and the matching image M acquired in step S1 from the RGB space to the Lab color space.

ステップS4において、第1の色取得部24は、リファレンスマーキング画像RM内の色合わせの目標となる被写体領域に対しマーキングされた同座標の画素色(図4(A)のマーキングMK1が辿る軌跡上の画素色)をリファレンス画像Rから取得する。   In step S4, the first color acquisition unit 24 uses the pixel color of the same coordinates marked on the subject area that is the target of color matching in the reference marking image RM (on the trajectory followed by the marking MK1 in FIG. 4A). Are obtained from the reference image R.

ステップS5において、第2の色取得部24は、マッチングマーキング画像MM内の色合わせをしたい被写体領域に対しマーキングされた同座標の画素色(図4(C)に示すアルファマスク領域αA内の画素色)をマッチング画像Mから取得する。   In step S5, the second color acquisition unit 24 uses the pixel color of the same coordinates marked for the subject area to be color-matched in the matching marking image MM (pixels in the alpha mask area αA shown in FIG. 4C). Color) is acquired from the matching image M.

ステップS6において、主要色空間領域決定部26は、ステップS5の処理で取得されたLab色空間上のマッチング画像Mの画素分布DMにおいて、小色空間領域Bmを検索(決定)する(図6)。   In step S6, the main color space region determination unit 26 searches (determines) the small color space region Bm in the pixel distribution DM of the matching image M on the Lab color space acquired in the process of step S5 (FIG. 6). .

ステップS7において、近似色空間領域検索部27は、ステップS5の処理で取得されたLab色空間上のマッチング画像Mの画素分布DMにおいて決定された主要色空間領域Bmの周辺領域Bm+1を検索し、最大の画素数が分布する小色空間領域を、マッチング画像Mの主要色空間領域Bmに相当する色を含んだリファレンス画像Rの色空間領域Bnと推定し、リファレンス画像Rの近似色空間領域DRとマッチング画像Mの主要色空間領域DMを関連付ける(図7)。   In step S7, the approximate color space region search unit 27 searches the peripheral region Bm + 1 of the main color space region Bm determined in the pixel distribution DM of the matching image M on the Lab color space acquired in the process of step S5, The small color space region in which the maximum number of pixels is distributed is estimated as the color space region Bn of the reference image R including a color corresponding to the main color space region Bm of the matching image M, and the approximate color space region DR of the reference image R is estimated. And the main color space region DM of the matching image M are associated (FIG. 7).

ステップS8において、差分値算出部28は、ステップS7の処理で関連付けられたリファレンス画像Rの近似色空間領域DRに属する画素色の平均値μ1とマッチング画像Mの主要色空間領域DMに属する画素色の平均値μ2をそれぞれ算出する。   In step S <b> 8, the difference value calculation unit 28 calculates the pixel color belonging to the main color space region DM of the matching image M and the average value μ <b> 1 of the pixel colors belonging to the approximate color space region DR of the reference image R associated in the process of step S <b> 7. The average value μ2 is calculated.

ステップS9において、差分値算出部28は、ステップS8の処理で算出した各色空間領域の色分布の平均値の差分値Labベクトルを、上記式(2)に従って算出する。   In step S9, the difference value calculation unit 28 calculates the difference value Lab vector of the average value of the color distribution of each color space region calculated in the process of step S8 according to the above equation (2).

ステップS10において、色写像部29は、マッチング画像Mのアルファマスク領域Aα内の色写像する対象画素を選択する。具体的には、アルファマスク画像の各画素の値をα(例えば、8ビット画像の場合、0〜255)、閾値をβとすると、α>βとなるアルファマスク画像の画素と同座標のマッチング画像Mの画素に対しては色写像を行い、α<βとなるアルファマスク画像の画素と同座標のマッチング画像Mの画素に対しては色写像を行わない。   In step S <b> 10, the color mapping unit 29 selects a target pixel to be color mapped in the alpha mask area Aα of the matching image M. Specifically, if the value of each pixel of the alpha mask image is α (for example, 0 to 255 in the case of an 8-bit image) and the threshold is β, matching of the same coordinates as the pixel of the alpha mask image where α> β is satisfied. Color mapping is performed on the pixels of the image M, and color mapping is not performed on the pixels of the matching image M having the same coordinates as the pixels of the alpha mask image where α <β.

ステップS11において、色写像部29は、ステップS9の処理で算出された差分値から、上記式(3)で示したような重み付け強度関数f(x)を写像強度として、上記式(4)で示したように、ステップS10の処理で選択された対象画素を色写像(画素変換)する。   In step S11, the color mapping unit 29 uses the difference value calculated in the process of step S9 as a mapping intensity with the weighting intensity function f (x) as shown in the above expression (3), according to the above expression (4). As shown, the target pixel selected in step S10 is color mapped (pixel conversion).

ステップS12において、制御部11は、マッチング画像Mのアルファマスク領域Aα内における全ての画素を対象画素として選択し、色写像処理を行ったか否かを判定し、まだ対象画素として選択していない画素があると判定した場合、ステップS10に戻り、上述した処理を繰り返し実行する。   In step S12, the control unit 11 selects all pixels in the alpha mask area Aα of the matching image M as target pixels, determines whether or not color mapping processing has been performed, and has not yet been selected as target pixels. If it is determined that there is, the process returns to step S10 and the above-described processing is repeatedly executed.

ステップS12において、制御部11は、マッチング画像Mのアルファマスク領域Aα内における全ての画素を対象画素として選択し、色写像処理を行ったと判定した場合、ステップS13に進む。ステップS13において、RGB変換部30は、色写像されたマッチング画像Mを、Lab色空間からRGB色空間に変換する。   In step S12, when the control unit 11 selects all the pixels in the alpha mask area Aα of the matching image M as target pixels and determines that the color mapping process has been performed, the control unit 11 proceeds to step S13. In step S <b> 13, the RGB conversion unit 30 converts the color-mapped matching image M from the Lab color space to the RGB color space.

以上の処理によって、簡単に色調整を行うことが可能となる。   With the above processing, color adjustment can be easily performed.

なお、色写像する際、マッチング画像Mの主要色空間領域DMに複数のリファレンス画像Rの近似色空間領域DRが関連付けられた場合において、双方が近い色空間領域であると、色写像が干渉する恐れがある。従って、色写像すべき主要色空間領域が複数ある場合には、例えば、干渉の恐れのある主要色空間領域同士を比較し、含まれる画素数が多い主要色空間領域の色写像を優先させ、その他の主要色空間領域から得られた色写像は適用しない。   When color mapping is performed, when the approximate color space region DR of the plurality of reference images R is associated with the main color space region DM of the matching image M, the color mapping interferes if both are close color space regions. There is a fear. Therefore, when there are a plurality of main color space regions to be color mapped, for example, the main color space regions that may cause interference are compared, and priority is given to the color mapping of the main color space region with a large number of pixels included, Color maps obtained from other main color space regions are not applied.

ここで、図11、図12を参照し、色写像が干渉しない場合の写像処理、色写像が干渉する場合の写像処理の具体例について説明する。   Here, with reference to FIG. 11 and FIG. 12, a specific example of mapping processing when color mapping does not interfere and mapping processing when color mapping interferes will be described.

図11は、色写像が干渉しない場合の写像処理を説明する図である。   FIG. 11 is a diagram for explaining mapping processing when color mapping does not interfere.

図11に示すように、マッチング画像M1の主要色空間領域の色分布AのL平均値とリファレンス画像R1の近似色空間領域の色分布CのL平均値の差分値による色写像処理後、さらに、マッチング画像M2の主要色空間領域の色分布BのL平均値とリファレンス画像R2の色分布DのL平均値の差分値による色写像処理を行う。 As shown in FIG. 11, primary colors L * a * b * Average value of color distribution A spatial domain and color distribution C of L * a * b * average of approximate color space region of the reference image R1 of matching images M1 after the color mapping process by the difference value, further the color distribution B of the primary color space region of the matching image M2 L * a * b * color distribution D of the average value and the reference image R2 L * a * b * average of Perform color mapping using the difference value.

図12は、色写像が干渉する場合の色写像処理を説明する図である。   FIG. 12 is a diagram for explaining color mapping processing when color mapping interferes.

図12に示すように、マッチング画像M1の主要色空間領域の色分布Aに含まれる画素数は1000個、マッチング画像M2の主要色空間領域の色分布Bに含まれる画素数は100個であり、画素数が少ない、マッチング画像M2の主要色空間領域の色分布BのL平均値とリファレンス画像R2の色分布DのL平均値の差分値による色写像処理は除外し、マッチング画像M1の主要色空間領域の色分布AのL平均値とリファレンス画像R1の色分布CのL平均値の差分値による色写像処理のみ行う。 As shown in FIG. 12, the number of pixels included in the color distribution A of the main color space region of the matching image M1 is 1000, and the number of pixels included in the color distribution B of the main color space region of the matching image M2 is 100. The color mapping based on the difference value between the L * a * b * average value of the color distribution B in the main color space region of the matching image M2 and the L * a * b * average value of the color distribution D of the reference image R2 with a small number of pixels Processing is excluded, and color mapping processing based on a difference value between the L * a * b * average value of the color distribution A in the main color space region of the matching image M1 and the L * a * b * average value of the color distribution C of the reference image R1 Only do.

図11および図12に示した色写像処理の条件は、マッチング画像M1の主要色空間領域の色分布Aの平均値を(L1、a1、b1)、マッチング画像M2の主要色空間領域の色分布Bの平均値を(L2、a2、b2)とすると、そのユークリッド距離dは、次式(6)で表される。

Figure 0006187119
The conditions of the color mapping process shown in FIGS. 11 and 12 are the average value of the color distribution A in the main color space region of the matching image M1 (L1, a1, b1), and the color distribution in the main color space region of the matching image M2. When the average value of B is (L2, a2, b2), the Euclidean distance d is expressed by the following equation (6).
Figure 0006187119

d≧6σの場合、主要色空間領域の色分布Aの差分値による色写像処理後、さらに主要色空間領域の色分布Bの差分値による色写像処理を行う。一方、d<6σの場合、画素数が少ない主要色空間領域の色分布Bの差分値による色写像処理は除外し、画素数の多い主要色空間領域の色分布Aの差分値による色写像処理のみ行う。   In the case of d ≧ 6σ, after the color mapping process by the difference value of the color distribution A in the main color space area, the color mapping process by the difference value of the color distribution B in the main color space area is further performed. On the other hand, in the case of d <6σ, the color mapping process using the difference value of the color distribution B in the main color space area with a small number of pixels is excluded, and the color mapping process using the difference value of the color distribution A in the main color space area with a large number of pixels is excluded. Only do.

[本発明の実施の形態における効果]
以上のように、本実施の形態によれば、色調整の目標となるリファレンス画像の被写体領域に対してマーキングされた画素色の色分布の平均値と、色調整を行う被写体領域に対してマーキングされた画素色の色分布の平均値の差分値をもとに重み付け強度関数を決定し、その重み付け強度関数に基づいて、簡単に色写像することが可能となる。
[Effects of the embodiment of the present invention]
As described above, according to the present embodiment, the average value of the color distribution of the pixel colors marked for the subject area of the reference image that is the target of color adjustment and the marking for the subject area for color adjustment are performed. A weighting intensity function is determined based on the difference value of the average values of the color distributions of the pixel colors, and color mapping can be easily performed based on the weighting intensity function.

以上、添付図面を参照しながら、本発明に係る画像色調整装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   The preferred embodiments of the image color adjusting device and the like according to the present invention have been described above with reference to the accompanying drawings, but the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea disclosed in the present application, and these naturally belong to the technical scope of the present invention. Understood.

1………画像色調整装置
21………画像入力部
22………画像作成部
23………Lab変換部
24………第1の色取得部
25………第2の色取得部
26………主要色空間領域決定部
27………近似色空間領域検索部
28………差分値算出部
29………色写像部
DESCRIPTION OF SYMBOLS 1 ......... Image color adjustment apparatus 21 ......... Image input part 22 ......... Image creation part 23 ......... Lab conversion part 24 ......... First color acquisition part 25 ......... Second color acquisition part 26 ......... Main color space region determination unit 27 ......... Approximate color space region search unit 28 ......... Difference value calculation unit 29 ......... Color mapping unit

Claims (7)

撮影アングルが異なる同じ被写体の画像データを色調整する画像色調整装置であって、
色調整の目標となるリファレンス画像データ、および、色調整をしたいマッチング画像データを入力する入力手段と、
前記リファレンス画像データの被写体領域がマーキングされたリファレンスマーキング画像データ、および、前記マッチング画像データの被写体領域がマーキングされたマッチングマーキング画像データを作成する画像作成手段と、
前記リファレンスマーキング画像データのマーキング情報に基づき、リファレンス画像の被写体領域の第1の画素色を取得する第1の色取得手段と、
前記マッチングマーキング画像データのマーキング情報に基づき、マッチング画像の被写体領域の第2の画素色を取得する第2の色取得手段と、
前記第2の色取得手段で取得された前記第2の画素色から、主要色空間領域を決定する主要色空間領域決定手段と、
前記主要色空間領域に相当する色空間領域の周辺領域に前記第1の色取得手段で取得された前記第1の画素色の分布密度の高い領域が存在するか否かを検索する近似色空間領域検索手段と、
前記近似色空間領域検索手段による検索の結果、前記リファレンス画像データに近似色空間領域が存在する場合、前記主要色空間領域内の前記第2の画素色の平均値と前記近似色空間領域内の前記第1の画素色の平均値から差分値を算出する差分値算出手段と、
前記差分値算出手段による算出結果に基づいて、前記主要色空間領域を前記近似色空間領域へ色写像する色写像手段と、
を備えることを特徴とする画像色調整装置。
An image color adjustment device for color-adjusting image data of the same subject with different shooting angles,
Input means for inputting reference image data to be a color adjustment target and matching image data to be color-adjusted;
Reference marking image data in which the subject area of the reference image data is marked; and image creation means for creating matching marking image data in which the subject area of the matching image data is marked;
First color acquisition means for acquiring a first pixel color of the subject area of the reference image based on the marking information of the reference marking image data;
Second color acquisition means for acquiring a second pixel color of a subject area of the matching image based on the marking information of the matching marking image data;
A main color space area determining means for determining a main color space area from the second pixel color acquired by the second color acquiring means;
Approximate color space for searching whether there is a region having a high distribution density of the first pixel color acquired by the first color acquisition means in a peripheral region of a color space region corresponding to the main color space region Region search means;
As a result of the search by the approximate color space area search means, when an approximate color space area exists in the reference image data, an average value of the second pixel colors in the main color space area and the approximate color space area Difference value calculating means for calculating a difference value from an average value of the first pixel colors;
Color mapping means for color-mapping the main color space area to the approximate color space area based on a calculation result by the difference value calculation means;
An image color adjusting device comprising:
前記主要色空間領域決定手段は、前記第2の画素色の画素密度分布が高い小色空間領域を主要色空間領域として決定する
ことを特徴とする請求項1に記載の画像色調整装置。
The image color adjustment apparatus according to claim 1, wherein the main color space area determining unit determines a small color space area having a high pixel density distribution of the second pixel color as a main color space area.
前記近似色空間領域検索手段は、前記主要色空間領域決定手段により決定された前記主要色空間領域と同じ領域およびその周辺領域の中で、前記第1の画素色の画素密度分布が高い小空間領域を前記近似色空間領域として検索する
ことを特徴とする請求項1に記載の画像色調整装置。
The approximate color space area search means is a small space having a high pixel density distribution of the first pixel color in the same area as the main color space area determined by the main color space area determination means and its peripheral area. The image color adjustment apparatus according to claim 1, wherein an area is searched as the approximate color space area.
前記色写像手段は、色写像中心点からの色空間上の距離に応じて、写像強度を減衰させる
ことを特徴とする請求項1に記載の画像色調整装置。
The image color adjusting apparatus according to claim 1, wherein the color mapping unit attenuates the mapping intensity according to a distance in a color space from a color mapping center point.
前記画像作成手段は、前記マッチング画像データの被写体領域がマーキングされたマッチングマーキング画像データからマスク画像を作成し、
前記色写像手段は、前記マスク画像内のマスク領域のみを色写像する
ことを特徴とする請求項1に記載の画像色調整装置。
The image creating means creates a mask image from matching marking image data in which a subject area of the matching image data is marked,
The image color adjusting apparatus according to claim 1, wherein the color mapping unit performs color mapping only on a mask region in the mask image.
撮影アングルが異なる同じ被写体の画像データを色調整する画像色調整装置で行われる画像色調整方法あって、
色調整の目標となるリファレンス画像データ、および、色調整をしたいマッチング画像データを入力する入力ステップと、
前記リファレンス画像データの被写体領域がマーキングされたリファレンスマーキング画像データ、および、前記マッチング画像データの被写体領域がマーキングされたマッチングマーキング画像データを作成する画像作成ステップと、
前記リファレンスマーキング画像データのマーキング情報に基づき、リファレンス画像の被写体領域の第1の画素色を取得する第1の色取得ステップと、
前記マッチングマーキング画像データのマーキング情報に基づき、マッチング画像の被写体領域の第2の画素色を取得する第2の色取得ステップと、
前記第2の色取得ステップで取得された前記第2の画素色から、主要色空間領域を決定する主要色空間領域決定ステップと、
前記主要色空間領域に相当する色空間領域の周辺領域に前記第1の色取得ステップで取得された前記第1の画素色の分布密度の高い領域が存在するか否かを検索する近似色空間領域検索ステップと、
前記近似色空間領域検索ステップによる検索の結果、前記リファレンス画像データに近似色空間領域が存在する場合、前記主要色空間領域内の前記第2の画素色の平均値と前記近似色空間領域内の前記第1の画素色の平均値から差分値を算出する差分値算出ステップと、
前記差分値算出ステップによる算出結果に基づいて、前記主要色空間領域を前記近似色空間領域へ色写像する色写像ステップと、
を含むことを特徴とする画像色調整方法。
There is an image color adjustment method performed by an image color adjustment device that performs color adjustment on image data of the same subject with different shooting angles,
An input step for inputting reference image data to be a color adjustment target and matching image data to be color-adjusted;
Reference marking image data in which the subject area of the reference image data is marked, and image creation step of creating matching marking image data in which the subject area of the matching image data is marked;
A first color acquisition step of acquiring a first pixel color of a subject area of the reference image based on the marking information of the reference marking image data;
A second color acquisition step of acquiring a second pixel color of a subject area of the matching image based on the marking information of the matching marking image data;
A main color space region determining step for determining a main color space region from the second pixel color acquired in the second color acquisition step;
Approximate color space for searching whether there is a region having a high distribution density of the first pixel color acquired in the first color acquisition step in a peripheral region of the color space region corresponding to the main color space region Region search step;
As a result of the search in the approximate color space region search step, when an approximate color space region exists in the reference image data, an average value of the second pixel colors in the main color space region and the approximate color space region A difference value calculating step of calculating a difference value from an average value of the first pixel colors;
A color mapping step for color-mapping the main color space region to the approximate color space region based on a calculation result obtained by the difference value calculating step;
An image color adjustment method comprising:
コンピュータを、撮影アングルが異なる同じ被写体の画像データを色調整する画像色調整装置として機能させるためのプログラムであって、
前記コンピュータを、
色調整の目標となるリファレンス画像データ、および、色調整をしたいマッチング画像データを入力する入力手段、
前記リファレンス画像データの被写体領域がマーキングされたリファレンスマーキング画像データ、および、前記マッチング画像データの被写体領域がマーキングされたマッチングマーキング画像データを作成する画像作成手段、
前記リファレンスマーキング画像データのマーキング情報に基づき、リファレンス画像の被写体領域の第1の画素色を取得する第1の色取得手段、
前記マッチングマーキング画像データのマーキング情報に基づき、マッチング画像の被写体領域の第2の画素色を取得する第2の色取得手段、
前記第2の色取得手段で取得された前記第2の画素色から、主要色空間領域を決定する主要色空間領域決定手段、
前記主要色空間領域に相当する色空間領域の周辺領域に前記第1の色取得手段で取得された前記第1の画素色の分布密度の高い領域が存在するか否かを検索する近似色空間領域検索手段、
前記近似色空間領域検索手段による検索の結果、前記リファレンス画像データに近似色空間領域が存在する場合、前記主要色空間領域内の前記第2の画素色の平均値と前記近似色空間領域内の前記第1の画素色の平均値から差分値を算出する差分値算出手段、
前記差分値算出手段による算出結果に基づいて、前記主要色空間領域を前記近似色空間領域へ色写像する色写像手段、
として機能させるためのプログラム。
A program for causing a computer to function as an image color adjustment device that performs color adjustment on image data of the same subject with different shooting angles,
The computer,
Input means for inputting reference image data to be a color adjustment target and matching image data to be color-adjusted;
Reference marking image data in which the subject area of the reference image data is marked; and image creation means for creating matching marking image data in which the subject area of the matching image data is marked;
First color acquisition means for acquiring a first pixel color of a subject area of a reference image based on marking information of the reference marking image data;
Second color acquisition means for acquiring a second pixel color of the subject area of the matching image based on the marking information of the matching marking image data;
A main color space area determining means for determining a main color space area from the second pixel color acquired by the second color acquiring means;
Approximate color space for searching whether there is a region having a high distribution density of the first pixel color acquired by the first color acquisition means in a peripheral region of a color space region corresponding to the main color space region Area search means,
As a result of the search by the approximate color space area search means, when an approximate color space area exists in the reference image data, an average value of the second pixel colors in the main color space area and the approximate color space area Difference value calculating means for calculating a difference value from an average value of the first pixel colors;
Color mapping means for color-mapping the main color space area to the approximate color space area based on a calculation result by the difference value calculation means;
Program to function as.
JP2013211460A 2013-10-08 2013-10-08 Image color adjustment apparatus, image color adjustment method, and program Expired - Fee Related JP6187119B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013211460A JP6187119B2 (en) 2013-10-08 2013-10-08 Image color adjustment apparatus, image color adjustment method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013211460A JP6187119B2 (en) 2013-10-08 2013-10-08 Image color adjustment apparatus, image color adjustment method, and program

Publications (2)

Publication Number Publication Date
JP2015075904A JP2015075904A (en) 2015-04-20
JP6187119B2 true JP6187119B2 (en) 2017-08-30

Family

ID=53000721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013211460A Expired - Fee Related JP6187119B2 (en) 2013-10-08 2013-10-08 Image color adjustment apparatus, image color adjustment method, and program

Country Status (1)

Country Link
JP (1) JP6187119B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311513B (en) * 2020-02-11 2023-05-12 浙江大华技术股份有限公司 Method, device and computer storage medium for unifying color and style of image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3088063B2 (en) * 1994-10-25 2000-09-18 富士通株式会社 Color image processing method and color image processing apparatus
JP2006303708A (en) * 2005-04-18 2006-11-02 Canon Inc Image processing apparatus and image processing method
JP2008171062A (en) * 2007-01-09 2008-07-24 Noritsu Koki Co Ltd Receiving device
JP5149858B2 (en) * 2009-04-20 2013-02-20 富士フイルム株式会社 Color image representative color determination device and operation control method thereof

Also Published As

Publication number Publication date
JP2015075904A (en) 2015-04-20

Similar Documents

Publication Publication Date Title
US8478072B2 (en) Device, method, and program for image processing
JP3264273B2 (en) Automatic color correction device, automatic color correction method, and recording medium storing control program for the same
CN101669145B (en) Method and device for measuring image quality adjusting ability, method and device for adjusting image quality
CN106204690B (en) Image processing method and device
JP4685864B2 (en) Image processing method, display image processing method, image processing apparatus, image processing program, and integrated circuit including the image processing apparatus
JP2017187994A (en) Image processing apparatus, image processing method, image processing system, and program
US20120294519A1 (en) Opacity Measurement Using a Global Pixel Set
JP5719123B2 (en) Image processing apparatus, image processing method, and program
JP2013164796A (en) Image processing device, image processing method and program
US20120057785A1 (en) Method and system to modify a color lookup table
JP2015518594A (en) Integrated interactive segmentation method using spatial constraints for digital image analysis
KR102215607B1 (en) Electronic device capable of correction to improve the brightness of dark images and operating method thereof
CN110111341B (en) Image foreground acquisition method, device and device
KR102082766B1 (en) Method and apparatus for distinguishing objects
JP5156423B2 (en) Color processing apparatus and color processing method
JP6187119B2 (en) Image color adjustment apparatus, image color adjustment method, and program
JP5824423B2 (en) Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program
JP2021039426A (en) Estimator, estimation method and program
JP2006139368A (en) Image processing method and apparatus, and program
JP2018132821A (en) Information processing device, information processing system, terminal device, program, and information processing method
CN116563570B (en) Color recognition method and device, electronic equipment and storage medium
JP4522229B2 (en) Image processing method and apparatus
JP2019205104A (en) Information processing apparatus, information processing method, and program
JP2007042033A (en) Color correction apparatus and image display apparatus
JP6375778B2 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170717

R150 Certificate of patent or registration of utility model

Ref document number: 6187119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees