JP6311345B2 - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP6311345B2 JP6311345B2 JP2014031272A JP2014031272A JP6311345B2 JP 6311345 B2 JP6311345 B2 JP 6311345B2 JP 2014031272 A JP2014031272 A JP 2014031272A JP 2014031272 A JP2014031272 A JP 2014031272A JP 6311345 B2 JP6311345 B2 JP 6311345B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- saturation
- conversion
- information
- lightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置及びそのプログラムの技術に関する。 The present invention relates to an image processing apparatus and a program technique thereof.
近年、編集や加工の容易性、通信技術との親和性、又は、信号劣化に対する耐性の観点から、画像の記録再生やテレビ放送などの各分野において急速にデジタル化が進み、撮像装置から表示装置に至るまで、業務用機器だけでなく、民生機器についても、種々のデジタル技術が用いられている。 In recent years, from the viewpoint of ease of editing and processing, compatibility with communication technology, or resistance to signal degradation, digitization has rapidly progressed in various fields such as image recording / playback and television broadcasting, and imaging devices to display devices. Until now, various digital technologies have been used not only for business equipment but also for consumer equipment.
そして、最近では、テレビ放送関連、又は、単なる画像の記録再生若しくはその編集だけでなく、仮想現実、拡張現実、又は、複合現実を構築するために、インターネット、ゲーム、又は、広告その他のあらゆる分野において、リアルタイムに撮像された画像に対する画像処理を行うことが要求されている。特に、撮像した動画像内の一部の領域を指定して当該指定した領域に対する色の変換を実現する技術についても研究が進み、実施され始めている。 And recently, not only TV broadcast, or just image recording / playback or editing, but also the Internet, games, advertisements, and other fields to build virtual reality, augmented reality, or mixed reality. However, it is required to perform image processing on an image captured in real time. In particular, research has also progressed and started to be performed on a technique for designating a partial area in a captured moving image and realizing color conversion for the designated area.
また、例えば、このような色変換を行う装置としては、色相成分毎に色相、彩度及び明度を独立的に補正する画像処理装置(例えば特許文献1)が知られている。 For example, as an apparatus that performs such color conversion, an image processing apparatus (for example, Patent Document 1) that independently corrects hue, saturation, and brightness for each hue component is known.
しかしながら、特許文献1などに記載された画像処理装置にあっては、色変換を行う際に、基本的には色相を変換しているのみであって、変換前の凹凸形状に関する情報を変換後の色情報に的確に反映させていないので、無彩色などへの色変換において、2次元の画像化されたオブジェクトの立体感を的確に表現することが難しい。 However, in the image processing apparatus described in Patent Document 1 or the like, when performing color conversion, basically only the hue is converted, and information on the uneven shape before conversion is converted. Therefore, it is difficult to accurately express the stereoscopic effect of the two-dimensional imaged object in color conversion to an achromatic color or the like.
本発明は、上記課題を解決するためになされたものであり、その目的は、無彩色も含め、いかなる色への色変換であっても、彩度及び明度の相対距離を保持することによって画像化されたオブジェクトの立体感を的確に表現することが可能な画像処理装置等を提供することにある。 The present invention has been made in order to solve the above-described problems. The object of the present invention is to maintain a relative distance between saturation and lightness in any color conversion including an achromatic color. An object of the present invention is to provide an image processing apparatus or the like that can accurately express the three-dimensional effect of a converted object.
上記課題を解決するため、本発明の画像処理装置等は、画像データによって形成される画像に対して色変換を実行する画像処理装置であって、前記色変換を実行する際に、所望する色相、彩度及び明度の色特徴量を示す情報であって入力された情報を所望色情報として受け付けるとともに、変換元の色相、彩度及び明度の色特徴量を示す情報であって入力された情報を変換元色情報として受け付ける入力受付手段と、予め定められた色相、彩度及び明度の代表値と、前記入力された所望色情報と、前記入力された変換元色情報と、に基づいて、色変換後の色相、彩度及び明度の色特徴量を算出し、前記画像を構成する画素であって前記変換元色情報に該当する画素に対して色特徴量の色変換を実行する色変換手段と、前記色変換された画素を含む前記画像を出力する出力手段と、を備え、前記色変換手段が、前記所望色情報に含まれる色相の色特徴量を前記変換後の色相の色特徴量として算出し、HSV色空間上にて、前記変換元色情報の彩度の色特徴量と彩度の代表値との差分値に、前記所望色情報の彩度の色特徴量を加算した値を、前記色変換後の彩度として算出し、HSV色空間上にて、前記変換元色情報の明度の色特徴量と明度の代表値との差分値に、前記所望色情報の明度の色特徴量を加算した値を、前記色変換後の明度として算出する構成を有している。 In order to solve the above problems, an image processing apparatus or the like according to the present invention is an image processing apparatus that performs color conversion on an image formed by image data, and performs a desired hue when performing the color conversion. Information indicating color feature values of saturation and lightness and receiving the input information as desired color information and information indicating color feature values of hue, saturation and lightness of the conversion source On the basis of the input acceptance means for accepting as the conversion source color information, representative values of predetermined hue, saturation and brightness, the input desired color information, and the input conversion source color information, Color conversion that calculates color feature values of hue, saturation, and lightness after color conversion, and performs color conversion of color feature values for pixels that constitute the image and that correspond to the conversion source color information Means and the color converted pixel Output means for outputting the image, wherein the color conversion means calculates a color feature amount of the hue included in the desired color information as a color feature amount of the hue after conversion, and puts it in the HSV color space. Then, a value obtained by adding the color feature amount of saturation of the desired color information to the difference value between the saturation color feature amount of the conversion source color information and the representative value of saturation is used as the saturation after the color conversion. And a value obtained by adding the lightness color feature value of the desired color information to the difference value between the lightness color feature value of the conversion source color information and the lightness representative value on the HSV color space, It has a configuration for calculating the brightness after color conversion.
この構成により、本発明の画像処理装置等は、色変換前の彩度及び明度についてHSV色空間上の距離を保持して指定された領域の色を変換することができるので、オブジェクトなど2次元画像化された領域について、立体感を知覚させるために必要な彩度及び明度の情報を維持しつつ、色変換を行うことができる。 With this configuration, the image processing apparatus or the like according to the present invention can convert the color of the designated area while maintaining the distance in the HSV color space with respect to the saturation and brightness before color conversion. With respect to the imaged region, color conversion can be performed while maintaining the information of saturation and lightness necessary for perceiving a stereoscopic effect.
したがって、本発明の画像処理装置等は、画像内の所定の画素又は領域について、無彩色を含め、いかなる色への変換処理を実行しても、彩度及び明度の相対距離を保持することができるので、画像化されたオブジェクトの立体感を的確に表現することができるとともに、彩度及び明度の相対距離に計数を与えることによって立体感を調整することもできる。 Therefore, the image processing apparatus or the like according to the present invention can maintain the relative distance between the saturation and the lightness even if the conversion process to any color including an achromatic color is executed for a predetermined pixel or region in the image. Therefore, the stereoscopic effect of the imaged object can be accurately expressed, and the stereoscopic effect can be adjusted by giving a count to the relative distance between saturation and lightness.
本発明の画像処理装置等は、画像内の所定の画素又は領域について、無彩色を含め、いかなる色への変換処理を実行しても、彩度及び明度の相対距離を保持することができるので、画像化されたオブジェクトの立体感を的確に表現することができるとともに、彩度及び明度の相対距離に計数を与えることによって立体感を調整することもできる。 The image processing apparatus according to the present invention can maintain a relative distance between saturation and lightness even if a conversion process to any color including an achromatic color is performed on a predetermined pixel or region in an image. The stereoscopic effect of the imaged object can be accurately expressed, and the stereoscopic effect can be adjusted by giving a count to the relative distance between the saturation and the brightness.
以下、本発明に係る実施形態について、図面を参照しながら説明する。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
なお、以下の実施形態は、動画像データについて画像化されたオブジェクトの色を変換する色変換処理を実行する画像処理装置に対して、本発明の画像処理装置及びそのプログラムを適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。 In the following embodiments, the image processing apparatus of the present invention and the program thereof are applied to an image processing apparatus that executes color conversion processing for converting the color of an object imaged with respect to moving image data. It is a form. However, the present invention is not limited to the following embodiments within the scope including the technical idea.
[1]画像処理装置の概要
まず、図1を用いて本実施形態の画像処理装置10における本願発明の原理について説明する。なお、図1は、本実施形態の画像処理装置10の構成を示すブロック図である。
[1] Outline of Image Processing Apparatus First, the principle of the present invention in the image processing apparatus 10 of the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the image processing apparatus 10 of the present embodiment.
本実施形態の画像処理装置10は、動画像データによって形成される動画像おいて、画像化されている所定の色を有するオブジェクトに対して色変換処理を実行する装置であり、無彩色を含め、いかなる色への変換処理を実行しても、色変換されたオブジェクトの立体感を的確に表現することが可能な装置である。 The image processing apparatus 10 according to the present embodiment is an apparatus that executes color conversion processing on an object having a predetermined color that is imaged in a moving image formed by moving image data, including an achromatic color. This is an apparatus capable of accurately expressing the stereoscopic effect of the color-converted object regardless of the color conversion process.
また、本実施形態の画像処理装置10は、例えば、既に構築された仮想現実、拡張現実、若しくは、バーチャルフィッティングなどの複合現実内において任意のオブジェクトの色変換を行うために、撮像カメラから出力されている動画像データ、ストリーミング再生中の動画像データ、又は、コンピュータグラフィックスによって作成中若しくは作成された動画像データなどの各種の動画像データにおいて、ユーザその他によって指定されたオブジェクト(指定領域)の色変換処理を実行するための構成を有している。 Further, the image processing apparatus 10 according to the present embodiment is output from an imaging camera in order to perform color conversion of an arbitrary object in a mixed reality such as virtual reality, augmented reality, or virtual fitting that has already been constructed. Of various moving image data such as moving image data, streaming moving image data, or moving image data created or created by computer graphics, the object (designated area) specified by the user or others It has a configuration for executing color conversion processing.
そして、本実施形態の画像処理装置10は、色相のみならず、彩度及び明度についても、HSV色空間上の色情報を色変換後の色特徴量に反映させることによって、赤や青などの有彩色から灰色などの無彩色に色変換する場合であっても、2次元に画像化されたオブジェクトの立体感(凹凸形状)を表現しつつ、当該オブジェクトの色変換を行うことができる構成を有している。 The image processing apparatus 10 according to the present embodiment reflects not only the hue but also the saturation and lightness by reflecting the color information in the HSV color space in the color feature amount after color conversion, such as red and blue. Even when color conversion from a chromatic color to an achromatic color such as gray is performed, it is possible to perform color conversion of an object while expressing the stereoscopic effect (uneven shape) of the object imaged in two dimensions. Have.
特に、本実施形態の画像処理装置10は、2次元画像において人間に立体感を知覚させる際に影響を与えるHSV空間上の彩度と明度との相対距離に基づいて、色空間上の座標変換を実行しつつ、当該オブジェクトを構成する各画素の変換元の色特徴量から変換先の色特徴量に色変換を行う構成を有している。 In particular, the image processing apparatus 10 according to the present embodiment performs coordinate conversion on the color space based on the relative distance between saturation and lightness on the HSV space that affects humans in perceiving a stereoscopic effect in a two-dimensional image. The color conversion is performed from the conversion source color feature amount of each pixel constituting the object to the conversion destination color feature amount.
すなわち、本実施形態の画像処理装置10は、オブジェクトなど2次元画像化された領域について、立体感を知覚させるために必要な彩度及び明度の情報を維持しつつ、色変換を行うことができるので、オブジェクトの凹凸形状に対する知覚特性を保持した状態で色変換を実行することができる。 That is, the image processing apparatus 10 according to the present embodiment can perform color conversion on a two-dimensional image area such as an object while maintaining information on saturation and lightness necessary to perceive a stereoscopic effect. Therefore, color conversion can be executed in a state where the perceptual characteristic with respect to the uneven shape of the object is maintained.
したがって、本実施形態の画像処理装置10は、画像内の所定の画素又は領域について、無彩色を含め、いかなる色への変換処理を実行しても、画像化されたオブジェクトの立体感を的確に表現することができるようになっている。 Therefore, the image processing apparatus 10 according to the present embodiment accurately obtains the three-dimensional effect of the imaged object even if conversion processing to any color including an achromatic color is performed on a predetermined pixel or region in the image. It can be expressed.
具体的には、本実施形態の画像処理装置10は、図1に示すように、図示しない他の通信端末装置と通信を行う通信制御部110と、アプリケーションデータなどの各種の情報が記憶されるデータ記憶部100と、動画像データが記憶されるデータベース120と、色変換処理などの各種の処理を実行する画像処理部130と、所定の画像を表示する表示部140と、表示部140を制御する表示制御部150と、ユーザの操作入力を検出する操作部160と、各部を制御するサーバ管理制御部190と、を有し、上記の各処理を実行するようになっている。 Specifically, as illustrated in FIG. 1, the image processing apparatus 10 according to the present embodiment stores a communication control unit 110 that performs communication with another communication terminal device (not illustrated), and various types of information such as application data. Controls the data storage unit 100, the database 120 that stores moving image data, the image processing unit 130 that executes various processes such as color conversion processing, the display unit 140 that displays a predetermined image, and the display unit 140 And a server management control unit 190 that controls each unit, and executes each of the above processes.
なお、上述の各部は、バスBによって相互に接続され、各構成要素間におけるデータの転送が実行される。 Note that the above-described units are connected to each other by a bus B, and data transfer is performed between the components.
また、本実施形態の画像処理装置10は、このような構成を有することによって、オブジェクトの凹凸形状に対する知覚特性を保持した状態で色変換処理を実行することができるようになっている。そして、本実施形態の画像処理装置10は、色変換処理としては、
(1)動画像データをフレーム毎に取得するとともに、色変換を実行する際に所望する色相、彩度及び明度の色特徴量を示す色情報を所望色情報として取得し、
(2)ユーザの指示などの予め定められた指示に基づいて、取得した動画像データの各フレームにおいて形成される画像から、色変換の対象となる2以上の画素(以下、「対象画素」という。)を対象領域として指定し、
(3)取得した動画像データの各フレームの画像から、対象領域に属する各対象画素の変換元の色相、彩度及び明度の色特徴量を変換元色情報として特定し、
(4)フレーム毎に、予め定められた色相、彩度及び明度の代表値と、取得した所望色情報と、特定した変換元色情報と、に基づいて、所望色情報の色相及び代表値を基準に、変換元の彩度及び明度に対して、色相、彩度及び明度から規定されるHSV色空間上の座標位置を変換することによって、指定領域の各対象画素の色変換後の色相、彩度及び明度の色特徴量をそれぞれ算出し、当該各指定画素における色特徴量の色変換を実行し、
(5)フレーム毎に、色変換した指定領域を含む画像を出力する、
各処理を実行するようになっている。
Further, the image processing apparatus 10 according to the present embodiment has such a configuration, so that the color conversion process can be executed in a state where the perceptual characteristic with respect to the uneven shape of the object is maintained. The image processing apparatus 10 according to this embodiment performs color conversion processing as follows:
(1) Acquire moving image data for each frame, acquire color information indicating color features of desired hue, saturation, and lightness when executing color conversion as desired color information;
(2) Two or more pixels (hereinafter referred to as “target pixels”) to be subjected to color conversion from an image formed in each frame of the acquired moving image data based on a predetermined instruction such as a user instruction. .) As the target area,
(3) From the image of each frame of the acquired moving image data, specify the color feature amount of the conversion source hue, saturation, and brightness of each target pixel belonging to the target region as the conversion source color information;
(4) For each frame, the hue and the representative value of the desired color information are determined based on the representative values of the predetermined hue, saturation, and lightness, the acquired desired color information, and the specified conversion source color information. By converting the coordinate position in the HSV color space defined by the hue, saturation, and brightness with respect to the saturation and brightness of the conversion source as a reference, the hue after color conversion of each target pixel in the designated area, Calculate the color feature amount of saturation and brightness, respectively, and perform color conversion of the color feature amount in each designated pixel,
(5) Output an image including a color-converted designated area for each frame.
Each process is executed.
なお、本実施形態において、代表値としては、演算効率やその迅速性の観点から、指定領域の各指定画素における色相、彩度及び明度の色特徴量の平均値を用いる。ただし、当該代表値は、指定領域の各指定画素における色相、彩度及び明度の色特徴量の平均値に代えて、指定領域の各指定画素における色相、彩度及び明度の最頻値又は中央値でもよく、また、予め定められた任意の色相、彩度及び明度の色特徴量であってもよい。ただし、代表値に予め定められた任意の値を用いる場合には、色変換後の指定領域の各色特徴量が、HSV色空間の上限値より低く、かつ、下限値より高いことが好ましい。 In the present embodiment, the average value of the color feature values of hue, saturation, and brightness at each designated pixel in the designated region is used as the representative value from the viewpoint of calculation efficiency and speed. However, the representative value is not the average value of the hue, saturation and lightness color feature values in each designated pixel in the designated area, but the mode value or the center of the hue, saturation and brightness in each designated pixel in the designated area. It may be a value, or may be a color feature amount having an arbitrary predetermined hue, saturation, and brightness. However, when using an arbitrary predetermined value as the representative value, it is preferable that each color feature amount of the designated area after color conversion is lower than the upper limit value of the HSV color space and higher than the lower limit value.
[2]画像処理装置の詳細
次に、本実施形態における画像処理装置10の各部の詳細について説明する。
[2] Details of Image Processing Device Next, details of each part of the image processing device 10 in the present embodiment will be described.
通信制御部110は、所定のネットワークインターフェースであり、図示しないネットワークを介して、図示しない他の通信端末装置と通信チャネルを構築し、当該他の通信端末装置から送信された画像データその他のデータを受信してデータ記憶部100に出力する。 The communication control unit 110 is a predetermined network interface, establishes a communication channel with another communication terminal device (not shown) via a network (not shown), and receives image data and other data transmitted from the other communication terminal device. Receive and output to the data storage unit 100.
データ記憶部(メモリ)100は、通信制御部110及び画像処理部130などのワーク領域となるものであり、その機能はRAM(Randam Access Memory)などのハードウェアにより構成されている。 The data storage unit (memory) 100 serves as a work area such as the communication control unit 110 and the image processing unit 130, and the function thereof is configured by hardware such as a RAM (Random Access Memory).
具体的には、本実施形態のデータ記憶部100は、指定領域検出処理を実行するアプリケーションプログラムを含む各種の制御プログラムその他のプログラムが記憶されるアプリケーション記憶部101と、操作入力その他の指定領域検出処理又は所定の画像処理を実行する際にワークエリアとなる第1バッファ102と、指定領域検出処理などの各種の処理に用いる動画像データその他の基準画像データ及び対象画像データが記憶される第2バッファ103と、を有している。 Specifically, the data storage unit 100 of this embodiment includes an application storage unit 101 that stores various control programs and other programs including an application program that executes a specified region detection process, and operation input and other specified region detection. A first buffer 102 serving as a work area when executing processing or predetermined image processing, and second image data and other reference image data and target image data used for various processing such as designated region detection processing are stored. And a buffer 103.
第1バッファ102には、所望色情報、代表値、及び、各フレームの指定領域に属する指定画素それぞれの変換元色情報など、色変換処理が実行される上で必要な各種のデータが記憶される。 The first buffer 102 stores various data necessary for executing color conversion processing, such as desired color information, representative values, and conversion source color information for each designated pixel belonging to the designated area of each frame. The
第2バッファ103には、色変換処理中に、通信制御部110によって取得された又はデータベース120から読み出された動画像データであって、当該色変換処理に用いられる動画像データの各フレームの画像データが一時的に記憶される。 The second buffer 103 stores moving image data acquired by the communication control unit 110 or read from the database 120 during the color conversion process, and for each frame of the moving image data used for the color conversion process. Image data is temporarily stored.
データベース120は、HDD又はSDDにより構成され、所定のIDに対応付けられた動画像データが記録される記録領域を有している。 The database 120 is configured by an HDD or an SDD, and has a recording area in which moving image data associated with a predetermined ID is recorded.
画像処理部130は、独立的に設けられた中央演算処理装置(CPU)によって又は管理制御部190とともに共通の中央演算処理装置(CPU)によって構成される。 The image processing unit 130 is configured by a central processing unit (CPU) provided independently or by a common central processing unit (CPU) together with the management control unit 190.
特に、画像処理部130は、管理制御部190による制御の下、所定のアプリケーションを実行することによって、
(1)動画像データをフレーム毎に取得するとともに、所望色情報を取得する取得制御、
(2)ユーザの指示、又は、前フレームの解析に基づいて指定領域をしているための指示に基づいて、各フレームの画像内における対象領域を指定する領域指定処理、
(3)該当するフレームの画像から、対象領域に属する各対象画素の変換元色情報を特定する変換元色情報特定処理、
(4)代表値と、所望色情報と、変換元色情報と、に基づいて、所望色情報の色相及び代表値を基準に、前記変換元の彩度及び明度に対して、HSV色空間上の座標位置を変換して指定領域の各対象画素の色変換後の色相、彩度及び明度の色特徴量をそれぞれ算出し、当該各指定画素における色特徴量の色変換を実行する色変換処理、
(5)表示制御部150と連動し、色変換した指定領域に属する各対象画素を含む、各フレームによって形成される画像を表示部140に出力する出力処理、
を実行する。
In particular, the image processing unit 130 executes a predetermined application under the control of the management control unit 190.
(1) Acquisition control for acquiring moving image data for each frame and acquiring desired color information;
(2) A region designation process for designating a target region in an image of each frame based on a user instruction or an instruction for performing a designated region based on analysis of a previous frame;
(3) conversion source color information specifying process for specifying conversion source color information of each target pixel belonging to the target region from the image of the corresponding frame;
(4) Based on the representative value, the desired color information, and the conversion source color information, the hue and the representative value of the desired color information are used as a reference in the HSV color space with respect to the saturation and brightness of the conversion source. Color conversion processing for calculating the hue, saturation, and lightness color feature amount of each target pixel in the designated area by converting the coordinate position of the designated region and performing color conversion of the color feature amount in each designated pixel ,
(5) Output processing for outputting an image formed by each frame including each target pixel belonging to the designated region subjected to color conversion in conjunction with the display control unit 150 to the display unit 140;
Execute.
具体的には、画像処理部130は、アプリケーションを実行することによって、各種の画像データの取得制御を行うデータ取得制御部131、領域指定処理を実行する領域指定処理部132、変換元色情報特定処理を実行する色情報特定処理部133、及び、色変換処理及び出力処理を実行する色変換処理部134を実現する。 Specifically, by executing an application, the image processing unit 130 performs a data acquisition control unit 131 that performs acquisition control of various types of image data, an area specification processing unit 132 that executes an area specification process, and conversion source color information identification. A color information specifying processing unit 133 that executes processing and a color conversion processing unit 134 that executes color conversion processing and output processing are realized.
例えば、本実施形態のデータ取得制御部131は、本発明の取得手段を構成し、領域指定処理部132は、本発明の指定手段を構成する。また、例えば、本実施形態の色情報特定処理部133は、本発明の特定手段を構成し、色変換処理部134は、本発明の色変換手段及び出力手段の少なくとも一部を構成する。 For example, the data acquisition control unit 131 of this embodiment constitutes an acquisition unit of the present invention, and the area designation processing unit 132 constitutes a designation unit of the present invention. Further, for example, the color information identification processing unit 133 of the present embodiment constitutes the identification unit of the present invention, and the color conversion processing unit 134 constitutes at least part of the color conversion unit and the output unit of the present invention.
なお、本実施形態の画像処理部130の詳細及びその動作の詳細については、後述する。 Details of the image processing unit 130 and details of the operation of the present embodiment will be described later.
表示部140は、例えば、液晶ディスプレイ又は有機ELディスプレイによって構成されており、主に画像処理を実行する際の操作に用いられ、操作部160と連動して指定画素又は指定領域を指定する際に種々の画像を表示するとともに、当該実行された画像処理の結果を表示する。 The display unit 140 is configured by, for example, a liquid crystal display or an organic EL display, and is mainly used for an operation when executing image processing. When the specified pixel or the specified region is specified in conjunction with the operation unit 160, the display unit 140 is used. Various images are displayed and the result of the executed image processing is displayed.
特に、表示部140は、色変換された指定画素を含む前記取得された画像データによって形成された画像を出力する。なお、本実施形態の表示部140は、本発明の出力手段又はその一部を構成する。 In particular, the display unit 140 outputs an image formed by the acquired image data including designated pixels that have undergone color conversion. Note that the display unit 140 of the present embodiment constitutes the output means of the present invention or a part thereof.
表示制御部150は、画像処理部130及び管理制御部190の制御下、表示部140に表示する画像データを生成するようになっており、特に、表示制御部150は、操作部160と表示部140を連動させるため、指定画素又は指定領域の指定など操作指示に関する所定の画像データを生成し、生成された画像データを所定のタイミングにて表示部140に出力する。 The display control unit 150 generates image data to be displayed on the display unit 140 under the control of the image processing unit 130 and the management control unit 190. In particular, the display control unit 150 includes the operation unit 160 and the display unit. In order to link 140, predetermined image data relating to an operation instruction such as designation of a designated pixel or a designated area is generated, and the generated image data is output to the display unit 140 at a predetermined timing.
操作部160は、各種確認ボタン、選択ボタン及び数字キー等の多数のキーを含むキーボードおよび入力ポインティングデバイスの一つであるマウス等により構成されており、特に、表示部140と連動して画像処理に関する各種の操作指示を行う際に用いられる。 The operation unit 160 includes a keyboard that includes a number of keys such as various confirmation buttons, selection buttons, and numeric keys, and a mouse that is one of input pointing devices. In particular, the operation unit 160 performs image processing in conjunction with the display unit 140. It is used when various operation instructions are given.
管理制御部190は、主に、中央演算処理装置(以下、CPUという。)から構成され、通信ポート、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、各種処理を行うための全般的な機能を総括的に制御するようになっている。 The management control unit 190 is mainly composed of a central processing unit (hereinafter referred to as CPU), and includes various input / output ports such as a communication port, a key input port, a display control port, etc. Overall functions are controlled.
[3]画像処理部
次に、本実施形態における画像処理装置10の各部の詳細について説明する。
[3] Image Processing Unit Next, details of each unit of the image processing apparatus 10 in the present embodiment will be described.
データ取得制御部131は、操作部160を介して入力されたユーザの指示の下、表示制御部150と連動し、通信制御部110を介して、又は、データベース120から読み出して、フレーム毎に第2バッファ103を介して動画像データを取得する。そして、データ取得制御部131は、取得した動画像データを順次表示部140に表示する。 The data acquisition control unit 131 operates in conjunction with the display control unit 150 under the user's instruction input via the operation unit 160, reads out from the database 120 via the communication control unit 110, and reads the data for each frame. 2 The moving image data is acquired via the buffer 103. Then, the data acquisition control unit 131 sequentially displays the acquired moving image data on the display unit 140.
また、データ取得制御部131は、該当するフレームの動画像データに対して、色変換先の色相、及び、彩度及び明度の色特徴量を特定し、各フレームに対応付けて当該色特徴量を変換元色情報として第1バッファ102に記憶する。 In addition, the data acquisition control unit 131 identifies the color conversion destination hue, saturation, and lightness color feature amount for the moving image data of the corresponding frame, and associates the color feature amount with each frame. Are stored in the first buffer 102 as conversion source color information.
領域指定処理部132は、表示制御部150及び操作部160と連動し、操作部160を介して入力されたユーザの指示に基づいて、データ取得制御部131によって取得された動画像データの一のフレーム(例えば、基準フレーム)によって形成される画像内の任意の領域(具体的にはオブジェクト)を、色変換処理の基準となる指定領域として指定する。 The area designation processing unit 132 is linked to the display control unit 150 and the operation unit 160, and is based on one of the moving image data acquired by the data acquisition control unit 131 based on a user instruction input via the operation unit 160. An arbitrary area (specifically, an object) in an image formed by a frame (for example, a reference frame) is designated as a designated area serving as a reference for color conversion processing.
また、領域指定処理部132は、基準フレームによって指定された指定領域に基づいて、同一の動画像データにおいて基準フレームと異なるフレーム(以下、「二次フレーム」という。)の画像について所定の画像解析を実行し、当該二次フレームの画像内において、指定領域と同一の色成分を有する領域を指定領域として指定する。 The area designation processing unit 132 performs predetermined image analysis on an image of a frame (hereinafter referred to as a “secondary frame”) different from the reference frame in the same moving image data based on the designated area designated by the reference frame. And an area having the same color component as the designated area is designated as the designated area in the image of the secondary frame.
例えば、領域指定処理部132は、所定の画像解析としては、
(1)基準フレームの画像において、指定領域に属する各指定画素の色特徴量と、当該各指定画素に隣接するそれぞれの隣接画素の色特徴量と、を特定し、
(2)指定画素毎に、指定画素の色特徴量と隣接画素の特徴量の差分値を算出するとともに、算出した差分値の最大値を当該指定画素の色特徴量に加減算した最大値及び最小値を算出し、
(3)算出した最大値及び最小値によって定まる色範囲を、ノイズを包含する色特徴量の色範囲として算出し、
(4)二次フレームの対象画像を構成する画像において、算出した色範囲に属する画素を特定し、
(5)特定した画素対象画像内に形成された同一の領域を指定領域として検出し、基準指定領域と同一の領域として指定する。
For example, the area designation processing unit 132 performs the predetermined image analysis as follows:
(1) In the image of the reference frame, the color feature amount of each designated pixel belonging to the designated region and the color feature amount of each adjacent pixel adjacent to each designated pixel are specified,
(2) For each designated pixel, a difference value between the color feature amount of the designated pixel and the feature amount of the adjacent pixel is calculated, and a maximum value and a minimum value obtained by adding or subtracting the calculated maximum value of the difference value to the color feature amount of the designated pixel Calculate the value,
(3) A color range determined by the calculated maximum value and minimum value is calculated as a color range of a color feature amount including noise,
(4) Identifying pixels belonging to the calculated color range in the image constituting the target image of the secondary frame,
(5) The same area formed in the specified pixel target image is detected as the designated area and designated as the same area as the reference designated area.
色情報特定処理部133は、基準フレーム及び二次フレームにおいて指定された指定領域に属する各画素(すなわち、指定画素)の画像内における座標位置と、色相、彩度及び明度の色特徴量を特定し、特定した各種の情報を変換元色情報としてフレーム(具体的には、フレームID)に対応付けて第1バッファ102に記憶する。 The color information identification processing unit 133 identifies the coordinate position in the image of each pixel (that is, the designated pixel) belonging to the designated area designated in the reference frame and the secondary frame, and the color feature amount of hue, saturation, and brightness. Then, the specified various types of information are stored as conversion source color information in the first buffer 102 in association with a frame (specifically, a frame ID).
また、色情報特定処理部133は、指定された指定領域における各画素の色相、彩度及び明度の代表値を算出し、当該算出した代表値を第1バッファ102に記憶する。 In addition, the color information identification processing unit 133 calculates representative values of hue, saturation, and brightness of each pixel in the specified area, and stores the calculated representative values in the first buffer 102.
なお、本実施形態の色情報特定処理部133は、フレーム毎に、指定領域における各画素の色相、彩度及び明度の平均値を算出し、当該算出した平均値を該当するフレームの代表値として第1バッファ102に記憶する。ただし、上述のように、色情報特定処理部133は、代表値として指定領域内の各画素の色相、彩度及び明度の最頻値又は中央値を算出してもよい。 Note that the color information identification processing unit 133 according to the present embodiment calculates an average value of the hue, saturation, and brightness of each pixel in the designated area for each frame, and uses the calculated average value as a representative value of the corresponding frame. Store in the first buffer 102. However, as described above, the color information identification processing unit 133 may calculate the mode value or median value of the hue, saturation, and brightness of each pixel in the designated area as the representative value.
色変換処理部134は、フレーム毎に、予め定められた代表値と、ユーザによって指定された所望色情報と、指定領域に属する各指定画素の変換元色情報と、に基づいて、所望色情報の色相及び代表値を基準に、変換元色情報に含まれる彩度及び明度に対して、HSV色空間上の座標位置を変換して、指定領域の各対象画素の色変換後の色相、彩度及び明度の色特徴量をそれぞれ算出する。そして、色変換処理部134は、色変換した指定領域に属する各対象画素を含む、各フレームによって形成される画像を表示部140に出力する。 For each frame, the color conversion processing unit 134 determines desired color information based on a predetermined representative value, desired color information designated by the user, and conversion source color information of each designated pixel belonging to the designated area. The coordinate position in the HSV color space is converted with respect to the saturation and lightness included in the conversion source color information on the basis of the hue and the representative value, and the hue and saturation after color conversion of each target pixel in the specified area are converted. Color feature values of brightness and brightness are calculated. Then, the color conversion processing unit 134 outputs an image formed by each frame including each target pixel belonging to the color-converted designated area to the display unit 140.
具体的には、色変換処理部134は、
(1)所望色情報に含まれる色相の色特徴量を変換後の色相の色特徴量として算出し、
(2)変換元色情報の彩度の色特徴量と彩度の代表値との差分値に、所望色情報の彩度の色特徴量を加算した値を、色変換後の彩度として算出し、
(3)変換元色情報の明度の色特徴量と明度の代表値との差分値に、所望色情報の明度の色特徴量を加算した値を、前記色変換後の明度として算出する。
Specifically, the color conversion processing unit 134
(1) calculating a color feature amount of a hue included in desired color information as a color feature amount of a hue after conversion;
(2) A value obtained by adding the color feature value of the saturation of the desired color information to the difference value between the color feature value of the saturation of the conversion source color information and the representative value of the saturation is calculated as the saturation after the color conversion. And
(3) A value obtained by adding the color feature amount of lightness of the desired color information to the difference value between the lightness color feature amount of the conversion source color information and the lightness representative value is calculated as the lightness after the color conversion.
例えば、色変換処理部134は、以下の(式1)〜(式3)にしたがって、変換後の色相nH、彩度nS及び明度nVを算出する。 For example, the color conversion processing unit 134 calculates the converted hue nH, saturation nS, and lightness nV according to the following (Expression 1) to (Expression 3).
なお、(式1)〜(式3)において、変換前色情報pに含まれる色相、彩度及び明度を(pH,pS,pV)、代表値(本実施形態の場合において平均値)rにおける色相、彩度及び明度を(rH,rS,rV)、所望色情報cにおける色相、彩度及び明度を(cH,cS,cV)、及び、色変換後の色情報nにおける色相、彩度及び明度を(nH,nS,nV)とする。また、「mS」及び「mV」は、立体感の調整のために彩度と明度の相対距離の計数を示す。 In (Expression 1) to (Expression 3), the hue, saturation, and brightness included in the pre-conversion color information p are (pH, pS, pV), representative values (average values in this embodiment) r. Hue, saturation and lightness are (rH, rS, rV), hue, saturation and lightness in desired color information c are (cH, cS, cV), and hue, saturation and color information n after color conversion The brightness is (nH, nS, nV). In addition, “mS” and “mV” indicate a count of the relative distance between saturation and lightness for adjusting the stereoscopic effect.
そして、色変換処理部134は、表示制御部150と連動し、フレーム毎に、色変換した指定領域に属する各対象画素Xiの色情報Ni=(nHi,nSi,nVi)を、該当するフレームその他画素(すなわち、指定領域以外の画素)とともに、当該フレームの画像を形成させて表示部140に出力する。なお、ここで「i」は、指定領域に属する各対象画素の画素番号を示す。 Then, the color conversion processing unit 134 operates in conjunction with the display control unit 150, and for each frame, the color information Ni = (nHi, nSi, nVi) of each target pixel Xi belonging to the designated region subjected to color conversion, the corresponding frame, Together with the pixels (that is, pixels other than the designated area), an image of the frame is formed and output to the display unit 140. Here, “i” indicates the pixel number of each target pixel belonging to the designated area.
[4]色変換処理
次に、図2を用いて本実施形態の画像処理部130において実行される色変換処理の動作について説明する。なお、図2は、本実施形態の画像処理部130において実行される色変換処理の動作を示すフローチャートである。
[4] Color Conversion Processing Next, the operation of the color conversion processing executed in the image processing unit 130 of this embodiment will be described using FIG. FIG. 2 is a flowchart showing the operation of the color conversion process executed in the image processing unit 130 of this embodiment.
本動作においては、データベース120に予め記憶されている動画像データがフレーム毎に記憶されているものとし、代表値としては、指定領域の各画素における平均値を用いるものとする。 In this operation, it is assumed that the moving image data stored in advance in the database 120 is stored for each frame, and the average value of each pixel in the designated area is used as the representative value.
また、本動作においては、動画像データにおける先頭のフレーム(以下、「先頭フレーム(基準フレーム)」という。)の画像データによって形成される画像において色変換を希望する領域を指定領域としてユーザが指定するとともに、次フレーム(二次フレーム)以降については、ユーザによって指定された指定領域に基づいて画像処理的に指定された指定領域について色変換処理を実行する場合について説明する。 In this operation, the user designates an area for which color conversion is desired in an image formed by image data of the first frame in moving image data (hereinafter referred to as “first frame (reference frame)”) as a designated area. In addition, for the subsequent frames (secondary frames) and after, a case will be described in which color conversion processing is performed on a designated area designated in terms of image processing based on a designated area designated by the user.
まず、管理制御部190は、操作部160を介してユーザによって色変換処理の実行指示及びデータベース120に記憶された対象となる動画像データの選択指示を検出すると(ステップS101)、データ取得制御部131は、データベース120から第2バッファ103を介して先頭フレームの画像データを取得し(ステップS102)、表示制御部150と連動して表示部140に先頭フレームの画像データによって形成される画像(すなわち、フレーム画像)を表示する(ステップS103)。 First, when the management control unit 190 detects a color conversion processing execution instruction and a target moving image data selection instruction stored in the database 120 by the user via the operation unit 160 (step S101), the data acquisition control unit 131 acquires the image data of the first frame from the database 120 via the second buffer 103 (step S102), and in conjunction with the display control unit 150, an image formed by the image data of the first frame on the display unit 140 (that is, Frame image) is displayed (step S103).
なお、データ取得制御部131は、ステップS103の処理においては、先頭フレームの画像を表示部140に表示すると、ユーザ操作に基づく領域指定及びユーザが希望する色(すなわち、色変換後の色特徴量)の指定の入力を待機する。 In the process of step S103, when the data acquisition control unit 131 displays the first frame image on the display unit 140, the data acquisition control unit 131 designates the region based on the user operation and the color desired by the user (that is, the color feature after color conversion) ) Wait for the specified input.
次いで、領域指定処理部132は、操作部160を介してユーザの希望する所望色情報(具体的には、色相、彩度及び明度の色特徴量)の指定を含むユーザ操作を検出すると(ステップS104)、所望色情報を第1バッファ102に記憶するとともに、当該検出したユーザ操作に基づいて指定されたフレーム画像内の指定領域を指定し、指定された指定領域内の各画素を指定画素として特定する(ステップS105)。 Next, when the region designation processing unit 132 detects a user operation including designation of desired color information desired by the user (specifically, color feature values of hue, saturation, and lightness) via the operation unit 160 (step S110). S104) The desired color information is stored in the first buffer 102, the designated area in the designated frame image is designated based on the detected user operation, and each pixel in the designated designated area is designated as the designated pixel. Specify (step S105).
次いで、色情報特定処理部133は、該当するフレーム画像において、指定領域に属する各画素(すなわち、指定画素)の画像内における座標位置と、色相、彩度及び明度の色特徴量と、を特定し、特定した各種の情報を変換元色情報としてフレームIDに対応付けて第1バッファ102に記憶する(ステップS106)。 Next, the color information identification processing unit 133 identifies the coordinate position in the image of each pixel belonging to the designated area (that is, the designated pixel) and the color feature amount of hue, saturation, and brightness in the corresponding frame image. Then, the various types of specified information are stored in the first buffer 102 as conversion source color information in association with the frame ID (step S106).
次いで、色情報特定処理部133は、指定領域における各指定画素の色相、彩度及び明度の代表値を算出し、当該算出した代表値を第1バッファ102に記憶する(ステップS107)。 Next, the color information identification processing unit 133 calculates representative values of hue, saturation, and brightness of each specified pixel in the specified region, and stores the calculated representative values in the first buffer 102 (step S107).
次いで、色変換処理部134は、第1バッファ102に記憶された代表値、所望色情報及び変換元色情報に基づいて、色変換後の色相、彩度及び明度をそれぞれ算出する(ステップS108)。 Next, the color conversion processing unit 134 calculates the hue, saturation, and lightness after color conversion based on the representative value, desired color information, and conversion source color information stored in the first buffer 102 (step S108). .
具体的には、色変換処理部134は、
(1)所望色情報に含まれる色相を変換後の色相として算出し、
(2)HSV色空間上にて、彩度の代表値から変換元色情報の彩度までの距離に所望色情報に含まれる彩度を加算した値を前記色変換後の彩度として算出し、
(3)HSV色空間上にて、明度の代表値から変換元色情報の明度までの距離に所望色情報に含まれる明度を加算した値を色変換後の明度として算出する。
Specifically, the color conversion processing unit 134
(1) calculating a hue included in desired color information as a hue after conversion;
(2) On the HSV color space, a value obtained by adding the saturation included in the desired color information to the distance from the saturation representative value to the saturation of the conversion source color information is calculated as the saturation after the color conversion. ,
(3) On the HSV color space, a value obtained by adding the lightness included in the desired color information to the distance from the lightness representative value to the lightness of the conversion source color information is calculated as the lightness after color conversion.
次いで、色変換処理部134は、表示制御部150と連動し、色変換した指定領域に属する各対象画素の色情報を、該当するフレームその他画素(すなわち、指定領域以外の画素)とともに、当該フレームの画像を形成させて表示部140に出力する(ステップS109)。 Next, the color conversion processing unit 134 cooperates with the display control unit 150 to display the color information of each target pixel belonging to the designated area subjected to the color conversion together with the corresponding frame and other pixels (that is, pixels other than the designated area) in the frame. Are formed and output to the display unit 140 (step S109).
次いで、データ取得制御部131は、動画像データにおける次のフレームの有無を判定する(ステップS110)。具体的には、データ取得制御部131は、第2バッファ103に次のフレームが記憶されているか否かを判定する。 Next, the data acquisition control unit 131 determines whether there is a next frame in the moving image data (step S110). Specifically, the data acquisition control unit 131 determines whether or not the next frame is stored in the second buffer 103.
このとき、データ取得制御部131は、次のフレームがあると判定した場合には、第2バッファ102から該当するフレームを取得するとともに(ステップS111)、領域指定処理部132は、所定の画像解析を実行することによって読み出したフレーム画像内の指定領域を指定して(ステップS112)ステップS106の処理に移行する。
一方、データ取得制御部131は、ステップSS109の処理において、次のフレームがないと判定した場合には、本動作を終了させる。
At this time, if the data acquisition control unit 131 determines that there is a next frame, the data acquisition control unit 131 acquires the corresponding frame from the second buffer 102 (step S111), and the region designation processing unit 132 performs predetermined image analysis. Is executed to designate a designated area in the read frame image (step S112), and the process proceeds to step S106.
On the other hand, if the data acquisition control unit 131 determines in step SS109 that there is no next frame, the data acquisition control unit 131 ends this operation.
[5]シミュレーション結果
次に、図3を用いて本実施形態の画像処理部130において実行される色変換処理のシミュレーション結果について説明する。なお、図3は、従来の手法と本実施形態の指定領域検出処理を含む特定画像処理を実行した場合を比較した図である。
[5] Simulation Result Next, a simulation result of the color conversion process executed in the image processing unit 130 of the present embodiment will be described with reference to FIG. FIG. 3 is a diagram comparing the case where the specific image processing including the conventional method and the designated area detection processing of the present embodiment is executed.
例えば、図3(A)に示す黒の金具を有する木材によって形成される脚部を有し、座面部、背もたれ部分を示す背面部及び肘掛け部分を示す側面部を有する部分(以下、「椅子部」という。)が青色の椅子の元画像において、青色の椅子部(指定領域(オブジェクト))を指定した場合であって、当該椅子部を赤色及び灰色(グレー)に色変換処理を行った場合について説明する。 For example, a leg portion formed of wood having a black metal fitting shown in FIG. 3A, a seat surface portion, a back portion showing a backrest portion, and a side portion showing an armrest portion (hereinafter referred to as “chair portion”). In the original image of the blue chair when the blue chair part (designated area (object)) is designated and the chair part is subjected to color conversion processing into red and gray (gray) Will be described.
このような場合において、図3(A)における椅子部を指定すると、従来の手法においては、原則的に色相のみの変換であったため、赤色への変更については、図3(B)に示すように、当該補正処理も含めて元の色と同様な凹凸形状を表現できるものの、無彩色となる灰色については、図3(C)に示すように、べた塗り(階調表現なし)などの例外処理を実行するしかなく、凹凸形状を表現することが難しい。 In such a case, if the chair portion in FIG. 3A is designated, the conventional method has converted only the hue in principle, so the change to red is shown in FIG. 3B. In addition, the same uneven shape as that of the original color can be expressed including the correction processing, but for gray that is an achromatic color, as shown in FIG. 3C, there is an exception such as solid painting (no gradation expression). There is no choice but to execute the process, and it is difficult to express the uneven shape.
一方、このような場合において、図3(A)における椅子部を指定すると、本実施形態の色変換においては、HSV色空間における彩度及び明度の距離を保持することができるので、図3(D)に示すように、元の色と同様な凹凸形状を表現できるようになっている。 On the other hand, in such a case, if the chair part in FIG. 3A is designated, the color conversion of this embodiment can hold the distance between the saturation and the lightness in the HSV color space. As shown in D), the same uneven shape as the original color can be expressed.
なお、図3(D)は、所望色情報(cH,cS,cV)として(0,0,128)の色特徴量を指定して色変換処理を実行した場合の図である。ただし、図3において、それぞれの色特徴量の階調値は、0〜255によって表現される。 FIG. 3D is a diagram when the color conversion processing is executed by designating the color feature amount of (0, 0, 128) as the desired color information (cH, cS, cV). However, in FIG. 3, the gradation value of each color feature amount is expressed by 0 to 255.
以上、本実施形態の画像処理装置10は、色変換前の彩度及び明度についてHSV色空間上の距離を保持して指定された指定領域の色を変換することができるので、オブジェクトなど2次元画像化された領域について、立体感を知覚させるために必要な彩度及び明度の情報を維持しつつ、色変換を行うことができる。 As described above, the image processing apparatus 10 according to the present embodiment can convert the color of the designated area while maintaining the distance in the HSV color space with respect to the saturation and brightness before color conversion. With respect to the imaged region, color conversion can be performed while maintaining the information of saturation and lightness necessary for perceiving a stereoscopic effect.
したがって、本実施形態の画像処理装置10は、画像内の所定の画素又は領域について、無彩色を含め、いかなる色への変換処理を実行しても、彩度及び明度の相対距離を保持することができるので、画像化されたオブジェクトの立体感を的確に表現することができる。 Therefore, the image processing apparatus 10 according to the present embodiment retains the relative distance between saturation and lightness even if conversion processing to any color including an achromatic color is performed on a predetermined pixel or region in an image. Therefore, the stereoscopic effect of the imaged object can be accurately expressed.
[6]変形例
[6.1]変形例1
本実施形態においては、ユーザの指示に基づいてフレーム画像内のオブジェクト(すなわち、指定領域)を指定するようになっているが、これに限らず、オブジェクト認識その他の画像処理において指定された指定領域、又は、印刷その他において用いられるカラーコード(色番号)を用いるなど特定の色を指定することによって検出された領域に対して色変換を実行してもよい。なお、特定の色を指定する場合には、所望色情報と変換元色情報(特定の色)が指定されれば、当該特定の色の画素又はその領域の色変換処理を実行することができる。
[6] Modification [6.1] Modification 1
In this embodiment, an object (that is, a designated area) in a frame image is designated based on a user instruction. However, the present invention is not limited to this, and a designated area designated in object recognition or other image processing. Alternatively, color conversion may be performed on an area detected by specifying a specific color such as using a color code (color number) used in printing or the like. When specifying a specific color, if desired color information and conversion source color information (specific color) are specified, the color conversion processing of the pixel of the specific color or its region can be executed. .
[6.2]変形例2
本実施形態においては、動画像データに対して適用しているが、静止画像データに提供することも可能である。すなわち、サンプル画像などの基準画像に基づいて指定領域を特定すれば、他の対象画像となる静止画像から指定領域(オブジェクト)を検出することもできる。
[6.2] Modification 2
Although this embodiment is applied to moving image data, it can also be provided to still image data. That is, if a designated area is specified based on a reference image such as a sample image, the designated area (object) can be detected from a still image that is another target image.
[6.3]変形例3
本実施形態においては、複数の画素から構成さる指定領域を指定し、かつ、検出するようになっているが、一の画素を指定し、対象画素を検出することもできる。
[6.3] Modification 3
In the present embodiment, a designated area composed of a plurality of pixels is designated and detected. However, one pixel can be designated and a target pixel can be detected.
[6.4]変形例4
本実施形態の各種の処理は、単一の画像処理装置10によって実行されているが、ネットワークその他の通信回線を用いることによって上記の各種の処理を異なる装置によって実行してもよい。
[6.4] Modification 4
Various processes of the present embodiment are executed by a single image processing apparatus 10, but the above-described various processes may be executed by different apparatuses by using a network or other communication line.
[6.5]変形例5
本実施形態の各種の処理は、動画像データの各フレームを用いて説明したが、一の画像データを用いて指定領域又は指定画素を指定して色変換後の色相、彩度及び明度を算出し、同一の画像データに対して色変換処理を実行するようにしてもよい。
[6.5] Modification 5
Various processes of the present embodiment have been described using each frame of moving image data. However, hue, saturation, and lightness after color conversion are calculated by designating a designated area or designated pixel using one image data. The color conversion process may be executed on the same image data.
10 … 画像処理装置
100 … データ記憶部
101 … アプリケーション記憶部
102 … 第1バッファ
103 … 第2バッファ
110 … 通信制御部
120 … データベース
130 … 画像処理部
131 … データ取得制御部
132 … 領域指定処理部
133 … 色情報特定処理部
134 … 色変換処理部
140 … 表示部
150 … 表示制御部
160 … 操作部
190 … 管理制御部
DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus 100 ... Data storage part 101 ... Application storage part 102 ... 1st buffer 103 ... 2nd buffer 110 ... Communication control part 120 ... Database 130 ... Image processing part 131 ... Data acquisition control part 132 ... Area designation | designated processing part 133 ... Color information identification processing unit 134 ... Color conversion processing unit 140 ... Display unit 150 ... Display control unit 160 ... Operation unit 190 ... Management control unit
Claims (4)
前記色変換を実行する際に、所望する色相、彩度及び明度の色特徴量を示す情報であって入力された情報を所望色情報として受け付けるとともに、変換元の色相、彩度及び明度の色特徴量を示す情報であって入力された情報を変換元色情報として受け付ける入力受付手段と、
予め定められた彩度及び明度の代表値と、前記入力された所望色情報と、前記入力された変換元色情報と、に基づいて、色変換後の色相、彩度及び明度の色特徴量を算出し、前記画像を構成する画素であって前記変換元色情報に該当する画素に対して色特徴量の色変換を実行する色変換手段と、
前記色変換された画素を含む前記画像を出力する出力手段と、
を備え、
前記色変換手段が、
前記所望色情報に含まれる色相の色特徴量を前記色変換後の色相の色特徴量として設定し、
HSV色空間上にて、前記変換元色情報の彩度の色特徴量と彩度の代表値との差分値に、立体感の調整のために用いられる当該彩度の相対係数を乗算し、かつ、当該乗算により算出された値に前記所望色情報の彩度の色特徴量を加算した値を、前記色変換後の彩度として算出し、
HSV色空間上にて、前記変換元色情報の明度の色特徴量と明度の代表値との差分値に、立体感の調整のために用いられる当該明度の相対係数を乗算し、かつ、当該乗算により算出された値に前記所望色情報の明度の色特徴量を加算した値を、前記色変換後の明度として算出することを特徴とする画像処理装置。 An image processing apparatus that performs color conversion on an image formed by image data,
When executing the color conversion, the information indicating the color features of the desired hue, saturation, and lightness and the input information is received as the desired color information, and the color of the hue, saturation, and lightness of the conversion source Input accepting means for accepting information indicating the feature quantity and inputted information as conversion source color information;
Based on predetermined representative values of saturation and lightness, the input desired color information, and the input source color information, color feature values of hue, saturation and lightness after color conversion Color conversion means for performing color conversion of color feature amounts on the pixels that constitute the image and correspond to the conversion source color information;
Output means for outputting the image including the color-converted pixels;
With
The color conversion means is
Setting the color feature amount of the hue included in the desired color information as the color feature amount of the hue after the color conversion ;
In the HSV color space, the difference value between the saturation color feature amount and the saturation saturation value of the conversion source color information is multiplied by the relative saturation coefficient used for adjusting the stereoscopic effect, And, a value obtained by adding the color feature amount of the saturation of the desired color information to the value calculated by the multiplication is calculated as the saturation after the color conversion,
In the HSV color space, the difference value between the color feature value of brightness of the conversion source color information and the representative value of brightness is multiplied by the relative coefficient of brightness used for adjusting the stereoscopic effect, and An image processing apparatus, wherein a value obtained by adding a color feature amount of lightness of the desired color information to a value calculated by multiplication is calculated as the lightness after the color conversion.
前記色変換手段が、前記代表値の各色特徴量(彩度rS,明度rV)と、前記所望色情報の各色特徴量(色相cH,彩度cS,明度cV)と、前記変換元色情報の各色特徴量(彩度pS,明度pV)と、彩度と明度の前記相対係数mS及びmVと、に基づいて、(式A)〜(式C)を用いて前記色変換後の色相(nH)、彩度(nS)及び明度(nV)を算出する、画像処理装置。
The color conversion means includes the representative color characteristic amounts (saturation rS, lightness rV) , the desired color information color features (hue cH, saturation cS, lightness cV), and the conversion source color information. each color feature (saturation pS, lightness pV) and, with the relative coefficient mS and mV saturation and brightness, based on, (formula a) ~ hue after the color conversion using the (formula C) (nH ), Saturation (nS) and lightness (nV).
前記色変換の対象となる複数の画素から構成される領域を対象領域として指定されており、
前記彩度及び明度の代表値が、前記対象領域に属する画素の彩度又は明度の平均値、中央値又は最頻値のいずれかである、画像処理装置。 The image processing apparatus according to claim 1 or 2,
An area composed of a plurality of pixels to be subjected to the color conversion is designated as a target area;
The image processing device, wherein the representative values of saturation and brightness are any one of an average value, a median value, and a mode value of saturation or brightness of pixels belonging to the target region.
前記コンピュータを、
前記色変換を実行する際に、所望する色相、彩度及び明度の色特徴量を示す情報であって入力された情報を所望色情報として受け付けるとともに、変換元の色相、彩度及び明度の色特徴量を示す情報であって入力された情報を変換元色情報として受け付ける入力受付手段、
予め定められた彩度及び明度の代表値と、前記入力された所望色情報と、前記入力された変換元色情報と、に基づいて、色変換後の色相、彩度及び明度の色特徴量を算出し、前記画像を構成する画素であって前記変換元色情報に該当する画素に対して色特徴量の色変換を実行する色変換手段、及び、
前記色変換された画素を含む前記画像を出力する出力手段、
として機能させるとともに、
前記色変換手段として、
前記所望色情報に含まれる色相の色特徴量を前記色変換後の色相の色特徴量として設定し、
HSV色空間上にて、前記変換元色情報の彩度の色特徴量と彩度の代表値との差分値に、立体感の調整のために用いられる当該彩度の相対係数を乗算し、かつ、当該乗算により算出された値に前記所望色情報の彩度の色特徴量を加算した値を、前記色変換後の彩度として算出し、
HSV色空間上にて、前記変換元色情報の明度の色特徴量と明度の代表値との差分値に、立体感の調整のために用いられる当該明度の相対係数を乗算し、かつ、当該乗算により算出された値に前記所望色情報の明度の色特徴量を加算した値を、前記色変換後の明度として算出するように機能させることを特徴とするプログラム。
A program for performing color conversion on an image formed by image data by a computer,
The computer,
When executing the color conversion, the information indicating the color features of the desired hue, saturation, and lightness and the input information is received as the desired color information, and the color of the hue, saturation, and lightness of the conversion source Input accepting means for accepting information indicating the feature quantity and inputted information as conversion source color information;
Based on predetermined representative values of saturation and lightness, the input desired color information, and the input source color information, color feature values of hue, saturation and lightness after color conversion Color conversion means for performing color conversion of color feature amounts on pixels that constitute the image and correspond to the conversion source color information, and
Output means for outputting the image including the color-converted pixels;
And function as
As the color conversion means,
Setting the color feature amount of the hue included in the desired color information as the color feature amount of the hue after the color conversion ;
In the HSV color space, the difference value between the saturation color feature amount and the saturation saturation value of the conversion source color information is multiplied by the relative saturation coefficient used for adjusting the stereoscopic effect, And, a value obtained by adding the color feature amount of the saturation of the desired color information to the value calculated by the multiplication is calculated as the saturation after the color conversion,
In the HSV color space, the difference value between the color feature value of brightness of the conversion source color information and the representative value of brightness is multiplied by the relative coefficient of brightness used for adjusting the stereoscopic effect, and A program for causing a value obtained by adding a color feature amount of lightness of the desired color information to a value calculated by multiplication to function as lightness after color conversion.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014031272A JP6311345B2 (en) | 2014-02-21 | 2014-02-21 | Image processing apparatus and program |
| PCT/JP2015/054003 WO2015125711A1 (en) | 2014-02-21 | 2015-02-13 | Image processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014031272A JP6311345B2 (en) | 2014-02-21 | 2014-02-21 | Image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015156596A JP2015156596A (en) | 2015-08-27 |
| JP6311345B2 true JP6311345B2 (en) | 2018-04-18 |
Family
ID=54775669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014031272A Active JP6311345B2 (en) | 2014-02-21 | 2014-02-21 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6311345B2 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05324786A (en) * | 1992-05-22 | 1993-12-07 | Matsushita Electric Ind Co Ltd | Color image generator |
| JP2006303708A (en) * | 2005-04-18 | 2006-11-02 | Canon Inc | Image processing apparatus and image processing method |
| JP4214420B2 (en) * | 2007-03-15 | 2009-01-28 | オムロン株式会社 | Pupil color correction apparatus and program |
| JP5145965B2 (en) * | 2008-01-18 | 2013-02-20 | 株式会社リコー | Image processing apparatus, image processing method, and program |
| JP2013102299A (en) * | 2011-11-07 | 2013-05-23 | Canon Inc | Image processor and image processing method |
| JP2013192023A (en) * | 2012-03-14 | 2013-09-26 | Sony Corp | Color distance measurement apparatus, color distance measurement method, and program |
-
2014
- 2014-02-21 JP JP2014031272A patent/JP6311345B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015156596A (en) | 2015-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100886099B1 (en) | Automatic calculation device and method of gamma correction curve | |
| US9489751B2 (en) | Image processing apparatus and image processing method for color correction based on pixel proximity and color similarity | |
| JP5937128B2 (en) | Augmented reality providing system, method and program | |
| WO2018161775A1 (en) | Neural network model training method, device and storage medium for image processing | |
| KR20140035349A (en) | Colour calibration method for an image capture device | |
| TW201029443A (en) | Method and device for generating a depth map | |
| US20160189673A1 (en) | Method for radiometric compensated display, corresponding system, apparatus and computer program product | |
| WO2013008653A1 (en) | Object display device, object display method, and object display program | |
| WO2007007788A1 (en) | Color correction method and device | |
| JPWO2015145917A1 (en) | Image correction apparatus, image correction method, and program | |
| US20160286090A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP6311345B2 (en) | Image processing apparatus and program | |
| JP5824423B2 (en) | Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program | |
| CN105451008A (en) | Image processing system and color saturation compensation method | |
| JP2015171038A (en) | Image processing apparatus and method | |
| KR101509992B1 (en) | A method and apparatus for illuminant compensation based on highlight region selection | |
| JP2012028973A (en) | Illumination light estimation device, illumination light estimation method, and illumination light estimation program | |
| CN102265621B (en) | Image processing device, image processing method and storage medium | |
| WO2015125711A1 (en) | Image processing device and program | |
| JP6277768B2 (en) | Image processing apparatus and program | |
| US20180063380A1 (en) | Image processing device | |
| KR101212026B1 (en) | Apparatus and method for adaptively compositing image using chroma key | |
| US20240333863A1 (en) | Color matching control apparatus, control method therefor, and storage medium storing control program therefor | |
| JP2010081051A (en) | Method of converting color, color conversion device, and color conversion program | |
| JP2016218663A (en) | Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180305 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6311345 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |