JP4878097B2

JP4878097B2 - Image signal processing apparatus, operation processing method thereof, program, and storage medium

Info

Publication number: JP4878097B2
Application number: JP2001273011A
Authority: JP
Inventors: 善郎宇田川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-09-10
Filing date: 2001-09-10
Publication date: 2012-02-15
Anticipated expiration: 2021-09-10
Also published as: JP2003087814A

Description

【０００１】
【発明の属する技術分野】
本発明はデジタルカメラ、ビデオカメラなどの撮像装置の信号処理設定、特に画像の特殊効果を得る技術に関するものである。
【０００２】
【従来の技術】
従来の技術では、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を処理することにより、セピア効果を演出していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来技術では色差信号にて処理を行なうため、比較的処理が煩雑になってしまうという問題点が生じていた。
【０００４】
本発明は、この問題を解決し、簡単な回路構成で所定の色相のモノトーンカラー（セピア）画像を生成することを目的とする。
【０００５】
【課題を解決するための手段】
上述した目的を達成するために、本願発明によれば、通常処理モードと所定の色相のモノトーン画像を生成するセピアモードを有する撮像装置であって、
撮像手段と、前記撮像手段から得られたＲ，Ｇ，Ｂの各原色信号を輝度信号および色差信号に変換する変換手段と、前記色差信号の信号レベルの変更を行う変更手段と、前記変更手段により信号レベルが変更された色差信号及び前記輝度信号を前記各原色信号に再変換する再変換手段と、前記再変換された各原色信号をそれぞれ所定のレベルにクランプするクランプ手段と、前記通常モードの場合には、前記変更手段で前記色差信号の信号レベルを前記撮像手段のばらつきを調整する値に設定し、
前記セピアモードの場合には、前記変更手段で前記色差信号の信号レベルを０に設定して色のないモノトーン画像を生成させ、前記クランプ手段でクランプすることで所定の色相のモノトーン画像を生成させる制御手段と、を有することを特徴とする。
【０００６】
また、通常処理モードと所定の色相のモノトーン画像を生成するセピアモードを有する撮像装置の制御方法であって、前記撮像手段から得られたＲ，Ｇ，Ｂの各原色信号を輝度信号および色差信号に変換する変換工程と、前記色差信号の信号レベルの変更を行う変更工程と、前記変更手段により信号レベルが変更された色差信号及び前記輝度信号を前記各原色信号に再変換する再変換工程と、前記再変換された各原色信号をそれぞれ所定のレベルにクランプするクランプ工程と、を有し、前記通常モードの場合には、前記変更手段で前記色差信号の信号レベルを前記撮像手段のばらつきを調整する値に設定し、
前記セピアモードの場合には、前記変更手段で前記色差信号の信号レベルを０に設定して色のないモノトーン画像を生成させ、前記クランプ手段でクランプすることで所定の色相のモノトーン画像を生成させることを特徴とする。
【０００８】
【発明の実施の形態】
以下、撮像装置の一例として、静止画を撮影するデジタルカメラに関して説明する。当然のことながら、記録フォーマットは静止画でも良いし、動画でも良い。
【０００９】
図２は、本実施の形態におけるデジタルカメラのブロック図である。
【００１０】
図２において、レンズ光学系２０１は、フォーカスレンズ、ズームレンズを有し、被写体光を装置本体に入射させる。シャッタ（絞り兼用）２０２は、入射する被写体光の強さを調節する。撮像素子２０３は、ＣＣＤあるいはＣＭＯＳセンサなどによって構成され、入射した被写体光を電気的な信号に変換する。メモリ２０４は、ＲＡＭなどによって構成され、不図示のＡ／Ｄ変換器によってデジタル化された撮像素子２０３から出力される画像信号（ＲＧＢ信号）を一時的に記憶する。ＤＳＰ（Digital Signal Processor）２０５は、画像信号に対して後述する信号処理を施す。
【００１１】
メモリコントローラ２０６は、メモリ２０４，ＤＳＰ２０５，記録媒体２０８に対して、不図示のＡ／Ｄ変換器によってデジタル化された撮像素子２０３から出力される画像信号のやりとりを制御する。記録媒体２０７は、メモリコントローラを介して最終的に生成されたＪＰＥＧファイルなどの画像ファイルを格納する。システムコントロール回路２０８は、装置の全体を統括制御する。
【００１２】
すなわち、レンズ光学系２０１を介してシャッタ２０２により露出制御された被写体光は撮像素子２０３上に結像される。そして、撮像素子２０３から出力された画像信号はＡ／Ｄ変換されることによってデジタル信号としてメモリコントローラ２０６を介してメモリ２０４に取り込まれる。取り込まれた画像信号はＤＳＰ２０５を用いて信号処理され、圧縮処理などの処理を経て画像ファイルとして記録媒体２０７に記録されることとなる。これらの動作シーケンスはシステムコントローラー２０８が司ることになる。
【００１３】
図１は、ＤＣＰ２０５における処理を説明するために模式的に示したＤＣＰ２０５のブロック図である。ＤＣＰ２０５は、システムコントロール回路２０８の命令に従って動作する。
【００１４】
図１において、１０１は撮像素子２０３によって得られたＲＧＢ原色信号の入力ブロック、１０２は入力されたＲＧＢ信号に対して色再現補正を行なったのちに輝度・色差信号に変換するマトリクス処理ブロック１、１０３は色差信号のうちＲ−Ｙ信号についてのゲイン調整を行なう調整ブロック、１０４は色差信号のうちＢ−Ｙ信号についてのゲイン調整を行なう調整ブロック、１０５は輝度・色差信号からＲＧＢ信号に変換するマトリクス処理ブロック２、１０６はＲ信号のクランプ処理ブロック、１０７はＧ信号のクランプ処理ブロック、１０８はＢ信号のクランプ処理ブロック、１０９は階調補正のためのガンマブロック、１１０は色差信号のゲイン制御値を設定するブロック、１１１はクランプ処理ブロックに対して制御値を設定するクランプ設定ブロックである。
【００１５】
図３は、ＤＳＰ２０５の処理を説明するための動作処理フローチャートである。図１および図３を用いてＤＳＰ２０５の処理をセピアモードと通常処理モードとを対比しながら説明する。なお、ＤＳＰ２０５の処理動作はシステムコントロール回路２０８が行なうものとする。
【００１６】
まず、ステップ１０１において、ＭＴＸ１１０２は、以下に示す▲１▼，▲２▼式の演算処理によって、未処理のＲＧＢ信号１０１に対して、撮像素子２０３が有する色フィルターの特性を補正するとともに、ＲＧＢ信号１０１を輝度信号および色差信号に変換する。
【００１７】
【外１】

・・・▲１▼
【外２】

・・・▲２▼
ステップＳ１０２において、ユーザの操作により、ＤＳＰ２０５の処理モードがセピアモードになっているかどうかを判断する。通常モードであると判断した場合、ステップＳ１０６に進む。
【００１８】
ステップＳ１０６において、ゲイン制御ブロック１１０を制御することにより、色差信号の信号レベルを所定の値にセットするよう調整ブロック１０３，１０４を調節する。所定の値とは、各カメラに備えられる撮像素子２０３ごとのばらつきがなくなるように調整するための値であり、各カメラにおいてその設定値が異なる。
【００１９】
一方、ステップＳ１０２において、ＤＳＰ２０５の処理モードがセピアモードとなっている場合、通常モードで用いられたゲイン制御ブロック１１０および調整ブロック１０３，１０４を利用して、セピアモードではゲイン制御ブロック１１０の制御により色差信号の信号レベルを０に設定する。すなわち、セピアモードでは、ＭＴＸ２１０５に入力される画像信号は色のない白黒モノトーン画像である。
【００２０】
ステップＳ１０４に進み、輝度信号および色差信号は、ＭＴＸ２１０５の以下に示す式▲３▼の演算により、再びＲＧＢ信号に変換される。このとき変換されたＲＧＢ信号は、同一の信号レベルである。なお、ステップＳ１０７の通常モードの処理においても同様に輝度信号および色差信号からである。
【００２１】
【外３】

・・・▲３▼
そして、ステップＳ１０５に進み、画像にモノトーンの色をつけるために、クランプ１０６，１０７，１０８において、ＭＴＸ２１０５から出力されたＲ’’，Ｇ’’，Ｂ’’信号は、各色のクランプレベルを変化して処理される。
例えば画像を黄色系の色相のモノトーンカラーにしたい場合は
Ｒ’’’＝Ｒ’’
Ｇ’’’＝Ｇ’’
Ｂ’’’＝Ｂ’’−５０
となるように各色のクランプレベルを調節する。
また、例えば画像を緑色系の色相のモノトーンカラーにしたい場合は
Ｒ’’’＝Ｒ’’−５０
Ｇ’’’＝Ｇ’’
Ｂ’’’＝Ｂ’’−５０
となるように各色のクランプレベルを調節する。
また、例えば黄色中間色系の色相のモノトーンカラーにしたい場合は
Ｒ’’’＝Ｒ’’−５
Ｇ’’’＝Ｇ’’−１０
Ｂ’’’＝Ｂ’’−５０
となるように各色のクランプレベルを調節する。
【００２２】
なお、不図示のユーザーインターフェースおよび各色のクランプレベルに関する情報を格納するためのメモリを持てば、ユーザに上述した複数のモノトーンカラーを選択させることも可能である。
【００２３】
一方、ステップＳ１０８の通常モードでは、クランプ定数設定ブロック１１１の設定をシステムコントロール回路２０８の指示どおり実行し、ガンマ補正１０９に出力する。
【００２４】
そして、ガンマブロック１０９において階調特性が補正され出力される。なお本説明では、輪郭強調回路などの説明は、説明の簡略化のため省略している。
【００２５】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、インターネットなどのネットワークを介して画像信号処理装置に供給し、撮像装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【００２６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態のDSP２０５の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００２７】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００２８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００２９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００３０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明の撮像装置に不可欠なモジュールを、記憶媒体に格納することになる。
【００３１】
【発明の効果】
本発明によれば、通常の信号処理回路に特別な回路を付加することなく簡単に画像の特殊効果を実現できる。また画像の色相の変更も、特別な回路付加なく実現が容易である。
【図面の簡単な説明】
【図１】本願発明の実施の形態におけるDSP２０５の動作処理の模式的なブロック図。
【図２】本願発明の実施の形態における撮像装置のブロック図。
【図３】本願発明の実施の形態におけるDSP２０５の動作処理フローチャート。
【符号の説明】
１０２マトリクス処理ブロック１
１０３，１０４ゲイン調整ブロック
１０５マトリクス調整ブロック２
１０６，１０７，１０８クランプ処理ブロック
１１１クランプ設定ブロック
２０３撮像素子
２０６メモリコントローラ
２０８システムコントロール回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing setting of an imaging apparatus such as a digital camera or a video camera, and more particularly to a technique for obtaining a special effect of an image.
[0002]
[Prior art]
In the prior art, the sepia effect is produced by processing the color difference signals (RY, BY).
[0003]
[Problems to be solved by the invention]
However, in the prior art, since processing is performed using color difference signals, there has been a problem that processing becomes relatively complicated.
[0004]
An object of the present invention is to solve this problem and generate a monotone color (sepia) image having a predetermined hue with a simple circuit configuration.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, according to the present invention, there is provided an imaging apparatus having a normal processing mode and a sepia mode for generating a monotone image of a predetermined hue,
Imaging means, conversion means for converting the R, G, B primary color signals obtained from the imaging means into luminance signals and color difference signals, changing means for changing the signal level of the color difference signals, and the changing means Re-converting means for re-converting the color difference signal and the luminance signal whose signal levels have been changed by the above into the primary color signals, clamping means for clamping the re-converted primary color signals to predetermined levels, and the normal mode. In this case, the change unit sets the signal level of the color difference signal to a value for adjusting the variation of the imaging unit,
In the case of the sepia mode, to generate a monotone image without color to set the signal level of the color difference signal to zero at the changing means, to generate a monotone image of a predetermined color by clamping with the clamp means And control means.
[0006]
Also, there is provided a control method for an imaging apparatus having a normal processing mode and a sepia mode for generating a monotone image of a predetermined hue, wherein R, G, B primary color signals obtained from the imaging means are converted into luminance signals and color difference signals. A conversion step for converting the signal level of the color difference signal, a reconversion step for reconverting the color difference signal whose signal level has been changed by the changing means and the luminance signal into the primary color signals, A clamping step of clamping each of the reconverted primary color signals to a predetermined level, and in the normal mode, the signal level of the color difference signal is changed by the changing means in the imaging means. Set the value to be adjusted,
In the case of the sepia mode, to generate a monotone image without color to set the signal level of the color difference signal to zero at the changing means, to generate a monotone image of a predetermined color by clamping with the clamp means It is characterized by that.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a digital camera that captures a still image will be described as an example of an imaging apparatus. As a matter of course, the recording format may be a still image or a moving image.
[0009]
FIG. 2 is a block diagram of the digital camera in this embodiment.
[0010]
In FIG. 2, a lens optical system 201 includes a focus lens and a zoom lens, and makes subject light enter the apparatus main body. A shutter (also used as a diaphragm) 202 adjusts the intensity of incident subject light. The image sensor 203 is constituted by a CCD or CMOS sensor and converts incident subject light into an electrical signal. The memory 204 is configured by a RAM or the like, and temporarily stores an image signal (RGB signal) output from the image sensor 203 digitized by an A / D converter (not shown). A DSP (Digital Signal Processor) 205 performs signal processing to be described later on the image signal.
[0011]
The memory controller 206 controls exchange of image signals output from the image sensor 203 digitized by an A / D converter (not shown) with respect to the memory 204, the DSP 205, and the recording medium 208. The recording medium 207 stores an image file such as a JPEG file that is finally generated via the memory controller. A system control circuit 208 performs overall control of the entire apparatus.
[0012]
That is, the subject light whose exposure is controlled by the shutter 202 via the lens optical system 201 is imaged on the image sensor 203. Then, the image signal output from the image sensor 203 is A / D converted and taken into the memory 204 via the memory controller 206 as a digital signal. The captured image signal is subjected to signal processing using the DSP 205 and is recorded on the recording medium 207 as an image file through processing such as compression processing. These operation sequences are controlled by the system controller 208.
[0013]
FIG. 1 is a block diagram of the DCP 205 schematically shown to explain processing in the DCP 205. The DCP 205 operates according to instructions from the system control circuit 208.
[0014]
In FIG. 1, 101 is an input block for RGB primary color signals obtained by the

image sensor

203, 102 is a matrix processing block 1 for converting color RGB signals into luminance / color difference signals after performing color reproduction correction on the input RGB signals, 103 is an adjustment block that performs gain adjustment for the RY signal among the color difference signals, 104 is an adjustment block that performs gain adjustment for the BY signal among the color difference signals, and 105 is an RGB signal that converts the luminance / color difference signal. Matrix processing blocks 2 and 106 are R signal clamping processing blocks, 107 are G signal clamping processing blocks, 108 are B signal clamping processing blocks, 109 are tone correction gamma blocks, and 110 are color difference signal gain controls. Value setting block, 111 sets control value for clamp processing block That is a clamp setting block.
[0015]
FIG. 3 is an operation processing flowchart for explaining the processing of the DSP 205. The processing of the DSP 205 will be described using FIG. 1 and FIG. 3 while comparing the sepia mode and the normal processing mode. It is assumed that the processing operation of the DSP 205 is performed by the system control circuit 208.
[0016]
First, in step 101, the MTX1 102 corrects the characteristics of the color filter of the image sensor 203 with respect to the unprocessed RGB signal 101 by the arithmetic processing of the following formulas (1) and (2), The RGB signal 101 is converted into a luminance signal and a color difference signal.
[0017]
[Outside 1]

・・・ ▲ 1 ▼
[Outside 2]

・・・ ▲ 2 ▼
In step S102, it is determined by the user's operation whether the processing mode of the DSP 205 is the sepia mode. If it is determined that the normal mode is selected, the process proceeds to step S106.
[0018]
In step S106, the

control blocks

103 and 104 are adjusted so as to set the signal level of the color difference signal to a predetermined value by controlling the gain control block 110. The predetermined value is a value for adjusting so that there is no variation for each image sensor 203 provided in each camera, and the setting value is different in each camera.
[0019]
On the other hand, in step S102, when the processing mode of the DSP 205 is the sepia mode, the gain control block 110 and the adjustment blocks 103 and 104 used in the normal mode are used to control the gain control block 110 in the sepia mode. The signal level of the color difference signal is set to 0. That is, in the sepia mode, the image signal input to the MTX2 105 is a monochrome monotone image having no color.
[0020]
Proceeding to step S104, the luminance signal and the color difference signal are converted again into RGB signals by the calculation of the following equation (3) of MTX2 105. The RGB signals converted at this time have the same signal level. In the normal mode processing in step S107, the luminance signal and the color difference signal are similarly used.
[0021]
[Outside 3]

・・・ ▲ 3 ▼
In step S105, the R ″, G ″, and B ″ signals output from the MTX2 105 in the

clamps

106, 107, and 108 are used to set the clamp level of each color in order to add a monotone color to the image. Changed and processed.
For example, if you want to change the image to a yellowish monotone color, R '''=R''
G '''=G''
B '''=B''-50
Adjust the clamp level of each color so that
For example, when it is desired to change the image to a monotone color having a greenish hue, R ′ ″ = R ″ −50.
G '''=G''
B '''=B''-50
Adjust the clamp level of each color so that
For example, when it is desired to make a monotone color having a hue of yellow intermediate color, R ′ ″ = R ″ −5.
G '''=G''-10
B '''=B''-50
Adjust the clamp level of each color so that
[0022]
If a user interface (not shown) and a memory for storing information related to the clamp level of each color are provided, the user can select a plurality of monotone colors as described above.
[0023]
On the other hand, in the normal mode of step S108, the setting of the clamp constant setting block 111 is executed as instructed by the system control circuit 208 and output to the gamma correction 109.
[0024]
The gamma block 109 corrects the gradation characteristics and outputs them. In the present description, description of the edge enhancement circuit and the like is omitted for the sake of simplicity.
[0025]
As an example, the present invention supplies a program code of software that realizes the functions of the above-described embodiments to an image signal processing device via a network such as the Internet, and the computer (or CPU or MPU) of the imaging device stores the storage medium. This can be achieved by reading and executing the program code stored in.
[0026]
In this case, the program code itself read from the storage medium realizes the function of the DSP 205 of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
[0027]
As a storage medium for supplying the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0028]
Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. A case where part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.
[0029]
Further, after the program code read from the storage medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. The CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0030]
When the present invention is applied to the above-described storage medium, the storage medium stores program codes corresponding to the flowcharts described above. In brief, modules essential to the imaging apparatus of the present invention are stored. And stored in a storage medium.
[0031]
【Effect of the invention】
According to the present invention, special effects of an image can be easily realized without adding a special circuit to a normal signal processing circuit. The change of the hue of the image can be easily realized without adding a special circuit.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of operation processing of a DSP 205 in an embodiment of the present invention.
FIG. 2 is a block diagram of the imaging apparatus according to the embodiment of the present invention.
FIG. 3 is an operational processing flowchart of the DSP 205 in the embodiment of the present invention.
[Explanation of symbols]
102 Matrix processing block 1
103, 104 Gain adjustment block 105 Matrix adjustment block 2
106, 107, 108 Clamp processing block 111 Clamp setting block 203 Image sensor 206 Memory controller 208 System control circuit

Claims

An imaging apparatus having a normal processing mode and a sepia mode for generating a monotone image of a predetermined hue,
Imaging means;
Conversion means for converting R, G, B primary color signals obtained from the imaging means into luminance signals and color difference signals;
Changing means for changing the signal level of the color difference signal;
Re-converting means for re-converting the color difference signal and the luminance signal whose signal levels have been changed by the changing means into the primary color signals;
Clamping means for respectively clamping the reconverted primary color signals;
In the case of the normal mode, the change unit sets the signal level of the color difference signal to a value for adjusting the variation of the imaging unit,
In the case of the sepia mode, to generate a monotone image without color to set the signal level of the color difference signal to zero at the changing means, to generate a monotone image of a predetermined color by clamping with the clamp means Control means,
An imaging device comprising:

The control unit generates the monotone image of the predetermined hue by clamping each primary color signal reconverted and output by the re-converting unit to a predetermined level different from each other. The imaging device according to claim 1.

The control means controls the hue of a monotone image by changing a combination of levels to be clamped with respect to each primary color signal output after being reconverted by the reconversion means. Or the imaging device of 2.

A control method for an imaging apparatus having a normal processing mode and a sepia mode for generating a monotone image of a predetermined hue,
A conversion step of converting each of the primary color signals of R, G, B obtained from the imaging means into a luminance signal and a color difference signal;
A changing step of changing the signal level of the color difference signal;
A re-conversion step of re-converting the color difference signal whose signal level has been changed by the changing means and the luminance signal into the respective primary color signals;
A clamping step of clamping each of the reconverted primary color signals to a predetermined level,
In the case of the normal mode, the change unit sets the signal level of the color difference signal to a value for adjusting the variation of the imaging unit,
In the case of the sepia mode, to generate a monotone image without color to set the signal level of the color difference signal to zero at the changing means, to generate a monotone image of a predetermined color by clamping with the clamp means And a method of controlling the imaging apparatus.

A computer-executable program in which a procedure of a control method for an imaging apparatus according to claim 4 is described.

A computer-readable storage medium storing a program for causing a computer to execute each step of the control method of the imaging apparatus according to claim 4.