Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7224826B2 - Imaging control device, imaging control method, and program - Google Patents
[go: Go Back, main page]

JP7224826B2 - Imaging control device, imaging control method, and program - Google Patents

Imaging control device, imaging control method, and program Download PDF

Info

Publication number
JP7224826B2
JP7224826B2 JP2018177291A JP2018177291A JP7224826B2 JP 7224826 B2 JP7224826 B2 JP 7224826B2 JP 2018177291 A JP2018177291 A JP 2018177291A JP 2018177291 A JP2018177291 A JP 2018177291A JP 7224826 B2 JP7224826 B2 JP 7224826B2
Authority
JP
Japan
Prior art keywords
imaging
adjustment processing
adjustment
synthesizing
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018177291A
Other languages
Japanese (ja)
Other versions
JP2020048159A5 (en
JP2020048159A (en
Inventor
萌美 浦野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018177291A priority Critical patent/JP7224826B2/en
Publication of JP2020048159A publication Critical patent/JP2020048159A/en
Publication of JP2020048159A5 publication Critical patent/JP2020048159A5/ja
Application granted granted Critical
Publication of JP7224826B2 publication Critical patent/JP7224826B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、複数の画像を合成してダイナミックレンジの広い合成画像を得る技術に関する。 The present invention relates to a technique of synthesizing a plurality of images to obtain a synthetic image with a wide dynamic range.

近年、ネットワークカメラを利用した監視システムが広く普及している。ネットワークカメラは大規模な公共機関や量販店などにおける監視カメラとして幅広い分野で利用されているため、屋内および屋外などの照度差の大きな環境または照明が異なる環境などに対してダイナミックレンジの拡大が望まれている。特許文献1では、露出条件の異なる複数の画像を合成することでダイナミックレンジを拡大する技術(以降、WDR)が開示されている。
一方、複数の画像を合成する際に、それぞれに飽和領域が存在しないように合成前に撮影手段の露出を設定する方法が特許文献2で記載されている。
In recent years, surveillance systems using network cameras have become widespread. Network cameras are used in a wide range of fields as surveillance cameras in large-scale public institutions and mass retailers. It is rare. Japanese Patent Application Laid-Open No. 2002-200000 discloses a technique (hereinafter referred to as WDR) that expands the dynamic range by synthesizing a plurality of images with different exposure conditions.
On the other hand, Patent Document 2 describes a method of setting the exposure of a photographing means before synthesizing a plurality of images so that there is no saturated region in each image.

特許第3546853号Patent No. 3546853 特開2010-136239号公報JP 2010-136239 A

しかしながら、WDR撮影の様な画像合成について、特にユーザーの関心領域に合わせて露出設定や撮像パラメータ設定した場合に他の領域で白とび、黒つぶれ、階調とびなどの弊害が発生してしまう場合がある。その場合、ダイナミックレンジの拡大と全体の適正明るさの調整を両立することが困難である。
本発明は上記のような問題を改善することを目的としている。即ち、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる撮像制御装置を提供することを目的とする。
However, when synthesizing images such as WDR shooting, especially when exposure settings and imaging parameters are set according to the user's area of interest, problems such as blown-out highlights, blocked-up shadows, and blown-out gradation may occur in other areas. There is In that case, it is difficult to achieve both expansion of the dynamic range and adjustment of the overall appropriate brightness.
An object of the present invention is to improve the above problems. In other words, it is an object of the present invention to provide an imaging control apparatus that can easily achieve expansion of the dynamic range and adjustment of appropriate brightness of the screen.

前記課題を解決するために、本発明に係る撮像制御装置は、
露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有し、
前記調整処理手段における調整動作を事前に実行し、その結果に基づき、前記調整処理手段の調整範囲を制限するようにしたことを特徴とする。
In order to solve the above problems, an imaging control device according to the present invention includes:
an imaging means for imaging a plurality of images with different exposures;
a synthesizing means for synthesizing a plurality of images with different exposures captured by the imaging means;
adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and composition in the composition means;
detection means for detecting an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range by the adjustment processing means;
and a notification means for notifying the detection result of the detection means,
It is characterized in that the adjustment operation in the adjustment processing means is executed in advance, and the adjustment range of the adjustment processing means is limited based on the results.

本発明によれば、露出の異なる複数画像の合成画像に異常領域があっても、適宜確認しつつダイナミックレンジ調整が可能となり、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる。 According to the present invention, even if there is an abnormal area in a composite image of multiple images with different exposures, it is possible to adjust the dynamic range while appropriately confirming it. can.

第1実施例に係るシステム構成図。1 is a system configuration diagram according to a first embodiment; FIG. 第1実施例に係るカメラの機能ブロック図。1 is a functional block diagram of a camera according to a first embodiment; FIG. 第1実施例に係るビューワークライアントのブロック図。3 is a block diagram of the viewer client according to the first embodiment; FIG. 第1実施例に係るカメラサーバーの画像処理部のブロック図。4 is a block diagram of the image processing unit of the camera server according to the first embodiment; FIG. 第1実施例に係る処理のフローチャート。4 is a flowchart of processing according to the first embodiment; 第1実施例に係るユーザー操作画面を説明する図。FIG. 4 is a diagram for explaining a user operation screen according to the first embodiment; FIG. 第1実施例に係る図6のヒストグラムを説明する図。FIG. 7 is a diagram for explaining the histogram of FIG. 6 according to the first embodiment; 第1実施例に係るWDR合成を説明するブロック図。4 is a block diagram for explaining WDR combining according to the first embodiment; FIG. 第1実施例に係るガンマカーブを説明する図。FIG. 4 is a diagram for explaining a gamma curve according to the first example; 第1実施例に異常領域判定するための領域分割を説明する図。The figure explaining the area|region division for abnormal region determination to 1st Example. 第1実施例に係るユーザー操作画面を説明する図。FIG. 4 is a diagram for explaining a user operation screen according to the first embodiment; FIG. 第2実施例に係る処理のフローチャート。9 is a flowchart of processing according to the second embodiment; 第3実施例に係る露出と階調段差を説明する図。FIG. 11 is a diagram for explaining exposure and gradation steps according to the third embodiment; 第3実施例に係る露出と階調段差を説明する図。FIG. 11 is a diagram for explaining exposure and gradation steps according to the third embodiment; 第4実施例に係る処理のフローチャート。14 is a flowchart of processing according to the fourth embodiment; 第5実施例に係る処理のフローチャート。14 is a flowchart of processing according to the fifth embodiment;

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<第1実施例>
以下、図面を参照して説明する。以下の説明においては、本発明の一実施例としてネットワークカメラなどの撮像制御装置について説明する。なお、撮像制御装置は、ネットワークカメラに限らない。たとえば、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダなどを含む。あるいはカメラ付きタブレット端末、PHS、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮像機能を有する別の携帯の装置であってもよい。
図1は、本発明の第一実施例にかかわるネットワークカメラの概略構成の一例を示す図である。図1に示すように、ネットワークカメラ100はカメラサーバー110とビューワークライアント120とネットワーク130とを有している。カメラサーバー110とビューワークライアント120とは別々の装置であって通信路としてのネットワーク130を介して接続されている。
Preferred embodiments of the present invention are described in detail below with reference to the accompanying drawings.
<First embodiment>
Description will be made below with reference to the drawings. In the following description, an imaging control device such as a network camera will be described as an embodiment of the present invention. Note that the imaging control device is not limited to a network camera. Examples include digital single-lens reflex cameras, mirrorless single-lens cameras, compact digital cameras, and camcorders. Alternatively, it may be a tablet terminal with a camera, a PHS, a smart phone, a feature phone, a portable game machine, or another portable device having an imaging function.
FIG. 1 is a diagram showing an example of the schematic configuration of a network camera according to the first embodiment of the present invention. As shown in FIG. 1, the network camera 100 has a camera server 110, a viewer client 120 and a network . The camera server 110 and the viewer client 120 are separate devices and are connected via a network 130 as a communication channel.

カメラサーバー110はネットワーク130を介して、ネットワークカメラにより撮影(撮像)された画像の画像データを配信する。
ビューワークライアント120はカメラサーバー110にアクセスしてカメラの設定を変更し、当該カメラでの撮像の結果得られた画像データを処理し、あるいは蓄積された画像データなどを処理して、処理後の画像データに基づく画像の表示を行うものである。
ネットワーク130は、カメラサーバー110とビューワークライアント120とを通信可能に接続するものであり、例えば、Ethernet等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。なお、本実施例において、ネットワーク130はカメラサーバー110とビューワークライアント120との間の通信が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク130としては、インターネットからLANにいたるまで適用が可能である。
The camera server 110 distributes, via the network 130, image data of images shot (captured) by network cameras.
The viewer client 120 accesses the camera server 110 to change camera settings, processes image data obtained as a result of imaging by the camera, or processes accumulated image data, etc., to produce an image after processing. It displays an image based on data.
The network 130 connects the camera server 110 and the viewer client 120 so that they can communicate with each other. In this embodiment, the network 130 may have any communication standard, size, or configuration as long as communication between the camera server 110 and the viewer client 120 can be performed without any trouble. Therefore, the network 130 can be applied from the Internet to a LAN.

図2は、本実施例におけるカメラサーバー110の構成を示すブロック図である。
撮像光学系201は対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り、等から構成され被写体の光情報を後述の撮像素子部202へ集光する。撮像素子部202は、撮像光学系201にて集光された光情報を電気信号へと変換する素子でCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxicide Semiconductor)センサなどで構成され、カラーフィルタなどと組み合わせることで色情報を取得する。また、すべての画素に対して、任意の露出時間を設定可能な撮像センサとする。CPU(Central Processing Unit)203は、撮像制御装置の各構成の処理すべてに関わる制御を行うコンピュータとして機能し、記憶媒体としてのROM(Read Only Memory)204や、RAM(Random Access Memory)205に格納された命令(コンピュータプログラム)を順次に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部206は撮像光学系201に対して、フォーカスレンズを駆動しフォーカスを合わせる、絞りを調整するなどのCPU203から指示された制御を行う。
FIG. 2 is a block diagram showing the configuration of the camera server 110 in this embodiment.
An imaging optical system 201 is composed of an objective lens, a zoom lens, a focus lens, an optical diaphragm, and the like, and collects optical information of a subject onto an imaging element section 202, which will be described later. The imaging element unit 202 is an element that converts light information condensed by the imaging optical system 201 into an electric signal, and is configured by a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor or the like. By combining with , color information is obtained. In addition, the imaging sensor can set an arbitrary exposure time for all pixels. A CPU (Central Processing Unit) 203 functions as a computer that controls all the processing of each component of the imaging control apparatus, and is stored in a ROM (Read Only Memory) 204 and a RAM (Random Access Memory) 205 as storage media. It sequentially reads and interprets the given instructions (computer programs), and executes processing according to the results. In addition, the imaging system control unit 206 controls the imaging optical system 201 as directed by the CPU 203 such as driving the focus lens to adjust the focus and adjusting the aperture.

より詳細には、絞りの駆動制御はプログラムAE(Automatic Exposure)、シャッター速度優先AE、絞り優先AEなどに応じて変化する。即ち、ユーザーが設定する上記の撮影モードに応じて計算された露出値に基づいて行われる。また、CPU203はAE制御に併せてAF(Auto Focus)制御を行う。AF制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のAEおよびAFの構成および制御については周知であるため、ここでの詳細な説明は省略する。
撮像素子部202において光電変換されて得られた電気信号は、画像処理部207に入力される。画像処理部207では、後述の画像処理を行い、輝度信号Y、色差信号Cb,Crを生成する。
エンコーダ部208は、画像処理部207にて処理した画像データをJpegやH.264などの所定の圧縮フォーマットに変換する処理を行う。
通信部209は、ネットワーク130との通信の処理を行う。具体的には、ネットワーク130を経由して撮影された画像データをビューワークライアント120へ配信する。
また、ビューワークライアント120からのカメラ操作コマンドおよび指定した領域のガンマ特性の選択結果を受信し、それに対するレスポンスや画像データ以外の必要なデータの送受信を行う。
More specifically, aperture drive control changes according to program AE (Automatic Exposure), shutter speed priority AE, aperture priority AE, and the like. That is, it is performed based on the exposure value calculated according to the shooting mode set by the user. The CPU 203 also performs AF (Auto Focus) control in conjunction with AE control. An active method, a phase difference detection method, a contrast detection method, etc. are applied to the AF control. Since the configuration and control of this type of AE and AF are well known, detailed description thereof will be omitted here.
An electric signal obtained by photoelectric conversion in the image sensor unit 202 is input to the image processing unit 207 . The image processing unit 207 performs image processing, which will be described later, to generate a luminance signal Y and color difference signals Cb and Cr.
The encoder unit 208 converts the image data processed by the image processing unit 207 into JPEG or H.264 format. 264 or other predetermined compression format.
The communication unit 209 processes communication with the network 130 . Specifically, the captured image data is distributed to the viewer client 120 via the network 130 .
It also receives a camera operation command from the viewer client 120 and a selection result of the gamma characteristics of the specified area, and transmits and receives a response thereto and necessary data other than image data.

図3は、本実施例におけるビューワークライアント120の構成を示すブロック図である。
CPU301は、ビューワークライアント120における動作を統括的に制御するコンピュータである。ROM302は、CPU301が処理を実行するために必要な制御用コンピュータプログラム等を記憶する不揮発性メモリである。RAM303は、CPU301の主メモリ、ワークエリア等として機能する。すなわち、CPU301は、処理の実行に際してROM302から必要なプログラム等をRAM303にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
FIG. 3 is a block diagram showing the configuration of the viewer client 120 in this embodiment.
A CPU 301 is a computer that controls the operation of the viewer client 120 . A ROM 302 is a non-volatile memory that stores control computer programs and the like necessary for the CPU 301 to execute processing. A RAM 303 functions as a main memory, a work area, and the like for the CPU 301 . That is, the CPU 301 loads necessary programs and the like from the ROM 302 to the RAM 303 when executing processing, and executes various functional operations by executing the programs and the like.

HDD(Hard Disk Drive)304は、例えば、CPU301がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、HDD304には、例えば、CPU301がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
操作入力部305は電源ボタンやキーボードやマウスやタッチパネル等の操作デバイスからの入力部でありユーザーインターフェースとして機能する。通信部306は、ネットワーク130との通信の処理を行う。具体的には、例えば撮影された画像データをネットワーク130を経由してカメラサーバー110から受信する。また、カメラ操作コマンドをカメラサーバー110へ送信し、そのレスポンスや画像データ以外の必要なデータの受信などを行う。
表示部307は、カメラサーバー110の各種制御パラメータを入力するためのGUI(Graphical User Interface)などから構成される。ビューワークライアント120の各要素の一部または全部の機能は、CPU301がプログラムを実行することで実現することができる。ただし、ビューワークライアント120の各要素のうち少なくとも一部を専用のハードウェアとして構成してもよい。この場合、専用のハードウェアは、CPU301の制御に基づいて動作する。
A HDD (Hard Disk Drive) 304 stores, for example, various data and various information necessary when the CPU 301 performs processing using a program. The HDD 304 also stores various data, information, and the like obtained by the CPU 301 performing processing using programs and the like, for example.
An operation input unit 305 is an input unit from an operation device such as a power button, keyboard, mouse, or touch panel, and functions as a user interface. The communication unit 306 processes communication with the network 130 . Specifically, for example, captured image data is received from the camera server 110 via the network 130 . Also, it transmits a camera operation command to the camera server 110, and receives a response to the command and necessary data other than image data.
A display unit 307 includes a GUI (Graphical User Interface) for inputting various control parameters of the camera server 110, and the like. Some or all of the functions of each element of the viewer client 120 can be implemented by the CPU 301 executing a program. However, at least some of the elements of the viewer client 120 may be configured as dedicated hardware. In this case, the dedicated hardware operates under the control of the CPU 301 .

図4は本実施例の画像処理部207の内部ブロック図である。画像処理部207は現像処理部400とダイナミックレンジ拡張処理部410の2つのブロックに分かれている。現像処理部400は、撮像素子部202より入力された画像データに対して、レンズなど光学系の歪補正などを行う光学補正部401、センサのシェーディング補正などを行うセンサ補正部402を含む。更にゲイン調整を行うゲイン調整部403、ノイズリダクション処理を行うNR処理部404、WB(White Balance)の調整を行うWB調整部405を含む。また、ガンマ補正を行うガンマ補正部406、シャープネス処理を行うシャープネス処理部407、色処理を行う色処理部408、ヒストグラム解析処理部409などを含む。現像処理部400の出力は、メモリ420に蓄えられる。ダイナミックレンジ拡張処理部410は、ガンマ調整部411、WDR(Wide Dynamic Range)合成処理部412などを持ち、メモリ420に蓄えられた現像処理後の複数枚の画像を合成処理することで、ダイナミックレンジの広い画像を生成することができる。 FIG. 4 is an internal block diagram of the image processing unit 207 of this embodiment. The image processing unit 207 is divided into two blocks, a development processing unit 400 and a dynamic range extension processing unit 410 . The development processing unit 400 includes an optical correction unit 401 that performs distortion correction of an optical system such as a lens, and a sensor correction unit 402 that performs sensor shading correction and the like on image data input from the image sensor unit 202 . Further, it includes a gain adjustment unit 403 that performs gain adjustment, an NR processing unit 404 that performs noise reduction processing, and a WB adjustment unit 405 that performs WB (White Balance) adjustment. It also includes a gamma correction unit 406 that performs gamma correction, a sharpness processing unit 407 that performs sharpness processing, a color processing unit 408 that performs color processing, a histogram analysis processing unit 409, and the like. The output of development processing section 400 is stored in memory 420 . A dynamic range extension processing unit 410 includes a gamma adjustment unit 411, a WDR (Wide Dynamic Range) composition processing unit 412, and the like, and composites a plurality of developed images stored in a memory 420 to expand the dynamic range. wide image can be generated.

次に図5を用いて、ビューワークライアント120の動作フローについて説明する。まず、S501において、カメラサーバー110でWDR用の撮影をしWDR合成処理した合成画像をビューワークライアント120において表示する。WDR用の撮影の方法に関しては後述する。本ステップ以降においてビューワ―クライアント120から調整指示がカメラサーバー110にコマンドとして発行される。発行された調整の指示コマンドをカメラサーバー110が受信すると、画像調整フローが開始される。一方で、カメラサーバー110の画像配信は図5のフローの開始に限らず続けられる。
まず、S502において、ユーザーがビューワークライアント120で表示部307に表示された画像を見ながらWDR調整を指定する。WDR調整は、たとえば、複数の異なるカーブでガンマ変換するためのガンマテーブルを保持しておきそれらの中からガンマテーブルを選択することでWDRの強度を輝度に応じて指定してもよい。あるいは、gainレベルなどの他のカメラパラメータも同時に変更するようにしてもよい。図6は、撮影シーンの一例を表示しているUIを示しており、網掛けで示す窓601は外と室内602を含む範囲が撮影された画像が表示されている。
Next, the operation flow of the viewer client 120 will be described with reference to FIG. First, in S<b>501 , the camera server 110 captures images for WDR, and the viewer client 120 displays a composite image that has undergone WDR composition processing. A WDR shooting method will be described later. After this step, the viewer client 120 issues an adjustment instruction to the camera server 110 as a command. When the camera server 110 receives the issued adjustment instruction command, the image adjustment flow is started. On the other hand, the image distribution of the camera server 110 continues without being limited to the start of the flow in FIG.
First, in S<b>502 , the user designates WDR adjustment while viewing an image displayed on the display unit 307 using the viewer client 120 . For WDR adjustment, for example, gamma tables for performing gamma conversion with a plurality of different curves may be stored and a gamma table selected from among them to designate WDR intensity according to luminance. Alternatively, other camera parameters such as gain level may be changed at the same time. FIG. 6 shows a UI displaying an example of a shooting scene, and a shaded window 601 displays an image in which a range including the outside and a room 602 is shot.

窓601の枠の内側に示されている屋外の画像と窓601の枠の外側に示されている室内602、603の画像とは異なる光源の影響を受けており、窓601の枠の内側の画像領域と室内602,603の画像領域では輝度差が大きいとする。603は602に比べて601の外光の影響が少なく暗い環境である。また本ステップS502においては、ユーザーが図6(A)または(B)に示すようなGUIを用いてWDR調整レベルを選択する。ここで、選択の仕方は図6(A)のようにWDRのON、OFFスイッチをONにして、WDRレベル調整用のスライドバーで調整の強弱を設定できるようにしてもよい。あるいは図6(B)のようなメニュー選択によって、WDRのON、OFFの選択や、WDRをONした状態で、更にプルダウンメニュー等によって数段階のレベル設定の中から一つを選択してもよいがこれらの方法に限定されない。また、選択された調整レベルを通信部からコマンドとしてカメラサーバー110側へ送信する。
ここで、WDRの合成処理およびWDR調整について本実施例では図7~9を用いて説明するが、これに限定されない。
本実施例では、露出アンダーの画像(アンダー露出画像)、適正な露出の画像(適正露出画像)、露出オーバーの画像(オーバー露出画像)の、3種類の露出の画像を3枚撮影したのちにこれらを合成している。それぞれの露出時間はWDR調整の強度に応じて変更可能となっている。
The outdoor image shown inside the frame of the window 601 and the indoor images 602 and 603 shown outside the frame of the window 601 are affected by different light sources. Assume that there is a large luminance difference between the image area and the image areas of the rooms 602 and 603 . 603 is a dark environment in which the external light of 601 is less affected than 602 . Also, in this step S502, the user selects a WDR adjustment level using a GUI as shown in FIG. 6(A) or (B). Here, as for the method of selection, as shown in FIG. 6A, the WDR ON/OFF switch may be turned ON so that the level of adjustment can be set with a slide bar for WDR level adjustment. Alternatively, WDR may be turned ON or OFF by selecting a menu as shown in FIG. 6B, or one of several level settings may be selected using a pull-down menu or the like while WDR is ON. are not limited to these methods. Also, the selected adjustment level is transmitted from the communication unit to the camera server 110 side as a command.
Here, the WDR synthesis processing and WDR adjustment will be described in this embodiment with reference to FIGS. 7 to 9, but the present invention is not limited to this.
In this embodiment, three images are taken with three types of exposure: an underexposed image (underexposed image), a properly exposed image (appropriately exposed image), and an overexposed image (overexposed image). are synthesizing these. Each exposure time can be changed according to the intensity of WDR adjustment.

図7は、図6のシーンにおける各画像のヒストグラムを示している。アンダー露出画像のヒストグラムを701、適正露出画像のヒストグラムを702、オーバー露出画像のヒストグラムを703に示す。適正露出は、画像上で広い範囲を占める室内光に対して適正な露出となっている。また、オーバー露出は、図6の網掛けで示される窓の外に露出があっている。
図8は、合成処理を説明するブロック図である。前述のとおり露出の異なる3つの画像に対して、ガンマ補正部406において図9で後述するようなガンマ補正をそれぞれ行った後にいったん図4のメモリ420に保持される。保持された画像に対して、前述のWDR合成処理部412において、階調補正として所定値のオフセット加算もしくは階調の伸長処理を行う。次に、それぞれの画像が加算され合成される。合成されたのちに、前述のガンマ調整部411においてガンマ調整が行われ出力画像として出力される。
FIG. 7 shows histograms for each image in the scene of FIG. 701 shows the histogram of the underexposed image, 702 shows the histogram of the properly exposed image, and 703 shows the histogram of the overexposed image. Appropriate exposure is proper exposure for room light that occupies a wide range on the image. Also, overexposure is exposure outside the window indicated by hatching in FIG.
FIG. 8 is a block diagram for explaining the synthesizing process. As described above, the three images with different exposures are temporarily stored in the memory 420 shown in FIG. 4 after being subjected to gamma correction as will be described later with reference to FIG. The WDR synthesis processing unit 412 described above performs offset addition of a predetermined value or gradation expansion processing as gradation correction on the held image. Each image is then added and combined. After being synthesized, gamma adjustment is performed in the gamma adjustment unit 411 described above and output as an output image.

図9(A)に露出の異なる3種類の画像にガンマ補正部406によってそれぞれ適用されるガンマ曲線を示す。ガンマ曲線は、入力輝度に対する出力輝度信号の入出力特性を示しており、アンダー露出画像に適用されるガンマ曲線901、適正露出画像に適用されるガンマ曲線902、オーバー露出画像に適用される903を示している。横軸の入力は、各画像の露出差を考慮した値になっている。縦軸は8ビットの出力値である。出力値の上限はこれに限らない。まず、WDR調整がなされなかった場合の合成結果を図9(B)に示す。図9(A)に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって256オフセット加算され、オーバー露出のガンマ曲線はオフセット加算によって512オフセットされ加算されることで、図9(B)において910に示す特性を示す。この特性では、オーバー露出の画像は出力輝度512~767の範囲で出力される。この図9(B)に示される合成画像の再現域では、入力階調に対する出力階調の連続性が保たれている、一方、特にダイナミックレンジの狭い表示装置において明部が潰れてしまう場合がある。 FIG. 9A shows gamma curves applied by the gamma correction unit 406 to three types of images with different exposures. The gamma curves show the input/output characteristics of the output luminance signal with respect to the input luminance. showing. The input on the horizontal axis is a value that considers the exposure difference of each image. The vertical axis is an 8-bit output value. The upper limit of the output value is not limited to this. First, FIG. 9B shows the synthesis result when WDR adjustment is not performed. With respect to the gamma curve shown in FIG. 9(A), the proper exposure gamma curve is offset by 256 offset additions, and the overexposure gamma curve is offset by 512 offset additions and added, resulting in FIG. 9(B) shows the characteristics shown in 910. With this characteristic, an overexposed image is output in an output luminance range of 512-767. In the reproduction area of the synthesized image shown in FIG. 9B, the continuity of the output gradation with respect to the input gradation is maintained. be.

次に、本実施例のWDR調整において、オーバー露出画像を調整する場合の合成結果を図9(C)に示す。もちろん、用意する所定の調整テーブルはこれに限らず、アンダー露出画像を対象とするもの、すべての露出画像を対象とするもの、またゲイン調整などを加えてテーブル作成してもよい。図9(A)に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって256オフセット加算される(920のカーブ)。一方、オーバー露出画像は、オフセット加算ではなくガンマの伸長処理によって921のa~dに示すような特性を選択可能にしている。これにより、オーバー露出画像の明暗差が大きくなり、ダイナミックレンジの狭い表示装置においてもユーザーが選択したガンマ特性によって視認性を広げることができる。
本実施例では、撮影エリア全体を合成するが、これに限らず撮影される画像エリアの少なくとも一部でももちろんよい。また、合成方法に関しては、異なる露出の複数の画像を所定の露出の度合で分類し、暗部領域においては適性露出と露出オーバーの階調が足し合わされ、明部領域においては適性露出と露出アンダーの階調が足しあわされるようにしてもよい。
Next, in the WDR adjustment of this embodiment, FIG. 9(C) shows the composition result when adjusting the overexposed image. Of course, the predetermined adjustment table to be prepared is not limited to this, and a table for underexposed images, a table for all exposed images, gain adjustment, etc., may be added to create a table. With respect to the gamma curve shown in FIG. 9A, 256 offsets are added to the gamma curve for proper exposure by offset addition (curve 920). On the other hand, for the overexposed image, the characteristics shown in 921a to 921d can be selected by gamma expansion processing instead of offset addition. As a result, the brightness difference of the overexposed image is increased, and the visibility can be expanded by the gamma characteristic selected by the user even on a display device with a narrow dynamic range.
In this embodiment, the entire photographing area is combined, but the present invention is not limited to this, and at least a part of the photographed image area may of course be used. Regarding the composition method, multiple images with different exposures are classified according to a predetermined degree of exposure. The gradations may be added together.

さらに、ビューワークライアント120はカメラサーバー110に対して指示を出して、ガンマ調整以外の画像処理をさせてもよい。例えば、ホワイトバランス調整、ノイズリダクション処理やシャープネス処理、コントラスト調整、彩度調整も異なる露出画像ごとに処理設定を変えてもよい。
また、本実施例ではビューワークライアント120はカメラサーバー110に対して指示を出すことによって、WDR調整レベルに応じたテーブルを選択する。即ち図9(C)a~dに示すようにガンマ調整部411でガンマレベルを変更するために所定の複数のガンマテーブルの中から一つのガンマテーブルを選択する。なお、合成前の画像への階調の伸長処理を行うテーブルを複数用意して選択するようにしてもよい。
次に、図5に戻り、S503で異常領域が有るか判定をする。そのために、ビューワークライアント120はヒストグラム解析処理部409に対して指示をすることによって、合成後の画像に対してヒストグラム解析を行う。本ステップでは、図10のように合成画像に対してブロックで区切られた各ブロックのヒストグラムを作成する。本実施例において、解像度は、1920×1080であり、64×36のブロックに分割するが各ブロックの大きさはこの大きさより小さくても大きくてもよい。この分割したブロックのヒストグラム結果から異常領域を判定する。ここで、異常領域とは合成後の画像の各画素または分割したブロックに画像としての異常な情報が含まれる領域を意味する。例えば、白飛びのように輝度が極端に高い画素、または、黒潰れのように輝度が極端に低い画素は異常となる。一方、極端に高い輝度と極端に低い輝度との間の所定の適正範囲内の輝度を有する画素または分割ブロックは、有効な(異常でない)画素またはブロックと判断される。異常領域が検出されなければS506に移行する。
Furthermore, the viewer client 120 may instruct the camera server 110 to perform image processing other than gamma adjustment. For example, white balance adjustment, noise reduction processing, sharpness processing, contrast adjustment, and saturation adjustment may be changed for each exposed image.
Also, in this embodiment, the viewer client 120 selects a table corresponding to the WDR adjustment level by issuing an instruction to the camera server 110 . That is, one gamma table is selected from a plurality of predetermined gamma tables in order to change the gamma level in the gamma adjusting section 411 as shown in FIGS. It should be noted that a plurality of tables may be prepared for performing tone decompression processing on an image before synthesis, and selection may be made.
Next, returning to FIG. 5, it is determined whether there is an abnormal area in S503. Therefore, the viewer client 120 instructs the histogram analysis processing unit 409 to perform histogram analysis on the combined image. In this step, as shown in FIG. 10, a histogram of each block divided into blocks is created for the synthesized image. In this embodiment, the resolution is 1920.times.1080 and is divided into 64.times.36 blocks, but the size of each block may be smaller or larger than this size. An abnormal area is determined from the histogram result of this divided block. Here, the abnormal region means a region in which each pixel or divided block of the synthesized image contains abnormal information as the image. For example, a pixel with extremely high luminance such as overexposed highlights or a pixel with extremely low luminance such as underexposed black is abnormal. On the other hand, pixels or divided blocks having luminance within a predetermined proper range between extremely high luminance and extremely low luminance are determined to be valid (non-abnormal) pixels or blocks. If no abnormal area is detected, the process proceeds to S506.

続いて、S504ではS503で異常領域が有ると判定された場合に、ビューワークライアント120で異常領域を強調して視認可能に表示しユーザーへ通知する。図11にUIの表示例を示す。表示画面の画像上に前述のS503で異常領域と判定されたブロックの範囲を網掛けや斜線などで重畳する。あるいは点滅させて重畳画像と重畳無画像を切り替えて表示してもよいし、点線や赤色や太枠などの枠で異常領域を囲ってもよい、また、画像上または図11の右側に示されるように、設定画面上に文字やメッセージで通知してもよい。さらに、ビューワークライアント120から警告音を発報してもよい。
S505では、S504において異常領域が表示、通知された場合に、表示された画像の状態を判断してユーザーがOKとするかNGとするかを判定する。NGであればS502に戻りWDR調整レベルの設定を変更する。異常領域は存在するが注目したい領域が所望の適正状態で表示されていればOKと判断して、S506に進みWDR調整レベルの設定を変更せずに画像表示を行う。
これにより、ユーザーが異常領域を把握したうえで、WDR調整レベルを適宜設定可能とすることで、異常領域がない所望の画像をユーザーが得ることができる。または、一部に異常領域があっても所望のダイナミックレンジの有する画像を得ることができる。したがって、ユーザーの必要としている輝度領域を適切に階調表現することができ監視に適した画像を提供できる。
Subsequently, in S504, when it is determined in S503 that there is an abnormal area, the viewer client 120 emphasizes and visually displays the abnormal area and notifies the user. FIG. 11 shows a display example of the UI. The range of the block determined to be the abnormal area in the aforementioned S503 is superimposed on the image of the display screen by hatching or oblique lines. Alternatively, the superimposed image and the non-superimposed image may be displayed by switching between the superimposed image and the non-superimposed image by blinking, or the abnormal region may be surrounded by a frame such as a dotted line, red, or thick frame. You may notify by a character or a message on the setting screen. Furthermore, the viewer client 120 may issue a warning sound.
In S505, when an abnormal area is displayed and notified in S504, the state of the displayed image is determined to determine whether the user accepts or rejects the image. If NG, the process returns to S502 to change the setting of the WDR adjustment level. If an abnormal area exists but the area of interest is displayed in a desired proper state, it is determined that it is OK, and the process proceeds to S506 to perform image display without changing the setting of the WDR adjustment level.
Accordingly, the user can obtain a desired image without an abnormal area by enabling the user to grasp the abnormal area and appropriately set the WDR adjustment level. Alternatively, an image with a desired dynamic range can be obtained even if there is an abnormal area in part. Therefore, it is possible to appropriately express the luminance region required by the user, and to provide an image suitable for monitoring.

<第2実施例>
次に、第2の実施例について図12を用いて説明する。図5と同じステップは同じ動作をするものとする。
第1実施例では、WDR調整レベルに応じて所定の複数のテーブルから1つのテーブルを選択する例を説明した。しかし、本実施例では輝度領域を表示し、その中からWDR調整用の領域を指定し、指定した領域の階調が優先的に広くなるようにWDR調整レベルを設定する。
<Second embodiment>
A second embodiment will now be described with reference to FIG. It is assumed that the same steps as in FIG. 5 perform the same operations.
In the first embodiment, an example has been described in which one table is selected from a plurality of predetermined tables according to the WDR adjustment level. However, in this embodiment, a luminance area is displayed, an area for WDR adjustment is designated from the luminance area, and the WDR adjustment level is set so that the gradation of the designated area is preferentially widened.

S5010において、WDR合成の際に取得する図7で示すヒストグラム結果から、複数の露出で撮影した画像を合成するための区分けされた輝度領域マップを画像上に重畳する。具体的には例えば図6の601,602,603のような輝度レベルに応じて区分けした輝度領域の表示をする。その状態において、S5011において、ユーザーが調整したいエリアの一点または矩形エリアでWDR調整用の領域を設定する。上記のように輝度領域を表示した状態で、ユーザーの設定したWDR調整用の矩形領域が複数のエリアにまたがる場合には、複数の輝度領域にまたがってしまっている事をユーザーへ通知する。更には、領域の選択のやり直しを促すようにしてもよい。通知はメッセージでもよいし、またがってしまっている両方の領域を点滅させたり色を変えさせたりさせるような強調表示をしてもよい。また、ユーザーが指定した矩形の中で複数のエリアにまたがらず最大の面積となる矩形を自動的に設定するように構成してもよい。
ここで、S5010で表示される画像は、図6に示すように合成後の画像を表示してもよいし、あるいは合成前の画像を表示してもよい。なお、本実施例では、露出アンダーの画像、適正な露出の画像、露出オーバーの画像の3種類の露出条件で撮影したのちにその3枚の画像を合成するものとする。
In S5010, based on the histogram results shown in FIG. 7 obtained during WDR synthesis, a divided luminance area map for synthesizing images shot with multiple exposures is superimposed on the image. Specifically, for example, luminance areas 601, 602, and 603 in FIG. 6, which are divided according to the luminance level, are displayed. In this state, in S5011, the user sets a region for WDR adjustment by one point or a rectangular area in the area to be adjusted. When the rectangular area for WDR adjustment set by the user extends over a plurality of areas while the luminance areas are displayed as described above, the user is notified that the area extends over a plurality of luminance areas. Furthermore, it may be possible to prompt the user to redo the selection of the area. The notification can be a message, or a highlight that causes both straddling areas to flash or change color. Further, it may be configured such that, among the rectangles specified by the user, a rectangle having the maximum area without spanning a plurality of areas is automatically set.
Here, the image displayed in S5010 may be an image after synthesis as shown in FIG. 6, or may be an image before synthesis. Note that, in this embodiment, after photographing under three types of exposure conditions, that is, an underexposed image, a properly exposed image, and an overexposed image, the three images are synthesized.

S5011で指定したWDR調整用の領域を優先したWDR調整レベルの方法に関しては第1実施例とほぼ同様な方法で処理する。更に、ガンマテーブルおよび他のカメラパラメータ設定によって、ユーザーが指定したエリアの階調を優先的に広げるように調整を行う。
これにより、ユーザーが所望の輝度領域に対して優先的に広いダイナミックレンジを割り当てることができ、画像調整することができる。しかもWDR調整をしつつ異常領域の発生の有無を確認することができる。
As for the WDR adjustment level method that gives priority to the WDR adjustment area designated in S5011, processing is performed in substantially the same manner as in the first embodiment. In addition, the gamma table and other camera parameter settings are adjusted to preferentially widen the gradation of areas specified by the user.
As a result, the user can preferentially assign a wide dynamic range to a desired luminance region, and adjust the image. Moreover, it is possible to confirm whether or not an abnormal region is generated while adjusting the WDR.

<第3実施例>
第1、第2実施例ではガンマテーブルの調整を中心に説明したが、更にWDR合成の元となる複数フレームの露出条件を調整してもよい。
即ち、ビューワークライアント120におけるWDR調整の強度変更があると、カメラサーバー110で複数種類の露出条件で複数画像を撮像させる際の前記それぞれの画像の露出条件(例えば露出時間や絞りや感度など)を変更する。あるいは複数の露出条件の組み合わせを変更したり、上記複数種類の露出の段差の重なり量など変更したりできるようにする。また前記WDR調整用の領域の階調を優先的に広げるようにしたり、ガンマカーブもそれに合わせて変更したりする。なお、WDR調整の強度変更に伴って、異なる露出の数を上記のように3種類ではなく4種類にしたり、逆に2種類にしたりして変更してもよい。
例えば図13、図14は入力階調のギャップについて説明した図である。図13、図14では長秒時の画像aと短秒時の画像a´が4ビット分重なっている例を示している。また、長秒時の画像bと短秒時の画像b´は2ビット分重なっている。一方長秒時の画像cと短秒時の画像c´は重なっておらずギャップが生じている例を示している。図14(A)、図14(B)、図14(C)の順にWDR強度が強くなっている。そして上記のように撮像時の露出条件まで変更できるようにしてWDR調整の強度変更の範囲を広げた場合には、図14(C)のように入力階調にギャップが生じる。したがって、これに伴って異常領域が生じたら、ビューワークライアント120側などで異常領域を枠や点滅などによって強調表示する。
<Third embodiment>
In the first and second embodiments, the adjustment of the gamma table has been mainly described, but the exposure conditions of a plurality of frames that are the basis of WDR synthesis may also be adjusted.
That is, when there is a change in the intensity of WDR adjustment in the viewer client 120, the exposure conditions (for example, exposure time, aperture, sensitivity, etc.) of each image when capturing a plurality of images under a plurality of types of exposure conditions in the camera server 110 are changed. change. Alternatively, it is possible to change the combination of a plurality of exposure conditions, or to change the overlapping amount of steps of the plurality of types of exposure. Also, the gradation of the area for WDR adjustment is preferentially widened, and the gamma curve is changed accordingly. It should be noted that the number of different exposures may be changed to four instead of three as described above, or conversely to two, in accordance with the change in intensity of WDR adjustment.
For example, FIGS. 13 and 14 are diagrams explaining gaps in input gradation. FIGS. 13 and 14 show an example in which the image a for a long time and the image a' for a short time are overlapped by 4 bits. Further, the image b in the long-exposure period and the image b' in the short-exposure period overlap by 2 bits. On the other hand, an example is shown in which the image c at the long exposure time and the image c' at the short exposure time do not overlap and a gap is generated. The WDR intensity increases in the order of FIG. 14(A), FIG. 14(B), and FIG. 14(C). When the WDR adjustment intensity change range is expanded by making it possible to change even the exposure conditions at the time of imaging as described above, a gap occurs in the input gradation as shown in FIG. 14(C). Therefore, if an abnormal area occurs along with this, the abnormal area is highlighted by a frame, blinking, or the like on the viewer client 120 side or the like.

<第4実施例>
図15は第4実施例を説明するフローチャートであり、図12と同じ符番のステップは同じ動作をする。図15において、異常領域判定S503において、異常領域が検出され、S504で異常領域を表示した後、S505でユーザー判定がOKでなかった場合には、S502に戻る前にS5051でWDR調整指定を一つ前の状態に戻す。即ち、異常領域がなかった状態のWDR調整指定に一旦戻す。
<第5実施例>
図16は第5実施例を説明するフローチャートであり、図15と同じ符番のステップは同じ動作をする。図16において、S5012はWDR調整可能な範囲を端から端までパラメータを変更しつつ事前に自動的にスキャンする。S5013で異常領域があるか否かをS503と同様に判断し、もし異常領域がなければS5014に進みWDR調整可能な範囲をフルレンジで表示し、WDR調整の入力を受け付ける。一方S5013で異常領域があると判断された場合には、S5015に進み異常領域が発生しないWDR調整可能な範囲のみを表示するように制限し、その範囲のWDR調整の入力のみを受け付ける。
これにより、異常領域が発生しない設定パラメータをユーザーに表示することができ、ユーザーは安心してS502で設定パラメータを変更することができる。
なお、S502でWDR調整をした後、S503で再度異常領域があるか否かを判断しそれ以降第4実施例と同様の制御をするが、これは周囲の明るさが急に変動した場合に備えたフローである。
<Fourth embodiment>
FIG. 15 is a flow chart for explaining the fourth embodiment, and steps with the same numbers as in FIG. 12 perform the same operations. In FIG. 15, after the abnormal area is detected in the abnormal area determination S503 and the abnormal area is displayed in S504, if the user determination is not OK in S505, the WDR adjustment designation is temporarily set in S5051 before returning to S502. return to the previous state. That is, the WDR adjustment specification is temporarily returned to the state in which there was no abnormal area.
<Fifth embodiment>
FIG. 16 is a flow chart for explaining the fifth embodiment, and steps with the same numbers as in FIG. 15 perform the same operations. In FIG. 16, S5012 automatically pre-scans the WDR adjustable range from end to end while changing parameters. In S5013, it is determined whether or not there is an abnormal area in the same manner as in S503. If there is no abnormal area, the process advances to S5014 to display the WDR adjustable range in full range and accept input for WDR adjustment. On the other hand, if it is determined in S5013 that there is an abnormal area, the process advances to S5015 to limit the display to only the WDR adjustable range in which no abnormal area occurs, and accepts only WDR adjustment input within that range.
As a result, setting parameters that do not cause an abnormal region can be displayed to the user, and the user can change the setting parameters in S502 with peace of mind.
After the WDR is adjusted in S502, it is determined whether or not there is an abnormal area again in S503, and the same control as in the fourth embodiment is performed thereafter. It is a flow with.

なお、以上の実施例等においては、ユーザー側に合成画像を表示し、その表示内容に基づきWDR調整をし、露出条件やガンマ等の指定をコマンドによってビューワークライアント120からカメラサーバー110へ通知していた。それにより、コマンドの内容を反映したWDR調整後の合成画像をカメラサーバー110からビューワークライアント120へ配信し、ビューワークライアント120で表示していた。すなわちカメラサーバー110の装置内に合成処理部を配置していた。しかしカメラサーバー110から合成前の画像をビューワークライアント120に配信し、ビューワークライアント120において表示させてから、ビューワークライアント120において合成処理を行うように構成してもよい。あるいはビューワークライアント120において合成処理をしてから表示させるようにしてもよい。即ちビューワークライアント120の装置内に合成処理部を配置してもよい。この場合コマンドの通信の手間が省けるため、ユーザーの選択結果を短い時間で確認することが可能となる。 In the above-described embodiments and the like, a composite image is displayed on the user side, WDR is adjusted based on the displayed content, and designation of exposure conditions, gamma, etc. is notified from the viewer client 120 to the camera server 110 by means of commands. rice field. As a result, a composite image after WDR adjustment reflecting the content of the command is distributed from the camera server 110 to the viewer client 120 and displayed on the viewer client 120 . That is, the synthesizing processing unit is arranged in the device of the camera server 110 . However, the camera server 110 may deliver an image before composition to the viewer client 120, display the image on the viewer client 120, and then perform composition processing on the viewer client 120. FIG. Alternatively, the viewer client 120 may display the images after combining them. That is, the synthesizing unit may be arranged in the viewer client 120 device. In this case, since the trouble of command communication can be saved, the user's selection result can be confirmed in a short time.

上述の実施例では、説明の簡便のため3つの輝度領域についてマップを作成する例を主体として説明しているが、3つに限らないことは言うまでもない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
In the above-described embodiment, for the sake of simplicity of explanation, an example in which maps are created for three luminance regions has been mainly described, but it is needless to say that the number of luminance regions is not limited to three.
The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.

110 カメラサーバー
120 ビューワークライアント
201 撮像光学系
202 撮像素子部
207 画像処理部
400 現像処理部
410 ダイナミックレンジ拡張処理部
411 ガンマ調整部
412 WDR合成処理部
110 camera server 120 viewer client 201 imaging optical system 202 image sensor unit 207 image processing unit 400 development processing unit 410 dynamic range expansion processing unit 411 gamma adjustment unit 412 WDR synthesis processing unit

Claims (18)

露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有し、
前記調整処理手段における調整動作を事前に実行し、その結果に基づき、前記調整処理手段の調整範囲を制限するようにしたことを特徴とする撮像制御装置。
an imaging means for imaging a plurality of images with different exposures;
a synthesizing means for synthesizing a plurality of images with different exposures captured by the imaging means;
adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and composition in the composition means;
detection means for detecting an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range by the adjustment processing means;
and a notification means for notifying the detection result of the detection means,
An imaging control apparatus, wherein an adjustment operation in said adjustment processing means is executed in advance, and based on the result thereof, an adjustment range of said adjustment processing means is limited.
露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有し、
前記調整処理手段は、ダイナミックレンジを調整した結果前記合成手段により得られる画像において、階調に関する異常を含む領域を前記検出手段が検出した場合に、前記調整処理手段により調整されたダイナミックレンジをもとに戻すことを特徴とする撮像制御装置。
an imaging means for imaging a plurality of images with different exposures;
a synthesizing means for synthesizing a plurality of images with different exposures captured by the imaging means;
adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and composition in the composition means;
detection means for detecting an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range by the adjustment processing means;
and a notification means for notifying the detection result of the detection means,
The adjustment processing means reproduces the dynamic range adjusted by the adjustment processing means when the detection means detects an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range. An imaging control device characterized by returning to and.
前記合成手段により得られる前記画像のうち輝度レベルに応じた領域を区別して表示する表示手段を有することを特徴とする請求項1又は2に記載の撮像制御装置。 3. The imaging control apparatus according to claim 1, further comprising display means for distinguishing and displaying a region corresponding to a brightness level in said image obtained by said synthesizing means . 前記表示手段に表示された画像の中の所定の領域を設定するための領域設定手段を有し、前記調整処理は、前記領域設定手段によって設定された領域におけるダイナミックレンジを広げるように調整することを特徴とする請求項3に記載の撮像制御装置。 An area setting means is provided for setting a predetermined area in the image displayed on the display means, and the adjustment processing is performed so as to widen the dynamic range in the area set by the area setting means. 4. The imaging control device according to claim 3, characterized by: 前記領域設定手段はユーザーインターフェースを含むことを特徴とする請求項4に記載の撮像制御装置。 5. The imaging control apparatus according to claim 4, wherein said area setting means includes a user interface. 前記露出の異なる複数の画像にそれぞれ異なるガンマ補正をするための複数のガンマ補正手段を有することを特徴とする請求項1から5のいずれか一項に記載の撮像制御装置。 6. The imaging control apparatus according to claim 1, further comprising a plurality of gamma correction means for applying different gamma corrections to the plurality of images having different exposures. 前記合成手段により得られる前記画像のうち輝度レベルに応じた領域ごとに画像処理パラメータの設定を受付ける受付手段を有することを特徴とする請求項3から6のいずれか一項に記載の撮像制御装置。 7. The imaging control apparatus according to any one of claims 3 to 6, further comprising receiving means for receiving setting of an image processing parameter for each area corresponding to a luminance level of said image obtained by said synthesizing means. . 少なくとも前記撮像手段と前記調整処理手段とは別々の装置内に配置され、両方の装置は通信路を介して互いに接続されていることを特徴とする請求項1から7のいずれか一項に記載の撮像制御装置。 8. The apparatus according to any one of claims 1 to 7, wherein at least said imaging means and said adjustment processing means are arranged in separate devices, and both devices are connected to each other via a communication path. imaging control device. 前記調整処理手段における調整動作を事前に実行し、その結果に基づき、前記調整処理手段の調整範囲を制限するようにしたことを特徴とする請求項2に記載の撮像制御装置。 3. The imaging control apparatus according to claim 2, wherein an adjustment operation in said adjustment processing means is performed in advance, and the adjustment range of said adjustment processing means is limited based on the result. 前記撮像手段と前記合成手段は同じ装置内に配置されていることを特徴とする請求項8に記載の撮像制御装置。 9. The imaging control apparatus according to claim 8, wherein said imaging means and said synthesizing means are arranged in the same device. 前記調整処理手段と前記合成手段は同じ装置内に配置されていることを特徴とする請求項8に記載の撮像制御装置。 9. The imaging control apparatus according to claim 8, wherein said adjustment processing means and said synthesizing means are arranged in the same device. 前記通信路はネットワークを含むことを特徴とする請求項8に記載の撮像制御装置。 9. The imaging control apparatus according to claim 8, wherein said communication path includes a network. 前記調整処理手段は前記ダイナミックレンジの調整に応じて前記撮像手段において撮像される複数の画像の露出条件を変更可能であることを特徴とする請求項1から12のいずれか一項に記載の撮像制御装置。 13. The imaging according to any one of claims 1 to 12, wherein said adjustment processing means is capable of changing exposure conditions of a plurality of images captured by said imaging means in accordance with adjustment of said dynamic range. Control device. 前記調整処理手段は、ダイナミックレンジを調整した結果前記合成手段により得られる画像において、階調に関する異常を含む領域を前記検出手段が検出した場合に、前記調整処理手段により調整されたダイナミックレンジをもとに戻すことを特徴とする請求項1に記載の撮像制御装置。 The adjustment processing means reproduces the dynamic range adjusted by the adjustment processing means when the detection means detects an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range. 2. The image pickup control apparatus according to claim 1, wherein the image pickup control apparatus returns to . 請求項1から14のいずれか1項に記載の撮像制御装置の各手段をコンピュータにより実行するためのコンピュータプログラム。 A computer program for causing a computer to execute each means of the imaging control apparatus according to any one of claims 1 to 14. 請求項15に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。 16. A computer readable storage medium storing the computer program according to claim 15. 露出の異なる複数の画像を撮像する撮像工程と、
前記撮像工程により撮像された露出の異なる複数の画像を合成する合成工程と、
前記撮像工程における露出および前記合成工程における合成の制御を行うことによってダイナミックレンジを調整する調整処理工程と、
前記調整処理工程によりダイナミックレンジを調整した結果前記合成工程により得られる画像のうち、階調に関する異常を含む領域を検出する検出工程と、
前記検出工程の検出結果を通知する通知工程と、を有し、
前記調整処理工程における調整動作を事前に実行し、その結果に基づき、前記調整処理工程の調整範囲を制限するようにしたことを特徴とする撮像制御方法。
an image capturing step of capturing a plurality of images with different exposures;
a synthesizing step of synthesizing a plurality of images with different exposures captured in the imaging step;
an adjustment processing step of adjusting a dynamic range by controlling exposure in the imaging step and composition in the composition step;
a detection step of detecting an area including an abnormality related to gradation in the image obtained by the synthesis step as a result of adjusting the dynamic range by the adjustment processing step;
a notification step of notifying the detection result of the detection step;
An imaging control method, characterized in that an adjustment operation in the adjustment processing step is performed in advance, and based on the results, an adjustment range of the adjustment processing step is restricted.
露出の異なる複数の画像を撮像する撮像工程と、
前記撮像工程により撮像された露出の異なる複数の画像を合成する合成工程と、
前記撮像工程における露出および前記合成工程における合成の制御を行うことによってダイナミックレンジを調整する調整処理工程と、
前記調整処理工程によりダイナミックレンジを調整した結果前記合成工程により得られる画像のうち、階調に関する異常を含む領域を検出する検出工程と、
前記検出工程の検出結果を通知する通知工程と、を有し、
前記調整処理工程は、ダイナミックレンジを調整した結果前記合成工程により得られる画像において、階調に関する異常を含む領域を前記検出工程が検出した場合に、前記調整処理工程により調整されたダイナミックレンジをもとに戻すことを特徴とする撮像制御方法。
an image capturing step of capturing a plurality of images with different exposures;
a synthesizing step of synthesizing a plurality of images with different exposures captured in the imaging step;
an adjustment processing step of adjusting a dynamic range by controlling exposure in the imaging step and composition in the composition step;
a detection step of detecting an area including an abnormality related to gradation in the image obtained by the synthesis step as a result of adjusting the dynamic range by the adjustment processing step;
a notification step of notifying the detection result of the detection step;
In the adjustment processing step, when the detecting step detects an area including an abnormality related to gradation in the image obtained by the synthesizing step as a result of adjusting the dynamic range, the dynamic range adjusted by the adjustment processing step is added. An imaging control method characterized by returning to and.
JP2018177291A 2018-09-21 2018-09-21 Imaging control device, imaging control method, and program Active JP7224826B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018177291A JP7224826B2 (en) 2018-09-21 2018-09-21 Imaging control device, imaging control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018177291A JP7224826B2 (en) 2018-09-21 2018-09-21 Imaging control device, imaging control method, and program

Publications (3)

Publication Number Publication Date
JP2020048159A JP2020048159A (en) 2020-03-26
JP2020048159A5 JP2020048159A5 (en) 2021-10-28
JP7224826B2 true JP7224826B2 (en) 2023-02-20

Family

ID=69901821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018177291A Active JP7224826B2 (en) 2018-09-21 2018-09-21 Imaging control device, imaging control method, and program

Country Status (1)

Country Link
JP (1) JP7224826B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464748B (en) * 2020-05-07 2021-04-23 Oppo广东移动通信有限公司 Image processing method, mobile terminal and computer readable storage medium
JP7818797B2 (en) * 2021-07-29 2026-02-24 株式会社ユピテル Information processing device, image processing device, program, etc.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199860A (en) 2010-02-26 2011-10-06 Nikon Corp Imaging device and image generating program
JP2013055567A (en) 2011-09-06 2013-03-21 Olympus Imaging Corp Imaging apparatus
JP2013162359A (en) 2012-02-06 2013-08-19 Canon Inc Image processing apparatus and image processing method
JP2016054423A (en) 2014-09-04 2016-04-14 キヤノン株式会社 Imaging device, method for controlling the same, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199860A (en) 2010-02-26 2011-10-06 Nikon Corp Imaging device and image generating program
JP2013055567A (en) 2011-09-06 2013-03-21 Olympus Imaging Corp Imaging apparatus
JP2013162359A (en) 2012-02-06 2013-08-19 Canon Inc Image processing apparatus and image processing method
JP2016054423A (en) 2014-09-04 2016-04-14 キヤノン株式会社 Imaging device, method for controlling the same, and program

Also Published As

Publication number Publication date
JP2020048159A (en) 2020-03-26

Similar Documents

Publication Publication Date Title
US9684988B2 (en) Imaging device, image processing method, and recording medium
CN110290325B (en) Image processing method, device, storage medium and electronic device
CN112991245B (en) Dual camera blur processing method, device, electronic equipment and readable storage medium
JP4943721B2 (en) Color noise removal method for image data and imaging apparatus using the method
US20190082092A1 (en) Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium
CN110392205B (en) Image processing apparatus, information display apparatus, control method, and storage medium
JP5822508B2 (en) Imaging apparatus and control method thereof
CN110278375B (en) Image processing method, device, storage medium and electronic device
JP7224826B2 (en) Imaging control device, imaging control method, and program
CN110266967B (en) Image processing method, device, storage medium and electronic device
JP2019057794A (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
CN110266965B (en) Image processing method, image processing device, storage medium and electronic equipment
US20130089270A1 (en) Image processing apparatus
WO2017061095A1 (en) Image capture device
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP2019033470A (en) Image processing system, imaging apparatus, image processing apparatus, control method, and program
JP7075272B2 (en) Image processing equipment, information display equipment, control methods, and programs
US11336802B2 (en) Imaging apparatus
JP2014171146A (en) Image pickup device
JP6900577B2 (en) Image processing equipment and programs
JP2018061153A (en) Imaging apparatus, imaging apparatus control method and program
JP6347056B2 (en) Imaging apparatus and still image generation method
JP2014138259A (en) Photographing apparatus
JP2019062369A (en) Image pickup apparatus and control method thereof, control method of electronic device thereof, program
US20130342727A1 (en) Electronic camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R151 Written notification of patent or utility model registration

Ref document number: 7224826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151