JP7224826B2 - Imaging control device, imaging control method, and program - Google Patents
Imaging control device, imaging control method, and program Download PDFInfo
- Publication number
- JP7224826B2 JP7224826B2 JP2018177291A JP2018177291A JP7224826B2 JP 7224826 B2 JP7224826 B2 JP 7224826B2 JP 2018177291 A JP2018177291 A JP 2018177291A JP 2018177291 A JP2018177291 A JP 2018177291A JP 7224826 B2 JP7224826 B2 JP 7224826B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- adjustment processing
- adjustment
- synthesizing
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、複数の画像を合成してダイナミックレンジの広い合成画像を得る技術に関する。 The present invention relates to a technique of synthesizing a plurality of images to obtain a synthetic image with a wide dynamic range.
近年、ネットワークカメラを利用した監視システムが広く普及している。ネットワークカメラは大規模な公共機関や量販店などにおける監視カメラとして幅広い分野で利用されているため、屋内および屋外などの照度差の大きな環境または照明が異なる環境などに対してダイナミックレンジの拡大が望まれている。特許文献1では、露出条件の異なる複数の画像を合成することでダイナミックレンジを拡大する技術(以降、WDR)が開示されている。
一方、複数の画像を合成する際に、それぞれに飽和領域が存在しないように合成前に撮影手段の露出を設定する方法が特許文献2で記載されている。
In recent years, surveillance systems using network cameras have become widespread. Network cameras are used in a wide range of fields as surveillance cameras in large-scale public institutions and mass retailers. It is rare. Japanese Patent Application Laid-Open No. 2002-200000 discloses a technique (hereinafter referred to as WDR) that expands the dynamic range by synthesizing a plurality of images with different exposure conditions.
On the other hand,
しかしながら、WDR撮影の様な画像合成について、特にユーザーの関心領域に合わせて露出設定や撮像パラメータ設定した場合に他の領域で白とび、黒つぶれ、階調とびなどの弊害が発生してしまう場合がある。その場合、ダイナミックレンジの拡大と全体の適正明るさの調整を両立することが困難である。
本発明は上記のような問題を改善することを目的としている。即ち、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる撮像制御装置を提供することを目的とする。
However, when synthesizing images such as WDR shooting, especially when exposure settings and imaging parameters are set according to the user's area of interest, problems such as blown-out highlights, blocked-up shadows, and blown-out gradation may occur in other areas. There is In that case, it is difficult to achieve both expansion of the dynamic range and adjustment of the overall appropriate brightness.
An object of the present invention is to improve the above problems. In other words, it is an object of the present invention to provide an imaging control apparatus that can easily achieve expansion of the dynamic range and adjustment of appropriate brightness of the screen.
前記課題を解決するために、本発明に係る撮像制御装置は、
露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有し、
前記調整処理手段における調整動作を事前に実行し、その結果に基づき、前記調整処理手段の調整範囲を制限するようにしたことを特徴とする。
In order to solve the above problems, an imaging control device according to the present invention includes:
an imaging means for imaging a plurality of images with different exposures;
a synthesizing means for synthesizing a plurality of images with different exposures captured by the imaging means;
adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and composition in the composition means;
detection means for detecting an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range by the adjustment processing means;
and a notification means for notifying the detection result of the detection means,
It is characterized in that the adjustment operation in the adjustment processing means is executed in advance, and the adjustment range of the adjustment processing means is limited based on the results.
本発明によれば、露出の異なる複数画像の合成画像に異常領域があっても、適宜確認しつつダイナミックレンジ調整が可能となり、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる。 According to the present invention, even if there is an abnormal area in a composite image of multiple images with different exposures, it is possible to adjust the dynamic range while appropriately confirming it. can.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<第1実施例>
以下、図面を参照して説明する。以下の説明においては、本発明の一実施例としてネットワークカメラなどの撮像制御装置について説明する。なお、撮像制御装置は、ネットワークカメラに限らない。たとえば、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダなどを含む。あるいはカメラ付きタブレット端末、PHS、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮像機能を有する別の携帯の装置であってもよい。
図1は、本発明の第一実施例にかかわるネットワークカメラの概略構成の一例を示す図である。図1に示すように、ネットワークカメラ100はカメラサーバー110とビューワークライアント120とネットワーク130とを有している。カメラサーバー110とビューワークライアント120とは別々の装置であって通信路としてのネットワーク130を介して接続されている。
Preferred embodiments of the present invention are described in detail below with reference to the accompanying drawings.
<First embodiment>
Description will be made below with reference to the drawings. In the following description, an imaging control device such as a network camera will be described as an embodiment of the present invention. Note that the imaging control device is not limited to a network camera. Examples include digital single-lens reflex cameras, mirrorless single-lens cameras, compact digital cameras, and camcorders. Alternatively, it may be a tablet terminal with a camera, a PHS, a smart phone, a feature phone, a portable game machine, or another portable device having an imaging function.
FIG. 1 is a diagram showing an example of the schematic configuration of a network camera according to the first embodiment of the present invention. As shown in FIG. 1, the
カメラサーバー110はネットワーク130を介して、ネットワークカメラにより撮影(撮像)された画像の画像データを配信する。
ビューワークライアント120はカメラサーバー110にアクセスしてカメラの設定を変更し、当該カメラでの撮像の結果得られた画像データを処理し、あるいは蓄積された画像データなどを処理して、処理後の画像データに基づく画像の表示を行うものである。
ネットワーク130は、カメラサーバー110とビューワークライアント120とを通信可能に接続するものであり、例えば、Ethernet等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。なお、本実施例において、ネットワーク130はカメラサーバー110とビューワークライアント120との間の通信が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク130としては、インターネットからLANにいたるまで適用が可能である。
The
The
The
図2は、本実施例におけるカメラサーバー110の構成を示すブロック図である。
撮像光学系201は対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り、等から構成され被写体の光情報を後述の撮像素子部202へ集光する。撮像素子部202は、撮像光学系201にて集光された光情報を電気信号へと変換する素子でCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxicide Semiconductor)センサなどで構成され、カラーフィルタなどと組み合わせることで色情報を取得する。また、すべての画素に対して、任意の露出時間を設定可能な撮像センサとする。CPU(Central Processing Unit)203は、撮像制御装置の各構成の処理すべてに関わる制御を行うコンピュータとして機能し、記憶媒体としてのROM(Read Only Memory)204や、RAM(Random Access Memory)205に格納された命令(コンピュータプログラム)を順次に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部206は撮像光学系201に対して、フォーカスレンズを駆動しフォーカスを合わせる、絞りを調整するなどのCPU203から指示された制御を行う。
FIG. 2 is a block diagram showing the configuration of the
An imaging
より詳細には、絞りの駆動制御はプログラムAE(Automatic Exposure)、シャッター速度優先AE、絞り優先AEなどに応じて変化する。即ち、ユーザーが設定する上記の撮影モードに応じて計算された露出値に基づいて行われる。また、CPU203はAE制御に併せてAF(Auto Focus)制御を行う。AF制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のAEおよびAFの構成および制御については周知であるため、ここでの詳細な説明は省略する。
撮像素子部202において光電変換されて得られた電気信号は、画像処理部207に入力される。画像処理部207では、後述の画像処理を行い、輝度信号Y、色差信号Cb,Crを生成する。
エンコーダ部208は、画像処理部207にて処理した画像データをJpegやH.264などの所定の圧縮フォーマットに変換する処理を行う。
通信部209は、ネットワーク130との通信の処理を行う。具体的には、ネットワーク130を経由して撮影された画像データをビューワークライアント120へ配信する。
また、ビューワークライアント120からのカメラ操作コマンドおよび指定した領域のガンマ特性の選択結果を受信し、それに対するレスポンスや画像データ以外の必要なデータの送受信を行う。
More specifically, aperture drive control changes according to program AE (Automatic Exposure), shutter speed priority AE, aperture priority AE, and the like. That is, it is performed based on the exposure value calculated according to the shooting mode set by the user. The
An electric signal obtained by photoelectric conversion in the
The
The
It also receives a camera operation command from the
図3は、本実施例におけるビューワークライアント120の構成を示すブロック図である。
CPU301は、ビューワークライアント120における動作を統括的に制御するコンピュータである。ROM302は、CPU301が処理を実行するために必要な制御用コンピュータプログラム等を記憶する不揮発性メモリである。RAM303は、CPU301の主メモリ、ワークエリア等として機能する。すなわち、CPU301は、処理の実行に際してROM302から必要なプログラム等をRAM303にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
FIG. 3 is a block diagram showing the configuration of the
A
HDD(Hard Disk Drive)304は、例えば、CPU301がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、HDD304には、例えば、CPU301がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
操作入力部305は電源ボタンやキーボードやマウスやタッチパネル等の操作デバイスからの入力部でありユーザーインターフェースとして機能する。通信部306は、ネットワーク130との通信の処理を行う。具体的には、例えば撮影された画像データをネットワーク130を経由してカメラサーバー110から受信する。また、カメラ操作コマンドをカメラサーバー110へ送信し、そのレスポンスや画像データ以外の必要なデータの受信などを行う。
表示部307は、カメラサーバー110の各種制御パラメータを入力するためのGUI(Graphical User Interface)などから構成される。ビューワークライアント120の各要素の一部または全部の機能は、CPU301がプログラムを実行することで実現することができる。ただし、ビューワークライアント120の各要素のうち少なくとも一部を専用のハードウェアとして構成してもよい。この場合、専用のハードウェアは、CPU301の制御に基づいて動作する。
A HDD (Hard Disk Drive) 304 stores, for example, various data and various information necessary when the
An
A
図4は本実施例の画像処理部207の内部ブロック図である。画像処理部207は現像処理部400とダイナミックレンジ拡張処理部410の2つのブロックに分かれている。現像処理部400は、撮像素子部202より入力された画像データに対して、レンズなど光学系の歪補正などを行う光学補正部401、センサのシェーディング補正などを行うセンサ補正部402を含む。更にゲイン調整を行うゲイン調整部403、ノイズリダクション処理を行うNR処理部404、WB(White Balance)の調整を行うWB調整部405を含む。また、ガンマ補正を行うガンマ補正部406、シャープネス処理を行うシャープネス処理部407、色処理を行う色処理部408、ヒストグラム解析処理部409などを含む。現像処理部400の出力は、メモリ420に蓄えられる。ダイナミックレンジ拡張処理部410は、ガンマ調整部411、WDR(Wide Dynamic Range)合成処理部412などを持ち、メモリ420に蓄えられた現像処理後の複数枚の画像を合成処理することで、ダイナミックレンジの広い画像を生成することができる。
FIG. 4 is an internal block diagram of the
次に図5を用いて、ビューワークライアント120の動作フローについて説明する。まず、S501において、カメラサーバー110でWDR用の撮影をしWDR合成処理した合成画像をビューワークライアント120において表示する。WDR用の撮影の方法に関しては後述する。本ステップ以降においてビューワ―クライアント120から調整指示がカメラサーバー110にコマンドとして発行される。発行された調整の指示コマンドをカメラサーバー110が受信すると、画像調整フローが開始される。一方で、カメラサーバー110の画像配信は図5のフローの開始に限らず続けられる。
まず、S502において、ユーザーがビューワークライアント120で表示部307に表示された画像を見ながらWDR調整を指定する。WDR調整は、たとえば、複数の異なるカーブでガンマ変換するためのガンマテーブルを保持しておきそれらの中からガンマテーブルを選択することでWDRの強度を輝度に応じて指定してもよい。あるいは、gainレベルなどの他のカメラパラメータも同時に変更するようにしてもよい。図6は、撮影シーンの一例を表示しているUIを示しており、網掛けで示す窓601は外と室内602を含む範囲が撮影された画像が表示されている。
Next, the operation flow of the
First, in S<b>502 , the user designates WDR adjustment while viewing an image displayed on the
窓601の枠の内側に示されている屋外の画像と窓601の枠の外側に示されている室内602、603の画像とは異なる光源の影響を受けており、窓601の枠の内側の画像領域と室内602,603の画像領域では輝度差が大きいとする。603は602に比べて601の外光の影響が少なく暗い環境である。また本ステップS502においては、ユーザーが図6(A)または(B)に示すようなGUIを用いてWDR調整レベルを選択する。ここで、選択の仕方は図6(A)のようにWDRのON、OFFスイッチをONにして、WDRレベル調整用のスライドバーで調整の強弱を設定できるようにしてもよい。あるいは図6(B)のようなメニュー選択によって、WDRのON、OFFの選択や、WDRをONした状態で、更にプルダウンメニュー等によって数段階のレベル設定の中から一つを選択してもよいがこれらの方法に限定されない。また、選択された調整レベルを通信部からコマンドとしてカメラサーバー110側へ送信する。
ここで、WDRの合成処理およびWDR調整について本実施例では図7~9を用いて説明するが、これに限定されない。
本実施例では、露出アンダーの画像(アンダー露出画像)、適正な露出の画像(適正露出画像)、露出オーバーの画像(オーバー露出画像)の、3種類の露出の画像を3枚撮影したのちにこれらを合成している。それぞれの露出時間はWDR調整の強度に応じて変更可能となっている。
The outdoor image shown inside the frame of the
Here, the WDR synthesis processing and WDR adjustment will be described in this embodiment with reference to FIGS. 7 to 9, but the present invention is not limited to this.
In this embodiment, three images are taken with three types of exposure: an underexposed image (underexposed image), a properly exposed image (appropriately exposed image), and an overexposed image (overexposed image). are synthesizing these. Each exposure time can be changed according to the intensity of WDR adjustment.
図7は、図6のシーンにおける各画像のヒストグラムを示している。アンダー露出画像のヒストグラムを701、適正露出画像のヒストグラムを702、オーバー露出画像のヒストグラムを703に示す。適正露出は、画像上で広い範囲を占める室内光に対して適正な露出となっている。また、オーバー露出は、図6の網掛けで示される窓の外に露出があっている。
図8は、合成処理を説明するブロック図である。前述のとおり露出の異なる3つの画像に対して、ガンマ補正部406において図9で後述するようなガンマ補正をそれぞれ行った後にいったん図4のメモリ420に保持される。保持された画像に対して、前述のWDR合成処理部412において、階調補正として所定値のオフセット加算もしくは階調の伸長処理を行う。次に、それぞれの画像が加算され合成される。合成されたのちに、前述のガンマ調整部411においてガンマ調整が行われ出力画像として出力される。
FIG. 7 shows histograms for each image in the scene of FIG. 701 shows the histogram of the underexposed image, 702 shows the histogram of the properly exposed image, and 703 shows the histogram of the overexposed image. Appropriate exposure is proper exposure for room light that occupies a wide range on the image. Also, overexposure is exposure outside the window indicated by hatching in FIG.
FIG. 8 is a block diagram for explaining the synthesizing process. As described above, the three images with different exposures are temporarily stored in the
図9(A)に露出の異なる3種類の画像にガンマ補正部406によってそれぞれ適用されるガンマ曲線を示す。ガンマ曲線は、入力輝度に対する出力輝度信号の入出力特性を示しており、アンダー露出画像に適用されるガンマ曲線901、適正露出画像に適用されるガンマ曲線902、オーバー露出画像に適用される903を示している。横軸の入力は、各画像の露出差を考慮した値になっている。縦軸は8ビットの出力値である。出力値の上限はこれに限らない。まず、WDR調整がなされなかった場合の合成結果を図9(B)に示す。図9(A)に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって256オフセット加算され、オーバー露出のガンマ曲線はオフセット加算によって512オフセットされ加算されることで、図9(B)において910に示す特性を示す。この特性では、オーバー露出の画像は出力輝度512~767の範囲で出力される。この図9(B)に示される合成画像の再現域では、入力階調に対する出力階調の連続性が保たれている、一方、特にダイナミックレンジの狭い表示装置において明部が潰れてしまう場合がある。
FIG. 9A shows gamma curves applied by the
次に、本実施例のWDR調整において、オーバー露出画像を調整する場合の合成結果を図9(C)に示す。もちろん、用意する所定の調整テーブルはこれに限らず、アンダー露出画像を対象とするもの、すべての露出画像を対象とするもの、またゲイン調整などを加えてテーブル作成してもよい。図9(A)に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって256オフセット加算される(920のカーブ)。一方、オーバー露出画像は、オフセット加算ではなくガンマの伸長処理によって921のa~dに示すような特性を選択可能にしている。これにより、オーバー露出画像の明暗差が大きくなり、ダイナミックレンジの狭い表示装置においてもユーザーが選択したガンマ特性によって視認性を広げることができる。
本実施例では、撮影エリア全体を合成するが、これに限らず撮影される画像エリアの少なくとも一部でももちろんよい。また、合成方法に関しては、異なる露出の複数の画像を所定の露出の度合で分類し、暗部領域においては適性露出と露出オーバーの階調が足し合わされ、明部領域においては適性露出と露出アンダーの階調が足しあわされるようにしてもよい。
Next, in the WDR adjustment of this embodiment, FIG. 9(C) shows the composition result when adjusting the overexposed image. Of course, the predetermined adjustment table to be prepared is not limited to this, and a table for underexposed images, a table for all exposed images, gain adjustment, etc., may be added to create a table. With respect to the gamma curve shown in FIG. 9A, 256 offsets are added to the gamma curve for proper exposure by offset addition (curve 920). On the other hand, for the overexposed image, the characteristics shown in 921a to 921d can be selected by gamma expansion processing instead of offset addition. As a result, the brightness difference of the overexposed image is increased, and the visibility can be expanded by the gamma characteristic selected by the user even on a display device with a narrow dynamic range.
In this embodiment, the entire photographing area is combined, but the present invention is not limited to this, and at least a part of the photographed image area may of course be used. Regarding the composition method, multiple images with different exposures are classified according to a predetermined degree of exposure. The gradations may be added together.
さらに、ビューワークライアント120はカメラサーバー110に対して指示を出して、ガンマ調整以外の画像処理をさせてもよい。例えば、ホワイトバランス調整、ノイズリダクション処理やシャープネス処理、コントラスト調整、彩度調整も異なる露出画像ごとに処理設定を変えてもよい。
また、本実施例ではビューワークライアント120はカメラサーバー110に対して指示を出すことによって、WDR調整レベルに応じたテーブルを選択する。即ち図9(C)a~dに示すようにガンマ調整部411でガンマレベルを変更するために所定の複数のガンマテーブルの中から一つのガンマテーブルを選択する。なお、合成前の画像への階調の伸長処理を行うテーブルを複数用意して選択するようにしてもよい。
次に、図5に戻り、S503で異常領域が有るか判定をする。そのために、ビューワークライアント120はヒストグラム解析処理部409に対して指示をすることによって、合成後の画像に対してヒストグラム解析を行う。本ステップでは、図10のように合成画像に対してブロックで区切られた各ブロックのヒストグラムを作成する。本実施例において、解像度は、1920×1080であり、64×36のブロックに分割するが各ブロックの大きさはこの大きさより小さくても大きくてもよい。この分割したブロックのヒストグラム結果から異常領域を判定する。ここで、異常領域とは合成後の画像の各画素または分割したブロックに画像としての異常な情報が含まれる領域を意味する。例えば、白飛びのように輝度が極端に高い画素、または、黒潰れのように輝度が極端に低い画素は異常となる。一方、極端に高い輝度と極端に低い輝度との間の所定の適正範囲内の輝度を有する画素または分割ブロックは、有効な(異常でない)画素またはブロックと判断される。異常領域が検出されなければS506に移行する。
Furthermore, the
Also, in this embodiment, the
Next, returning to FIG. 5, it is determined whether there is an abnormal area in S503. Therefore, the
続いて、S504ではS503で異常領域が有ると判定された場合に、ビューワークライアント120で異常領域を強調して視認可能に表示しユーザーへ通知する。図11にUIの表示例を示す。表示画面の画像上に前述のS503で異常領域と判定されたブロックの範囲を網掛けや斜線などで重畳する。あるいは点滅させて重畳画像と重畳無画像を切り替えて表示してもよいし、点線や赤色や太枠などの枠で異常領域を囲ってもよい、また、画像上または図11の右側に示されるように、設定画面上に文字やメッセージで通知してもよい。さらに、ビューワークライアント120から警告音を発報してもよい。
S505では、S504において異常領域が表示、通知された場合に、表示された画像の状態を判断してユーザーがOKとするかNGとするかを判定する。NGであればS502に戻りWDR調整レベルの設定を変更する。異常領域は存在するが注目したい領域が所望の適正状態で表示されていればOKと判断して、S506に進みWDR調整レベルの設定を変更せずに画像表示を行う。
これにより、ユーザーが異常領域を把握したうえで、WDR調整レベルを適宜設定可能とすることで、異常領域がない所望の画像をユーザーが得ることができる。または、一部に異常領域があっても所望のダイナミックレンジの有する画像を得ることができる。したがって、ユーザーの必要としている輝度領域を適切に階調表現することができ監視に適した画像を提供できる。
Subsequently, in S504, when it is determined in S503 that there is an abnormal area, the
In S505, when an abnormal area is displayed and notified in S504, the state of the displayed image is determined to determine whether the user accepts or rejects the image. If NG, the process returns to S502 to change the setting of the WDR adjustment level. If an abnormal area exists but the area of interest is displayed in a desired proper state, it is determined that it is OK, and the process proceeds to S506 to perform image display without changing the setting of the WDR adjustment level.
Accordingly, the user can obtain a desired image without an abnormal area by enabling the user to grasp the abnormal area and appropriately set the WDR adjustment level. Alternatively, an image with a desired dynamic range can be obtained even if there is an abnormal area in part. Therefore, it is possible to appropriately express the luminance region required by the user, and to provide an image suitable for monitoring.
<第2実施例>
次に、第2の実施例について図12を用いて説明する。図5と同じステップは同じ動作をするものとする。
第1実施例では、WDR調整レベルに応じて所定の複数のテーブルから1つのテーブルを選択する例を説明した。しかし、本実施例では輝度領域を表示し、その中からWDR調整用の領域を指定し、指定した領域の階調が優先的に広くなるようにWDR調整レベルを設定する。
<Second embodiment>
A second embodiment will now be described with reference to FIG. It is assumed that the same steps as in FIG. 5 perform the same operations.
In the first embodiment, an example has been described in which one table is selected from a plurality of predetermined tables according to the WDR adjustment level. However, in this embodiment, a luminance area is displayed, an area for WDR adjustment is designated from the luminance area, and the WDR adjustment level is set so that the gradation of the designated area is preferentially widened.
S5010において、WDR合成の際に取得する図7で示すヒストグラム結果から、複数の露出で撮影した画像を合成するための区分けされた輝度領域マップを画像上に重畳する。具体的には例えば図6の601,602,603のような輝度レベルに応じて区分けした輝度領域の表示をする。その状態において、S5011において、ユーザーが調整したいエリアの一点または矩形エリアでWDR調整用の領域を設定する。上記のように輝度領域を表示した状態で、ユーザーの設定したWDR調整用の矩形領域が複数のエリアにまたがる場合には、複数の輝度領域にまたがってしまっている事をユーザーへ通知する。更には、領域の選択のやり直しを促すようにしてもよい。通知はメッセージでもよいし、またがってしまっている両方の領域を点滅させたり色を変えさせたりさせるような強調表示をしてもよい。また、ユーザーが指定した矩形の中で複数のエリアにまたがらず最大の面積となる矩形を自動的に設定するように構成してもよい。
ここで、S5010で表示される画像は、図6に示すように合成後の画像を表示してもよいし、あるいは合成前の画像を表示してもよい。なお、本実施例では、露出アンダーの画像、適正な露出の画像、露出オーバーの画像の3種類の露出条件で撮影したのちにその3枚の画像を合成するものとする。
In S5010, based on the histogram results shown in FIG. 7 obtained during WDR synthesis, a divided luminance area map for synthesizing images shot with multiple exposures is superimposed on the image. Specifically, for example,
Here, the image displayed in S5010 may be an image after synthesis as shown in FIG. 6, or may be an image before synthesis. Note that, in this embodiment, after photographing under three types of exposure conditions, that is, an underexposed image, a properly exposed image, and an overexposed image, the three images are synthesized.
S5011で指定したWDR調整用の領域を優先したWDR調整レベルの方法に関しては第1実施例とほぼ同様な方法で処理する。更に、ガンマテーブルおよび他のカメラパラメータ設定によって、ユーザーが指定したエリアの階調を優先的に広げるように調整を行う。
これにより、ユーザーが所望の輝度領域に対して優先的に広いダイナミックレンジを割り当てることができ、画像調整することができる。しかもWDR調整をしつつ異常領域の発生の有無を確認することができる。
As for the WDR adjustment level method that gives priority to the WDR adjustment area designated in S5011, processing is performed in substantially the same manner as in the first embodiment. In addition, the gamma table and other camera parameter settings are adjusted to preferentially widen the gradation of areas specified by the user.
As a result, the user can preferentially assign a wide dynamic range to a desired luminance region, and adjust the image. Moreover, it is possible to confirm whether or not an abnormal region is generated while adjusting the WDR.
<第3実施例>
第1、第2実施例ではガンマテーブルの調整を中心に説明したが、更にWDR合成の元となる複数フレームの露出条件を調整してもよい。
即ち、ビューワークライアント120におけるWDR調整の強度変更があると、カメラサーバー110で複数種類の露出条件で複数画像を撮像させる際の前記それぞれの画像の露出条件(例えば露出時間や絞りや感度など)を変更する。あるいは複数の露出条件の組み合わせを変更したり、上記複数種類の露出の段差の重なり量など変更したりできるようにする。また前記WDR調整用の領域の階調を優先的に広げるようにしたり、ガンマカーブもそれに合わせて変更したりする。なお、WDR調整の強度変更に伴って、異なる露出の数を上記のように3種類ではなく4種類にしたり、逆に2種類にしたりして変更してもよい。
例えば図13、図14は入力階調のギャップについて説明した図である。図13、図14では長秒時の画像aと短秒時の画像a´が4ビット分重なっている例を示している。また、長秒時の画像bと短秒時の画像b´は2ビット分重なっている。一方長秒時の画像cと短秒時の画像c´は重なっておらずギャップが生じている例を示している。図14(A)、図14(B)、図14(C)の順にWDR強度が強くなっている。そして上記のように撮像時の露出条件まで変更できるようにしてWDR調整の強度変更の範囲を広げた場合には、図14(C)のように入力階調にギャップが生じる。したがって、これに伴って異常領域が生じたら、ビューワークライアント120側などで異常領域を枠や点滅などによって強調表示する。
<Third embodiment>
In the first and second embodiments, the adjustment of the gamma table has been mainly described, but the exposure conditions of a plurality of frames that are the basis of WDR synthesis may also be adjusted.
That is, when there is a change in the intensity of WDR adjustment in the
For example, FIGS. 13 and 14 are diagrams explaining gaps in input gradation. FIGS. 13 and 14 show an example in which the image a for a long time and the image a' for a short time are overlapped by 4 bits. Further, the image b in the long-exposure period and the image b' in the short-exposure period overlap by 2 bits. On the other hand, an example is shown in which the image c at the long exposure time and the image c' at the short exposure time do not overlap and a gap is generated. The WDR intensity increases in the order of FIG. 14(A), FIG. 14(B), and FIG. 14(C). When the WDR adjustment intensity change range is expanded by making it possible to change even the exposure conditions at the time of imaging as described above, a gap occurs in the input gradation as shown in FIG. 14(C). Therefore, if an abnormal area occurs along with this, the abnormal area is highlighted by a frame, blinking, or the like on the
<第4実施例>
図15は第4実施例を説明するフローチャートであり、図12と同じ符番のステップは同じ動作をする。図15において、異常領域判定S503において、異常領域が検出され、S504で異常領域を表示した後、S505でユーザー判定がOKでなかった場合には、S502に戻る前にS5051でWDR調整指定を一つ前の状態に戻す。即ち、異常領域がなかった状態のWDR調整指定に一旦戻す。
<第5実施例>
図16は第5実施例を説明するフローチャートであり、図15と同じ符番のステップは同じ動作をする。図16において、S5012はWDR調整可能な範囲を端から端までパラメータを変更しつつ事前に自動的にスキャンする。S5013で異常領域があるか否かをS503と同様に判断し、もし異常領域がなければS5014に進みWDR調整可能な範囲をフルレンジで表示し、WDR調整の入力を受け付ける。一方S5013で異常領域があると判断された場合には、S5015に進み異常領域が発生しないWDR調整可能な範囲のみを表示するように制限し、その範囲のWDR調整の入力のみを受け付ける。
これにより、異常領域が発生しない設定パラメータをユーザーに表示することができ、ユーザーは安心してS502で設定パラメータを変更することができる。
なお、S502でWDR調整をした後、S503で再度異常領域があるか否かを判断しそれ以降第4実施例と同様の制御をするが、これは周囲の明るさが急に変動した場合に備えたフローである。
<Fourth embodiment>
FIG. 15 is a flow chart for explaining the fourth embodiment, and steps with the same numbers as in FIG. 12 perform the same operations. In FIG. 15, after the abnormal area is detected in the abnormal area determination S503 and the abnormal area is displayed in S504, if the user determination is not OK in S505, the WDR adjustment designation is temporarily set in S5051 before returning to S502. return to the previous state. That is, the WDR adjustment specification is temporarily returned to the state in which there was no abnormal area.
<Fifth embodiment>
FIG. 16 is a flow chart for explaining the fifth embodiment, and steps with the same numbers as in FIG. 15 perform the same operations. In FIG. 16, S5012 automatically pre-scans the WDR adjustable range from end to end while changing parameters. In S5013, it is determined whether or not there is an abnormal area in the same manner as in S503. If there is no abnormal area, the process advances to S5014 to display the WDR adjustable range in full range and accept input for WDR adjustment. On the other hand, if it is determined in S5013 that there is an abnormal area, the process advances to S5015 to limit the display to only the WDR adjustable range in which no abnormal area occurs, and accepts only WDR adjustment input within that range.
As a result, setting parameters that do not cause an abnormal region can be displayed to the user, and the user can change the setting parameters in S502 with peace of mind.
After the WDR is adjusted in S502, it is determined whether or not there is an abnormal area again in S503, and the same control as in the fourth embodiment is performed thereafter. It is a flow with.
なお、以上の実施例等においては、ユーザー側に合成画像を表示し、その表示内容に基づきWDR調整をし、露出条件やガンマ等の指定をコマンドによってビューワークライアント120からカメラサーバー110へ通知していた。それにより、コマンドの内容を反映したWDR調整後の合成画像をカメラサーバー110からビューワークライアント120へ配信し、ビューワークライアント120で表示していた。すなわちカメラサーバー110の装置内に合成処理部を配置していた。しかしカメラサーバー110から合成前の画像をビューワークライアント120に配信し、ビューワークライアント120において表示させてから、ビューワークライアント120において合成処理を行うように構成してもよい。あるいはビューワークライアント120において合成処理をしてから表示させるようにしてもよい。即ちビューワークライアント120の装置内に合成処理部を配置してもよい。この場合コマンドの通信の手間が省けるため、ユーザーの選択結果を短い時間で確認することが可能となる。
In the above-described embodiments and the like, a composite image is displayed on the user side, WDR is adjusted based on the displayed content, and designation of exposure conditions, gamma, etc. is notified from the
上述の実施例では、説明の簡便のため3つの輝度領域についてマップを作成する例を主体として説明しているが、3つに限らないことは言うまでもない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
In the above-described embodiment, for the sake of simplicity of explanation, an example in which maps are created for three luminance regions has been mainly described, but it is needless to say that the number of luminance regions is not limited to three.
The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.
110 カメラサーバー
120 ビューワークライアント
201 撮像光学系
202 撮像素子部
207 画像処理部
400 現像処理部
410 ダイナミックレンジ拡張処理部
411 ガンマ調整部
412 WDR合成処理部
110
Claims (18)
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有し、
前記調整処理手段における調整動作を事前に実行し、その結果に基づき、前記調整処理手段の調整範囲を制限するようにしたことを特徴とする撮像制御装置。 an imaging means for imaging a plurality of images with different exposures;
a synthesizing means for synthesizing a plurality of images with different exposures captured by the imaging means;
adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and composition in the composition means;
detection means for detecting an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range by the adjustment processing means;
and a notification means for notifying the detection result of the detection means,
An imaging control apparatus, wherein an adjustment operation in said adjustment processing means is executed in advance, and based on the result thereof, an adjustment range of said adjustment processing means is limited.
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有し、
前記調整処理手段は、ダイナミックレンジを調整した結果前記合成手段により得られる画像において、階調に関する異常を含む領域を前記検出手段が検出した場合に、前記調整処理手段により調整されたダイナミックレンジをもとに戻すことを特徴とする撮像制御装置。 an imaging means for imaging a plurality of images with different exposures;
a synthesizing means for synthesizing a plurality of images with different exposures captured by the imaging means;
adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and composition in the composition means;
detection means for detecting an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range by the adjustment processing means;
and a notification means for notifying the detection result of the detection means,
The adjustment processing means reproduces the dynamic range adjusted by the adjustment processing means when the detection means detects an area including an abnormality related to gradation in the image obtained by the synthesizing means as a result of adjusting the dynamic range. An imaging control device characterized by returning to and.
前記撮像工程により撮像された露出の異なる複数の画像を合成する合成工程と、
前記撮像工程における露出および前記合成工程における合成の制御を行うことによってダイナミックレンジを調整する調整処理工程と、
前記調整処理工程によりダイナミックレンジを調整した結果前記合成工程により得られる画像のうち、階調に関する異常を含む領域を検出する検出工程と、
前記検出工程の検出結果を通知する通知工程と、を有し、
前記調整処理工程における調整動作を事前に実行し、その結果に基づき、前記調整処理工程の調整範囲を制限するようにしたことを特徴とする撮像制御方法。 an image capturing step of capturing a plurality of images with different exposures;
a synthesizing step of synthesizing a plurality of images with different exposures captured in the imaging step;
an adjustment processing step of adjusting a dynamic range by controlling exposure in the imaging step and composition in the composition step;
a detection step of detecting an area including an abnormality related to gradation in the image obtained by the synthesis step as a result of adjusting the dynamic range by the adjustment processing step;
a notification step of notifying the detection result of the detection step;
An imaging control method, characterized in that an adjustment operation in the adjustment processing step is performed in advance, and based on the results, an adjustment range of the adjustment processing step is restricted.
前記撮像工程により撮像された露出の異なる複数の画像を合成する合成工程と、
前記撮像工程における露出および前記合成工程における合成の制御を行うことによってダイナミックレンジを調整する調整処理工程と、
前記調整処理工程によりダイナミックレンジを調整した結果前記合成工程により得られる画像のうち、階調に関する異常を含む領域を検出する検出工程と、
前記検出工程の検出結果を通知する通知工程と、を有し、
前記調整処理工程は、ダイナミックレンジを調整した結果前記合成工程により得られる画像において、階調に関する異常を含む領域を前記検出工程が検出した場合に、前記調整処理工程により調整されたダイナミックレンジをもとに戻すことを特徴とする撮像制御方法。 an image capturing step of capturing a plurality of images with different exposures;
a synthesizing step of synthesizing a plurality of images with different exposures captured in the imaging step;
an adjustment processing step of adjusting a dynamic range by controlling exposure in the imaging step and composition in the composition step;
a detection step of detecting an area including an abnormality related to gradation in the image obtained by the synthesis step as a result of adjusting the dynamic range by the adjustment processing step;
a notification step of notifying the detection result of the detection step;
In the adjustment processing step, when the detecting step detects an area including an abnormality related to gradation in the image obtained by the synthesizing step as a result of adjusting the dynamic range, the dynamic range adjusted by the adjustment processing step is added. An imaging control method characterized by returning to and.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177291A JP7224826B2 (en) | 2018-09-21 | 2018-09-21 | Imaging control device, imaging control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177291A JP7224826B2 (en) | 2018-09-21 | 2018-09-21 | Imaging control device, imaging control method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020048159A JP2020048159A (en) | 2020-03-26 |
| JP2020048159A5 JP2020048159A5 (en) | 2021-10-28 |
| JP7224826B2 true JP7224826B2 (en) | 2023-02-20 |
Family
ID=69901821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018177291A Active JP7224826B2 (en) | 2018-09-21 | 2018-09-21 | Imaging control device, imaging control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7224826B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111464748B (en) * | 2020-05-07 | 2021-04-23 | Oppo广东移动通信有限公司 | Image processing method, mobile terminal and computer readable storage medium |
| JP7818797B2 (en) * | 2021-07-29 | 2026-02-24 | 株式会社ユピテル | Information processing device, image processing device, program, etc. |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011199860A (en) | 2010-02-26 | 2011-10-06 | Nikon Corp | Imaging device and image generating program |
| JP2013055567A (en) | 2011-09-06 | 2013-03-21 | Olympus Imaging Corp | Imaging apparatus |
| JP2013162359A (en) | 2012-02-06 | 2013-08-19 | Canon Inc | Image processing apparatus and image processing method |
| JP2016054423A (en) | 2014-09-04 | 2016-04-14 | キヤノン株式会社 | Imaging device, method for controlling the same, and program |
-
2018
- 2018-09-21 JP JP2018177291A patent/JP7224826B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011199860A (en) | 2010-02-26 | 2011-10-06 | Nikon Corp | Imaging device and image generating program |
| JP2013055567A (en) | 2011-09-06 | 2013-03-21 | Olympus Imaging Corp | Imaging apparatus |
| JP2013162359A (en) | 2012-02-06 | 2013-08-19 | Canon Inc | Image processing apparatus and image processing method |
| JP2016054423A (en) | 2014-09-04 | 2016-04-14 | キヤノン株式会社 | Imaging device, method for controlling the same, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020048159A (en) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9684988B2 (en) | Imaging device, image processing method, and recording medium | |
| CN110290325B (en) | Image processing method, device, storage medium and electronic device | |
| CN112991245B (en) | Dual camera blur processing method, device, electronic equipment and readable storage medium | |
| JP4943721B2 (en) | Color noise removal method for image data and imaging apparatus using the method | |
| US20190082092A1 (en) | Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium | |
| CN110392205B (en) | Image processing apparatus, information display apparatus, control method, and storage medium | |
| JP5822508B2 (en) | Imaging apparatus and control method thereof | |
| CN110278375B (en) | Image processing method, device, storage medium and electronic device | |
| JP7224826B2 (en) | Imaging control device, imaging control method, and program | |
| CN110266967B (en) | Image processing method, device, storage medium and electronic device | |
| JP2019057794A (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
| CN110266965B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
| US20130089270A1 (en) | Image processing apparatus | |
| WO2017061095A1 (en) | Image capture device | |
| US20190052803A1 (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium | |
| JP2019033470A (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and program | |
| JP7075272B2 (en) | Image processing equipment, information display equipment, control methods, and programs | |
| US11336802B2 (en) | Imaging apparatus | |
| JP2014171146A (en) | Image pickup device | |
| JP6900577B2 (en) | Image processing equipment and programs | |
| JP2018061153A (en) | Imaging apparatus, imaging apparatus control method and program | |
| JP6347056B2 (en) | Imaging apparatus and still image generation method | |
| JP2014138259A (en) | Photographing apparatus | |
| JP2019062369A (en) | Image pickup apparatus and control method thereof, control method of electronic device thereof, program | |
| US20130342727A1 (en) | Electronic camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210914 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210914 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7224826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |