Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6932053B2 - 撮像装置 - Google Patents
[go: Go Back, main page]

JP6932053B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6932053B2
JP6932053B2 JP2017179918A JP2017179918A JP6932053B2 JP 6932053 B2 JP6932053 B2 JP 6932053B2 JP 2017179918 A JP2017179918 A JP 2017179918A JP 2017179918 A JP2017179918 A JP 2017179918A JP 6932053 B2 JP6932053 B2 JP 6932053B2
Authority
JP
Japan
Prior art keywords
contour correction
pixel
signal
unit
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017179918A
Other languages
English (en)
Other versions
JP2019057776A (ja
Inventor
中村 和彦
和彦 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Kokusai Denki Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc, Kokusai Denki Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2017179918A priority Critical patent/JP6932053B2/ja
Publication of JP2019057776A publication Critical patent/JP2019057776A/ja
Application granted granted Critical
Publication of JP6932053B2 publication Critical patent/JP6932053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Television Systems (AREA)

Description

本発明は、撮像装置に係り、特に画素ピッチが小さいCMOS撮像素子を用いた4板型の撮像装置において、ダウンコンバートの際に、低域における変調度を改善すると共に、高域における変調度を相対的に低減できる撮像装置に関する。
[先行技術の説明]
CCD(Charge Coupled Device)撮像素子から出力された信号から雑音を除去するCDS(Correlated Double Sampling)と、暗電流補正と、利得可変増幅回路(Automatic Gain Control、以下AGC)と、表示装置に出力するためデジタル映像信号Viに変換するADC(Analog Digital Converter)とを内蔵したAFE(Analog Front End)が普及し、従来10ビットだったAFEのADC階調は、12ビットや14ビットが一般的となった。
また、駆動回路や読み出し回路を統合し高速読み出しを可能にしたCMOS(Complementary Metal Oxide Semiconductor)撮像素子の改良も進んできた。
更に、デジタル信号処理回路の集積化が進み、映像専用のメモリ集積DSP(Digital Signal Processor)だけでなく、安価な汎用のFPGA(Field Programmable Gate Array)でも、複数ラインの出力信号を記憶し算術処理することが容易に実現できるようになった。
それにより、画素数が百万以上のメガピクセルカメラ、HDTV(High Definition TeleVision;高精細テレビ)カメラ、高速撮像HDTVカメラ、記録部付HDTVカメラ、Internet Protocol(以下IP)伝送部付HDTV(1080×1920)カメラ、より高精細の4K(2160×3840)カメラ、8K(4320×7680)カメラ等が製品化され、HDD(Hard Disk Drive)を用いた非圧縮の記録装置も製品化されている。
[撮像素子の構成:図17]
ここで、撮像素子の構成について図17用いて説明する。図17は、撮像素子の構成を示す断面説明図であり、(a)はCCDセンサー(撮像素子)、(b)は従来型CMOSセンサー(表面照射型CMOS撮像素子)、(c)はBSI(Back Side Illumination)型CMOSセンサー(裏面照射型CMOS撮像素子)を示している。
図17(a)に示すように、CCDセンサーは、マイクロレンズ91と、カラーフィルタ92と、フォトダイオード93とが積層され、フォトダイオード93とカラーフィルタ92との間にメタル配線層94が形成されている。
マイクロレンズ91によって集光された入射光は、カラーフィルタ92を通過して、R(赤),G(緑),B(青)の成分に分解され、フォトダイオード93に入射されて電荷が発生し、垂直方向及び水平方向に転送されて画素毎の電圧に変換される。
CCDセンサーは、感度は高いものの、消費電力が大きく、CMOS撮像素子に比べて周辺回路の集積が困難である。
図17(b)に示す表面照射型CMOS撮像素子は、画素毎にトランジスタ等が設けられた構成であり、低消費電力、集積化が容易であるものの、感度は低い。
図17(c)に示す裏面照射型CMOS撮像素子は、メタル配線層93がフォトダイオード93の裏面側に設けられており、高感度で、低消費電力、集積化が容易である。
特に、一般的な低価格の表面照射型CMOS撮像素子(8Kで1.25型を含め4/3型以下、4Kで2/3型以下)は、5波長以下の画素ピッチで、フォトダイオード93とマイクロレンズ(オンチップレンズ)91との間にメタル配線層94が積層されているため、低域の変調度が低い。
更に、2つの緑色撮像素子(G1)(G2)で斜め画素ずらしを行うRG1G2Bの撮像素子を有し、フレームメモリを有する4板カメラでは、斜めの変調度が低い。
また、対域外の高域成分の折り返しの偽信号のモアレを抑圧するために光学低域通過フィルタ(O−LPF;Optical Low Pass Filter)を挿入すると、更に変調度が低くなる。
更にまた、2/3型4Kと1.25型8Kにおいては、撮像素子の画素ピッチが約2.5μmと緑波長0.55μmの約4.5倍となり、高倍率ズームレンズの収差を光学的に補正しきれず、低域での変調度(変調伝達関数特性:MTF;Modulation Transfer Function)が低下する。
また、従来の映像信号処理装置には、映像信号の輪郭部の傾斜方向を判定する。輪郭部の傾斜方向の判定結果に応じて映像信号における複数の原画素データを用いて補間画素データを生成し、画素数を増加させた映像信号を生成するものがある。
ところで、UHDTV(Ultra High Definition TeleVision;超高精細テレビ)カメラの映像を1K×2KのHDTVにダウンコンバートする場合は、2Kの飛越走査のHDTVの1MHzを100%として定義される2KのHDTVの27.5MHz変調度を50%に低下させることが要求されている。
また、低域の変調度の改善は常に放送局から求められている。
また、表面照射型CMOS撮像素子を用いたUHDTVカメラにおいては、画素ピッチが撮像光の中心波長の5波長以下になると、低周波数におけるMTFが低下することが知られている。
例えば、2/3型4Kと1.25型8Kの撮像素子では、画素ピッチが約2.5umであり、緑波長0.55umの約4.5倍となり、高倍率ズームレンズの収差が光学的に補正しきれないで低域変調度が低下する。
[関連技術]
尚、撮像装置に関する従来技術としては、特開2013−207673号公報「映像信号処理装置及び方法」(特許文献1)、特開2007−336384号公報「画像処理装置及び方法」(特許文献2)、国際公開第2016/031764号公報「撮像装置及び撮像方法」(特許文献3)がある。
特許文献1には、輪郭部の傾斜方向の判定結果に応じて高域周波数信号成分を生成する特性を異ならせることが記載されている。
特許文献2には、斜めアパーチャ補正のモアレを抑圧している画像処理装置が記載されている。
特許文献3には、RGGBの4板で斜め輪郭補正を行う撮像装置が記載されている。
特開2013−207673号公報 特開2007−336384号公報 国際公開第2016/031764号公報
上述したように、画素ピッチが5波長以下の撮像素子を用いた従来の撮像装置では、UHDTVカメラの映像をダウンコンバートする場合、低域の変調度に対して、高域の変調度を相対的に低下させることが困難であるという問題点があった。
また、従来の撮像装置では、低域の変調度が低いという問題点があった。
本発明は上記実状に鑑みて為されたもので、画素ピッチが5波長以下の撮像素子を用いたUHDTVカメラの映像をダウンコンバートする際に、低域の変調度に対して、高域の変調度を相対的に低下させると共に、低域の変調度を改善することができる撮像装置を提供することを目的とする。
上記従来例の問題点を解決するための本発明は、画素ピッチが撮像光の中心波長の5倍以下である、赤色、青色及び2つの緑色のCMOS撮像素子を用い、2つの緑色のCMOS撮像素子で斜め画素ずらしを行う撮像装置であって、入力光を色毎に分解する色分解光学系と、色分解光学系で分解された光を色毎に光電変換して映像信号を出力する赤色、青色及び2つの緑色のCMOS撮像素子とを有する色分解部と、色分解部からの信号に基づいて補間処理を行う補間処理部と、補間処理部からの映像信号について、輪郭補正を行った後、ダウンコンバートして出力するダウンコンバータ部とを有し、ダウンコンバータ部が、輪郭補正を施す補正対象の画素の映像信号と、当該補正対象の画素からの間隔が、3画素以上となる複数の画素の映像信号との差分を算出し、当該複数の差分を加算した差分加算信号に基づいて輪郭補正信号を生成し、補正対象の画素の映像信号に輪郭補正信号を加算して輪郭補正を行う輪郭補正部を備えることを特徴としている。
また、本発明は、上記撮像装置において、輪郭補正部が、補正対象の画素からの間隔が2画素以内の画素の映像信号を、補正対象の画素の映像信号に加算して、当該加算された信号と、補正対象の画素からの間隔が3画素以上となる複数の画素の映像信号との差分を算出して、輪郭補正を行うことを特徴としている。
また、本発明は、上記撮像装置において、輪郭補正部が、垂直方向の輪郭を補正する垂直輪郭補正部と、水平方向の輪郭を補正する水平輪郭補正部と、右上斜め方向の輪郭及び左上斜め方向の輪郭を補正する斜め輪郭補正部とを備えたことを特徴としている。
また、本発明は、上記撮像装置において、輪郭補正部が、差分加算信号の生成において、補正対象画素からの間隔が68画素までの画素を用いることを特徴としている。
本発明によれば、画素ピッチが撮像光の中心波長の5倍以下である、赤色、青色及び2つの緑色のCMOS撮像素子を用い、2つの緑色のCMOS撮像素子で斜め画素ずらしを行う撮像装置であって、入力光を色毎に分解する色分解光学系と、色分解光学系で分解された光を色毎に光電変換して映像信号を出力する赤色、青色及び2つの緑色のCMOS撮像素子とを有する色分解部と、色分解部からの信号に基づいて補間処理を行う補間処理部と、補間処理部からの映像信号について、輪郭補正を行った後、ダウンコンバートして出力するダウンコンバータ部とを有し、ダウンコンバータ部が、輪郭補正を施す補正対象の画素の映像信号と、当該補正対象の画素からの間隔が、3画素以上となる複数の画素の映像信号との差分を算出し、当該複数の差分を加算した差分加算信号に基づいて輪郭補正信号を生成し、補正対象の画素の映像信号に輪郭補正信号を加算して輪郭補正を行う輪郭補正部を備える撮像装置としているので、超低域を増強し、高域輪郭補正を行わないことにより、低域の変調度を改善し、高域の相対的な変調度を低減することができる効果がある。
また、本発明によれば、輪郭補正部が、補正対象の画素からの間隔が2画素以内の画素の映像信号を、補正対象の画素の映像信号に加算して、当該加算された信号と、補正対象の画素からの間隔が3画素以上となる複数の画素の映像信号との差分を算出して、輪郭補正を行う上記撮像装置としているので、低域の相対的な変調度を一層低減することができる効果がある。
また、本発明によれば、輪郭補正部が、垂直方向の輪郭を補正する垂直輪郭補正部と、水平方向の輪郭を補正する水平輪郭補正部と、右上斜め方向の輪郭及び左上斜め方向の輪郭を補正する斜め輪郭補正部とを備えた上記撮像装置としているので、垂直及び水平に加えて、4板カメラにおいて変調度の低い斜めの輪郭補正を行って、良好な映像信号を出力できる効果がある。
また、本発明によれば、輪郭補正部が、差分加算信号の生成において、補正対象画素からの間隔が68画素までの画素を用いる上記撮像装置としているので、回路規模を増大させることなく、低コストで、低域の変調度を改善し、高域の相対的な変調度を低減することができる効果がある。
本撮像装置の概略構成を示す構成ブロック図である。 図1に示した撮像装置における撮像素子の貼り合わせ位置の各画素の重なり具合を示す模式説明図である。 4板の撮像素子の各画素のG1とG2との斜め補間による斜め解像と縦横解像の違いを示す模式説明図である。 映像信号処理部104の構成を示す構成ブロック図である。 第1の垂直輪郭補正部の構成図である。 第1の水平輪郭補正部の構成図である。 斜め輪郭補正の概略を示す模式説明図であり、(a)は右上斜め輪郭補正、(b)は左上斜め輪郭補正を示している。 第1の右上斜め輪郭補正部の構成図である。 第1の左上斜め輪郭補正部の構成図である。 第1の撮像装置の輪郭補正部の一般的な構成図である。 第2の垂直輪郭補正部の構成図である。 第2の水平輪郭補正部の構成図である。 第2の右上斜め輪郭補正部の構成図である。 第2の左上斜め輪郭補正部の構成図である。 第1、第2の撮像装置における輪郭補正後信号の説明図である。 第1、第2の撮像装置における変調度を示す説明図であり、(a)は第1の撮像装置、(b)は第2の撮像装置の補正前信号と輪郭補正後信号の変調度を示している。 撮像素子の構成を示す断面説明図である。
本発明の実施の形態について図面を参照しながら説明する。
[実施の形態の概要]
本発明の実施の形態に係る撮像装置は、画素ピッチが撮像光の中心波長の5波長以下のCMOS撮像素子を用い、2つの緑色撮像素子が斜め画素ずらしを行う撮像装置において、輪郭補正を施す補正対象の画素の映像信号と、当該補正対象の画素からの間隔(隔たり、距離)が3画素以上となる複数の周辺画素の映像信号との差分を算出する周辺画素差分処理を行い、当該複数の差分を加算した差分加算信号に基づいて輪郭補正信号を生成し、補正対象画素の映像信号に輪郭補正信号を加算して、ダウンコンバートするようにしているので、低域の変調度を改善すると共に、低域の変調度に対して高域の変調度を相対的に低減することができるものである。
例えば、4KのUHDTVを2KのHDTVにダウンコンバートする場合、2Kの飛越走査のHDTVの1MHz以下の超低域の変調度を増強すると共に、2Kの飛越走査のHDTVの1MHzを100%として定義される2KのHDTVの27.5MHz変調度を相対的に低下させることができるものである。
また、本発明の実施の形態に係る撮像装置は、更に、輪郭補正を施す補正対象の画素の映像信号に、補正対象の画素からの間隔が2画素以内となる画素の映像信号を加算して、当該加算された信号と、補正対象の画素からの間隔が3画素以上となる複数の周辺画素の映像信号との差分を算出する周辺画素差分処理を行うようにしているので、超低域の変調度を改善すると共に、高域の変調度を一層低減することができるものである。
[実施の形態に係る撮像装置の概略構成:図1]
本発明の実施の形態に係る撮像装置(本撮像装置)の概略構成について図1を用いて説明する。図1は、本撮像装置の概略構成を示す構成ブロック図である。
図1に示すように、本撮像装置102は、色分解光学系105、第1緑色(G1、Green1)撮像素子103G1、第2緑色(G2、Green2)撮像素子103G2、赤色(R、Red)撮像素子103R、青色(B、Blue)撮像素子103B、映像信号処理部104、CPU(Central Processing Unit)部106を備えた4板型の撮像装置である。
また、本撮像装置にはレンズ101が取り付けられている。
本撮像装置102の各部について説明する。
色分解光学系105は、レンズ101から入射された入射光を赤色(R)と、緑色(G1,G2)と、青色(B)に色分解する。
撮像素子103は、CMOS撮像素子であり、撮像素子103Rは赤色光を光電変換し、撮像素子103G1,103G2は緑色光を光電変換し、撮像素子103Bは青色光を光電変換して、各色の光の強弱に応じた電荷を発生する。
ここで、撮像素子103は、撮像光の中心波長となる緑色光の波長(0.55μm)を基準として5波長以下の画素ピッチで画素が配列されている。
色分解光学系105及び撮像素子103は、請求項に記載した色分解部に相当している。
映像信号処理部104は、輪郭補正やダウンコンバート等の各種信号処理を行う。
CPU部106は、撮像装置全体の制御を行うものであり、特に、本撮像装置102では、後述するダウンコンバータ部の制御を行って適切な輪郭補正を実現する。
そして、本撮像装置102では、入射光がレンズ101で結像され、色分解光学系105で4板用に色分解され、第1緑色(G1)撮像素子103G1と、第2緑色(G2)撮像素子103G2と、赤色(R)撮像素子103R及び青色(B)撮像素子103Bで光電変換され、映像信号処理部104で各種信号処理が施され、HD−SDI(High Definition Serial Digital Interface)信号を出力する。
尚、本撮像装置102から出力する映像信号は、HD−SDIに限定するものではなく、圧縮や暗号化等も問わない。
本撮像装置の動作について簡単に説明する。
レンズ101から入力された光は、色分解光学系105においてG1,G2,R,Bの成分に分離され、それぞれ、撮像素子103G1,103G2,103R,103Bで光電変換されて電気信号となる。
そして、各色の信号は、映像信号処理部104において、ガンマ色補正や輪郭補正処理が施され、ダウンコンバートされて、HD−SDIの映像信号として外部に出力される。
4板型の撮像装置では、2つの緑色光G1,G2を用いて斜め画素ずらしを行って補間処理を行うことにより、解像度を上げている。
[撮像素子の貼り合わせ位置と解像:図2、図3]
次に、本撮像装置における撮像素子の貼り合わせ位置と解像について図2及び図3を用いて説明する。
図2は、図1に示した撮像装置における撮像素子の貼り合わせ位置の各画素の重なり具合を示す模式説明図であり、図3は、4板の撮像素子の各画素のG1とG2との斜め補間による斜め解像と縦横解像の違いを示す模式説明図である。
図2(a)は、本撮像素子における第1緑色(G1)撮像素子103G1と第2緑色(G2)撮像素子103G2の画素の貼り合わせ位置の一例を示している。また、図2(b)は、ベイヤー配列相当の画素の貼り合わせ位置の一例を示している。
図2(a)(b)の画素の貼り合わせ位置において、一般的な画像処理では、図3に示すように、(a)の左上がりの画像及び(b)の右上がりの画像は、G1G2補間で解像できず、(c)の縦線画像及び(d)の横線画像は、G1G2補間で解像できる。
[映像信号処理部104の構成:図4]
次に、本撮像装置の映像信号処理部104の構成について、図4を用いて説明する。図4は、映像信号処理部104の構成を示す構成ブロック図である。
図4に示すように、映像信号処理部は、倍率色収差と貼合誤差補正部107と、補間処理部108と、信号処理部110と、ダウンコンバータ部114と、映像信号出力部180とを備え、撮像素子駆動部190に接続されている。
倍率色収差と貼合誤差補正部107は、入力されたG1信号、G2信号、R信号、B信号に対して、レンズ101で発生する倍率色収差の補正と、撮像素子103と色分解光学系105の貼り合わせ誤差の補正を行い、補間処理部108に出力する。
補間処理部108は、選択部115、LPF(Low Pass Filter)部111、LPF部112、LPF部113、減算部116、加算部118、加算部119を備えている。
選択部115は、撮像素子駆動部190からのクロック信号に従って、G1信号とG2信号とを交互に選択して出力することで、G1+G2信号を生成する。
そして、補間処理部108のLPF部111では、選択部115からのG1+G2信号を、LPF部111の画素遅延部209で遅延させ、加算部117で遅延していないG1+G2信号と遅延させたG1+G2信号とを加算する。
また、画素遅延部209の出力を更に画素遅延部211で遅延させ、加算部212で、加算部209の出力に加算し、加算した信号をビットシフト部210で感度を揃える。
そして、補間処理部108の減算部116で、ビットシフト部210の出力から画素遅延部209の出力を減算して、G差分信号を生成する。
LPF部112,113は、LPF部111で発生する遅延時間に相当する遅延を行う遅延部と、感度を揃えるビットシフト部とを備えており、それぞれ、R信号、B信号について処理を行う。
加算部118はR信号をLPF部112で処理した信号にG差分信号を加算する。
加算部119はG信号をLPF部113で処理した信号にG差分信号を加算する。
信号処理部110は、画像の階調を補正するガンマ色補正等の信号処理を行意、4K映像信号を出力する。
ダウンコンバータ部114は、本撮像装置の特徴部分であり、輪郭補正を行い、ダウンコンバートした信号を出力する。
具体的には、ダウンコンバータ部114は、G,R,Bの各信号毎に、垂直輪郭補正を行う垂直輪郭補正部、水平輪郭補正を行う水平輪郭補正部、斜めの輪郭補正を行う斜め輪郭補正部を備えており、本撮像装置の特徴となる輪郭補正を行った後、4Kを2Kにダウンコンバートする。
特に、本撮像装置のダウンコンバータ部114は、UHDTVカメラのフレームメモリを備え、周辺68画素以上の差分処理によって輪郭補正信号を生成するようにしている。
各輪郭補正部については、後述する。
映像信号出力部180は、映像信号をインタフェースに応じて変換して出力する。ここでは、2KのHD−SDI信号を出力する。
撮像素子駆動部190は、撮像素子画素クロック信号を生成する。
[第1、第2の撮像装置]
本撮像装置の輪郭補正部について具体的に説明する。本撮像装置としては、輪郭補正部の構成が異なる第1の撮像装置と、第2の撮像装置とがある。
[第1の撮像装置]
第1の撮像装置は、各輪郭補正部において、補正対象画素に近い画素の映像信号と、補正対象画素の映像信号との差分を算出せず、輪郭補正信号に高域成分を含まないようにすることにより、低域の変調度を改善し、相対的に高域の変調度を低減させるものである。
[第1の撮像装置の垂直輪郭補正部:図5]
次に、第1の撮像装置の特徴部分である、ダウンコンバータ部114の垂直輪郭補正部(第1の垂直輪郭補正部)の構成について図5を用いて説明する。図5は、第1の垂直輪郭補正部の構成図である。
尚、第1の撮像装置において、第1の垂直輪郭補正部14は、G,R,B信号のそれぞれに対応して設けられている(第1の垂直輪郭補正部14G,14R,14B)が、いずれも同じ構成であるため、ここでは共通する第1の垂直輪郭補正部14として説明する。
第1の垂直輪郭補正部14は、垂直方向に複数配列されたライン(H)において、垂直に配列されている画素間の映像信号を比較して、垂直方向の輪郭を補正するものである。
図5に示すように、第1の垂直輪郭補正部14は、フレームメモリ部M0と、複数の負の乗算器N0〜N31及びN37〜N68と、正の乗算器P4と、複数の加算器300〜367と、映像レベル判定器(映像レベル判定部)28と、乗算器29,32と、小振幅大振幅圧縮制限器(小振幅大振幅圧縮制限部)31と、補正信号加算部33とを備えている。
ここで、フレームメモリ部M0と、負の乗算器N0〜N31及びN37〜N68と、正の乗算器P4と、複数の加算器300〜367とが請求項に記載した差分加算部に相当し、映像レベル判定器28と、乗算器29,32が輪郭補正信号生成部に相当している。
第1の垂直輪郭補正部の各部について説明する。
フレームメモリ部M0は、補正対象となるライン(34Hとする)の映像信号と、0H〜31H、37H〜68Hのラインの映像信号との差分を求めるために、映像信号を保持してクロックに応じて1ラインずつ負の乗算器N0〜N31及びN37〜N68に出力するものである。
第1の撮像装置の特徴として、補正対象となるラインの映像信号と、補正対象ラインから垂直方向に1画素又は2画素だけ離れたラインの映像信号との差分は算出しない。
つまり、第1の垂直輪郭補正部14のフレームメモリ部M0は、32H,33H,35H,36Hの映像データは読み出さない。
すなわち、第1の撮像装置では、補正対象ライン(画素)から3画素以上離れた複数のライン(画素)を用いて補正対象画素との差分を算出するものである。
また、フレームメモリ部M0は、補正対象ライン(34H)を正の乗算器P4、映像レベル判定器28、及び輪郭補正信号加算部33に出力する。
負の乗算器N0〜N31は、フレームメモリ部M0から出力された映像信号に負の係数を乗算し、それぞれ、加算器300〜331に出力する。
負の乗算器N37〜N68は、フレームメモリ部M0から出力された映像信号に負の係数を乗算し、それぞれ、加算器337〜367に出力する。
正の乗算器P4は、フレームメモリM0から出力された補正対象ライン(34H)の映像信号に、正の係数を乗算する。
加算器300〜367は、負の乗算器N0〜N31、N37〜N68と、正の乗算器P4の出力を加算して、加算器300から差分加算信号を出力する。加算器300〜369は、請求項における差分加算部に相当している。
ここで、加算器300から出力される差分加算信号が、各負の乗算器からの出力と正の乗算器P4からの出力との差分の合計に基づく適切な信号となるよう、CPU106からの指示により、正の乗算器P4の係数又は/及び負の乗算器N0〜N31、N37〜N68の係数が調整されている。
尚、負の乗算器N0〜N31及びN37〜N68には、1より小さい係数が設定されており、除算器と称してもよい。
つまり、加算器300から出力される差分加算信号は、補正対象ライン(34H)の映像信号と、補正対象ラインからの距離が2画素以内となる4ラインを除く周辺68ライン(補正対象ラインを中心として±34ライン)までの映像信号との差分の合計となる。
このように、第1の撮像装置では、補正対象ラインから2画素以内のラインとの差分を含まない(5H3Hを含まない)垂直輪郭補正信号を生成することにより、高域輪郭補正を行わないようにしている。
映像レベル判定器28は、補正対象ラインの映像信号のレベルを判定して、しきい値判定により暗部を検出する。
乗算器29は、暗部の輪郭補正信号を減衰させるため、正負及び増幅度を可変調整する。
CPU106は、各負の乗算器N0〜N31,N37〜N68と正の乗算器P4の係数を制御すると共に、乗算器29で乗算される増幅値の正負及び増幅度をレベル制御信号によって制御する。
つまり、CPU106は、加算器300からの出力が、補正対象ライン(34H)の映像信号と、補正対象ラインから2画素以内のラインを除く周辺68ラインまでの映像信号との差分の合計となるよう、係数を制御し、垂直輪郭補正信号のレベルが適切となるよう制御する。
小振幅大振幅圧縮制限器31は、差分加算信号が大振幅であれば圧縮し、小振幅の場合には圧縮を制限する。
乗算器32は、小振幅大振幅圧縮制限器31からの出力に乗算器29からの係数を乗算して、適切な極性及びレベルの垂直輪郭補正信号を生成する。
補正信号加算部33は、フレームメモリ部M0から出力される補正対象ラインの映像信号(34H)に、垂直輪郭補正信号を加算して垂直輪郭補正を行い、補正後信号を出力する。
このように、第1の撮像装置では、補正対象ラインから2画素以内のラインの映像信号との周辺画素差分処理を行わないため、超低域の変調度を増強でき、高域変調度を相対的に低下させるものである。
つまり、第1の垂直輪郭補正部15では、5H3Hによる高域輪郭補正を行わないようにして、高域の変調度を低減するようにしている。
[第1の垂直輪郭補正部の動作:図5]
第1の垂直輪郭補正部14の動作について図5を用いて説明する。
補正前信号は、フレームメモリ部M0に入力され、クロックのタイミングで蓄積されると共に1ラインずつ負の乗算器N0〜N31,N37〜N68、及び正の乗算器P4に出力される。
具体的には、フレームメモリ部M0から出力される補正対象ラインを34Hとすると、負の乗算器N0〜N34には、それぞれ、0H,1H,…31Hが入力され、正の乗算器P4にはH34が入力され、負の乗算器N37〜N68には、それぞれ37H,38H,…68Hが入力される。
補正対象ラインから2画素以内の32H,33H,35H,36Hはフレームメモリ部M0から出力されない。
そして、各負の乗算器N0〜N31、N37〜N68、正の乗算器P4において負又は正の係数が乗算され、加算器300〜367で加算されて、補正対象ラインの映像信号と他のラインの映像信号との差分の合計が算出されて、加算器300から差分加算信号として出力される。
差分加算信号は、小振幅大振幅圧縮制限器31で振幅調整が施され、更に乗算器32において映像レベルに応じた適切なレベルとなるよう増幅又は減衰されて、垂直輪郭補正信号が生成され、補正信号加算部33において、補正対象ラインの映像信号と垂直輪郭補正信号とが加算されて、垂直方向の輪郭補正が行われる。
このようにして第1の垂直輪郭補正部14の動作が行われるものである。
尚、本実施の形態においては、補正対象ラインからの間隔(隔たり、距離)が3画素以上34画素までのラインを用いて周辺画素差分処理を行って垂直輪郭補正信号を生成するようにしているが、補正対象ラインからの間隔が34画素より大きいラインの画素も用いるようにすることも可能である。
いずれの場合にも、補正対象ラインからの間隔が2画素以内となるラインとの差分を算出しないことにより、超低域の変調度を増強した垂直輪郭補正信号を生成できるものである。
[第1の水平輪郭補正部の構成:図6]
次に、第1の撮像装置の水平輪郭補正部(第1の水平輪郭補正部)の構成について図6を用いて説明する。図6は、第1の水平輪郭補正部の構成図である。
第1の水平輪郭補正部は、同一ラインにおいて水平方向に配列された複数の画素間の映像信号を比較して、水平方向の輪郭を補正するものである。
尚、第1の水平輪郭補正部15も、上述した第1の垂直輪郭補正部と同様に、G,R,B信号のそれぞれに対応して設けられているが、ここでは共通の構成の第1の水平輪郭補正部15として説明する。
図6に示すように、第1の水平輪郭補正部15は、複数の画素遅延部D0〜D67と、複数の負の乗算器N100〜N131及びN137〜N168と、正の乗算器P14と、複数の加算器200〜267と、映像レベル判定器48と、乗算器49,42と、小振幅大振幅圧縮制限器41と、補正信号加算部43とを備えている。
つまり、第1の水平輪郭補正部15は、図2に示した第1の垂直輪郭補正部のフレームメモリ部M0の代わりに、画素遅延部D0〜D30,D313,D343,D36〜D67が設けられ、水平方向に配列された画素について処理を行う点が異なるが、その他の基本的な構成及び動作は第1の垂直輪郭補正部14と同等であるため、詳細な説明は省略する。
第1の水平輪郭補正部15においては、画素遅延部D313及びD343は、3画素遅延部となっており、これにより、補正対象画素(34dとする)の前後2画素は出力されず、周辺画素差分処理に用いられない。
これにより、5画素3画素による高域輪郭補正は行わず、高域の変調度を低減するものである。
つまり、第1の水平輪郭補正部15では、補正対象画素の映像信号と、当該補正対象画素から水平方向に3画素以上離れた複数の画素の映像信号との差分の合計が加算器200から加算差分信号として出力され、小振幅大振幅圧縮制限器41において、加算差分信号の振幅補正が行われ、映像レベル判定器48での判定結果に基づいて乗算器42で調整されて水平輪郭補正信号が生成され、補正信号加算部43において、補正対象画素(34d)の映像信号と水平輪郭補正信号とが加算されて、水平方向の輪郭補正が行われる。
水平方向の輪郭補正においても、補正対象画素からの隔たりが2画素以内となる画素との周辺画素差分処理を行わないため、超低域の変調度を増強でき、高域変調度を相対的に低下させるものである。
[斜め輪郭補正の概略:図7]
次に、本撮像装置のダウンコンバータ部114の斜め輪郭補正部で行われる斜め輪郭補正の概略について図7を用いて説明する。図7は、斜め輪郭補正の概略を示す模式説明図であり、(a)は右上斜め輪郭補正、(b)は左上斜め輪郭補正を示している。
斜め輪郭補正部は、右上斜め輪郭補正部と左上斜め輪郭補正部とを備え、それぞれが、補正対象の画素に対して右上斜め輪郭補正、左上斜め輪郭補正を行い、それらを加算して斜め輪郭補正後の信号として出力する。
図7(a)に示すように、補正対象画素を4Hの4dとすると、右上斜め補正では、8Hの0d,7Hの1d,6Hの2d,5Hの3d,3Hの5d,2Hの6d,1Hの7d,0Hの8dの画素を用いて周辺画素差分処理を行って、右斜め上輪郭補正信号を生成する。
また、図7(b)に示すように、左上斜め補正では、0Hの0d,1Hの1d,2Hの2d,3Hの3d,5Hの5d,6Hの6d,7Hの7d,8Hの8dの画素を用いて周辺画素差分処理を行って、左斜め上輪郭補正信号を生成する。
[第1の右上斜め輪郭補正部の構成:図8]
次に、第1の撮像装置の右上斜め輪郭補正部(第1の右上斜め輪郭補正部)の構成について図8を用いて説明する。図8は、第1の右上斜め輪郭補正部の構成図である。
図8に示すように、第1の右上斜め輪郭補正部16aは、フレームメモリM8と、複数の負の乗算器N200〜N231及びN237〜N268と、正の乗算器P54と、複数の加算器400〜467と、映像レベル判定器58と、乗算器59,52と、小振幅大振幅圧縮制限器51と、補正信号加算部53とを備えている。
そして、第1の右上斜め輪郭補正部16aでは、フレームメモリ部M8が、補正対象画素(34Hの34d)の映像信号を正の乗算器P54に出力すると共に、図7(a)に示したように、補正対象画素の左下から右上に配列されている画素を、各負の乗算器N200〜N231及びN237〜N268に出力して、加算器400〜467で差分の合計を算出する。
ここで、第1の右上斜め輪郭補正部16aの特徴として、第1の垂直輪郭補正部14、第1の水平輪郭補正部15と同様に、補正対象画素から2画素以内となる画素は周辺画素差分処理に用いない。
つまり、36Hの32dと、35Hの33dと、33Hの35dと、32Hの36dは、フレームメモリ部M8から出力されない。
すなわち、第1の右上斜め輪郭補正部16aでは、補正対象画素から3画素以上離れた画素の映像信号と補正対象画素の映像信号との差分を算出して、右斜め上輪郭補正信号を生成する。
これにより、超低域の変調度を増強して、相対的に高域の変調度を低減することができるものである。
[第1の左斜め上輪郭補正部の構成:図9]
次に、第1の撮像装置の左上斜め輪郭補正部(第1の左上斜め輪郭補正部)の構成について図9を用いて説明する。図9は、第1の左上斜め輪郭補正部の構成図である。
左上斜め輪郭補正部16bの構成は、図8に示した右上斜め輪郭補正部16aと同等であり、フレームメモリM8から出力される画素が、補正対象画素(34Hの34d)の左上から右下に配列されている画素である点が異なっている。
第1の左斜め輪郭補正部16bにおいても、補正対象画素から2画素以内となる画素は周辺画素差分処理に用いず、補正対象画素から3画素以上離れた画素の映像信号と補正対象画素の映像信号との差分を算出して、左斜め上輪郭補正信号を生成する。
[第1の撮像装置の輪郭補正部の一般的な構成:図10]
ここで、これまでに説明した第1の撮像装置の輪郭補正部の一般的な構成について図10を用いて説明する。図10は、第1の撮像装置の輪郭補正部の一般的な構成図である。
図10に示すように、第1の撮像装置の輪郭補正部18は、垂直輪郭補正部、水平輪郭補正部、右斜め上輪郭補正部、左斜め上輪郭補正部の全てを表現するものであり、補正対象画素から3画素以上離れた複数の画素を用いて補正対象画素との差分を算出して、それに基づいて輪郭補正信号を生成する構成である。
図10の構成において、補正対象画素を34Hの0dとした場合に、フレームメモリ部M8から読み出される画素を、(34−34m)Hの−34nd〜(34−3m)Hの−3nd、(34+3m)Hの3nd〜68Hの34ndと記載することができる。
m、nは、それぞれ、+1,0、−1のいずれかを取る定数であり、m=1,n=0の場合には、図10の構成は垂直輪郭補正部となり、m=0,n=1の場合には、水平輪郭補正部となる。
同様に、m=−1,n=1の場合には右上斜め輪郭補正部となり、m=1,n=−1の場合には左上斜め輪郭補正部となる。
ここで、第1の撮像装置における各輪郭補正部では、周辺画素差分処理を行う画素の範囲を、補正対象画素からの間隔(距離)が3画素以上68画素までとなる画素としたが、これより少なくても多くても構わない。
但し、斜め輪郭補正部においては、補正対象画素からの間隔が68画素以上、例えば136画素となるように周辺画素差分処理の範囲を設定し、それに応じて負の乗算器及び加算器を設けることが望ましい。
[第2の撮像装置]
第2の撮像装置は、第1の撮像装置の構成に加えて、各輪郭補正部において、補正対象画素に近い画素の映像信号を補正対象画素の映像信号に加算することによって、低域通過成分を増強し、低域の輪郭補正を強く行って、高域の相対的な変調度をより低減させるものである。
[第2の垂直輪郭補正部の構成:図11]
次に、第2の撮像装置の垂直輪郭補正部(第2の垂直輪郭補正部)の構成について、図11を用いて説明する。図11は、第2の垂直輪郭補正部の構成図である。
図11に示すように、第2の垂直輪郭補正部24は、図5に示した第1の垂直輪郭補正部14の構成に加えて、補正対象ラインからの隔たりが2画素以内となるラインの映像信号を、補正対象ラインの映像信号に加算する構成を備えたものである。
第1の垂直輪郭補正部と同等の構成部分には同一の符号を付している。
具体的には、第2の垂直輪郭補正部24は、第1の垂直輪郭補正部14の構成に、更に、正の乗算器P32,P33,P35,P36と、加算器332,333,335,336とを備えている。
そして、第2の垂直輪郭補正部24では、フレームメモリ部M0が、補正対象ライン(34H)からの距離が2画素以内となる32H,33H,35H,36Hを読み出して、それぞれ、正の乗算器P32,P33,P35,P36に出力する。
各正の乗算器P32,P33,P35,P36では、CPU部106からの制御により適切な正の係数が乗算されて、それぞれ、加算器332,333,335,336に出力される。
つまり、第2の垂直輪郭補正部24では、補正対象ラインの映像信号に、補正対象ラインから2画素以内のラインの映像信号を適切なレベルで加算した加算信号と、補正対象ラインからの距離が3画素以上となる複数のラインの映像信号との差分を算出して、垂直輪郭補正信号を生成するものである。
これにより、第2の垂直輪郭補正部24では、5H3Hを加算して低域通過成分を生成し、低域の輪郭を一層補正(強調)することができると共に、高域の変調度を相対的に低下させることができるものである。
[第2の水平輪郭補正部の構成:図12]
次に、第2の撮像装置の水平輪郭補正部(第2の水平輪郭補正部)の構成について図12を用いて説明する。図12は、第2の水平輪郭補正部の構成図である。
図12に示すように、第2の水平輪郭補正部25は、第1の水平輪郭補正部15の構成に加えて、正の乗算器P132,P133,P135,P136と、加算器232,233,235,236を備えている。
また、第1の水平輪郭補正部15に設けられていた3画素遅延部である画素遅延部D313及びD343の代わりに、1画素遅延を行う画素遅延部D31〜D36が設けられている。
そして、第2の水平輪郭補正部25では、画素遅延部D31,D32,D35,D36が、補正対象画素(34d)からの距離が2画素以内となる32d,33d,35d,36dを、それぞれ、正の乗算器P132,P133,P135,P136に出力してレベル調整後、加算器232,233,235,236に出力する。
そして、第2の水平輪郭補正部25は、補正対象画素の映像信号に、補正対象画素からの距離が2画素以内となる画素の映像信号を適切なレベルで加算して、当該加算信号と、補正対象画素からの距離が3画素以上となる複数の画素の映像信号との差分を算出して、水平輪郭補正信号を生成する。
これにより、水平輪郭補正においても低域の変調度を一層増強して、高域の変調度を相対的に低下させるものである。
[第2の右上斜め輪郭補正部の構成:図13]
第2の右上斜め輪郭補正部の構成について図13を用いて説明する。図13は、第2の右上斜め輪郭補正部の構成図である。
図13に示すように、第2の右上斜め輪郭補正部26aは、図8に示した第1の右上斜め輪郭補正部16aの構成に加えて、正の乗算器P232,P233,P235,P236と、加算器432,433,435,436とを備えている。
そして、第2の垂直輪郭補正部24、第2の水平輪郭補正部25と同様に、補正対象画素(34Hの34d)の映像信号に、補正対象画素からの距離が2画素以内となる画素の映像信号を、適切なレベルで加算した加算信号と、補正対象画素からの距離が3画素以上となる複数の画素の映像信号との差分を算出して、垂直輪郭補正信号を生成するものである。
[第2の左上斜め輪郭補正部の構成:図14]
第2の左上斜め輪郭補正部の構成について図14を用いて説明する。図14は、第2の左上斜め輪郭補正部の構成図である。
図14に示すように、第2の右上斜め輪郭補正部26bは、図9に示した第1の左上斜め輪郭補正部26bの構成に加えて、正の乗算器P332,P333,P335,P336と、加算器532,533,535,536とを備えている。
そして、第2の右上斜め輪郭補正部26aと同様に、補正対象画素(34Hの34d)からの距離が2画素以内となる画素の映像信号を、補正対象画素の映像信号に加算した加算信号と、補正対象画素からの距離が3画素以上となる複数の画素の映像信号との差分を算出して、垂直輪郭補正信号を生成するものである。
[第1、第2の撮像装置の輪郭補正後信号:図15]
次に、第1、第2の撮像装置における輪郭補正後の信号(輪郭補正後信号)について図15を用いて説明する。
図15は、第1、第2の撮像装置における輪郭補正後信号の説明図であり、(a)は、補正前信号、(b)は、7H成分/7画素成分による輪郭補正信号、(c)は、9H成分/9画素成分による輪郭補正信号、(d)は、11H成分/11画素成分による輪郭補正信号、(e)は、13H成分/13画素成分による輪郭補正信号、(f)は、第1の撮像装置の輪郭補正後信号、(g)は第2の撮像装置の輪郭補正後信号、(h)は、5H成分/5画素成分による輪郭補正信号、(i)は、3H成分/3画素成分による輪郭補正信号を示している。
尚、(i)の3H成分/3画素成分による輪郭補正信号は、補正対象画素から1画素だけ離れたライン/画素の映像信号と、補正対象画素との差分に基づく輪郭補正信号であり、第1,第2の撮像装置では生成されないものである。
同様に、(h)の5H成分/5画素成分による輪郭補正信号は、補正対象画素から2画素だけ離れたライン/画素の映像信号と、補正対象画素との差分に基づく輪郭補正信号であり、第1,第2の撮像装置では生成されない。
(f)に示した第1の撮像装置の輪郭補正後信号は、68H67H・・・13H11H9H7H成分/68画素67画素・・・13画素11画素9画素7画素成分による輪郭補正信号で補正された輪郭補正後信号である。
当該輪郭補正信号には、5H3H成分/5画素3画素成分は含まれず、超低域輪郭を強調するものである。
そして、第1の撮像装置のダウンコンバータ部114では、生成された(f)の信号を1つおきに出力してダウンコンバートする。10kHzを基準とした場合の27.5MHz変調度を35%とし、補正前と比べて増大させず一定としている。
また、(g)に示した第2の撮像装置の輪郭補正後信号は、5H3H成分/5画素3画素成分を補正対象画素成分に加算して、輪郭補正を行ったものである。つまり、5H3H成分/5画素3画素成分LPF出力を含み、68H67H・・・13H11H9H7H成分/68画素67画素・・・13画素11画素9画素7画素成分による輪郭補正信号で補正された輪郭補正後信号である。
5H3H成分/5画素3画素成分の低域通過補正を行うことで、一層超低域の輪郭を強調できるものである。
第2の撮像装置のダウンコンバータ部114では、生成された(g)の信号を1つおきに出力してダウンコンバートすることで、10kHz基準の27.5MHzの変調度を15%に低減している。
[第1、第2の撮像装置における変調度:図16]
次に、第1、第2の撮像装置における変調度について図16を用いて説明する。図16は、第1、第2の撮像装置における変調度を示す説明図であり、(a)は第1の撮像装置、(b)は第2の撮像装置の補正前信号と輪郭補正後信号の変調度を示している。
図16(a)に示すように、第1の撮像装置では、3H5H成分/3画素5画素成分による輪郭補正を行わない場合であり、10kHz基準の1MHzのMTFが、補正前の65%から補正後には70%に向上し、1MHz基準の27.5MHzのMTFが35/65=54%から35/70=50%に低下する。
すなわち、第1の撮像装置では、低域の変調度を改善し、高域の相対的な変調度を十分低減できるものである。
図16(b)は、3H5H成分/3画素5画素成分LPF出力を補正対象画素の映像信号に加算した場合であり、10kHz基準の1MHzのMTFが補正前の65%から補正後には70%に向上し、1MHz基準の27.5MHzのMTFが35/65=54%から15/70=21%に低下する。
第2の撮像装置においては、第1の撮像装置と同様に低域の変調度を改善すると共に、高域における相対的なMTFを大幅に低減できるものである。
[実施の形態の効果]
本発明の実施の形態に係る第1,第2の撮像装置によれば、画素ピッチが撮像光の中心波長の5波長以下のCMOS撮像素子を用い、2つの緑色撮像素子が斜め画素ずらしを行う4板撮像装置において、ダウンコンバータ部114が、輪郭補正を施す補正対象の画素の映像信号と、当該補正対象の画素からの間隔(隔たり、距離)が3画素以上となる複数の周辺画素の映像信号との差分を算出する周辺画素差分処理を行い、当該複数の差分を加算した差分加算信号に基づいて輪郭補正信号を生成し、補正対象画素の映像信号に輪郭補正信号を加算して、ダウンコンバートするようにしているので、視覚的に重要な低域の輪郭及び変調度を改善すると共に、高域輪郭補正を行わないことにより、高域の変調度を相対的に低減することができる効果がある。
特に、第1,第2の撮像装置によれば、4KのUHDTVを2KのHDTVにダウンコンバートする際に、2Kの飛越走査のHDTVの1MHz以下の超低域を増強して、2Kの飛越走査のHDTVの1MHzを100%として定義される2KのHDTVの27.5MHz変調度を50%にまで低下させることができる効果がある。
また、第2の撮像装置によれば、輪郭補正を施す補正対象の画素の映像信号に、補正対象の画素からの間隔が2画素以内となる画素の映像信号を加算して低域通過信号を生成し、当該低域通過信号と、補正対象の画素からの間隔が3画素以上となる複数の周辺画素の映像信号との差分を算出する周辺画素差分処理を行うようにしているので、超低域の輪郭補正信号を増強して、超低域の変調度を改善すると共に、高域の変調度を大幅に低減することができる効果がある。
また、第1、第2の撮像装置によれば、ダウンコンバータにおいて、垂直輪郭補正、水平輪郭補正に加えて、右上斜め輪郭補正及び左上斜め輪郭補正を行うようにしているので、4板カメラにおいて変調殿低い右斜めと左斜めの輪郭補正を強く行うことができ、視覚的に重要な斜めの輪郭を改善することができる効果がある。
更に、第1及び第2の撮像装置によれば、低域MTFが高いものの、高価で大型のスーパー35mmサイズの大型撮像素子を使用することなく、電子的に低域MTFを補正するようにしているので、8K4K2Kの映像制作の自由度を低コストで増加させることができる効果がある。
第1及び第2の撮像装置によれば、ダウンコンバータ114の各輪郭補正部における周辺画素差分処理を行う画素の範囲を、補正対象画素からの間隔(隔たり)が3画素以上68画素までとなる画素としているので、回路構成を大規模にすることなく、低域の変調度を改善し、高域の変調度を低減できる効果がある。
尚、周辺画素差分処理を行う範囲はこれに限るものではなく、補正対象画素からの間隔が68画素を超え、例えば136画素等、より遠くの画素まで含むようにしてもよく、低域の変調度を更に改善し、高域の変調度を低減できる効果がある。
また、報道用2/3型4K撮像素子と、中継用1.25型8K撮像素子は、2.5μmの同一画素間隔で、緑波長の約4.5倍の画素ピッチとなっており、超望遠での収差が大きく、絞りが暗く、MTFが低い状態になるが、第1、第2の撮像装置によれば、それらの特性を許容して、低周波でのMTFを改善することができ、撮像装置の低価格化を実現できる効果がある。
本発明は、画素ピッチが小さいCMOS撮像素子を用いた4板型の撮像装置において、ダウンコンバートの際に、低域における変調度を改善すると共に、高域における変調度を相対的に低減できる撮像装置に適している。
14,24…垂直輪郭補正部、 15,25…水平輪郭補正部、 16a,26a…右上斜め輪郭補正部、 16b,26b…左上斜め輪郭補正部、 18…輪郭補正部、 28,48,58,68…映像レベル判定器、 29,32,42,49,52,59,62,69…乗算器、 31,41,51,61…小振幅大振幅圧縮制限器、 33,43,63…補正信号加算部、 101…レンズ、 102…撮像装置、 103,103G1,103G2,103R,103B…撮像素子、 104…映像信号処理部、 105……色分解光学系、 106…CPU部、 107…倍率色収差と貼合誤差補正部、 108…補間処理部、 110…信号処理部、 114…ダウンコンバータ部、 180…映像信号出力部、 190…撮像素子駆動部、 111,112,113…LPF部、 116…減算器、 117,118,119,212,200〜267,300〜367、400〜467、500〜567…加算器、 209,211…画素遅延部、 210…ビットシフト部、 M0,M8…フレームメモリ部、 N0〜N68,N100〜N168,N200〜N268,N300〜N368…負の乗算器、 P4,P14、P54,P64,P32,P33,P35,P36,P132,P133,P135,P136、P232、P233,P235,P236,P332,P333,P335,P336…正の乗算器、 D0〜D67…画素遅延部、 91…マイクロレンズ、 92…カラーフィルタ、 93…フォトダイオード、 94…メタル配線層

Claims (4)

  1. 画素ピッチが撮像光の中心波長の5倍以下である、赤色、青色及び2つの緑色のCMOS撮像素子を用い、前記2つの緑色のCMOS撮像素子で斜め画素ずらしを行う撮像装置であって、
    入力光を色毎に分解する色分解光学系と、前記色分解光学系で分解された光を色毎に光電変換して映像信号を出力する前記赤色、青色及び2つの緑色のCMOS撮像素子とを有する色分解部と、
    前記色分解部からの信号に基づいて補間処理を行う補間処理部と、
    前記補間処理部からの映像信号について、輪郭補正を行った後、ダウンコンバートして出力するダウンコンバータ部とを有し、
    前記ダウンコンバータ部が、輪郭補正を施す補正対象の画素の映像信号と、当該補正対象の画素からの間隔が、3画素以上となる複数の画素の映像信号との差分を算出し、当該複数の差分を加算した差分加算信号に基づいて輪郭補正信号を生成し、前記補正対象の画素の映像信号に前記輪郭補正信号を加算して輪郭補正を行う輪郭補正部を備えることを特徴とする撮像装置。
  2. 輪郭補正部が、補正対象の画素からの間隔が2画素以内の画素の映像信号を、前記補正対象の画素の映像信号に加算して、前記加算された信号と、前記補正対象の画素からの間隔が3画素以上となる複数の画素の映像信号との差分を算出して、輪郭補正を行うことを特徴とする請求項1記載の撮像装置。
  3. 輪郭補正部が、垂直方向の輪郭を補正する垂直輪郭補正部と、水平方向の輪郭を補正する水平輪郭補正部と、右上斜め方向の輪郭及び左上斜め方向の輪郭を補正する斜め輪郭補正部とを備えたことを特徴とする請求項1又は2記載の撮像装置。
  4. 輪郭補正部が、差分加算信号の生成において、補正対象画素からの間隔が68画素までの画素を用いることを特徴とする請求項1乃至3のいずれか記載の撮像装置。
JP2017179918A 2017-09-20 2017-09-20 撮像装置 Active JP6932053B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017179918A JP6932053B2 (ja) 2017-09-20 2017-09-20 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017179918A JP6932053B2 (ja) 2017-09-20 2017-09-20 撮像装置

Publications (2)

Publication Number Publication Date
JP2019057776A JP2019057776A (ja) 2019-04-11
JP6932053B2 true JP6932053B2 (ja) 2021-09-08

Family

ID=66106601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017179918A Active JP6932053B2 (ja) 2017-09-20 2017-09-20 撮像装置

Country Status (1)

Country Link
JP (1) JP6932053B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4626104B2 (ja) * 2001-07-31 2011-02-02 パナソニック株式会社 映像信号処理回路
JP2006303774A (ja) * 2005-04-19 2006-11-02 Olympus Corp 撮像装置
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置
WO2016047383A1 (ja) * 2014-09-26 2016-03-31 株式会社日立国際電気 固体撮像装置及び撮像方法

Also Published As

Publication number Publication date
JP2019057776A (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
CN101006731B (zh) 图像处理装置及图像处理方法、摄像装置
JP4914303B2 (ja) 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
JP4329833B2 (ja) ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置
US20090027525A1 (en) Techniques For Reducing Color Artifacts In Digital Images
JP4960309B2 (ja) 固体撮像装置
JP2008289090A (ja) 撮像信号処理装置
JP2010141663A (ja) 撮像装置
US8189066B2 (en) Image processing apparatus, image processing method, and computer-readable medium
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP6032912B2 (ja) 撮像装置、その制御方法及びプログラム
JP6932053B2 (ja) 撮像装置
JP2003101815A (ja) 信号処理装置及び信号処理方法
JP4329485B2 (ja) 画像信号処理装置及び画像信号処理方法
JP4687454B2 (ja) 画像処理装置および撮像装置
JP5761979B2 (ja) ノイズ除去システムおよび撮像装置
US10348984B2 (en) Image pickup device and image pickup method which performs diagonal pixel offset and corrects a reduced modulation depth in a diagonal direction
JP3660504B2 (ja) カラー固体撮像装置
JP6827121B2 (ja) 撮像装置
JP5454820B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
US20120062763A1 (en) Image processing apparatus, image processing method, and camera module
JP2011035893A (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP2004128725A (ja) 固体撮像装置及び画像信号処理回路
JP2003250162A (ja) 固体撮像装置および信号処理方法
JP2012099988A (ja) 画像補正装置
JP2011066892A (ja) 画像処理装置、画像処理方法および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210817

R150 Certificate of patent or registration of utility model

Ref document number: 6932053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250