JP4677582B2

JP4677582B2 - Image processing device

Info

Publication number: JP4677582B2
Application number: JP2001174080A
Authority: JP
Inventors: 隆司松谷; 元佐々木
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2001-06-08
Filing date: 2001-06-08
Publication date: 2011-04-27
Anticipated expiration: 2021-06-08
Also published as: JP2002366946A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像データに画素補間などを施す画像処理装置に関する。
【０００２】
【従来の技術】
一般に、デジタル・ビデオ・カメラやデジタル・スチル・カメラなどの撮像デバイスでは、レンズ群やプリズムなどからなる光学系を透過した光はＣＣＤセンサやＣＭＯＳセンサなどの撮像センサで検出され画像信号に変換される。その画像信号はデジタル信号（原画像データ）にＡ／Ｄ変換された後に、画素補間、色空間変換、輪郭強調および解像度変換などの種々の画像処理を施され、液晶表示装置（ファインダー）などで表示される。また撮像デバイスの中には、その画像処理を施した画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やモーションＪＰＥＧ、ＭＰＥＧ（Moving Picture Experts Group）などの各種方式で圧縮符号化した後に不揮発性メモリなどのメモリカードに書き出したり、インターフェースを介してパーソナル・コンピュータなどの外部機器に出力したりする機能を有するものもある。また、通常、前記原画像データに対する画像処理のリアルタイム性を高めるべく、撮像デバイスには画像処理専用のチップ（集積回路）が組み込まれている。しかし、ハードウェア構成のチップがなし得る画像処理には、予め組み込まれた画像処理しか実行できないという制限があり、このため、ハードウェアの仕様から外れた画像処理（適応型画像処理と呼ばれる。）はＣＰＵに依存したプログラム（ソフトウェア）で実現される。
【０００３】
【発明が解決しようとする課題】
しかしながら、そのようなＣＰＵに依存した適応型画像処理ではオーバーヘッドが大きく、処理時間が長大化し易いという問題がある。例えば、撮像した原画像データをソフトウェア処理で画素補間する場合、その原画像データは一旦、ＳＤＲＡＭなどのバッファに転送され格納される。次いでＣＰＵは、そのバッファにアクセスして２次元画素配列の原画像データを読み出さねばならないため、データ転送そのものに非常に時間がかかってしまう。また、ＣＰＵにおけるソフトウェア処理とチップにおけるハードウェア処理とを組み合わせた画像処理を行う場合にもデータ転送時のオーバーヘッドが大きくなる。すなわち、１画素毎のデータ転送回数には、ＣＰＵとバッファとの間で画像データを読出しおよび書き出しするために２ステップ、チップとバッファとの間で補間データを読出しおよび書き出しするために２ステップが要求され、合計４ステップが必要となる。このことが処理時間を長大化させる一因にもなっていた。
【０００４】
以上の問題に鑑みて本発明が解決しようとするところは、ハードウェア処理とソフトウェア処理とを組み合わせた画像処理の速度を大幅に向上し得る画像処理装置を提供する点にある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、前記画像処理部は、入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、前記画素補間回路は、前記２次元局所領域内の全画素データの平均値または前記２次元局所領域内の各色成分毎の平均値を算出し、前記各平均値を第２の前記レジスタに保持させる線形演算回路と、前記画素補間回路は、前記２次元局所領域内の前記各色成分毎の平均値を特定の色成分の平均値で除算した色成分比率を算出し、該色成分比率を第３の前記レジスタに保持させる色成分比演算回路と、を備えることを特徴とするものである。
また請求項２に係る発明は、ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、前記画像処理部は、入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、前記画素補間回路は、前記２次元局所領域内の全画素データの平均値または前記２次元局所領域内の各色成分毎の平均値を算出し、前記各平均値を第２の前記レジスタに保持させる線形演算回路と、前記２次元局所領域内の所定の注目画素の画素データと前記平均値との偏差（高域成分）を算出し、該偏差を第４の前記レジスタに保持させる高域成分演算回路と、を備えることを特徴とするものである。
また請求項３に係る発明は、ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、前記画像処理部は、入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、前記画素補間回路は、前記２次元局所領域内の任意の画素データを昇順または降順に並べ替え、第５の前記レジスタに保持させる並べ替え演算回路を備えることを特徴とするものである。
【０００６】
また請求項４に係る発明は、請求項１〜３の何れか１項に記載の画像処理装置であって、前記画像処理部に対する画像データの入出力は少なくとも１チャンネルのＤＭＡ（ダイレクト・メモリ・アクセス）で実行されるものである。
【０００７】
また請求項５に係る発明は、請求項１〜４の何れか１項に記載の画像処理装置であって、前記マイクロ・プロセッサの処理速度が前記画像処理部の処理速度と同程度もしくは当該処理速度よりも低い場合に、少なくとも、前記マイクロ・プロセッサで前記適応型画像処理を実行する期間は、前記レジスタに同一の画像データを保持させ、且つ、前記画像処理部における処理を一時中断させるものである。
【０００８】
また請求項６に係る発明は、請求項１〜４の何れか１項に記載の画像処理装置であって、少なくとも、前記マイクロ・プロセッサで前記適応型画像処理を実行する期間に前記レジスタが同一の画像データを保持するように、前記マイクロ・プロセッサの処理速度が前記画像処理部の処理速度よりも高く設定されるものである。
【００１４】
また請求項７に係る発明は、請求項１〜６の何れか１項に記載の画像処理装置であって、前記画素補間回路は、前記２次元局所領域内の画素データの各々に所定の係数値を乗算して加算する空間フィルタリングを実行し、第６の前記レジスタに保持させる空間フィルタ回路を備える。
【００１５】
また請求項８に係る発明は、請求項７記載の画像処理装置であって、前記空間フィルタ回路は、前記各画素データに対応する係数値を記憶した複数種類の係数テーブルと、該係数テーブルを切り換えるセレクタと、を備える。
【００１６】
そして請求項９に係る発明は、請求項１〜８の何れか１項に記載の画像処理装置であって、前記インターフェースとしてコプロセッサ・インターフェースを用いたものである。
【００１７】
【発明の実施の形態】
図１は、本発明の実施の形態に係る画像処理装置を搭載したデジタル・スチル・カメラ１の全体構成を示す機能ブロック図である。このデジタル・スチル・カメラ１は、ＡＦ（オート・フォーカス）機能や自動露出調節機能などを備えた光学機構１１を有しており、この光学機構１１を通して入射した被写体画像の光がＣＣＤからなる画像撮像センサ１２で検出される。また被写体を撮影するタイミングと同期するように光量を調節された光をストロボ（閃光装置）３０から発して被写体に照射することができる。アナログ信号処理回路１３は、画像撮像センサ１２から出力された被写体の画像信号をデジタル化して得られる原画像データをＲＰＵ（リアルタイム・プロセッシング・ユニット）１４に出力する。ＲＰＵ（画像処理部）１４は入力する原画像データに対して、後述する画素補間や色空間変換などの画像処理をリアルタイムに実行する機能を有する。また上記アナログ信号処理回路１３とＲＰＵ１４はそれぞれメイン・バス１０と接続されており、アナログ信号処理回路１３から出力される原画像データをＲＰＵ１４に入力させずに、メイン・バス１０を介して主メモリ２６に転送させ一時記憶させることができる。
【００１８】
またＲＰＵ１４から出力された画像データは主メモリ２６のバッファ領域に転送されて一時記憶されたり、メイン・バス１０を介してディスプレイ・モジュール２０に転送されＬＣＤ（液晶表示装置）２３に表示されたりする。尚、同図中、符号２１はデジタル・エンコーダ、２２はＬＣＤ駆動回路２２を示している。またそのバッファ領域に記憶された画像データは、ＣＰＵ１７やＤＭＡ（ダイレクト・メモリ・アクセス）コントローラ２４の制御により読み出され、メイン・バス１０を介して圧縮処理部２５に転送されＪＰＥＧやＭＰＥＧなどの方式で圧縮符号化された後に、インターフェース２７Ａに転送され不揮発性メモリからなるメモリ・カード２７に格納できる。また圧縮処理部２５で圧縮符号化した画像データを外部インターフェース２８に転送し、この外部インターフェース２８と接続された外部の表示装置やコンピュータなどに転送することも可能である。
【００１９】
尚、図１中、符号１５は画像撮像センサ１２を駆動する駆動回路、符号１６はＲＰＵ１４および駆動回路１５などの動作タイミングを規律するタイミング・ジェネレータ、符号１８はＰＬＬ発振回路、符号１９はＣＰＵ１７の補助演算を実行するコプロセッサを示している。またクロック・ジェネレータ２９は、ＰＬＬ発振回路１８から供給されるクロック信号を逓倍もしくは分周することで、ＲＰＵ１４、タイミング・ジェネレータ１６、ＣＰＵ１７およびデジタル・エンコーダ２１などの全モジュールの駆動クロック信号を生成する。
【００２０】
上記画像撮像センサ（ＣＣＤ撮像センサ）１２は、光電効果で発生したキャリア（電子またはホール）を蓄積する電荷蓄積部と、蓄積されたキャリアに電界を印加して転送するように制御する電荷転送部とを備える一般的なものである。例えば、ＩＴ−ＣＣＤ（Interline Transfer CCD；インタライン転送ＣＣＤ）、ＦＦ−ＣＣＤ（Full Frame CCD；フルフレームＣＣＤ）、ＦＴ−ＣＣＤ（Frame Transfer CCD；フレーム転送ＣＣＤ）、ＦＩＴ−ＣＣＤ（Frame Interline Transfer CCD；フレームインターライン転送ＣＣＤ）などが挙げられる。また画像撮像センサ１２としては、画素を構成するラインのうち偶数番目ラインからなるフィールド（偶数フィールド）と奇数番目ラインからなるフィールド（奇数フィールド）とから交互に画素データを読み出されるインターレース（飛越し走査）タイプのものと、ライン順次に画素データを読み出されるプログレッシブ（順次走査）タイプのものとの何れかが使用される。尚、本実施の形態では、画像撮像センサ１２にＣＣＤ撮像センサを採用するが、これに限らず、電荷転送部をもたないＣＭＯＳ撮像センサを採用してもよい。このような画像撮像センサ１２の感光部上には単板式の色フィルタ・アレイが配設されている。
【００２１】
図２は、上記ＲＰＵ１４の概略構成を示す機能ブロック図である。ＲＰＵ１４は集積回路化されており、単一画素処理部４０，画素補間・ガンマ補正処理部４１，色空間変換・色抑圧処理部４２，空間フィルタリング・コアリング処理部４３および解像度変換部４４を備えている。各処理ブロック４０〜４４はメイン・バス１０と接続されており、画像データを処理ブロック４０〜４４でシリアル（逐次的）に画像処理させることができるし、一の処理ブロックのみで画像処理することも可能である。例えば、主メモリ２６に一時記憶された画像データをメイン・バス１０経由で画素補間・ガンマ補正処理部４１にＤＭＡ転送し画像処理させた後、画素補間・ガンマ補正処理部４１から出力された処理データをメイン・バス１０経由で主メモリ２６上のバッファにＤＭＡ転送し格納することができる。
【００２２】
前記単一画素処理部４０は、主メモリ２６上のバッファからＤＭＡ転送されて入力する原画像データを単一画素単位で処理する機能を有し、入力する原画像データを複数フレームもしくは複数フィールドに亘り平均化する経時的平均化処理やシェーディング処理などを実行する。例えば、経時的平均化処理では、被写体の露光量が不足している場合、画像撮像センサ１２から通常周期で読出した複数フレームまたは複数フィールドに亘る画素データを累積することで露出量を増大させる処理が行われる。従来、被写体の露光量が不足している場合は、画像撮像センサ１２からの画素データの読出しを所定期間停止し、画像撮像センサ１２の感光部における蓄積電荷量を十分に増大させた後に画素データを読出したり、アナログ信号処理回路１３で画像信号を増幅したりすることが行われていたが、これらでは画素データに含まれるノイズも増大しＳ／Ｎ特性が低下するという問題が生じていた。また、シェーディング処理は、画像の全体が平均的に一様な明るさになるように、各画素の輝度値をゲイン調整することで実行される。ここで、シェーディングとは、光学機構１１の中心部に対する周辺部の減光や、画像撮像センサ１２の受光感度の不均一に起因して生ずる、被写体画像の本来の輝度と映像信号との間の変換特性の不整合を意味しており、例えば、画像の周辺部が中心部に比べて暗くなるという輝度ムラとなって現れるものである。
【００２３】
次に、上記画素補間・ガンマ補正処理部４１は主要な機能として、後に詳述するように、内部に組み込まれた空間レジスタ群（レジスタ）５０に一時記憶した画素データを用いて各画素毎に不足の色成分を補間する画素補間機能と、ルック・アップ・テーブル（以下、ＬＵＴと呼ぶ。）を用いてガンマ値などを補正するガンマ補正機能とを有している。画像撮像センサ１２の感光部上に配設される単板式の色フィルタ・アレイには、「Ｒ（赤色）」，「Ｇ（緑色）」，「Ｂ（青色）」の３原色系色フィルタや、「Ｙ（イエロー色）」、「Ｍ（マゼンダ色）」、「Ｃ（シアン色）」、「Ｇ（緑色）」のような４色の補色系色フィルタなどがある。図３は、ベイヤー配列と称する３原色系色フィルタ配列３５を例示する模式図、図４は、補色系色フィルタ配列３７を例示する模式図である。３原色系の色フィルタ配列３５は、太線枠で示した２×２画素の単位画素領域３６を繰り返し単位として配列して構成される。その単位画素領域３６には、対角をなす２画素の各々にＧフィルタが配列され、残る２画素にＲフィルタとＢフィルタが配列されている。また、補色系の色フィルタ配列３７は、太線枠で示した２×２画素の単位画素領域３８を繰り返し単位として配列して構成される。その単位画素領域３８には、Ｍフィルタ、Ｇフィルタ、ＣフィルタおよびＹフィルタが各画素と一対一対応で配列される。このような色フィルタ・アレイを透過した光から得た画素データは、一画素に単色成分しかもたないため、画素補間機能は、一画素に３色もしくは４色の色成分をもたせるように当該着目画素の周辺画素の色成分を用いてそれらの平均値などを算出することで不足の色成分を補間する。また、ガンマ補正機能は、離散的な階調をもつ色成分値（入力値）と各入力値に対応する補正後の色成分値（出力値）とをＬＵＴに保持しており、このＬＵＴに基づいて入力値は対応する出力値に変換し出力する。
【００２４】
本発明に係る画像処理装置では、ＣＰＵ１７は、以上の画素補間・ガンマ補正処理部４１に組み込まれた空間レジスタ群５０とインターフェースを介して直接アクセスでき、その空間レジスタ群５０に記憶された画素データを取り込んで画像処理し、その空間レジスタ群５０の任意のレジスタに戻すことが可能である。
【００２５】
次に、色空間変換・色抑圧処理部４２は、原信号がカラー画像信号の場合に例えばＲＧＢ信号からＹＣｂＣｒ信号へ色空間を変換する色空間変換機能と、画像中の明部と暗部の色抑圧（クロマサプレス；偽色防止）を行う色抑圧機能とを有している。色空間変換機能で変換先の色空間としては、ＹＣｂＣｒ色空間の他に、ＮＴＳＣ（National Television System Committee）方式などで規定されているＹＩＱ色空間などを採用しても構わない。また色抑圧機能は画像に現れる明部および暗部の発色を抑制することで自然な画質を実現するものである。一般に、画像に現れる暗部は様々なノイズの影響を受けやすい性質をもつため、暗部ではできるだけ発色を抑制することが自然な画質を出すことにつながる。一方、画像の現れる明部は当該明部を撮像した撮像素子やその他の種々のハードウェアの特性に応じて変調の影響を受け易い部分でありホワイトバランスが狂い易い部分であるため、出来るだけ発色を抑制することが自然な画質を出すことにつながる。これらを考慮して色抑圧機能は画像中の明部と暗部の発色が抑制される。
【００２６】
次に、空間フィルタリング・コアリング処理部４３は、画像データの５×５画素程度の局所領域に空間フィルタ（重みマスク）を適用し、各空間フィルタの係数値を対応する画素データに重み付け（乗算）し加算するという積和演算を実行する空間フィルタリング機能と、空間フィルタリング処理を施された画像データに対し、高域成分が一定レベルを超えたときに一般的な非線形処理（コアリング）を施すコアリング機能とを有するものである。以上の空間フィルタリング機能とコアリング機能とで画像に含まれる雑音が低減されたり、線およびエッジ部分を強調する輪郭強調処理が実行されたりする。
【００２７】
次に、解像度変換部４４は、前記空間フィルタリング・コアリング処理部４３から出力された画像データのサイズを、バイリニア法（線形補間法）などに基づいて縮小または拡大する機能を有している。
【００２８】
以上の構成のＲＰＵ１４を用いた実施の形態に係る画像処理装置を以下に詳説する。図５は、本実施の形態に係る画像処理装置を構成する画素補間・ガンマ補正処理部４１の概略を示すブロック図である。この画素補間・ガンマ補正処理部４１は、上記した空間レジスタ群５０として、上記単一画素処理部４０またはメイン・バス１０から入力する画素データの５×５画素分を記憶する入力データ・レジスタ群５０Ａと、各演算回路５３〜５８で処理された画素データ（中間データ）を記憶する中間データ・レジスタ群５０Ｂと、補間組み合わせ回路５９で処理された画素データを記憶する補間データ・レジスタ群５０Ｃとを備えている。各レジスタ群５０Ａ〜５０ＣはＤフリップ・フロップなどから構成され、ＡＮＤ素子７２から出力される制御信号に同期して動作する。ＡＮＤ素子７２は、ＣＰＵ１７から伝達するＰＣ（Processing Control）制御信号と画素クロックＣＬＫとを論理積演算し、双方の信号レベルが高レベルのときに限り高レベルの制御信号を出力する。
【００２９】
また、ＣＰＵ１７は、当該ＣＰＵ１７に備わるコプロセッサ・インターフェース８０を介して画素補間・ガンマ補正処理部４１のレジスタ群５０Ａ〜５０Ｃの各々と接続されている。またＣＰＵ１７は、メモリ（図示せず）に格納されたプログラムをロードし、当該プログラムに記述されたコプロセッサ・インターフェース８０の命令に基づいて前記レジスタ群５０Ａ〜５０Ｃの任意のレジスタ（以下、画素補間用レジスタと呼ぶ。）に直接アクセスでき、当該レジスタに格納された画素データをＣＰＵ１７内の汎用レジスタ（図示せず）に取り込んで格納し、格納した画素データを用いて画素補間・ガンマ補正処理部４１では処理し得ない適応型補間処理をソフトウェアで実行できる。そしてＣＰＵ１７は、コプロセッサ・インターフェース８０を介してその適応型補間データを任意の画素補間用レジスタに転送し格納させることが可能である。例えば、画素補間用レジスタからＣＰＵ１７上の汎用レジスタにデータを移動させる移動命令は、"MFC $1, $2"のように表現され得る。その移動命令中、"$1"はＣＰＵ１７内の汎用レジスタ、"$2"は画素補間用レジスタを示している。このような移動命令は、１ＣＰＵサイクルで実行できるため、高速に且つ効率良く双方のレジスタ間で画素データを移動できる。
【００３０】
またＣＰＵ１７のクロック周波数が画素クロックＣＬＫの周波数と同程度もしくは画素クロックＣＬＫの周波数よりも低い場合は、上記適応型画像処理を実行し且つ画素データをレジスタ群５０Ａ〜５０Ｃのレジスタに戻す迄の処理期間は、ＰＣ制御信号のレベルをＬ（Low）レベルに維持し、各レジスタに同一の画素データを保持させ、リアルタイム処理を一時中断させる。これは、レジスタ群５０Ａ〜５０Ｃに保持されている画素データが適応型画像処理途中で更新されるのを防ぐための措置である。他方、ＣＰＵ１７のクロック周波数が画素クロックＣＬＫの周波数よりも十分に高い場合は、ＣＰＵ１７で適応型画像処理を行いつつ、ＰＣ制御信号のレベルをＨ（High）レベルに維持したまま画素補間・ガンマ補正処理部４１のリアルタイム処理を続行できる。かかる場合は、ＲＰＵ１４におけるリアルタイム性を損なうこと無く適応型画像処理を実行できるため好ましい。
【００３１】
尚、コプロセッサ・インターフェース８０を用いる代わりに、ＣＰＵ１７の論理アドレスとＳＲＡＭ上のアドレスとをメモリ・マッピングし、メイン・バス１０を介して画素補間用レジスタとＳＲＡＭとの間で画素データを移動させるメモリ管理インターフェース（図示せず）を用いてもよい。但し、１つの命令を実行するのに一般的には平均で４ＣＰＵサイクル以上必要となるため、データ転送の速度および効率の観点からは、本実施の形態のようにコプロセッサ・インターフェース８０を用いるのが望ましい。
【００３２】
またＲＰＵ１４に対する画素データの入出力は、少なくとも１チャンネルのＤＭＡで実行できる。ＤＭＡコントローラ２４を用いることで、ＣＰＵ１７はＲＰＵ１４に対する画素データの転送処理の負荷を受けないため、適応型画像処理の処理速度の向上が可能である。また上記画像撮像センサ１２には、画像読出しの進行の中断および再開を許可しないタイプと、画像読出しの進行の中断および再開を許可するタイプとに２分される。
【００３３】
画像撮像センサ１２が画像読出しの進行の中断と再開を許可しない通常のＩＴ−ＣＣＤなどで構成される場合、ＲＰＵ１４の１クロックタイムの間にＣＰＵ１７による適応型画像処理が終了しないときは、上述の通り、アナログ信号処理回路１３から出力される原画像データを一旦、主メモリ２６のバッファ領域に転送し記憶させる必要がある。かかる場合、適応型画像処理を行わない期間、ＤＭＡコントローラ２４は、そのバッファ領域に格納された原画像データをＲＰＵ１４にＤＭＡ転送する動作に１チャンネルを使用し、ＲＰＵ１４から出力される処理データを主メモリ２６の他のバッファ領域にＤＭＡ転送する動作に１チャンネルを使用するため、合計２チャンネルが必要となる。他方、適応型画像処理を行う期間、上記ＰＣ制御信号のレベルをＬレベルに切り換えることでＲＰＵ１４の動作は一時中断されると同時に、ＤＭＡコントローラ２４はＤＭＡ転送動作を一時中断するように制御される。そして、当該適応型画像処理の終了後にＲＰＵ１４の動作およびＤＭＡ転送動作が再開される。尚、実際には、ＤＭＡ転送された画素データが入力するＲＰＵ１４のデータ入力部、およびＤＭＡ転送される画素データを出力するＲＰＵ１４のデータ出力部には、ＦＩＦＯバッファ（図示せず）が設けられている。このため、ＤＭＡ転送するか否かのタイミングはそのＦＩＦＯバッファによる緩衝作用により左右されるが、上記のＰＣ制御信号がＬレベルである期間は、少なくとも、ＲＰＵ１４からＦＩＦＯバッファに対するデータ入出力要求は発生しない。
【００３４】
また画像撮像センサ１２が画像読出しの進行の中断と再開を許可できるＦＴ−ＣＣＤやＣＭＯＳなどで構成される場合は、アナログ信号処理回路１３から出力される原画像データを一旦、主メモリ２６のバッファ領域に転送する必要が無く、その原画像データは、直接、ＲＰＵ１４に転送できる。このため、適応型画像処理を行わない期間、ＤＭＡコントローラ２４は、ＲＰＵ１４から出力される処理データを主メモリ２６のバッファ領域にＤＭＡ転送する動作に１チャンネル使用するだけでよい。また適応型画像処理を行う期間は、上記ＰＣ制御信号のレベルをＬレベルに切り換えることでＲＰＵ１４の動作は一時中断されると同時に、ＤＭＡコントローラ２４はＤＭＡ転送動作を一時中断するように制御される。そして、当該適応型画像処理の終了後にＲＰＵ１４の動作およびＤＭＡ転送動作が再開される。
【００３５】
上記入力データ・レジスタ群５０Ａは、点順次で入力する画素データを、水平方向に５画素分且つ垂直方向に５画素分記憶する２５個のレジスタ５１，５１，…を備えており、各レジスタ５１，…は、ライン・メモリ５２Ａ，５２Ｂ，５２Ｃ，５２Ｄを介して直列接続されている。また画素クロックＣＬＫの印加により画素データはレジスタ５１，５１，…とライン・メモリ５２Ａ〜５２Ｄとを順次移動し、画像データ内の５×５画素の所望の局所領域の画素データをレジスタ群５０Ａに記憶させ保持させることができる。このような入力データ・レジスタ群５０Ａに記憶された局所領域内の画素データは、各演算回路５３〜５８に選択的に取り込まれ処理された後、中間データ・レジスタ群５０Ｂに記憶される。それら演算回路５３〜５８のうち線形演算回路５３は、当該局所領域の中心画素（以下、注目画素と呼ぶ。）に対して線形演算により５種類の補間値を算出できる。第１の補間値は、当該局所領域内の全画素データの平均値Ｃ_allであり、レジスタ６０ａに格納される。すなわち、図６に示すように当該局所領域内の画素値をＲ［ｉ，ｊ］（ｉ，ｊは０〜４の整数、ｉは行番号、ｊは列番号）で表現するとすれば、注目画素値はＲ［２，２］であり、Ｃ_all＝（Ｒ［０，０］＋Ｒ［０，１］＋…＋Ｒ［４，３］＋Ｒ［４，４］）／２５で算出される。また第２〜第５の補間値Ｃ₁〜Ｃ₄は、同色成分のみを用いた平均値であり、レジスタ６０ｂ〜６０ｅにそれぞれ格納される。本実施の形態では、４色成分に対応し得るように４種類の補間値（平均値）が算出可能である。例えば、図３に示す色配列の画素データをレジスタ群５０Ａに保持し且つ注目画素データをＧ成分に設定した場合、当該注目画素に不足の色成分はＲ成分とＢ成分であるから、当該注目画素値Ｒ［２，２］を選択的に読み出してそのまま補間値Ｃ₁とし、画素値Ｒ［２，１］、Ｒ［２，３］を選択的に読み出してＲ成分（補間値）Ｃ₂を算出し、また画素値Ｒ［１，２］、Ｒ［３，２］を選択的に読み出してＢ成分（補間値）Ｃ₃を算出する。このようにして各画素に対応する３色成分を補間することが可能となる。以上の補間値は、コプロセッサ・インターフェース８０を介してＣＰＵ１７のレジスタに移動され適応型画像処理を施された後に、レジスタ群５０Ａ〜５０Ｃ内の任意のレジスタに戻され得る。例えば、ＣＰＵ１７で前記平均値Ｃ_allと比較して他の補間値Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄の何れかの輝度値分布が偏っていると判定された場合、ＣＰＵ１７はデータ・ベースなどに従って当該補間値を補正（適応型画像処理）した後にレジスタ６０ｂ〜６０ｅに戻すことができる。
【００３６】
また、色成分比演算回路５４は、レジスタ６０ｂ〜６０ｅに格納した各色成分Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄を用いて基準となる色成分と他の色成分との比率を算出し、レジスタ６１ａ〜６１ｃに出力し保持させる機能を有する。例えば、基準となる色成分Ｃ₁と他の色成分Ｃ₂，Ｃ₃，Ｃ₄との比率は、Ｃ₂／Ｃ₁、Ｃ₃／Ｃ₁およびＣ₄／Ｃ₁で算出される。
【００３７】
また、高域成分演算回路５５は、当該着目画素値から各色成分の平均値（低域成分）を減算した高域成分を算出し、レジスタ６２ａ〜６２ｅに出力し保持させる機能を有する。この高域成分演算回路５５は、全方向、水平方向、垂直方向および対角方向の５種類の高域成分を算出できる。例えば、全方向の高域成分（偏差）Ｈ_allは、Ｈ_all＝Ｒ［２，２］−Ｃ_all、の演算式で算出できる。水平方向の高域成分（偏差）Ｈ_Hは、当該画素値から、水平方向に亘る５個の画素値の平均値を減算した値であり、具体的には、Ｈ_H＝Ｒ［２，２］−（Ｒ［２，０］＋Ｒ［２，１］＋Ｒ［２，２］＋Ｒ［２，３］＋Ｒ［２，４］）／５、の演算式で算出できる。また垂直方向の高域成分（偏差）Ｈ_Vは、当該画素値から、垂直方向に亘る５個の画素値の平均値を減算した値であり、具体的には、Ｈ_V＝Ｒ［２，２］−（Ｒ［０，２］＋Ｒ［１，２］＋Ｒ［２，２］＋Ｒ［３，２］＋Ｒ［４，２］）／５、の演算式で算出できる。そして、対角方向の高域成分（偏差）Ｈ_Dは、当該画素値から、左上方から右下方もしくは右上方から左下方への対角方向に亘る５個の画素値の平均値を減算した値であり、具体的には、Ｈ_D＝Ｒ［２，２］−（Ｒ［０，０］＋Ｒ［１，１］＋Ｒ［２，２］＋Ｒ［３，３］＋Ｒ［４，４］）／５、もしくは、Ｈ_D＝Ｒ［２，２］−（Ｒ［０，４］＋Ｒ［１，３］＋Ｒ［２，２］＋Ｒ［３，１］＋Ｒ［４，０］）／５、の演算式で算出できる。
【００３８】
また、分散演算回路５６は、前記レジスタ６２ａ〜６２ｅに格納した高域成分を読み出して各高域成分の平方を分散量として算出し、レジスタ６３ａ〜６３ｅに出力し保持させる機能を有する。全方向の分散Ｖ_allは、Ｖ_all＝Ｈ_all ²、の演算式で算出され、レジスタ６３ａに格納される。また、水平方向、垂直方向および対角方向の分散もそれぞれ、Ｖ_H＝Ｈ_H ²、Ｖ_V＝Ｈ_V ²およびＶ_D＝Ｈ_D ²、の演算式で算出され、レジスタ６２ｂ〜６２ｅに格納される。尚、分散量を求める代わりに標準偏差などの他の統計量を算出してもよい。
【００３９】
以上の色成分比演算回路５４や高域成分演算回路５５、分散演算回路５６で算出された値は、コプロセッサ・インターフェース８０を介してレジスタからＣＰＵ１７内のレジスタに移動されて、ＣＰＵ１７で上記適応型画像処理を行う際に利用され得る。このため、ＣＰＵ１７がレジスタ６０ｂ〜６０ｅに格納した補間値に対してホワイト・バランスなどの微調整を行う際、上記高域成分や分散量などの演算時間を省くことができ、適応型画像処理を高速に実行できる。
【００４０】
次に、上記空間フィルタ回路５７は、画像データの５×５画素の局所領域に空間フィルタ（重みマスク）を適用し、当該局所領域内の各画素に割り当てられた係数値を当該画素データに重み付け（乗算）し加算するという積和演算を実行する機能を有する。図７は、空間フィルタ回路５７の係数テーブル７３の例を示す模式図である。係数テーブル７３は、上記入力データ・レジスタ群５０Ａに保持された各画素データに対応する係数値Ｋ［０，０］，Ｋ［０，１］，…，Ｋ［４，４］を格納している。画像データのｉ行ｊ列目（ｉ，ｊ：整数）の注目画素値Ｇ［ｉ，ｊ］（＝Ｒ［２，２］）に対する出力画素値Ｏ［ｉ，ｊ］は次式（１）に従って算出され、レジスタ６４に格納される。
【００４１】
【数１】

【００４２】
尚、空間フィルタ回路５７は、上式（１）の出力画素値Ｏ［ｉ，ｊ］に所定の補正値を加算できるし、出力画素値Ｏ［ｉ，ｊ］を２の巾乗値で除算して算術シフトすることもできる。またＣＰＵ１７はこのような空間フィルタ回路５７の出力画素値を取り込み適応型画像処理を行うことができる。
【００４３】
また、上記空間フィルタ回路５７は、複数の係数値テーブルを備えることが好ましい。図８は、第１係数テーブル７３Ａと第２係数テーブル７３Ｂを備えた空間フィルタ回路５７を示す概略図である。空間フィルタ回路５７は、ＣＰＵ１７からのＦＳ（Filter Select）制御信号により第１および第２係数テーブル７３Ａ，７３Ｂの何れか一方を選択するセレクタ７４と、このセレクタ７４を介して読み出した係数値を用いて上記積和演算を実行する空間フィルタリング演算回路７５とを備えている。例えば、第１係数テーブル７３Ａを高周波数成分算出用、第２係数テーブル７３Ｂを低周波数成分算出用のものとして係数値を書き込んでおくことで、高周波数成分と低周波数成分との双方を得ることができる。また複数の係数テーブルを用意することは処理の高速化に繋がる。例えば、１つの係数テーブルしか用意されていない場合、１画素データの処理に対して、その係数テーブルに高周波数成分算出用の係数値を書き込むために数ＣＰＵステップ、前記係数値を読出すために１ＣＰＵステップ、その係数テーブルに低周波数成分算出用の係数値を書き込んで更新するために数ＣＰＵステップ、そして前記係数値を読出すために１ＣＰＵステップがそれぞれ必要となり、処理時間が長大化し易い。他方、２つの係数テーブル７３Ａ，７３Ｂを用意した場合は、各テーブルに高周波数成分算出用と低周波数成分算出用の係数値をそれぞれ書き込んでおけば、１画素データの処理に対して、セレクタ７４の切換制御に１ＣＰＵステップ、高周波成分算出用の係数値を読出すために１ＣＰＵステップ、低周波数成分算出用の係数値を読出すために１ＣＰＵステップがそれぞれ必要であるが、１つの係数テーブルしか用意していない場合と比べると処理時間の大幅な短縮が可能であることが分かる。
【００４４】
次に、並べ替え演算回路５８は、入力データ・レジスタ群５０Ａから読出した画素データを降順または昇順に並べ替え演算し、レジスタ６５に出力し保持させる機能を有する。例えば、ＣＰＵ１７は、コプロセッサ・インターフェース８０を介してレジスタ６５に保持された画素データを取り込み、並べ替えた画素データの中央値（メディアン）を当該注目画素の画素値とするメディアン補間や、当該中央値付近の複数の画素データを選択して平均化する補間などの適応型画像処理を行った後、レジスタ６５に戻すことができる。
【００４５】
以上の各種演算回路５３〜５８で算出された画素データは、中間データ・レジスタ群５０Ｂから補間組み合わせ回路５９に読み出される。補間組み合わせ回路５９は、レジスタ群５０Ｂから読出した画素データを用いて３色成分もしくは４色成分を画素補間した後、各色成分毎にそれぞれ、レジスタ６６ａ，６６ｂ，６６ｃ，６６ｄに出力し保持させる。尚、補間組み合わせ回路５９は、中間データ・レジスタ群５０Ｂのレジスタ６０ｂ，６０ｃ，６０ｄ，６０ｅに保持された各色成分（補間値）をそのまま読み出してレジスタ６６ａ〜６６ｄに出力しても構わない。
【００４６】
次に、第１ガンマ補正回路７０Ａ，７０Ｂ，７０Ｃ，７０Ｄは、それぞれ補間データ・レジスタ群５０Ｃのレジスタ６６ａ，６６ｂ，６６ｃ、６６ｄから伝達した画素データに対してＬＵＴを用いてガンマ補正を実行し、各補正データをレジスタ７１ａ，７１ｂ，７１ｃ，７１ｄに出力し保持させる。そして、レジスタ７１ａ〜７１ｄで保持された画素データは、図２に示した色空間変換・色抑圧処理部４２に出力される。
【００４７】
以上の実施の形態に係る画像処理装置によれば、ＣＰＵ１７は、ＲＰＵ１４に入力しリアルタイム処理されている途中の画素データをコプロセッサ・インターフェース８０を介して取り込み、適応型画像処理を施した後に、ＲＰＵ１４に戻してリアルタイム処理を続行させることができる。よって、ＲＰＵ１４におけるハードウェア処理とＣＰＵ１７におけるソフトウェア処理（適応型画像処理）とを組み合わせた複合処理を効率良く実行でき、その処理速度を大幅に向上させることが可能となる。
【００４８】
【発明の効果】
以上の如く、本発明の請求項１〜３に係る画像処理装置によれば、上記インターフェースにより上記マイクロ・プロセッサは上記画像処理部のレジスタに直接アクセスして画像データの読出しおよび書き出しを実行できる。よって、画像処理部でハードウェア処理の途中にある画像データに対してマイクロ・プロセッサでソフトウェア処理（適応型画像処理）を施し、ソフトウェア処理した画像データを画像処理部に戻してハードウェア処理を続行させることが可能となる。従って、ハードウェア処理とソフトウェア処理との複合処理を極めて効率良く行うことができ、その処理速度を大幅に向上させることが可能となる。
【００４９】
また請求項４によれば、上記画像処理部に対して画像データをＤＭＡ転送する期間、マイクロ・プロセッサはデータ転送の処理負荷を受けないため、適応型画像処理を専念して実行できる。このため、適応型画像処理の処理速度を更に向上することが可能となる。
【００５０】
また請求項５によれば、上記適応型画像処理の最中にレジスタの記憶内容が更新されるのを確実に防止することができる。
【００５１】
また請求項６によれば、上記適応型画像処理の最中にレジスタの記憶内容が更新されるのを確実に防止できると共に、画像処理部におけるハードウェア処理のリアルタイム性を損なうこと無く適応型画像処理を実行することが可能となる。
【００５２】
また請求項１〜３によれば、画素補間処理の途中の画素データに対してマイクロ・プロセッサで適応型画像処理を施すことができる。また、画素補間処理で利用されるレジスタや該レジスタに保持された演算結果を利用した適応型画像処理を行うことが可能である。
【００５３】
また請求項１，２によれば、マイクロ・プロセッサは、上記線形演算回路で算出した２種類の平均値を用いて適応型画像処理を実行できるため、当該平均値の演算時間を省くことができ適応型画像処理の速度を向上できる。
【００５４】
また請求項１によれば、マイクロ・プロセッサは、上記色成分比演算回路で算出した色成分比率を用いてホワイト・バランスの微調整などの適応型画像処理を実行できるため、当該色成分比率の演算時間を省くことができ適応型画像処理の速度を向上できる。
【００５５】
また請求項２によれば、マイクロ・プロセッサは、上記高域成分演算回路で算出した偏差（高域成分）を用いてホワイト・バランスの微調整などの適応型画像処理を実行できるため、当該偏差の演算時間を省くことができ適応型画像処理の速度を向上できる。
【００５６】
また請求項３によれば、マイクロ・プロセッサは、上記並べ替え演算回路で昇順または降順に並べ替えた画素データを用いてメディアン（中央値）補間などの適応型画像処理を実行できるため、画素データを並べ替える演算時間を省くことができ適応型画像処理の速度を向上できる。
【００５７】
また請求項７によれば、マイクロ・プロセッサは、空間フィルタリングで実行する積和演算結果をレジスタから読み出して適応型画像処理を実行でき、当該適応型画像処理の速度を向上できる。
【００５８】
また請求項８によれば、複数種類の空間フィルタリングを実行するとき、１種類の係数テーブルしか用意していない場合と比べると、係数テーブルの係数値を書き込み更新する回数が減るため、処理時間を大幅に短縮化することが可能となる。
【００５９】
そして請求項９によれば、上記コプロセッサ・インターフェースによるレジスタ間の画素データの移動命令は１ＣＰＵサイクルで実行できるため、上記画像処理部におけるハードウェア処理とマイクロ・プロセッサにおけるソフトウェア処理との複合処理速度を更に向上できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理装置を搭載したデジタル・スチル・カメラの全体構成を示す機能ブロック図である。
【図２】本発明の実施の形態に係る画像処理装置を構成するＲＰＵを示すブロック図である。
【図３】３原色系色フィルタ配列を示す模式図である。
【図４】補色系色フィルタ配列を示す模式図である。
【図５】実施の形態に係る画像処理装置を構成する画素補間・ガンマ補正処理部の概略を示すブロック図である。
【図６】局所領域内の画素値を示す模式図である。
【図７】実施の形態に係る画像処理装置を構成する空間フィルタ回路の係数テーブルを示す模式図である。
【図８】２種類の係数テーブルを備えた空間フィルタ回路を示す概略図である。
【符号の説明】
１デジタル・スチル・カメラ
１０メイン・バス
１４ＲＰＵ
１７ＣＰＵ
２６主メモリ
４１画素補間・ガンマ補正処理部
５０空間レジスタ群
５０Ａ〜５０Ｃ入力データ・レジスタ群
５２Ａ〜５０Ｄライン・メモリ
５３〜５８演算回路
５９補間組み合わせ回路
７０Ａ〜７０Ｄガンマ補正回路
７３，７３Ａ，７３Ｂ係数テーブル
７４セレクタ
７５空間フィルタリング演算回路
８０コプロセッサ・インターフェース[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that performs pixel interpolation or the like on digital image data.
[0002]
[Prior art]
In general, in an imaging device such as a digital video camera or a digital still camera, light transmitted through an optical system including a lens group and a prism is detected by an imaging sensor such as a CCD sensor or a CMOS sensor and converted into an image signal. The The image signal is A / D converted into a digital signal (original image data), and then subjected to various image processing such as pixel interpolation, color space conversion, contour enhancement and resolution conversion, and is performed on a liquid crystal display (finder) or the like. Is displayed. In addition, some imaging devices compress and encode image data that has undergone image processing using various methods such as JPEG (Joint Photographic Experts Group), Motion JPEG, MPEG (Moving Picture Experts Group), etc. Some of them have a function of writing to a memory card or outputting to an external device such as a personal computer via an interface. In general, a chip (integrated circuit) dedicated to image processing is incorporated in the imaging device in order to improve real-time performance of image processing on the original image data. However, image processing that can be performed by a chip having a hardware configuration has a limitation that only image processing that has been incorporated in advance can be executed. For this reason, image processing that deviates from hardware specifications (referred to as adaptive image processing). Is realized by a program (software) depending on the CPU.
[0003]
[Problems to be solved by the invention]
However, such adaptive image processing depending on the CPU has a problem that the overhead is large and the processing time tends to be long. For example, when imaged original image data is subjected to pixel interpolation by software processing, the original image data is temporarily transferred to and stored in a buffer such as an SDRAM. Next, since the CPU must access the buffer and read the original image data of the two-dimensional pixel array, the data transfer itself takes a very long time. Also, when performing image processing that combines software processing in the CPU and hardware processing in the chip, the overhead at the time of data transfer increases. That is, the number of data transfers per pixel includes two steps for reading and writing image data between the CPU and the buffer, and two steps for reading and writing interpolation data between the chip and the buffer. A total of 4 steps are required. This has also contributed to lengthening the processing time.
[0004]
In view of the above problems, an object of the present invention is to provide an image processing apparatus capable of greatly improving the speed of image processing combining hardware processing and software processing.
[0005]
[Means for Solving the Problems]
 In order to solve the above problems, an invention according to claim 1 is an image processing apparatus comprising: an image processing unit configured by hardware; and a microprocessor for executing adaptive image processing based on a predetermined program. The image processing unitIn processing performed by the image processing unit,A register for holding image data in the middle of processing; and the microprocessor directly accesses and reads out the image data held in the register, and the image data subjected to the adaptive image processing is read in the register Provides an interface to access and return directly toThe image processing unit executes pixel interpolation using the first register that holds pixel data of a predetermined two-dimensional local region of input image data and the pixel data held in the first register. A pixel interpolation circuit that calculates an average value of all pixel data in the two-dimensional local region or an average value for each color component in the two-dimensional local region, and the average value And the pixel interpolation circuit calculate a color component ratio obtained by dividing the average value for each color component in the two-dimensional local region by the average value of a specific color component. And a color component ratio calculation circuit for holding the color component ratio in the third register.It is characterized by that.
According to a second aspect of the present invention, there is provided an image processing apparatus comprising: an image processing unit configured by hardware; and a microprocessor that executes adaptive image processing based on a predetermined program. The processing unit includes a register that stores image data being processed in the processing performed by the image processing unit, and the micro processor directly accesses and reads the image data held in the register, and An interface for directly accessing and returning the image data subjected to the adaptive image processing to the register; and the image processing unit stores the pixel data of a predetermined two-dimensional local region of the input image data. And a pixel interpolation circuit that performs pixel interpolation using the pixel data held in the first register. The pixel interpolation circuit calculates an average value of all pixel data in the two-dimensional local area or an average value for each color component in the two-dimensional local area, and holds the average value in the second register. A high-frequency component that calculates a deviation (high-frequency component) between pixel data of a predetermined pixel of interest in the two-dimensional local region and the average value, and holds the deviation in the fourth register And an arithmetic circuit.
According to a third aspect of the present invention, there is provided an image processing apparatus comprising: an image processing unit configured by hardware; and a microprocessor that executes adaptive image processing based on a predetermined program. The processing unit includes a register that stores image data being processed in the processing performed by the image processing unit, and the micro processor directly accesses and reads the image data held in the register, and An interface for directly accessing and returning the image data subjected to the adaptive image processing to the register; and the image processing unit stores the pixel data of a predetermined two-dimensional local region of the input image data. And a pixel interpolation circuit that performs pixel interpolation using the pixel data held in the first register. The pixel interpolation circuit, the sort any pixel data of two-dimensional local region in ascending or descending order, and is characterized in further comprising a sorting operation circuit for holding the fifth said register.
[0006]
 And claims4The invention according to claim 1In any one of ~ 3In the image processing apparatus described above, input / output of image data to / from the image processing unit is executed by at least one channel of DMA (Direct Memory Access).
[0007]
 And claims5The invention according to claim 1In any one of -4When the processing speed of the microprocessor is the same as or lower than the processing speed of the image processing unit, at least the adaptive image processing is performed by the microprocessor. During the execution period, the same image data is held in the register, and the processing in the image processing unit is temporarily suspended.
[0008]
 And claims6The invention according to claim 1In any one of -4The image processing apparatus according to claim 1, wherein the processing speed of the microprocessor is set so that the register holds the same image data at least during a period in which the adaptive image processing is executed by the microprocessor. Is set to be higher than the processing speed of the unit.
[0014]
 And claims7The invention according to claimIn any one of 1-6The pixel interpolation circuit performs spatial filtering in which each pixel data in the two-dimensional local region is multiplied by a predetermined coefficient value and added, and held in the sixth register A spatial filter circuit is provided.
[0015]
 And claims8The invention according to claim7The spatial filter circuit includes a plurality of types of coefficient tables that store coefficient values corresponding to the pixel data, and a selector that switches the coefficient tables.
[0016]
 And claims9The invention according to claim 1 to claim 18The image processing apparatus according to any one of the above, wherein a coprocessor interface is used as the interface.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a functional block diagram showing an overall configuration of a digital still camera 1 equipped with an image processing apparatus according to an embodiment of the present invention. The digital still camera 1 has an optical mechanism 11 having an AF (auto focus) function, an automatic exposure adjustment function, and the like, and the light of the subject image incident through the optical mechanism 11 is an image formed by a CCD. It is detected by the image sensor 12. In addition, the light whose light amount is adjusted so as to be synchronized with the timing of photographing the subject can be emitted from the strobe (flash device) 30 and irradiated onto the subject. The analog signal processing circuit 13 outputs original image data obtained by digitizing the image signal of the subject output from the image pickup sensor 12 to an RPU (real-time processing unit) 14. An RPU (image processing unit) 14 has a function of executing image processing such as pixel interpolation and color space conversion, which will be described later, on the input original image data in real time. The analog signal processing circuit 13 and the RPU 14 are respectively connected to the main bus 10, and the original image data output from the analog signal processing circuit 13 is not input to the RPU 14, and the main memory is connected via the main bus 10. 26 to be temporarily stored.
[0018]
The image data output from the RPU 14 is transferred to the buffer area of the main memory 26 and temporarily stored, or transferred to the display module 20 via the main bus 10 and displayed on the LCD (liquid crystal display) 23. . In the figure, reference numeral 21 denotes a digital encoder, and 22 denotes an LCD drive circuit 22. The image data stored in the buffer area is read out under the control of the CPU 17 and the DMA (direct memory access) controller 24, transferred to the compression processing unit 25 via the main bus 10, and such as JPEG or MPEG. After being compressed and encoded by the method, it is transferred to the interface 27A and can be stored in the memory card 27 formed of a nonvolatile memory. It is also possible to transfer the image data compression-encoded by the compression processing unit 25 to the external interface 28 and transfer it to an external display device or computer connected to the external interface 28.
[0019]
In FIG. 1, reference numeral 15 denotes a drive circuit for driving the image pickup sensor 12, reference numeral 16 denotes a timing generator that regulates the operation timing of the RPU 14 and the drive circuit 15, reference numeral 18 denotes a PLL oscillation circuit, and reference numeral 19 denotes a CPU 17. 2 shows a coprocessor that performs auxiliary operations. The clock generator 29 multiplies or divides the clock signal supplied from the PLL oscillation circuit 18 to generate drive clock signals for all the modules such as the RPU 14, the timing generator 16, the CPU 17, and the digital encoder 21. .
[0020]
The image imaging sensor (CCD imaging sensor) 12 includes a charge accumulation unit that accumulates carriers (electrons or holes) generated by the photoelectric effect, and a charge transfer unit that controls to apply and transfer an electric field to the accumulated carriers. It is a general thing provided with. For example, IT-CCD (Interline Transfer CCD), FF-CCD (Full Frame CCD), FT-CCD (Frame Transfer CCD), FIT-CCD (Frame Interline Transfer CCD) Frame interline transfer CCD). Further, the image pickup sensor 12 is an interlace (interlaced scanning) in which pixel data is alternately read from a field composed of even-numbered lines (even-numbered field) and a field composed of odd-numbered lines (odd-numbered field). ) Type and progressive (sequential scanning) type in which pixel data is read out line by line. In this embodiment, a CCD image sensor is employed as the image sensor 12. However, the present invention is not limited to this, and a CMOS image sensor having no charge transfer unit may be employed. A single-plate color filter array is disposed on the photosensitive part of the image pickup sensor 12.
[0021]
FIG. 2 is a functional block diagram showing a schematic configuration of the RPU 14. The RPU 14 is an integrated circuit, and includes a single pixel processing unit 40, a pixel interpolation / gamma correction processing unit 41, a color space conversion / color suppression processing unit 42, a spatial filtering / coring processing unit 43, and a resolution conversion unit 44. ing. Each processing block 40-44 is connected to the main bus 10, and image data can be processed serially (sequentially) by the processing blocks 40-44, or image processing can be performed by only one processing block. Is also possible. For example, after the image data temporarily stored in the main memory 26 is DMA-transferred to the pixel interpolation / gamma correction processing unit 41 via the main bus 10 and subjected to image processing, the processing output from the pixel interpolation / gamma correction processing unit 41 is performed. Data can be DMA transferred to the buffer on the main memory 26 via the main bus 10 and stored.
[0022]
The single pixel processing unit 40 has a function of processing original image data input by DMA transfer from a buffer on the main memory 26 in units of single pixels, and the input original image data is converted into a plurality of frames or a plurality of fields. A time-dependent averaging process, a shading process, and the like that perform averaging are performed. For example, in the temporal averaging process, when the exposure amount of the subject is insufficient, the exposure amount is increased by accumulating pixel data over a plurality of frames or a plurality of fields read out from the image pickup sensor 12 in a normal cycle. Is done. Conventionally, when the exposure amount of the subject is insufficient, the reading of pixel data from the image pickup sensor 12 is stopped for a predetermined period, and the pixel charge is increased after sufficiently increasing the accumulated charge amount in the photosensitive portion of the image pickup sensor 12. However, there is a problem that the noise included in the pixel data is increased and the S / N characteristic is deteriorated. Further, the shading process is executed by adjusting the gain of the luminance value of each pixel so that the entire image has a uniform brightness on average. Here, the shading is the difference between the original luminance of the subject image and the video signal, which is caused by the dimming of the peripheral portion with respect to the central portion of the optical mechanism 11 and the non-uniformity of the light receiving sensitivity of the image pickup sensor 12. This means that the conversion characteristics are inconsistent. For example, it appears as luminance unevenness in which the peripheral portion of the image becomes darker than the central portion.
[0023]
Next, as described in detail later, the pixel interpolation / gamma correction processing unit 41 uses a pixel data temporarily stored in a space register group (register) 50 incorporated therein as a main function. It has a pixel interpolation function for interpolating insufficient color components, and a gamma correction function for correcting gamma values and the like using a look-up table (hereinafter referred to as LUT). A single-plate color filter array disposed on the photosensitive portion of the image sensor 12 includes three primary color filters “R (red)”, “G (green)”, and “B (blue)”. , “Y (yellow color)”, “M (magenta color)”, “C (cyan color)”, “G (green)”, etc., and four complementary color filters. FIG. 3 is a schematic diagram illustrating a three-primary color filter array 35 called a Bayer array, and FIG. 4 is a schematic diagram illustrating a complementary color filter array 37. The color filter array 35 of the three primary colors is configured by arranging unit pixel regions 36 of 2 × 2 pixels indicated by thick line frames as repeating units. In the unit pixel area 36, a G filter is arranged for each of the two diagonal pixels, and an R filter and a B filter are arranged for the remaining two pixels. The complementary color filter array 37 is formed by arranging unit pixel regions 38 of 2 × 2 pixels indicated by thick line frames as repeating units. In the unit pixel region 38, an M filter, a G filter, a C filter, and a Y filter are arranged in a one-to-one correspondence with each pixel. Since pixel data obtained from light that has passed through such a color filter array has only a single color component per pixel, the pixel interpolation function is focused on so that one pixel has three or four color components. An insufficient color component is interpolated by calculating an average value of the color components of the peripheral pixels of the pixel. The gamma correction function holds color component values (input values) having discrete gradations and corrected color component values (output values) corresponding to the respective input values in the LUT. Based on this, the input value is converted into a corresponding output value and output.
[0024]
In the image processing apparatus according to the present invention, the CPU 17 can directly access the space register group 50 incorporated in the pixel interpolation / gamma correction processing unit 41 via the interface, and can store the pixel data stored in the space register group 50. It is possible to capture and process the image, and to return to an arbitrary register of the space register group 50.
[0025]
Next, when the original signal is a color image signal, the color space conversion / color suppression processing unit 42 converts a color space from, for example, an RGB signal to a YCbCr signal, and colors of bright and dark portions in the image. And a color suppression function for performing suppression (chroma suppress: prevention of false color). As a destination color space for the color space conversion function, a YIQ color space defined by the NTSC (National Television System Committee) system or the like may be adopted in addition to the YCbCr color space. The color suppression function realizes a natural image quality by suppressing the coloring of bright and dark parts appearing in an image. In general, since a dark part appearing in an image is easily affected by various noises, suppressing color development as much as possible in the dark part leads to a natural image quality. On the other hand, the bright part where the image appears is a part that is easily affected by modulation depending on the characteristics of the image pickup device that picked up the bright part and other various hardware, and is a part that tends to get out of white balance. Suppressing will lead to natural image quality. In consideration of these, the color suppression function suppresses the color development in the bright and dark areas in the image.
[0026]
Next, the spatial filtering / coring processing unit 43 applies a spatial filter (weight mask) to a local region of about 5 × 5 pixels of the image data, and weights (multiplies) the coefficient value of each spatial filter to the corresponding pixel data. ) And a spatial filtering function that performs a sum-of-products operation that adds and general non-linear processing (coring) is applied to the image data that has undergone spatial filtering when the high-frequency component exceeds a certain level It has a coring function. With the spatial filtering function and the coring function described above, noise included in the image is reduced, or contour enhancement processing for enhancing lines and edge portions is executed.
[0027]
Next, the resolution conversion unit 44 has a function of reducing or enlarging the size of the image data output from the spatial filtering / coring processing unit 43 based on a bilinear method (linear interpolation method) or the like.
[0028]
The image processing apparatus according to the embodiment using the RPU 14 having the above configuration will be described in detail below. FIG. 5 is a block diagram showing an outline of the pixel interpolation / gamma correction processing unit 41 constituting the image processing apparatus according to the present embodiment. The pixel interpolation / gamma correction processing unit 41 has, as the space register group 50 described above, an input data register group that stores 5 × 5 pixels of pixel data input from the single pixel processing unit 40 or the main bus 10. 50A, an intermediate data register group 50B for storing pixel data (intermediate data) processed by the arithmetic circuits 53 to 58, and an interpolation data register group 50C for storing pixel data processed by the interpolation combination circuit 59 It has. Each of the register groups 50 A to 50 C includes a D flip-flop and the like, and operates in synchronization with a control signal output from the AND element 72. The AND element 72 performs an AND operation on a PC (Processing Control) control signal transmitted from the CPU 17 and the pixel clock CLK, and outputs a high-level control signal only when both signal levels are high.
[0029]
The CPU 17 is connected to each of the register groups 50 A to 50 C of the pixel interpolation / gamma correction processing unit 41 via a coprocessor interface 80 provided in the CPU 17. The CPU 17 loads a program stored in a memory (not shown) and, based on an instruction of the coprocessor interface 80 described in the program, any register (hereinafter referred to as pixel interpolation) of the register groups 50A to 50C. The pixel data stored in the register is fetched and stored in a general-purpose register (not shown) in the CPU 17, and the pixel interpolation / gamma correction processing unit 41 is used using the stored pixel data. Then, adaptive interpolation processing that cannot be processed can be executed by software. Then, the CPU 17 can transfer and store the adaptive interpolation data to an arbitrary pixel interpolation register via the coprocessor interface 80. For example, a move command for moving data from a pixel interpolation register to a general-purpose register on the CPU 17 can be expressed as “MFC $ 1, $ 2”. In the movement command, “$ 1” indicates a general-purpose register in the CPU 17 and “$ 2” indicates a pixel interpolation register. Since such a movement command can be executed in one CPU cycle, pixel data can be moved between both registers at high speed and efficiently.
[0030]
When the clock frequency of the CPU 17 is about the same as the pixel clock CLK or lower than the pixel clock CLK, the processing until the adaptive image processing is executed and the pixel data is returned to the registers of the register groups 50A to 50C is performed. During the period, the level of the PC control signal is maintained at the L (Low) level, the same pixel data is held in each register, and the real-time processing is temporarily suspended. This is a measure for preventing the pixel data held in the register groups 50A to 50C from being updated during the adaptive image processing. On the other hand, when the clock frequency of the CPU 17 is sufficiently higher than the frequency of the pixel clock CLK, pixel interpolation and gamma correction are performed while maintaining the level of the PC control signal at the H (High) level while performing the adaptive image processing in the CPU 17. The real-time processing of the processing unit 41 can be continued. Such a case is preferable because adaptive image processing can be executed without impairing real-time performance in the RPU 14.
[0031]
Instead of using the coprocessor interface 80, the logical address of the CPU 17 and the address on the SRAM are memory-mapped, and the pixel data is moved between the pixel interpolation register and the SRAM via the main bus 10. A memory management interface (not shown) may be used. However, since an average of 4 CPU cycles or more is generally required to execute one instruction, the coprocessor interface 80 is used as in the present embodiment from the viewpoint of data transfer speed and efficiency. Is desirable.
[0032]
Further, input / output of pixel data to / from the RPU 14 can be performed by at least one channel of DMA. By using the DMA controller 24, the CPU 17 is not subjected to the load of the pixel data transfer process to the RPU 14, so that the processing speed of the adaptive image processing can be improved. The image pickup sensor 12 is divided into two types: a type that does not permit interruption and resumption of the progress of image reading and a type that permits interruption and resumption of the progress of image reading.
[0033]
When the image pickup sensor 12 is configured by a normal IT-CCD or the like that does not permit interruption and resumption of image reading progress, when the adaptive image processing by the CPU 17 is not completed during one clock time of the RPU 14, As described above, the original image data output from the analog signal processing circuit 13 needs to be once transferred and stored in the buffer area of the main memory 26. In such a case, during a period when adaptive image processing is not performed, the DMA controller 24 uses one channel for the operation of DMA-transferring the original image data stored in the buffer area to the RPU 14, and the processing data output from the RPU 14 is mainly used. Since one channel is used for the DMA transfer operation to the other buffer area of the memory 26, a total of two channels are required. On the other hand, during the period of adaptive image processing, the operation of the RPU 14 is temporarily suspended by switching the level of the PC control signal to the L level, and at the same time, the DMA controller 24 is controlled to temporarily suspend the DMA transfer operation. . Then, after the adaptive image processing ends, the operation of the RPU 14 and the DMA transfer operation are resumed. Actually, a FIFO buffer (not shown) is provided in the data input unit of the RPU 14 to which pixel data transferred by DMA transfer and the data output unit of the RPU 14 to output pixel data transferred by DMA transfer. Yes. For this reason, the timing of DMA transfer depends on the buffering action of the FIFO buffer, but at least the data input / output request from the RPU 14 to the FIFO buffer is generated while the PC control signal is at the L level. do not do.
[0034]
When the image pickup sensor 12 is composed of an FT-CCD or a CMOS that can permit interruption and resumption of image reading progress, the original image data output from the analog signal processing circuit 13 is temporarily buffered in the main memory 26. There is no need to transfer it to the area, and the original image data can be transferred directly to the RPU 14. For this reason, during a period when adaptive image processing is not performed, the DMA controller 24 only needs to use one channel for the operation of DMA-transferring the processing data output from the RPU 14 to the buffer area of the main memory 26. Also, during the period of adaptive image processing, the operation of the RPU 14 is temporarily suspended by switching the level of the PC control signal to the L level, and at the same time, the DMA controller 24 is controlled to temporarily suspend the DMA transfer operation. . Then, after the adaptive image processing ends, the operation of the RPU 14 and the DMA transfer operation are resumed.
[0035]
The input data register group 50A includes 25

registers

51, 51,... For storing pixel data inputted in a dot-sequential manner for 5 pixels in the horizontal direction and 5 pixels in the vertical direction. ,... Are connected in series via line memories 52A, 52B, 52C, 52D. .. And the line memories 52A to 52D are sequentially moved by applying the pixel clock CLK, and the pixel data of a desired local region of 5 × 5 pixels in the image data is transferred to the register group 50A. Can be stored and retained. The pixel data in the local area stored in the input data register group 50A is selectively fetched and processed by the arithmetic circuits 53 to 58 and then stored in the intermediate data register group 50B. Among these arithmetic circuits 53 to 58, the linear arithmetic circuit 53 can calculate five types of interpolation values by linear calculation for the central pixel (hereinafter referred to as a target pixel) of the local region. The first interpolation value is an average value C of all pixel data in the local region._allAnd stored in the register 60a. That is, if the pixel value in the local region is expressed by R [i, j] (i, j is an integer of 0 to 4, i is a row number, j is a column number) as shown in FIG. The pixel value is R [2,2] and C_all= (R [0,0] + R [0,1] +... + R [4,3] + R [4,4]) / 25. The second to fifth interpolation values C₁~ C_FourIs an average value using only the same color components and is stored in the registers 60b to 60e, respectively. In the present embodiment, four types of interpolation values (average values) can be calculated so as to correspond to the four color components. For example, when the pixel data of the color array shown in FIG. 3 is held in the register group 50A and the target pixel data is set to the G component, the color components insufficient for the target pixel are the R component and the B component. The pixel value R [2,2] is selectively read out and the interpolation value C is directly used.₁Pixel values R [2,1] and R [2,3] are selectively read out to obtain an R component (interpolated value) C₂And pixel values R [1,2] and R [3,2] are selectively read out to obtain a B component (interpolated value) C_ThreeIs calculated. In this way, it is possible to interpolate the three color components corresponding to each pixel. The interpolated values described above can be returned to any register in the register group 50A to 50C after being moved to the register of the CPU 17 via the coprocessor interface 80 and subjected to adaptive image processing. For example, the CPU 17 calculates the average value C_allCompared with other interpolation value C₁, C₂, C_Three, C_FourWhen it is determined that any one of the luminance value distributions is biased, the CPU 17 can correct the interpolation value (adaptive image processing) according to the data base or the like and then return it to the registers 60b to 60e.
[0036]
In addition, the color component ratio calculation circuit 54 includes each color component C stored in the registers 60b to 60e.₁, C₂, C_Three, C_FourIs used to calculate a ratio between a color component serving as a reference and other color components, and output and hold the ratio in registers 61a to 61c. For example, the reference color component C₁And other color components C₂, C_Three, C_FourThe ratio to is C₂/ C₁, C_Three/ C₁And C_Four/ C₁Is calculated by
[0037]
The high frequency component calculation circuit 55 has a function of calculating a high frequency component obtained by subtracting the average value (low frequency component) of each color component from the pixel value of interest, and outputting and holding the high frequency component in the registers 62a to 62e. The high-frequency component calculation circuit 55 can calculate five types of high-frequency components in all directions, the horizontal direction, the vertical direction, and the diagonal direction. For example, high frequency component (deviation) H in all directions_allIs H_all= R [2,2] -C_allIt can be calculated by the following equation. Horizontal high-frequency component (deviation) H_HIs a value obtained by subtracting an average value of five pixel values in the horizontal direction from the pixel value._H= R [2,2]-(R [2,0] + R [2,1] + R [2,2] + R [2,3] + R [2,4]) / 5. Also, the high frequency component (deviation) H in the vertical direction_VIs a value obtained by subtracting an average value of five pixel values in the vertical direction from the pixel value._V= R [2,2]-(R [0,2] + R [1,2] + R [2,2] + R [3,2] + R [4,2]) / 5. And the high frequency component (deviation) H in the diagonal direction_DIs a value obtained by subtracting an average value of five pixel values in the diagonal direction from the upper left to the lower right or from the upper right to the lower left._D= R [2,2]-(R [0,0] + R [1,1] + R [2,2] + R [3,3] + R [4,4]) / 5 or H_D= R [2,2]-(R [0,4] + R [1,3] + R [2,2] + R [3,1] + R [4,0]) / 5.
[0038]
The distributed arithmetic circuit 56 has a function of reading out the high frequency components stored in the registers 62a to 62e, calculating the square of each high frequency component as a distribution amount, and outputting and holding them in the registers 63a to 63e. Variance in all directions V_allIs V_all= H_all ², And is stored in the register 63a. Also, the horizontal, vertical and diagonal variances are respectively V_H= H_H ², V_V= H_V ²And V_D= H_D ², And is stored in the registers 62b to 62e. Note that other statistics such as standard deviation may be calculated instead of obtaining the variance.
[0039]
The values calculated by the color component ratio calculation circuit 54, the high frequency component calculation circuit 55, and the dispersion calculation circuit 56 are moved from the register to the register in the CPU 17 via the coprocessor interface 80, and the CPU 17 performs the above adaptation. It can be used when performing mold image processing. For this reason, when the CPU 17 performs fine adjustment such as white balance on the interpolated values stored in the registers 60b to 60e, the calculation time such as the high frequency component and the amount of dispersion can be saved, and adaptive image processing is performed. It can be executed at high speed.
[0040]
Next, the spatial filter circuit 57 applies a spatial filter (weight mask) to the 5 × 5 pixel local region of the image data, and weights the pixel data with the coefficient value assigned to each pixel in the local region. It has a function of executing a product-sum operation of (multiplication) and addition. FIG. 7 is a schematic diagram illustrating an example of the coefficient table 73 of the spatial filter circuit 57. The coefficient table 73 stores coefficient values K [0,0], K [0,1],..., K [4,4] corresponding to each pixel data held in the input data register group 50A. Yes. The output pixel value O [i, j] for the target pixel value G [i, j] (= R [2,2]) in the i-th row and j-th column (i, j: integer) of the image data is expressed by the following equation (1). And is stored in the register 64.
[0041]
[Expression 1]

[0042]
The spatial filter circuit 57 can add a predetermined correction value to the output pixel value O [i, j] of the above equation (1), and divide the output pixel value O [i, j] by the power of 2 value. And arithmetic shifts. Further, the CPU 17 can take in the output pixel value of the spatial filter circuit 57 and perform adaptive image processing.
[0043]
The spatial filter circuit 57 preferably includes a plurality of coefficient value tables. FIG. 8 is a schematic diagram showing a spatial filter circuit 57 including a first coefficient table 73A and a second coefficient table 73B. The spatial filter circuit 57 uses a selector 74 for selecting one of the first and second coefficient tables 73A and 73B by an FS (Filter Select) control signal from the CPU 17, and a coefficient value read through the selector 74. And a spatial filtering operation circuit 75 for executing the product-sum operation. For example, by writing coefficient values with the first coefficient table 73A for calculating high frequency components and the second coefficient table 73B for calculating low frequency components, both high frequency components and low frequency components are obtained. Can do. In addition, preparing a plurality of coefficient tables leads to an increase in processing speed. For example, when only one coefficient table is prepared, for processing of one pixel data, several CPU steps for writing a coefficient value for calculating a high frequency component in the coefficient table, for reading the coefficient value One CPU step, several CPU steps are required to write and update the coefficient value for calculating the low frequency component in the coefficient table, and one CPU step is required to read the coefficient value, and the processing time tends to be long. On the other hand, when two coefficient tables 73A and 73B are prepared, if the coefficient values for high frequency component calculation and low frequency component calculation are written in the respective tables, the selector 74 is used for processing one pixel data. 1 CPU step for switching control, 1 CPU step for reading the coefficient value for high frequency component calculation, and 1 CPU step for reading the coefficient value for low frequency component calculation are required, but only one coefficient table is prepared. It can be seen that the processing time can be significantly shortened compared to the case where it is not.
[0044]
Next, the rearrangement calculation circuit 58 has a function of rearranging the pixel data read from the input data / register group 50 A in descending order or ascending order, and outputting and holding them in the register 65. For example, the CPU 17 takes in the pixel data held in the register 65 via the coprocessor interface 80 and performs median interpolation using the median value of the rearranged pixel data as the pixel value of the pixel of interest, After performing adaptive image processing such as interpolation for selecting and averaging a plurality of pixel data in the vicinity of the value, the data can be returned to the register 65.
[0045]
The pixel data calculated by the various arithmetic circuits 53 to 58 is read out from the intermediate data register group 50B to the interpolation combination circuit 59. The interpolation combination circuit 59 interpolates three or four color components using the pixel data read from the register group 50B, and then outputs and holds each of the color components to the

registers

66a, 66b, 66c, and 66d. The interpolation combination circuit 59 may read the color components (interpolation values) held in the registers 60b, 60c, 60d, and 60e of the intermediate data register group 50B as they are and output them to the registers 66a to 66d.
[0046]
Next, the first gamma correction circuits 70A, 70B, 70C, and 70D perform gamma correction using the LUT on the pixel data transmitted from the

registers

66a, 66b, 66c, and 66d of the interpolation data register group 50C, respectively. Each correction data is output to and held in the registers 71a, 71b, 71c, 71d. The pixel data held in the registers 71a to 71d is output to the color space conversion / color suppression processing unit 42 shown in FIG.
[0047]
According to the image processing apparatus according to the above-described embodiment, the CPU 17 takes in pixel data being input to the RPU 14 and being processed in real time through the coprocessor interface 80, and after performing adaptive image processing, The real time processing can be continued by returning to the RPU 14. Therefore, it is possible to efficiently execute composite processing combining hardware processing in the RPU 14 and software processing (adaptive image processing) in the CPU 17, and the processing speed can be greatly improved.
[0048]
【The invention's effect】
  As described above, claim 1 of the present invention.~ 3According to the image processing apparatus, the microprocessor can read and write image data by directly accessing the register of the image processing unit through the interface. Therefore, software processing (adaptive image processing) is performed on the image data in the middle of the hardware processing by the image processing unit by the microprocessor, and the hardware processing is continued by returning the software processed image data to the image processing unit. It becomes possible to make it. Therefore, the combined processing of hardware processing and software processing can be performed very efficiently, and the processing speed can be greatly improved.
[0049]
  And claims4Accordingly, since the microprocessor is not subjected to the data transfer processing load during the period of DMA transfer of the image data to the image processing unit, the adaptive image processing can be performed exclusively. For this reason, it is possible to further improve the processing speed of the adaptive image processing.
[0050]
  And claims5Therefore, it is possible to reliably prevent the stored contents of the register from being updated during the adaptive image processing.
[0051]
  And claims6According to the above, it is possible to reliably prevent the stored contents of the register from being updated during the adaptive image processing, and to execute the adaptive image processing without impairing the real-time property of the hardware processing in the image processing unit. It becomes possible.
[0052]
  And claims1-3Accordingly, the adaptive image processing can be performed on the pixel data in the middle of the pixel interpolation processing by the microprocessor. In addition, it is possible to perform adaptive image processing using a register used in pixel interpolation processing and an operation result held in the register.
[0053]
  And claims1, 2Therefore, since the microprocessor can execute adaptive image processing using the two types of average values calculated by the linear arithmetic circuit, the calculation time of the average value can be saved and the speed of the adaptive image processing can be saved. Can be improved.
[0054]
  And claims1Therefore, since the microprocessor can perform adaptive image processing such as fine adjustment of white balance using the color component ratio calculated by the color component ratio calculation circuit, the calculation time of the color component ratio is saved. The speed of adaptive image processing can be improved.
[0055]
  And claims2Therefore, the microprocessor can execute adaptive image processing such as fine adjustment of white balance using the deviation (high-frequency component) calculated by the high-frequency component calculation circuit. The speed of the adaptive image processing can be improved.
[0056]
  And claims3According to the present invention, the microprocessor can perform adaptive image processing such as median (median) interpolation using the pixel data rearranged in ascending or descending order by the rearrangement arithmetic circuit. Time can be saved and the speed of adaptive image processing can be improved.
[0057]
  And claims7According to the above, the microprocessor can read out the product-sum operation result executed by the spatial filtering from the register and execute the adaptive image processing, and can improve the speed of the adaptive image processing.
[0058]
  And claims8According to the method, when executing multiple types of spatial filtering, the number of times of updating the coefficient values in the coefficient table is reduced compared to the case where only one type of coefficient table is prepared, thereby greatly reducing the processing time. It becomes possible to do.
[0059]
  And claims9According to the above, since the pixel data movement instruction between the registers by the coprocessor interface can be executed in one CPU cycle, the combined processing speed of the hardware processing in the image processing unit and the software processing in the microprocessor can be further improved. .
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing an overall configuration of a digital still camera equipped with an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing an RPU constituting the image processing apparatus according to the embodiment of the present invention.
FIG. 3 is a schematic diagram showing a three primary color filter arrangement.
FIG. 4 is a schematic diagram showing a complementary color filter arrangement.
FIG. 5 is a block diagram illustrating an outline of a pixel interpolation / gamma correction processing unit constituting the image processing apparatus according to the embodiment;
FIG. 6 is a schematic diagram showing pixel values in a local region.
FIG. 7 is a schematic diagram showing a coefficient table of a spatial filter circuit constituting the image processing apparatus according to the embodiment.
FIG. 8 is a schematic diagram showing a spatial filter circuit including two types of coefficient tables.
[Explanation of symbols]
1 Digital still camera
10 Main bus
14 RPU
17 CPU
26 Main memory
41 Pixel interpolation / gamma correction processing section
50 space registers
50A-50C input data register group
52A-50D line memory
53-58 arithmetic circuit
59 Interpolation combinational circuit
70A-70D gamma correction circuit
73, 73A, 73B Coefficient table
74 Selector
75 Spatial filtering operation circuit
80 coprocessor interface

Claims

An image processing apparatus comprising: an image processing unit configured by hardware; and a microprocessor that executes adaptive image processing based on a predetermined program,
The image processing unit includes a register that holds image data being processed in the processing performed by the image processing unit ,
The microprocessor includes an interface for directly accessing and reading out the image data held in the register, and directly returning the image data subjected to the adaptive image processing to the register ,
The image processing unit
A first register for holding pixel data of a predetermined two-dimensional local region of image data to be input;
A pixel interpolation circuit that performs pixel interpolation using the pixel data held in the first register,
The pixel interpolation circuit includes:
A linear arithmetic circuit that calculates an average value of all pixel data in the two-dimensional local region or an average value for each color component in the two-dimensional local region, and holds the average value in the second register;
The pixel interpolation circuit calculates a color component ratio obtained by dividing the average value for each color component in the two-dimensional local region by the average value of a specific color component, and holds the color component ratio in the third register and the color component ratio calculation circuit for, Ru provided with,
An image processing apparatus.

An image processing apparatus comprising: an image processing unit configured by hardware; and a microprocessor that executes adaptive image processing based on a predetermined program,
The image processing unit includes a register that holds image data being processed in the processing performed by the image processing unit,
The microprocessor includes an interface for directly accessing and reading out the image data held in the register, and directly returning the image data subjected to the adaptive image processing to the register,
The image processing unit
A first register for holding pixel data of a predetermined two-dimensional local region of image data to be input;
A pixel interpolation circuit that performs pixel interpolation using the pixel data held in the first register,
The pixel interpolation circuit includes:
A linear arithmetic circuit that calculates an average value of all pixel data in the two-dimensional local region or an average value for each color component in the two-dimensional local region, and holds the average value in the second register;
A high-frequency component calculation circuit that calculates a deviation (high-frequency component) between pixel data of a predetermined pixel of interest in the two-dimensional local region and the average value, and holds the deviation in a fourth register ,
An image processing apparatus.

An image processing apparatus comprising: an image processing unit configured by hardware; and a microprocessor that executes adaptive image processing based on a predetermined program,
The image processing unit includes a register that holds image data being processed in the processing performed by the image processing unit,
The microprocessor includes an interface for directly accessing and reading out the image data held in the register, and directly returning the image data subjected to the adaptive image processing to the register,
The image processing unit
A first register for holding pixel data of a predetermined two-dimensional local region of image data to be input;
A pixel interpolation circuit that performs pixel interpolation using the pixel data held in the first register,
The pixel interpolation circuit includes a rearrangement arithmetic circuit that rearranges arbitrary pixel data in the two-dimensional local region in ascending order or descending order and holds the data in a fifth register.
An image processing apparatus.

4. The image processing apparatus according to claim 1, wherein input / output of image data to / from the image processing unit is executed by at least one channel of DMA (Direct Memory Access). apparatus.

5. The image processing apparatus according to claim 1, wherein when the processing speed of the microprocessor is the same as or lower than the processing speed of the image processing unit, An image processing apparatus in which the same image data is held in the register and processing in the image processing unit is temporarily suspended during a period in which the adaptive image processing is executed by the microprocessor .

5. The image processing apparatus according to claim 1, wherein the register holds the same image data at least during a period in which the adaptive image processing is executed by the microprocessor. An image processing apparatus , wherein a processing speed of the microprocessor is set higher than a processing speed of the image processing unit.

The image processing device according to claim 1, wherein the pixel interpolation circuit multiplies each pixel data in the two-dimensional local region by a predetermined coefficient value and adds the resultant data. And a spatial filter circuit that is held in the sixth register .

8. The image processing device according to claim 7, wherein the spatial filter circuit includes a plurality of types of coefficient tables storing coefficient values corresponding to the pixel data, and a selector that switches the coefficient tables. apparatus.

The image processing apparatus according to claim 1, wherein a coprocessor interface is used as the interface .