JP4677582B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像データに画素補間などを施す画像処理装置に関する。
【０００２】
【従来の技術】
一般に、デジタル・ビデオ・カメラやデジタル・スチル・カメラなどの撮像デバイスでは、レンズ群やプリズムなどからなる光学系を透過した光はＣＣＤセンサやＣＭＯＳセンサなどの撮像センサで検出され画像信号に変換される。その画像信号はデジタル信号（原画像データ）にＡ／Ｄ変換された後に、画素補間、色空間変換、輪郭強調および解像度変換などの種々の画像処理を施され、液晶表示装置（ファインダー）などで表示される。また撮像デバイスの中には、その画像処理を施した画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やモーションＪＰＥＧ、ＭＰＥＧ（Moving Picture Experts Group）などの各種方式で圧縮符号化した後に不揮発性メモリなどのメモリカードに書き出したり、インターフェースを介してパーソナル・コンピュータなどの外部機器に出力したりする機能を有するものもある。また、通常、前記原画像データに対する画像処理のリアルタイム性を高めるべく、撮像デバイスには画像処理専用のチップ（集積回路）が組み込まれている。しかし、ハードウェア構成のチップがなし得る画像処理には、予め組み込まれた画像処理しか実行できないという制限があり、このため、ハードウェアの仕様から外れた画像処理（適応型画像処理と呼ばれる。）はＣＰＵに依存したプログラム（ソフトウェア）で実現される。
【０００３】
【発明が解決しようとする課題】
しかしながら、そのようなＣＰＵに依存した適応型画像処理ではオーバーヘッドが大きく、処理時間が長大化し易いという問題がある。例えば、撮像した原画像データをソフトウェア処理で画素補間する場合、その原画像データは一旦、ＳＤＲＡＭなどのバッファに転送され格納される。次いでＣＰＵは、そのバッファにアクセスして２次元画素配列の原画像データを読み出さねばならないため、データ転送そのものに非常に時間がかかってしまう。また、ＣＰＵにおけるソフトウェア処理とチップにおけるハードウェア処理とを組み合わせた画像処理を行う場合にもデータ転送時のオーバーヘッドが大きくなる。すなわち、１画素毎のデータ転送回数には、ＣＰＵとバッファとの間で画像データを読出しおよび書き出しするために２ステップ、チップとバッファとの間で補間データを読出しおよび書き出しするために２ステップが要求され、合計４ステップが必要となる。このことが処理時間を長大化させる一因にもなっていた。
【０００４】
以上の問題に鑑みて本発明が解決しようとするところは、ハードウェア処理とソフトウェア処理とを組み合わせた画像処理の速度を大幅に向上し得る画像処理装置を提供する点にある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、前記画像処理部は、入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、前記画素補間回路は、前記２次元局所領域内の全画素データの平均値または前記２次元局所領域内の各色成分毎の平均値を算出し、前記各平均値を第２の前記レジスタに保持させる線形演算回路と、前記画素補間回路は、前記２次元局所領域内の前記各色成分毎の平均値を特定の色成分の平均値で除算した色成分比率を算出し、該色成分比率を第３の前記レジスタに保持させる色成分比演算回路と、を備えることを特徴とするものである。
また請求項２に係る発明は、ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、前記画像処理部は、入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、前記画素補間回路は、前記２次元局所領域内の全画素データの平均値または前記２次元局所領域内の各色成分毎の平均値を算出し、前記各平均値を第２の前記レジスタに保持させる線形演算回路と、前記２次元局所領域内の所定の注目画素の画素データと前記平均値との偏差（高域成分）を算出し、該偏差を第４の前記レジスタに保持させる高域成分演算回路と、を備えることを特徴とするものである。
また請求項３に係る発明は、ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、前記画像処理部は、入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、前記画素補間回路は、前記２次元局所領域内の任意の画素データを昇順または降順に並べ替え、第５の前記レジスタに保持させる並べ替え演算回路を備えることを特徴とするものである。
【０００６】
また請求項４に係る発明は、請求項１〜３の何れか１項に記載の画像処理装置であって、前記画像処理部に対する画像データの入出力は少なくとも１チャンネルのＤＭＡ（ダイレクト・メモリ・アクセス）で実行されるものである。
【０００７】
また請求項５に係る発明は、請求項１〜４の何れか１項に記載の画像処理装置であって、前記マイクロ・プロセッサの処理速度が前記画像処理部の処理速度と同程度もしくは当該処理速度よりも低い場合に、少なくとも、前記マイクロ・プロセッサで前記適応型画像処理を実行する期間は、前記レジスタに同一の画像データを保持させ、且つ、前記画像処理部における処理を一時中断させるものである。
【０００８】
また請求項６に係る発明は、請求項１〜４の何れか１項に記載の画像処理装置であって、少なくとも、前記マイクロ・プロセッサで前記適応型画像処理を実行する期間に前記レジスタが同一の画像データを保持するように、前記マイクロ・プロセッサの処理速度が前記画像処理部の処理速度よりも高く設定されるものである。
【００１４】
また請求項７に係る発明は、請求項１〜６の何れか１項に記載の画像処理装置であって、前記画素補間回路は、前記２次元局所領域内の画素データの各々に所定の係数値を乗算して加算する空間フィルタリングを実行し、第６の前記レジスタに保持させる空間フィルタ回路を備える。
【００１５】
また請求項８に係る発明は、請求項７記載の画像処理装置であって、前記空間フィルタ回路は、前記各画素データに対応する係数値を記憶した複数種類の係数テーブルと、該係数テーブルを切り換えるセレクタと、を備える。
【００１６】
そして請求項９に係る発明は、請求項１〜８の何れか１項に記載の画像処理装置であって、前記インターフェースとしてコプロセッサ・インターフェースを用いたものである。
【００１７】
【発明の実施の形態】
図１は、本発明の実施の形態に係る画像処理装置を搭載したデジタル・スチル・カメラ１の全体構成を示す機能ブロック図である。このデジタル・スチル・カメラ１は、ＡＦ（オート・フォーカス）機能や自動露出調節機能などを備えた光学機構１１を有しており、この光学機構１１を通して入射した被写体画像の光がＣＣＤからなる画像撮像センサ１２で検出される。また被写体を撮影するタイミングと同期するように光量を調節された光をストロボ（閃光装置）３０から発して被写体に照射することができる。アナログ信号処理回路１３は、画像撮像センサ１２から出力された被写体の画像信号をデジタル化して得られる原画像データをＲＰＵ（リアルタイム・プロセッシング・ユニット）１４に出力する。ＲＰＵ（画像処理部）１４は入力する原画像データに対して、後述する画素補間や色空間変換などの画像処理をリアルタイムに実行する機能を有する。また上記アナログ信号処理回路１３とＲＰＵ１４はそれぞれメイン・バス１０と接続されており、アナログ信号処理回路１３から出力される原画像データをＲＰＵ１４に入力させずに、メイン・バス１０を介して主メモリ２６に転送させ一時記憶させることができる。
【００１８】
またＲＰＵ１４から出力された画像データは主メモリ２６のバッファ領域に転送されて一時記憶されたり、メイン・バス１０を介してディスプレイ・モジュール２０に転送されＬＣＤ（液晶表示装置）２３に表示されたりする。尚、同図中、符号２１はデジタル・エンコーダ、２２はＬＣＤ駆動回路２２を示している。またそのバッファ領域に記憶された画像データは、ＣＰＵ１７やＤＭＡ（ダイレクト・メモリ・アクセス）コントローラ２４の制御により読み出され、メイン・バス１０を介して圧縮処理部２５に転送されＪＰＥＧやＭＰＥＧなどの方式で圧縮符号化された後に、インターフェース２７Ａに転送され不揮発性メモリからなるメモリ・カード２７に格納できる。また圧縮処理部２５で圧縮符号化した画像データを外部インターフェース２８に転送し、この外部インターフェース２８と接続された外部の表示装置やコンピュータなどに転送することも可能である。
【００１９】
尚、図１中、符号１５は画像撮像センサ１２を駆動する駆動回路、符号１６はＲＰＵ１４および駆動回路１５などの動作タイミングを規律するタイミング・ジェネレータ、符号１８はＰＬＬ発振回路、符号１９はＣＰＵ１７の補助演算を実行するコプロセッサを示している。またクロック・ジェネレータ２９は、ＰＬＬ発振回路１８から供給されるクロック信号を逓倍もしくは分周することで、ＲＰＵ１４、タイミング・ジェネレータ１６、ＣＰＵ１７およびデジタル・エンコーダ２１などの全モジュールの駆動クロック信号を生成する。
【００２０】
上記画像撮像センサ（ＣＣＤ撮像センサ）１２は、光電効果で発生したキャリア（電子またはホール）を蓄積する電荷蓄積部と、蓄積されたキャリアに電界を印加して転送するように制御する電荷転送部とを備える一般的なものである。例えば、ＩＴ−ＣＣＤ（Interline Transfer CCD；インタライン転送ＣＣＤ）、ＦＦ−ＣＣＤ（Full Frame CCD；フルフレームＣＣＤ）、ＦＴ−ＣＣＤ（Frame Transfer CCD；フレーム転送ＣＣＤ）、ＦＩＴ−ＣＣＤ（Frame Interline Transfer CCD；フレームインターライン転送ＣＣＤ）などが挙げられる。また画像撮像センサ１２としては、画素を構成するラインのうち偶数番目ラインからなるフィールド（偶数フィールド）と奇数番目ラインからなるフィールド（奇数フィールド）とから交互に画素データを読み出されるインターレース（飛越し走査）タイプのものと、ライン順次に画素データを読み出されるプログレッシブ（順次走査）タイプのものとの何れかが使用される。尚、本実施の形態では、画像撮像センサ１２にＣＣＤ撮像センサを採用するが、これに限らず、電荷転送部をもたないＣＭＯＳ撮像センサを採用してもよい。このような画像撮像センサ１２の感光部上には単板式の色フィルタ・アレイが配設されている。
【００２１】
図２は、上記ＲＰＵ１４の概略構成を示す機能ブロック図である。ＲＰＵ１４は集積回路化されており、単一画素処理部４０，画素補間・ガンマ補正処理部４１，色空間変換・色抑圧処理部４２，空間フィルタリング・コアリング処理部４３および解像度変換部４４を備えている。各処理ブロック４０〜４４はメイン・バス１０と接続されており、画像データを処理ブロック４０〜４４でシリアル（逐次的）に画像処理させることができるし、一の処理ブロックのみで画像処理することも可能である。例えば、主メモリ２６に一時記憶された画像データをメイン・バス１０経由で画素補間・ガンマ補正処理部４１にＤＭＡ転送し画像処理させた後、画素補間・ガンマ補正処理部４１から出力された処理データをメイン・バス１０経由で主メモリ２６上のバッファにＤＭＡ転送し格納することができる。
【００２２】
前記単一画素処理部４０は、主メモリ２６上のバッファからＤＭＡ転送されて入力する原画像データを単一画素単位で処理する機能を有し、入力する原画像データを複数フレームもしくは複数フィールドに亘り平均化する経時的平均化処理やシェーディング処理などを実行する。例えば、経時的平均化処理では、被写体の露光量が不足している場合、画像撮像センサ１２から通常周期で読出した複数フレームまたは複数フィールドに亘る画素データを累積することで露出量を増大させる処理が行われる。従来、被写体の露光量が不足している場合は、画像撮像センサ１２からの画素データの読出しを所定期間停止し、画像撮像センサ１２の感光部における蓄積電荷量を十分に増大させた後に画素データを読出したり、アナログ信号処理回路１３で画像信号を増幅したりすることが行われていたが、これらでは画素データに含まれるノイズも増大しＳ／Ｎ特性が低下するという問題が生じていた。また、シェーディング処理は、画像の全体が平均的に一様な明るさになるように、各画素の輝度値をゲイン調整することで実行される。ここで、シェーディングとは、光学機構１１の中心部に対する周辺部の減光や、画像撮像センサ１２の受光感度の不均一に起因して生ずる、被写体画像の本来の輝度と映像信号との間の変換特性の不整合を意味しており、例えば、画像の周辺部が中心部に比べて暗くなるという輝度ムラとなって現れるものである。
【００２３】
次に、上記画素補間・ガンマ補正処理部４１は主要な機能として、後に詳述するように、内部に組み込まれた空間レジスタ群（レジスタ）５０に一時記憶した画素データを用いて各画素毎に不足の色成分を補間する画素補間機能と、ルック・アップ・テーブル（以下、ＬＵＴと呼ぶ。）を用いてガンマ値などを補正するガンマ補正機能とを有している。画像撮像センサ１２の感光部上に配設される単板式の色フィルタ・アレイには、「Ｒ（赤色）」，「Ｇ（緑色）」，「Ｂ（青色）」の３原色系色フィルタや、「Ｙ（イエロー色）」、「Ｍ（マゼンダ色）」、「Ｃ（シアン色）」、「Ｇ（緑色）」のような４色の補色系色フィルタなどがある。図３は、ベイヤー配列と称する３原色系色フィルタ配列３５を例示する模式図、図４は、補色系色フィルタ配列３７を例示する模式図である。３原色系の色フィルタ配列３５は、太線枠で示した２×２画素の単位画素領域３６を繰り返し単位として配列して構成される。その単位画素領域３６には、対角をなす２画素の各々にＧフィルタが配列され、残る２画素にＲフィルタとＢフィルタが配列されている。また、補色系の色フィルタ配列３７は、太線枠で示した２×２画素の単位画素領域３８を繰り返し単位として配列して構成される。その単位画素領域３８には、Ｍフィルタ、Ｇフィルタ、ＣフィルタおよびＹフィルタが各画素と一対一対応で配列される。このような色フィルタ・アレイを透過した光から得た画素データは、一画素に単色成分しかもたないため、画素補間機能は、一画素に３色もしくは４色の色成分をもたせるように当該着目画素の周辺画素の色成分を用いてそれらの平均値などを算出することで不足の色成分を補間する。また、ガンマ補正機能は、離散的な階調をもつ色成分値（入力値）と各入力値に対応する補正後の色成分値（出力値）とをＬＵＴに保持しており、このＬＵＴに基づいて入力値は対応する出力値に変換し出力する。
【００２４】
本発明に係る画像処理装置では、ＣＰＵ１７は、以上の画素補間・ガンマ補正処理部４１に組み込まれた空間レジスタ群５０とインターフェースを介して直接アクセスでき、その空間レジスタ群５０に記憶された画素データを取り込んで画像処理し、その空間レジスタ群５０の任意のレジスタに戻すことが可能である。
【００２５】
次に、色空間変換・色抑圧処理部４２は、原信号がカラー画像信号の場合に例えばＲＧＢ信号からＹＣｂＣｒ信号へ色空間を変換する色空間変換機能と、画像中の明部と暗部の色抑圧（クロマサプレス；偽色防止）を行う色抑圧機能とを有している。色空間変換機能で変換先の色空間としては、ＹＣｂＣｒ色空間の他に、ＮＴＳＣ（National Television System Committee）方式などで規定されているＹＩＱ色空間などを採用しても構わない。また色抑圧機能は画像に現れる明部および暗部の発色を抑制することで自然な画質を実現するものである。一般に、画像に現れる暗部は様々なノイズの影響を受けやすい性質をもつため、暗部ではできるだけ発色を抑制することが自然な画質を出すことにつながる。一方、画像の現れる明部は当該明部を撮像した撮像素子やその他の種々のハードウェアの特性に応じて変調の影響を受け易い部分でありホワイトバランスが狂い易い部分であるため、出来るだけ発色を抑制することが自然な画質を出すことにつながる。これらを考慮して色抑圧機能は画像中の明部と暗部の発色が抑制される。
【００２６】
次に、空間フィルタリング・コアリング処理部４３は、画像データの５×５画素程度の局所領域に空間フィルタ（重みマスク）を適用し、各空間フィルタの係数値を対応する画素データに重み付け（乗算）し加算するという積和演算を実行する空間フィルタリング機能と、空間フィルタリング処理を施された画像データに対し、高域成分が一定レベルを超えたときに一般的な非線形処理（コアリング）を施すコアリング機能とを有するものである。以上の空間フィルタリング機能とコアリング機能とで画像に含まれる雑音が低減されたり、線およびエッジ部分を強調する輪郭強調処理が実行されたりする。
【００２７】
次に、解像度変換部４４は、前記空間フィルタリング・コアリング処理部４３から出力された画像データのサイズを、バイリニア法（線形補間法）などに基づいて縮小または拡大する機能を有している。
【００２８】
以上の構成のＲＰＵ１４を用いた実施の形態に係る画像処理装置を以下に詳説する。図５は、本実施の形態に係る画像処理装置を構成する画素補間・ガンマ補正処理部４１の概略を示すブロック図である。この画素補間・ガンマ補正処理部４１は、上記した空間レジスタ群５０として、上記単一画素処理部４０またはメイン・バス１０から入力する画素データの５×５画素分を記憶する入力データ・レジスタ群５０Ａと、各演算回路５３〜５８で処理された画素データ（中間データ）を記憶する中間データ・レジスタ群５０Ｂと、補間組み合わせ回路５９で処理された画素データを記憶する補間データ・レジスタ群５０Ｃとを備えている。各レジスタ群５０Ａ〜５０ＣはＤフリップ・フロップなどから構成され、ＡＮＤ素子７２から出力される制御信号に同期して動作する。ＡＮＤ素子７２は、ＣＰＵ１７から伝達するＰＣ（Processing Control）制御信号と画素クロックＣＬＫとを論理積演算し、双方の信号レベルが高レベルのときに限り高レベルの制御信号を出力する。
【００２９】
また、ＣＰＵ１７は、当該ＣＰＵ１７に備わるコプロセッサ・インターフェース８０を介して画素補間・ガンマ補正処理部４１のレジスタ群５０Ａ〜５０Ｃの各々と接続されている。またＣＰＵ１７は、メモリ（図示せず）に格納されたプログラムをロードし、当該プログラムに記述されたコプロセッサ・インターフェース８０の命令に基づいて前記レジスタ群５０Ａ〜５０Ｃの任意のレジスタ（以下、画素補間用レジスタと呼ぶ。）に直接アクセスでき、当該レジスタに格納された画素データをＣＰＵ１７内の汎用レジスタ（図示せず）に取り込んで格納し、格納した画素データを用いて画素補間・ガンマ補正処理部４１では処理し得ない適応型補間処理をソフトウェアで実行できる。そしてＣＰＵ１７は、コプロセッサ・インターフェース８０を介してその適応型補間データを任意の画素補間用レジスタに転送し格納させることが可能である。例えば、画素補間用レジスタからＣＰＵ１７上の汎用レジスタにデータを移動させる移動命令は、"MFC $1, $2"のように表現され得る。その移動命令中、"$1"はＣＰＵ１７内の汎用レジスタ、"$2"は画素補間用レジスタを示している。このような移動命令は、１ＣＰＵサイクルで実行できるため、高速に且つ効率良く双方のレジスタ間で画素データを移動できる。
【００３０】
またＣＰＵ１７のクロック周波数が画素クロックＣＬＫの周波数と同程度もしくは画素クロックＣＬＫの周波数よりも低い場合は、上記適応型画像処理を実行し且つ画素データをレジスタ群５０Ａ〜５０Ｃのレジスタに戻す迄の処理期間は、ＰＣ制御信号のレベルをＬ（Low）レベルに維持し、各レジスタに同一の画素データを保持させ、リアルタイム処理を一時中断させる。これは、レジスタ群５０Ａ〜５０Ｃに保持されている画素データが適応型画像処理途中で更新されるのを防ぐための措置である。他方、ＣＰＵ１７のクロック周波数が画素クロックＣＬＫの周波数よりも十分に高い場合は、ＣＰＵ１７で適応型画像処理を行いつつ、ＰＣ制御信号のレベルをＨ（High）レベルに維持したまま画素補間・ガンマ補正処理部４１のリアルタイム処理を続行できる。かかる場合は、ＲＰＵ１４におけるリアルタイム性を損なうこと無く適応型画像処理を実行できるため好ましい。
【００３１】
尚、コプロセッサ・インターフェース８０を用いる代わりに、ＣＰＵ１７の論理アドレスとＳＲＡＭ上のアドレスとをメモリ・マッピングし、メイン・バス１０を介して画素補間用レジスタとＳＲＡＭとの間で画素データを移動させるメモリ管理インターフェース（図示せず）を用いてもよい。但し、１つの命令を実行するのに一般的には平均で４ＣＰＵサイクル以上必要となるため、データ転送の速度および効率の観点からは、本実施の形態のようにコプロセッサ・インターフェース８０を用いるのが望ましい。
【００３２】
またＲＰＵ１４に対する画素データの入出力は、少なくとも１チャンネルのＤＭＡで実行できる。ＤＭＡコントローラ２４を用いることで、ＣＰＵ１７はＲＰＵ１４に対する画素データの転送処理の負荷を受けないため、適応型画像処理の処理速度の向上が可能である。また上記画像撮像センサ１２には、画像読出しの進行の中断および再開を許可しないタイプと、画像読出しの進行の中断および再開を許可するタイプとに２分される。
【００３３】
画像撮像センサ１２が画像読出しの進行の中断と再開を許可しない通常のＩＴ−ＣＣＤなどで構成される場合、ＲＰＵ１４の１クロックタイムの間にＣＰＵ１７による適応型画像処理が終了しないときは、上述の通り、アナログ信号処理回路１３から出力される原画像データを一旦、主メモリ２６のバッファ領域に転送し記憶させる必要がある。かかる場合、適応型画像処理を行わない期間、ＤＭＡコントローラ２４は、そのバッファ領域に格納された原画像データをＲＰＵ１４にＤＭＡ転送する動作に１チャンネルを使用し、ＲＰＵ１４から出力される処理データを主メモリ２６の他のバッファ領域にＤＭＡ転送する動作に１チャンネルを使用するため、合計２チャンネルが必要となる。他方、適応型画像処理を行う期間、上記ＰＣ制御信号のレベルをＬレベルに切り換えることでＲＰＵ１４の動作は一時中断されると同時に、ＤＭＡコントローラ２４はＤＭＡ転送動作を一時中断するように制御される。そして、当該適応型画像処理の終了後にＲＰＵ１４の動作およびＤＭＡ転送動作が再開される。尚、実際には、ＤＭＡ転送された画素データが入力するＲＰＵ１４のデータ入力部、およびＤＭＡ転送される画素データを出力するＲＰＵ１４のデータ出力部には、ＦＩＦＯバッファ（図示せず）が設けられている。このため、ＤＭＡ転送するか否かのタイミングはそのＦＩＦＯバッファによる緩衝作用により左右されるが、上記のＰＣ制御信号がＬレベルである期間は、少なくとも、ＲＰＵ１４からＦＩＦＯバッファに対するデータ入出力要求は発生しない。
【００３４】
また画像撮像センサ１２が画像読出しの進行の中断と再開を許可できるＦＴ−ＣＣＤやＣＭＯＳなどで構成される場合は、アナログ信号処理回路１３から出力される原画像データを一旦、主メモリ２６のバッファ領域に転送する必要が無く、その原画像データは、直接、ＲＰＵ１４に転送できる。このため、適応型画像処理を行わない期間、ＤＭＡコントローラ２４は、ＲＰＵ１４から出力される処理データを主メモリ２６のバッファ領域にＤＭＡ転送する動作に１チャンネル使用するだけでよい。また適応型画像処理を行う期間は、上記ＰＣ制御信号のレベルをＬレベルに切り換えることでＲＰＵ１４の動作は一時中断されると同時に、ＤＭＡコントローラ２４はＤＭＡ転送動作を一時中断するように制御される。そして、当該適応型画像処理の終了後にＲＰＵ１４の動作およびＤＭＡ転送動作が再開される。
【００３５】
上記入力データ・レジスタ群５０Ａは、点順次で入力する画素データを、水平方向に５画素分且つ垂直方向に５画素分記憶する２５個のレジスタ５１，５１，…を備えており、各レジスタ５１，…は、ライン・メモリ５２Ａ，５２Ｂ，５２Ｃ，５２Ｄを介して直列接続されている。また画素クロックＣＬＫの印加により画素データはレジスタ５１，５１，…とライン・メモリ５２Ａ〜５２Ｄとを順次移動し、画像データ内の５×５画素の所望の局所領域の画素データをレジスタ群５０Ａに記憶させ保持させることができる。このような入力データ・レジスタ群５０Ａに記憶された局所領域内の画素データは、各演算回路５３〜５８に選択的に取り込まれ処理された後、中間データ・レジスタ群５０Ｂに記憶される。それら演算回路５３〜５８のうち線形演算回路５３は、当該局所領域の中心画素（以下、注目画素と呼ぶ。）に対して線形演算により５種類の補間値を算出できる。第１の補間値は、当該局所領域内の全画素データの平均値Ｃ_allであり、レジスタ６０ａに格納される。すなわち、図６に示すように当該局所領域内の画素値をＲ［ｉ，ｊ］（ｉ，ｊは０〜４の整数、ｉは行番号、ｊは列番号）で表現するとすれば、注目画素値はＲ［２，２］であり、Ｃ_all＝（Ｒ［０，０］＋Ｒ［０，１］＋…＋Ｒ［４，３］＋Ｒ［４，４］）／２５で算出される。また第２〜第５の補間値Ｃ₁〜Ｃ₄は、同色成分のみを用いた平均値であり、レジスタ６０ｂ〜６０ｅにそれぞれ格納される。本実施の形態では、４色成分に対応し得るように４種類の補間値（平均値）が算出可能である。例えば、図３に示す色配列の画素データをレジスタ群５０Ａに保持し且つ注目画素データをＧ成分に設定した場合、当該注目画素に不足の色成分はＲ成分とＢ成分であるから、当該注目画素値Ｒ［２，２］を選択的に読み出してそのまま補間値Ｃ₁とし、画素値Ｒ［２，１］、Ｒ［２，３］を選択的に読み出してＲ成分（補間値）Ｃ₂を算出し、また画素値Ｒ［１，２］、Ｒ［３，２］を選択的に読み出してＢ成分（補間値）Ｃ₃を算出する。このようにして各画素に対応する３色成分を補間することが可能となる。以上の補間値は、コプロセッサ・インターフェース８０を介してＣＰＵ１７のレジスタに移動され適応型画像処理を施された後に、レジスタ群５０Ａ〜５０Ｃ内の任意のレジスタに戻され得る。例えば、ＣＰＵ１７で前記平均値Ｃ_allと比較して他の補間値Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄の何れかの輝度値分布が偏っていると判定された場合、ＣＰＵ１７はデータ・ベースなどに従って当該補間値を補正（適応型画像処理）した後にレジスタ６０ｂ〜６０ｅに戻すことができる。
【００３６】
また、色成分比演算回路５４は、レジスタ６０ｂ〜６０ｅに格納した各色成分Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄を用いて基準となる色成分と他の色成分との比率を算出し、レジスタ６１ａ〜６１ｃに出力し保持させる機能を有する。例えば、基準となる色成分Ｃ₁と他の色成分Ｃ₂，Ｃ₃，Ｃ₄との比率は、Ｃ₂／Ｃ₁、Ｃ₃／Ｃ₁およびＣ₄／Ｃ₁で算出される。
【００３７】
また、高域成分演算回路５５は、当該着目画素値から各色成分の平均値（低域成分）を減算した高域成分を算出し、レジスタ６２ａ〜６２ｅに出力し保持させる機能を有する。この高域成分演算回路５５は、全方向、水平方向、垂直方向および対角方向の５種類の高域成分を算出できる。例えば、全方向の高域成分（偏差）Ｈ_allは、Ｈ_all＝Ｒ［２，２］−Ｃ_all、の演算式で算出できる。水平方向の高域成分（偏差）Ｈ_Hは、当該画素値から、水平方向に亘る５個の画素値の平均値を減算した値であり、具体的には、Ｈ_H＝Ｒ［２，２］−（Ｒ［２，０］＋Ｒ［２，１］＋Ｒ［２，２］＋Ｒ［２，３］＋Ｒ［２，４］）／５、の演算式で算出できる。また垂直方向の高域成分（偏差）Ｈ_Vは、当該画素値から、垂直方向に亘る５個の画素値の平均値を減算した値であり、具体的には、Ｈ_V＝Ｒ［２，２］−（Ｒ［０，２］＋Ｒ［１，２］＋Ｒ［２，２］＋Ｒ［３，２］＋Ｒ［４，２］）／５、の演算式で算出できる。そして、対角方向の高域成分（偏差）Ｈ_Dは、当該画素値から、左上方から右下方もしくは右上方から左下方への対角方向に亘る５個の画素値の平均値を減算した値であり、具体的には、Ｈ_D＝Ｒ［２，２］−（Ｒ［０，０］＋Ｒ［１，１］＋Ｒ［２，２］＋Ｒ［３，３］＋Ｒ［４，４］）／５、もしくは、Ｈ_D＝Ｒ［２，２］−（Ｒ［０，４］＋Ｒ［１，３］＋Ｒ［２，２］＋Ｒ［３，１］＋Ｒ［４，０］）／５、の演算式で算出できる。
【００３８】
また、分散演算回路５６は、前記レジスタ６２ａ〜６２ｅに格納した高域成分を読み出して各高域成分の平方を分散量として算出し、レジスタ６３ａ〜６３ｅに出力し保持させる機能を有する。全方向の分散Ｖ_allは、Ｖ_all＝Ｈ_all ²、の演算式で算出され、レジスタ６３ａに格納される。また、水平方向、垂直方向および対角方向の分散もそれぞれ、Ｖ_H＝Ｈ_H ²、Ｖ_V＝Ｈ_V ²およびＶ_D＝Ｈ_D ²、の演算式で算出され、レジスタ６２ｂ〜６２ｅに格納される。尚、分散量を求める代わりに標準偏差などの他の統計量を算出してもよい。
【００３９】
以上の色成分比演算回路５４や高域成分演算回路５５、分散演算回路５６で算出された値は、コプロセッサ・インターフェース８０を介してレジスタからＣＰＵ１７内のレジスタに移動されて、ＣＰＵ１７で上記適応型画像処理を行う際に利用され得る。このため、ＣＰＵ１７がレジスタ６０ｂ〜６０ｅに格納した補間値に対してホワイト・バランスなどの微調整を行う際、上記高域成分や分散量などの演算時間を省くことができ、適応型画像処理を高速に実行できる。
【００４０】
次に、上記空間フィルタ回路５７は、画像データの５×５画素の局所領域に空間フィルタ（重みマスク）を適用し、当該局所領域内の各画素に割り当てられた係数値を当該画素データに重み付け（乗算）し加算するという積和演算を実行する機能を有する。図７は、空間フィルタ回路５７の係数テーブル７３の例を示す模式図である。係数テーブル７３は、上記入力データ・レジスタ群５０Ａに保持された各画素データに対応する係数値Ｋ［０，０］，Ｋ［０，１］，…，Ｋ［４，４］を格納している。画像データのｉ行ｊ列目（ｉ，ｊ：整数）の注目画素値Ｇ［ｉ，ｊ］（＝Ｒ［２，２］）に対する出力画素値Ｏ［ｉ，ｊ］は次式（１）に従って算出され、レジスタ６４に格納される。
【００４１】
【数１】

【００４２】
尚、空間フィルタ回路５７は、上式（１）の出力画素値Ｏ［ｉ，ｊ］に所定の補正値を加算できるし、出力画素値Ｏ［ｉ，ｊ］を２の巾乗値で除算して算術シフトすることもできる。またＣＰＵ１７はこのような空間フィルタ回路５７の出力画素値を取り込み適応型画像処理を行うことができる。
【００４３】
また、上記空間フィルタ回路５７は、複数の係数値テーブルを備えることが好ましい。図８は、第１係数テーブル７３Ａと第２係数テーブル７３Ｂを備えた空間フィルタ回路５７を示す概略図である。空間フィルタ回路５７は、ＣＰＵ１７からのＦＳ（Filter Select）制御信号により第１および第２係数テーブル７３Ａ，７３Ｂの何れか一方を選択するセレクタ７４と、このセレクタ７４を介して読み出した係数値を用いて上記積和演算を実行する空間フィルタリング演算回路７５とを備えている。例えば、第１係数テーブル７３Ａを高周波数成分算出用、第２係数テーブル７３Ｂを低周波数成分算出用のものとして係数値を書き込んでおくことで、高周波数成分と低周波数成分との双方を得ることができる。また複数の係数テーブルを用意することは処理の高速化に繋がる。例えば、１つの係数テーブルしか用意されていない場合、１画素データの処理に対して、その係数テーブルに高周波数成分算出用の係数値を書き込むために数ＣＰＵステップ、前記係数値を読出すために１ＣＰＵステップ、その係数テーブルに低周波数成分算出用の係数値を書き込んで更新するために数ＣＰＵステップ、そして前記係数値を読出すために１ＣＰＵステップがそれぞれ必要となり、処理時間が長大化し易い。他方、２つの係数テーブル７３Ａ，７３Ｂを用意した場合は、各テーブルに高周波数成分算出用と低周波数成分算出用の係数値をそれぞれ書き込んでおけば、１画素データの処理に対して、セレクタ７４の切換制御に１ＣＰＵステップ、高周波成分算出用の係数値を読出すために１ＣＰＵステップ、低周波数成分算出用の係数値を読出すために１ＣＰＵステップがそれぞれ必要であるが、１つの係数テーブルしか用意していない場合と比べると処理時間の大幅な短縮が可能であることが分かる。
【００４４】
次に、並べ替え演算回路５８は、入力データ・レジスタ群５０Ａから読出した画素データを降順または昇順に並べ替え演算し、レジスタ６５に出力し保持させる機能を有する。例えば、ＣＰＵ１７は、コプロセッサ・インターフェース８０を介してレジスタ６５に保持された画素データを取り込み、並べ替えた画素データの中央値（メディアン）を当該注目画素の画素値とするメディアン補間や、当該中央値付近の複数の画素データを選択して平均化する補間などの適応型画像処理を行った後、レジスタ６５に戻すことができる。
【００４５】
以上の各種演算回路５３〜５８で算出された画素データは、中間データ・レジスタ群５０Ｂから補間組み合わせ回路５９に読み出される。補間組み合わせ回路５９は、レジスタ群５０Ｂから読出した画素データを用いて３色成分もしくは４色成分を画素補間した後、各色成分毎にそれぞれ、レジスタ６６ａ，６６ｂ，６６ｃ，６６ｄに出力し保持させる。尚、補間組み合わせ回路５９は、中間データ・レジスタ群５０Ｂのレジスタ６０ｂ，６０ｃ，６０ｄ，６０ｅに保持された各色成分（補間値）をそのまま読み出してレジスタ６６ａ〜６６ｄに出力しても構わない。
【００４６】
次に、第１ガンマ補正回路７０Ａ，７０Ｂ，７０Ｃ，７０Ｄは、それぞれ補間データ・レジスタ群５０Ｃのレジスタ６６ａ，６６ｂ，６６ｃ、６６ｄから伝達した画素データに対してＬＵＴを用いてガンマ補正を実行し、各補正データをレジスタ７１ａ，７１ｂ，７１ｃ，７１ｄに出力し保持させる。そして、レジスタ７１ａ〜７１ｄで保持された画素データは、図２に示した色空間変換・色抑圧処理部４２に出力される。
【００４７】
以上の実施の形態に係る画像処理装置によれば、ＣＰＵ１７は、ＲＰＵ１４に入力しリアルタイム処理されている途中の画素データをコプロセッサ・インターフェース８０を介して取り込み、適応型画像処理を施した後に、ＲＰＵ１４に戻してリアルタイム処理を続行させることができる。よって、ＲＰＵ１４におけるハードウェア処理とＣＰＵ１７におけるソフトウェア処理（適応型画像処理）とを組み合わせた複合処理を効率良く実行でき、その処理速度を大幅に向上させることが可能となる。
【００４８】
【発明の効果】
以上の如く、本発明の請求項１〜３に係る画像処理装置によれば、上記インターフェースにより上記マイクロ・プロセッサは上記画像処理部のレジスタに直接アクセスして画像データの読出しおよび書き出しを実行できる。よって、画像処理部でハードウェア処理の途中にある画像データに対してマイクロ・プロセッサでソフトウェア処理（適応型画像処理）を施し、ソフトウェア処理した画像データを画像処理部に戻してハードウェア処理を続行させることが可能となる。従って、ハードウェア処理とソフトウェア処理との複合処理を極めて効率良く行うことができ、その処理速度を大幅に向上させることが可能となる。
【００４９】
また請求項４によれば、上記画像処理部に対して画像データをＤＭＡ転送する期間、マイクロ・プロセッサはデータ転送の処理負荷を受けないため、適応型画像処理を専念して実行できる。このため、適応型画像処理の処理速度を更に向上することが可能となる。
【００５０】
また請求項５によれば、上記適応型画像処理の最中にレジスタの記憶内容が更新されるのを確実に防止することができる。
【００５１】
また請求項６によれば、上記適応型画像処理の最中にレジスタの記憶内容が更新されるのを確実に防止できると共に、画像処理部におけるハードウェア処理のリアルタイム性を損なうこと無く適応型画像処理を実行することが可能となる。
【００５２】
また請求項１〜３によれば、画素補間処理の途中の画素データに対してマイクロ・プロセッサで適応型画像処理を施すことができる。また、画素補間処理で利用されるレジスタや該レジスタに保持された演算結果を利用した適応型画像処理を行うことが可能である。
【００５３】
また請求項１，２によれば、マイクロ・プロセッサは、上記線形演算回路で算出した２種類の平均値を用いて適応型画像処理を実行できるため、当該平均値の演算時間を省くことができ適応型画像処理の速度を向上できる。
【００５４】
また請求項１によれば、マイクロ・プロセッサは、上記色成分比演算回路で算出した色成分比率を用いてホワイト・バランスの微調整などの適応型画像処理を実行できるため、当該色成分比率の演算時間を省くことができ適応型画像処理の速度を向上できる。
【００５５】
また請求項２によれば、マイクロ・プロセッサは、上記高域成分演算回路で算出した偏差（高域成分）を用いてホワイト・バランスの微調整などの適応型画像処理を実行できるため、当該偏差の演算時間を省くことができ適応型画像処理の速度を向上できる。
【００５６】
また請求項３によれば、マイクロ・プロセッサは、上記並べ替え演算回路で昇順または降順に並べ替えた画素データを用いてメディアン（中央値）補間などの適応型画像処理を実行できるため、画素データを並べ替える演算時間を省くことができ適応型画像処理の速度を向上できる。
【００５７】
また請求項７によれば、マイクロ・プロセッサは、空間フィルタリングで実行する積和演算結果をレジスタから読み出して適応型画像処理を実行でき、当該適応型画像処理の速度を向上できる。
【００５８】
また請求項８によれば、複数種類の空間フィルタリングを実行するとき、１種類の係数テーブルしか用意していない場合と比べると、係数テーブルの係数値を書き込み更新する回数が減るため、処理時間を大幅に短縮化することが可能となる。
【００５９】
そして請求項９によれば、上記コプロセッサ・インターフェースによるレジスタ間の画素データの移動命令は１ＣＰＵサイクルで実行できるため、上記画像処理部におけるハードウェア処理とマイクロ・プロセッサにおけるソフトウェア処理との複合処理速度を更に向上できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理装置を搭載したデジタル・スチル・カメラの全体構成を示す機能ブロック図である。
【図２】本発明の実施の形態に係る画像処理装置を構成するＲＰＵを示すブロック図である。
【図３】３原色系色フィルタ配列を示す模式図である。
【図４】補色系色フィルタ配列を示す模式図である。
【図５】実施の形態に係る画像処理装置を構成する画素補間・ガンマ補正処理部の概略を示すブロック図である。
【図６】局所領域内の画素値を示す模式図である。
【図７】実施の形態に係る画像処理装置を構成する空間フィルタ回路の係数テーブルを示す模式図である。
【図８】２種類の係数テーブルを備えた空間フィルタ回路を示す概略図である。
【符号の説明】
１ デジタル・スチル・カメラ
１０ メイン・バス
１４ ＲＰＵ
１７ ＣＰＵ
２６ 主メモリ
４１ 画素補間・ガンマ補正処理部
５０ 空間レジスタ群
５０Ａ〜５０Ｃ 入力データ・レジスタ群
５２Ａ〜５０Ｄ ライン・メモリ
５３〜５８ 演算回路
５９ 補間組み合わせ回路
７０Ａ〜７０Ｄ ガンマ補正回路
７３，７３Ａ，７３Ｂ 係数テーブル
７４ セレクタ
７５ 空間フィルタリング演算回路
８０ コプロセッサ・インターフェース

Claims (9)

1. ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、
   前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、
   前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、
   前記画像処理部は、
   入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、
   当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、
   前記画素補間回路は、
   前記２次元局所領域内の全画素データの平均値または前記２次元局所領域内の各色成分毎の平均値を算出し、前記各平均値を第２の前記レジスタに保持させる線形演算回路と、
   前記画素補間回路は、前記２次元局所領域内の前記各色成分毎の平均値を特定の色成分の平均値で除算した色成分比率を算出し、該色成分比率を第３の前記レジスタに保持させる色成分比演算回路と、を備える、
   ことを特徴とする画像処理装置。
2. ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、
   前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、
   前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、
   前記画像処理部は、
   入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、
   当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、
   前記画素補間回路は、
   前記２次元局所領域内の全画素データの平均値または前記２次元局所領域内の各色成分毎の平均値を算出し、前記各平均値を第２の前記レジスタに保持させる線形演算回路と、
   前記２次元局所領域内の所定の注目画素の画素データと前記平均値との偏差（高域成分）を算出し、該偏差を第４の前記レジスタに保持させる高域成分演算回路と、を備える、
   ことを特徴とする画像処理装置。
3. ハードウェアで構成される画像処理部と、所定のプログラムに基づいた適応型画像処理を実行するマイクロ・プロセッサと、を備えた画像処理装置であって、
   前記画像処理部は、当該画像処理部により行う処理における、処理途中の画像データを保持するレジスタを備え、
   前記マイクロ・プロセッサは、前記レジスタに保持された画像データを当該レジスタに直接アクセスして読出し、且つ、前記適応型画像処理を施した画像データを当該レジスタに直接アクセスして戻すインターフェースを備え、
   前記画像処理部は、
   入力する画像データの所定の２次元局所領域の画素データを保持する第１の前記レジスタと、
   当該第１のレジスタに保持された前記画素データを用いた画素補間を実行する画素補間回路と、を備え、
   前記画素補間回路は、前記２次元局所領域内の任意の画素データを昇順または降順に並べ替え、第５の前記レジスタに保持させる並べ替え演算回路を備える、
   ことを特徴とする画像処理装置。
4. 請求項１〜３の何れか１項に記載の画像処理装置であって、前記画像処理部に対する画像データの入出力は少なくとも１チャンネルのＤＭＡ（ダイレクト・メモリ・アクセス）で実行される、画像処理装置。
5. 請求項１〜４の何れか１項に記載の画像処理装置であって、前記マイクロ・プロセッサの処理速度が前記画像処理部の処理速度と同程度もしくは当該処理速度よりも低い場合に、少なくとも、前記マイクロ・プロセッサで前記適応型画像処理を実行する期間は、前記レジスタに同一の画像データを保持させ、且つ、前記画像処理部における処理を一時中断させる、画像処理装置。
6. 請求項１〜４の何れか１項に記載の画像処理装置であって、少なくとも、前記マイクロ・プロセッサで前記適応型画像処理を実行する期間に前記レジスタが同一の画像データを保持するように、前記マイクロ・プロセッサの処理速度が前記画像処理部の処理速度よりも高く設定される、画像処理装置。
7. 請求項１〜６の何れか１項に記載の画像処理装置であって、前記画素補間回路は、前記２次元局所領域内の画素データの各々に所定の係数値を乗算して加算する空間フィルタリングを実行し、第６の前記レジスタに保持させる空間フィルタ回路を備える、画像処理装置。
8. 請求項７記載の画像処理装置であって、前記空間フィルタ回路は、前記各画素データに対応する係数値を記憶した複数種類の係数テーブルと、該係数テーブルを切り換えるセレクタと、を備える、画像処理装置。
9. 請求項１〜８の何れか１項に記載の画像処理装置であって、前記インターフェースとしてコプロセッサ・インターフェースを用いる、画像処理装置。

Images