JP6041630B2

JP6041630B2 - 画像処理装置

Info

Publication number: JP6041630B2
Application number: JP2012247034A
Authority: JP
Inventors: 英俊小沼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-11-09
Filing date: 2012-11-09
Publication date: 2016-12-14
Anticipated expiration: 2032-11-09
Also published as: JP2014095798A; US20140132800A1

Description

本発明は、画像処理装置に関し、特に、メモリを用いて画像の合成を行う装置に関する。

従来、デジタルカメラに組み込まれる画像処理装置は、撮影画像を液晶モニタなどの内蔵の表示部に表示すると共に、外部の表示装置などに出力する機能を持つ。近年では、撮影する画像の画素数が増加しており、フルＨＤ（High Definition）と呼ばれる横１９２０画素×縦１０８０画素、６０フレーム毎秒の動画を撮影可能な撮像装置も登場している。

内蔵表示部に撮影画像を表示する場合、撮影画像だけでなく、撮影開始からの経過時間及び記録媒体の残量などの撮影状況の情報、各種のアイコン、並びにフレーミングを確認するための枠など、各種の情報が多重されて表示される。

一方、外部出力画像には、内蔵表示部で撮影画像に多重される情報とは別の情報が多重されることがある。

このように、表示すべき画像に各種の情報を多重する場合、画像データを一旦メモリに格納し、当該メモリ上で合成処理を行うことが一般的である（例えば、特許文献１参照）。

特開２０１０−２０４２６２号公報

デジタルカメラでは、内部表示用画像及び外部出力用画像以外にも記録用画像があり、撮影画像に対して状況に応じてこれらの画像を実質的に同時生成する必要がある。扱う画像の画素数の増加により、広いメモリ帯域と処理能力が必要とされる。

こうした状況において、従来技術では、同時生成する必要のある画像数に応じた数の画像処理部、いわゆるレイヤの合計数のレイヤ画像合成部が必要となる。また、表示装置の出力タイミングを揃えるためには、レイヤ画像合成部に画像データを一時記憶するラインメモリを設ける必要がある。これらは全て、回路規模の増大、従ってコスト上昇につながる。

本発明は、同一の画像を基に部分的に異なる情報を重畳して複数の画像を生成する場合の処理能力を軽減した画像処理装置を提示することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、画像データと、前記画像データに合成される、複数のレイヤの素材データとを記憶するメモリと、前記メモリを制御するメモリ制御手段と、前記メモリに記憶された前記素材データのリクエストを出力し、前記メモリから読み出された素材データを、前記メモリから読み出された前記画像データに対して合成し、第１の合成画像データを生成する第１の合成手段と、前記メモリに記憶された前記素材データのリクエストを出力し、前記メモリから読み出された素材データを、前記メモリから読み出された前記画像データに対して合成し、第２の合成画像データを生成する第２の合成手段とを備え、前記複数のレイヤは、前記第１の合成画像データ及び前記第２の合成画像データのために共に用いられる素材データを含む共通レイヤと、前記第１の合成画像データ及び前記第２の合成画像データのうち一方のために用いられ他方のために用いられない素材データを含む独自レイヤとを含み、前記第１の合成手段と前記第２の合成手段が前記共通レイヤの素材データの合成を行う場合、前記第１の合成手段は前記共通レイヤの素材データのリクエストを出力して前記第２の合成手段は前記共通レイヤの素材データのリクエストを出力しないようにし、前記メモリ制御手段は、前記第１の合成手段から出力された前記共通レイヤの素材データのリクエストに応じて前記共通レイヤの素材データを前記メモリから読み出して、前記第１の合成手段から出力された前記共通レイヤの素材データのリクエストに応じて前記メモリから読み出した前記共通レイヤの素材データを前記第１の合成手段及び前記第２の合成手段に共に出力し、前記第１の合成手段が前記第１の合成画像データのための第１の独自レイヤの素材データの合成を行う場合、前記第１の合成手段は前記第１の独自レイヤの素材データのリクエストを出力し、前記メモリ制御手段は、前記第１の合成手段から出力された前記第１の独自レイヤの素材データのリクエストに応じて前記第１の独自レイヤの素材データを前記メモリから読み出して、前記第１の合成手段に出力し、前記第２の合成手段が前記第２の合成画像データのための第２の独自レイヤの素材データの合成を行う場合、前記第２の合成手段は前記第２の独自レイヤの素材データのリクエストを出力し、前記メモリ制御手段は、前記第２の合成手段から出力された前記第２の独自レイヤの素材データのリクエストに応じて前記第２の独自レイヤの素材データを前記メモリから読み出して、前記第２の合成手段に出力することを特徴とする。

本発明によれば、メモリ上の画像データに一部が異なる情報を合成した複数の画像を生成する場合に、当該メモリのバス帯域を削減でき、回路規模の増大を抑制できる。

本発明の一実施例を含む撮像装置の概略構成ブロック図である。レイヤ合成の概念を示す説明図である。画像合成部の概略構成ブロック図である。部分的に異なるデータを合成対象とする２つの画像合成の説明例である。同期制御部の概略構成ブロック図である。帯域削減モードでのメモリ制御部から画像合成部へのデータの流れを説明する概略構成ブロック図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像処理装置の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。１０１は撮像部、１０２は現像処理部、１０３は画像信号処理部、１０４はフレームメモリである。１０５Ａ，１０５Ｂは画像合成部、１０７は同期制御部、１０８はＣＰＵ、１０９はユーザ操作部、１１０Ａ，１１０Ｂは表示部、１１２は、フレームメモリ１０４のデータ書き込みと読出しを制御するメモリ制御部である。

撮像部１０１は被写体の光学像から生成される画像データを現像処理部１０２に供給する。現像処理部１０２は、撮像部１０１からの撮影画像データを現像処理し、画像信号処理部１０３は、現像処理部１０２の出力画像に所定の画像処理を施す。画像信号処理部１０３は、メモリ制御部１１２に対してフレームメモリ１０４に画像データを転送する為のリクエストを発行し、メモリ制御部１１２は、フレームメモリ１０４に画像データを格納する。

ユーザは、ユーザ操作部１０９により、画像データを表示部１１０Ａ，１１０Ｂに出力するか否かをＣＰＵ１０８に指示できる。ＣＰＵ１０８は、ユーザによるこの指示に従い、画像合成部１０５Ａ，１０５Ｂによるフレームメモリ１０４へのアクセス帯域削減モードの可否を判断する。帯域削減モードでは、画像合成部１０５Ａ，１０５Ｂは、同期制御部１０７により同じタイミング信号で制御され、協調して動作する。帯域削減モードで動作させることができない場合、画像合成部１０５Ａ，１０５Ｂは、同期制御部１０７からのそれぞれ独立のタイミング信号で制御され、互いに独立に動作する。画像合成部１０５Ａの出力画像は表示部１１０Ａに供給され、画像合成部１０５Ｂの出力画像は表示部１１０Ｂに供給される。

図２を参照して、画像合成部１０５Ａ，１０５Ｂによるレイヤ合成の概念を簡単に説明する。素材２０１〜２０５のレイヤデータをレイヤ合成部２０６が合成して、合成画像２０７を出力する。レイヤ０の素材２０１は撮像部１０１からの撮影画像である。レイヤ１の素材２０２は時刻、例えば撮影時刻である。レイヤ２の素材２０３は、特定箇所を示すフレーム枠、例えば、顔認識範囲を示すフレーム枠である。レイヤ３の素材２０４は、記録中の示すアイコン／文字である。レイヤ４の素材２０５は、撮影画像上に重畳する飾り等である。フレームメモリ１０４は、これら複数のレイヤデータを記憶できる。

図３は、画像合成部１０５Ａ，１０５Ｂの概略構成ブロック図を示す。画像合成部１０５Ａ，１０５Ｂは同じ構成からなる。画像合成部１０５Ａ，１０５Ｂの一方が第１の画像合成手段に相当し、他方が第２の画像合成手段に相当する。

３０１はタイミング制御部、３０２はレイヤ管理部、３０３は読出し制御部、３０４はリクエスト・マスク制御部、３０５は信号切換え部、３０６はＦＩＦＯ、３０７はレイヤ合成部である。３０８はラインメモリ制御部、３０９はラインメモリ３１０，３１１のバンク制御部、３１０，３１１はラインメモリ、３１２は出力制御部である。

タイミング制御部３０１は、同期制御部１０７からライン単位の処理をする為のタイミング信号を受け取る。読出し制御部３０３は、タイミング制御部３０１からのタイミング信号に従い、レイヤ管理部３０２から各レイヤのフレームメモリ１０４上のアドレス情報を取得し、リクエスト・マスク制御部３０４にフレームメモリ１０４へのアクセス・リクエストを発行する。リクエスト・マスク制御部３０４は、読出し制御部３０３からのアクセス・リクエストをメモリ制御部１１２に発行するか止めるかを判断する。アクセス・リクエストが発行された場合、メモリ制御部１１２は、フレームメモリ１０４から読み出した画像データを信号切換え部３０５に転送する。信号切換え部３０５は、メモリ制御部１１２に接続する２つの入力ポートを持っており、一方の入力ポートからのデータを選択してＦＩＦＯ３０６に転送する。ＦＩＦＯ３０６は、信号切換え部３０５からの、フレームメモリ１０４より読み出した画像データを一時蓄える。

レイヤ合成部３０７は、ＦＩＦＯ３０６で蓄えられた画像データと、ラインメモリ制御部３０８から読み出された画像データとを合成する。レイヤ合成部３０７で合成された合成画像データは、再びラインメモリ制御部３０８に書き戻される。ラインメモリ制御部３０８は、ラインメモリ３１０、ラインメモリ３１１及びバンク制御部３０９で構成されている。バンク制御部３０９は、タイミング制御部３０１からのライン先頭を指示するタイミング信号に従い、ラインメモリ３１０とラインメモリ３１１の一方を出力用に使用し、もう一方を画像合成用に使用する。出力制御部３１２は、タイミング制御部３０１からのタイミング信号に従い、ラインメモリ制御部３０８から読み出されたデータを表示部１１０Ａ，１１０Ｂに出力する。

図４を参照して、帯域削減モード動作におけるレイヤ割り当て動作を説明する。４０１は、画像合成部１０５Ａの出力画像例を示す。４０２は画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ０の画像例を示す。４０３は、画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ１の画像例を示す。４０４は、画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ２の画像例を示す。４０５は、画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ３の画像例を示す。４０６は、画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ４の画像例を示す。

４０７は、画像合成部１０５Ｂの出力画像例を表している。４０８は、画像合成部１０５Ｂが出力画像４０７を生成する為の素材であるレイヤ０の画像例を示す。４０９は、画像合成部１０５Ｂが出力画像４０７を生成する為の素材であるレイヤ１の画像例を示す。４１０は、画像合成部１０５Ｂが出力画像４０７を生成する為の素材であるレイヤ２の画像例を示す。

出力画像４０１と出力画像４０７を生成するにあたり、共通の素材レイヤを共通レイヤと呼び、それぞれに固有のレイヤを独自レイヤと呼ぶことにする。本実施例では、帯域削減モードにおいて、共通レイヤを先頭に配置し、次に独自レイヤを配置するレイヤ割り付け方法を採用する。

図５は、同期制御部１０７の概略構成ブロック図を示す。５０１，５０２はタイミング信号を発生するタイミング発生部、５０３，５０４は信号切換え部を示す。信号切換え部５０３は、画像合成部１０５Ａを制御するタイミング信号を選択する。信号切換え部５０４は、画像合成部１０５Ｂを制御するタイミング信号を選択する。画像合成部１０５Ａ，１０５Ｂを帯域削減モードで動作させる場合、ＣＰＵ１０８は、画像合成部１０５Ａ，１０５Ｂが同じ一つのタイミング発生部５０１又は５０２で制御されるように信号切換え部５０３，５０４を制御する。

図６は、帯域削減モードでのメモリ制御部１１２と画像合成部１０５Ａ，１０５Ｂの信号切換え部との間のデータの流れを示す。そのデータの流れを太実線で図示してある。なお、画像合成部１０５Ａの構成要素には、図３で説明した符号に符号Ａを付加し、画像合成部１０５Ｂの構成要素には、図３で説明した符号に符号Ｂを付加してある。画像合成部１０５Ａ，１０５Ｂの構成要素としては、理解に必要な構成要素のみを図示し、他を省略してある。

ユーザは、ユーザ操作部１０９により画像合成部１０５Ａ，１０５Ｂの出力画像情報をＣＰＵ１０８に通知又は設定する。ＣＰＵ１０８は、画像合成部１０５Ａ，１０５Ｂの出力画像情報により、画像合成部１０５Ａ，１０５Ｂを帯域削減モードで動作させることが可能か否かを判断する。帯域削減モードで動作するには、次の４条件を満たす必要がある。第１の条件は、画像合成部１０５Ａ，１０５Ｂの出力画像サイズが同じであることである。第２の条件は、画像合成部１０５Ａ，１０５Ｂの出力フレームレートが同じであることである。第３の条件は、共通レイヤの後に独自レイヤを配置できるレイヤ割り当てが可能であることである。第４の条件は、画像合成部１０５Ａの出力タイミングと画像合成部１０５Ｂのそれとを同じにすることが可能であることである。

上記４条件が満たされる場合、同期制御部１０７は、タイミング発生部５０１（または５０２）から生成されたタイミング信号を画像合成部１０５Ａ，１０５Ｂに供給する。画像合成部１０５Ａは、レイヤ０から順に画像データを読み出し画像合成を行う。他方、画像合成部１０５Ｂは、共通レイヤの画像合成に対する動作と、独自レイヤの画像合成に対する動作が異なる。すなわち、共通レイヤに対しては、リクエスト・マスク制御部３０４Ｂがメモリ制御部１１２へのアクセス・リクエストをマスクする。そして、信号切換え部３０５Ｂが、画像合成部１０５Ａが発行したアクセス・リクエストでフレームメモリ１０４から読み出される画像データをＦＩＦＯ３０６Ｂに供給する。独自レイヤに対しては、リクエスト・マスク制御部３０４Ｂが読出し制御部３０３Ｂからのアクセス・リクエストをメモリ制御部１１２に供給する。そして、信号切換え部３０５Ｂが、画像合成部１０５Ｂが発行したアクセス・リクエストでフレームメモリ１０４から読み出される画像データをＦＩＦＯ３０６Ｂに供給する。

このような動作により、共通レイヤに対応する部分についてメモリアクセスを削減できる。

以上、本発明の好ましい実施例を説明したが、本発明は上述の実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims

画像データと、前記画像データに合成される、複数のレイヤの素材データとを記憶するメモリと、
前記メモリを制御するメモリ制御手段と、
前記メモリに記憶された前記素材データのリクエストを出力し、前記メモリから読み出された素材データを、前記メモリから読み出された前記画像データに対して合成し、第１の合成画像データを生成する第１の合成手段と、
前記メモリに記憶された前記素材データのリクエストを出力し、前記メモリから読み出された素材データを、前記メモリから読み出された前記画像データに対して合成し、第２の合成画像データを生成する第２の合成手段
とを備え、
前記複数のレイヤは、前記第１の合成画像データ及び前記第２の合成画像データのために共に用いられる素材データを含む共通レイヤと、前記第１の合成画像データ及び前記第２の合成画像データのうち一方のために用いられ他方のために用いられない素材データを含む独自レイヤとを含み、
前記第１の合成手段と前記第２の合成手段が前記共通レイヤの素材データの合成を行う場合、前記第１の合成手段は前記共通レイヤの素材データのリクエストを出力して前記第２の合成手段は前記共通レイヤの素材データのリクエストを出力しないようにし、前記メモリ制御手段は、前記第１の合成手段から出力された前記共通レイヤの素材データのリクエストに応じて前記共通レイヤの素材データを前記メモリから読み出して、前記第１の合成手段から出力された前記共通レイヤの素材データのリクエストに応じて前記メモリから読み出した前記共通レイヤの素材データを前記第１の合成手段及び前記第２の合成手段に共に出力し、
前記第１の合成手段が前記第１の合成画像データのための第１の独自レイヤの素材データの合成を行う場合、前記第１の合成手段は前記第１の独自レイヤの素材データのリクエストを出力し、前記メモリ制御手段は、前記第１の合成手段から出力された前記第１の独自レイヤの素材データのリクエストに応じて前記第１の独自レイヤの素材データを前記メモリから読み出して、前記第１の合成手段に出力し、
前記第２の合成手段が前記第２の合成画像データのための第２の独自レイヤの素材データの合成を行う場合、前記第２の合成手段は前記第２の独自レイヤの素材データのリクエストを出力し、前記メモリ制御手段は、前記第２の合成手段から出力された前記第２の独自レイヤの素材データのリクエストに応じて前記第２の独自レイヤの素材データを前記メモリから読み出して、前記第２の合成手段に出力する
ことを特徴とする画像処理装置。
第１のタイミング発生手段と、
第２のタイミング発生手段と、
前記第１のタイミング発生手段からのタイミング信号と前記第２のタイミング発生手段からのタイミング信号の何れかを選択して前記第１の画像合成手段に出力する第１の切り換え手段と、
前記第１のタイミング発生手段からのタイミング信号と前記第２のタイミング発生手段からのタイミング信号の何れかを選択して前記第２の画像合成手段に出力する第２の切り換え手段と、
前記第１の合成手段と前記第２の合成手段の出力画像サイズ、出力フレームレート及び出力タイミングが同じである場合に、前記第１の切り換え手段と前記第２の切り換え手段がそれぞれ、前記第１のタイミング発生手段からのタイミング信号を選択するように制御する手段とを備えることを特徴とする請求項１に記載の画像処理装置。
前記第１の合成手段と前記第２の合成部はそれぞれ、１ラインの前記画像データと１ラインの前記共通レイヤの素材データとを合成し、
前記第１の合成手段は、１ラインの前記画像データと前記共通レイヤの素材データとが合成された画像データに対し、１ラインの前記第１の独自レイヤの素材データを合成することにより、１ラインの前記第１の合成画像データを生成し、
前記第２の合成手段は、１ラインの前記画像データと前記共通レイヤの素材データとが合成された画像データに対し、１ラインの前記第２の独自レイヤの素材データを合成することにより、１ラインの前記第２の合成画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
前記第１の合成手段と前記第２の合成手段は、それぞれが１ライン分の画像データを記憶可能な複数のラインメモリを有することを特徴とする請求項３に記載の画像処理装置。
前記第１の合成手段により生成された前記第１の合成画像データを第１の表示部に出力する第１の出力手段と、前記第２の合成手段により生成された前記第２の合成画像データを第２の表示部に出力する第２の出力手段とを備えることを特徴とする請求項１に記載の画像処理装置。
撮像手段を備え、
前記メモリは前記撮像手段により得られた画像データを記憶することを特徴とする請求項１に記載の画像処理装置。