JP4454532B2

JP4454532B2 - 画像処理装置、携帯電話機

Info

Publication number: JP4454532B2
Application number: JP2005142369A
Authority: JP
Inventors: 悟小南
Original assignee: Rohm Co Ltd
Current assignee: Rohm Co Ltd
Priority date: 2005-05-16
Filing date: 2005-05-16
Publication date: 2010-04-21
Anticipated expiration: 2025-05-16
Also published as: JP2006319844A

Description

本発明は画像処理装置に関し、特に撮像した画像の信号をＲＡＭ（Random Access Memory）に取り込んで処理を行う画像処理装置に関するものである。また、本発明は、このような画像処理装置を備える携帯電話機に関するものである。

図６に従来構成の画像処理装置のブロック図を示す。画像処理装置９００は、画像を撮像するセンサ部９０１と、センサ部９０１より与えられるデータを一時的に格納するＲＡＭ（Random Access Memory）９０２と、ＲＡＭ９０２からデータを読み出して利用者が視覚的に確認できる形式に表示する表示部９０３と、で構成される。表示部９０３は、通常液晶ディスプレイ等によって構成される。

画像処理装置９００によって撮像された撮像データは、フレーム毎にセンサ部９０１からＲＡＭ９０２に与えられる。センサ部９０１は、マトリクス状に配置された複数の画素で構成されており、各ライン毎に画素データを一時的に格納するラインメモリ（不図示）を備える。そして、ラインメモリよりライン毎に保持された画素データが順次ＲＡＭ９０２に与えられる。

一方、表示部９０３は、ＲＡＭ９０２に格納されたデータを読み込んで所定のタイミングで表示する。このとき、ラインメモリよりＲＡＭ９０２に与えられた撮像データを逐次表示部９０３に出力することで、撮像後に表示部９０３に映像が表示されるまでの時間を短縮化できる。

しかしながら、表示部９０３において撮像データの回転処理あるいは反転処理を行うような場合については、センサ部９０１によって撮像された１フレーム分の撮像データすべてを表示部９０３が読み出すまで、当該映像を表示させることができない。図７は、表示部９０３において反転処理を行うときのデータ転送の流れを説明するための概念図である。図７において、（ａ）はセンサ部９０１を示しており、（ｂ）は表示部９０３を示している。

図７（ａ）に示すように、センサ部９０１に取り込まれた撮像データは、ライン毎に第１行から第ｎ行まで順次ＲＡＭ９０２に与えられる（ｎは２以上の自然数とする）。このとき、上述したように、表示部９０３においてセンサ部９０１で取り込まれた撮像データに反転処理を施したデータを表示させる場合においては、図７（ｂ）に示すように第ｎ行から順次第１行までデータを読み出す必要がある。

この場合、表示部９０３に第ｎ行のデータを転送させるためには、ＲＡＭ９０２に第ｎ行の撮像データが格納されている必要があり、このため、センサ部９０１からＲＡＭ９０２に対して第ｎ行の撮像データが与えられるまで表示部９０３は表示処理を行うことができない。すなわち、センサ部９０１から表示部９０３に対してデータを転送するのにかかる時間が増すことになる。

このように表示部９０３に対するデータ転送時間が増大し、この転送時間が、センサ部９０１から出力される撮像データの出力時間間隔（フレーム毎のデータ出力時間間隔）よりも長くなった場合、センサ部９０１から次のフレームにかかる撮像データをＲＡＭ９０２に出力する時点で、まだ表示部９０３がＲＡＭ９０２にアクセスしてデータの読み出しを行っているため、センサ部９０１からＲＡＭ９０２に書き込みが行えないという問題が発生する。この状態を図８を用いて説明する。

図８は、図６のセンサ部９０１から与えられる撮像データがＲＡＭ９０２を介して表示部９０３に出力されるまでのタイムチャートである。図８中、データＤ−９１〜Ｄ−９４は、それぞれ１フレーム分の撮像データを表しており、各データにはセンサ部９０１が備える画素数分のデータ量が含まれているとしてよい。なお、図８に示すタイムチャートは、前述のようにフレーム毎の撮像データ出力時間間隔が表示部９０３へのデータ転送時間より長い場合の状態図を示している。

カメライネーブル信号ＥＮは、センサ部９０１からＲＡＭ９０２に対して撮像データが入力されている間Ｈｉｇｈ状態を示し、入力が終わるとＬｏｗ状態を示す２値の信号である。

最初のフレームにかかる信号であるデータＤ−９１がセンサ部９０１からＲＡＭ９０２に対して入力されると、この入力されている時間、ＲＡＭ９０２は書き込み状態を示す（Ｗ−９１）。そして、データＤ−９１の入力が終了すると、ＲＡＭ９０２よりデータＤ−９１を表示部９０３に転送する読み出し状態へと移行する（Ｒ−９１）。そして表示部９０３において読み出されたデータＤ−９１が表示される。

このとき、上述のようにデータ読み出しの時間がフレーム毎のデータ出力時間間隔より長い場合、データＤ−９１のｒｅａｄ期間が終わらないうちに、すなわち表示部９０３がＲＡＭ９０２からデータＤ−９１の読み出しを行っている（Ｒ−９１）最中に次のフレームの撮像データであるデータＤ−９２がセンサ部９０１からＲＡＭ９０２に出力されることになる。しかしながら、ＲＡＭ９０２は表示部９０３により読み出しのためのアクセスがされているため、データＤ−９２がＲＡＭ９０２に対して書き込みを行うことができず、このデータＤ−９２が欠落してしまうという問題が発生する。

同様に次のフレームの撮像データであるデータＤ−９３がＲＡＭ９０２に対して入力され、書き込まれた後、このデータＤ−９３が表示部９０３によって読み出されている間に、その次のフレームの撮像データであるデータＤ−９４がＲＡＭ９０２に対して与えられるため、データＤ−９４がＲＡＭ９０２に対して書き込みを行えず、欠落してしまう。

このような問題を解決する手法の一つとして、データを格納できるＲＡＭを複数備え、一方のＲＡＭからデータが読み出されている期間内にデータが入力される場合に、もう一方のＲＡＭに当該データを書き込むことでデータの欠落を防止する方法が用いられている（例えば、特許文献１参照）。
特開平６−２０８６１４号公報

しかしながら、特許文献１に記載のようにＲＡＭを複数備える構成においては、単独のＲＡＭを備える撮像装置と比較して、回路規模が拡大化されるという問題がある。また、入力されるデータに応じて書き込むべきＲＡＭを選択する必要があり、このＲＡＭ選択のための制御が複雑化するという問題がある。

本発明は、上記の問題点に鑑みて、入力されるデータを欠落することなく転送することのできる画像処理装置であって、一時的にデータを格納する単独のＲＡＭを備える画像処理装置を提供することを目的とする。また本発明は、このような画像処理装置を備える携帯電話機を提供することを目的とする。

上記目的を達成すべく、本発明の画像処理装置は、画像を撮像して撮像データを生成するセンサ部と、前記センサ部から出力される撮像データにデータ量を縮小する縮小処理を施して表示データを生成し、後段に出力する縮小処理部と、第１の期間内に前記縮小処理部から出力される表示データである第１の表示データを一時的に格納するバッファと、第２の期間内に前記縮小処理部から出力される表示データである第２の表示データと、前記バッファから出力される前記第１の表示データと、を一時的に格納するとともに、該第１の表示データおよび第２の表示データとから撮像された当該フレームにかかる表示データを復元するＲＡＭと、前記ＲＡＭより前記表示データを読み出して表示用出力を行う表示部と、を備え、前記第１の期間が、前記表示部によって前記ＲＡＭに格納された前フレームにかかる表示データの読み出しアクセスが行われている期間であり、前記第２の期間が、前記第１の期間が終了時点から、当該フレームにかかる全ての表示データを前記縮小処理部が生成し終えるまでの期間であり、前記ＲＡＭが、前記第２の期間中であって、前記縮小処理部において縮小処理が行われているために前記縮小処理部から該ＲＡＭに前記第２の表示データの書き込みアクセスが行われていない期間内に、前記バッファから出力される前記第１表示データを格納することを特徴とする。

このように構成されることで、表示部がＲＡＭに格納されたデータを読み出し中に縮小処理部から出力される表示データのうち、第１の表示データのみを一時的に保持するバッファを備え、表示部からの読み出しアクセスが完了後、センサ部から出力される第２の表示データをＲＡＭに書き込むとともに、縮小処理の過程でＲＡＭに書き込みを行わないタイミングを利用して、バッファに保持された第１の表示データをＲＡＭに転送することで、データ欠落のない単独ＲＡＭで構成される画像処理装置を実現することが可能となる。

また、バッファは、表示部がＲＡＭに格納されたデータを読み出し中にセンサ部から出力されるデータを保持する目的にのみ用いられるため、ＲＡＭと比較して、その容量を大幅に縮小することができる。すなわち、ＲＡＭを複数備える画像処理装置と比較して、回路規模を縮小化することができる。

さらに、本発明の構成では、表示部が表示用データを読み出す読み出し元のＲＡＭは単独であるため、複数のＲＡＭを備える画像処理装置と比較して、表示部によってデータを読み出される読み出し元を選択する制御を行う必要がない。すなわち、表示部がデータを読み出す際の読み出し制御が簡素化される。

また、前記縮小処理部が、前記センサ部より与えられる撮像データを一時的に保持するアクセスメモリを備えており、縮小処理に必要な所定のデータ数が与えられるまでの間、前記センサ部より与えられる撮像データを前記アクセスメモリに保持するとともに、前記アクセスメモリに前記所定のデータ数の撮像データが保持されると、縮小処理を施してデータを後段に出力する構成としても構わない。

このとき、センサ部よりライン毎に撮像データが与えられ、所定のライン数のデータがアクセスメモリに保持された時点で、その次のラインにかかる撮像データが入力されると、その入力される撮像データと、アクセスメモリに保持された撮像データとを用いて縮小処理を施して、後段に出力する構成としてもよい。

また、前記ＲＡＭが、前記第２の期間内に前記第２の表示データを格納する際に、予め前記バッファから出力される前記第１の表示データを格納する領域を確保する構成としても構わない。

このとき、前記縮小処理部によって縮小処理が施された所定の単位量のデータが出力される毎にカウントアップされる構成である第１のカウンタと、前記縮小処理部から出力される前記第１の表示データが前記バッファに対して所定の単位量出力される毎にカウントアップされる構成である第２のカウンタと、前記バッファから出力される前記第２の表示データが前記ＲＡＭに対して所定の単位量出力される毎にカウントアップされる構成である第３のカウンタと、を備え、前記第１〜第３のカウンタが、前記センサ部によって画像が撮像されるのに応じてカウント値がリセット制御される構成であり、前記ＲＡＭが、前記縮小処理部より与えられる前記第２の表示データを、前記第１のカウンタのカウント値に応じたアドレス領域に格納し、前記第２のカウンタが示すカウント値に応じた前記第１の表示データ量が前記バッファに保持されていることを認識して、該カウント値に応じたデータ量を前記バッファから読み出すとともに、読み出し時における前記第３のカウンタのカウント値に応じたアドレス領域に当該読み出した第１の表示データを格納する構成としても構わない。

このとき、前記所定の単位量が、１ライン分のデータ量であるものとしても構わない。すなわち、縮小処理部からは１ライン毎にデータがバッファあるいはＲＡＭに出力されるものとし、１ライン分のデータが出力される毎に前記第１のカウンタがカウントアップされるものして構わない。さらに、縮小処理部からバッファに１ライン分のデータ量が書き込まれる毎に前記第２のカウンタがカウントアップされるものとして構わない。さらに、バッファから１ライン分のデータ量がＲＡＭに転送されて書き込まれる毎に、前記第３のカウンタがカウントアップされるものとして構わない。

このように構成されることで、表示部がＲＡＭを読み出し中に縮小処理部から出力された第１の表示データは、ＲＡＭに書き込むことができない一方で、バッファに一時的に保持され、当該第１の表示データをＲＡＭ上で格納すべきアドレスが予め確保されているため、このアドレス領域に書き込むことで、縮小処理部から出力された１フレーム分の表示用データがＲＡＭ上で復元可能となる。

本発明の構成によれば、表示部がＲＡＭに格納されたデータを読み出し中にセンサ部から出力される撮像データ（厳密に言えば、この撮像データを縮小処理した表示データ）のみを一時的に保持するバッファを備え、表示部からの読み出しアクセスが完了後、センサ部から出力される撮像データをＲＡＭに書き込むとともに、縮小処理の過程でＲＡＭに書き込みを行わないタイミングを利用して、バッファに保持されたデータをＲＡＭに転送することで、データ欠落のない単独ＲＡＭで構成される画像処理装置を実現することが可能となる。

さらに、本発明の構成では、表示部が表示データを読み出す読み出し元のＲＡＭは単独であるため、複数のＲＡＭを備える画像処理装置と比較して、表示部によってデータを読み出される読み出し元を選択する制御を行う必要がない。すなわち、表示部がデータを読み出す際の読み出し制御が簡素化される。

本発明の実施形態について、図面を参照して説明する。図１は、本発明の一実施形態である画像処理装置の構成を示すブロック図である。

図１に示す画像処理装置１は、画像を撮像するセンサ部２と、センサ部２より撮像データが入力されるデータ入力部３と、データ入力部３より転送されたデータを利用者が視覚的に確認できる形式に表示する表示部４と、で構成される。表示部４は、通常液晶ディスプレイ等によって構成される。

画像処理装置１によって撮像された撮像データは、フレーム毎にセンサ部２からデータ入力部３に与えられる。センサ部２は、マトリクス状に配置された複数の画素で構成されており、各ライン毎に画素データを一時的に格納するラインメモリ（不図示）を備える。そして、ラインメモリよりライン毎に保持された画素データが順次データ入力部３に与えられる。

データ入力部３は、データを一時的に格納するためのバッファ６と、ＲＡＭ７とを備える。このうち、バッファ６はＲＡＭ７より記憶容量が大幅に小さい構成であるとしてよい。

さらに、データ入力部３は、センサ部２から入力されるデータに縮小処理を施す縮小処理部５を備える。通常、センサ部２が備える画素数（以下、「撮像画素数」と称する）は、表示部４が備える画素数（以下、「表示画素数」と称する）より多いため、撮像画素数分のデータ量で構成される撮像データを、表示画素数分のデータ量に縮小した縮小データを生成して、この縮小データを表示部４が読み出すことで表示部４に撮像データに対応した表示用データが表示される構成である。縮小処理部５は、センサ部２から与えられる撮像データを表示用データに変換するために、画素数を減少させる縮小処理を行うブロックであり、縮小アルゴリズムを備えるハードウェアあるいはソフトウェアで構成される。また、縮小処理部５は、一時的にデータを格納するアクセスメモリ（不図示）を備える。なお、以下では、縮小処理部５によって縮小処理が施された後の撮像データを「表示用データ」と称する。

また画像処理装置１は、データ入力部３の各構成要素を制御する入力制御部８を備える。後述するように、センサ部２からライン毎に入力される撮像データは、縮小処理部５に入力されると、縮小処理を行うのに必要なライン数の撮像データが入力されるまでアクセスメモリに一時的に格納される。そして、必要なデータがアクセスメモリに格納されると、このアクセスメモリよりデータを読み出して縮小処理を施した後、ＲＡＭ７またはバッファ６に出力する。このとき、ＲＡＭ７かバッファ６かのいずれに出力するかについては、入力制御部８によって制御される。

さらに、入力制御部８は、ＲＡＭ７にデータを書き込む際の書き込み先アドレスを指定するためのカウンタを備える。このカウンタに関する動作説明については後述する。

なお、後述するように、縮小処理部５は、与えられるセンサからの撮像データを所定の行数毎に縮小処理を施すことによりデータ量を圧縮する。このとき、例えば３行ごとに縮小処理を施してデータ量を１／３に圧縮する処理を施す場合、初めの２行にかかるデータをアクセスメモリに保持しておき、３行目のデータが入力されると、アクセスメモリより読み出しを行って、入力値とメモリから読み出された値とを用いて圧縮処理を施す構成とすることができる。

さらに、入力制御部８は、バッファ６に格納されたデータをＲＡＭ７に転送するタイミング制御を行う。上述したように、縮小処理部５によって縮小処理が施されたデータのうち、一部のデータはバッファ６に書き込まれるため、このバッファ６に書き込まれたデータを所定のタイミングでＲＡＭ７に転送することによって、表示部４はＲＡＭ７にのみアクセスすることで必要なデータを全て取得することができる構成である。

次に縮小処理部５で行われる縮小処理について、図面を参照して説明する。図２は、センサ部２から与えられる撮像データに対して縮小処理を施した後、ＲＡＭ６あるいはバッファ７に出力する過程を示す概念図である。

上述したように、センサ部２は、マトリクス状に配置された複数の画素で構成されており、各ライン毎に画素データがラインメモリに格納される。そして、ライン毎に保持された画素データが順次ラインメモリより縮小処理部５に与えられる。

縮小処理部５は、アクセスメモリに与えられたデータを一時的に格納し、縮小処理演算に必要な所定のデータ量が与えられた時点でアクセスメモリからデータを読み出して縮小処理を施して、出力する。図２では、３ラインごとに縮小演算を施すことで、データ量を１／３に縮小する演算を施す一例を示している。

図２に示す例によれば、センサ部２より第１行から順次撮像データが入力され、第２行のデータが入力されるまでアクセスメモリに当該データが保持される。そして、第３行のデータが入力されるとともにアクセスメモリより第１行および第２行にかかるデータが読み出され、入力される第３行にかかるデータと合わせて縮小処理が施される。そして、縮小処理が施された３ライン分のデータが、ＲＡＭ７あるいはバッファ６に書き出される（Ｌ−１ｄ）。第４行以後についても同様の手順で行われる。

なお、後述するように、縮小処理が施された演算結果は、入力制御部８によってＲＡＭ７もしくはバッファ６のいずれかに出力されるように選択されるが、図２及び図３においては、演算結果をすべてＲＡＭ７に出力するように指定されているものとして説明を行う。

図３は、センサ部２から縮小処理部５を介して縮小処理が施されたあるフレームにかかるデータがＲＡＭ７に書き出されるまでのタイムチャートである。図３に示すセンサ出力は、あるフレームにかかるライン毎の撮像データが順次出力される状態を示しており、Ｌ−１〜Ｌ−７はそれぞれ第１行〜第７行にかかる撮像データを表している。なお、図３においても、３ライン毎に縮小処理が施されるものとして説明するが、３ライン毎に限られるものではなく、所定の行数毎に行うものとして構わない。

上述したように、データＬ−１、Ｌ−２がアクセスメモリにそれぞれ書き込まれた後、第３行にかかるデータＬ−３がセンサ部２より入力されると、縮小処理部５は、アクセスメモリに格納されたデータＬ−１およびＬ−２を読み出すとともに、入力されるデータＬ−３とを用いて縮小演算を行う。このとき、例えば各列ごとに平均値をとる演算を行う場合には、データＬ−３が完全に入力されるまで待機する必要がなく、第３行を構成する各列のデータが順次入力される毎に、当該データと同列に位置する第１行および第２行にかかるデータを用いて演算をすることが可能である。この場合、データＬ−３の入力が終了してから、縮小処理部５によるデータＬ−１〜Ｌ−３の３行に対する縮小処理が完了するまでの時間はごくわずかな時間となる。

縮小処理部５は、縮小処理にかかる演算を行うと、その都度演算結果をＲＡＭ７に出力する。このとき、上述の例のように、各列ごとに平均値をとる演算を行う場合には、各列毎の演算が完了すると、都度その演算結果を出力するとともに、次の列の演算に移行することができる。すなわち、第３行のデータＬ−３の入力が終了してから、縮小処理部５によるデータＬ−１〜Ｌ−３の３行に対する縮小処理結果がＲＡＭ７に出力されるまでの時間は、やはりごくわずかな時間となる。

データＬ−３の読み出しが完了すると、引き続き第４行にかかるデータＬ−４が入力される。第４行から第６行についても第１行から第３行の縮小処理と同様の手順で行われる。すなわち、第４行のデータＬ−４と第５行のデータＬ−５を一旦アクセスメモリに格納するとともに、第６行のデータＬ−６が入力されると、アクセスメモリよりＬ−４およびＬ−５を読み出すとともに、入力されるデータＬ−６とを用いて、縮小処理を行い、この演算結果をＲＡＭ７に出力する。

すなわち、図３のタイムチャートに示すように、あるフレームにかかる撮像データがライン毎にデータ入力部３に与えられてＲＡＭ７に書き込まれる際、センサ部２からは順次連続的にデータが入力される一方、データを書き込むためにＲＡＭ７にアクセスされるのは連続的ではなく、アクセスされない時間が発生する。後述するように、センサ２からデータ入力部３に対して撮像データが入力される間に生じるＲＡＭ７にアクセスされないこの時間を利用して、入力制御部８がバッファ６に格納されたデータをＲＡＭ７に書き込む制御を行う。

図４は、本実施形態における画像処理装置１において、センサ部２から与えられる撮像データがデータ入力部３を介して表示部４に出力されるまでのタイムチャートである。図４中、データＤ−１〜Ｄ−４は、それぞれ１フレーム分の撮像データを表しており、各データにはセンサ部２が備える画素数分のデータ量が含まれているとしてよい。なお、図４に示すタイムチャートは、本発明の効果を強調するため、図８と同様に、フレーム毎の撮像データ出力時間間隔が表示部４へのデータ転送時間より長い場合の状態図を示している。

カメライネーブル信号ＥＮは、センサ部２からデータ入力部３に対して撮像データが入力されている間Ｈｉｇｈ状態を示し、入力が終わるとＬｏｗ状態を示す２値の信号である。

最初のフレームにかかる信号であるデータＤ−１がセンサ部２からデータ入力部３に対して入力されると、前述したように縮小処理部５で縮小処理が施された後、縮小処理後のデータｄ−１がＲＡＭ７に書き込まれる（Ｗ−１）。そして、データｄ−１がＲＡＭ７に対して書き込まれると、表示部４がＲＡＭ７にアクセスしてデータｄ−１の読み出しを行う（Ｒ−１）。

そして、表示部４がＲＡＭ７からデータｄ−１の読み出しを行っている最中に、次のフレームであるデータＤ−２がセンサ部２からデータ入力部３に対して入力される。このデータＤ−２は、Ｄ−１と同様に、縮小処理部５にて縮小処理が施される。そして、この処理後のデータｄ−２のうち、表示部４がＲＡＭ７にデータｄ−１を読み出すための読み出しアクセスを行っている期間（Ｒ−１）に縮小処理部５から出力されたデータｄ−２１についてはバッファ６に出力し（Ｗ−２１）、表示部４からの読み出しアクセスが終了して以後に縮小処理部５から出力されたデータｄ−２２についてはＲＡＭ７に出力する（Ｗ−２２）。

図３で上述したように、センサ部２から与えられる撮像データに縮小処理を施した後、ＲＡＭ７に書き込まれる一連の処理において、縮小処理部５からの出力を書き込むために実際にＲＡＭ７にアクセスされている時間は飛び飛びの時間であり、連続的ではない。すなわち、データｄ−２２をＲＡＭ７に出力（Ｗ−２２）中、ＲＡＭ７に書込のためのアクセスがされていない時間が存在する。

このアクセスされていない時間を利用して、入力制御部８がバッファ６に対して格納されたデータｄ−２１をＲＡＭ７に書き出す制御を行う。入力制御部８は、縮小処理部５にアクセスすることで、予め縮小処理にかかる演算を行うタイミングを把握することができる構成であるとする。すなわち、演算を行うのに必要なデータをアクセスメモリに格納している期間内は縮小処理部５がＲＡＭ７に書き込みのためのアクセスを行わないことから、入力制御部８が縮小処理部５からの演算結果がＲＡＭ７に書き出されるタイミング、およびＲＡＭ７に対する書込アクセスを行わないタイミングを把握することができる構成である。

従って、入力制御部８によって、ＲＡＭ７に対して縮小処理部５が書き込みアクセスを行っていない時間に、バッファ６に保持されているデータｄ−２１をＲＡＭ７に書き込む旨の制御が行われる。これによって、データｄ−２のうち、ＲＡＭ７に書き込まれていなかったデータｄ−２１についてもＲＡＭ７に保持される。

なお、縮小処理部５から直接ＲＡＭ７に書き込まれるデータｄ−２１と、バッファ６からＲＡＭ７に書き込まれるデータｄ−２２とから、正しくデータｄ−２を復元させるために、データｄ−２１あるいはデータｄ−２２をＲＡＭ７に書き込むべきアドレスを指定する必要がある。このアドレスの指定方法については後述する。

以下、同様に、次のフレームにかかる撮像データＤ−３についても、縮小処理部５によって縮小処理が施され、この処理後のデータｄ−３のうち、表示部４がＲＡＭ７にデータｄ−２を読み出すための読み出しアクセスを行っている期間（Ｒ−２）に縮小処理部５から出力されたデータｄ−３１についてはバッファ６に出力し（Ｗ−３１）、表示部４からの読み出しアクセスが終了して以後に縮小処理部５から出力されたデータｄ−３２についてはＲＡＭ７に出力する（Ｗ−３２）。そして、入力制御部８によって、ＲＡＭ７に縮小処理部５が書込アクセスを行っていない時間に、バッファ６に保持されているデータｄ−３１をＲＡＭ７に書き込む旨の制御が行われる。以下、各フレームについて同様の制御が行われる。

このような制御が行われることにより、単独のＲＡＭ７を備える画像処理装置１においても、表示部４がＲＡＭ７に読み出しアクセスを行っている最中に入力される撮像データを、一旦バッファ６に格納し、ＲＡＭ７に書き出すことのできる空き時間を見つけてバッファ６からＲＡＭ７に当該データを書き出すことができるため、ＲＡＭ７には各フレームにかかる表示用撮像データが、データ欠落のない状態で保持される。これによって、全てのフレームにかかる撮像データを、表示用データとして表示部４に出力することができる。

以下に、縮小処理部から直接ＲＡＭ７に書き込まれるデータと、バッファ６に一旦保持された後、バッファ６からＲＡＭ７に書き込まれるデータとから、表示用データを復元する方法について図面を用いて説明する。図５は、図４において、データｄ−２が縮小処理部５からＲＡＭ７及びバッファ６に書き出される過程を説明するためのタイムチャート及び概念図である。図５（ａ）がタイムチャートであり、図５（ｂ）が概念図である。なお、以下ではデータｄ−２についての説明を行うが、他のデータについても同様に行うものとする。

なお、図５において、データｄ−２はＭ行のデータから構成されるものとする（Ｍは４以上の自然数、以下同様）。また、ＲＡＭ７に書き込まれた第１フレームにかかるデータｄ−１の読み出し中（Ｒ−１）に縮小処理部５から出力されるラインは第１行から第３行までの３ラインとし（ｄ−２１）、第４行から第Ｍ行にかかる表示用データが出力されている間（ｄ−２２）は、表示部４からＲＡＭ７に対する読み出しアクセスがないものとする。

図５（ａ）に示すように、第１行から第３行にかかる表示用データが縮小処理部５から出力されると、入力制御部８によってバッファ６に書き込まれる旨の制御が行われる。そして、第４行から第Ｍ行にかかる表示用データについては、入力制御部８によってＲＡＭ７に書き込まれる旨の制御が行われる。

図５（ｂ）は、上記表示用データｄ−２がＲＡＭ７に書き込まれる際の概念図を示している。上述のように、ＲＡＭ７は、縮小処理部５から与えられる第４行から第Ｍ行までの表示用データが書き込まれるが、このとき、バッファ６から与えられる第１行から第３行にかかる表示用データを書き込むための領域を確保した上で、第４行以後の表示用データの書き込みを行う。そして、上述したＲＡＭ７への書き込みアクセスが行われない時間を利用してバッファ６から第１行ないし第３行にかかる表示用データを読み出して、予め確保された所定領域に書き込みを行う。

上述したように、ＲＡＭ７にデータを書き込む際、当該データの書き込み先アドレスは、入力制御部８によって制御される。このアドレスを指定するため、入力制御部８にはアドレス指定用カウンタが備えられる。このとき、縮小処理部５から出力される表示用データをＲＡＭ７に書き込む際の書き込み先アドレスを指定するためのカウンタ（以下、「第１カウンタ」と称する）と、バッファ６に書き込まれた表示用データを読み出してＲＡＭ７に書き込む際の書き込み先アドレスを指定するためのカウンタ（以下、「第２カウンタ」と称する）と、バッファ６に書き込まれた表示用データのデータ数をカウントするためのカウンタ（以下、「第３カウンタ」と称する）が備えられるものとする。

そして、これら第１〜第３カウンタは、次のフレームにかかるデータが入力されるとき、すなわちカメライネーブル信号ＥＮの立ち上がりに応じてリセット処理が施されるものとする。

なお、前記第１〜第３カウンタは、各々個別のカウンタ用回路で構成される必要はなく、同一カウンタ用回路内で、桁毎に個別に動作させることで、個別の３カウンタと同等の動作を行う構成にしてもよい。

第１カウンタは、縮小処理部５によって縮小処理が施されたデータが出力される毎に、カウントアップされる構成である。図２に示す例で言えば、３ライン分の縮小処理を施した後の１ライン分のデータが出力されると、１つカウントアップされる。このとき、出力先がＲＡＭ７であるかバッファ６であるかに関わらず、データを出力するごとに第１カウンタは１ずつカウントアップされる。

第２カウンタは、縮小処理部５から出力される表示用データがバッファ６に対して出力される毎に、カウントアップされる構成である。図５に示す例で言えば、データｄ−２のうち、初めの３ラインにかかるデータがバッファ６に書き込まれる構成であるため、バッファ６にデータが書き込み完了した時点、すなわち表示部４からＲＡＭ７に対する読み出しアクセスが完了し縮小処理部５からＲＡＭ７に対する書き込みアクセスが可能になった時点では、第２カウンタのカウント値は「３」を示している。第４行以後のデータは、縮小処理部５から直接ＲＡＭ７に書き込まれるため、第２カウンタのカウント値は、第Ｍ行にかかるデータがＲＡＭ７に書き込まれるまで「３」を保持している。

バッファ６は、縮小処理部５から表示用データが与えられると、第２カウンタのカウント値に応じたアドレス位置に当該データを保持する。例えば、図５に示す例で言えば、第１行にかかるデータが縮小処理部５から与えられると、その時点における第２カウンタのカウント値が「１」を示しているため、カウント値「１」に応じたアドレス位置に当該データを保持する。以下同様に、第２行にかかるデータはカウント値「２」に応じたアドレス位置に保持され、第３行にかかるデータはカウント値「３」に応じたアドレス位置に保持される。以下、適宜図５に示す例を用いて説明を行う。

第３行までのデータがバッファ６に出力された後、第４行以後のデータについてはＲＡＭ７に書き出すように入力制御部８が制御を行う。このとき、第４行のデータを縮小処理部５が出力する時点で、入力制御部８が第１カウンタのカウント値を確認し、当該カウント値に応じたＲＡＭ７のアドレス位置に出力する指示を与える。上述のように、第１カウンタは、縮小処理部５からデータが出力される毎にカウントアップされる構成であるため、第４行のデータが出力される時点では、当該カウンタのカウント値は「４」を示している。

入力制御部８は、第１カウンタのカウント値「４」を確認すると、第４行のデータをＲＡＭ７のカウント値「４」に応じたアドレス位置に書き出す旨の指示を与える。以下、第５行以後も同様に、縮小処理部５で縮小処理が完了すると、入力制御部８が第１カウンタのカウント値を確認して、当該カウント値に応じたＲＡＭ７のアドレス位置にデータを書き出す指示を行う。

このように構成されるとき、第Ｍ行にかかるデータがＲＡＭ７に書き出された時点では、ＲＡＭ７のカウント値「１」、「２」、「３」に応じたアドレス位置にはデータの書き込みが行われていない。つまり、すでにバッファ６に保持されている第１行から第３行にかかるデータをＲＡＭ７に書き込むべき領域が確保されていることになる。

上述したように、図５におけるＷ−２２期間内にＲＡＭ７に対する書込アクセスを行わないタイミングが存在し、このタイミングは入力制御部８によって把握することができる構成であるため、縮小処理部５からＲＡＭ７に対する書き込みアクセスがされていないタイミングが訪れると、入力制御部８がバッファ６に対して、バッファ６に保持されたデータ（第１行から第３行にかかるデータ）をＲＡＭ７に書き込む指示を行う。

このとき、第２カウンタはカウント値「３」を示しているため、入力制御部８がこの第２カウンタのカウント値を確認することで、バッファ６に保持されているデータ数を把握することができる。そして、バッファ６からデータを読み出して、そのデータが保持されているアドレスに該当するＲＡＭ７のアドレスに書き込みを行う。このとき、第３カウンタがカウントアップされる。

例えば、入力制御部８がバッファ６より第１行にかかるデータを読み出すと、この第１行にかかるデータをＲＡＭの所定のアドレス位置に格納する。このとき、入力制御部８が、バッファに格納されるアドレス位置に応じて書き込むべきＲＡＭ７のアドレス位置を指定するものとしても構わないし、第３カウンタのカウント値を確認して、そのカウント値に応じてＲＡＭ７のアドレス位置を指定するものとしても構わない。後者の場合、第１行にかかるデータをバッファ６から読み出した時点では、第３カウンタのカウント値が「０」であるため、予めカウント値「０」の時点でバッファ６から与えられるデータが第１行にかかるデータである旨の内容を入力制御部８が把握しておくことで、この第１行にかかるデータをＲＡＭ７の所定アドレス領域に書き込む指示を与えることができる。

なお、第３カウンタについては、あらかじめリセットの際にカウント値を「１」に設定する構成としても構わない。

バッファ６から第１行にかかるデータがＲＡＭ７に書き込まれると、第３カウンタがカウントアップされる。そして、次に入力制御部８が、ＲＡＭ７に書き込みアクセス可能なタイミングを認識すると、次の第２行にかかるデータを読み出して、同様にＲＡＭ７の所定領域に書き込みを行い、第３カウンタをカウントアップする。この動作を第２カウンタのカウント値が示すデータ数回行うことで、バッファ６に保持されたデータを全てＲＡＭ７に正しく転送させることが可能となる。

このように構成されることで、表示部４がＲＡＭ７を読み出し中に縮小処理部５からデータが出力されたためにＲＡＭ７に書き込むことができず、バッファ６に一時的に保持されたデータについても、当該データをＲＡＭ７上で格納すべきアドレスが予め確保されているため、このアドレス領域に書き込むことで、縮小処理部５から出力された１フレーム分の表示用データがＲＡＭ７上で復元されることが可能となる。

従って、ＲＡＭ７に対する書き込み完了後、表示部４がＲＡＭ７に読み出しアクセスを行うことで、このフレームにかかる表示データが表示部４に転送され、表示部４では当該フレームにかかる表示画面が正しく出力される。

さらに、本発明の構成では、表示部が表示データを読み出す読み出し元のＲＡＭが単独であるため、複数のＲＡＭを備える画像処理装置と比較して、表示部によってデータを読み出される読み出し元を選択する制御を行う必要がない。すなわち、表示部がデータを読み出す際の読み出し制御が簡素化される。

本発明の画像処理装置は、表示用ディスプレイを備えるデジタルカメラ、あるいはデジタルカメラ機能搭載の携帯電話機などに対して好適に利用され得る。

は、本発明の一実施形態である画像処理装置の構成を示すブロック図である。は、図１におけるセンサ部から与えられる撮像データに対して縮小処理を施した後、ＲＡＭあるいはバッファに出力する過程を示す概念図である。は、図１におけるセンサ部から縮小処理部を介して縮小処理が施されたあるフレームにかかるデータがＲＡＭに書き出されるまでのタイムチャートである。は、図１におけるセンサ部から与えられる撮像データがデータ入力部を介して表示部に出力されるまでのタイムチャートである。は、図４において、データｄ−２が縮小処理部からＲＡＭ及びバッファに書き出される過程を説明するためのタイムチャート及び概念図である。は、従来構成の画像処理装置のブロック図である。は、図６における表示部において反転処理を行うときのデータ転送の流れを説明するための概念図である。は、図６におけるセンサ部から与えられる撮像データがＲＡＭを介して表示部に出力されるまでのタイムチャートである。

符号の説明

１画像処理装置
２センサ部
３データ入力部
４表示部
５縮小処理部
６バッファ
７ＲＡＭ
９００画像処理装置
９０１センサ部
９０２ＲＡＭ
９０３表示部

Claims

画像を撮像して撮像データを生成するセンサ部と、
前記センサ部から出力される撮像データにデータ量を縮小する縮小処理を施して表示データを生成し、後段に出力する縮小処理部と、
第１の期間内に前記縮小処理部から出力される表示データである第１の表示データを一時的に格納するバッファと、
第２の期間内に前記縮小処理部から出力される表示データである第２の表示データと、前記バッファから出力される前記第１の表示データと、を一時的に格納するとともに、該第１の表示データおよび第２の表示データとから撮像された当該フレームにかかる表示データを復元するＲＡＭと、
前記ＲＡＭより前記表示データを読み出して表示用出力を行う表示部と、を備え、
前記第１の期間が、前記表示部によって前記ＲＡＭに格納された前フレームにかかる表示データの読み出しアクセスが行われている期間であり、
前記第２の期間が、前記第１の期間が終了時点から、当該フレームにかかる全ての表示データを前記縮小処理部が生成し終えるまでの期間であり、
前記ＲＡＭが、前記第２の期間中であって、前記縮小処理部において縮小処理が行われているために前記縮小処理部から該ＲＡＭに前記第２の表示データの書き込みアクセスが行われていない期間内に、前記バッファから出力される前記第１表示データを格納することを特徴とする画像処理装置。
前記縮小処理部が、
前記センサ部より与えられる撮像データを一時的に保持するアクセスメモリを備えており、
縮小処理に必要な所定のデータ数が与えられるまでの間、前記センサ部より与えられる撮像データを前記アクセスメモリに保持するとともに、前記アクセスメモリに前記所定のデータ数の撮像データが保持されると、縮小処理を施してデータを後段に出力することを特徴とする請求項１に記載の画像処理装置。
前記ＲＡＭが、前記第２の期間内に前記第２の表示データを格納する際に、予め前記バッファから出力される前記第１の表示データを格納する領域を確保することを特徴とする請求項１または請求項２に記載の画像処理装置。
前記縮小処理部によって縮小処理が施された所定の単位量のデータが出力される毎にカウントアップされる構成である第１のカウンタと、
前記縮小処理部から出力される前記第１の表示データが前記バッファに対して所定の単位量出力される毎にカウントアップされる構成である第２のカウンタと、
前記バッファから出力される前記第２の表示データが前記ＲＡＭに対して所定の単位量出力される毎にカウントアップされる構成である第３のカウンタと、を備え、
前記第１〜第３のカウンタが、前記センサ部によって画像が撮像されるのに応じてカウント値がリセット制御される構成であり、
前記ＲＡＭが、
前記縮小処理部より与えられる前記第２の表示データを、前記第１のカウンタのカウント値に応じたアドレス領域に格納し、
前記第２のカウンタが示すカウント値に応じた前記第１の表示データ量が前記バッファに保持されていることを認識して、該カウント値に応じたデータ量を前記バッファから読み出すとともに、読み出し時における前記第３のカウンタのカウント値に応じたアドレス領域に当該読み出した第１の表示データを格納することを特徴とする請求項３に記載の画像処理装置。
カメラ機能搭載の携帯電話機であって、請求項１〜請求項４のいずれかに記載の画像処理装置を備える携帯電話機。