JP4298752B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、オートフォーカスカメラ等の画像処理に関し、特に、フォーカス動作が画像により視認可能な画像処理装置、画像処理方法及び画像処理プログラムに関する。

携帯電話機や携帯情報端末機（ＰＤＡ：Personal Digital Assistant）等に搭載されたカメラやディジタルカメラのオートフォーカス（ＡＦ）動作では、モータでレンズ移動機構を駆動することにより、レンズ位置を物理的に移動させて合焦位置を探し、最適な合焦位置にレンズを固定させている。このような合焦動作とともに、撮像素子に結像される画像をモニター画面に表示するので、ユーザーはモニター画面から合焦動作で変化する画像の様子を視認することができる。

このような合焦状態の画像表示に関し、下記の特許文献１に開示された合焦装置では、被写体のコントラスト情報から合焦状態を認識し、プロセス処理部のアパーチャ補償回路の周波数特性を変えることにより、合焦状態に応じた映像を形成している。

また、下記の特許文献２に開示された固体撮像装置では、固体撮像素子の出力を、焦点が合った状態とぼかした状態のそれぞれを読み出し、前者で輝度信号、後者で色信号を得ることで、モアレがなく、解像度の高い画像を得ている。

また、下記の特許文献３に開示されたカメラでは、撮影時の条件から被写界深度を求め、撮像デバイスから読み出した画像信号のうちその被写界深度でカバーできない非合焦領域の画像信号に対して、画像信号のエッジ部分のレベルを低減し、撮影時のボケ具合を電子ファインダ上で表示している。
特開平５−１８３７９６号公報 特開昭６２−１７３８７６号公報 特開平３−２６０６３８号公報

ところで、携帯電話機やＰＤＡ等に搭載されたカメラでは、レンズが小さく、被写界深度の深いパンフォーカスカメラが用いられる。このようなカメラでは、ＡＦ動作時、レンズが合焦位置に移動しても、パンフォーカスであるため、モニター画面上の画像変化は少なく見えてしまう。画像の変化量が少ないと、合焦達成感がなく、ユーザーは物足りなさを感じてしまう。斯かる課題は、特許文献１、２、３に開示されたものではなく、特許文献１、２、３に開示された技術的な内容を参酌しても、解決し得るものでない。

そこで、本発明は、ＡＦカメラ等の画像処理に関し、合焦動作中に表示される画像の変化を鮮明化することを目的とする。

斯かる目的を詳細に述べれば、焦点整合に至る表示画像に演出を施すことにより、合焦動作開始から合焦動作完了に至る画像の変化を明瞭に視認できるようにすることにある。

上記目的を達成するため、本発明の画像処理装置は、光学系を通して結像させた画像を出力する撮像素子と、この撮像素子に、前記光学系を通して得られる前記画像を用いて前記光学系を合焦位置に制御するフォーカス制御部と、このフォーカス制御部による前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度の変化量を拡大した擬似画像を形成する画像処理部と、半押し状態でオートフォーカス動作を開始させるシャッターボタンとを備え、前記画像処理部は、オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、前記シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替える構成である。

斯かる構成によれば、フォーカス制御による光学系の合焦動作中に光学系を通して結合された実画像が撮像素子から出力される。そこで、画像処理部では、この実画像を受け、その解像度の変化量を拡大させた擬似画像を形成する。この擬似画像を用いれば、合焦動作開始から合焦動作完了前に現れる擬似画像の解像度の変化量が大きく、その解像度の変化により、ユーザに合焦達成感を与えることができ、臨場感や醍醐味を感じさせることができる。

上記目的を達成するためには、本発明の画像処理装置において、前記撮像素子に得られる前記画像を記憶する記憶部を備えた構成としてもよい。斯かる構成とすれば、撮像素子に得られる実画像が記憶部に格納されることになる。

上記目的を達成するため、本発明の画像処理装置は、光学系を通して結像させた画像を出力する撮像素子と、この撮像素子に前記光学系を通して得られる前記画像を用いて前記光学系を合焦位置に制御するフォーカス制御部と、このフォーカス制御部による前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成し、この擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させる画像処理部と、半押し状態でオートフォーカス動作を開始させるシャッターボタンとを備え、前記画像処理部は、オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、前記シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替える構成としてもよい。

斯かる構成とすれば、合焦動作中に得られる実画像に対し、擬似画像の解像度は、一旦低い解像度となり、その低い値から段階的又は連続的に増加し、合焦位置で撮像素子に得られる画像に到達する。この結果、合焦動作中の画像変化が鮮明化され、合焦動作開始から合焦動作完了に至る画像の変化を明瞭に視認することができる。

上記目的を達成するため、本発明の画像処理方法は、光学系を通して撮像素子に結像させた画像を出力する処理と、前記撮像素子に前記光学系を通して得られる前記画像の解像度を制御情報に用いて前記光学系を合焦位置に制御する処理と、前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度の変化量を拡大した擬似画像を形成する処理と、オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替える処理とを含む構成である。斯かる構成によれば、合焦動作開始から合焦動作完了前に現れる擬似画像の解像度の変化量が大きいので、ユーザに合焦達成感を与えることができ、臨場感や醍醐味を感じさせることができる。

上記目的を達成するためには、本発明の画像処理方法において、前記撮像素子に得られる前記画像を記憶部に記憶させる処理を含む構成としてもよい。斯かる構成とすれば、撮像素子に得られる実画像が記憶部に格納される。

上記目的を達成するため、本発明の画像処理方法は、光学系を通して撮像素子に結像させた画像を出力する処理と、前記撮像素子に前記光学系を通して得られる前記画像の解像度を制御情報に用いて前記光学系を合焦位置に制御する処理と、前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成する処理と、前記擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させる処理と、オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替える処理とを含む構成としてもよい。

斯かる構成とすれば、合焦動作中に得られる実画像に対し、擬似画像の解像度は、一旦低い解像度となり、その低い値から段階的又は連続的に増加し、合焦位置で撮像素子に得られる画像に到達させている。この結果、合焦動作中の画像の変化が鮮明化され、合焦動作開始から合焦動作完了に至る画像の変化を明瞭に視認させることができる。

上記目的を達成するため、本発明の画像処理プログラムは、光学系を通して撮像素子に結像する画像を取り込むステップと、前記撮像素子に前記光学系を通して得られる前記画像の解像度情報を用いて前記光学系を合焦位置に制御する制御情報を形成するステップと、前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度変化の大きい擬似画像を形成するステップと、オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替えるステップとを含み、これらのステップをコンピュータに実行させる構成である。

斯かる構成によれば、合焦動作開始から合焦動作完了前に現れる擬似画像は、解像度の変化量が大きいので、ユーザに合焦達成感を与えることができ、臨場感や醍醐味を感じさせることができる。

上記目的を達成するためには、本発明の画像処理プログラムにおいて、前記撮像素子に得られる前記画像を記憶部に記憶させるステップを含む構成としてもよい。斯かる構成により、記憶部に実画像を格納することができる。

上記目的を達成するため、本発明の画像処理プログラムは、光学系を通して撮像素子に結像する画像を取り込むステップと、
前記撮像素子に前記光学系を通して得られる前記画像の解像度情報を用いて前記光学系を合焦位置に制御する制御情報を形成するステップと、
前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成するステップと、
前記擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させるステップと、
オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替えるステップと、
を含み、これらのステップをコンピュータに実行させる構成としてもよい。

斯かる構成とすれば、擬似画像の解像度は、一旦低い解像度となり、その低い値から段階的又は連続的に増加し、合焦位置で撮像素子に得られる画像に到達させている。この結果、既述の通り、合焦動作中の画像変化が鮮明化され、合焦動作開始から合焦動作完了に至る画像の変化を明瞭に視認させることができる。

本発明によれば、次のような効果が得られる。

(1) 本発明の画像処理装置、画像処理方法又は画像処理プログラムによれば、光学系の合焦動作中に撮像素子に得られる実画像に対し、解像度の変化量を拡大した擬似画像が得られるので、画像変化が鮮明化されるとともに、合焦達成感が得られ、ユーザに撮影の醍醐味を与えることができる。

(2) 本発明の画像処理装置、画像処理方法又は画像処理プログラムにおいて、撮像素子に得られる画像より低い解像度の擬似画像を形成し、この擬似画像の解像度を段階的又は連続的に増加させて合焦位置で撮像素子に得られる画像に到達させるように構成すれば、合焦動作の開始から合焦完了に至る画像変化を明瞭化でき、合焦達成感を高めることができる。

そして、本発明の他の目的、特徴及び利点は、添付図面及び各実施形態を参照することにより、一層明確になるであろう。

画像処理装置を示す図である。（第１の実施形態） ＡＦ動作時の光学系の実画像及び擬似画像のＭＴＦを示す図である。（第１の実施形態） メモリ画像及び擬似画像の変化を示す図である。（第１の実施形態） 画像処理方法及び画像処理プログラムの一例である処理手順を示す図である。（第１の実施形態） 画像処理装置の構成を示す図である。（第２の実施形態） 擬似画像処理の処理手順を示すフローチャートである。（第２の実施形態） 擬似画像の処理の一例を示す図である。（第２の実施形態） 画像処理装置の構成を示す図である。（第３の実施形態） 擬似画像の処理方法及びその擬似画像を示す図である。（第４の実施形態） 擬似画像の処理方法及びその擬似画像を示す図である。（第４の実施形態） 画像処理ユニットを示す斜視図である。（第５の実施形態） 画像処理装置が搭載された携帯電話機の開いた状態を示す図である。（第６の実施形態） 画像処理装置が搭載された携帯電話機の閉じた状態の背面部を示す図である。（第６の実施形態） 画像処理装置が搭載されたＰＤＡを示す正面図である。（第７の実施形態） 画像処理装置が搭載されたＰＤＡを示す背面図である。（第７の実施形態） ディジタルカメラを示す正面図である。（第８の実施形態） ディジタルカメラを示す背面図である。（第８の実施形態）

符号の説明

２ 画像処理装置
４ 光学系
６ 撮像素子
８ 画像処理部
１２ 記憶部
１４ 画像表示部
４６ 擬似画像処理部
３４ 擬似画像

第１の実施形態

本発明の第１の実施形態について、図１を参照して説明する。図１は、第１の実施形態に係る画像処理装置を示すブロック図である。

ＡＦカメラ等の画像処理装置２は、光学系４、撮像素子６、画像処理部８、ホストＣＰＵ（Central Processing Unit ）（以下「ＣＰＵ」という）１０、メモリ１２、画像表示部１４等を備え、光学系４を通して撮像素子６に結像させた画像や後述の擬似画像等を画像表示部１４に表示する構成である。

光学系４は、レンズ１６等を備えて被写体１８からの光をレンズ１６を通じて収束させ、撮像素子６の撮像面に被写体１８を表す画像を結像させる。光学系４に設置されたレンズ移動機構２０は画像処理部８で得られたオートフォーカス（ＡＦ）制御出力により、レンズ１６を合焦位置に移動させ、その位置に固定する。

撮像素子６は、ＣＣＤ（Charge Coupled device ）等で構成され、光学系４を通して結像させた画像を電気信号に変換して出力する。

画像処理部８には、Ａ／Ｄ（Analog to Digital ）変換部２２、ＤＳＰ（Digital Signal Processor）２４等が備えられている。Ａ／Ｄ変換部２２は、撮像素子６から出力されるアナログ信号からなる画像信号をディジタル信号に変換する。ＤＳＰ２４は、画像処理ＬＳＩ（Large Scale Integration ）で構成され、画像処理プログラム等の各種プログラムを格納したＲＯＭ（Read-Only Memory）等を備え、撮像素子６に結像した画像を用いて擬似画像処理等の各種の信号処理を行う。この信号処理には、例えば、
(1) 撮像素子６に結像された画像の取込み、その画像表示出力及び静止画保存出力
(2) 擬似画像の形成及び出力
(3) ＡＦ制御信号の形成及び出力
等の処理が含まれる。ここで、画像表示出力は、画像表示部１４に対する表示出力であって、静止画保存出力はメモリ１２に記録するための画像出力である。この場合、メモリ１２は、画像記憶部を構成し、画像表示部１４は画像モニターである。

また、擬似画像は、光学系４の合焦動作であるＡＦ動作中に、撮像素子６に得られる画像より解像度の変化量を拡大した画像である。より詳細に述べれば、撮像素子６に得られる画像より低い解像度の擬似画像が形成され、この擬似画像の解像度を段階的又は連続的に増加させて光学系４の合焦位置で撮像素子６に得られる画像に到達させる一連の解像度の変化量を拡大させたものである。この擬似画像は、光学系４のＡＦ動作中に、撮像素子６に得られる画像に基づいて形成され、画像表示部１４に表示させる。このような擬似画像の形成及びその出力を行うことから、ＤＳＰ２４は擬似画像を形成するための画像処理部を構成している。

また、ＡＦ制御信号は、レンズ移動機構２０の制御出力であり、光学系４を最適な合焦位置に移動させる出力である。そこで、レンズ移動機構２０とＤＳＰ２４とからフォーカス制御部２６が構成されており、光学系４を通して撮像素子６に結像させた画像により、最適な合焦位置に光学系４を移動させるためのＡＦ制御信号がレンズ移動機構２０に対して出力される。

制御部としてのＣＰＵ１０は、シャッターボタン２８を例えば、半押し状態としたとき、オートフォーカス（ＡＦ）動作が開始されて合焦位置に光学系４が制御され、全押し状態に移行させたとき、合焦位置にある光学系４を通して撮像素子６に結像している画像がメモリ１２に取り込まれる。そこで、ＣＰＵ１０からＤＳＰ２４に対し、シャッターボタン２８の半押し状態によりＡＦ命令信号が発せられ、その全押し状態への移行により画像取込命令信号が発せられる。

また、ＣＰＵ１０にはスピーカ等からなる発音部３０が接続され、シャッターボタン２８を全押し状態に移行させたとき、シャッター操作を表すシャッター音が発音部３０から発せられる。

斯かる構成において、シャッターボタン２８を半押し状態にすると、この半押し状態がＣＰＵ１０によって検出され、この検出に基づき、ＡＦ開始信号がＤＳＰ２４に伝達される。このＡＦ開始を受け、ＤＳＰ２４は撮影モードに移行し、光学系４を通して結像した画像が撮像素子６から出力される。この場合、被写体１８を表す画像が撮像素子６を通して得られ、その出力信号はアナログ信号であるので、Ａ／Ｄ変換部２２でディジタル信号に変換されて画像データとしてＤＳＰ２４に加えられる。ＤＳＰ２４では、その画像データからコントラストデータが得られ、このコントラストデータによりＡＦ制御信号がＤＳＰ２４からレンズ移動機構２０に加えられる。光学系４を通じて得られる画像の解像度が低い場合、その解像度によりコントラストが決定されるので、ＡＦ制御信号によりレンズ移動機構２０はレンズ１６を最適な合焦位置に向けて移動させ、合焦位置でレンズ１６を固定する。矢印ａ、ｂは、レンズ移動機構２０によるレンズ１６の移動方向を示している。

ＤＳＰ２４では光学系４のＡＦ動作により撮像素子６に得られる画像とは別に擬似画像が形成される。この擬似画像は、光学系４のＡＦ動作中に、撮像素子６に得られる画像（実画像）より解像度の変化量を拡大した画像である。具体的には、撮像素子６に得られる画像（実画像）より低い解像度の擬似画像を形成し、この擬似画像の解像度を段階的又は連続的に増加させて光学系４の合焦位置で撮像素子６に得られる画像（実画像）に到達させる処理を行う。

そして、これら実画像及び擬似画像については、ＡＦ動作前には、撮像素子６に結像させた画像を画像表示部１４に表示し、ＡＦ動作の開始とともに、擬似画像を画像表示部１４に表示する。また、撮像素子６に得られる画像はメモリ１２に格納される。

このように、ＡＦ動作中に、画像表示部１４に擬似画像が表示され、ＡＦ動作に対応して解像度を大きく変化させると、ＡＦ動作の成り行きを画像変化として鮮明化でき、ユーザはその合焦中の画像変化を明瞭に視認することができる。

次に、撮像素子６に得られる画像及び擬似画像について、図２を参照して説明する。図２は、横軸に経過時間ｔ、縦軸に画像解像度（ＭＴＦ：Modulation Transfer Function、変調伝達関数）を取り、ＡＦ動作中の実画像及び擬似画像の解像度変化を示した図である。

図２において、Ｐｒは光学系４を通して撮像素子６に結像されてメモリ１２に取り込まれる画像（実画像：メモリ画像）の解像度の推移、ＰｍはＤＳＰ２４で形成された擬似画像の解像度の推移である。

シャッターボタン２８を半押し状態に移行した時点ｔｓ（合焦開始時点）からＡＦ動作が開始され、時点ｔｎ（合焦完了時点）で光学系４が合焦位置に固定される。合焦開始時点ｔｓから合焦完了時点ｔｎまでの区間がフォーカス期間ｔｆである。この期間ｔｆにおいて、実画像の解像度ＰｒはＡＦ動作とともに緩やかに増加し、合焦完了時点ｔｎの直前で解像度が僅かに低下した後、最高解像度に到達している。このように合焦完了前に解像度の僅かな低下は、最高解像度を探査するための光学系４の前後動に起因する。

これに対し、ＤＳＰ２４では、撮像素子６からの画像を受け、その画像の解像度を低下させた擬似画像が形成されており、この擬似画像の解像度Ｐｍは、撮像素子６の画像が光学系４のＡＦ動作で緩やかに増加するのに対し、大幅に低下させ、最低解像度から直線的に緩やかに増加させ、合焦位置で得られる最高解像度に到達させている。このため、ＡＦ動作における実画像の解像度変化はΔＰｒであるのに対し、擬似画像の解像度変化はΔＰｍ（＞ΔＰｒ）と大きく、この変化と画質として現れる。

このような実画像及び擬似画像の解像度変化について、図３を参照して説明する。図３のＡ、Ｂ、Ｃ、Ｄ、Ｅは、図２の時間軸上の時点ｔ₁ 、ｔ₂ 、ｔ₃ 、ｔ₄ 、ｔ₅ について、メモリ画像（実画像）と画像表示部１４上の擬似画像を示している。

時点ｔ₁ では、合焦開始前であるため、メモリ画像３２と画像表示部１４に現れる画像３４とは同一画像（Ａ₁ 、Ａ₂ ）となる。即ち、合焦開始前には擬似画像が形成されていないため、画像表示部１４には撮像素子６に結像した実画像が表示され、これはメモリ画像３２であるから、画像に相違はない。

時点ｔ₂ では、ＡＦ動作中であり、メモリ画像３２の解像度が合焦開始時点ｔｓより高くなっている（Ｂ₁ ）。これに対し、ＡＦ動作に入ると擬似画像３６が形成されて画像表示部１４に表示されるが、時点ｔ₂ では、擬似画像３６の解像度が最も低くなっており、文字Ａを認識することができない程度の劣化画像である（Ｂ₂ ）。

時点ｔ₃ は、ＡＦ動作の中間点であり、メモリ画像３２の解像度は合焦完了時点ｔｎの解像度に近い値となっている（Ｃ₁ ）。このため、メモリ画像３２の文字Ａは文字として十分に認識することができる。これに対し、ＡＦ動作の中間点での擬似画像３６は、最低の解像度よりは改善されているものの、解像度変化ΔＰｍの２分の１程度の低い値であるから、依然として文字Ａを認識することができない程度の劣化画像である（Ｃ₂ ）。

時点ｔ₄ は、ＡＦ動作の終了間近い点であり、メモリ画像３２の解像度は合焦完了時点ｔｎの解像度に近い値となっている（Ｄ₁ ）。このため、メモリ画像３２の文字Ａは文字として確実に認識することができる。これに対し、擬似画像３６では合焦途上を示す画像状態であり、時点ｔ₃ の解像度よりは改善されているものの、解像度変化ΔＰｍの３分の２程度の低い値であるから、文字Ａとしての判読は可能であるものの、劣化画像であることに違いはない（Ｄ₂ ）。

そして、時点ｔ₅ は、合焦完了時点ｔｎであり、メモリ画像３２の解像度は最高値である。これに対し、擬似画像３６も最高解像度であり、合焦時に撮像素子６の撮像面に結像した画像と同一である（Ｅ₁ 、Ｅ₂ ）。

このように、メモリ画像３２の解像度の推移からすると、大幅な変化はなく、図３のＡ〜Ｅの画像変化から合焦達成感を得ることは困難であろう。これに対し、画像表示部１４に表示された擬似画像３６では、合焦開始前に画像３４が現れた直後、合焦開始とともに劣化画像である擬似画像３６が現れ、その解像度が時点ｔ₃ 、ｔ₄ に移行するに従って段階的に増加し、合焦時点ｔ₅ では当初の画像３４より遙に高い解像度に到達させており、これらの画質変化から合焦達成感が得られる。

次に、実画像及び擬似画像の画像処理方法及び画像処理プログラムについて、図４を参照して説明する。図４は、画像処理の処理手順を示すフローチャートである。

画像処理装置２を起動すると、光学系４を通して撮像素子６に結像した画像がＡ／Ｄ変換部２２を通してＤＳＰ２４から画像表示部１４に出力され、画像表示部１４には光学系４を通して得られる実画像が表示される（ステップＳ１）。この実画像の表示はＡＦ動作の開始まで持続する。ＡＦ動作が開始されると（ステップＳ２）、シャッターボタン２８が半押しか否かが判定され（ステップＳ３）、シャッターボタン２８が半押し状態に移行、即ち、ＡＦ動作の開始と同時に擬似画像３６の形成モードに移行する（ステップＳ４）。擬似画像３６の処理は例えば、撮像素子６に得られた画像に解像度（ＭＴＦ）を劣化させるための係数を掛け、ＡＦ動作開始時には最も低い解像度とし、ＡＦ時間の経過とともに係数を変更して解像度を上昇させることにより、実画像に近づける。これにより、既述した図３に示した擬似画像３６がＤＳＰ２４を通じて画像表示部１４に出力され、表示される（ステップＳ５）。この処理はＡＦ動作時間が経過するまで継続し（ステップＳ６）、ＡＦ動作時間が経過すると、擬似画像３６の表示が終了し、ステップＳ１に復帰し、光学系４を通して撮像素子６に結像した実画像が表示される。

このようにＡＦ動作中に解像度が大きく変化する擬似画像３６が画像表示部１４に表示されると、ユーザはＡＦ動作の合焦状態を視認でき、十分な合焦達成感を感得することができる。

第２の実施形態

本発明の第２の実施形態について、図５を参照して説明する。図５は、第２の実施形態に係る画像処理装置を示すブロック図である。図５において、図１と同一部分には同一符号を付してある。

この実施形態は、第１の実施形態に係る画像処理装置２のＤＳＰ２４の構成を具体的に示したものである。

このＤＳＰ２４にはＡ／Ｄ変換部２２を通してディジタル化された画像が入力され、その画像はセンサーインターフェイス（ＩＦ）３８、イメージプロセス部４０及びファンクションコントロール部４２を経てコントラスト検出部４４、擬似画像処理部４６に加えられるとともに、ディジタルインターフェイス（ＩＦ）４８を通してメモリ１２に加えられる。センサーＩＦ３８はＡ／Ｄ変換部２２からの画像信号を受ける入力部であり、イメージプロセス部４０の画像信号のバッファを構成している。また、ファンクションコントロール部４２はバスで構成されている。

コントラスト検出部４４では画像のコントラストが検出され、この検出信号がオートフォーカス部５０に加えられている。オートフォーカス部５０はその検出信号のレベルからＡＦ制御信号を形成し、レンズ移動機構２０に出力する。このような信号処理を経て、撮像素子６に結像した画像を制御情報として、光学系４が合焦位置に制御される。このＡＦ動作中に撮像素子６に結像した画像は、連続的にＤＳＰ２４に取り込まれ、既述のようにメモリ１２及び擬似画像処理部４６に取り込まれる。

そして、擬似画像処理部４６では、ＡＦ動作中の画像の解像度変化に応じた擬似画像が形成され、この擬似画像がディジタルＩＦ５２を通して画像表示部１４に出力されて表示される。この場合、擬似画像は、ＡＦ動作中に画像表示部１４に実画像に代えて表示されるものであり、擬似画像処理部４６は、ＡＦ動作前及びＡＦ動作終了後、実画像を画像表示部１４に表示させる。即ち、ＡＦ動作以外のモードでは、擬似画像処理部４６は実画像を伝送し、画像表示部１４に実画像を表示させる構成である。

また、この実施形態のＤＳＰ２４では、記録媒体であるＲＯＭ（Read-Only Memory）５４、ＲＡＭ（Random-Access Memory）５６が設置されており、ＲＯＭ５４には画像処理プログラム等の各種のプログラムが格納され、また、ＲＡＭ５６にはＣＰＵ１０からの制御データ等が格納される。この場合、ＣＰＵ１０はＣＰＵインターフェイス（ＩＦ）５８を介してファンクションコントロール部４２に接続されている。また、このＤＳＰ２４にはズーム処理部６０、リサイザー処理部６２、ローテーター処理部６４及びシャープナー処理部６６等が設置され、ファンクションコントロール部４２に接続されている。ズーム処理部６０は取り込まれた画像の拡大及び縮小処理を行い、リサイザー処理部６２では画像のサイズ変更処理を行い、例えば、１００万画素で取り込んだ画像を１０万画素に変更する等の処理を担当する。ローテーター処理部６４は画像を回転させる処理を行い、また、シャープナー処理部６６は画像の輪郭強調等の処理を行う。

次に、擬似画像処理部４６の画像処理について、図６を参照して説明する。図６は、擬似画像表示等の処理手順を示すフローチャートである。

ＤＳＰ２４にはＡ／Ｄ変換部２２を通してディジタル化された画像が入力され、その画像は擬似画像処理部４６に加えられるとともにメモリ１２に取り込まれる。この状態において、ｔ＝０の時点（ステップＳ１１）で、ＡＦ動作がスタートすると（ステップＳ１２）、シャッターボタン２８（図１）が半押しか否かが判定され（ステップＳ１３）、シャッターボタン２８（図１）が半押し状態で維持されると、ＡＦ動作が開始される。このとき、擬似画像の形成処理モードに移行し、ＡＦ動作中、擬似画像が形成されて画像表示部１４に表示され（ステップＳ１４〜Ｓ１８）、ＡＦ動作を終了すると、画像表示部１４に実画像が表示される（ステップＳ１９）。

この擬似画像の形成処理では例えば、画素配置に対して画素数の平均化処理が実行される。ここで、ｔを経過時間、Ｎを平均化する画素数、ＴをＡＦ動作時間（＝固定値）、Ｍを画面に合わせるための係数（＝固定値）とすると、画素数Ｎを、
Ｎ＝ int｛（Ｔ−ｔ）×Ｍ｝＋１ ・・・（１）
とし、この演算式（１）を用いて画素数Ｎを算出する（ステップＳ１４）。

ＡＦ動作中にこの画素数Ｎにより、（Ｎ×Ｎ）画素の平均化を行い（ステップＳ１５）、この平均化により得られる擬似画像を出力させ、画像表示部１４に表示する（ステップＳ１６）。

この擬似画像の解像度は式（１）により、時間ｔの経過とともに推移し、時間ｔをインクリメントし（ステップＳ１６）、ＡＦ動作時間の終了まで擬似画像の処理を継続させ（ステップＳ１３〜Ａ１８）、Ｔ＝ｔに到達したとき（ステップＳ１８）、式（１）は、
Ｎ＝ int（０×Ｍ）＋１＝１ ・・・（２）
となり、擬似画像は自動的に実画像に移行し、この実画像が擬似画像に変わって画像表示部１４に表示される（ステップＳ１９）。

この画像処理の画素数と解像度変化の関係について、図７を参照して説明する。図７は、画素配置及び擬似画像の変化を示す図である。

画像表示部１４には画素配置６８として無数の画素７０がマトリクス状に配置されている。そこで、式（１）から画素数Ｎを求めると、画素配置６８には図７に示すように、画素７０の整数倍の画素数（Ｎ×Ｎ）からなるモザイク７２が形成されることになる。式（１）から明らかなように、画素数Ｎは時間ｔの経過とともに小さくなるから、この画素数Ｎ×Ｎで決定されるモザイク７２の大きさも時間ｔの経過とともに小さくなり、モザイク７２で形成されていた擬似画像は実画像に近づくことになる。即ち、ＡＦ動作時間の終了とともに、擬似画像から実画像に変移することになる。

第３の実施形態

本発明の第３の実施形態について、図８を参照して説明する。図８は、第３の実施形態に係る画像処理装置を示すブロック図である。図８において、図１と同一部分には同一符号を付してある。

第１の実施形態に係る画像処理装置２ではＤＳＰ２４で擬似画像の形成処理が実行され、第２の実施形態に係る画像処理装置２ではＤＳＰ２４に擬似画像処理部４６を設置した構成を示したが、この実施形態では、図８に示すように、ＤＳＰ２４の外部に擬似画像処理部４６が設置され、この擬似画像処理部４６をＤＳＰ２４と画像表示部１４との間に介在させる構成としている。このように、擬似画像処理部４６がＤＳＰ２４の外部に設置されても、撮像素子６に結像された画像をＤＳＰ２４を介して擬似画像処理部４６に加えることにより、既述した擬似画像を表示することができる。この場合、擬似画像処理部４６は、擬似画像を処理するプログラムを格納するＲＯＭやＣＰＵを内蔵するように構成してもよい。

第４の実施形態

本発明の第４の実施形態について、図９及び図１０を参照して説明する。図９及び図１０は、擬似画像の処理方法及びその擬似画像を示している。

第１ないし第３の実施形態では、擬似画像について、解像度（ＭＴＦ）変化を中心に説明したが、擬似画像３６として例えば、図９のＡに示すように、ぼかし（ガウス）画像７４を形成してもよく、図９のＢに示すように、ぼかし（移動）画像７６を形成してもよく、図１０のＡに示すように、荒描き画像７８を形成してもよく、図１０のＢに示すように、拡散画像８０を形成してもよく、また、図１０のＣに示すように、風画像８２を形成してもよい。

また、これらの画像処理について、ＤＳＰ２４が備えている画像調整機能を活用することにより、例えば、画像処理系統のゲイン（gain）変化、明暗輝度変化、画像の平均化又は画像圧縮、コントラスト又は輪郭強調、インターレース（間引き）等の画像処理技術を利用してもよい。ここで、コントラスト又は輪郭強調処理では、輪郭をぼかしから強調することにより画質変化を生じさせ、また、インターレース（間引き）処理では、画素の間引きによる画質変化を生じさせ、擬似画像とすることが可能である。

第５の実施形態

本発明の第５の実施形態について、図１１を参照して説明する。図１１は、画像処理ユニットの構成例を示している。

このカメラ機能部としての画像処理ユニット８４は硬質合成樹脂等で構成された筐体部８６を備えており、その前面部には光学系４が設置され、その内部にはレンズ移動機構２０（図１）が設置されている。光学系４には既述の通りレンズ１６が設置されており、筐体部８６の内部には撮像素子６、Ａ／Ｄ変換部２２及びＤＳＰ２４（図１）等が格納されている。ＤＳＰ２４は既述した擬似画像の処理機能を備えている。筐体部８６の背面部には基板８８が設置され、この基板８８にはコネクタ部９０が設けられている。また、基板８８にはフレキシブル基板９２が設置され、この先端部にもコネクタ部９４が設けられている。これらコネクタ部９０、９４を通してＣＰＵ１０、メモリ１２、画像表示部１４等と接続される。

このような画像処理ユニット８４を用いれば、ＡＦ動作に応じた擬似画像出力をＡＦ動作中に得ることができ、既述の通りの合焦達成感を満足させることができる。

第６の実施形態

本発明の第６の実施形態について、図１２及び図１３を参照して説明する。図１２及び図１３は、画像処理装置を搭載した携帯電話機の構成例を示し、図１２は開いた状態の携帯電話機、図１３は閉じた状態の携帯電話機を示している。

この携帯電話機９６は第１及び第２の筐体部９８、１００を備え、これら筐体部９８、１００をヒンジ１０２を以て開閉可能である。筐体部９８にはシャッターボタン２８の他、カーソルキーやダイヤルボタン等からなる入力操作部１０４等が設置され、筐体部１００には画像表示部１４等が設置されている。また、筐体部１００の背面部には、画像処理装置２が搭載され、画像処理装置２は既述の画像処理ユニット８４を備えている。また、筐体部１００には既述した画像処理部８が内蔵されている。

このような画像処理装置２を搭載した携帯電話機９６では、シャッターボタン２８の半押しによるＡＦ動作中に既述の擬似画像が表示され、ＡＦ動作において十分な合焦達成感が得られる。

第７の実施形態

本発明の第７の実施形態について、図１４及び図１５を参照して説明する。図１４及び図１５は、画像処理装置を搭載したＰＤＡの構成例を示し、図１４は正面から見たＰＤＡ、図１５は背面から見たＰＤＡを示している。

このＰＤＡ１０８の筐体部１１０の前面部には画像表示部１４とともに、シャッターボタン２８の他、複数のキーからなる入力操作部１１２が設置され、また、筐体部１１０の背面部には筐体部１１０に内蔵された画像処理装置２の光学系４が露出している。筐体部１１０の内部には画像処理ユニット８４が内蔵されるとともに、既述した画像処理部８が内蔵されている。

このような画像処理装置２を搭載したＰＤＡ１０８では、シャッターボタン２８の半押しによるＡＦ動作中に既述の擬似画像が表示され、ＡＦ動作において十分な合焦達成感が得られる。

第８の実施形態

本発明の第８の実施形態について、図１６及び図１７を参照して説明する。図１６及び図１７は、ディジタルカメラの構成例を示し、図１６は正面から見たディジタルカメラ、図１７は背面から見たディジタルカメラを示している。

ディジタルカメラ１１４の筐体部１１６には既述の画像処理装置２が搭載されているとともに、前面部には光学系４、上辺部にはシャッターボタン２８等が搭載されている。また、この筐体部１１６の背面部にはファインダーである画像表示部１４が設置されている。

このようなディジタルカメラ１１４では、シャッターボタン２８の半押しによるＡＦ動作中に既述の擬似画像が表示され、ＡＦ動作において十分な合焦達成感を得ることができる。

次に、以上説明した各実施形態について、特徴事項、利点及び変形例を列挙して説明する。

(1) 既述した画像処理装置では、ＡＦ動作において、ＤＳＰ２４及びソフトウェアにより故意にモニター画像をディジタル的に処理して解像度を変更し、ＡＦ動作の進行に合わせて画像のピントが段階的に合うように演出し、ピント変化により合焦達成感を高め、臨場感を演出している。

(2) 第１及び第２の実施形態では、ＡＦ動作スタート（ステップＳ２又はステップＳ１２）と、シャッターボタンの半押しか否かの判断（ステップＳ３又はステップＳ１３）とを独立したステップとして構成しているが、ＡＦ動作開始と、シャッターボタンの半押しの判断とを同一のステップで処理するように構成してもよい。

(3) 撮像素子６に得られる画像信号は画像表示部１４と静止画保存用のメモリ１２との２系統に出力しており、メモリ１２には実画像を格納し、演出画像である擬似画像は記録画像に無関係である。即ち、ＡＦ動作時にシャッターボタン２８を押した場合には、メモリ１２のデータを撮影画像として保存するので、ＤＳＰ２４で故意にぼかした画像が保存されることはない。なお、擬似画像を別のメモリに格納することは可能である。

(4) ＡＦ動作中の擬似画像は、劣化度の高い画像から時間の経過とともに実画像に近付けるので、ユーザにピントが合ってきたように認識させることができる。また、ＡＦ動作終了時には、実画像を表示するので、擬似画像の痕跡は全くなく、ピントの合った実画像状態として認識できる。

(5) ＡＦ動作が進むと、段々とピントが合うように見え、ピント移動／変化の臨場感を演出することができ、ユーザの操作感を向上させることができる。

(6) 既述した画像処理装置２では、メモリ１２を内蔵した構成としたが、携帯電話機、ＰＤＡ、パーソナルコンピュータ等のメモリを備える機器に搭載される場合には、既設のメモリを代用する構成としてもよい。

以上述べたように、本発明の最も好ましい実施形態等について説明したが、本発明は、上記記載に限定されるものではなく、請求の範囲に記載され、又は発明を実施するための最良の形態に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。

本発明の画像処理装置、画像処理方法及び画像処理プログラムは、ＡＦカメラ等の画像処理に関し、合焦動作中の表示画像を擬似画像の解像度変化によって、合焦動作の推移を視覚的に鮮明化し、合焦達成感や撮影の醍醐味を与えることができ、有用である。

Claims (9)

1. 光学系を通して結像させた画像を出力する撮像素子と、
   この撮像素子に、前記光学系を通して得られる前記画像を用いて前記光学系を合焦位置に制御するフォーカス制御部と、
   このフォーカス制御部による前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度の変化量を拡大した擬似画像を形成する画像処理部と、
   半押し状態でオートフォーカス動作を開始させるシャッターボタンと、
   を備え、前記画像処理部は、オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、前記シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替えることを特徴とする画像処理装置。
2. 前記撮像素子に得られる前記画像を記憶する記憶部を備えたことを特徴とする請求の範囲１記載の画像処理装置。
3. 光学系を通して結像させた画像を出力する撮像素子と、
   この撮像素子に前記光学系を通して得られる前記画像を用いて前記光学系を合焦位置に制御するフォーカス制御部と、
   このフォーカス制御部による前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成し、この擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させる画像処理部と、
   半押し状態でオートフォーカス動作を開始させるシャッターボタンと、
   を備え、前記画像処理部は、オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、前記シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替えることを特徴とする画像処理装置。
4. 光学系を通して撮像素子に結像させた画像を出力する処理と、
   前記撮像素子に前記光学系を通して得られる前記画像の解像度を制御情報に用いて前記光学系を合焦位置に制御する処理と、
   前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度の変化量を拡大した擬似画像を形成する処理と、
   オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替える処理と、
   を含むことを特徴とする画像処理方法。
5. 前記撮像素子に得られる前記画像を記憶部に記憶させる処理を含むことを特徴とする請求の範囲４記載の画像処理方法。
6. 光学系を通して撮像素子に結像させた画像を出力する処理と、
   前記撮像素子に前記光学系を通して得られる前記画像の解像度を制御情報に用いて前記光学系を合焦位置に制御する処理と、
   前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成する処理と、
   前記擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させる処理と、
   オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替える処理と、
   を含むことを特徴とする画像処理方法。
7. 光学系を通して撮像素子に結像する画像を取り込むステップと、
   前記撮像素子に前記光学系を通して得られる前記画像の解像度情報を用いて前記光学系を合焦位置に制御する制御情報を形成するステップと、
   前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度変化の大きい擬似画像を形成するステップと、
   オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替えるステップと、
   を含み、これらのステップをコンピュータに実行させることを特徴とする画像処理プログラム。
8. 前記撮像素子に得られる前記画像を記憶部に記憶させるステップを含むことを特徴とする請求の範囲７記載の画像処理プログラム。
9. 光学系を通して撮像素子に結像する画像を取り込むステップと、
   前記撮像素子に前記光学系を通して得られる前記画像の解像度情報を用いて前記光学系を合焦位置に制御する制御情報を形成するステップと、
   前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成するステップと、
   前記擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させるステップと、
   オートフォーカス動作時間が設定され、前記撮像素子に得られる前記画像の出力後、シャッターボタンの半押しを契機に前記擬似画像の形成及びその出力を行い、前記オートフォーカス動作時間の終了により前記撮像素子に得られる前記画像に切り替えるステップと、
   を含み、これらのステップをコンピュータに実行させることを特徴とする画像処理プログラム。

Images