JP6098374B2 - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。

従来、被写体の動きに合わせて焦点調節時に用いるフォーカスエリアを追従させる、所謂追尾に関して様々な技術が考案されている。この追尾に関する技術として、例えばカメラに近づく、或いはカメラから離れる方向に移動する被写体の形状や大きさ等に応じて、フォーカスエリアを変化させる技術が挙げられる（特許文献１参照）。

特開２００９−６９７４８号公報

例えば風景などの撮影は、人物の撮影と異なり、撮影範囲（画角）内に被写体となる対象物が少ないことから、予め画角内に設定された複数の領域をフォーカスエリアとした焦点調節を行うことが一般的である。したがって、ユーザが注目する領域が画角内に含まれる場合であっても、ユーザが注目する領域が上述したフォーカスエリアとして用いられないことが多い。その結果、ユーザが注目する領域に焦点が合わない画像が得られてしまうという欠点がある。

本発明は、上述した課題を鑑みて発明されたものであり、ユーザが注目する領域をフォーカスエリアとして設定することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。

上述した課題を解決するために、本発明の画像処理装置は、画像に含まれる被写体領域を抽出する抽出部と、前記抽出部が前記被写体領域を抽出したか否かを判定する第１の判定部と、前記第１の判定部が前記被写体領域を抽出していないと判定したときに、前記画像が風景の画像であるか否かを推定する推定部と、前記推定部が前記風景の画像でないと推定したときに、前記被写体領域を抽出する際に用いる抽出条件を変更する条件変更部と、変更した前記抽出条件を用いて前記画像から前記被写体領域を再度抽出する再抽出部と、前記変更した前記抽出条件を用いて抽出された前記被写体領域を主要被写体領域として設定する設定部と、を備えたことを特徴とする。

また、本発明の撮像装置は、前記画像を取得する撮像部と、上述した画像処理装置と、を備えたことを特徴とする。

また、本発明の画像処理プログラムは、画像に含まれる被写体領域を抽出する抽出工程と、前記抽出工程により前記被写体領域を抽出したか否かを判定する判定工程と、前記判定工程により前記被写体領域を抽出していないと判定したときに、前記画像が風景の画像であるか否かを推定する推定工程と、前記推定工程により前記風景の画像でないと推定したときに、前記被写体領域を抽出する際に用いる抽出条件を変更する条件変更工程と、変更した前記抽出条件を用いて、前記画像から前記被写体領域を再度抽出する再抽出工程と、前記変更した前記抽出条件を用いて抽出された前記被写体領域を主要被写体領域として設定する設定工程と、をコンピュータに実行させることが可能なものである。

本発明によれば、ユーザが注目する領域をフォーカスエリアとして設定することができる。

撮像装置の構成における一形態を示す機能ブロック図である。 画像処理回路の構成における一例を示す機能ブロック図である。 撮像時の処理の流れを示すフローチャートである。 撮像時の処理の流れを示すフローチャートである。 マスク抽出処理の流れを示すフローチャートである。 山を撮影する場合の表示部の表示例を示す図である。

以下、撮像装置の一形態について、図１を用いて説明する。この撮像装置１０は、装置本体１１、レンズ鏡筒１２から構成される。ここで、レンズ鏡筒１２は、装置本体１１に一体であってもよいし、着脱できるものであってもよい。

装置本体１１は、撮像部２１、画像処理回路２２、表示部２３、バッファメモリ部２４、記憶部２５、ＣＰＵ２６、操作部２７及び通信部２８を備えている。撮像部２１、画像処理回路２２、表示部２３、バッファメモリ部２４、記憶部２５、ＣＰＵ２６、操作部２７及び通信部２８は、バスを介して電気的に接続される。なお、本発明の画像処理装置は、ＣＰＵ２６及び画像処理回路２２からなる。

撮像部２１は、撮像素子２９、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０を有している。撮像部２１は、設定された撮像条件（例えば露出値、シャッタ速度等）に従って、ＣＰＵ２６により、その動作が制御される。

撮像素子２９は、光電変換面を備え、レンズ鏡筒１２により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。ここで、撮像素子２９は、光電変換面の全領域において光学像を電気信号に変換してもよいし、光電変換面の一部領域において光学像を電気信号に変換するようにしてもよい。この撮像素子２９から出力される電気信号が画像データとなる。

Ａ／Ｄ変換部３０は、撮像素子２９から出力される画像データをデジタル化して、デジタル化した画像データをバッファメモリ部２４等に出力する。

画像処理回路２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像データに対する画像処理を行う。ここで、画像処理としては、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などが挙げられる。画像処理回路２２にて画像処理が施された画像データは、バッファメモリ部２４に一次記憶される他、通信部２８を介して記憶媒体３１に記憶される。

また、画像処理回路２２は、撮影指示が行われていない状態で撮像部２１にて連続して得られる画像データを用いて、主要被写体領域を設定する処理を実行する。ここで、撮影指示が行われていない状態で撮像部２１にて連続して得られる画像データを、スルー画像データと称する。なお、主要被写体領域を設定する処理については、後述する。

表示部２３は、例えば液晶ディスプレイが挙げられる。この表示部２３は制御部を有し、この制御部により表示部２３における画像の表示制御が行われる。ここで、表示部２３に表示される画像としては、撮像部２１により得られた画像データに基づく画像や、各種設定を行う際に表示する画像が挙げられる。バッファメモリ部２４は、撮像部２１によって生成された画像データや画像処理回路２２によって画像処理が施された画像データを一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する他、マスク抽出処理の結果を示すフラグや、フラグの履歴を記憶する。

ＣＰＵ２６は、画像処理回路２２や記憶部２５などから取得した情報や、操作部２７の操作状態などに基づいて、装置本体１１の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。

操作部２７は、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーから構成される。なお、表示部２３がタッチパネルを備えた表示部２３となる場合、タッチパネルも操作部２７として機能する。この操作部２７は、ユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。

通信部２８は、不揮発性メモリからなるメモリカード等、装置本体１１に対して着脱することができる記憶媒体３１と電気的に接続される。通信部２８は、装置本体１１に装着された記憶媒体３１にデータ（画像データ、領域の情報など）を書き込む、または記憶媒体３１に記憶されたデータを消去する。通信部２８は、必要に応じて、記憶媒体３１に記憶されたデータの読み出しを行う。

レンズ鏡筒１２は、撮像光学系３５、レンズ駆動部３６、エンコーダ３７、鏡筒制御部３８を有している。撮像光学系３５はフォーカスレンズやズームレンズなどの複数のレンズを有している。この撮像光学系３５の各レンズは、レンズ駆動部３６により、その位置が光軸方向に移動するように制御される。撮像光学系３５は、装置本体１１に設けられた撮像素子２９の受光面（光電変換面）に取り込まれた光学像を導く。

レンズ駆動部３６は、例えば駆動モータや、ギヤ機構又はヘリコイド機構などの駆動機構を有し、撮像光学系３５の各レンズを光軸方向に移動させる。エンコーダ３７は、撮像光学系３５のズームレンズやフォーカスレンズが光軸方向に移動したときに、その移動に伴う位置や移動方向を検出し、鏡筒制御部３８に出力する。

鏡筒制御部３８は、装置本体１１のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部３６を制御する。ここで、駆動制御信号とは、撮像光学系３５の各レンズを光軸方向に移動させる制御信号である。鏡筒制御部３８は、駆動制御信号に応じて、レンズ駆動部３６に出力するパルス電圧のステップ数を制御する。また、鏡筒制御部３８は、撮像光学系３５の各レンズの移動量に応じた信号に基づいて、フォーカスレンズの位置（フォーカスポジション）を、装置本体１１のＣＰＵ２６に出力する。

次に、画像処理回路２２の構成について説明する。上述したように、画像処理回路２２は、画像処理条件に基づいて画像データに対する画像処理を実行する他に、スルー画像データを用いて、主要被写体領域を設定する処理を実行する。図２に示すように、画像処理回路２２は、抽出部４１、判定部４２、追尾部４３、評価部４４及び設定部４５の機能を有している。

抽出部４１は、撮像部２１にて取得されるスルー画像データを用いて、該スルー画像データに基づいた画像に含まれる被写体の領域をマスクとして抽出する。以下、スルー画像データに基づく画像をスルー画像と称する。なお、マスク抽出処理については後述する。マスク抽出処理を行うことで、抽出部４１は、マスクとして抽出した被写体の情報（以下、マスク情報）を記憶部２５に記憶する。ここで、マスク情報としては、マスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、マスクの動き（移動方向、移動ベクトル）、マスクに該当する被写体までの距離の情報が含まれる。

判定部４２は、複数のスルー画像のそれぞれから得られるマスク情報を用いて、同一のマスクがｎ回（ｎフレーム）以上連続して検出されるか否かを判定する。この判定を行うことで、同一のマスクが安定しているか否かが判定される。

例えば、図示を省略した撮像光学系３５における光学ズーム倍率が一定の場合には、対象となるマスクと同色で、且つ同一サイズとなるマスクが、連続するｎフレーム以上のスルー画像データのそれぞれで検出されているか否かを判定する。この場合、被写体自体が動いていても、静止していてもよい。

また、撮像光学系３５における光学ズーム倍率を変更する場合や、撮像光学系３５における光学ズーム倍率が一定で被写体又は撮影者が撮像光学系３５の光軸方向に変化する場合もある。このような場合、連続して得られるスルー画像においては検出される被写体の領域の大きさが変化する。よって、対象となるマスクと同色となり、且つ光学ズーム倍率に合わせた拡大率又は縮小率でサイズが変化しているマスクが、連続するｎフレーム以上のスルー画像のそれぞれで検出されているか否かを判定すればよい。

ここで、判定部４２においては、同一のマスクがｎ回（ｎフレーム）以上連続して検出されるか否かを判定するようにしているが、少なくとも２回（２フレーム）以上連続して検出される場合に、マスクが安定していると判定することもできる。なお、マスクが安定しているか否かの判定として用いるスルー画像については、撮像部２１から出力される全てのスルー画像を対象としてもよいし、撮像部２１から出力されるスルー画像のうち、例えば３フレームおき等、所定フレーム間隔を空けて得られるスルー画像を対象のスルー画像として上記判定を行うことも可能である。

追尾部４３は、主要被写体領域が設定された以降に得られるスルー画像に対して、例えば主要被写体領域として設定されたマスクを用いたテンプレートマッチングの手法を用い、取得されるスルー画像に含まれる主要被写体領域の位置を特定する。この処理をスルー画像のそれぞれに対して行うことで、主要被写体を追尾することが可能となる。

評価部４４は、判定部４２において、ｎ回（ｎフレーム）以上連続して検出されるマスク（主要被写体領域として設定されるマスクも含む）に対する評価を実行する。ここで、評価部４４は、記憶部２５に記憶されたマスク情報を用いて、マスクに対する評価を行う。

設定部４５は、評価部４４における評価結果に基づいて主要被写体領域を設定する。ここで、主要被写体領域を設定する処理としては、主要被写体領域が設定されていないときに、新規に主要被写体領域を設定する場合の他に、主要被写体領域が設定されているときに、主要被写体領域となる被写体の領域を切り替える（再設定する）処理が含まれる。設定部４５は、主要被写体領域を設定したときに、該設定した情報を記憶部２５に書き込む。なお、この情報は、マスク情報に対応付けて記憶してもよいし、個別に記憶してもよい。

以下、主要被写体領域として用いるマスクを抽出する処理について、図３のフローチャートを参照して説明する。

ステップＳ１０１は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを生成する処理である。画像処理回路２２は、画像処理済みのスルー画像データを読み出す。そして画像処理回路２２は、読み出したスルー画像データから、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを生成する。

ステップＳ１０２は、注目点を推定する処理である。画像処理回路２２は、生成されたＹ画像データに対して、例えば２次元のガボールフィルタ関数を用いたフィルタ処理を行い、マップ（ガボールマップ）を生成する。ここで、２次元のガボールフィルタ関数を用いたフィルタ処理としては、複数方向（例えば４５°及び１３５°）の２次元のガボールフィルタ関数のそれぞれとＹ画像データとを畳み込みし、その演算結果を加算することで、畳み込み和を求める処理である。この処理を行うことで、ガボールマップが生成される。画像処理回路２２は、生成したガボールマップに対して２値化処理を行う。画像処理回路２２は、２値化処理を行ったガボールマップに含まれる白画素の領域の重心を注目点として推定する。なお、このステップＳ１０２における注目点を推定する処理は、上記に限定されるものではなく、例えばユーザが指定した位置を注目点の位置としてもよい。

ステップＳ１０３は、対象となるマスクを抽出する処理である。画像処理回路２２は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データのそれぞれを用いて、ステップＳ１０２にて推定した注目点となる画素と、その周辺部の画素を含む例えば３×３画素の領域における画素値の平均Ａｖｅを求める。画像処理回路２２は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データに対して、Ａｖｅ±ασを用いた２値化処理を行う。ここで、αは係数であり、例えばα＝０．６が挙げられる。また、σは標準偏差である。画像処理回路２２は、２値化処理によりＡｖｅ±ασの範囲に含まれる画素に対してラベリング処理を行う。このラベリング処理を行うことで、上記範囲に含まれる画素値を有する画素が白画素となり、上記範囲から外れる画素値を有する画素が黒画素となる。画像処理回路２２は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データのそれぞれから生成された２値化画像データを合成する。画像処理回路２２は、合成後の２値化画像データを用いて、白画素となる画素の領域が重なり合う領域をマスクとして抽出する。画像処理回路２２は、抽出したマスクに係る情報を、記憶部２５に記憶する。

このステップＳ１０３においては、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データから生成された２値化画像データを合成したときに、白画素となる領域が重なり合う領域をマスクとして抽出している。この他に、２値化画像データのいずれかにおいて白画素となる領域があれば、その領域をマスクとして抽出することも可能である。

ステップＳ１０４は、面積が大きいマスク又は面積が小さいマスクを除外する処理である。画像処理回路２２は、抽出されたマスクのうち、合成された２値化画像の総面積に対するマスクの総面積の比率が６０％以上となるマスクや、１％以下となるマスクを除外する。

ステップＳ１０５は、充填率が低いマスクを除外する処理である。画像処理回路２２は、マスクが含まれる矩形の領域（以下、矩形領域）毎に、矩形領域に対してマスクが占める比率を求める。そして、画像処理回路２２は、求めた比率が閾値（例えば０．２）以下である場合に、そのマスクを充填率が低いマスクとして除外する。

ステップＳ１０６は、横長及び縦長となるマスクを除外する処理である。画像処理回路２２は、マスクが含まれる矩形領域の縦横比を求める。画像処理回路２２は、求めた縦横比が、例えば０．２以上５未満の範囲から外れるマスクを横長のマスク又は縦長のマスクとして除外する。

ステップＳ１０７は、背景となるマスクを除外する処理である。画像処理回路２２は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを参照して、対象となるマスクにおける輝度値や色相の情報を読み出す。そして、画像処理回路２２は、輝度値や色相の情報から、背景に想到する輝度値や色相の情報を有するマスクを除外する。

ステップＳ１０８は、画像の周縁部に位置するマスクを除外する処理である。画像処理回路２２は、画像の左端および右端にかかるマスクや、例えば左端、右端にかかるマスクの画素数が縦辺に配置される画素の総数の１／３以上であれば排除する。

ステップＳ１０９は、除外したマスクの情報を記憶する処理である。画像処理回路２２は、ステップＳからステップＳによって除外したマスクの情報を記憶部に記憶する。

ステップＳ１１０は、抽出したマスクの優先度を設定する処理である。画像処理回路２２は、残りのマスクのそれぞれに対して、マスクの面積を慣性モーメントで除算した値（評価値）を求める。そして、求めた値（評価値）の高いマスクから順に優先度を設定する。

次に、撮影時の処理の流れについて、図４及び図５のフローチャートを用いて説明する。なお、これらフローチャートは、レリーズボタンが半押し操作されたことを契機にして実行される。

ステップＳ２０１は、スルー画像データを取得する処理である。ＣＰＵ２６は、撮像部２１を制御して、スルー画像データの取得を開始する。取得されたスルー画像データの画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像データは、所定の時間間隔で連続して取得される。

ステップＳ２０２は、画像処理である。ＣＰＵ２６は、画像処理回路２２に対して画像処理を行う指示を行う。この指示を受けて、画像処理回路２２は、バッファメモリ部２４に記憶されたスルー画像データを読み出す。そして、画像処理回路２２は、読み出したスルー画像データに対して、ホワイトバランス調整処理、補間処理、色調補正処理、階調変換処理などの画像処理を実行する。これら画像処理が実行された後、画像処理回路２２は、スルー画像データをバッファメモリ部２４に一時記憶する。

ステップＳ２０３は、スルー画像を表示する処理である。このステップＳ２０３の処理において、ＣＰＵ２６は、バッファメモリ部２４に一時記憶されたスルー画像データを読み出し、表示部２３に出力する。これを受けて、表示部２３は読み出したスルー画像データに基づくスルー画像を表示する。

ステップＳ２０４は、マスク抽出処理である。ＣＰＵ２６は、画像処理回路２２に対して、主要被写体領域を設定する指示を行う。この指示を受けて、画像処理回路２２は、バッファメモリ部２４からスルー画像データを読み出す。そして、画像処理回路２２は、読み出したスルー画像データを用いてマスク抽出処理を行う。マスクが抽出される場合、ＣＰＵ２６は、マスクが抽出されたことを示すフラグを記憶部２５に書き込む。一方、マスクが抽出されない場合、ＣＰＵ２６は、マスクが抽出されないことを示すフラグを記憶部２５に書き込む。

ステップＳ２０５は、マスクが抽出できたか否かを判定する処理である。ステップＳ２０４の処理により、記憶部２５にはマスク抽出の結果を示すフラグが記憶される。画像処理回路２２は、記憶部２５からフラグを読み出す。読み出したフラグが、マスクを抽出したことを示すフラグであれば、画像処理回路２２は、ステップＳ２０５の判定結果をＹｅｓとする。この場合、ステップＳ２０６に進む。一方、読み出したフラグが、マスクを抽出されていないことを示すフラグであれば、画像処理回路２２は、ステップＳ２０５の判定結果をＮｏとする。この場合、ステップＳ２２０に進む。

ステップＳ２０６は、マスク情報を記録する処理である。画像処理回路２２は、ステップＳ２０４により抽出したマスクに係る情報をマスク情報として記憶部２５等に記録する。

ステップＳ２０７は、ｎ回以上連続して抽出されたマスクがあるか否かを判定する処理である。このステップＳ２０７における判定は、ステップＳ２０４のマスク抽出処理により抽出されたマスクが安定しているか否かを判定するためのものである。よって、ｎ回以上連続して同一のマスクを抽出した場合、画像処理回路２２は、抽出されたマスクが安定していると判定する。つまり、主要被写体領域を正しく検出していると判断することができる。画像処理回路２２は、ステップＳ２０７の判定結果をＹｅｓとする。この場合、ステップＳ２０８に進む。一方、ｎ回以上連続して同一のマスクを抽出していない場合は、画像処理回路２２は、ステップＳ２０４のマスク抽出処理により抽出されたマスクが安定していないと判定する。画像処理回路２２は、ステップＳ２０７の判定結果をＮｏとする。この場合、ステップＳ２１５に進む。

ステップＳ２０８は、主要被写体領域を設定する処理である。画像処理回路２２は、ステップＳ２０４におけるマスク抽出処理により抽出されたマスクから、優先度の高いマスクを選択する。そして、画像処理回路２２は、選択されたマスクに対応する領域を主要被写体領域として設定する。

ステップＳ２０９は、主要被写体領域に係る情報を記憶する処理である。画像処理回路２２は、主要被写体領域の情報（主要被写体領域情報）を記憶部２５等に記録する。主要被写体領域情報としては、マスクに関するマスク情報、主要被写体領域の位置、主要被写体領域の大きさや形状などの情報が挙げられる。

ステップＳ２１０は、主要被写体領域情報を表示する処理である。ＣＰＵ２６は、主要被写体領域情報を表示部２３に出力する。表示部２３は、主要被写体領域情報に基づいた表示をスルー画像に重畳して表示する。主要被写体領域情報に基づいた表示としては、例えば主要被写体領域であることを示す枠が挙げられる。なお、この枠は、主要被写体領域の形状に応じた枠であってもよいし、矩形や円形など所定の形状の枠であってもよい。このような表示を行うことにより、ユーザは、自動で検出される主要被写体領域の位置や形状がどのようなものであるかを、容易に把握することができる。

ステップＳ２１１は、撮影指示があるか否かを判定する処理である。操作部２７を用いた入力操作が行われた場合、ＣＰＵ２６には、操作部２７における入力操作に基づく信号が入力される。ＣＰＵ２６は、この入力される信号が撮影指示を示す信号であるか否かを判定する。例えばレリーズボタンの全押し操作が行われた場合に入力される信号など、撮影指示を示す信号であれば、ＣＰＵ２６は、ステップＳ２１１の判定結果をＹｅｓとする。この場合、ステップＳ２１２に進む。一方、入力される信号が撮影指示を示す信号でない場合には、ＣＰＵ２６は、ステップＳ２１１の判定結果をＮｏとする。この場合、ステップＳ２０１に戻る。

ステップＳ２１２は、撮像処理である。例えば安定したマスク抽出が行えている場合には、ステップＳ２０８で主要被写体領域を設定し、ステップＳ２０９で該主要被写体領域情報を記憶している。ＣＰＵ２６は、記憶部２５に記憶される主要被写体領域情報に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行う。また、ＣＰＵ２６は、画像処理回路２２における各種画像処理の条件等を決定する。

一方、安定したマスク抽出が行えていないときにも、ユーザの操作により撮影が実行される場合がある。このような場合には、ＣＰＵ２６は、例えば中央の領域など特定の領域を用いて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行う。これに合わせて、ＣＰＵ２６は、画像処理回路２２における各種画像処理の条件等を決定する。ＣＰＵ２６は、上述した処理の結果に基づいて、撮像処理を実行する。

ステップＳ２１３は、画像を記録する処理である。ＣＰＵ２６は、ステップＳ２１２による撮像処理により取得された画像データを、通信部２８を介して記憶媒体３１に記録して一連の処理を終了する。

ステップＳ２０７の判定結果がＮｏとなる、言い換えれば、ｎ回以上連続して抽出されたマスクがないと判定された場合、ステップＳ２１５に進む。

ステップＳ２１５は、前回までのマスク抽出処理で連続して抽出されたマスクがあるか否かを判定する処理である。画像処理回路２２は、記憶部２５に記憶されたマスク情報を読み出す。例えば、前回までのマスク抽出処理において連続して抽出されたマスクに関するマスク情報があれば、画像処理回路２２は、ステップＳ２１５の判定結果をＹｅｓとする。この場合、ステップＳ２１０に進む。一方、前回までのマスク抽出処理において連続して抽出されたマスクに関するマスク情報がない場合、画像処理回路２２は、ステップＳ２１５の判定結果をＮｏとする。この場合、ステップＳ２１６に進む。

ステップＳ２１６は、通常の３Ａ処理である。例えば主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、ＣＰＵ２６は、通常の３Ａ処理を行う。３Ａ処理とは、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）であり、公知技術と同様に行われる。この処理が実行された後、ステップＳ２１１に進む。

また、ステップＳ２０５の判定結果がＮｏとなる場合、言い換えれば、取得されたスルー画像からマスクが抽出されない場合には、ステップＳ２２０に進む。

ステップＳ２２０は、ｍ（ｍ＜ｎ）回以上マスク抽出されていないか否かを判定する処理である。画像処理回路２２は、記憶部２５に書き込まれたフラグの履歴を参照する。画像処理回路２２は、記憶部２５に記憶されたフラグの履歴からｍ回以上マスクが抽出されていないか否かを判定する。例えばｍ回以上連続してマスクが抽出されていない場合には、画像処理回路２２は、ステップＳ２２０の判定結果をＹｅｓとする。この場合、ステップＳ２２１に進む。一方、ｍ回以上連続してマスクが抽出されている場合には、画像処理回路２２は、ステップＳ２２０の判定結果をＮｏとする。この場合、ステップＳ２１１に進む。

ステップＳ２２１は、画像の輝度値Ｂｖが所定値を超過するか否かを判定する処理である。画像処理回路２２は、バッファメモリ部２４に記憶されたスルー画像データを読み出す。画像処理回路２２は、読み出したスルー画像データを用いて画像の輝度値を求める。画像処理回路２２は、求めた画像の輝度値Ｂｖが所定値（例えば６）を超過するか否かを判定する。求めた画像の輝度値Ｂｖが所定値を超過する場合、画像処理回路２２は、ステップＳ２２１の判定結果をＹｅｓとする。この場合、ステップＳ２２２に進む。一方、求めた画像の輝度値Ｂｖが所定値以下となる場合には、画像処理回路２２は、ステップＳ２２１の判定結果をＮｏとする。この場合、ステップＳ２２４に進む。

ステップＳ２２２は、風景撮影用に設定される領域を主要被写体領域として設定する処理である。画像処理回路２２は、記憶部２５から風景撮影用に設定される領域の情報を読み出す。そして、画像処理回路２２は、読み出した風景撮影用に設定される領域を主要被写体領域として設定する。なお、風景撮影用に設定される領域としては、画像の中央の領域が挙げられ、その領域の横幅及び縦幅は、例えば画像の横幅及び縦幅の０．４倍に設定される。なお、風景撮影用に設定される領域の幅は一例を示すものである。

ステップＳ２２３は、主要被写体領域情報を記録する処理である。このステップＳ２２３の処理は、ステップＳ２０９と同一の処理である。

ステップＳ２２４は、主要被写体領域情報を表示する処理である。このステップＳ２２４の処理は、ステップＳ２１０と同一の処理である。

例えば、図６に示すように、晴れた日に山を撮影する場合には、スルー画像５１においては画像全体の輝度が高く、また画像全体の色相が類似していることから、スルー画像５１に含まれる山の部分を主要被写体として特定することができない。このような場合には、画像全体の輝度値に基づいて風景撮影であるか否かを自動的に判別する。つまり、輝度値が高い場合には風景撮影であると自動的に判別される。その結果、予め風景撮影用として設定される領域が主要被写体領域として設定される。したがって、このような場合には、表示部２３においては、スルー画像５１と風景撮影用の枠５２が表示される。

上述したステップＳ２２１の判定結果がＮｏとなる場合、言い換えれば、被写体輝度Ｂｖが所定値以下となる場合には、ステップＳ２２５に進む。

ステップＳ２２５は、マスク抽出処理時に除外されたマスクのうち、中央の領域に位置するマスクがあるか否かを判定する処理である。画像処理回路２２は、記憶部２５に記憶されたマスク情報を参照する。そして、参照したマスク情報に含まれるマスクの位置情報から、中央の領域に位置するマスクがあるか否かを判定する。中央の領域に位置するマスクがある場合、画像処理回路２２は、ステップＳ２２５の判定結果をＹｅｓとする。この場合、ステップＳ２２６に進む。一方、中央の領域に位置するマスクがない場合、画像処理回路２２は、ステップＳ２２５の判定結果をＮｏとする。この場合、ステップＳ２２８に進む。ここで、画像の中央の領域としては、例えば画像の横幅及び縦幅の１／２の領域を示す。なお、画像の中央の領域と、上述した風景撮影用の領域とは、同一の大きさであってもよいし、異なる大きさであってもよい。

ステップＳ２２６は、対象となるマスクを主要被写体領域として設定する処理である。例えばステップＳ２２５において中央の領域に位置するマスクがあると判定された場合には、該マスクを主要被写体領域として設定する。また、後述するステップＳ２２９において条件を満足するマスクがあると判定された場合には、抽出条件を変更することで抽出されたマスクを主要被写体領域として設定する。そして、画像処理回路２２は、主要被写体領域の情報を記憶部２５等に記録する。

ステップＳ２２７は、主要被写体領域情報を表示する処理である。ＣＰＵ２６は、主要被写体領域の情報を表示部２３に出力する。表示部２３は、入力された主要被写体領域の情報に基づいた表示をスルー画像に重畳して表示する。この処理が実行されると、ステップＳ２１１に進む。

このように、マスク抽出処理で除外されるマスクのうち、画像の中央の領域に位置するマスクがあれば、そのマスクを主要被写体領域として設定する。例えば建造物などを含む風景を撮影する場合等、マスク抽出処理によりマスクの対象から除外される場合がある。しかしながら、除外されたマスクのうち、ユーザが注目するマスクが中央の領域にあれば、そのマスクが主要被写体として設定される。したがって、主要被写体として抽出された対象物に合わせた枠が表示されるので、ユーザはユーザ自身が狙っている被写体の位置や大きさを確認することが可能となる。

ステップＳ２２５の判定結果がＮｏとなる、言い換えれば、除外されたマスクのいずれもが中央の領域に位置していない場合には、ステップＳ２２８に進む。

ステップＳ２２８は、抽出条件を変更してマスク抽出を行う処理である。なお、抽出条件を変更するとは、上述したマスク抽出処理時に実行される２値化処理における係数αの値を、α＝０．６ではなく、他の値（例えばα＝０．８，１．０，１．２）に変更することが挙げられる。なお、このステップＳ２２８の処理は、係数αの値を変更して、上述したマスク抽出処理（ステップＳ１０１からステップＳ１１０の処理）を実行する。この係数αの値を変更することで、ステップＳ２０４の処理におけるマスク抽出処理の際にマスクが抽出されない場合であっても、抽出条件を変更することでマスクを抽出することが可能となる。

ここで、抽出条件を変更する例として、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データに対して２値化処理を行う際の係数αの値を変更する場合を例に取り上げているが、この他に、注目点及びその周辺部の画素からなる３×３画素の領域ではなく、例えば注目点及びその周辺部の画素からなる３×３画素の領域に対して、上方向、下方向、左方向或いは右方向に３画素ずらした領域に含まれる画素の画素値の平均値、及び標準偏差をそれぞれ求め、これら値を用いた２値化処理を行うことも可能である。

ステップＳ２２９は、条件を満足するマスクがあるか否かを判定する処理である。画像処理回路２２は、ステップＳ２２８の処理を行うことで抽出されたマスクがあるか否かを判定する。抽出したマスクがあれば、画像処理回路２２は、ステップＳ２２９の判定結果をＹｅｓとする。この場合、ステップＳ２２６に進む。一方、抽出したマスクがない場合には、ステップＳ２２９の判定結果をＮｏとする。この場合、ステップＳ２３０に進む。

ステップＳ２３０は、中央の領域を主要被写体領域として設定する処理である。ＣＰＵ２６は、画像の中央の領域を主要被写体領域として設定する。そして、ＣＰＵ２６は主要被写体領域の情報を記憶部２５に書き込む。

ステップＳ２３１は主要被写体領域情報を表示する処理である。ＣＰＵ２６は、ステップＳ２３０にて設定した主要被写体領域の情報を表示部２３に出力する。この処理が実行されると、ステップＳ２１１に進む。

このように、マスク抽出処理で除外されるマスクのうち、中央の領域に位置するマスクがない場合には、抽出条件を変更してマスク抽出処理が再度実行される。再度実行されるマスク抽出処理によりマスクが抽出された場合には、抽出されたマスクを主要被写体領域とした枠が表示される。したがって、ユーザは新たに抽出されたマスクに基づく枠の表示を確認しながら、画角の調整を行うことが可能となる。

一方、抽出条件を変更してもマスクが抽出されない場合には、予め設定されている画像の中央の領域を主要被写体領域とした枠が表示される。この場合には、ユーザが注目している対象が枠の中に入るように画角の調整を行うことが可能となる。

本実施形態では、ステップＳ１０２において注目点を推定する処理を行っているが、この動作を行う必要はなく、例えばユーザによる操作部の入力操作に基づく位置を注目点とすることも可能である。

本実施形態では、抽出されたマスクのうち、最も評価値の高いマスクを主要被写体領域として設定しているが、例えばマスク抽出処理により抽出されたマスクを全て表示部に表示し、ユーザによる操作部の入力操作により、主要被写体領域とするマスクを選択させることも可能である。

本実施形態では、画像処理装置を備えた撮像装置を例に取り上げているが、これに限定される必要はなく、図２に示す画像処理回路の構成や、図３から図５に示すフローチャートの処理をコンピュータに実行させることが可能な画像処理プログラムであってもよい。この場合、画像処理プログラムは、メモリカード、光学ディスク、磁気ディスクなどコンピュータにて読み取り可能な記憶媒体に記憶されることが好ましい。

１０…撮像装置、２１…撮像部、２２…画像処理回路、２３…表示部、２６…ＣＰＵ、４１…抽出部、４２…判定部、４３…追尾部、４４…評価部、４５…設定部

Claims (12)

1. 画像に含まれる被写体領域を抽出する抽出部と、
   前記抽出部が前記被写体領域を抽出したか否かを判定する第１の判定部と、
   前記第１の判定部が前記被写体領域を抽出していないと判定したときに、前記画像が風景の画像であるか否かを推定する推定部と、
   前記推定部が前記風景の画像でないと推定したときに、前記被写体領域を抽出する際に用いる抽出条件を変更する条件変更部と、
   変更した前記抽出条件を用いて前記画像から前記被写体領域を再度抽出する再抽出部と、
   前記変更した前記抽出条件を用いて抽出された前記被写体領域を主要被写体領域として設定する設定部と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１の判定部が前記被写体領域を抽出していないと判定したときに、前記画像が取得される以前に前記被写体領域を安定して抽出していたか否かを判定する第２の判定部を備え、
   前記推定部は、前記第２の判定部が前記被写体領域を安定して抽出していないと判定したときに、前記画像が前記風景の画像であるか否かを推定することを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記推定部は、前記画像の輝度値に基づいて、前記画像が風景の画像であるか否かを推定することを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか１項に記載の画像処理装置において、
   前記設定部は、前記推定部が前記風景の画像であると推定したときに、風景撮影用として設定される領域を前記主要被写体領域として設定することを特徴とする画像処理装置。
5. 請求項１から請求項４のいずれか１項に記載の画像処理装置において、
   前記設定部は、変更した前記抽出条件を用いて前記被写体領域を抽出する処理を行っても前記画像から前記被写体領域を抽出していないときに、前記画像の中央の領域を前記主要被写体領域として設定することを特徴とする画像処理装置。
6. 請求項１から請求項５のいずれか１項に記載の画像処理装置において、
   前記抽出部は、
   前記画像を、輝度画像及び色度画像に変換する変換部と、
   前記輝度画像及び前記色度画像のそれぞれに対して前記抽出条件を用いた２値化処理を実行する２値化処理部と、
   前記２値化処理により生成された２値化画像を合成する合成部と、
   を備えたことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記抽出部は、合成された２値化画像に含まれる白画素で構成される白画素領域のうち、該白画素領域を含む矩形の面積に対する前記白画素領域の面積の比が閾値以下となる白画素領域を除外することを特徴とする画像処理装置。
8. 請求項６に記載の画像処理装置において、
   前記抽出部は、合成された２値化画像に含まれる白画素で構成される白画素領域のうち、該白画素領域を含む矩形の縦横比が所定範囲内に含まれる白画素領域を除外することを特徴とする画像処理装置。
9. 請求項６から請求項８のいずれか１項に記載の画像処理装置において、
   前記設定部は、変更した前記抽出条件を用いて前記画像から前記被写体領域を抽出する処理を実行したときに、合成された２値化画像に対して設定された所定領域に含まれる白画素領域を前記主要被写体領域として設定することを特徴とする画像処理装置。
10. 請求項１から請求項９のいずれか１項に記載の画像処理装置において、
    前記設定部が設定した前記主要被写体領域の情報を前記画像とともに表示する表示部を、さらに備えることを特徴とする画像処理装置。
11. 前記画像を取得する撮像部と、
    請求項１から請求項１０のいずれか１項に記載の画像処理装置と、
    を備えたことを特徴とする撮像装置。
12. 画像に含まれる被写体領域を抽出する抽出工程と、
    前記抽出工程により前記被写体領域を抽出したか否かを判定する判定工程と、
    前記判定工程により前記被写体領域を抽出していないと判定したときに、前記画像が風景の画像であるか否かを推定する推定工程と、
    前記推定工程により前記風景の画像でないと推定したときに、前記被写体領域を抽出する際に用いる抽出条件を変更する条件変更工程と、
    変更した前記抽出条件を用いて、前記画像から前記被写体領域を再度抽出する再抽出工程と、
    前記変更した前記抽出条件を用いて抽出された前記被写体領域を主要被写体領域として設定する設定工程と、
    をコンピュータに実行させることが可能な画像処理プログラム。

Images