JP5158974B2 - 注目領域抽出方法、プログラム、及び、画像評価装置 - Google Patents

Description

本発明は、注目領域抽出方法、プログラム、及び、画像評価装置に関する。

昨今において、主にデジタル画像の意味理解や画像検索における画像タグ付けの前処理を行うための方法や、スライドショーにおける自動ズームのズームセンターを決定する方法として、画像内から被写体を抽出する手法や主要な領域を抽出する手法が検討されている（例えば、非特許文献１及び非特許文献２参照）。また、このような手法とは別に、例えば、ユーザが画面上の所定の領域を指定するなど、ユーザの指示を基に特定の画像領域を抽出する方法も提案されている（例えば、特許文献１参照）。これらは、全て「画像からの注目領域抽出」という概念で分類されるものである。

特開２００５−７８２９０号公報

「注目度に基づく画像からの興味領域抽出」 木村 ｅｔ ａｌ． ＩＥＩＣＥ ＩＣＤ ２００５−２２１，２００５年 「ＡＵＴＯ ＣＲＯＰＰＩＮＧ ＦＯＲ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＳ」 Ｍ．Ｚｈａｎｇ ｅｔ ａｌ． ＩＥＥＥ ＩＣＭＥ ２００５，２００５年

しかしながら、従来の何れの手法においても、処理速度が遅いと言う課題があった。例えば、非特許文献１に記載の手法は比較的高速ではあるが、一般的なパソコン（ＰＣ）環境下で２００ｍ秒程度の時間がかかってしまう。現在の一般ユーザの写真撮影行動を鑑みるに、各ユーザは大量の画像データを保有している。その大量の画像データの中で一定数の枚数について、デジタルスチルカメラ（ＤＳＣ）等の組み込み環境下で、このような画像抽出処理を行おうとすると、トータルで１０秒以上の時間がかかってしまい、実アプリケーションを考えた際に、まだ実用的な速度とは言えない。また、非特許文献２に記載の手法は、一枚の画像を処理するのにＰＣ環境下においても数秒の時間がかかってしまう。この場合も、ＤＳＣ等の組み込み環境下での実アプリケーションを考えると好ましいものでない。

また、非特許文献１に記載の手法では、ユーザが注目する領域が、画像の中心付近に存在するものであると仮定して抽出処理を行っているが、実際に撮影される画像において、そのような仮定が成り立たないケースも多く存在する。このような画像に対して抽出処理を行うと、ユーザの感覚とはかけ離れた領域が注目領域として抽出されてしまう。一方、特許文献１に記載の発明では、画像上でユーザに注目する領域（若しくは点）を指定させた上で、領域の抽出を行うため、ＤＳＣ等のような小型デバイスで、ＰＣと比較して簡素なユーザインタフェースしか提供できない場合には、有効な機能とはならない。また、領域ベースのクラスタリングを行うため、処理速度の面でもＤＳＣ等の組み込み環境下では実用的な速度では実現できないものである。

本発明はこのような課題に鑑みてなされたものであり、より高速でより高精度であり、かつ、ＤＳＣ等の組み込み環境下においても実用的な注目領域の抽出が可能な注目領域抽出方法、プログラム、及び、画像評価装置を提供することを目的とする。

前記課題を解決するために、第１の本発明に係る注目領域抽出方法は、画素毎に、輝度及び２つの色度で表現されたデジタル画像である被抽出画像の注目領域を抽出する注目領域抽出方法であって、被抽出画像の、輝度及び２つの色度に対応する３つのプレーンの各々から、当該画素毎に、被抽出画像のエッジ成分を抽出し、画素毎に、３つのプレーンの各々のエッジ成分を重み付けして加算することにより、画素毎のエッジ量を算出するステップと、被抽出画像の画素数と対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの要素の各々を、被抽出画像の対応する画素のエッジ量に乗算して、画素毎の注目度を算出するステップと、被抽出画像において、注目度が所定の閾値より大きい画素の全てを内包する領域を注目領域として抽出するステップと、を有する。

このような注目領域抽出方法は、被抽出画像を、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、エッジ量を算出するステップは、被抽出画像及びリサイズ画像毎に、エッジ量を算出するように構成され、注目度を算出するステップは、さらに、リサイズ画像から算出されたエッジ量を、被抽出画像の画素数と同一次元に復元するステップと、被抽出画像から算出されたエッジ量及びリサイズ画像から算出されて復元されたエッジ量の各々に、注目領域重み付けマップの要素の各々を乗算し、さらに、注目領域重み付けマップが乗算されたエッジ量の各々に、予め設定された重みを乗じて画素毎に加算して、画素毎の注目度を算出するステップと、を有することが好ましい。

さらに、このような注目領域抽出方法は、被抽出画像から、注目領域として抽出するステップにおいて抽出された領域を切り出すステップと、切り出された被抽出画像を、少なくとも１つ以上の異なるサイズにリサイズするステップと、切り出された被抽出画像及び切り出された被抽出画像をリサイズした画像毎にエッジ量を算出するステップと、切り出された被抽出画像をリサイズした画像から算出されたエッジ量を、切り出された被抽出画像の次元に復元するステップと、切り出された被抽出画像から算出されたエッジ量及び切り出された被抽出画像をリサイズした画像から算出され、さらに復元されたエッジ量を、予め設定された重みを乗じて画素毎に加算して、切り出された被抽出画像の注目度を算出するステップと、切り出された被抽出画像の注目度を、当該注目度が所定の閾値以上のときを１とし、所定の閾値より小さいときを０として二値化するステップと、この二値化された注目度において、隣接して１が設定されている画素をグループ化し、所定の個数以上の画素が含まれる前記グループを注目領域部分領域として決定し、当該注目領域部分領域の全てを内包する領域を新たな注目領域として抽出するステップと、を有することが好ましい。

また、第２の本発明に係る注目領域抽出方法は、画素毎に、輝度及び２つの色度で表現されたデジタル画像である被抽出画像の注目領域を抽出する注目領域抽出方法であって、被抽出画像の、輝度及び２つの色度に対応する３つのプレーンの各々から、当該プレーン毎に、画素の値の標準偏差及び平均値を求めてこの標準偏差を平均値で除算することにより変動係数を算出し、当該変動係数が最も大きいプレーンを処理対象プレーンとして選択するステップと、被抽出画像の処理対象プレーンを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップと、被抽出画像及びリサイズ画像の処理対象プレーンにおいて、画素毎にエッジ成分を抽出して画素毎のエッジ量を算出するステップと、被抽出画像及びリサイズ画像のうち、次元の最も小さい画像を基準画像とし、残りの被抽出画像及びリサイズ画像から算出されたエッジ量を、基準画像の画素数と同一次元に復元するステップと、基準画像のエッジ量及び復元されたエッジ量の各々の画素に、基準画像の画素数と対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの要素の各々を乗算し、さらに、注目領域重み付けマップが乗算されたエッジ量の各々に、予め設定された重みを乗じて画素毎に加算して、画素毎の注目度を算出するステップと、被抽出画像において、注目度が所定の閾値より大きい画素の全てを内包する領域を前記注目領域として抽出するステップと、を有する。

また、本発明に係るプログラムは、上述の注目領域抽出方法をコンピュータに実行させるものである。

さらに、本発明に係る画像評価装置は、画素毎に、輝度及び２つの色度で表現されたデジタル画像を記憶する記憶部と、この記憶部からデジタル画像を被抽出画像として読み出して、上述の注目領域抽出方法のいずれかにより当該被抽出画像の注目領域を抽出する注目領域抽出部と、を有する。

本発明に係る注目領域抽出方法、プログラム、及び、画像評価装置を以上のように構成すると、より高速な注目領域の抽出を、より高精度に行うことができ、デジタルスチルカメラ等の組み込み環境下においても実用的な注目領域の抽出を行うことができる。

画像評価装置の構成を表すブロック図である。 データベースのデータ構造を示す説明図である。 上述の画像評価装置で実行される画像評価処理のフローチャートである。 第１の注目領域抽出方法を示すフローチャートである。 ラプラシアン処理に用いるフィルタを示す説明図であり、（ａ）は８近傍ラプラシアンフィルタを示し、（ｂ）は４近傍ラプラシアンフィルタを示す。 注目領域重み付けマップの一例を説明するための説明図である。 画像評価処理により、画像表示装置に表示された画像の一例を説明するための説明図である。 第２の注目領域抽出方法を示すフローチャートである。 第３の注目領域抽出方法を示すフローチャートである。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る注目領域抽出方法が実行される画像評価装置１００の構成について説明する。図１に示すように、この画像評価装置１００は、装置全体を制御する制御部１０２と、画像及びこの画像の各種情報から構成される画像データが記憶されるデータベース１０３（記憶部）と、画像を表示するための画像表示部１０１と、制御部１０２の制御によりデータベース１０３に画像データを保存する画像データ保存部１０４と、制御部１０２の制御により画像から注目領域を抽出する注目領域抽出部１０５と、制御部１０２の制御により抽出された注目領域を画像表示部１０１に表示する注目領域表示部１０６と、制御部１０２に画像データ保存の指示を与える画像保存スイッチ（Ｓ／Ｗ）１０７と、制御部１０２に注目領域抽出開始の指示を与える注目領域抽出開始スイッチ（Ｓ／Ｗ）１０８と、画像表示部１０１への注目領域の表示指示を与える注目領域表示スイッチ（Ｓ／Ｗ）１０９とから構成される。

データベース１０３は、図２に示すように、画像データの格納先や注目領域の座標などが記憶される画像情報格納領域１０３ａと、画像そのものとその属性情報が関連付けられて画像データとして記憶される画像データ格納領域１０３ｈとを有する。画像情報格納領域１０３ａは、図２（ａ）に示すようなデータ構造を有しており、画像データを識別する識別情報（ＩＤ）として、例えばファイル名が記憶されるファイル名記憶領域１０３ｂと、この画像データの格納先の先頭アドレスが記憶されるアドレス記憶領域１０３ｃと、画像の高さ方向（縦方向）のサイズが画素数として記憶される画像サイズ（高さ）記憶領域１０３ｄと、画像の幅方向（横方向）のサイズが画素数として記憶される画像サイズ（幅）記憶領域１０３ｅと、抽出された注目領域の左上の座標（ｔｏｐ，ｌｅｆｔ）が記憶される左上座標記憶領域１０３ｆと、当該注目領域の右下の座標（ｂｏｔｔｏｍ，ｒｉｇｈｔ）が記憶される右下座標記憶領域１０３ｇと、を少なくとも有している。なお、この座標については、画像の左上隅を原点（０，０）とし、高さ方向をｘ軸、幅方向をｙ軸として表している。したがって、ｔｏｐ及びｂｏｔｔｏｍは原点からの高さ方向の相対位置を画素で示したものであり、ｌｅｆｔ及びｒｉｇｈｔは原点からの幅方向の相対位置を画素で示したものである。

一方、画像データ格納領域１０３ｈは、図２（ｂ）に示すようなデータ構造を有しており、画像そのものが記憶される画像記憶領域１０３ｉと、ヘッダ領域、撮影時刻情報などの属性情報が記憶される属性情報記憶領域１０３ｊとを有し、１つの画像データに対する情報が１レコードとして管理される。ここで、画像データ格納領域１０３ｈに格納されている画像データの格納場所（アドレス）は、画像情報格納領域１０３ａのアドレス記憶領域１０３ｃに記憶されており、ファイル名記憶領域１０３ｂに記憶されている画像データのファイル名から、読み出そうとする画像データを特定し、この画像データの格納領域の先頭アドレスをアドレス記憶領域１０３ｃから抽出して、画像データ格納領域１０３ｈから該当する画像データそのものを取得することができる。なお、この画像記憶領域１０３ｉと属性情報記憶領域１０３ｊとを一つのファイルとして構成するようにしてもよい。このようなデータ構造としては、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等が知られている。

次に、このような構成の画像評価装置１００による注目領域抽出方法を用いた画像評価処理について、図３のフローチャートを合わせて用いて説明する。この画像評価処理は、画像データ保存部１０４によって行われる画像データ保存処理（ステップＳ１１０〜Ｓ１２０）と、注目領域抽出部１０５によって行われる注目領域抽出処理（ステップＳ２１０）と、注目領域表示部１０６によって行われる注目領域表示処理（ステップＳ３１０）とから構成され、これらの処理は、ユーザが画像保存スイッチ１０７、注目領域抽出開始スイッチ１０８、または、注目領域表示スイッチ１０９の何れかを押下することにより実行される。

具体的には、何れかのスイッチ１０７〜１０９が押下されると、これらのスイッチ１０７〜１０９から処理の開始信号が制御部１０２に発信される。これを受信した制御部１０２では、何れのスイッチ１０７〜１０９からの開始信号であるかを判定し、判定された開始信号の指示に従って、各部に処理実行を指令する（ステップＳ１００，Ｓ２００，Ｓ３００）。各部での処理が終わったら、制御部１０２は、全ての処理が終了したか判定し（ステップＳ４００）、処理が全て終了したら、この画像評価処理を終了する。ここで、この終了の判定は、例えば、電源オフや図示しない終了スイッチの押下などの終了動作が行われ、この終了動作によって発信された終了信号を制御部１０２が受信することにより行ってもよい。このような終了動作がされない間は指示待ち状態となり、何れかのスイッチ押下による次の指示があったタイミングで、制御部１０２は、この指示に従って、画像データ保存処理、注目領域抽出処理、又は、注目領域表示処理のいずれかの処理を続行する。以下、各部の処理の詳細について説明する。

まず、画像評価装置１００に画像データを新規に保存する際には、図示しない外部媒体読み取り装置（たとえば、ＳＤカードリーダ）に画像データが格納された媒体（例えばＳＤカード）を取り付け、画像保存スイッチ１０７を押下する。この画像保存スイッチ１０７が押下されると、制御部１０２は、画像データ保存部１０４に処理実行を指令する（ステップＳ１００）。そして、画像データ保存部１０４は、インターフェース（例えば、ＳＤカードインタフェース）を経由して媒体から画像データを読み出し、この画像データに識別ＩＤであるファイル名（例えば、ｆｉｌｅ１．ｊｐｇ）を付与し、このファイル名とともにデータベース１０３の画像データ格納領域１０３ｈに格納する（ステップＳ１１０）。さらに、画像データ保存部１０４は、記憶された画像データに関する情報を、データベース１０３の画像情報格納領域１０３ａに記憶し、データベース１０３を更新する（ステップＳ１２０）。この場合、画像データに関する情報として、画像データのファイル名、格納先の先頭アドレス、画像の高さ方向及び幅方向のサイズが、各記憶領域（１０３ｂ〜１０３ｅ）に設定される。また、注目領域の左上座標記憶領域１０３ｆには原点（０，０）の座標が、右下座標記憶領域１０３ｇには、画像の右下の座標（画像の高さ，画像の幅）が、初期値として設定される。

そして、注目領域抽出開始スイッチ１０８が押下されると、制御部１０２は、注目領域抽出部１０５に処理実行を指令する（ステップＳ２００）。注目領域抽出部１０５は、この命令を受信すると、画像データベース１０３に記憶されている全ての画像データを対象に、後述する注目領域抽出処理を実行し、その結果（抽出された注目領域に関する情報）を、対応する画像データの画像情報格納領域１０３ａ（左上座標記憶領域１０３ｆ及び右下座標記憶領域１０３ｇ）に記憶する（ステップＳ２１０）。

最後に、注目領域表示スイッチ１０９が押下されると、制御部１０２は、注目領域表示部１０６に処理実行を指示する（ステップＳ３００）。注目領域表示部１０６は、この命令を受信すると、データベース１０３の画像データ格納領域１０３ｈに記憶された画像データを読み出すとともに、画像情報格納領域１０３ａから各画像の注目領域の左上座標と右下座標を読み出す。そして、この左上座標と右下座標で指定される注目領域に対応するデータが、読み出した画像データから抽出され、所定の表示画像として合成された上で、各画像データが画像表示部１０１に整列表示される（ステップＳ３１０）。図７に、この画像表示部１０１における画像データの表示例を示す。この図７に示す表示例では、全体画像を画像表示部１０１に表示した上で、各画像における注目領域を矩形で囲って表示しているが、画像表示部１０１への表示方法はこれに限定されることはなく、注目領域のみを抽出して表示してもよいし、全体画像と注目領域とを並べて表示してもよい。

それでは、注目領域抽出部１０５で実行される注目領域抽出処理の詳細として、３つの方法について以下に説明する。なお、上述のように注目領域抽出部１０５では、データベース１０３に格納された全ての画像データに対して注目領域の抽出が行われるが、以降においては、１つの画像データに対する注目領域の抽出処理について説明する。また、画像データとして格納されている画像は、輝度（Ｙ）及び２つの色度（Ｃｂ，Ｃｒ）で表現されたデジタル画像、すなわち、ＹＣｂＣｒ表色系で表現されたデジタル画像であるとする。

（第１の注目領域抽出方法）
図４に示すように、注目領域抽出部１０５では、最初に、注目度マップ作成処理が行われる（ステップＳ２１１）。この注目度マップ作成処理では、まず、データベース１０３に記憶された画像のリサイズ（縮小）処理が行われる。すなわち、データベース１０３の画像情報格納領域１０３ａから読み出され、処理対象として指定された１つの被抽出画像（以下、「入力画像ｉｍｇ１」と呼ぶ）に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした画像を生成する。以下、１／２にリサイズされた画像を「入力画像ｉｍｇ２」と呼び、１／４にリサイズされた画像を「入力画像ｉｍｇ３」と呼ぶ。

そして、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、ラプラシアン（Ｌａｐｌａｃｉａｎ）処理が行われる。ここで、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンを、以下の式（ａ１）〜（ａ３）のように定義する。なお、（ｘ，ｙ）は画素の座標を示し、ｘ軸、ｙ軸の定義は上述した通りである。

次に、下記式（ｂ１）〜（ｂ９）を用いて、上記で定義した入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３，ΔＣｂ１〜３，ΔＣｒ１〜３）を求める。

上記式（ｂ１）〜（ｂ９）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。

そして、以上のようにして求めた各プレーンのラプラシアン画像に対して、以下に示す式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各プレーンのエッジ成分（隣接画素とのコントラスト）に、予め決められた係数を乗じた上で、３つのプレーンの対応する各画素の値を加算する。これにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。

上記式（ｃ１）〜（ｃ３）中、演算子「×」は各画像の画素値に共通の係数（ｗＹ，ｗＣｂ，ｗＣｒ）を乗算することを意味する。なお、この係数（ｗＹ，ｗＣｂ，ｗＣｒ）は、それぞれΔＹ，ΔＣｂ，ΔＣｒ各々に対する重み付け係数（スカラ値）であり、Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３の計算時においては、共通の値が用いられる。また、係数ｗＭを乗じている３つの項目は、各プレーンの画素数から、各プレーンの平均値（ｍｅａｎ（＊）で表す）を減算した値の絶対値（ａｂｓ（＊）で表す）に、各々ｗＭ＿Ｙ等の係数を乗算し、さらに、その総和に係数ｗＭを乗算しているが、これは次段の処理で得られる注目度マップ算出の際に、背景画像からの影響を除去する効果を期待して付け加えられている。

さらに、以下に示す式（ｄ１）〜（ｄ３）を用いて、上述の処理で求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め定義されてこの画像評価装置１００に設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、注目度マップＳａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして、対応する画素毎に加算することにより、画素毎の注目度から構成される当該入力画像の注目度マップＳａｌを得る。

なお、上記式（ｄ１）〜（ｄ３）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズ（元の画像サイズに復元）する関数を意味する。すなわち、式（ｄ２），（ｄ３）では、入力画像ｉｍｇ１の次元に対して、それぞれ１／２、１／４されているため、これらのラプラシアン画像Δｉｍｇ２，Δｉｍｇ３を元の画像の次元にリサイズしている。また、ｗＭａｐは注目領域重み付けマップであり、Δｉｍｇ１と次元数を等しくした行列である。例えば、Δｉｍｇ１の次元（すなわち、入力画像ｉｍｇ１の次元）が８０×１２０（画素）の場合には、ｗＭａｐは同様に８０×１２０（画素）の次元を有する。なお、ｗＭａｐは以下に示す式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである。また、Ｓａｌ１〜Ｓａｌ３の定義式（ｄ１）〜（ｄ３）に現れる行列に対する演算子「×」は当該演算子の両側にある行列の各要素を各々乗算することを意味する。そのため、必然的に、２つの行列の次元は一致している必要がある。また、式（ｄ４）中、ｗｄ１〜ｗｄ３はＳａｌ１〜Ｓａｌ３に対する重み付け因子（スカラ値）である。

上記式（ｄ５）及び（ｄ６）中、μ_n及びｇｗ_nは、ｗＭａｐを形成する各ガウシアン（ｎでインデクス付けしている）の平均ベクトル、及び、共分散行列Σの重み付け係数をそれぞれ示す。ここで、この注目領域重み付けマップｗＭａｐの例を図６に示す。この図６に示す注目領域重み付けマップｗＭａｐは、５つのガウシアン分布を組み合わせた場合を示している。なお、この注目領域重み付けマップｗＭａｐは、例えば、サンプル画像を収集して解析することにより生成される。

上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ２１２）が行われる。具体的には、以下に示す式（ｅ１）を用いて、作成された注目度マップから、所定の閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを注目点（ＰＯＩ）として定義する。

注目点（ＰＯＩ）の抽出が完了すると、次に、注目領域（ＲＯＩ）決定処理（ステップＳ２１３）が行われる。まず、上記注目点（ＰＯＩ）抽出処理で求められたＰＯＩを全て内包する領域、すなわち、画像中の全注目点（ＰＯＩ）を含む最小矩形領域の左上座標（ｔｏｐ，ｌｅｆｔ）及び右下座標（ｂｏｔｔｏｍ，ｒｉｇｈｔ）を求め、この領域を最終的な注目領域（ＲＯＩ）とする。具体的には、以下の式（ｆ１）〜（ｆ５）で定義された手順を順次実行する。下記式中、ｘ，ｙは、注目点のｘ座標、ｙ座標を表し、添え字ｎは抽出された注目点のＩＤを表す。

上記式（ｆ２）〜（ｆ５）で求められた注目領域（ＲＯＩ）の左上座標（ｔｏｐ，ｌｅｆｔ）及び右下座標（ｂｏｔｔｏｍ，ｒｉｇｈｔ）の値が、画像情報格納領域１０３ａの左上座標記憶領域１０３ｆ及び右下座標記憶領域１０３ｇに記憶され、データベース１０３が更新される（ステップＳ２１４）。

以上のように、一つの被抽出画像をリサイズ（縮小）した２つのリサイズ画像を生成して次元の異なる３つの画像とし、それぞれの画像を構成する３つのプレーンに対してエッジ抽出処理をして重み付けをした上で合成し、また、次元の異なる３つの画像の各々に対して注目領域重み付けマップｗＭａｐで重み付けをして、さらにこれらの３つの画像を重み付けして合成して注目マップＳａｌを生成することにより、注目領域の抽出の精度を向上させることができる。

（第２の注目領域抽出方法）
次に、第２の注目領域抽出方法について説明する。この方法は、上述の第１の注目領域抽出方法により注目領域を大まかに抽出し（以下、「ラフ抽出処理」と呼ぶ）、その後、抽出された注目領域を基に、再度注目領域の抽出処理を行って（以下「ファイン抽出」と呼ぶ）、注目領域の抽出処理の高精度化を図っている。

この第２の注目領域抽出方法の詳細を、図８のフローチャートを用いて説明する。この図８に示すように、まず、注目領域抽出部１０５によって、ラフ抽出処理（ステップＳ２２１〜Ｓ２２３）が行われる。この処理では、最初に注目度マップ作成処理が行われる（ステップＳ２２１）。この処理の詳細は、第１の注目領域抽出方法と同様であり、データベース１０３から画像データが読み出され、処理対象として指定された被抽出画像（入力画像ｉｍｇ１）に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が作成される。そして、これらの入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、前出の式（ａ１）〜（ａ３）を用いて、ラプラシアン処理が行われる。

さらに、第１の注目領域抽出方法と同様に、前出の式（ｂ１）〜（ｂ９）を用いて、上記で定義された入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３、ΔＣｂ１〜３、ΔＣｒ１〜３）が求められる。

そして、このようにして求めた各プレーンのラプラシアン画像に対して、前出の式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各画素に対して予め決められた係数を乗じた上で、各値を加算することにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。その後、前出の式（ｄ１）〜（ｄ６）を用いて、入力画像の第１の注目度マップＳａｌが求められる。

上述のようにして第１の注目度マップＳａｌが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ２２２）が行われる。この処理も、第１の注目領域抽出方法と同様に、前出の式（ｅ１）を用いて、閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを第１の注目点（ＰＯＩ）と定義する。そして、次の注目領域（ＲＯＩ）決定処理（ステップＳ２２３）では、この抽出された第１の注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、第１の注目領域が求められる。なお、このラフ抽出処理にて求められた第１の注目領域を、以下、「ＲＯＩ_rough」と呼ぶ。

次に、ファイン抽出処理（ステップＳ２２４〜Ｓ２２６）について説明する。上記のラフ抽出処理で抽出された第１の注目領域ＲＯＩ_roughを基に、ファイン抽出処理が行われる。この処理では、まず、注目度マップの再生成処理が行われる（ステップＳ２２４）。この場合、入力画像ｉｍｇ１から第１の注目領域ＲＯＩ_roughに対応する領域を切り出して、この領域をファイン抽出処理用の入力画像ｉｍｇ１_fineとする。この際、ＲＯＩ_roughで既定される領域の幅及び高さが４の倍数ではない場合は、下端行及び右端列をそれぞれコピーたしたものをｉｍｇ１_fineに付与することとする。なお、右下隅についてはコピー元の右下隅の情報を用いることができる。この入力画像ｉｍｇ１_fineを基に、ラフ抽出処理と同様に、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズ（復元）した入力画像ｉｍｇ２_fine及び入力画像ｉｍｇ３_fineが生成される。これらを基に、前出の式（ｄ１）〜（ｄ４）を用いて、入力画像の第２の注目度マップＳａｌが求められる。この一連の処理は、基本的にはラフ抽出処理と同様の処理となるが、各式中のパラメータはラフ抽出処理とは異なる値となる。また、前出の注目度マップＳａｌ１〜Ｓａｌ３を求める式（ｄ１）〜（ｄ３）の注目領域重み付けマップｗＭａｐ（ｘ，ｙ）は、ｘ，ｙの値によらず全て１とする（すなわち、このファイン抽出処理では、注目領域重み付けマップｗＭａｐによる重み付けは行わない）。

第２の注目度マップの再生成が終了すると、次に、この第２の注目度マップの２値化処理が行われる（ステップＳ２２５）。すなわち、上記注目度マップの再生成処理を行った結果得られた第２の注目度マップＳａｌ（以下、「Ｓａｌ_fine」と呼ぶ）に対して、所定の閾値ｔｈ_fineを基に、以下に示す式（ｇ１）〜（ｇ２）を用いて、２値化処理を行うことにより（注目度マップの各画素の値が、閾値ｔｈ_fine以上のときは「１」とし、それより小さいときは「０」とする）、２値化注目度マップ（以下、「Ｓａｌ_bin」と呼ぶ）を生成する。

注目度マップの２値化処理では、次に、上記式（ｇ１）又は（ｇ２）で生成されたＳａｌ_binに対して、図５（ｂ）に示すような４近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、２値化注目度マップＳａｌ_binのエッジ成分（輪郭成分にほぼ等しい）の抽出が行われる。そして、この畳み込み演算の結果が０ではない優位な値を持つ画素に対して、以下に示す手順（１）〜（３）によりラベリング処理が行われる。

（１）ラベル値をλと定義し、このλ＝０を初期値として、Ｓａｌ_bin上の左上から順方向ラスタ走査を行う。
（２）走査の過程で、ラベル値が付与されておらず、画素値が０でない画素を発見した時、当該画素にラベル付けを行う。この際、既走査の８近傍画素に付与されているラベル値に応じて、以下の通り、付与するラベル値λを変化させる。
（ｉ）既走査の８近傍画素の全ての画素値が０であった場合、ラベル値λを１カウントアップ（λ＝λ＋１）して、当該画素にラベル値λを付与する。
（ii）ラベル値が１種類の場合は、λの更新を行わず、当該画素にラベル値λを付与する。
（iii）ラベル値が２種類（λ，λ′，λ＜λ′）の場合は、当該画素にラベル値λを付与し、さらに、既走査画素においてλ′のラベル値が付与されている画素を全てラベル値λに変更する。
（３）上記（２）の処理を、Ｓａｌ_bin上の全ての画素に対して行う。

次に、注目度マップの２値化処理において、ラベリング結果の評価が行われる。まず、上記のようにＳａｌ_bin上の０でない全画素を対象にラベリング処理を行った後、ラベル値ごとに、付与されている画素の個数ｎ_λをカウントする。このｎ_λを所定の閾値ｔｈ_λにより評価し、ｎ_λがｔｈ_λよりも大きいラベルを抽出する。その後、当該ラベルが付与されている画素（の集合）を、注目領域部分領域ＰＯＩ_fineと定義する。

注目度マップの２値化処理が終了すると、次に、注目領域（ＲＯＩ）の決定処理（ステップＳ２２６）が行われる。この処理では、上述の通り求めた注目領域部分領域ＰＯＩ_fineを全て内包する最小矩形領域の左上座標（ｔｏｐ，ｌｅｆｔ）及び右下座標（ｂｏｔｔｏｍ，ｒｉｇｈｔ）が求められ、この領域が第２の注目領域抽出方法における最終的な注目領域（ＲＯＩ）となる。具体的には、前出の式（ｆ１）〜（ｆ５）で定義された手順が順次実行される。このようにして求められた左上座標（ｔｏｐ，ｌｅｆｔ）及び右下座標（ｂｏｔｔｏｍ，ｒｉｇｈｔ）の値が、画像情報格納領域１０３ａの左上座標記憶領域１０３ｆ及び右下座標記憶領域１０３ｇに記憶され、データベース１０３が更新される（ステップＳ２２７）。このように、第２の注目領域抽出方法によると、注目領域抽出処理をラフ抽出処理とファイン抽出処理の２段階で行うことで、注目領域の抽出をより高精度に行うことが可能となる。

（第３の注目領域抽出方法）
次に、第３の注目領域抽出方法について説明する。第１の注目領域抽出方法では、注目度マップを作成する際に、ＹＣｂＣｒの３つのプレーン全てを評価していたが、第３の注目領域抽出方法では、ＹＣｂＣｒの何れか１つのプレーンのみを処理対象として、注目度マップを作成した上で、注目領域の抽出を行っている。これにより、第３の注目領域抽出方法では、注目領域の抽出処理の高速化を図っている。

以下、注目領域抽出部１０５における注目領域抽出処理について、図９のフローチャートを用いて説明する。この図９に示すように、まず、注目領域抽出部１０５によって、変動係数の計算及び処理対象プレーンの選択処理（ステップＳ２３１）が行われる。この処理では、まず、データベース１０３から画像データが読み出され、処理対象として指定された被抽出画像（入力画像ｉｍｇ１）に対して、各プレーンの変動係数が算出される。ここで、Ｙプレーンの変動係数をＶ_Y、Ｃｂプレーンの変動係数をＶ_Cb、Ｃｒプレーンの変動係数をＶ_Crと定義したとき、これらの変動係数は、以下に示す式（ｈ１）〜（ｈ３）を用いて求められる。

上記式（ｈ１）〜（ｈ３）中、ｓｄ（＊）は当該プレーンにおける画素のエッジ成分の標準偏差を求める演算を意味し、ｍｅａｎ（＊）は当該プレーンにおける画素のエッジ成分の平均値を求める演算を意味する。

このように変動係数が求まったら、以下に示す式（ｉ１）を用いて、処理対象プレーンＳＰの選択を行う。

上記式（ｉ１）中、ｍａｘ（＊）は引数で最大の要素を返す関数であり、ａｒｇはｍａｘ（＊）の返り値がＶ_Y，Ｖ_Cb，Ｖ_Crいずれのプレーンであるかを判定する演算子である。すなわち、変動係数が最も大きなプレーンが処理対象プレーンとして選択される。例えば、Ｖ_Y，Ｖ_Cb，Ｖ_Crのうち、Ｙプレーンの変動係数Ｖ_Yが最も大きな値であった場合、処理対象プレーンはＹプレーンとなる。以下、この処理対象プレーンを、「ＳＰ」と呼ぶが、例えば、入力画像ｉｍｇ１に対して選択された処理対象プレーンを、「ＳＰ１」と呼ぶ。

処理対象プレーンＳＰの選択が終了すると、次に、この処理対象プレーンＳＰに対して注目度マップ作成処理が行われる（ステップＳ２３２）。まず、入力画像のリサイズが行われるが、処理対象として指定された入力画像ｉｍｇ１に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が生成される。なお、入力画像ｉｍｇ２及び入力画像ｉｍｇ３の処理対象プレーンは、それぞれ「ＳＰ２」、「ＳＰ３」と呼ぶ。

次に、以下に示す式（ｂ１′）〜（ｂ３′）を用いて、入力画像ｉｍｇ１〜ｉｍｇ３の処理対象プレーンＳＰ１〜ＳＰ３に対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＳＰ１〜ΔＳＰ３）を求める。

上記式（ｂ１′）〜（ｂ３′）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。

そして、以下に示す式（ｄ１′）〜（ｄ３′）を用いて、上述のようにして求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、Ｓａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして画素毎に加算することにより、入力画像全体の注目度マップＳａｌを得る。

上記式（ｄ１′）〜（ｄ３′）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズする関数を意味する。すなわち、第１の注目領域抽出方法では、被抽出画像である入力画像ｉｍｇ１の次元にリサイズしていたが、この第３の注目領域抽出方法では、次元の最も小さい入力画像ｉｍｇ３を基準画像とし、残りの入力画像ｉｍｇ１，ｉｍｇ２をこの基準画像の次元にリサイズしている。そのため、注目領域重み付けマップｗＭａｐは、基準画像（Δｉｍｇ３）と次元数を等しくした行列となる。例えば、Δｉｍｇ３の次元（すなわち、入力画像ｉｍｇ３の次元）が２０×３０（画素）の場合には、ｗＭａｐは同様に２０×３０（画素）の次元を有する。各式の演算子の意味については、前出の式（ｄ１）〜（ｄ４）の説明で述べた通りである。なお、ｗＭａｐは前出の式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである（図６参照）。

上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ２３３）が行われる。下記式（ｅ１′）を用いて、生成した注目度マップＳａｌから、予め決定しておいた閾値ｔｈ_SP以上の注目度を持つ点を抽出し、それらを注目点（ＰＯＩ）と定義する。

なお、閾値ｔｈ_SPは、選択された処理対象プレーンがＹ，Ｃｂ，Ｃｒ何れかによって、それぞれ異なる値が用いられる。この閾値ｔｈ_SPは、プレーンごとに予め決められた固定値であってもよいし、以下に示す式（ｊ１）及び（ｊ２）を用いて動的に求めてもよい。なお、上記式（ｊ１）中、Ｖ_SPはＳに対応した変動係数であり、ｐａｒａｍ_SPは以下の式（ｊ２）で表され、ＳＰに応じて固定値を持つ、予め決められたパラメータを意味する。

上記注目点（ＰＯＩ）の抽出処理が完了すると、次の注目領域（ＲＯＩ）決定処理（ステップＳ２３４）では、この抽出された注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、注目領域ＲＯＩの左上座標（ｔｏｐ，ｌｅｆｔ）及び右上座標（ｂｏｔｔｏｍ，ｒｉｇｈｔ）が求められる。なお、上述のように、基準画像（次元の最も小さい画像であって、上述の場合は入力画像ｉｍｇ３）の次元にリサイズされているため、基準画像と被抽出画像（入力画像ｉｍｇ１）の次元が異なる場合には、注目領域ＲＯＩの座標を被抽出画像の次元に変換（復元）する必要がある。

このようにして求められた左上座標（ｔｏｐ，ｌｅｆｔ）及び右下座標（ｂｏｔｔｏｍ，ｒｉｇｈｔ）の値が、画像情報格納領域１０３ａの左上座標記憶領域１０３ｆ及び右下座標記憶領域１０３ｇに記憶され、データベース１０３が更新される（ステップＳ２３５）。この第３の注目領域抽出方法によると、ＹＣｂＣｒの１つのプレーンのみを処理対象とすることで、注目領域の抽出をより高速に行うことが可能となる。

なお、この画像評価装置１００は、中央演算装置（ＣＰＵ）やメモリ等を有し、上述の画像評価処理及びこの画像評価処理で実行される注目領域抽出方法は、このＣＰＵで実行されるプログラムとして実装することができる。ここで、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。あるいは、特別のＣＰＵやメモリ等を設けずに、以上の処理をＡＳＩＣやＤＳＰ等に論理回路として構成することも可能である。また、上述の画像評価処理及びこの画像評価処理で実行される注目領域抽出方法はスライドショーにおける自動ズームセンターを決定する場合や画像編集ソフトで自動トリミングをする場合、カメラのオートフォーカス（ＡＦ）領域や自動露光（ＡＥ）決定領域を決定する場合に適用することができるが、これに限定されることはない。

１００ 画像評価装置 １０３ データベース １０５ 注目領域抽出部

Claims (6)

1. 画素毎に、輝度及び２つの色度で表現されたデジタル画像である被抽出画像の注目領域を抽出する注目領域抽出方法であって、
   前記被抽出画像の、前記輝度及び２つの色度に対応する３つのプレーンの各々から、当該画素毎に、前記被抽出画像のエッジ成分を抽出し、前記画素毎に、前記３つのプレーンの各々の前記エッジ成分を重み付けして加算することにより、前記画素毎のエッジ量を算出するステップと、
   前記被抽出画像の画素数と対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの前記要素の各々を、前記被抽出画像の対応する前記画素の前記エッジ量に乗算して、前記画素毎の注目度を算出するステップと、
   前記被抽出画像において、前記注目度が所定の閾値より大きい画素の全てを内包する領域を前記注目領域として抽出するステップと、を有する注目領域抽出方法。
2. 前記被抽出画像を、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、
   前記エッジ量を算出するステップは、前記被抽出画像及び前記リサイズ画像毎に、前記エッジ量を算出するように構成され、
   前記注目度を算出するステップは、さらに、
   前記リサイズ画像から算出された前記エッジ量を、前記被抽出画像の画素数と同一次元に復元するステップと、
   前記被抽出画像から算出された前記エッジ量及び前記リサイズ画像から算出されて復元された前記エッジ量の各々に、前記注目領域重み付けマップの前記要素の各々を乗算し、さらに、前記注目領域重み付けマップが乗算された前記エッジ量の各々に、予め設定された重みを乗じて前記画素毎に加算して、前記画素毎の前記注目度を算出するステップと、を有する請求項１に記載の注目領域抽出方法。
3. さらに、
   前記被抽出画像から、前記注目領域として抽出するステップにおいて抽出された前記領域を切り出すステップと、
   前記切り出された前記被抽出画像を、少なくとも１つ以上の異なるサイズにリサイズするステップと、
   前記切り出された被抽出画像及び前記切り出された被抽出画像をリサイズした画像毎に前記エッジ量を算出するステップと、
   前記切り出された被抽出画像をリサイズした画像から算出されたエッジ量を、前記切り出された被抽出画像の次元に復元するステップと、
   前記切り出された被抽出画像から算出された前記エッジ量及び前記切り出された被抽出画像をリサイズした画像から算出され、さらに復元された前記エッジ量を、予め設定された重みを乗じて前記画素毎に加算して、前記切り出された被抽出画像の注目度を算出するステップと、
   前記切り出された被抽出画像の前記注目度を、当該注目度が所定の閾値以上のときを１とし、所定の閾値より小さいときを０として二値化するステップと、
   前記二値化された注目度において、隣接して１が設定されている画素をグループ化し、所定の個数以上の画素が含まれる前記グループを注目領域部分領域として決定し、当該注目領域部分領域の全てを内包する領域を新たな注目領域として抽出するステップと、を有する請求項２に記載の注目領域抽出方法。
4. 画素毎に、輝度及び２つの色度で表現されたデジタル画像である被抽出画像の注目領域を抽出する注目領域抽出方法であって、
   前記被抽出画像の、前記輝度及び２つの色度に対応する３つのプレーンの各々から、当該プレーン毎に、前記画素の値の標準偏差及び平均値を求めて前記標準偏差を前記平均値で除算することにより変動係数を算出し、当該変動係数が最も大きい前記プレーンを処理対象プレーンとして選択するステップと、
   前記被抽出画像の前記処理対象プレーンを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップと、
   前記被抽出画像及び前記リサイズ画像の前記処理対象プレーンにおいて、前記画素毎にエッジ成分を抽出して前記画素毎のエッジ量を算出するステップと、
   前記被抽出画像及び前記リサイズ画像のうち、次元の最も小さい画像を基準画像とし、残りの前記被抽出画像及び前記リサイズ画像から算出された前記エッジ量を、前記基準画像の画素数と同一次元に復元するステップと、
   前記基準画像の前記エッジ量及び復元された前記エッジ量の各々の画素に、前記基準画像の画素数と対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの前記要素の各々を乗算し、さらに、前記注目領域重み付けマップが乗算された前記エッジ量の各々に、予め設定された重みを乗じて前記画素毎に加算して、前記画素毎の前記注目度を算出するステップと、
   前記被抽出画像において、前記注目度が所定の閾値より大きい画素の全てを内包する領域を前記注目領域として抽出するステップと、を有する注目領域抽出方法。
5. 請求項１〜４いずれか一項に記載の注目領域抽出方法をコンピュータに実行させるためのプログラム。
6. 画素毎に、輝度及び２つの色度で表現されたデジタル画像を記憶する記憶部と、
   前記記憶部から前記デジタル画像を被抽出画像として読み出して、請求項１〜４いずれか一項に記載の注目領域抽出方法により当該被抽出画像の注目領域を抽出する注目領域抽出部と、を有する画像評価装置。