JP5387103B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

次のような画像検索システムが知られている。この画像検索システムは、主要被写体の大きさの情報に基づいて、画像の検索を行う（例えば、特許文献１）。

特開２００８−１０３８５０号公報

しかしながら、従来の画像検索システムでは、主要被写体に基づく画像の検索は可能であるが、検索結果の中からユーザが望む画像を見つけるためには、ユーザが画像を１つずつ確認する必要があり、手間がかかった。

本発明における画像処理装置は、画像内の主要被写体を特定する主要被写体特定手段と、画像を解析して、主要被写体の感性表現を特定するための形状または色に関する複数の情報を検出する情報検出手段と、情報検出手段によって検出された複数の情報に基づいて、主要被写体の感性表現を判定する感性表現判定手段と、主要被写体が人物であるか否かを判定する主要被写体判定手段とを備え、情報検出手段は、主要被写体判定手段が主要被写体は人物であると判定した場合には、人物の笑顔の度合い、人物のポーズ、背景の色、および背景の明るさのそれぞれに関する情報を複数の情報として検出し、主要被写体判定手段が主要被写体は人物ではないと判定した場合には、背景の色、背景の明るさ、および画像の複雑性のそれぞれに関する情報を複数の情報として検出することを特徴とする。
本発明における画像処理装置は、画像内の主要被写体を特定する主要被写体特定手段と、画像を解析して、主要被写体の感性表現を特定するための形状または色に関する複数の情報を検出する情報検出手段と、情報検出手段によって検出された複数の情報に基づいて、主要被写体の感性表現を判定する感性表現判定手段と、主要被写体が人物であるか否かを判定する主要被写体判定手段とを備え、情報検出手段は、主要被写体判定手段が主要被写体は人物であると判定した場合には、人物の笑顔の度合い、および人物のポーズのそれぞれに関する情報を複数の情報として検出し、主要被写体判定手段が主要被写体は人物ではないと判定した場合には、背景の色、および背景の明るさのそれぞれに関する情報を複数の情報として検出することを特徴とする。

本発明によれば、主要被写体の感性表現の判定結果を画像の検索に用いることにより、使用者は画像を容易に見つけることができる。

画像処理装置の一実施の形態の構成を示すブロック図である。 検索条件指定画面の具体例を示す図である。 検索結果の一覧表示例を示す第１の図である。 感性表現判定処理の流れを示すフローチャート図である。 画像ファイル検索処理の流れを示すフローチャート図である。 検索結果の一覧表示例を示す第２の図である。

図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置１００としては、例えばパソコン（パーソナルコンピューター）が用いられる。画像処理装置１００は、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。

操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、デジタルカメラなどの外部装置を接続するためのインターフェースであって、例えばデジタルカメラやビデオカメラと有線接続を行うためのＵＳＢインターフェースや、無線接続を行うための無線ＬＡＮモジュールなどが使用される。本実施の形態では、例えば、この接続ＩＦ１０２を介してデジタルカメラから画像ファイルのデータが取り込まれる。

制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画像処理装置１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。

ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像ファイルや、制御装置１０３で実行される種々のプログラム等を記録するための記録装置である。例えば、ＨＤＤ１０４には、後述する処理を実行するためのプログラムのデータが記録される。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されて提供される。画像処理装置１００においては、使用者が記憶媒体を用いてプログラムのデータをＨＤＤ１０４にインストールすることによって、制御装置１０３がプログラムを実行できるようになる。

モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される表示用データの画像を表示する。

本実施の形態では、使用者は、ＨＤＤ１０４に記録されている各画像ファイルに、撮影画像内の主要被写体の感性表現に関する情報を関連付けて記録するように指示することができる。主要被写体の感性表現とは、例えば、「楽しい」、「真面目な」、「落ち着いた」等といった撮影画像から把握できる主要被写体の感情を言葉で表現したものをいう。

制御装置１０３は、使用者によって上記指示がなされると、ＨＤＤ１０４に記録されている各画像ファイルの撮影画像内の主要被写体を特定する。本実施の形態では、制御装置１０３は、撮影画像がポートレートモードで撮影されたものである場合には、人物が主要被写体であると判定して、撮影画像を対象として公知の顔認識処理を実行することにより、人物の顔を主要被写体として特定する。一方、撮影画像がポートレートモード以外の撮影モードで撮影されている場合には、主要被写体は人物以外であると判定し、撮影画像内のＡＦエリア内に主要被写体が存在しているものと判断して、ＡＦエリア内に含まれる被写体を主要被写体として特定する。

なお、撮影時の撮影モードに関する情報は、デジタルカメラ側で画像ファイルのヘッダ情報として記録されており、制御装置１０３は、ヘッダ情報を参照することによって撮影画像がポートレートモードで撮影されたか否かを判断する。

制御装置１０３は、撮影画像内の主要被写体を特定した場合には、その特定結果に基づいて画像を解析して主要被写体の感性表現の判定処理を行い、判定結果を画像ファイルのヘッダ情報に書き込むことにより、画像ファイルに主要被写体の感性表現に関する情報を関連付ける。なお、本実施の形態では、主要被写体の感性表現が「楽しい」と「真面目な」のいずれかであるかを判定し、その判定結果を画像ファイルに関連付ける方法について説明する。

本実施の形態では、制御装置１０３は、主要被写体の感性表現を判定するための要因となる複数の情報を検出し、各要因について、主要被写体の感性表現が「楽しい」ほど点数が高くなり、「真面目な」ほど点数が低くなるように、例えば１０点満点で点数付けを行う。そして、制御装置１０３は、その合計得点に基づいて主要被写体の感性表現を判定する。この点数付けを行うための要因となる複数の情報は、上述した主要被写体の特定結果に応じて異なる。以下、主要被写体の特定結果に応じた主要被写体の感性表現の判定方法について説明する。

まず、人物の顔を主要被写体として特定した場合の判定方法について説明する。この場合には、制御装置１０３は、次のように点数付けを行うことにより、主要被写体の感性表現を判定する。

制御装置１０３は、公知の笑顔認識処理を実行することにより、主要被写体として特定した人物の顔の笑顔の度合いを検出し、検出した笑顔の度合いを１０段階で評価することによって点数付けを行う。例えば、笑顔の度合いが最も高い場合には１０点を加算し、最も低い場合には０点を加算する。

また、制御装置１０３は、主要被写体である人物の顔の周辺画像を対象として、公知の形状認識処理を実行することにより、人物のポーズを認識し、認識したポーズに応じて点数付けを行う。例えば、人物がピース（Ｖサイン）をしている場合には１点を加算し、握手をしている場合には５点を加算し、万歳をしている場合には１０点を加算する。

また、制御装置１０３は、画像の背景の色や明るさを検出し、その検出結果のイメージに基づいて点数付けを行う。例えば、背景の色が赤系であれば８点を加算し、青系であれば３点を加算する。また背景の明るさが所定以上であれば８点を加算し、所定未満であれば３点を加算する。

制御装置１０３は、このように点数付けを行った結果として得られる合計得点が所定の閾値以上である場合には、その画像の主要被写体の感性表現は「楽しい」であると判定する。これに対して、合計得点が所定の閾値未満である場合には、その画像の主要被写体の感性表現は「真面目な」であると判定する。

次に、人物の顔以外のＡＦエリア内の被写体を主要被写体として特定した場合の判定方法について説明する。この場合には、制御装置１０３は、次のように点数付けを行うことにより、主要被写体の感性表現を判定する。

制御装置１０３は、主要被写体を含んだＡＦエリア内の画像の色や明るさを検出し、その検出結果のイメージに基づいて点数付けを行う。例えば、ＡＦエリア内の画像の色が赤系であれば８点を加算し、青系であれば３点を加算する。またＡＦエリア内の画像の明るさが所定以上であれば８点を加算し、所定未満であれば３点を加算する。

また、制御装置１０３は、公知の画像の複雑性を検出し、その複雑性に基づいて点数付けを行う。例えば、画像に花柄が含まれる場合など画像が複雑である場合には、１０点を加算し、画像がモノトーンである場合など画像がシンプルである場合には、０点を加算する。

制御装置１０３は、このように点数付けを行った結果として得られる合計点数が所定の閾値以上である場合には、その画像の主要被写体の感性表現は「楽しい」であると判定する。これに対して、合計点数が所定の閾値未満である場合には、その画像の主要被写体の感性表現は「真面目な」であると判定する。

なお、上述した点数付けの方法は一例であり、主要被写体の感性表現が「楽しい」ほど点数が高くなり、「真面目な」ほど点数が低くなるように点数付けを行うというルールに則った上で、それぞれの場合に加算する点数を上記の点数とは異なるものとしてもよい。また、上記の要因以外にも主要被写体の感性表現を判定するために用いることができる他の要因をも加味して点数付けを行うようにしてもよい。例えば、画像が撮影されたときのイベント情報を検出し、そのイベントが運動会等のように「楽しい」イベントであれば高い点数を加算し、卒業式等のように「真面目な」イベントであれば低い点を加算すればよい。

制御装置１０３は、上述した主要被写体の感性表現の判定処理によって判定した主要被写体の感性表現に関する情報を、画像ファイルのヘッダ情報に記録することにより、主要被写体の感性表現と画像ファイルとを関連付ける。そして、本実施の形態では、使用者は、画像ファイルのヘッダ情報に記録されている主要被写体の感性表現に関する情報に基づいて画像ファイルを検索することができる。以下、画像ファイルの検索処理について説明する。

使用者は、ＨＤＤ１０４に記録されている画像ファイルの中から所望の画像ファイルを閲覧するために画像ファイルの検索を行うに当たって、撮影画像内の主要被写体の感性表現を検索条件（画像の絞込条件）に指定して、画像ファイルを検索することができる。

例えば、使用者は、図２に示すような検索条件指定画面上で検索条件を指定する。図２に示す例では、検索条件指定画面上では、種々の主要被写体の感性表現のうち、「楽しい」と「真面目な」が検索条件として指定可能になっている。使用者は、これらの感性表現のうち、検索条件に指定したいものに対応するチェックボックスにチェックを入れることにより、検索条件を指定することができる。そして、使用者は、検索条件指定画面上で「検索」ボタン２ａを押下することにより、指定した条件に合致する画像ファイルの検索開始を指示することができる。

制御装置１０３は、使用者によって「検索」ボタン２ａが押下されたことを検出した場合には、ＨＤＤ１０４に記録されている画像ファイルのヘッダ情報から主要被写体の感性表現に関する情報を読み出して、主要被写体の感性表現が検索条件指定画面上で指定された感性表現と一致する画像ファイルのみを抽出する。そして、制御装置１０３は、抽出した画像ファイルの画像をモニタ１０６に一覧表示する。例えば、図２に示すように、使用者によって「楽しい」が検索条件として指定されている場合には、制御装置１０３は、ＨＤＤ１０４に記録されている画像ファイルの中から、ヘッダ情報に記録されている主要被写体の感性表現に関する情報が「楽しい」を示す情報である画像ファイルを抽出し、図３に示すように抽出した画像を一覧表示する。

以上の処理により、使用者は、ＨＤＤ１０４に記録されている画像ファイルを主要被写体の感性表現に基づいて検索することができ、例えば主要被写体の感性表現が「楽しい」画像ファイルや「真面目な」画像ファイルを絞り込んで表示させることができる。

図４は、本実施の形態における感性表現判定処理の流れを示すフローチャートである。図４に示す処理は、使用者によって画像ファイルへの主要被写体の感性表現の関連付けが指示されると起動するプログラムとして、制御装置１０３によって実行される。

ステップＳ１０において、制御装置１０３は、上述したように、画像ファイルのヘッダ情報を参照して、撮影モードがポートレートモードであるか否かを判定することより、主要被写体が人物であるか否かを判断する。

ステップＳ１０で主要被写体が人物であると判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、制御装置１０３は、上述したように、笑顔の度合い、ポーズ、背景の色や明るさに基づいて、主要被写体の感性表現を判定するための点数付けを行って、ステップＳ４０へ進む。

これに対して、ステップＳ１０で主要被写体が人物以外であると判断した場合には、ステップＳ３０へ進む。ステップＳ３０では、制御装置１０３は、上述したように、ＡＦエリア内の画像の色や明るさ、画像の複雑性に基づいて、主要被写体の感性表現を判定するための点数付けを行って、ステップＳ４０へ進む。

ステップＳ４０では、制御装置１０３は、ステップＳ２０またはステップＳ３０での点数付けの結果に基づいて、主要被写体の感性表現を判定する。例えば、上述したように、合計点数が所定の閾値以上である場合には、その画像の主要被写体の感性表現は「楽しい」であると判定する。これに対して、合計点数が所定の閾値未満である場合には、その画像の主要被写体の感性表現は「真面目な」であると判定する。その後、ステップＳ５０へ進む。

ステップＳ５０では、制御装置１０３は、ステップＳ４０での判定結果を画像ファイルのヘッダ情報に記録して、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０３は、ＨＤＤ１０３に記録されている全ての画像ファイルについての処理が完了したか否かを判断する。ステップＳ６０で否定判断した場合には、ステップＳ１０へ戻り、未処理の画像ファイルを対象として処理を繰り返す。これに対して、ステップＳ６０で肯定判断した場合には、処理を終了する。

図５は、本実施の形態における画像ファイル検索処理の流れを示すフローチャートである。図５に示す処理は、使用者によって図２に示した検索条件指定画面上で検索条件が指定され、「検索」ボタン２ａが押下されると起動するプログラムとして、制御装置１０３によって実行される。

ステップＳ１１０において、制御装置１０３は、ＨＤＤ１０４に記録されている画像ファイルの中から、検索条件指定画面上で指定された検索条件に合致する画像ファイル、すなわち検索条件指定画面上で検索条件として指定された感性表現が、主要被写体の感性表現としてヘッダ情報に記録されている画像ファイルを検索する。

その後、ステップＳ１２０へ進み、制御装置１０３は、ステップＳ１１０での検索処理により抽出した画像ファイルの画像をモニタ１０５上に一覧表示して、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０３は、画像内の主要被写体を特定し、画像を解析して主要被写体の感性表現を特定するための複数の情報、例えば人物の笑顔度合い等を検出し、検出した情報に基づいて主要被写体の感性表現を判定するようにした。これによって、画像内の主要被写体の感性表現を精度高く判定することができる。

（２）制御装置１０３は、主要被写体が人物であるか否かを判定し、主要被写体は人物であると判定した場合には、人物の笑顔の度合い、人物のポーズ、背景の色、および背景の明るさのそれぞれに基づいて点数付けを行い、主要被写体は人物ではないと判定した場合には、背景の色、背景の明るさ、および画像の複雑性のそれぞれに基づいて点数付けを行うようにした。これによって、主要被写体の感性表現を判定するための複数の要因に基づいて、精度高く主要被写体の感性表現を判定することができる。

（３）制御装置１０３は、判定した主要被写体の感性表現を画像ファイルに関連付けて記録するようにした。これによって、画像ファイルのヘッダ情報を参照することにより、主要被写体の感性表現の判定結果を利用することが可能となる。

（４）制御装置１０３は、検索条件指定画面上で使用者によって指定された条件に合致する感性表現の画像ファイルを検索し、その検索結果を一覧表示するようにした。これによって、使用者は、主要被写体の感性表現に基づいて画像ファイルを絞り込むことができる。

（５）制御装置１０３は、使用者から処理の実行が指示されたときに主要被写体の感性表現判定処理を行うようにした。これによって、使用者は、好みのタイミングで処理の実行を指示することができる。

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、画像処理装置１００は、例えばパソコンであって、制御装置１０３は、使用者によって指示がされたタイミングで、図４に示した主要被写体の感性表現判定処理を実行する例について説明した。しかしながら、本発明は、他の装置、例えばカメラにも適用可能である。カメラに適用する場合には、カメラ上で使用者からの指示があった場合に主要被写体の感性表現判定処理を実行してもよいし、撮影を行って画像ファイルを生成したタイミングで、主要被写体の感性表現判定処理を実行して、画像ファイルのヘッダ情報に主要被写体の感性表現を書き込んでもよい。これによって、カメラから他の装置へ画像ファイルをコピーした後に、コピー先の装置で主要被写体の感性表現判定処理を行わなくても、画像ファイルのヘッダ情報に記録されている主要被写体の感性表現を利用することができる。

（２）上述した実施の形態では、制御装置１０３は、撮影画像がポートレートモード以外の撮影モードで撮影されている場合には、ＡＦエリア内に含まれる被写体を主要被写体として特定する例について説明したが、ＡＦエリアとその外側の所定範囲までを主要被写体が存在する領域と判定して、ＡＦエリアを含んだ所定範囲内に含まれる被写体を主要被写体として特定するようにしてもよい。

（３）上述した実施の形態では、制御装置１０３は、撮影時の撮影モードがポートレートモードであるか否かを判定することにより、主要被写体が人物であるか否かを判断する例について説明した。しかしながら、被写体の種類を認識するための被写体認識処理を行って、主要被写体が人物であるか否かを判断するようにしてもよい。

（４）上述した実施の形態では、制御装置１０３は、撮影画像の画像ファイルのヘッダ情報に主要被写体の感性表現の判定結果を記録することにより、画像ファイルと主要被写体の感性表現の判定結果とを関連付ける例について説明した。しかしながら、制御装置１０３は、他の方法により、画像ファイルと主要被写体の感性表現の判定結果とを関連付けるようにしてもよい。例えば、制御装置１０３は、撮影画像の画像ファイルのファイル名と上記判定結果とを対応付けて別ファイルとして記録するようにしてもよい。

（５）上述した実施の形態では、ＨＤＤ１０４に記録されている画像ファイルの中から、検索条件指定画面上で指定された感性表現と一致する感性表現がヘッダ情報に記録されている画像ファイルのみを抽出し、それらを一覧表示する例について説明した。しかしながら、画像ファイルのヘッダ情報に主要被写体の感性表現に関する情報とともに上記点数付けの結果を記録しておき、制御装置１０３は、画像を一覧表示するにあたって、点数の高い画像から順番に並ぶように並び替えてもよい。あるいは、使用者によって「楽しい」が検索条件として指定されている場合には、制御装置１０３は、図６に示すように、ＨＤＤ１０４に記録されている全ての画像ファイルの画像を一覧表示するようにして、その表示順を点数が高いものから順番に並び替えるようにしてもよい。すなわち、検索条件として指定された主要被写体の感性表現との適合度の高いものから順番に表示するようにしてもよい。これによって、使用者が閲覧を希望する可能性が高い画像が先頭から順番に並ぶように、並べ替えを行うことができる。

（６）上述した実施の形態では、ＨＤＤ１０４に記録されている全ての画像ファイルを対象として、主要被写体の感性表現の判定および記録を行ったり、画像ファイルの検索を行う例について説明した。しかしながら、ＨＤＤ１０４に記録されている全ての画像ファイルでなく、ＨＤＤ１０４内に存在する特定のフォルダ内の画像ファイルのみを対象としてもよいし、使用者が選択した画像ファイルのみを対象としてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ 画像処理装置、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０４ ＨＤＤ、１０５ モニタ

Claims (7)

1. 画像内の主要被写体を特定する主要被写体特定手段と、
   前記画像を解析して、前記主要被写体の感性表現を特定するための形状または色に関する複数の情報を検出する情報検出手段と、
   前記情報検出手段によって検出された前記複数の情報に基づいて、前記主要被写体の感性表現を判定する感性表現判定手段と、
   前記主要被写体が人物であるか否かを判定する主要被写体判定手段とを備え、
   前記情報検出手段は、前記主要被写体判定手段が前記主要被写体は人物であると判定した場合には、人物の笑顔の度合い、人物のポーズ、背景の色、および背景の明るさのそれぞれに関する情報を前記複数の情報として検出し、前記主要被写体判定手段が前記主要被写体は人物ではないと判定した場合には、背景の色、背景の明るさ、および画像の複雑性のそれぞれに関する情報を前記複数の情報として検出することを特徴とする画像処理装置。
2. 画像内の主要被写体を特定する主要被写体特定手段と、
   前記画像を解析して、前記主要被写体の感性表現を特定するための形状または色に関する複数の情報を検出する情報検出手段と、
   前記情報検出手段によって検出された前記複数の情報に基づいて、前記主要被写体の感性表現を判定する感性表現判定手段と、
   前記主要被写体が人物であるか否かを判定する主要被写体判定手段とを備え、
   前記情報検出手段は、前記主要被写体判定手段が前記主要被写体は人物であると判定した場合には、人物の笑顔の度合い、および人物のポーズのそれぞれに関する情報を前記複数の情報として検出し、前記主要被写体判定手段が前記主要被写体は人物ではないと判定した場合には、背景の色、および背景の明るさのそれぞれに関する情報を前記複数の情報として検出することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記感性表現判定手段による判定結果を画像に関連付けて記録する記録制御手段をさらに備えることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   主要被写体の感性表現を画像の検索条件として指定する指定手段と、
   前記指定手段で指定された検索条件に合致する画像を検索する検索手段と、
   前記検索手段による検索結果を表示する表示制御手段をさらに備えることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記表示制御手段は、検索条件として指定された前記主要被写体の感性表現との適合度に基づいて、画像を並べ替えて検索結果を表示することを特徴とする画像処理装置。
6. 請求項１〜５のいずれか一項に記載の画像処理装置において、
   前記主要被写体特定手段、前記情報検出手段、および前記感性表現判定手段は、画像が撮影されたときに処理を行うことを特徴とする画像処理装置。
7. 請求項１〜６のいずれか一項に記載の画像処理装置において、
   前記主要被写体特定手段、前記情報検出手段、および前記感性表現判定手段は、使用者から処理の実行が指示されたときに前記処理を行うことを特徴とする画像処理装置。
   

Images