JP5701040B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法に関する。

従来、スタジオ等で撮影した画像をインターネット上のサーバに登録し、顧客の家庭にあるＰＣからＷｅｂ等を通じて画像の閲覧するサービスや撮影した画像を用いてフォトブックを作成するサービスが普及している。

上述のサービスにおいて、スタジオで撮影した画像やサーバ上の画像に対して、画像処理を施したり画像表示時に効果をつけたりしてユーザに対して付加価値を提供している。このような画像加工作業を簡略化するための従来技術として、例えば、画像上の領域を選択し、選択した領域に施すべき画像処理のメニューが表示されることにより、ユーザの画像加工にかかる手間を簡略化する技術が開示されている（特許文献１）。また、画像データのＥｘｉｆタグから顔検出、赤目検出、赤目補正等の処理が既に行われているか否かの情報を参照して、処理を行われていない画像に対して処理を実行する技術が開示されている（特許文献２）。また例えば、撮影された画像を効果的に表示するための方法として、画像中の顔領域や顔領域と合焦点の領域が重複している場合などに、顔領域を重視してズーミング・パンニング行う技術が開示されている。（特許文献３）。

特開２００６−０２４１８４号公報 特開２００８−２８２２７８号公報 特開２００９−０８０８１５号公報

近年の記憶装置の容量の増大に伴い、ユーザは多量の画像を取り扱わなければならず、画像加工に関する手間の簡略化が望まれている。しかしながら、特許文献１に開示されている画像加工方法では画像加工を施す画像上の領域はユーザが選択しなければならず、画像加工に関する手間の簡略化に関しては改善の余地がある。また、特許文献２に開示されている技術では、特定の加工処理が画像に行われていない場合、その特定の処理を実行するのみで、必ずしもユーザが望む加工が行われる訳では無い。また、特許文献３に開示されている画像表示技術では、画像中の顔や合焦位置を起点として画像の表示を行っているが必ずしもその領域が価値ある領域になっているとは限らないという問題があった。例えば、目を閉じて撮影されてしまった画像や被写体の表情によってはむしろ顔を積極的に表示するような処理は避けるようにすることが望まれる。

本発明は上述の課題に鑑み、ユーザの手間を簡略化する画像の加工を行う画像処理装置および画像処理方法を提供することを目的とする。

本発明の課題を解決する手段の一例として、
画像上の指定領域と当該指定領域に対して付されている評価とを特定する特定手段と、
前記画像を加工するためのルールを取得する取得手段と、
前記特定手段により特定した評価と前記指定領域と前記取得手段により取得した前記ルールとに基づいて、前記画像を加工する加工手段とを有し、
前記取得手段は、複数のルールを取得し、
前記加工手段は、前記画像を加工して、前記複数のルール夫々に対応する複数の画像を生成することを特徴とする画像処理装置を提供することにある。

画像に対してルールに基づく画像加工を自動的に行うことができる。

本発明に係る画像処理装置の機能構成を示す図である。 本発明に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 本発明に係る画像処理装置の全体処理の一例を示すフローチャートである。 画像の加工処理の一例を示すフローチャートである。 コメント付き画像、画像加工ルールおよび画像の加工処理の結果の例を示す図である。 加工処理の結果の表示の一例を示す図である。 第２の実施形態における画像の解析処理の一例を示すフローチャートである。 第２の実施形態における画像の加工結果の一例を示す図である。 第３の実施形態における画像の加工結果の一例を示す図である。 第５の実施形態におけるコメント加工の一例を示す図である。 第４の実施形態における画像表示制御処理の一例を示すフローチャートである。 第４の実施形態における画像表示制御処理の結果の一例を示す図である。

以下、添付の図面を用いて、本発明の最適な実施の形態に係る装置に基づいて、本発明を詳細に説明する。

（第１の実施形態）
本実施の形態では、画像に所定の評価として付与されたコメントに基づき、１枚の画像を加工して生成した複数の画像を提示する。本実施形態に係る画像処理装置の機能構成の一例を図１に示す。画像処理装置１０１は記憶部１０２、制御部１０３、表示部１０８から構成される。画像処理装置１０１は、予めコメントが付与された画像をコメントに基づき、加工や表示を行う。記憶部１０２は、画像処理装置１０１に入力されたコメント付き画像を記憶する記憶装置である。制御部１０３は、各種処理のための演算や論理判断等を行い、各構成要素を制御する。制御部１０３は更に解析部１０４、加工部１０５、付与部１０６、表示制御部１０７から構成される。解析部１０４は、コメントに基づき、コメント付き画像の解析を行う。加工部１０５は、解析部１０４が解析したコメントやコメントが付された画像上の領域に基づき、コメント付き画像の加工を行う。ここで、画像の加工とは、元の画像に対して画像処理等の手を加えて新しい画像を作成するこという。例えば、トリミング、拡大縮小処理、回転処理、色補正、明るさ補正などの画像の編集処理、またはそれらを組み合わせた処理を施すことをいう。付与部１０６は、画像に対してコメントを付与する。表示制御部１０７は、加工部１０５が作成した画像を時系列的に変化させて表示部１０８に表示させる表示制御を行う。

続いて、本実施形態における画像処理装置１０１のハードウェア構成の一例を示すブロック図を図２に示す。２０２はＣＰＵであり、各種処理のための演算や論理判断等を行い、バス２０１に接続された各構成要素を制御する。本装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。ＲＯＭ ２０３はプログラムメモリとして動作し、後述する各フローチャートに示す処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ ２０４はＣＰＵ２０２のワークメモリとして動作する。なお、プログラムメモリはＲＯＭ ２０３であっても良いし外部記憶装置などからプログラムがロードされるＲＡＭ ２０４であっても良い。図１の制御部１０３はＣＰＵ２０２、ＲＯＭ ２０３、ＲＡＭ ２０４から構成される。

２０５はユーザからの情報を入力するための入力装置であり、この装置はマウス、タッチパネル、キーボードなどがある。２０６はＣＲＴや液晶表示器などの表示装置である。表示部１０８は表示装置２０６等から構成される。２０７はＨＤＤ等の記憶装置であり、コメント付き画像を記憶している。記憶部１０２は記憶装置２０７等により実現される。２０８は通信装置であり、他の情報装置等とネットワークを介して通信を行うことができる。なお、記憶部１０２に記憶されている画像や表示部１０８に出力される映像情報等は通信装置２０８を介して入出力される構成としてもよい。

ここで、記憶部１０２が保持しているコメント付き画像の一例を図５を用いて説明する。本実施例において、コメント付き画像５００には、画像中の領域の所定の評価として、コメント５０１〜５０３が付与されている。本実施例においては、コメントは、プラスマイナスコメントとメモコメントからなることとする。プラスマイナスコメントは、画像の特定部位（指定領域）の良し悪しを点数によって示すものである。また、メモコメントは、プラスマイナスコメントを付与する際の理由や根拠を示すものである。本実施例においては、プラスマイナスコメントと１以上のメモコメントが関連付けられ一つの領域に付与されている。またこのコメントは、画像上の付与位置である指定領域の座標情報や範囲に関する情報を有している。

図５中の画像５００においては、５０１にはその領域が”良い”とするプラスコメントが付与されており、プラス２点の点数がつけられている。またコメント５０１はメモコメント“いい顔”も一緒に付与されている。コメント５０１は、領域５０４に付与され、その位置や範囲に関する情報を保持している。一方、５０２、５０３はその領域が”よくない”とするマイナスのコメントが設定されている。５０２にはマイナス１点、５０３にはマイナス２点が設定されている。また、コメント５０２にはメモコメントとして、”乱れている“、コメント５０３にはメモコメントとして”写りこみ“が付与されている。コメント５０２、５０３はそれぞれ、領域５０５、５０６に付与されている。なお、その他のメモコメントの内容としては、プラスのコメントではピント等の撮影状況に関する「ピントが合っている」や被写体の状態を示すような「きれい」等があげられる。また、マイナスのコメントの一例としては「ブレが生じている」等があげられる。

なお、コメントは画像データのメタデータとして付与されていても良いし、画像データとは別の独自のデータとして、画像データと対応づけて記憶されていても良い。コメントに関するデータとしては、少なくとも画像上のコメントを付与する特定部位（指定領域）を示す座標情報（あるいは画像全体へのコメントであるかの情報）及びコメント内容を含んでいる。コメントの内容（メモコメント）は、文字データとしてもよいし画像処理装置１０１がコメントの内容を認識可能な識別コードとして入力されていても良い。コメントはスタジオ等で撮影が行われた場合には、例えばスタジオスタッフにより事前に付与されているものとする。

以上、説明した構成からなる本実施形態に係る画像処理装置の動作を図を参照しながら説明する。まず、本実施形態に係る画像処理装置の全体の処理フローを図３を用いて説明する。Ｓ３０１において、画像処理装置１０１は加工対象とするコメント付き画像を入力し取得する。コメント付き画像は、画像処理装置１０１が管理している画像データであり、本実施形態では、記憶部１０２に保持している。続いてＳ３０２において、画像処理装置１０１画像を加工するためのルールを取得する。画像加工ルールとは画像に付与されているコメントに基づいて画像をどのように加工するかのルールを示すものである。例えば、コメントに基づいて、対象画像にトリミング、拡大縮小処理、回転処理、色補正、明るさ補正などの画像の編集処理、またはそれらを組み合わせた処理の施し方を規定するものである。このルールは記憶部１０２に保存されており、ＲＡＭ２０４等に読み込まれる。なお、ユーザの入力によりルールを選択、取得できるようにしても良い。

Ｓ３０３において、画像処理装置１０１は、Ｓ３０１で取得されたコメント付き画像に対して、前記Ｓ３０２で取得されたルールに基づき、画像に施すべき画像の加工処理を行う。Ｓ３０４においては、画像処理装置１０１は、Ｓ３０３の加工処理の結果をもとに様々な処理を行う。例えば、結果を表示部１０８へ表示する処理や、加工処理によって生成された画像とオリジナルの画像と関連付けて記憶部１０２に記憶する処理を行う。

図３のＳ３０３に示した画像の加工処理について図４を用いて詳細に説明する。Ｓ４０１において、解析部１０４は、Ｓ３０１で取得された対象となる画像のコメントが付された領域の座標情報やコメントの点数やメモコメントの内容を取得する。続いて、Ｓ４０２において、解析部１０４は、記憶部１０２から画像加工ルールを取得する。ここで、画像加工ルールの例として、「プラスマイナスコメントの領域に基づいて、画像をトリミングして新たな画像を生成する」「メモコメントの内容に基づいて、画像を補正する」「マイナスコメントが付された領域をぼかす」等が挙げられる。続いて、Ｓ４０３において、解析部１０４は取得した画像加工ルール、コメントに基づき画像の解析を行う。解析部１０４は、画像加工ルールの内容を実現するための情報を画像を解析し取得する。例えば解析部１０４は取得したコメントの内容を解析し、プラスのコメントであるかマイナスのコメントであるか等の判別やコメントが付された領域の位置の特定、およびコメントが付された領域の相対的な位置関係を取得する。また、コメントの内容の判別は自然言語処理技術（周知の技術）や予め画像処理装置１０１が保持している識別コードのテーブルを参照することで特定することが出来る。

続いて、Ｓ４０４において、加工部１０５は、解析部１０４の解析結果に基づき、画像を加工し新たな画像を生成する。Ｓ４０５において、付与部１０６は、Ｓ４０４によって行われた加工の内容に関する情報をコメントとして、新たに生成した画像に付与する。最後にＳ４０６において、作成された画像を結果として出力する。

上述した画像の加工処理を図５を用いて更に詳細に説明する。図５はコメント付き画像と画像加工ルール、および画像の加工処理の結果の例を示す図である。画像５００はＳ３０１において入力された対象画像である。この画像には、５０１〜５０３までのコメントが付与されている。Ｓ４０１において、画像５００の画像コメント、５０１、５０２、５０３を取得する。また、Ｓ４０２において解析部１０４が記憶部１０２から取得する画像加工ルールとしては、次の３つのルールが与えられているとする。ルール５１０「所定の点数以下の領域を除いてトリミング」、ルール５２０「マイナスコメント領域を除いてトリミング」、ルール５３０「マイナスコメント領域を除いて、オリジナルアスペクト比を保持してトリミング」である。

Ｓ４０３において、解析部１０４は、まずルール５１０「所定の点数以下の領域を除いてトリミング」にしたがって、所定の点数以下のコメントが付された領域を特定する。本実施例において所定の点数は、マイナス２点とする。この所定の点数は予め定められた点数でもよいし、ユーザの入力により取得されても良い。解析部１０４は、画像５００に付されたマイナス２点以下であるコメント５０３が付された領域５０６の位置や大きさの情報を取得する。

続いて、解析部１０４は、ルール５２０「マイナスコメント領域を除いてトリミング」にしたがって、マイナスコメントが付された領域を特定する。解析部１０４は、画像５００に付されているマイナスコメント５０２、および５０３の付与位置である指定領域（領域５０５、および領域５０６）の情報を取得する。

続いて、解析部１０４は、ルール５２０「マイナスコメント領域を除いてトリミング」、ルール５３０「マイナスコメント領域を除いて、オリジナルアスペクト比を保持してトリミング」にしたがって、マイナスコメントが付された領域を特定する。解析部１０４は、画像５００に付されているマイナスコメント５０２、および５０３の付与位置（領域５０５、および領域５０６）の情報を取得する。また、解析部１０４は、画像５００のアスペクト比を取得する。

Ｓ４０４において、加工部１０５は解析部１０４による解析結果に基づき画像を加工する。加工部１０５は、ルール５１０に基づき、オリジナルの画像の領域をできるだけ残すようにしつつ、マイナス２以下が付された領域を含まないようにトリミングを行い、新たな画像を作成する。画像５００において、加工部１０５はコメント５０３の付与位置（領域５０６）を含まない矩形領域に画像をトリミングし、画像５１１を新たに作成する。続いて、加工部１０５は、ルール５２０に基づき、オリジナルの画像の領域をできるだけ残すようにしつつ、マイナスコメントが付された領域を含まないようにトリミングを行い、新たな画像を作成する。画像５００において、加工部１０５はマイナスコメント５０２、および５０３の付与位置（領域５０５、および領域５０６）を含まない矩形領域に画像をトリミングし、画像５２１を新たに作成する。続いて、加工部１０５は、ルール５３０に基づき、オリジナルの画像の領域をできるだけ残すようにしつつ、マイナスコメントが付された領域を含まずアスペクト比を維持してトリミングを行い、新たな画像を作成する。画像５００において、加工部１０５はマイナスコメント５０２、および５０３の付与位置（領域５０５、および領域５０６）を含まずアスペクト比が画像５００と同じ矩形領域に画像をトリミングし、画像５３１を新たに作成する。

Ｓ４０５において、付与部１０６は、Ｓ４０４において作成された画像に加工内容に基づいたコメントを新たに付与する。付与部１０６は、ルール５１０に基づいて作成された画像５１１に対して、削除されたコメント５０３“写りこみ”を参照し、「“写りこみ”を削除しました」と新たにコメント５１２を付与する。続いて、付与部１０６は、ルール５２０に基づいて作成された画像５２１に対して、削除されたコメント５０２“乱れている”、コメント５０３“写りこみ”を参照し、「“乱れている”と“写りこみ”を削除しました」と新たにコメント５２２を付与する。

続いて、付与部１０６は、ルール５３０に基づいて作成された画像５３１に対して、削除されたコメント５０２、コメント５０３を参照し、「“乱れている”と“写りこみ”を削除しました」「縦横比を保持しました」と新たにコメント５３２、５３３を付与する。なお、付与したコメントは画像全体を付与領域としてもよいし、削除されたコメントが付されていた近傍に付与するように構成しても良い。Ｓ４０６において、画像処理装置１０１は新たにコメントを付して作成した画像５１１、画像５２１、画像５３１をデータとして出力し、加工処理を終了する。

続いて、図３のＳ３０４における、画像の加工処理の結果をもとにした処理の一例として作成した画像を表示する処理を説明する。図６はＳ３０４における表示部１０８の表示結果の一例である。図６において表示画面６００は図５に示した入力画像５００のみを表示した例である。表示画面６１０は入力画像と画像の加工処理において生成された画像との一覧表示の例を示す。また、加工処理において生成された画像５１１、５２１、５３１についてはＳ４０５において付与したコメントと共に表示を行う。

本実施形態によれば、例えば入力画像を用いてフォトブックを生成する場合、加工処理において自動で作成された画像も入力画像と併せて表示画面６１０に示すように表示される。したがって、ユーザが使用する画像の選択肢を増やすことができる。また、ユーザの画像の加工にかかる手間を低減することが可能となる。また、本実施形態によれば加工内容を示すコメントも併せて表示を行うので、ユーザは入力画像にどのような加工が行われたかを容易に把握することが出来る。なお、作成された画像５１１、５２１、５３１に対して加工内容のコメントを表示しているがユーザの入力装置２０５の操作により表示、非表示を切り替える構成としても良い。このように構成すれば加工内容、作成した画像の全体、入力画像と作成画像との差異を容易に把握することが可能となる。

また、画像にコメントを付与した人物や場所に応じてコメントの表示、非表示を切り替えるように構成しても良い。例えば、スタジオにおいてカメラマンがコメントを付与された画像をネットワーク上にアップロードし、さらに不特定多数の人物がコメントを付与する場合を考える。このような場合、付与した人物によってコメントの信ぴょう度が異なる。したがって、人物に関する情報を取得して人物に応じて表示制御を行う。また、コメントの表示として、コメントの付与した人物を選択したり、付与した時間によって表示、非表示を切り替えたりしてもよい。なお、画像のメタデータとしてコメントを付与した人物や場所を特定できる情報をコメントと関連付けて保持しておき、画像処理装置１０１がこの情報を取得することで人物に応じた表示制御を行うことが出来る。

以上説明した様に、本実施形態によれば、画像に付与されたコメントに基づいて、画像に加工を施すことができる。したがって、画像のコメントをもとに、画像上のよい領域を残すようにまたは悪い部分を除外するように画像を加工し、新たな画像として作成することが出来る。また、自動で画像を加工し新たな画像を作成するので、ユーザに画像の加工の推奨や提示をすることができる。また、画像加工を自動化することができるので、ユーザの画像加工の手間を軽減することが出来る。また、ユーザは自動的に画像加工が施されたとしても、画像加工内容をコメントから把握することができるので加工の理由やオリジナル画像との差異を知ることができる。また、複数のルールに基づき、複数の加工した画像をユーザに提示することが出来る。したがって、ユーザは使用する画像の選択肢が増え、所望の画像を選択することが可能となる。

（第２の実施形態）
第２の実施形態では、第１の実施形態で説明した画像加工のルールについて他の例について説明する。本実施形態においては、加工処理において出力される画像のバランスを考慮する。なお、本実施形態における画像処理装置の構成は第１の実施形態と同様であるが、本実施形態における解析部１０４は、画像中の顔検出やオブジェクト検出を実行する。顔検出やオブジェクト検出は、パターンマッチング等の公知の技術を用いるプログラムをＣＰＵ２０２が実行することにより実現できる。

本実施形態における画像の加工処理は図４に示すフローチャートと同様であるが、第１の実施形態と異なる点を詳細に説明する。図４のＳ４０２における画像加工のルールとして、本実施形態では「画像のバランスを考慮」が設定されている。このルールを用いた画像の加工では、画像中の重心を決定して、重心に基づき画像を加工する。図７は、ルール「画像のバランスを考慮」が設定されている際のＳ４０３における画像の解析処理の一例を示すフローチャートである。

Ｓ７０１において、解析部１０４は、入力画像に所定の評価以上のコメントが存在するかを判別する。所定の評価とは、例えば、プラスマイナスコメント＋２以上など予め定めるか、ユーザの入力により求めても良い。Ｓ７０１において、所定の評価以上のコメントが無い場合は、Ｓ７０２へ進む。Ｓ７０２にいて、解析部１０４は、画像から顔検出処理を行い、画像中に顔が存在するかを判別する。Ｓ７０２において、顔が検出された場合、Ｓ７０３に進み、解析部１０４は最も大きい顔領域の中心を重心と決定し、その領域の座標情報をＲＡＭ２０４に記憶する。そして、処理を終了する。一方、Ｓ７０２において、顔が検出されなかった場合、Ｓ７０４に進み、解析部１０４は画像の中心を重心と決定し、処理を終了する。

また、Ｓ７０１において、所定の評価以上のコメントを検出した場合、Ｓ７０５へ進む。Ｓ７０５において、解析部１０４は、画像から顔検出処理を行い、画像中に顔が存在するかを判別する。Ｓ７０５において、顔が検出されなかった場合、Ｓ７０６へ進み、解析部１０４は、最も高い評価のコメント領域を重心として決定し、処理を終了する。一方、Ｓ７０５において、顔が検出された場合、Ｓ７０７へ進み、顔領域と所定の評価以上の領域が一致するかを判別する。一致していた場合、Ｓ７０８へ進み、解析部１０４は顔領域と所定の評価以上のコメント領域が一致した領域を重心として決定し、処理を終了する。なお、顔領域と所定の評価以上の領域が一致した領域が複数ある場合は、評価が最も高い領域を選択する。一方、顔領域と所定の評価以上の領域が一致しない場合、Ｓ７０９へ進む。

Ｓ７０９において、解析部１０４は所定の評価以上のコメント領域を重心として加工を行った場合、全ての顔が含まれるコメント領域があるかを判別する。ここで、重心は加工後の画像の中心となる領域である。解析部１０４は、「画像のバランスを考慮」と他に設定されている画像の加工ルールに基づく加工を行った場合の加工後の画像に検出された顔が全て含むかを判別する。そして、コメント領域を重心として加工を行った場合、検出された顔が全ての含むコメント領域が存在しない場合は、Ｓ７１０に進む。Ｓ７１０において、解析部１０４は、加工後の画像に所定の評価以上の領域をより多く含む顔領域を重心として決定する。なお、加工後の画像の顔領域及び所定の評価以上のコメント領域をより多く含む画像上の所定の領域を重心として決定してもよい。一方、Ｓ７０９において、全ての顔が含まれるコメント領域がある場合は、Ｓ７１１において全ての顔が含まれる所定の評価以上のコメント領域を重心として決定し、処理を終了する。なお、重心は、領域として説明を行ったが、１点や軸としてもよい。

以上説明した「画像のバランスを考慮」して決定された重心に基づいた、画像の加工結果の一例を図８に示す。加工対象の入力画像として、図５において説明した画像５００を用いる。また、図７における例では、重心として軸を用いて説明を行う。重心軸は、重心として決定された領域を通る直線である。加工後の画像は、重心軸に対して、大きさが対象になるように加工される。

また画像５００を加工するルールとしては、第１の実施形態と同じルール５１０「所定の点数以下の領域を除いてトリミング」が取得される。同様に、ルール５２０「マイナスコメント領域を除いてトリミング」、ルール５３０「マイナスコメント領域を除いて、オリジナルアスペクト比を保持してトリミング」が取得される。また、ルール８１０、８２０、８３０「加工時に重心を考慮（画像のバランスを考慮）」も設定されている。

画像５００における、図７に示した解析処理では、所定の評価をプラスコメントの点数を＋２とすると、顔領域と所定の評価のコメント領域が一致する。したがって、解析部１０４はＳ７０１→Ｓ７０５→Ｓ７０７→Ｓ７０８との処理を経て、プラスコメント５０１の付与領域５０４を通る線分８０１を重心軸として決定する。

まず、重心軸８０１とルール５１０「所定の点数以下の領域を除いてトリミング」に従うと加工後の画像は枠８０２のようにトリミングされるべきと解析される。そして、加工部１０５は画像５００を枠８０２のようにトリミングを行い、画像８１１を作成する。また、重心軸８０１とルール５２０「マイナスコメント領域を除いてトリミング」に従うと枠８０３のように加工されるべきと解析され、加工部１０５は画像８２１を作成する。

ルール５３０「マイナスコメント領域を除いて、オリジナルアスペクト比を保持してトリミング」の加工処理においてはさらに重心軸８０４を考慮して説明を行う。重心軸８０１、８０４を中心として、ルール５３０に従うと、枠８０５のようにトリミングされるべきと解析される。そして、加工部１０５は画像８３１を作成する。

ここで、本実施形態においては、Ｓ４０５に示すコメント付与処理において、「バランスよく加工しました」等のコメントさらに付与する。

以上説明したように、本実施形態によれば、画像に付与されたコメントに基づいて、加工後の画像の重心を決定するので画像上の着目するべき領域に対してバランスが良い画像を作成することができる。また画像の重心を画像の所定の評価以上の領域とすることができるので、加工後の画像の中心を着目するべき領域にすることが出来る。また、画像中の顔等のオブジェクトを考慮して重心を決定するので、加工後の画像の構図を適切に設定することが可能となる。

なお、重心の決定方法としてコメント領域と顔領域のみを考慮して決定する構成について説明を行ったが、顔ではなく任意のオブジェクトを考慮して決定しても良い。また、複数のコメント領域を結ぶ平面図形から、重心位置を求めるように構成しても良い。また、マイナスのコメントが付されているような、着目するべきでない領域に基づいて重心を決定してもよい。

（第３の実施形態）
第１、第２の実施形態においては、画像に付与されている画像の特定領域の評価・優劣・レベルを示すプラスマイナスコメントに基づいた画像加工の方法を説明した。本実施形態において、メモコメントに基づいて画像を加工する例を示す。なお、本実施形態における画像処理装置は第１の実施形態と同様である。

本実施形態の加工対象画像と加工結果である作成された画像を図９に示す。図９の加工対象画像９００に付与されているコメント９０１に基づき、画像を加工する。コメント９０１は「暗い逆光」が顔領域に付与されている。本実施形態において、図４に示す画像の加工処理のＳ４０１では、画像９００が取得され、Ｓ４０２では、ルール９１０「コメント内容に基づき画像を加工」が取得されているとする。Ｓ４０３において解析部１０４はルール９１０「コメント内容に基づき画像を加工」にしたがって、コメント９０１の内容を自然言語処理または予め画像処理装置１０１が保持している識別コードのテーブルをもとに判別する。そして、解析部１０４は、コメントの内容から処すべき画像の加工内容を決定する。

加工内容の決定は、例えば、加工内容と対応するコメントの内容を関連付けたテーブルを記憶部１０２に予め記憶しておく。そして、解析部１０４は画像に付与されたコメントの内容を取得し、テーブルを参照することで加工内容を決定する。コメントに対する加工内容の例として、コメント「赤目」が付与されている場合は瞳を検出し、瞳領域の色を補正する赤目補正処理を加工内容として決定する。また、コメント「ピンボケ」が付与されている場合は２次元の非鮮鋭マスク処理等を行うピンボケ補正処理を加工内容として決定する。

図９に示す画像９００に付されているコメント９０１「暗い逆光」に対しては「逆光補正」が関連付けられており、解析部１０４は「逆光補正」をコメント９０１に対しての加工内容として決定する。Ｓ４０４において、加工部１０５は、コメントが付されている領域の明度、色分布を伸張させる等の加工を行い、画像９００を明るく加工した画像９１１を作成する。続いて、Ｓ４０５において付与部１０６は作成した画像にコメントを付与する。ここでは、コメント９０１“暗い逆光”を参照し「“暗い逆光”を補正しました」とのコメント９１２を画像９１１に付与し、Ｓ４０６において、コメントを付与した画像９１１を出力する。

以上説明したように、本実施形態によれば、画像に付与されたコメントの内容に基づいて、画像に加工を行うことができる。例えば、マイナスコメントが付されているような失敗画像であっても、自動で画像を改善する加工を施すことが出来る。

（第４の実施形態）
本実施形態においては、図３に示すＳ３０４に示す加工処理の結果に基づく処理の他の形態について説明する。加工処理の結果に基づく処理として加工対象画像を表示する際に画像に付されたコメントに基づいて、ズーム、ズームアウト、パンニング等の表示効果を用いる表示制御を行う。本実施形態における図３のＳ３０３に示す加工処理を図１１（ａ）に示す。

図１１のＳ１１０１において、解析部１０４は加工対象画像におけるコメント情報を取得する。Ｓ１１０２において画像表示ルールを取得する。画像表示ルールとしては例えば、「プラスコメントをズームインしながら表示」「マイナスコメントを表示せず、ズームアウト」等が挙げられる。また、どのように表示加工をしてどのくらいの時間表示するかであってもよいし、各コメント付与領域間をどのような順序でどのように遷移するかを定めるルールとしてもよい。例えば、プラスコメント付されている領域を表示する際は表示時間を長くするように設定するように構成しても良い。続いて、Ｓ１１０３、Ｓ１１０４において、解析部１０４は取得したルール、コメント情報を解析し、対象画像の表示方法を決定する。Ｓ１１０５において、解析部１０４は表示制御部１０７に決定された表示方法を出力する。

続いて、図３に示すＳ３０４に示す加工処理の結果に基づく処理（本実施形態においては表示制御処理）を図１１（ｂ）に示す。Ｓ１１０６において、表示制御部１０７は、前述のＳ１１０５において出力された表示方法を取得する。Ｓ１１０７において、表示制御部１０７は、取得した表示方法に従い、ＲＡＭ２０４に加工部１０５が加工した対象画像を時系列的に変化させてロードする。また、表示方法に従い、コメントが付された領域の表示部１０８に表示される時間の制御を行う。Ｓ１１０８において、対象画像の表示を終了するかを判断し、表示を終了する場合は処理を終了する。対象画像の表示を続ける場合は、引き続きＳ１１０７において、表示制御部１０７は対象画像の表示制御を行う。

図１２に本実施形態における表示制御による表示部１０８に表示される画像の一例を示す。図１２において１２０１は対象画像である。画像１２０１には、プラスコメント１２０２、１２０３、マイナスコメント１２０４、１２０５が付されている。なお、メモコメントに関しては説明の簡略化のため記載は省く。Ｓ１１０２において取得する画像表示ルールとして、「マイナスコメントを表示せず、プラスコメントをズームイン→ズームアウト」「マイナスコメントを表示せず、プラスコメントから他のプラスコメントへパンニング」を例として説明を行う。図１２（ａ）は、ルール「マイナスコメントを表示せず、プラスコメントをズームイン→ズームアウト」の表示例である。まず、表示制御部１０７は、マイナスコメント１２０４、１２０５を表示せず、プラスコメント１２０２、１２０３が含まれる領域１２０６を表示部１０８に表示させる。そして、表示制御部１０７は画像に付された最も高い点数であるコメント１２０２を拡大して表示するように徐々に変倍率増加して、時系列的に変化させて領域１２０７にむけてズーミング表示する制御を行う。そして、表示制御部１０７は領域１２０７を所定の時間表示させ、再び領域１２０６を表示するように徐々に変倍率を低下して、時系列的に変化させてズームアウト表示する制御を行う。

また、図１２（ｂ）は、ルール「マイナスコメントを表示せず、プラスコメントから他のプラスコメントへパンニング」の表示例である。表示制御部１０７は、マイナスコメント１２０４、１２０５を表示せず、プラスコメント１２０２が含まれる領域１２０８を表示部１０８に表示させる。そして、マイナスコメント１２０４、１２０５が含まれない経路を用いて、他のプラスコメント１２０３が含まれる領域１２０８へむけてパンニング表示を行う。

なお、本実施形態において、コメントの点数に基づいて、表示方法を決定したがメモコメントの内容に基づいて、表示方法を決定するように構成しても良い。例えば、コメントの内容を自然言語処理等により解析し、コメントが肯定的な内容であればより表示するべき領域として決定し、他の領域と比較して長時間表示させる。また、コメントが否定的な内容であれば表示すべきではない領域として決定し、他の領域と比較して短い時間表示させる。また、「花火」コメントがついていると下から上に開くようにスライドインするように表示制御する。また、「ピントが合っていない」等のコメントがあれば画像全体をぼかしたり、透明感を上げたり加工して表示制御する。他の画像と重ねての背景的表示でも良い。また、画像全体を表示してからズームイン等の表示効果を用いても良い。また、ズームイン、ズームアウト、パンニング等の表示効果を組み合わせて表示制御を行っても良い。また、複数の画像の表示制御するスライドショー表示において、コメントを利用してもよい。画像に付されたコメントの総和に基づいて、表示する時間を変動させる。つまり、プラスコメントがたくさん付されているような表示すべき画像の表示時間を長くすることができる。また、例えば「スポーツ」コメントがついている画像を表示する場合スピード感あふれる画像のトランジション（すばやくスライドイン）する制御を行う。

以上説明したように、本実施形態によれば、コメントを利用することで、自動で画像上の表示すべき領域を強調する表示制御を行うことができる。また、表示すべき画像上の領域をズームして表示できる。また、画像上の表示すべき領域の表示時間を特別に長くすることで、強調して表示を行うことが出来る。また、同一画像上に複数ある画像上の領域をズームイン、ズームアウトして効果的に表示することができる。また、表示すべきではない画像上の領域を自動で表示しない。また、表示すべきでない領域を表示する場合であっても、表示時間を短くするなどの表示制御を行うことが出来る。また、画像上の複数ある表示すべき領域をパンニング表示して効果的に表示することが出来る。

（第５の実施形態）
本実施形態では、画像表示時に表示するコメントを加工して出力する例を示す。図３のＳ３０４に示す、加工処理の結果に基づく処理として、加工した画像を表示する際にコメントの内容を画像に重畳して表示する。本実施形態における画像処理装置１０１は音声信号を出力する構成を備えているとする。

コメントの加工方法として「自分が話しているモード」「他人から言われているモード」などがあらかじめ規定されているとする。また、「他人から言われているモード」では、女性風、男性風、年齢別などを用意してもよい。このようなコメント加工方法に対応した語尾や使用語句の変換テーブルを記憶部１０２に記憶し、コメント加工時に参照する。このコメント加工によって出力されるコメントの語尾や使用語句を変えることが可能となる。なお、コメント加工方法は、ユーザが選択してもよいし、画像にコメントをつけた人の属性から自動的に設定されるようにしても良い。

図１０に本実施形態におけるコメント加工の一例を示す。「他人から言われているモード（女性風）」が設定され、コメント１００１の「いい顔」に対しては、「他人から言われているモード（女性風）」に加工して、コメント１０１１「いい顔ですね」が作成される。作成されたコメントは、コメントが付されている領域が表示されている場合に併せて出力される。同様に、コメント１００２、コメント１００３もコメント１０１２、コメント１０１３に加工され出力される。また、例えばコメント加工方法が「自分で話しているモード」と設定されていた場合、コメント１００１「いい顔」に対しては「俺、いい顔してるだろ」のように語尾や使用語句を変更してコメントを加工し、出力する。また、コメントの内容を出力する際に音声信号として出力してもよい。「他人から言われているモード」であれば、設定したモードに応じて女性、男性の声により出力しても良い。

以上説明したように、画像の表示時にコメントを加工して出力することで、よりエンターテイメント性を向上させた画像表示を実現できる。

（その他の実施形態）
上述の実施形態において説明した加工処理の結果に基づく処理は通信装置２０８に接続された外部装置であるに出力する構成としてもよい。また、画像処理装置１０１にｗｅｂサーバとしての機能を備えて、クライアントである外部装置と情報の入出力を行う構成としてもよい。例えば、画像処理装置１０１は入力画像をクライアントである外部装置から通信装置２０８を介して取得し、加工処理において作成した画像を通信装置２０８を介して外部装置に出力する構成としても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像処理装置
１０２ 記憶部
１０３ 制御部
１０４ 解析部
１０５ 加工部
１０６ 付与部
１０７ 表示制御部
１０８ 表示部

Claims (18)

1. 画像上の指定領域と当該指定領域に対して付されている評価とを特定する特定手段と、
   前記画像を加工するためのルールを取得する取得手段と、
   前記特定手段により特定した評価と前記指定領域と前記取得手段により取得した前記ルールとに基づいて、前記画像を加工する加工手段と、を有し
   前記取得手段は、複数のルールを取得し、
   前記加工手段は、前記画像を加工して、前記複数のルール夫々に対応する複数の画像を生成することを特徴とする画像処理装置。
2. 画像上の指定領域と当該指定領域に対して付されている評価とを特定する特定手段と、
   前記画像を加工するためのルールを取得する取得手段と、
   前記特定手段により特定した評価と前記指定領域と前記取得手段により取得した前記ルールとに基づいて、前記画像を加工する加工手段と、
   前記加工手段による加工内容を加工後の画像に付与する付与手段と、
   を有することを特徴とする画像処理装置。
3. 画像上の指定領域と当該指定領域に対して付されている評価とを特定する特定手段と、
   前記画像を加工するためのルールを取得する取得手段と、
   前記特定手段により特定した評価と前記指定領域と前記取得手段により取得した前記ルールとに基づいて、前記画像を加工する加工手段と、
   前記加工手段による加工内容に基づいて、前記画像に付されている評価の内容を更新する更新手段と、
   を有することを特徴とする画像処理装置。
4. 画像上の指定領域と当該指定領域に対して付されている評価とを特定する特定手段と、
   前記画像を加工するためのルールを取得する取得手段と、
   前記特定手段により特定した評価と前記指定領域と前記取得手段により取得した前記ルールとに基づいて、前記画像を加工する加工手段と、
   前記加工手段により加工された画像を表示手段に表示させ、表示される画像を時系列的に変化させて表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
5. 前記表示制御手段は、前記指定領域が表示されないように表示制御することを特徴とする請求項４記載の画像処理装置。
6. 前記表示制御手段は、前記指定領域をズームインまたはズームアウトまたはパンニングして表示させる表示制御することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記特定手段により、前記指定領域が複数、特定された場合、
   前記表示制御手段は、特定された前記指定領域から他の指定領域へパンニングして表示させる表示制御を行うことを特徴とする請求項４乃至６のいずれか１項記載の画像処理装置。
8. 前記表示制御手段は、前記特定手段により特定された前記評価に基づき、当該評価が付されている指定領域の表示時間を異ならせることを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
9. 前記加工手段は、前記指定領域を除くように前記画像をトリミングすることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記加工手段は、前記指定領域が除かれないよう前記画像をトリミングすることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記指定領域に対する評価は、当該指定領域の色に関する情報または明るさに関する情報を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記特定手段により特定した指定領域と当該指定領域に対する評価とに基づいて、前記画像の重心を決定する決定手段を更に有し、
    前記加工手段は、前記決定手段が決定した前記重心が加工後の画像の重心となるよう前記画像を加工することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記指定領域に対して付されている評価は、点数であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記指定領域に対して付されている評価は、コメントであることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記加工手段は、前記指定領域に対して付されている評価に応じた画像処理を当該指定領域に対して行うことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 画像上の指定領域と当該指定領域に対して付されている評価とを特定する特定工程と、
    前記画像を加工するためのルールを取得する取得工程と、
    前記特定工程により特定した評価と指定領域と前記取得工程により取得した前記ルールとに基づいて、前記画像を加工する加工工程とを有し、
    前記取得工程においては、複数のルールを取得し、
    前記加工工程においては、前記画像を加工して、前記複数のルール夫々に対応する複数の画像を生成することを特徴とする画像処理方法。
17. 画像上の指定領域と当該指定領域に対して付されている評価とを特定する特定工程と、
    前記画像を加工するためのルールを取得する取得工程と、
    前記特定工程により特定した評価と指定領域と前記取得工程により取得した前記ルールとに基づいて、前記画像を加工する加工工程と、
    前記加工工程において加工された画像を表示手段に表示させ、表示される画像を時系列的に変化させて表示させる表示制御工程と、
    を有することを特徴とする画像処理方法。
18. 請求項１乃至１５のいずれか１項に記載の画像処理装置としてコンピュータを動作させるためのプログラム。

Images