JP5587446B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は複数の画像を表示する順序を並び替える画像処理装置及びその制御方法に関する。

近年、デジタルカメラのハードディスクやメモリカードの大容量化に伴い、大量の画像を保持しておくことが容易になってきている。大量の画像の中からアルバム用に画像を選択する場合、全ての人が偏りない印象になるよう画像を選ぶためには、大変な労力を要する。

特許文献１には、大量の画像候補の中から意図に沿った画像を選び出す際に、一度表示された画像を履歴に記録し、一度表示された画像の表示に制限を加えることで、効率的な画像検索を行う方法が記載されている。

また、特許文献２には、画像に写っている被写体の人物情報を登録しておき、第１の人物と関連性の強い第２の人物と対応付けておく。それにより同一ページにおいて第１の人物と第２の人物の含まれる数、面積を偏りなくアルバムを作成することが記載されている。

特開２０００−２７６４８４号公報 特開２００６−２９５８８９号公報

特許文献１で開示されている技術によれば、検索結果として一度選択候補画面に表示された画像に対して制限を加える。枚数が増えていった場合であっても、表示されたかどうかで同じ制限を加えるのでどれを優先的に表示をするかはわからない。

特許文献２で開示されている技術によれば、関連があると判断された人物同士では、偏りのない印象にすることができる。しかし、学校アルバムのように全ての人の画像が均等にアルバムに含まれなければならない場合であっても特定の人物が選択される。
本発明はこのような問題を鑑みてなされたものであり、画像の選択する際に、ユーザが偏りのない画像を選択する操作を容易することを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は、以下の構成を備える。即ち、複数の未選択画像を所定の順序に従って表示画面に表示させる表示制御手段と、ユーザ入力に応じて、前記表示画面に表示された複数の未選択画像から画像を選択する選択手段とを有し、前記表示制御手段は、前記選択手段によって画像が選択された場合、前記選択手段で選択された選択済み画像が有する属性情報に一致しない属性を有する画像を、前記選択済み画像が有する属性情報に一致する属性を有する画像より優先する並び順に、前記選択済み画像を除く残りの未選択画像を並び替える。

また、上記の目的を達成するための本発明の一態様による画像処理装置の制御方法は、表示制御手段により、複数の未選択画像を所定の順序に従って表示画面に表示させる表示制御工程と、選択手段により、ユーザ入力に応じて、前記表示画面に表示された複数の未選択画像から画像を選択する選択工程と、前記選択工程において画像が選択されたことに応じて、前記表示制御手段により、前記選択工程で選択された選択済み画像が有する前記属性情報に一致しない前記属性情報を有する画像を、前記選択済み画像が有する前記属性情報に一致する前記属性情報を有する画像より優先する並び順に、前記複数の未選択画像を並び替える並び替え工程とを有する。

本発明によれば、所定の順序に従って表示された複数の未選択画像のうち、ユーザが選択した画像を除く残りを、ユーザが選択した画像と異なる属性情報を有する画像を優先した並び順に並び替えることにより、ユーザが偏りのない画像を選択する操作が容易になるという効果が得られる。

本発明の実施形態１の画像表示装置のハード構成を示す図である。 本発明の実施形態１の画像表示装置の機能構成図である。 本発明の実施形態１の画像表示装置の画像選択処理を示すフローチャートである。 本発明の実施形態１に係る画像表示装置の提示優先度決定処理を示すフローチャートである。 本発明の実施形態１に係る画像選択装置の各情報の一覧を示す図である。 本発明の実施形態１に係る画像が選択された場合の処理を示す図である。 本発明の実施形態２に係る画像選択装置の画像選択処理を示すフローチャートである。 本発明の実施形態２に係る画像選択装置の提示優先度決定処理を表すフローチャートである。 本発明の実施形態２に係る画像選択装置の各情報の一覧を示す図である。 本発明の実施形態２に係る画像が選択された場合の処理を示す図である。 本発明の実施形態３に係る画像選択装置の画像選択処理を示すフローチャートである。 本発明の実施形態３に係る各情報の一覧を示す図である。 本発明の実施形態３に係る画像が選択された場合の処理を示す図である。 本発明の実施形態４に係る画像選択装置の画像選択処理を示すフローチャートである。 本発明の実施形態４に係る各情報の一覧を示す図である。 本発明の実施形態４に係る画像が選択された場合の処理を示す図である。 本発明の実施形態５に係る画像選択装置の画像選択処理を示すフローチャートである。 本発明の実施形態５に係る提示優先度決定処理を表すフローチャートである。 本発明の実施形態５に係る各情報の一覧を示す図である。 本発明の実施形態５に係る画像が選択された場合の処理を示す図である。 本発明の実施形態６に係る表示画面と提示優先度の様子を示す図である。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

＜実施形態１＞
図１は本実施形態における画像選択装置のハードウェア構成の一例を示すブロック図である。２１０２はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、バス２１０１に接続された各構成要素を制御する。

本画像選択装置は、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１０３であってもよいし、外部記憶装置などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１０４であってもよい。あるいは、これらの組合せで実現しても構わない。

２１０５は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの記憶装置である。また、本実施形態では、画像を保持しておくためにも利用される。なお、画像を保持しておく装置としては、外部接続やネットワークに接続されたコンテンツ保持装置を用いてもよい。また、記憶装置２１０５と同様の役割を果たすものとして、外部記憶装置２１０６を用いてもよい。ここで、外部記憶装置２１０６は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。

２１０７はユーザからの指示を入力するための入力装置である。ユーザは入力装置２１０７を介して、当該情報処理装置に指示を行う。入力装置２１０７は、例えば、キーボードやポインティングデバイスにより実現することができる。

２１０８は当該コンテンツ管理装置２１００の処理結果等を表示出力する表示手段としての出力装置である。出力装置２１０８は、例えば、出力のための回路を含むＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）や液晶表示器などのディスプレイ装置により実現することができる。本実施形態では、画像を出力装置（表示装置）２１０８に表示する。
図２は、本発明を適用できる画像選択装置の機能構成図の例である。各機能の制御は、図１のＣＰＵ２１０２が行う。

入力画像１０１は、一枚以上の入力画像である。１０１は、被写体情報をメタデータとして保持していることもある。ここでいう被写体情報とは、画像に写っている被写体を特定する情報、被写体の面積、顔の向き、表情、目をつぶっているか開いているか等の画像の情報を示す属性情報である。以降、説明では属性情報を被写体情報と呼ぶ。また、前記の情報以外にも被写体に関する任意の情報を被写体情報として扱っても構わない。また、人でなく、動物や風景、物等でも構わない。

未選択画像格納部１０２は、入力画像１０１のうち選択済みではない画像を保持する。画像を保存するためのハードディスクドライブ装置や、情報処理装置に各種の情報を提供するためのＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体等により構成されている。

画像選択部１０３は、未選択画像格納部１０２から画像を選択する選択部である。選択操作は入力装置１１１を通して行う。入力装置１１１は、ボタン群やキーボード、マウス、タッチパネル、ペン、タブレット、デジタイザ等であり、画像の選択指示を本装置に入力するための入力インタフェースとして機能する。

未選択画像の被写体情報抽出部１０４は、未選択画像格納部１０２の画像に関する被写体情報を抽出する処理を行う。画像認識部を設け認識結果を自動で抽出する方法でも良いし、保持しているメタデータ等から自動抽出する方法でも良い。また、画像を見てユーザが手動で被写体情報を入力しても構わない。また、自動抽出と手動抽出を組み合わせて抽出しても良い。

選択済み画像の被写体情報抽出部１０５は、１０３で選択された画像の被写体情報を抽出する処理を行う。画像認識部を設け認識結果を自動で抽出する方法でも良いし、保持しているメタデータ等から自動抽出する方法でも良い。また、画像を見てユーザが手動で被写体情報を入力しても構わない。また、自動抽出と手動抽出を組み合わせて抽出しても良い。

被写体評価値決定部１０６は、１０５で抽出された選択済みの画像に関する被写体情報に基づき、被写体情報の値ごとに評価値を決定する処理を行う。評価値記憶部１０７は、１０６で決定された評価値を記憶する記憶部である。各種の情報を保存するためのハードディスクドライブ装置や、情報処理装置に各種の情報を提供するためのＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体等により構成されている。

提示優先度決定部１０８は、１０４で抽出された未選択画像の被写体情報と、１０７で記憶されている評価値から未選択画像の提示優先度を決定する処理を行う。並び替え部１０９は、提示優先度決定部１０８で決定された提示優先度によって未選択画像格納部１０２に保持されている未選択画像の並び替えを行う。出力装置１１０は、図１の１０８であり、ＣＲＴや、液晶ディスプレイ等の表示装置から構成され、並び替えられた未選択画像を表示する。画像１１２は、本画像選択装置１００で選択された出力画像である。

続いて、図３〜図６を用いて、第１の実施形態の提示優先度決定処理の説明をする。図３は、本発明の実施形態１に係る画像表示装置の提示優先度決定処理のフローチャートである。図５は、未選択画像格納部１０２で保持される画像に対し、画像選択部１０３による選択処理を行う前の様子を表している。

Ｓ２０１では、未選択画像格納部１０２で保持される画像の被写体情報抽出処理を行う。本実施形態では、図５の４０１に示した画像１から画像４の４枚の画像を入力画像として用いる。また、４０１は、抽出した全画像の被写体情報と画像を一意に特定するＩＤの対応関係を表している。本実施形態では、被写体情報として画像に写っている被写体を特定する情報（以降、被写体ともいう）のみを用いる。ここで、どの情報を被写体情報とするかは、ユーザが指定するようにしてもよいし、予め設定されていてもよい。また、画像ごとにメタデータとして被写体を特定する情報の値として個人名Ａ、Ｂ、Ｃ…が付与されているものとするが、被写体を特定することができる情報であれば前記の個人名に限らない。本発明の並び替えを適用する前の提示順序は、画像のＩＤの昇順に並んでいるものとする。

Ｓ２０２では、被写体を特定する情報の値ごとの評価値の初期値を設定する。図５の４０２被写体を特定する情報の値ごとの評価値一覧を示す。ここでは、画像選択前における被写体を特定する情報の値ごとの評価値の初期値を示す。本実施形態では、全ての被写体の初期値を０とし、画像が選択される毎に、その画像が有する被写体を特定する情報の値に評価値１を付与する。

Ｓ２０３では、Ｓ２０１で抽出した被写体情報とＳ２０２やＳ２０８で設定される評価値によって提示優先度を決定する処理を行う。

図４はＳ２０３の提示優先度決定処理の詳細を示すフローチャートである。Ｓ３０１で、同一の評価値の被写体を特定する情報の値が存在するか判断する。同一の評価値の被写体を特定する情報の値が存在しない場合（Ｓ３０２）には、最も評価値が低い被写体を特定する情報の値を有する画像から提示優先度を付与していく。Ｓ３０１で、同一の評価値の被写体を特定する情報の値が複数存在する場合には、同一の評価値の被写体を特定する情報の値をグループとして扱うようにする（Ｓ３０３）。Ｓ３０４で評価値の最も低いグループに属する被写体を特定する情報の値を有する画像から提示優先度を付与していく。最も評価値が低いグループに属する被写体を特定する情報の値を有する画像に提示優先度を付け終えたら、次に低いグループに属する被写体を特定する情報の値を有する画像へ提示優先度を付与するという流れで処理を進める。本実施形態では、同一評価値のグループ内での提示優先度付けについては、どのような提示優先度付けを行っても良い。本実施形態では、グループ内での提示優先度を付ける必要が生じた場合は、単純に並び替え処理を行う前の提示順序により決定する。

図５の４０３は、Ｓ２０１で抽出した被写体情報とＳ２０２で設定した評価値の初期値を用いて提示優先度決定処理Ｓ２０３で付与された提示優先度一覧である。画像の選択処理を行う前の提示優先度を表している。

Ｓ２０４では、Ｓ２０３で決定した提示優先度に応じて、未選択画像の保持部で保持される画像を並び替え、出力装置１１０で表示する。また、全てを表示せずに提示優先度によって表示を制限してもよい。提示優先度が最も高い画像だけを表示してもよいし、一定以上の提示優先度の画像のみを表示してもよい。また、画像が一画面に収まらない場合には提示優先度が高い画像から順に収まる分だけ表示をしてもよい。Ｓ２０３で決定した提示優先度で並び替えた結果は、図５の４０４のようになる。提示優先度の数字が小さい画像から順に提示する。

Ｓ２０５で選択候補の画像が無くなるか、画像の選択を終了するかどうか決定するまで、画像を選択するたびに、Ｓ２０３からＳ２０８までの処理の流れを繰り返す。Ｓ２０５においてＹＥＳに進み画像選択が終了したら、処理を終了する。ＮＯであれば、Ｓ２０６へ進む。

Ｓ２０６では、画像選択部１０３により画像が選択された際の処理を行う。図６は画像が選択された場合の処理を示す図である。本実施形態では、図６の５０１で示すように、画像１を一枚アルバムへ選択する場合（５０２）について説明する。具体的にここで行う処理としては、選択されている未選択画像一覧の画像が選択済みの画像一覧やアルバム等に配置されたら、元の画像を削除し、配置先へコピー等を行う。

Ｓ２０７では、Ｓ２０６で選択した画像の被写体情報を特定する。本実施形態で特定する被写体情報は、被写体を特定する情報である。そのため画像１から抽出される被写体情報は、被写体を特定する情報の値としてＡという情報が抽出される。Ｓ２０８では、Ｓ２０７で抽出された情報をもとに評価値を付与する。図６の５０３では、画像選択後の評価値を被写体を特定する情報の値ごとに示している。５０２で被写体Ａが写っている画像１が選択されたため、被写体Ａに評価値として１を付与する。

再びＳ２０３に戻り、Ｓ２０１で抽出した被写体情報と、Ｓ２０８で設定した評価値から画像の提示優先度を決定する処理を行う。５０５のように評価値０の被写体が、被写体Ｂと被写体Ｃの二人存在するため、二人を評価値０のグループとしてひとまとめにする。そのため被写体Ｂ、または被写体Ｃの写っている画像が区別なく優先される。５０６で示すように、同一評価値のグループ内では、並び替え処理を行う前の提示順序を優先するため、画像３が提示優先度１、画像４が提示優先度２となる（５０８）。次に５０４のように評価値が１のＡが写っている画像である画像２が提示優先度３となる（５０７）。提示優先度決定処理Ｓ２０３を行う際に、未選択画像一覧の画像についての被写体情報を利用する。この未選択画像の被写体情報は、記憶部を用意して、Ｓ２０１における未選択画像の被写体情報抽出結果を記憶しておいてもよいし、選択するたびに抽出してもよい。

Ｓ２０４において、５０６で示す提示優先度で画像を並び替えることで５０９のように未選択の画像が並び替えられる。また、５１０のように提示優先度が最も高い画像のみ表示するように制限を加えてもよい。ここでは提示優先度が最も高い画像３のみを表示し、画像４と画像２の表示は制限している。

このように、実施形態１では選択する度に決定された提示優先度を用いて表示を行うので、ユーザの嗜好に近い表示を実現しながら、ユーザの操作を軽減することが出来る。

＜実施形態２＞
実施形態１では、被写体情報として、被写体を特定する情報のみを用いた。実施形態２では、複数の被写体情報を組み合わせた例として、被写体の顔の面積をさらに被写体情報として用いる。つまり、実施形態２では、アルバムへの登場面積まで考慮することで、ある人は大きく写っている画像が２枚であるのに対し、別の人は小さく写っている画像が２枚というようなバランスの悪い画像が選択されることなく、各被写体の印象の均一化を図ることが可能である。複数の被写体情報を用いて提示優先度を決定する例を示す。

図７は実施形態２の全体の流れを表すフローチャートである。図８はＳ６０３の提示優先度決定処理の詳細を表すフローチャートである。本実施形態では、図９の８０１に示した画像１から画像４までの４枚を入力画像として用いる。本実施形態においても、画像選択装置の基本的な構成は実施形態１で図１、図２を用いて説明したものと同様であるのでここでは省略する。

Ｓ６０１では、実施形態１と同様に、未選択画像格納部１０２で保持される全ての画像の被写体情報を抽出する。実施形態１では、被写体を特定する情報のみであったのに対し、実施形態２では、被写体情報として、被写体である顔の面積の情報も用いる。本実施形態では、メタデータに被写体情報の値として、個人名、顔の面積を付与しておき、そのメタデータより被写体情報を取得するものとする。前記抽出手段は、メタデータから抽出するだけに限らず、画像認識等他の手段によって取得しても構わない。

図９の８０１は、抽出した全画像の被写体情報と画像のＩＤの対応関係を表している。本実施形態は、図９の８０２に示すように顔の面積を相対的に大中小の３段階に分類して処理しているが、面積そのものの値を用いてもよいし、何段階に分類して扱っても構わない。実施形態１と同様に本発明を用いる前の並び順は、画像のＩＤの昇順に並んでいるものとする。

Ｓ６０２では、実施形態１のＳ２０３と同様に被写体を特定する情報の値ごとの評価値の初期値を設定する。本実施形態においても画像の選択を行う前の状態では、初期値はそれぞれ０とする。提示優先度決定処理Ｓ６０３では、Ｓ６０１で抽出した被写体情報とＳ６０２やＳ６０８で設定した評価値によって提示優先度を決定する処理を行う。

Ｓ６０３では、図８のＳ７０１で、同一の評価値の被写体が存在するか判断する。同一の評価値の被写体を特定する情報の値が存在しない場合（Ｓ７０２）には、評価値が最も低い被写体が写っている画像から提示優先度を付与していく。

同じ被写体が写っている画像が複数存在する場合には、顔の面積を利用して提示優先度決めを行う。この場合では、顔の面積が大きな順に提示優先度を付与する。Ｓ７０３で、同一の評価値の被写体が存在する場合には、同一の評価値の被写体をグループとしてひとまとめにする。

Ｓ７０４で評価値の最も低いグループに属する被写体が写っている画像から提示優先度を付与していく。最も評価値が低いグループに属する被写体が写っている画像に提示優先度を付け終えたら、次に評価値の低いグループに属する被写体が写っている画像へ提示優先度を付与するという流れで処理を進める。

図９の８０４に８０３の評価値を用いて、Ｓ６０３で決定した提示優先度の一覧を示す。画像１と画像４のように、上記の流れでも提示優先度に差を設けることが出来ない場合には、並び替え処理を行う前の提示順序から提示優先度を付与する。この例では、画像１が提示優先度１となり、画像４が提示優先度２となる。

Ｓ６０４では、Ｓ６０３で決定した提示優先度に応じて、未選択画像格納部で保持される画像の並び替え処理を行う。図９の８０４の提示優先度を用いて並び替えた結果は８０５のようになる。提示優先度の数字が小さい画像から順に提示する。画像を選択する前では、評価値による提示優先度付けを行うことが出来ないので、顔の大きさ順に並んでいることがわかる。

Ｓ６０５においては、実施形態１と同様に、選択候補の画像が無くなるか、画像の選択を終了するかどうか決定するまで、画像を選択するたびに、Ｓ６０３からＳ６０８までの処理の流れを繰り返す。Ｓ６０５においてＹＥＳで画像選択が終了したら、処理を終了する。ＮＯであれば、Ｓ６０６へ進む。

Ｓ６０６では、実施形態１のＳ２０６と同様に、画像選択部１０３により、本実施形態に相応しい画像の選択処理を行う。本実施形態では、図１０の９０１で示すように、画像４を一枚アルバム用に選択する場合について説明する。

Ｓ６０７では、Ｓ６０６で選択した画像の被写体情報を抽出する。本実施形態で抽出する被写体情報は、被写体を特定する情報と被写体の顔の面積である。ここでは、被写体を特定する情報の値がＣで、顔の面積の値が大という情報である。Ｓ６０８では、Ｓ６０７で抽出された情報をもとに被写体に評価値を付与する。

図１０の９０２では、画像選択後の評価値を被写体を特定する情報の値ごとに示している。面積による評価値の重み付けは、大が３、中が２、小が１と評価値を顔の大きさで変更することで行っている。そのため９０４のようにＣに評価値として３を付与する。

再びＳ６０３に戻り、再び画像の提示優先度を決定する処理を行う。図１０の９０５が９０２の被写体情報を用いて決定した提示優先度の一覧である。９０３のように評価値０の被写体が、ＡとＢの二人存在するため、二人を評価値０のグループとしてひとまとめにする。そのためＡ、またはＢの写っている画像が優先される。さらに同一評価値のグループ内では、写っている顔の大きさ順に提示優先度を付与する。そのため、画像１が提示優先度１、画像３が提示優先度２となる。さらに９０４のように評価値が３の被写体Ｃが写っている画像２が提示優先度３となる（９０６）。

この提示優先度決定処理Ｓ６０３の際にも、未選択画像の被写体情報を利用する。実施形態１と同様に、Ｓ６０１における未選択画像の被写体情報抽出結果を記憶しておいてもよいし、画像を選択するたびに再度抽出してもよい。

Ｓ６０４において、９０５で示す提示優先度で画像を並び替えることで９０７のように未選択の画像が並び替えられる。

本実施形態では、被写体情報として、被写体を特定する情報と顔の表示面積の大きさを用いたが、全身の表示面積、笑顔の度合い、１枚の画像に何人で写っているかという人数の情報を用いても構わない。また、顔の向き、瞬きをしているか否かといった定量的でない情報であっても構わない。顔の向きであれば、正面、斜め、横等のように数段階に独自に分類して扱えればよい。

また、Ｓ７０２において、同一の被写体が複数存在する場合には、前記複数の被写体情報を用いて、さらに詳細に提示優先度を決定しても良い。Ｓ７０５においても、同一の評価値のグループ内で、さらに詳細に提示優先度を決定する場合には、前記複数の被写体情報を用いて、さらに詳細に提示優先度を決定しても良い。

以上より、複数の被写体情報をいて提示優先度を決定することにより各被写体の印象の均一化を図ることが可能となる。

＜実施形態３＞
実施形態１と実施形態２では、画像を１枚選択した際の、提示優先度の決定方法及び、提示優先度に応じた並び替えについて述べた。しかし、既に選択された画像を未選択画像格納部に戻す際にも本発明は適用可能である。実施形態３では、選択済みの画像を１枚未選択画像格納部に戻した際に、戻した画像に応じて提示優先度を変更する例を示す。

本実施形態においても、画像選択装置の基本的な構成は実施形態１で図１、図２を用いて説明したものと同様であるのでここでは省略する。

図１１が実施形態３の処理全体の流れを表すフローチャートである。Ｓ１００３の提示優先度決定処理の詳細は、図４のフローチャートと同様である。本実施形態では、図１２の１１０１に示す画像１から画像５までの５枚を入力画像として用いる。Ｓ１００１においては、実施形態１のＳ２０１と同様に、被写体情報を抽出する。図１２の１１０１は、全画像に対する画像のＩＤと、被写体情報を表している。本実施形態も実施形態１と同様に、被写体情報として被写体を特定する情報のみを用いる。

Ｓ１００２においては、実施形態１のＳ２０２と同様に本実施形態に相応しい初期値を設定する。本実施形態でも全員の初期値は０とする。Ｓ１００３においては、実施形態１のＳ２０３と同様に、Ｓ１００１で抽出した未選択画像の被写体情報と、Ｓ１００２、あるいはＳ１００９、Ｓ１０１２で設定した評価値から図４のフローチャートに沿って本実施形態に相応しい提示優先度を決定する。

Ｓ１００４においては、実施形態１のＳ２０４と同様に、Ｓ１００３で決定した提示優先度に応じて、本実施形態に相応しい提示順で並び替えを行う。Ｓ１００５においては、実施形態１のＳ２０５と同様に、画像の選択作業を継続するか終了するか判定する。ＮＯであれば、Ｓ１００６へ進む。ＹＥＳであれば処理を終了する。

Ｓ１００６においては、画像の選択作業として、画像を未選択画像一覧から選択するのか、選択済みの画像から未選択画像へ戻すのか判断を行う。ＹＥＳであれば、Ｓ１００７へ進む。ＮＯであれば、Ｓ１０１０へ進む。Ｓ１００７では、実施形態１のＳ２０６と同様に、本実施形態に相応しい画像の選択処理を行う。本実施形態では、最初に画像１を選択し、２度目の選択時には画像３を選択する。Ｓ１００８では、実施形態１のＳ２０７と同様に、選択した画像の被写体情報を特定する。

Ｓ１００９においては、実施形態１のＳ２０８と同様に、本実施形態に相応しい評価値を被写体ごとに付与する。１１０２の被写体情報一覧と１１０３の画像の提示優先度一覧は、１１０１で示した全画像に対し、実施形態１の処理を適用し、画像１、画像２の順でアルバムへ画像を選択した場合の値である。１１０５に示すように、被写体Ａが写っている画像１と被写体Ｂが写っている画像３が選択済みの状態であるため、１１０２のように被写体のＡとＢにそれぞれ評価値として１が付与されている。また、未選択の画像のうち、評価値０の被写体が写っている画像は、画像５だけであるので、画像５が提示優先度１となる。評価値が１の被写体であるＡとＢが写っている画像２と画像３は、デフォルトの並び順を優先して、画像２が提示優先度２、画像３が提示優先度３となる。以上の流れで１１０４の提示順が定まる。

Ｓ１０１０では、画像を一枚、選択状態から未選択状態へ戻す処理を行う。１２０１で示すように、本実施形態では、画像１を未選択画像一覧へ戻す例について説明する。具体的な処理としては、現在選択されている選択済みの画像が、未選択画像の一覧へ配置されたら、選択済みの画像一覧から削除し、未選択画像の一覧へ画像をコピーする。

Ｓ１０１１では、未選択画像一覧へ戻した画像の被写体情報を抽出する。本実施形態では、戻した画像に写っている被写体を特定する情報の値がＡという情報である。Ｓ１０１２では、未選択画像一覧に戻された画像に写っている被写体の評価値を減らす処理を行う。本実施形態では、画像が選択されれば、その画像に写っている被写体の評価値をプラス１、画像が選択解除されれば、その画像に写っている被写体の評価値をマイナス１するものとする。そのため、被写体Ａの評価値を１減らす処理を行う。Ｓ１０１２により変更された評価値の一覧を１２０２に示す。１１０２と比較するとＡの評価値が１から０に変わっていることがわかる。１２０２で示した評価値をもとに、Ｓ１００３の提示優先度決定処理を行うことで１２０３のように提示優先度が定まる。さらに１２０３で決定した提示優先度を用いて、１００４の並び替えを行うことで、１２０４のように画像が提示される。Ｓ１００５で画像選択作業を終了するまで画像の選択と選択解除の処理を一枚選択、選択解除するたびに繰り返す。

以上より、選択された画像を戻した場合であっても、ユーザの嗜好に近い表示を実現することが可能となる。

＜実施形態４＞
実施形態１、２では未選択画像の全画像の中から、登場回数や登場面積が均一になるように画像を選択する例について説明した。本実施形態では、特定条件を満たす画像だけを優先的に選択できるようにする例について述べる。学校アルバムの例では、アルバムの中にクラスのページという形で、クラスごとの写真のみを選択したいページがある。本実施形態を適用することで、特定のクラスに所属する人の画像のみを優先的に提示することができる。例として、ここでは学校アルバムの１組のクラス画像を選択する場合について述べる。本実施形態においても、画像選択装置の基本的な構成は実施形態１で図１、図２を用いて説明したものと同様であるのでここでは省略する。

図１４が実施形態４の処理全体の流れを表すフローチャートである。Ｓ１３０３の提示優先度決定処理の詳細は、図４のフローチャートと同様である。本実施形態では、図１５の１４０１に示す画像１から画像５までを入力画像として用いる。Ｓ１３０１おいては、実施形態１のＳ２０１と同様に被写体情報を抽出する。実施形態４では、抽出する被写体情報として、被写体を特定する情報、被写体が所属するクラスを用いる。

Ｓ１３０２においては、評価値の初期値を設定する。目的ではない画像に目的の画像よりも評価値を多く付与しておけば、目的ではない画像の提示優先度が下がる。そのため１組のクラス画像を選ぶ場合では、１組以外のクラスにだけ評価値を付与しておく。本実施形態では、１４０２の評価値の初期値一覧に示すように総画像枚数の５を評価値として付与する（１４０３）。

Ｓ１３０３においては、実施形態１のＳ２０３と同様に、Ｓ１３０２やＳ１３０８で設定した評価値に基づき、本実施形態に相応しい提示優先度決定処理を行う。評価値の初期値を用いて決定した提示優先度は、１４０４のようになる。Ｓ１３０４においては、実施形態１のＳ２０４と同様に、Ｓ１３０３で決定された提示優先度に応じて、本実施形態に相応しい並び替えを行う。提示優先度の一覧１４０４を用いて並び替えた未選択画像一覧を１４０５に示す。１４０４で示すように、ＢとＣが写っている画像３と画像４は提示優先度が低くなるため、未選択画像一覧の末尾に並んでいる。

Ｓ１３０５で画像選択作業を終了するまで画像の選択処理を選択するたびに繰り返す。Ｓ１３０５において、ＹＥＳで画像選択が終了したら処理を終了する。ＮＯであれば、Ｓ１３０６へ進む。Ｓ１３０６においては、実施形態１のＳ２０６と同様に、本実施形態に相応しい画像の選択処理を行う。本実施形態では、１５０１で示すように画像１を選択する場合について説明する。

Ｓ１３０７においては、実施形態１のＳ２０７と同様に、選択した画像の被写体情報を抽出する。ここで抽出する情報は、画像１に写っている被写体は、Ａであるという情報と１組に属するという情報である。Ｓ１３０８においては、実施形態１のＳ２０８と同様に選択された画像に写っている被写体に評価値を付与する処理を行う。ここでは、被写体Ａに評価値として１を付与する。被写体ごとの評価値一覧は１５０３のようになる。１５０４のように被写体Ａは、１組に所属し、且つ画像が選択されたため、評価値が１となる。１５０５のように被写体ＢとＣは、画像は選択されていないが、１組に所属しないので、評価値が５となる。また、被写体Ｄは、１５０６のように１組に所属し、且つまだ一度も選択されていないため評価値は０となる。

Ｓ１３０８で設定した評価値一覧１５０３を用いて、Ｓ１３０３の提示優先度決定処理で決定した提示優先度一覧を１５０７に示す。１５０７の提示優先度一覧を用いて、Ｓ１３０４の並び替えを行った結果を１５０８に示す。被写体Ｄが写っている画像５が提示優先度１、被写体Ａが写っている画像２が提示優先度２となる。被写体ＢとＣが写っている画像３と画像４は、１組ではない画像に、最初に評価値を与えているため、まだ一枚も選択されていないのにも関わらず提示優先度は低くなる。

以上より、特定条件を満たす画像だけを優先的に選択できる。

＜実施形態５＞
実施形態１〜４では、提示優先度を決定した後、決定した提示優先度に応じて、全ての画像を一枚ずつ並び替えて提示していた。本実施形態では、画像を並び替える際に、複数の画像をまとめて扱う場合について述べる。複数の画像をまとめて扱うこと（例えば提示する画像群の横一列をひとまとめにして扱う）で、毎回１枚ずつ提示順序が更新されるよりも見やすい提示を行うことができる。

本実施形態においても、画像選択装置の基本的な構成は実施形態１で図１、図２を用いて説明したものと同様であるのでここでは省略する。図１７が実施形態５の処理全体の流れを表すフローチャートである。図１８は、グループの提示優先度を決定する処理を示すフローチャートである。Ｓ１６０４の提示優先度決定処理の詳細を表すのが、図１８のフローチャートである。本実施形態では、図１９の１８０１に示す画像１から画像６までを入力画像として用いる。

Ｓ１６０１おいては、実施形態１のＳ２０１と同様に被写体情報を抽出する。実施形態５では、抽出する被写体情報として、被写体を特定する情報、被写体が所属するグループの情報を用いる。Ｓ１６０２においては、実施形態１のＳ２０２と同様に評価値の初期値を設定する。評価値の初期値は、１８０２のようになる。

Ｓ１６０３においては、Ｓ１６０２で設定した被写体ごとの評価値から、被写体が所属するグループの評価値を算出する。グループへの評価値付けは、各被写体の評価値を所属するグループの評価値として加算することで行う。Ｂのように二つのグループに所属している場合は、グループ１とグループ２の両方にＢの評価値を加算する。１８０３のように各被写体の評価値が初期値の場合には、グループの評価値の初期値も０になる。

Ｓ１６０４においては、図１８のフローチャートに沿ってグループの提示優先度を決定する。Ｓ１７０１では、同一の評価値のグループが存在するか判断する。ＹＥＳならばＳ１７０３へ進み、ＮＯならばＳ１７０２へ進む。Ｓ１７０２では、評価値の低いグループから順に提示優先度を付与する。

Ｓ１７０３では、評価値が同じグループをグループ群として括る。Ｓ１７０４では、評価値が低いグループ群に所属するグループから提示優先度を付与していく。同一評価値のグループ群の中での提示優先度は、並び替え処理を行う前の並びを優先して付与する。１８０３の評価値から決定した提示優先度が１８０４である。

Ｓ１６０５では、グループ単位での並び替えを行う。この際に、グループの中での並び替えは行わない。１８０４の提示優先度を決定して並び替えたのが１８０５である。

Ｓ１６０６では、実施形態１のＳ２０５と同様に選択候補の画像が無くなるか、画像の選択を終了するかどうか決定するまで、画像を選択するたびに、Ｓ１６０３からＳ１６０９までの処理の流れを繰り返す。Ｓ１６０６においてＹＥＳで画像選択が終了したら、処理を終了する。ＮＯであれば、Ｓ１６０７へ進む。

Ｓ１６０７では、実施形態１のＳ２０６と同様に本実施形態に相応しい画像の選択処理を行う。本実施形態では、図２０の１９０１で示すように、画像１を一枚アルバムへ選択する場合について説明する（１９０２）。

Ｓ１６０８では、実施形態１のＳ２０７と同様に本実施形態に相応しい被写体情報の特定を行う。そのため画像１から被写体Ａが写っている、被写体Ａはグループ１に所属しているという情報が抽出される。Ｓ１６０９では、実施１のＳ２０８と同様に、Ｓ１６０８で抽出された情報をもとに被写体に評価値を付与する。

図２０の１９０３では、画像選択後の評価値を被写体ごとに示している。画像１が選択されたため、被写体Ａに評価値として１を付与する。再びＳ１６０３に戻り、Ｓ１６０１で抽出した被写体情報と、Ｓ１６０９で設定した評価値からグループの提示優先度を決定する処理を行う。Ａが所属するグループはグループ１だけなので、グループ１にのみ評価値を１加算する。Ｓ１６０４で１９０４のグループの評価値より決定したグループの提示優先度が１９０５である。１９０５の提示優先度によってグループごとに並び替えた結果が１９０６である。１９０７と１９０８のようにグループ１とグループ２の順序が入れ替わる。

＜実施形態６＞
実施形態６では、未選択画像の表示する際の更新の仕方について述べる。実施形態１〜実施形態５では、提示優先度に応じて、全ての画像に対して並び替える処理を行っていた。本実施形態では、画像選択の際に画像一覧に見えていない画像のみを並び替えることで、目の前の画像が全て並び替えられる煩わしさを解消する。提示優先度の決定までは、実施形態１〜５で説明したものを適用する。本実施形態においても、画像選択装置の基本的な構成は実施形態１で図１、図２を用いて説明したものと同様であるのでここでは省略する。

図２１は、本実施形態６の表示画面と提示優先度の様子を示す図である。２００１は、ディスプレイの表示画面上に表示されている未選択画像群１である。２００２は、スクロールバーである。２００３は、２００１の状態でスクロールバーを下方向にスクロール操作をした場合に表示される未選択画像群２である。２００４は、２００１から画像Ａを選択した際に決定される未選択画像の提示優先度である。２００５は、並び替え処理後の未選択画像群２である。

２００１の未選択画像群１から画像Ａを選択する場合について説明する。この場合、２００１に示した画像Ａ〜Ｄまでの画像がディスプレイ上に表示されていることになる。２００３の未選択画像群２に示す画像Ｅ〜Ｈは、ディスプレイ上に表示されていない。２００１の未選択画像群１から画像Ａを選択すると、２００４で示すように未選択画像の提示優先度が定まるとする。上記実施形態では、この提示優先度に応じて全ての画像を並び替える例を説明したが、本実施形態では、２００１の未選択画像群１に対しては表示状態を維持し並び替え処理を行わない。ここでは、画像Ａの表示してあったスペースが空の状態になる。また、画像Ａの表示してあったスペースを埋めるように、並び順を保ったまま画像が一枚ずれてもよい。

一方、画像Ａを選択する際にディスプレイに表示されていない未選択画像群２に対しては、並び替え処理を行う。並び替え処理後の未選択画像２の表示は、２００４で示した提示優先度に応じて行うので２００５のようになる。

＜他の実施形態＞
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

１００ 画像選択装置
１０１ 入力画像
１０２ 未選択画像格納部
１０３ 画像選択部
１０４ 被写体情報抽出部
１０５ 被写体情報抽出部
１０６ 評価値決定部
１０７ 評価値記憶部
１０８ 提示優先度決定部
１０９ 並び替え部
１１０ 出力装置
１１１ 入力装置
１１２ 画像

Claims (14)

1. 複数の未選択画像を所定の順序に従って表示画面に表示させる表示制御手段と、
   ユーザ入力に応じて、前記表示画面に表示された複数の未選択画像から画像を選択する選択手段とを有し、
   前記表示制御手段は、前記選択手段によって画像が選択された場合、
   前記選択手段で選択された選択済み画像が有する属性情報に一致しない属性情報を有する画像を、前記選択済み画像が有する属性情報に一致する属性情報を有する画像より優先する並び順に、前記選択済み画像を除く残りの未選択画像を並び替えることを特徴とする画像処理装置。
2. 前記表示制御手段は、前記複数の未選択画像を一部ずつ前記表示画面に表示させ、前記表示画面に対するスクロール操作に応じて、前記表示画面に表示させる一部を前記並び順従って変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記複数の未選択画像のうち、前記表示画面に表示されている画像に対するユーザの入力に応じて、当該画像を選択し、
   前記表示制御手段は、前記複数の未選択画像のうち、前記表示画面に表示されていない未選択画像に対して並び替えを行い、前記表示画面のスクロール操作に応じて前記並び替えられた未選択画像を一部ずつ表示させることを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、予め定められた優先条件を満たす範囲内で、前記複数の未選択画像を並び替える
   ことを特徴と有する請求項１に記載の画像処理装置。
5. 前記属性情報とは、前記画像に含まれるオブジェクトを特定する情報と、前記画像に含まれるオブジェクトが所属するグループを示す情報であって、
   前記予め設定された優先条件とは、前記選択手段で選択された選択済み画像に含まれるオブジェクトと同じグループに所属するオブジェクトの画像を、前記選択手段で選択された選択済み画像に含まれるオブジェクトと異なるグループに所属するオブジェクトの画像より優先することであること
   を特徴とする請求項４に記載の情報処理装置。
6. 前記表示制御手段は、前記複数の未選択画像のうち、
   前記選択手段で選択された選択済み画像に含まれるオブジェクトと異なるグループに所属するオブジェクトの画像で、かつ、前記選択手段で選択された選択済み画像が有する属性情報に一致しない属性を有する画像よりも、
   前記選択手段で選択された選択済み画像に含まれるオブジェクトと同じグループに所属するオブジェクトの画像で、かつ、前記選択手段で選択された選択済み画像が有する属性情報に一致する属性を有する画像を優先する並び順に、前記選択済み画像を除く残りの未選択画像を並び替えること
   を特徴とする請求項５に記載の情報処理装置。
7. 複数の未選択画像を所定の順序に従って表示画面に表示させる表示制御手段と、
   ユーザ入力に応じて、前記表示画面に表示された複数の未選択画像から画像を選択する選択手段とを有し、
   前記表示制御手段は、前記選択手段によって画像が選択された場合、
   前記選択手段で選択された選択済み画像の被写体と異なる被写体の画像を、前記選択手段で選択された選択済み画像の被写体と同じ被写体の画像より優先する並び順に、前記選択済み画像を除く残りの未選択画像を並び替えること
   を特徴と有する画像処理装置。
8. さらに前記複数の未選択画像のそれぞれは、当該画像の被写体が所属するグループを示す情報を有し、
   前記表示制御手段は、前記選択手段によって画像が選択された場合、
   前記選択手段で選択された選択済み画像の被写体と同じグループに所属する被写体の画像を、前記選択手段で選択された選択済み画像の被写体と異なるグループに所属する被写体の画像より優先する並び順に、前記複数の未選択画像を並び替えること
   を特徴と有する請求項７に記載の画像処理装置。
9. 表示制御手段により、複数の未選択画像を所定の順序に従って表示画面に表示させる表示制御工程と、
   選択手段により、ユーザ入力に応じて、前記表示画面に表示された複数の未選択画像から画像を選択する選択工程と、
   前記選択工程において画像が選択されたことに応じて、
   前記表示制御手段により、前記選択工程で選択された選択済み画像が有する属性情報に一致しない属性を有する画像を、前記選択済み画像が有する属性情報に一致する属性を有する画像より優先する並び順に、前記選択済み画像を除く残りの未選択画像を並び替える並び替え工程とを有すること特徴とする画像処理装置の制御方法。
10. 請求項９に記載の画像選択装置の制御方法をコンピュータに実行させるためのプログラム。
11. 請求項１０に記載の画像選択装置の制御方法をコンピュータに実行させるためのプログラムを格納しコンピュータ読み取り可能な記憶媒体。
12. 表示制御手段により、複数の未選択画像を所定の順序に従って表示画面に表示させる表示制御工程と、
    選択手段により、ユーザ入力に応じて、前記表示画面に表示された複数の未選択画像から画像を選択する選択工程と、
    前記選択工程において画像が選択されたことに応じて、
    前記表示制御手段により、前記選択工程で選択された選択済み画像の被写体と異なる被写体の画像を、前記選択手段で選択された選択済み画像の被写体と同じ被写体の画像より優先する並び順に、前記選択済み画像を除く残りの未選択画像を並び替える並び替え工程とを有すること特徴とする画像処理装置の制御方法。
13. 請求項１２に記載の画像選択装置の制御方法をコンピュータに実行させるためのプログラム。
14. 請求項１３に記載の画像選択装置の制御方法をコンピュータに実行させるためのプログラムを格納しコンピュータ読み取り可能な記憶媒体。

Images