JP6494504B2 - 情報処理装置、制御方法およびプログラム - Google Patents

Description

本発明は、画像データを処理する情報処理装置、制御方法およびプログラムに関する。

デジタルカメラやデジタルビデオカメラ、スキャナなどの画像生成装置で生成された複数の画像データを、所定のテンプレートにレイアウトし、コラージュやアルバムなどのさまざまな成果物を作成する方法が知られている。特許文献１では、予め選択された１つのテンプレートに所定数の画像を配置することで生成されたレイアウト結果を出力する方法が提案されている。

特開２０１４−１６８００号公報

しかしながら、特許文献１では、レイアウト結果の作成に利用する１つのテンプレートを予め選択してから、レイアウトする画像データを選択している。この方法では、例えば、より適した他のテンプレートが存在する場合にも、予め選択した１つのテンプレートに基づくレイアウト結果が出力されてしまうという課題がある。

本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、レイアウト対象の画像データに適したテンプレートにレイアウト対象の画像データを配置して、レイアウト結果を出力する情報処理装置、制御方法およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、第１の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第１のテンプレート群と、第２の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第２のテンプレート群を少なくとも取得する第１の取得手段と、前記第１の数の画像データと前記第１のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第１のレイアウト候補情報群と、前記第２の数の画像データと前記第２のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第２のレイアウト候補情報群を少なくとも取得する第２の取得手段と、前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報を評価する評価手段と、前記評価手段による評価に基づいて、前記評価手段によって評価された前記複数のレイアウト候補情報のうちいずれかのレイアウト候補情報に対応するテンプレートを選択する選択手段と、前記選択手段が選択したテンプレートに基づくレイアウト結果を出力する出力手段と、を備えることを特徴とする。

本発明によれば、レイアウト対象の画像データに適したテンプレートにレイアウト対象の画像データを配置して、レイアウト結果を出力することができる。

情報処理装置のハードウェアの構成を示すブロック図である。 アルバム作成アプリケーションのソフトウェアブロック図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 自動レイアウト処理を示すフローチャートである。 画像解析情報を示す図である。 画像データ群のシーン分割の結果を示す図である。 シーン毎の平均値と標準偏差を示す図である。 得点化軸の概念を示す図である。 画像データの選択を説明するための図である。 画像データのレイアウトに使うテンプレート群を示す図である。 画像データのレイアウト処理を示すフローチャートである。 画像データのレイアウトのための情報を示す図である。 テンプレートを構成するスロット情報を示す図である。 レイアウトを評価する各要素の相関関係を示す図である。 画像データのレイアウト処理を示すフローチャートである。 各カテゴリのテンプレート情報を示す図である。 顔画像が配置されるレイアウト候補を示す図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

［第１の実施形態］
本実施形態では、情報処理装置上で、アルバム作成アプリケーションを動作させ、自動レイアウト機能によりレイアウトを生成するまでの処理について説明する。

図１は、情報処理装置のハードウェアの構成を示すブロック図である。なお、情報処理装置としては、例えば、ＰＣ、スマートフォン、タブレット端末、カメラ、プリンタ等が挙げられ、本実施形態ではＰＣとする。ＣＰＵ（中央演算装置／プロセッサ）１０１は、情報処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスクドライブ）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースや、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。

ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）や画像のレイアウト結果をユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。

データ通信部１０８は、有線や無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを情報処理装置１００と通信可能なプリンタやサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。

本実施形態におけるアルバム作成アプリケーションは、ＨＤＤ１０４に保存され、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７によりダブルクリックして起動する。

図２は、アルバム作成アプリケーションのソフトウェアブロック図である。図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１６に関するソフトウェアブロック図を示している。なお、自動レイアウト機能は、撮影された静止画や動画をその内容や属性に基づいて分類及び選択した画像データを予め用意されたテンプレートにレイアウトし、ディスプレイ１０５に表示するための機能である。アルバム作成条件指定部２０１は、ポインティングデバイス１０７による後述のユーザのＵＩ操作に応じたアルバム作成条件を自動レイアウト処理部２１６に出力する。なお、ＣＰＵ１０１がＨＤＤ１０４に保存されているアルバム作成アプリケーションを実行することにより、ＣＰＵ１０１が図２に示す各ブロックとして機能する。

画像取得部２０２は、アルバム作成条件指定部２０１から指定された画像データ群をＨＤＤ１０４から取得する。画像変換部２０３は、以降の処理に用いる画像データを所望の画素数や色情報に変換する。本実施形態では、短辺４２０画素の画素数とｓＲＧＢの色情報の解析画像データに変換する。画像解析部２０４は、解析画像データから後述の、特徴量の取得、顔検出、表情認識、個人認識の各処理を実行する。また、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータの取得、例えばＥｘｉｆ情報から撮影日時の取得も実行する。画像分類部２０５は、画像データ群に対して撮影日時情報や撮影枚数、検出した顔情報等を用いて、後述のシーン分割やシーン分類を実行する。ここで、シーンとは、「旅行」や「日常」、「結婚式」等の撮影シーンのことである。すなわち、シーンとは、例えば、一時期の撮影機会に撮影された画像データの集まりであるともいえる。画像得点部２０７は、各画像データに対してレイアウトに適した画像が高得点になるような得点付けを行う。後述するが、画像得点部２０７は、画像解析部２０４からの情報と、画像分類部からの情報を用いて得点付けを行う。

主人公情報入力部２０６は、アルバム作成条件指定部２０１から入力された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。画像得点部２０７は、主人公情報入力部２０６から入力された主人公ＩＤが含まれる画像データについてより高い得点を付加するように構成されている。

見開き割当部２０９は、画像データ群を分割してアルバムの各見開きに割り当てる。見開き数入力部２０８は、アルバム作成条件指定部２０１から入力されたアルバムの見開き数を見開き割当部２０９に入力する。アルバムの見開き数は、複数の画像が配置される複数のテンプレートの数に相当する。見開き割当部２０９は、入力された見開き数に応じて画像データ群を分割し、各見開きに画像データ群の一部（分割分）を割り当てる。画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像データ群の一部から、アルバム作成条件指定部２０１により入力された、画像配置領域であるスロットの数分の画像データを、画像得点部２０７で付された得点に基づいて選択する。

画像レイアウト部２１２は、画像データのレイアウトを決定する。テンプレート入力部２１１は、アルバム作成条件指定部２０１から入力されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０で選択された画像データに適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、画像データのレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した画像データのレイアウトに従って、ディスプレイ１０５に表示する為のレイアウト情報を出力する。レイアウト情報は、例えば、選択されたテンプレートに画像選択部２１０により選択された画像データをレイアウトしたビットマップデータである。

画像補正部２１４は、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正を実行する。画像補正条件入力部２１３は、アルバム作成条件指定部２０１から入力された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正部２１４は、画像補正条件がＯＮの場合、画像データに対して補正を実行し、画像補正条件がＯＦＦの場合、補正を実行しない。尚、画像補正部２１４は、画像変換部２０３から入力された画像データに対して補正のＯＮ／ＯＦＦに従って、補正を実行する。画像変換部２０３から画像補正部２１４に入力される画像データの画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変更可能である。

アルバム作成アプリケーションは、情報処理装置１００にインストールされると、情報処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ１０５上の起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＯＭ１０２にロードされる。ＲＯＭ１０２のプログラムがＣＰＵ１０１によりＲＡＭ１０３に読み出されて実行されると、アルバム作成アプリケーションが起動する。

図３は、アルバム作成アプリケーションが提供する表示画面３０１の一例を示す図である。表示画面３０１は、ディスプレイ１０５に表示される。ユーザは表示画面３０１を介して後述するアルバムの作成条件を設定し、アルバム作成条件指定部２０１は、ユーザからの設定内容を取得する。

表示画面３０１上のパスボックス３０２は、アルバム作成の対象となる画像データ群のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３は、ユーザからのポインティングデバイス１０７でのクリック操作により、アルバム作成の対象とする画像データ群を含むフォルダをツリー構成でユーザが選択可能に表示する。そして、ユーザにより選択された画像データ群を含むフォルダパスが、パスボックス３０２に表示される。

主人公指定アイコン３０４は、ユーザが主人公を指定するためのアイコンであり、人物の顔画像がアイコンとして表示される。主人公指定アイコン３０４には、複数の異なる顔画像のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。なお、それぞれの顔画像は個人ＩＤと関連付けられている。また、主人公指定アイコン３０４は、解析対象の画像データが表わす画像に写った人物から中心人物である主人公を特定するために用いられる。顔画像は、例えば、予め画像データから検出され、個人ＩＤと関連付けて顔データベースに登録されている。主人公指定アイコン３０４は、例えば顔データベースに登録された人物の顔画像のうち、ユーザによって選択された人物の顔画像や後述の方法で決定された人物の顔画像である。なお、主人公は図４に示す手順で自動設定されることもできる。

見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。

テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）別にイラスト画像を表示する。テンプレート指定アイコン３０６には、複数のテンプレートアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。チェックボックス３０７は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。

ユーザによりＯＫボタン３０８が押下されると、アルバム作成条件指定部２０１は、表示画面３０１上で設定されている内容を取得する。アルバム作成条件指定部２０１は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１６に出力する。その際、パスボックス３０２に入力されているパスは、画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人ＩＤは、主人公情報入力部２０６に伝えられる。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０８に伝えられる。テンプレート指定アイコン３０６で選択されているテンプレート情報は、テンプレート入力部２１１に伝えられる。画像補正チェックボックス３０７の画像補正のＯＮ／ＯＦＦ指定は、画像補正条件入力部２１３に伝えられる。表示画面３０１上のリセットボタン３０９は、表示画面３０１上の各設定情報をリセットするためのボタンである。

図４は、アルバム作成アプリケーションの自動レイアウト処理部２１６の処理を示すフローチャートである。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。図４を参照しながら、自動レイアウト処理を説明する。

Ｓ４０１では、ＣＰＵ１０１は、画像取得部２０２によって取得される画像データを画像変換部２０３により解析することで、解析画像データを生成する。具体的には、ＣＰＵ１０１は、画像変換部２０３により、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の各画像データを所望の画素数と色情報の解析画像データに変換する。本実施形態では、短辺４２０画素とｓＲＧＢの色情報の解析画像データに変換する。なお、画像取得部２０２によって取得される画像データとは、ＣＰＵ１０１が、画像取得部２０２によってパスボックス３０２に指定されたフォルダやサーバやＳＮＳから取得した静止画と動画に対応するデータである。

Ｓ４０２では、ＣＰＵ１０１は、画像解析部２０４により、解析画像データ（Ｓ４０１で取得・解析した画像データ）から特徴量を取得する。例えば、ＣＰＵ１０１は、ＨＤＤ１０４から取得した各画像データに付随する、Ｅｘｉｆ情報から撮影日時を取得する。特徴量は、例えば、ピントである。ピントの特徴量を取得するためのエッジの検出方法として一般的にソーベルフィルタが知られている。ＣＰＵ１０１は、ソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割れば、エッジの傾きを算出できる。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、「○」「△」「×」の３段階により、ピント量を判定する。閾値については、アルバムに採用したいピントの傾きが「○」、許容できるピントの傾きが「△」、許容できない傾きが「×」となるようにして、実験等により予め設定される。閾値の設定は、例えば、アルバム作成アプリケーションの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。

Ｓ４０３では、ＣＰＵ１０１は、画像解析部２０４により、Ｓ４０１で生成された解析画像データに対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。ＣＰＵ１０１は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、ＣＰＵ１０１は、顔画像の位置と顔画像のサイズを取得可能である。ここで、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてＡｄａｂｏｏｓｔにより強識別器を作成しても良い。これにより、ＣＰＵ１０１は、顔画像以外のオブジェクトを検出することができる。

Ｓ４０４では、ＣＰＵ１０１は、画像解析部２０４により、個人認識を行う。具体的には、ＣＰＵ１０１は、Ｓ４０３で検出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似性を比較することにより、個人認識を行う。ＣＰＵ１０１は、各代表顔画像と抽出した顔画像との類似性を判定し、類似性が閾値以上で類似性が最も高い代表顔画像のＩＤを、検出した顔画像のＩＤとする。尚、顔辞書データベースに保存れている全ての代表顔画像との類似性が閾値未満の場合、ＣＰＵ１０１は、抽出した顔画像を新規の個人ＩＤとして顔辞書データベースに登録する。

ＣＰＵ１０１は、Ｓ４０２〜Ｓ４０４で取得した画像解析情報を、図５に示すように、各画像を識別するＩＤ毎に区別して、ＲＯＭ１０３等の記憶領域に記憶する。例えば、図５に示すように、Ｓ４０２で取得された撮影日時情報とピント判別結果、Ｓ４０３で検出された顔画像の数と位置情報とがテーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ４０４で取得された個人ＩＤ毎に区別して記憶される。

Ｓ４０５では、ＣＰＵ１０１は、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の全画像データに対してＳ４０１〜Ｓ４０４の処理が終了したか否かを判定する。ここで、ＣＰＵ１０１は、終了していないと判定された場合、Ｓ４０１からの処理を繰り返し、終了していると判定された場合、処理はＳ４０６に進む。

Ｓ４０６では、ＣＰＵ１０１は、画像分類部２０５により、シーン分割を実行する。シーン分割とは、アルバム条件指定部２０１で指定された画像群の全画像を、シーン毎に分割して、複数の画像群として管理することを指す。具体的には、ＣＰＵ１０１は、Ｓ４０２で取得済みの撮影日時情報から算出した画像と画像の時間差に基づいて、画像データ群を複数のシーンに分割する。本実施形態では、例えば、画像データ間に撮影していない日が存在する場合、その部分を基準として分割が行われる。分割は、他の基準により行われても良い。例えば、撮影日が連続する場合にも分割が行われる場合、時間差が１６時間以上空いていれば、その部分を基準として分割が行われる。また、１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満であれば、分割が行われる。４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら分割が行われ、５０枚以上なら分割は行われない。図６（Ａ）は、上記のシーン分割方法で画像データ群がシーン分割された結果の一例を示す図である。図６（Ａ）〜（Ｃ）における番号は、分割画像群番号を表す。

Ｓ４０７では、ＣＰＵ１０１は、画像分類部２０５により、シーン分類を実行する。具体的には、ＣＰＵ１０１は、Ｓ４０６でシーン分割された分割画像群をシーンの種類毎に得点化して、一番得点が高いシーンに、当該分割画像群を分類する。なお、以下の説明において、Ｓ４０７における得点化をシーン分類得点化という。本実施形態では、画像分類部２０５は、例えば、シーン分割された分割分の画像データを、「旅行」、「日常」、「セレモニー」のうちのいずれかのシーンに分類する。なお、図４の自動レイアウト処理部が開始される前に、予め、ユーザは、「旅行」、「日常」、「セレモニー」のシーンであると判断した複数の画像データをそれぞれ集めて指定してシーン分類テーブルを作成している。シーン分類テーブルとは、シーンの各種類に対応する特徴量の情報が格納されたテーブルであり、シーン分類得点化に利用される。

ここで、ユーザによるシーン分類テーブルの作成方法について説明する。

まず、ＣＰＵ１０１は、アルバム作成条件指定部２０１により、不図示のユーザインタフェース画面上を介して、ユーザが旅行シーンであると判断した複数の画像データの指定を受け付ける。そして、ＣＰＵ１０１は、画像解析部２０４により、それらの画像データについて、特徴量を取得する。ここで、取得される特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、複数の画像データの最初の撮影から最後の撮影までの時間差である。撮影枚数は、複数の画像データの撮影枚数である。撮影人数は、撮影された顔の数である。その結果、ユーザが旅行シーンであると判断した複数の画像データから成る一画像データ群について、撮影期間、撮影枚数、撮影人数の特徴量が取得される。なお、特徴量は撮影期間、撮影枚数、撮影人数に限定されず、他の特徴量が用いられても良いし、その中のいずれかのみが用いられても良い。

そして、ＣＰＵ１０１は、上記のような撮影期間、撮影枚数、撮影人数の特徴量の取得を、ユーザがさらに指定した他の画像データ群についても行う。そして、ＣＰＵ１０１は、複数の画像データ群から取得された特徴量に基づいて、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、撮影人数の平均値と標準偏差を求める。このようにして求められた値と、シーンの各種類とが対応付けられることで、シーンの種類ごとの各平均値と標準偏差を示すシーン分類テーブルが作成される。本実施形態では、シーン分類テーブルとして、図７に示すテーブル７００が利用されるものとする。テーブル７００は、上記の求められた各平均値と標準偏差を示しており、ＣＰＵ１０１は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。なお、テーブル７００は、アルバム作成アプリケーションのプログラムに予め組み込まれていても良いし、アルバム作成アプリケーション外のプログラムに組み込まれていても良い。

ここで、シーン分類得点化について説明する。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２で指定した画像データ群がＳ４０６でシーン分割された各分割分に対して、画像分類部２０５は、撮影期間、撮影枚数、撮影人数の各特徴量の得点を算出する。画像分類部２０５は、各分割分の撮影期間、撮影枚数、撮影人数の得点、及びそれらの平均得点を、図７に示すシーン毎の平均値と標準偏差を用いて式（１）及び（２）より算出する。なお、下式における、所定の種類のシーンに対応する所定の特徴量の平均値および所定の種類のシーンに対応する所定の特徴量の標準偏差は、テーブル７００に登録されている。また、特徴量は、撮影期間と撮影枚数、撮影人数である。そのため、特徴量項目数は本例では３となる。

まず、ＣＰＵ１０１は、式（１）により、分割画像データ群の、シーンの各種類および各特徴量毎の得点を取得する。

分割画像データ群の、所定の種類のシーンに対応する所定の特徴量の得点＝５０−｜１０×（所定の種類のシーンに対応する所定の特徴量の平均値−分割画像データ群の所定の特徴量）／所定の種類のシーンに対応する所定の特徴量の標準偏差｜ ・・・（１）
これにより、例えば、分割画像データ群において、「旅行」シーンに対応する撮影期間、撮影枚数、撮影人数それぞれの得点が取得される。なお、ＣＰＵ１０１は、「旅行」シーンだけでなく、他の各種類のシーンについても得点を取得する。

次に、ＣＰＵ１０１は、式（１）により求めた各得点を式（２）により平均化して、分割画像データ群の、各種類のシーンに関する得点を取得する。

分割画像データ群の、所定の種類のシーンに関する得点＝（分割画像データ群の、所定の種類のシーンに対応する撮影期間の得点＋撮影枚数の得点＋撮影人数の得点）／特徴量項目数 ・・・（２）
これにより、例えば、分割画像データ群において、「旅行」、「日常」、「セレモニー」の各種類のシーンに関する得点が取得される。なお、ＣＰＵ１０１は、シーン分類得点化を、各分割画像データ群について行う。

以上によって、各分割分の画像データに対して、「旅行」、「日常」、「セレモニー」のシーン毎の得点が算出される。そして、ＣＰＵ１０１は、各分割画像データ群を、上記のうち最高得点に対応するシーンに分類する。ここで、同点のシーンがある場合には、予め定められたシーンの優先順位に従って割画像データ群を分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の順で優先順位が定められており、日常シーンの優先度が最も高い。

ここで、例えば、図６（Ａ）のシーン分割された後のシーン５に対応する分割画像データ群５は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。すると、分割画像データ群５において、旅行シーンの得点は４５．３２、日常シーンの得点は１８．３８、セレモニーシーンの得点は−２９．９２となる。従って、画像データ群５は、旅行シーンに分類される。ＣＰＵ１０１は、分類されたシーンに対して、いずれの分割画像データ群がいずれのシーンに分類されているかが識別可能なようにシーンＩＤを付与して管理する。

尚、シーン分類する為の特徴量として、ここでは撮影期間、撮影枚数、撮影人数に着目したが、これに限るものではない。画像の明るさや人物・画像枚数等の特徴量を加えて分類精度を上げてもよい。また、シーンの種類はここで説明した「旅行」、「日常」、「セレモニー」に限らず、パーティーやスポーツ等の他のシーンであってもよい。他のシーンを含めたシーン分類を行う場合は、テーブル７００の作成において、上記説明したのと同様にして、当該他のシーンの画像データ群を複数集めて、シーン分類の為の特徴量について、平均値と標準偏差を求めればよい。

Ｓ４０８では、Ｓ４０６で分割された全分割画像データ群（本説明においては、図６（Ａ）の分割されたそれぞれのシーンに対応した分割画像データ群）に対してＳ４０７のシーン分類が終了したか否かが判定される。ＣＰＵ１０１は、終了していないと判定された場合、処理が済んでいない新たな分割画像データ群に着目してＳ４０７からの処理を繰り返す。また、ＣＰＵ１０１は、終了していると判定された場合、処理はＳ４０９に進む。

Ｓ４０９では、ＣＰＵ１０１は、画像得点部２０７により、主人公設定を実行する。主人公設定は、ユーザが指定した画像データ群に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。ＣＰＵ１０１は、Ｓ４０４で実行された個人認識結果と、Ｓ４０６で実行されたシーン分割の結果から、画像データ群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤ回数、各個人ＩＤが登場するシーン回数等を取得可能である。画像得点部２０７は、それらの情報から、ユーザ指定によらず自動で主人公を設定する。本実施形態では、ＣＰＵ１０１は、ユーザが指定した画像データ群がシーン毎に複数の分割画像データ群に分割されている場合、複数のシーンでの登場回数が多い個人ＩＤを主人公ＩＤと設定する。また、ＣＰＵ１０１は、画像データ群が単一のシーンのみである場合、単一シーンにおいて登場回数が多い個人ＩＤを主人公ＩＤと設定する。

また、ＣＰＵ１０１は、ユーザによって主人公指定アイコン３０４が指定されている場合、主人公情報入力部２０６を介して指定されている個人ＩＤを画像得点部２０７に伝える。ユーザにより個人ＩＤが指定されている場合、ＣＰＵ１０１は、上記のようにして自動設定された主人公ＩＤによらず、ユーザにより指定された個人ＩＤを主人公ＩＤとして設定する。この設定を手動設定と呼ぶ。

Ｓ４１０では、ＣＰＵ１０１は、画像得点部２０７により、画像得点化を実行する。画像得点化とは、画像データ毎に後述の観点で評価した得点を付与する（スコアリング）ことであり、後述の、レイアウトに用いられる画像データの選択時に参照される。図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１００１は１枚のテンプレートであり、メインスロット１００２はメインスロットを示し、サブスロット１００３と１００４はサブスロットを示す。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウト（配置）する枠）であり、サブスロット１００３と１００４よりもサイズが大きい。なお、１枚のテンプレートには、それぞれ同一の種類のシーンに分類された画像データがレイアウトされる。Ｓ４１０では、ＣＰＵ１０１は、画像データが、テンプレートの各スロットに適しているか否かという観点で画像得点化を行う。また、ＣＰＵ１０１は、各画像データに対して、メインスロット用の得点とサブスロット用の得点の両方を付与する。また、画像得点化では、各種類のシーンに対応したメインスロットとサブスロットとに採用されるべき画像の特徴量の情報が格納されたスロット特徴テーブルが利用される。なお、１枚のテンプレートには、複数種類のシーンに分類された画像データがレイアウトされることもある。

図８（Ａ）は、「旅行」、「日常」、「セレモニー」の各種類のシーンに対応したメインスロットとサブスロットに採用される画像データの特徴について示した図である。

図４の自動レイアウト処理部が開始される前に、予め、ユーザは、図８（Ａ）に示す特徴に適合すると判断した複数の画像データを集めて指定してスロット特徴テーブルを作成している。

ここで、ユーザによるスロット特徴テーブルの作成方法について説明する。

まず、ＣＰＵ１０１は、アルバム作成条件指定部２０１により、不図示のユーザインタフェース画面を介して、ユーザが旅行シーンのメインスロット（又は、サブスロット）に採用されるべき画像データであると判断した複数の画像データの指定を受け付ける。すなわち、ＣＰＵ１０１は図８（Ａ）に示す特徴に適合する画像データの指定をユーザから受け付ける。次に、ＣＰＵ１０１は、画像解析部２０４により、指定された各画像データの顔画像の数、顔画像の位置、顔画像のサイズの特徴量を取得する。その結果、ＣＰＵ１０１は、ユーザが旅行シーンのメインスロット（又は、サブスロット）に採用されるべき画像データであると判断した複数の画像データそれぞれについて、顔画像の数、顔画像の位置、顔画像のサイズの特徴量が取得される。そして、ＣＰＵ１０１は、顔数の平均値と標準偏差、顔の位置の平均値と標準偏差、顔サイズの平均値と標準偏差を求める。それらの特徴量の平均値と標準偏差とを、各シーン種類および各スロット種類（メインスロットとサブスロット）に対して求めることで、スロット特徴テーブルが作成される。ＣＰＵ１０１は、スロット特徴テーブルをＲＯＭ１０２等の記憶領域に予め記憶しておく。なお、スロット特徴テーブルは、アルバム作成アプリケーションのプログラムに予め組み込まれていても良いし、アルバム作成アプリケーション外のプログラムに組み込まれていても良い。

画像得点化においては、ＣＰＵ１０１は、画像データを、下式を用いて、当該画像データが属する種類のシーンに対応するテンプレートのスロット毎に得点化する。なお、ＣＰＵ１０１は、各画像データ群がどの種類のシーンに属すかについて、Ｓ４０７のシーン分類の結果から取得可能である。また、下式における、所定の種類のシーン及び所定のスロットに対応する所定の特徴量の平均値および所定の種類のシーン及び所定のスロットに対応する所定の特徴量の標準偏差は、スロット特徴テーブルに登録されている。また、特徴量は、主人公ＩＤの顔画像数、顔画像の位置、顔画像のサイズである。そのため、特徴量項目数は本例では３となる。

画像データの、所定のスロットに対応する所定の特徴量に関する得点＝５０−｜１０×（画像データが属する種類のシーン及び所定のスロットに対応する所定の特徴量の平均値−画像データの所定の特徴量）／画像データが属する種類のシーン及び所定のスロットに対応する所定の特徴量の標準偏差｜ ・・・（３）
これにより、例えば、「旅行」シーンに分類される画像データの、「旅行」シーンに対応するメインスロットに対応する「主人公ＩＤの顔数」の得点が取得される。なお、ＣＰＵ１０１は、メインスロットだけでなく、サブスロットに対応する特徴量についても得点を取得する。また、ＣＰＵ１０１は、「主人公ＩＤの顔画像数」だけでなく、「顔画像の位置」、「顔画像のサイズ」に対応する特徴量についても得点を取得する。

次に、ＣＰＵ１０１は、式（１）により求めた各得点を式（２）により平均化して、画像データの、所定のスロットに関する得点を取得する。

画像データの所定のスロットに関する得点＝（画像データが属する種類のシーン及び所定のスロットに対応する顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数・・・（４）
これにより、ＣＰＵ１０１は、メインスロット用とサブスロット用の両方に関する得点化を画像データについて実行する。なお、ＣＰＵ１０１は、画像得点化を、ユーザが指定した画像データ群における各画像データについて行う。ここで、アルバムに用いる画像はピントが合っている方が好ましいので、図５に示すピントの特徴量が○である画像ＩＤの画像データに対しては所定の得点を加算するようにしても良い。なお、図８（Ｂ）は、上記の得点化による得点結果の一例を示している。図８（Ｂ）に示されているテーブルは、各画像ＩＤに対して、メインスロットとサブスロットのそれぞれについて得点化が行われた結果を示している。

つまり、本実施形態では、各シーンについてメインスロットとサブスロットに適する条件が図８（Ａ）に示すように定められており、予め、ユーザは、それらに適するであろうと判断した画像データを指定している。画像解析部２０４は、そのユーザから指定された画像データについて、顔数、顔位置、顔サイズの特徴量を取得し、特徴量ごとに平均値と標準偏差を求めておく。そして、アルバム作成アプリケーションの起動後、図４の自動レイアウト処理が開始されると、自動レイアウト処理対象の各画像データ（シーン分類済）が、どの程度、メインスロット向きである等のユーザ判断基準に近いかを示す得点化（類似度）が行われる。例えば、図８（Ｂ）では、画像ＩＤ１は、メインスロット用として２０点が付与され、画像ＩＤ２は、メインスロット用として４５点が付与されている。これは、つまり、メインスロット用としては、画像ＩＤ２の方がユーザの判断基準により近いということを表している。

再び、図４を参照する。

Ｓ４１１では、ＣＰＵ１０１は、画像得点部２０７により、ユーザ指定の画像データ群の全ての画像データに対してレイアウト得点化が終了したか否かを判定する。ＣＰＵ１０１は、終了していないと判定された場合、未処理の次の画像について着目し、Ｓ４１０からの処理を繰り返す。ＣＰＵ１０１は、終了していると判定された場合、Ｓ４１２に進む。

本実施形態では、ＣＰＵ１０１は、画像レイアウト部２１２により、複数のシーンのそれぞれに含まれる画像データを、当該複数のシーンのそれぞれに対応する複数のテンプレート（複数の見開き）のそれぞれにレイアウトする。そのため、複数のシーンの数と、複数のテンプレートの数（所定数の見開き数）が一致する必要がある。

そこでＳ４１２では、ＣＰＵ１０１は、見開き割当部２０９により、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力されるアルバムの見開き数と同じであるか否かを判定する。ＣＰＵ１０１は、同じでないと判定された場合、Ｓ４１３に進み、同じであると判定された場合、Ｓ４１６に進む。例えば、ＣＰＵ１０１は、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が８である場合、Ｓ４１６に進む。

Ｓ４１３では、ＣＰＵ１０１は、見開き割当部２０９により、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数（アルバムに使用されるテンプレート数）より少ないか否かを判定する。ＣＰＵ１０１は、少なくない（多い）と判定された場合、Ｓ４１５に進み、少ないと判定された場合、Ｓ４１４に進む。例えば、ＣＰＵ１０１は、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が１０である場合、Ｓ４１４に進む。

Ｓ４１４では、ＣＰＵ１０１は、見開き割当部２０９により、サブシーン分割を実行する。サブシーン分割とは、シーン分割数＜アルバムの見開き数の場合に、分割されたシーンを更に細分割することを表す。図６（Ａ）のようにシーン分割数８であり、それに対して指定されたアルバムの見開き数が１０である場合について説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果を示す。ここでは、分割の間隔をより細かく設定し、太矢印の箇所で分割したことで、分割数を１０にしている。

分割の基準について説明する。図６（Ａ）の分割の中で、画像データ数が多い分割箇所が検索される。ここでは、分割数を８から１０に２箇所増やすために、画像データ数が多い２箇所を決定する。即ち、再分割すべきシーンを、最も多くの画像データを含む分割画像データ群に対応するシーンから順に指定する。画像データ数が同数の分割画像データ群に対応するシーンについては、対応する分割画像データ群に含まれる画像データ間の撮影日時の差の最大値が大きい方のシーンを選択する。それでも選択できない場合には、例えばより早い時間に生成された画像データを含む分割画像データ群に対応するシーンを優先的に再分割してもよい。

図６（Ａ）では、対応する分割画像データ群に含まれる画像データの数が多いシーンは、多い方から順にシーン５、シーン１、シーン２である。シーン１と２は同じデータ数だが、シーン２の方が、対応する分割画像データ群において最初に生成された画像データから最後に生成された画像データの時間差が大きい為、シーン２を分割対象とする。即ち、図６（Ａ）では、シーン５とシーン２をそれぞれ分割する。

まず、シーン２の分割を説明する。シーン２には画像データの山が２つあり、この２つの山に含まれる画像データは、山ごとに撮影日が違う。そこで、撮影日が切り替わる部分に対応する図６（Ｂ）の太矢印の箇所で分割する。次に、シーン５の分割を説明する。シーン５には画像データの山が３つあり、シーン２と同様に、この３つの山に含まれる画像データは、山ごとに撮影日が違う。シーン５では、撮影日が変わる箇所が２箇所あるが、この場合、分割後のデータ数差が小さくなるように、撮影日単位で分割する。即ち、ここでは図６（Ｂ）の太矢印の箇所で分割する。以上のように、分割数すなわちシーン数を８から１０にする。具体的にいえば、シーンの再分割では、選択したシーンに撮影日の異なる画像データが含まれていれば、撮影日の相違するそれぞれの画像データ群を新たなシーンとするよう分割される。そして、撮影日が３日以上にわたるならば、分割された各シーンに含まれる画像データの数の差が最小になり、且つ同一撮影日の画像が同一シーンに含まれるよう分割される。なお、ここでは撮影日の違う箇所で分割する例を説明したが、分割対象のシーンにおける画像データの撮影日が単一日であった場合は、単一日の中で撮影時刻の時間差が最大となる箇所で分割する。また、ここでは、撮影日が切り替わる箇所で分割したが、画像データ枚数が多い箇所が単一日である場合、単一日の中で時間差が最大の箇所で分割するようにしても良い。以上の手順によって見開き数にシーン数を一致させる。なお、分割により生成されたシーンについては、改めて分類してもよいし、分割前のシーンの分類を引き継いでもよい。

Ｓ４１５では、ＣＰＵ１０１は、見開き割当部２０９により、シーン統合を実行する。シーン統合とは、シーン分割数＞アルバムの見開き数の場合、分割されたシーンを統合することを表す。ここでは、図６（Ａ）のようにシーン分割数が８であり、それに対して指定見開き数が６の場合を例として説明する。図６（Ｃ）は、図６（Ａ）をシーン統合した結果を示す。破線の箇所の前後のシーンを統合したことで、分割数を６にしている。

統合の基準について説明する。まず、ＣＰＵ１０１は、分割された各シーンの中で、画像データ数が少ないシーンを検出する。ここでは、シーン数を８から６に減らすために、画像データ数が少ない２つのシーンを検出する。図６（Ａ）では、、対応する分割画像データ群に含まれる画像データの数が多いシーンは、少ない方からシーン８、シーン３、シーン７である。シーン３とシーン７は同じ枚数である。

次に、ＣＰＵ１０１は、対応する分割画像データ群に含まれる画像データ数が最も少ないシーン８を統合対象とする。次に、シーン３とシーン７は、対応する分割画像データ群に含まれる画像データ数は同じであるので、いずれを統合対象とするか選択する。ここでは、シーン７に隣接するシーン８が統合対象であるので（シーン７とシーン８は統合されるため）、シーン３を統合対象とする。

次に、ＣＰＵ１０１は、統合対象のサブ画像データ群を、対応する分割画像データ群に含まれる画像データの撮影日時が前のシーンに統合するか、撮影日時が後のシーンに統合するかを決定する。このとき、ＣＰＵ１０１は、統合対象のシーンと隣接する２つのシーンのうち、対応する分割画像データ群に含まれる画像データの撮影日時の時間差が小さい方のシーンを統合の相手とする。そのため、図６（Ａ）では、シーン３について、それに隣接するシーン２、４のいずれかを統合の相手とする。ここで、シーン３とその前後のシーン２と４それぞれとの、対応する分割画像データ群に含まれる画像の撮影日時の時間差を比較すると、シーン３とシーン４との時間差の方が小さい。そのため、ＣＰＵ１０１は、シーン３をシーン４に統合すると決定する。即ち、ここでは図６（Ｃ）の破線の箇所で統合する。

ＣＰＵ１０１は、シーン８のように隣接するシーンが１つしかない場合には、唯一の隣接シーンを統合の相手とする。

こうして図６（Ｃ）の破線箇所の前後のシーンでシーン統合する。なお、シーン統合は、例えばシーンに含まれる画像ファイルを示す情報を、統合後のシーンに応じて更新することを含む。

Ｓ４１６では、ＣＰＵ１０１は、見開き割当部２０９により、見開き割当を実行する。Ｓ４１２〜Ｓ４１５によって、シーン分割数と指定見開き数は同じとなっている。ＣＰＵ１０１は、撮影日時順に先頭の分割データ群から見開きの先頭に順に割り当てる。

Ｓ４１７では、ＣＰＵ１０１は、画像選択部２１０により、画像選択を実行する。以下、ある見開きに割り当てられた分割画像データ群から画像データを４枚選択する例を、図９を参照しながら説明する。

図９（Ａ）は見開きに割り当てられた分割画像データ群のうち、撮影日時が一番早い画像データと一番遅い画像データとの撮影日時の時間差（分割撮影期間）を示している。なお、ここでは、画像データの選択を、メインスロット、サブスロットの順で行う。ここでは、見開きに対応するテンプレートには１枚のメインスロット１００２が含まれるものとする。そのため、１枚目に選択される画像データは、メインスロット用の画像データである。ＣＰＵ１０１は、メインスロット用の画像データとして、図９（Ｂ）に示す分割撮影期間に対応する画像データのうち、Ｓ４１０で付加したメインスロット用の得点が最高点の画像データ（１）を選択する。

２枚目以降に選択される画像データは、サブスロット用の画像データである。２枚目以降の画像データの選択は分割撮影期間の一部に集中しないように、以下説明するような方法により行われる。まず、ＣＰＵ１０１は、図９（Ｃ）に示すように、分割撮影期間を２分割する。次にＣＰＵ１０１は、図９（Ｄ）に示すように、１枚目の画像データが選ばれていない分割撮影期間（図中、実線で示している期間）に生成された画像データから２枚目の画像データを選択する。なお、２枚目の画像データとしては、１枚目の画像データが選ばれていない分割撮影期間に生成された画像データのうちサブスロット用の得点が最高点の画像データ（２（画像ＩＤ））を選択する。次にＣＰＵ１０１は、図９（Ｅ）に示すように図９（Ｄ）に示す各分割撮影期間を２分割する。そして、ＣＰＵ１０１は、図９（Ｆ）に示すように１枚目の画像データと２枚目の画像データがいずれも選ばれていない分割撮影期間（図中、実線で示している期間）に生成された画像データから３枚目の画像データを選択する。なお、３枚目の画像データとしては、１枚目の画像データと２枚目の画像データがいずれも選ばれていない分割撮影期間に生成された画像データのうちサブスロット用の得点が最高点の画像データ（３）を選択する。

次に、画像データの選択対象の分割撮影期間に生成された画像が存在せず、当該分割撮影期間に生成された画像データからデータを選択できない例を４枚目の画像データの選択を例に説明する。ここで、図９（Ｇ）に示すように、まだ画像データが選ばれていない分割撮影期間（図中、斜線で示している期間）に生成された画像データは存在しないものとする。その場合、ＣＰＵ１０１は、図９（Ｈ）に示すように各分割撮影期間を２分割する。次にＣＰＵ１０１は、図９（Ｉ）に示すように、期間内に生成された画像データがないと認識された分割撮影期間以外で、且つ未だ画像データが選ばれていない分割撮影期間（図中、実線で示している期間）に生成された画像から４枚目の画像データを選択する。なお、ＣＰＵ１０１は、４枚目の画像データとしては、当該分割撮影期間に生成された画像データのうちサブスロット用の最高点の画像データ（４）を選択する。

再び、図４を参照する。Ｓ４１８では、ＣＰＵ１０１は、画像レイアウト部２１２により、Ｓ４１７で選択した画像データをレイアウトするテンプレートの決定を行う。本実施形態における画像レイアウト決定処理は、図１１を用いて後述する。以下、テンプレート入力部２１１が、指定されたテンプレート情報に従って、ある見開きに対して図１０の（ａ）〜（ｐ）を入力する例を説明する。

ここでは、入力されたテンプレートのスロット数は一例として３と指定されている。選択されている画像データ３枚の画像の向きが縦方向か横方向かを撮影日時について並べると、図１０（ｑ）のようであるとする。ここでは、画像データ１００５がメインスロット用であり、画像データ１００６と１００７がサブスロット用である。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像をレイアウトされる。図１０（ｑ）では、メインスロット用画像データ１００５は撮影日時が一番新しいので、図１０（ｉ）〜（ｌ）のテンプレートが候補となる。また、サブスロット用の古い方の画像データ１００６が縦画像であり、新しい方の画像データ１００７が横画像であるので、結果、図１０（ｊ）のテンプレートが、選択された３つの画像データに最も適したテンプレートとして決定され、レイアウトが決まる。Ｓ４１８では、どの画像をどのテンプレートのどのスロットにレイアウトするかが決定される。

Ｓ４１９では、ＣＰＵ１０１は、画像補正部２１４により、テンプレートにレイアウトする画像データに対し、画像補正を実行するか否かを判定する。なお、ＣＰＵ１０１は、画像補正条件入力部２１３から画像補正がＯＮであることの設定が入力された場合、画像補正を実行する。画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正が実行される。また、ＣＰＵ１０１は、画像補正条件入力部２１３から画像補正ＯＦＦが入力された場合、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対しても実行可能である。ＣＰＵ１０１は、画像補正を実行すると判定された場合、Ｓ４２０に進んで画像補正を実行し、画像補正を実行しないと判定された場合、Ｓ４２１に進む。

Ｓ４２１では、ＣＰＵ１０１は、レイアウト情報出力部２１５により、レイアウト情報を作成する。具体的には、ＣＰＵ１０１は、Ｓ４１８で決定されたテンプレートの各スロットに対して、Ｓ４１９の画像補正が実行され、各スロットに関連付けられた画像データをレイアウトする。このとき、ＣＰＵ１０１は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍又は等倍してレイアウトする。なお、このとき、ＣＰＵ１０１は、画像データを変倍又は等倍するのではなく、スロットからはみ出す部分の画像データをカットしても良い。そして、ＣＰＵ１０１は、レイアウト情報出力部２１５により、テンプレートに画像データをレイアウトしたビットマップデータを生成する。

Ｓ４２２では、Ｓ４１７〜Ｓ４２１の処理が全ての見開きに対して終了したか否かが判定される。ＣＰＵ１０１は、終了していないと判定された場合、Ｓ４１７からの処理を繰り返し、終了していると判定された場合、図４の自動レイアウト処理を終了する。

上述のようにすることで、各シーンの画像データ群から自動で画像データを選択し、選択した画像データを見開きにレイアウトしてアルバムを自動作成することができる。

また、以上の手順では、１枚目の画像データの選択をメインスロット用の得点を使って行い、２枚目以降の画像データの選択をサブスロット用の得点を使って行う例で説明したが、これに限るものではない。メインスロットを複数持つテンプレートが予め用意されている場合は、メインスロット用の得点を使って複数枚の画像データの選択を行うようにしてもよい。

また、選択する画像データの枚数が４枚である形態を説明したが、これに限るものではない。異なるスロット数を持つ複数のテンプレートが予め用意されている場合には、４枚以外の枚数の画像データを選択してもよい。なお、Ｓ４１７で説明した分割撮影期間の分割数は、選択される画像データの枚数に応じて増減すればよい。

Ｓ４１８のテンプレート決定処理について詳しく説明する。ここで、例えば、アルバム作成アプリケーションが有する各テンプレートが、異なる個数のスロットを有していたとする。その場合、自動レイアウト処理では、いずれの個数のスロットを有するテンプレートを用いるのかを適切に判断する必要がある。そこで、アルバム作成アプリケーションが、スロット数の異なる複数のテンプレートを有していた場合のレイアウト決定方法について説明する。

図１１は、アルバム作成アプリケーションの画像レイアウト部２１２における画像レイアウト処理の手順を示すフローチャートである。図１１に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図１１に示す処理は、Ｓ４１８の処理に対応する。本実施形態では、ＣＰＵ１０１は、Ｓ４１７の処理を繰り返すことで、画像データ群を複数選択することができるものとする。また、ここでは一例として、Ｓ４１７の画像選択によって、３枚、４枚、５枚の画像データをそれぞれ含む３つの画像データ群が予め選択されたものとして説明する。なお、それぞれの画像データ群は、同一の基準で選択されても良いし、それぞれが異なる基準で選択されても良い。なお、選択される画像データの枚数は３〜５枚としたがこれに限られない。例えば、１枚、３枚、５枚、７枚の画像データをそれぞれ含む４つの画像データ群が選択されてもよい。なお、Ｓ４１７でＣＰＵ１０１が選択可能な画像データの枚数は、アルバム作成アプリケーションが保持しているテンプレートにレイアウト可能な枚数に対応している。そのため、例えばアルバム作成アプリケーションが、３枚、４枚、５枚の画像データをレイアウト可能なテンプレートをそれぞれ保持している場合は、選択可能な枚数は３枚、４枚、５枚となる。また、Ｓ４１７でＣＰＵ１０１が選択する枚数（すなわち、最終的に選択されるレイアウトに配置される画像データの枚数の候補となる枚数）はアルバム作成アプリケーションが保持しているテンプレートにレイアウト可能な枚数（スロット数）と同一とする。しかしこの形態に限定されず、例えば、アルバム作成アプリケーションが保持しているテンプレートにレイアウト可能な枚数から、ユーザが任意の枚数を設定し、設定された枚数の画像データをＳ４１７でＣＰＵ１０１が選択するような形態であっても良い。

Ｓ１１０１では、ＣＰＵ１０１は、アルバム作成アプリケーションが保持しているテンプレートを取得する。ここでは、ＣＰＵ１０１は、レイアウト可能な枚数（スロット数）が３〜５のテンプレートをそれぞれ１６個（合計４８個）取得したものとする。

Ｓ１１０２では、ＣＰＵ１０１は、Ｓ４１７で選択された画像データ群の中から、Ｓ１１０１以降の処理がまだ完了していない画像データ群を取得・解析する。ここでは、５枚の画像データを含む画像データ群の画像情報を取得するものとして説明する。図１２（ａ）は、取得された画像データ群に含まれる各画像データの画像情報の一例を示す図である。画像ＩＤで特定される各画像には、撮影日時、ピント、顔数、得点の各項目の情報が付与されている。得点項目については、Ｓ４１０に示した画像得点化によって得られるメインスロット用とサブスロット用の得点を合算した得点（１００点満点）として取得されるが、別々の項目に分けて取得されても良い。

Ｓ１１０３では、ＣＰＵ１０１は、Ｓ１１０１で取得したテンプレートにＳ１１０２で取得した画像データをレイアウトしたレイアウト候補を生成する。なお、ＣＰＵ１０１は、テンプレート入力部２１１を介して取得されたテンプレート情報に従ってレイアウト候補を生成する。

図１２（ｂ）は、テンプレート情報の一例を示す図である。テンプレートＩＤで特定される各テンプレートには、スロット数、テンプレートの幅、テンプレートの高さ、レイアウト得点の各項目の情報が付与されている。レイアウト得点は、後述のレイアウト得点化によって、画像データがレイアウトされた各テンプレートに付される得点である。そのため、レイアウト得点の項目は、後述のレイアウト得点化が行われてから取得される。ここでは、Ｓ１１０２で取得された画像データが５枚であるため、５つのスロットを有する１６個のテンプレートに対してレイアウト候補が生成される。また、各テンプレートには、各テンプレートのスロットに関する情報であるスロット情報が付与されている。図１２（ｃ）は、あるテンプレートが有するスロットのスロット情報の一例を示す図である。スロットＩＤで特定される各スロットには、時系列番号、優先度、得点の各項目の情報が付与されている。時系列番号は、レイアウトされる画像データが生成された日時の、画像データ群における順番を示す時系列情報である。例えば、時系列番号が１であるスロットには、画像データ群において、生成された日時が一番早い画像データがレイアウトされることが好ましいことになる。優先度は、レイアウトする画像データを決定する際のスロット間の優先関係を示す。例えば、メインスロットの優先度の方が、サブスロットの優先度よりも高く設定される。得点は、スロットの大きさや位置、優先度に応じて予め設定される情報である。例えば、得点が高いスロットほど、得点が高い画像データがレイアウトされることが好ましいことになる。そのためメインスロットの得点の方が、サブスロットの得点より高く設定される。図１３は、スロット情報の一例を模式的に示した図である。例えば、スロットＩＤ「３」は、メインスロットを示しており、時系列番号が５である。また、優先度や得点は他のスロット（サブスロット）と比較して高く設定されている。

以下、画像データの撮影日時、得点と、スロットの時系列番号、優先度によって、画像データとスロットとを関連付けし、レイアウト候補を作成する手順について説明する。なお、ここでは一例として、図１２（ａ）に示す画像情報を有する画像データを、図１２（ｃ）に示すスロットと関連付けする例について説明する。

まず、ＣＰＵ１０１は、画像データの得点に応じて、スロットの優先度「１」のグループと、優先度「２」のグループとに分類する。ここでは、優先度「１」のスロットは１つなので、まず、画像の得点が最も高い画像ＩＤ「２１４」の画像データを優先度「１」のグループに分類する。そして、ＣＰＵ１０１は、それ以外の画像ＩＤ「２５」「８６」「１０２」「１０８」の画像データを優先度「２」のグループに分類する。なお、ここでは優先度が２段階の例について説明しているが、例えば３段階であれば、ＣＰＵ１０１は、画像データの得点と、スロットの個数に応じて３つのグループに画像データを分類する。

次に、ＣＰＵ１０１は、それぞれのグループ内で、画像データを撮影日時順に並べ替える。その後、ＣＰＵ１０１は、各スロットに設定された優先度と時系列番号の情報に応じて、画像データとスロットとの関連付けを行う。具体的には、まず、ＣＰＵ１０１は、画像ＩＤ「２１４」の画像データと優先度「１」のスロットとを関連付けする。このとき、優先度「１」のスロットは１つだけであるので、時系列番号が関係なく、ＣＰＵ１０１は、画像ＩＤ「２１４」の画像データとスロットＩＤ「３」のスロットとを関連付けする。次に、ＣＰＵ１０１は、画像ＩＤ「２５」「８６」「１０２」「１０８」の画像データと優先度「２」のスロットを関連付けする。このとき、優先度「２」のスロットは４つあるので、ＣＰＵ１０１は、設定された時系列番号が一番小さいスロットに、優先度「２」のグループの中で撮影日時が一番早い画像ＩＤ「２５」の画像データを関連付けする。また、ＣＰＵ１０１は、設定された時系列番号が二番目に小さいスロットに、優先度「２」のグループの中で撮影日時が二番目に早い画像ＩＤ「８６」の画像データを関連付けする。ＣＰＵ１０１は、この関連付けを他の各スロットに対しても行う。その結果、図１３（ｅ）に示すように、各スロットにレイアウトされる画像データが決定する。ＣＰＵ１０１は、以上の手順を、Ｓ１１０１で取得され、スロット数が５の各テンプレート全てに対して行うことでレイアウト候補を生成する。ここでは、５つのスロットを有する１６個のテンプレートについてレイアウト候補が作成される。

Ｓ１１０４では、ＣＰＵ１０１は、それぞれのレイアウト候補（ここでは、１６個）について評価し、レイアウト得点化を実行する。レイアウト得点化とは、レイアウト候補毎に後述の観点で評価した得点を付与する（スコアリング）ことであり、実際に出力するレイアウトの選択時に参照される。本実施形態では、各レイアウト候補について、時間要素と得点要素の２つの観点で得点化を行う。

レイアウト得点化の詳細について説明する。各スロットに設定された時系列番号や得点は、各テンプレートにどのような撮影時間又は得点の画像データがレイアウトされるとユーザの満足度が高くなるのか、ということが考慮されて設定されたものである。そのため、レイアウト候補において、各スロットに設定された時系列番号や得点と、各スロットに関連付けられた画像データの撮影日時の順番や得点は、一致していることが望ましい。そこで、ＣＰＵ１０１は、あるテンプレートにおいて、各スロットに設定された時系列番号及び得点と、各スロットに関連付けられた画像データの撮影日時の順番及び得点との相関の強さに応じて得点化を行う。

例えば、図１３（ｅ）は、図１２（ａ）に示す画像情報を有する画像データを、図１２（ｃ）に示す特徴を有するテンプレートのスロットと関連付けることで作成されたレイアウト候補である。ここで、ｘｉ＝スロット番号ｉのスロットに関連付けられた画像データの撮影日時順、ｙｉ＝スロット番号ｉの時系列番号としたとき、各データ列を、（ｘｉ，ｙｉ）で表わすものとする。ｘｉとｙｉとの差が小さいほど、各スロットと、各スロットに関連付けられた画像データの相関関係が強いといえ、高い得点が付与される。例えば、スロット番号１には、画像ＩＤ「２５」の画像データが関連付けられている。ここで、画像ＩＤ「２５」の画像データの、選択された画像データ内での撮影日時順は、「１」であり、スロット番号１に設定された時系列番号は「１」である。そのため、まず図１３（ｅ）のレイアウト候補の時間要素のデータ列として（１，１）が得られる。同様にして他のデータ列も取得すると、図１３（ｅ）のレイアウト候補の時間要素の各データ列は、（１，１）、（２，２）、（３，３）、（４，４）、（５，５）となる。

なお、得点要素に関しても同様にデータ列を取得する。ｘｉ＝スロット番号ｉのスロットに関連付けられた画像データの得点、ｙｉ＝スロット番号ｉの得点としたとき、各データ列を、（ｘｉ，ｙｉ）で表わす。例えば、スロット番号１のスロットには、画像ＩＤ「２５」の画像データが関連付けられている。ここで、画像ＩＤ「２５」の画像データの、選択された画像データ内での得点は、「２０」であり、スロット番号１のスロットに設定された得点は「２５」である。そのため、まず図１３（ｅ）のレイアウト候補の時間要素のデータ列として（２０，２５）が得られる。同様にして他のデータ列も取得すると、図１３（ｅ）のレイアウト候補の得点要素の各データ列は、（２０，２５）、（２５，３０）、（４５，５０）、（５５，６０）、（９０，１００）となる。図１３（ｅ）に示すレイアウト候補においては、どちらの要素においてもｘｉと、ｙｉとの差があまりなく、各スロットと、各スロットに関連付けられた画像データの相関関係が強いといえるため、高い得点が付与される。一方、図１３（ｊ）は、図１２（ａ）に示す画像情報を有する画像データを、図１２（ｄ）に示す特徴を有するテンプレートのスロットと関連付けることで作成されたレイアウト候補である。図１３（ｊ）のレイアウト候補の時間要素の各データ列は、（１，１）、（２，２）、（３，４）、（４，３）、（５，５）となる。また、得点要素の各データ列は、（２０，２５）、（２５，６０）、（４５，３０）、（５５，１００）、（９０，８０）となる。図１３（ｅ）に示すレイアウト候補においては、どちらの要素においてもｘｉと、ｙｉとの差が図１３（ｅ）に示すレイアウト候補と比較して大きいため、低い得点が付与される。

レイアウト得点化に当たり、ＣＰＵ１０１は、各スロットと、各スロットに関連付けられた画像データの相関関係から、各要素に関する相関係数を算出する。図１４（Ａ）に示す図は、図１３（ｅ）に示すレイアウト候補における、時間要素の相関関係を示す図である。図１４（Ｃ）に示す図は、図１３（ｊ）に示すレイアウト候補における、時間要素の相関関係を示す図である。なお、これらの図において、各データ列は、（ｘｉ，ｙｉ）（ｘｉ＝スロット番号ｉのスロットに関連付けられた画像データの撮影日時順、ｙｉ＝スロット番号ｉの時系列番号）で表わされる。なお、これらの図において、ｘ軸が、画像データの撮影日時順を、ｙ軸がスロットの時系列番号を表わしているが、ｘ軸は、画像データの撮影日時を表わしていても良い。

また、図１４（Ｂ）に示す図は、図１３（ｅ）に示すレイアウト候補における、得点要素の相関関係を示す図である。図１４（Ｄ）に示す図は、図１３（ｊ）に示すレイアウト候補における、得点要素の相関関係を示す図である。なお、これらの図において、各データ列は、（ｘｉ，ｙｉ）（ｘｉ＝スロット番号ｉのスロットに関連付けられた画像データの得点、ｙｉ＝スロット番号ｉの得点）で表わされる。なお、これらの図において、ｘ軸・ｙ軸共に得点を表わしているが、得点の順番を表わしていても良い。

上記の相関関係を示す図において、各データ列の近似直線が、ｘ＝ｙで表わされる直線と近似しているほど、各スロットと、各スロットに関連付けられた画像データの相関関係が強いといえる。

レイアウト得点化は、上述の、各レイアウト候補の時間要素及び得点要素の相関関係を示す図から、それぞれの相関係数を算出して合算し、１００点満点で正規化することで行われる。つまり、レイアウト得点は、式（５）のように算出される。

得点＝５０×（時間要素の相関係数ｒ１＋得点要素の相関係数ｒ２）／２＋５０ ・・・（５）
ここで、相関係数ｒ１及びｒ２は、式（６）のように求められる。

相関係数は、データ列の数（スロット数）によらず、各要素の相関の強さを算出できる指標である。そのため、いずれの個数のスロットを有するテンプレートにおいても、当該指標を適用でき、レイアウトする画像データ数に関わらずレイアウトの適合性を一律に判定することができる。以上の手順を、Ｓ１１０１で取得された全てのテンプレートに対して行うことでレイアウト候補を評価する。図１２（ｂ）のレイアウト得点の項目は、レイアウト得点化の結果の一例である。

なお、上述では、時間要素と得点要素の相関関係からレイアウト得点を算出していたが、この形態に限定されない。例えば、各スロットのアスペクト比と、各スロットに関連付けられた画像データのアスペクト比の相関関係も、レイアウト得点化の要素に含めても良い。この場合、例えば、各スロットのアスペクト比と、各スロットに関連付けられた画像データのアスペクト比が近いほど、高得点が付される。また、各スロットの解像度と、各スロットに関連付けられた画像データの解像度が十分か否かを、レイアウト得点化の要素に含めてもよい。例えば、各スロットの解像度に対して、当該スロットに関連付けされた画像データの解像度が不足している場合、正規化された点数から所定の点数が引かれた得点が付される。また、例えば、見開きの折り目にあたる部分に顔画像が配置されるか否かを、レイアウト得点化の要素に含めても良い。この場合、例えば、図１７に示すように、見開きの折り目にあたる部分に顔画像が配置されるレイアウト候補は、上述の相関関数によって正規化された点数から所定の点数が引かれた得点が付される。なお、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトや、人物画像のうち顔画像でない部分が見開きの折り目にあたる部分に配置されている場合も、上述のような得点化を行っても良い。また、折り目にあたる部分に配置されているオブジェクトに応じて、正規化された点数から引く点数を変化させても良い。

Ｓ１１０５では、ＣＰＵ１０１は、Ｓ４１７の画像選択によって選択された全ての画像データ群について、Ｓ１１０２〜Ｓ１１０４までの処理が終了したか否かを判定する。ＣＰＵ１０１は、終了していないと判定された場合はＳ１１０２に戻り、別の画像データ群を取得し、終了していると判定された場合はＳ１１０５の処理に進む。例えば、Ｓ１１０２で５枚の画像データを含む画像データ群が取得され、Ｓ１１０４で５つのスロットを有するテンプレート１６個についてレイアウト候補作成及びレイアウト得点化が終了したとする。そこで、まだ、他の枚数の画像データを含む画像データ群についてＳ１１０２〜Ｓ１１０４が未処理である場合、Ｓ１１０２に戻り、例えば３枚の画像データを含む画像データ群が取得される。そして、Ｓ１１０４で３つのスロットを有するテンプレート１６個についてレイアウト候補作成及びレイアウト得点化が行われる。

Ｓ１１０６では、ＣＰＵ１０１は、Ｓ１１０４でレイアウト得点化した全てのレイアウト候補から、付与されたレイアウト得点が全てのレイアウト候補の中で最高となるレイアウト候補に対応するテンプレートを選択する。そのため、本実施形態では、図１２（ｂ）に示すように、４８個のテンプレートの中で最高得点「９８」となったレイアウト候補に対応するテンプレートＩＤ「４７」が選択される。その後、ＣＰＵ１０１は、テンプレート決定処理を終了し、Ｓ４１９に進む。

以上説明したように、本実施形態では、画像データの特徴に応じて、適切な数のスロットを有するテンプレートを用いたレイアウトを特定することができる。また、何れの個数のスロットを有するテンプレートであっても同じ評価基準でレイアウト得点化を行うことができ、アルバム作成アプリケーションが異なる特徴を有する複数のテンプレートを保持していても、最適なレイアウト結果を得ることができる。

［第２の実施形態］
本実施形態では、アルバム作成アプリケーションが、個数だけでなく、他の要素も異なるスロットを有する複数のテンプレートを有している場合のテンプレート決定処理について説明する。例えば、テンプレートには、矩形以外にも丸形や菱形など様々な形のスロットを含んだテンプレートや、スロット同士が重なったテンプレート等、様々な種類（カテゴリ）のテンプレートがある。そこで、本実施形態では、カテゴリ別にテンプレートを選択できる例を説明する。なお、ここでは、丸形のスロットを含むテンプレートのカテゴリ、菱形のスロットを含むテンプレートのカテゴリ、丸形のスロット及び菱形のスロットを含むテンプレートのカテゴリの３つのカテゴリが用意されているものとする。また、各カテゴリには、それぞれスロット数が３、４、５のいずれかである４８個のテンプレートが含まれている。

図１５は、アルバム作成アプリケーションの画像レイアウト部２１２における画像レイアウト処理の手順を示すフローチャートである。図１５に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図１５に示す処理は、Ｓ４１８の処理に対応する。

Ｓ１５０１では、ＣＰＵ１０１は、アルバム作成アプリケーションが保持しているテンプレートのうち、所定のカテゴリに属するテンプレートを取得する。

図１６は、テンプレートのカテゴリ情報の一例を示す図である。カテゴリには、丸形、菱形、テンプレートＩＤの各項目の情報が付与されている。丸形および菱形の項目には、それぞれのテンプレートに丸形若しくは菱形のスロットが含まれている場合に「○」が付与されている。例えば、カテゴリ「２」には、丸形のスロットを含むテンプレートを示すテンプレートＩＤ４９〜９６のテンプレート群が含まれている。なお、Ｓ１５０１で取得されるカテゴリの順番は、アルバム内で隣接する見開き間で、異なるカテゴリのテンプレートによるレイアウトが選択されるようにアルバムの見開きの番号に応じて予め設定されている。Ｓ１５０１では、ＣＰＵ１０１は、このように、テンプレートを取得することで、アルバムが単調なレイアウトになることを防ぐことができる。

Ｓ１５０２〜Ｓ１５０５は、図１１のＳ１１０２〜Ｓ１１０５と同様の処理であるため、その説明を省略する。

Ｓ１５０６では、ＣＰＵ１０１は、Ｓ１１０３で生成され、Ｓ１１０４で評価された全てのレイアウト候補が基準を満たすか否か判定する。ここでは、具体的には、ＣＰＵ１０１は、各レイアウト候補のレイアウト得点が基準値以上か否かを判定する。ＣＰＵ１０１は、全てのテンプレートが基準を満たさないと判定された場合、Ｓ１５０７に進む。一方、ＣＰＵ１０１は、少なくとも１つのレイアウト候補が基準を満たすと判定された場合、Ｓ１５０８に進む。以上のような判定が実行されることで、レイアウト結果が基準以上となることを担保し、基準以下のレイアウト結果が決定されてしまうことを抑制することができる。

Ｓ１５０７では、ＣＰＵ１０１は、Ｓ１１０１で取得していないカテゴリのテンプレートがあるか否か判定する。ＣＰＵ１０１は、Ｓ１１０１で取得していないカテゴリのテンプレートがあると判定された場合、Ｓ１５０１の処理に戻り、Ｓ１１０１で取得していないカテゴリのテンプレートを取得する。一方、ＣＰＵ１０１は、Ｓ１１０１で取得していないカテゴリのテンプレートがないと判定された場合、Ｓ１５０８の処理に進む。以上のような判定が実行されることで、テンプレート群の再取得が繰り返されることとなって処理が終了しないことを抑制することができる。

Ｓ１５０８は、図１１のＳ１１０６と同様の処理であるため、その説明を省略する。なお、Ｓ１５０８では、１つのカテゴリに属するテンプレートに基づいて生成されたレイアウト候補からテンプレートが決定されるが、これに限られない。例えば、Ｓ１５０８では、Ｓ１５０６の判定結果に関わらず、全てのカテゴリのテンプレートに基づいて生成されたレイアウト候補からテンプレートが決定されても良い。その場合、各カテゴリのテンプレートに基づいて生成されたレイアウト候補のレイアウト評価結果を記憶領域に保持しておき、それらのうち最も得点の高いレイアウトを決定する。

このような形態とすることで、レイアウト結果が基準以上となることを担保しつつ、見開きごとに異なるテンプレートを選択して、単調なレイアウトのアルバムが出力されてしまうことを抑制することができる。

［その他の実施例］
上述の実施形態では、シーン分類得点化や画像得点化、レイアウト得点化等の評価において、点数を付すことで評価を行っていたが、この形態に限定されない。すなわち、得点を用いずに評価を行っても良く、例えば、評価が高い順に「◎」、「○」、「△」、「×」の評価を付し、付された評価によってシーン分類や画像選択、レイアウト候補の作成等が行われるような形態であっても良い。

複数の見開きについてテンプレート決定処理を行う場合、直前の見開きや同一のアルバム内で使用したテンプレートと同一のテンプレートや、同一のカテゴリに属するテンプレートを、使用するテンプレートとして決定しないようにしても良い。この場合、例えば、少なくとも直前の見開きで使用したテンプレートに関する情報を記憶領域に保持しておき、Ｓ１１０１やＳ１５０１の処理において、除外したいテンプレート以外のテンプレートの情報を取得するようにすれば良い。又は、Ｓ１１０３やＳ１５０３の処理において、除外したいテンプレートに関するレイアウト候補を作成しないようにすればよい。そのように、アルバム内の見開き間で異なるテンプレートを使用することで、見開き間で類似したレイアウトになることを防ぐことができる。

なお、上述の実施形態で利用される各テンプレートは、それぞれスロットの個数やスロットの形状、スロットの大きさ等が異なるものとしたが、それ以外の要素が異なっていても良い。例えば、テンプレートにおけるスロット外の領域のデザインや、テンプレート全体の大きさ等が異なっていても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＣＰＵ： １０２ ＲＯＭ： １０３ ＲＡＭ： ２１６ 自動レイアウト処理部

Claims (27)

1. 第１の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第１のテンプレート群と、第２の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第２のテンプレート群を少なくとも取得する第１の取得手段と、
   前記第１の数の画像データと前記第１のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第１のレイアウト候補情報群と、前記第２の数の画像データと前記第２のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第２のレイアウト候補情報群を少なくとも取得する第２の取得手段と、
   前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報を評価する評価手段と、
   前記評価手段による評価に基づいて、前記評価手段によって評価された前記複数のレイアウト候補情報のうちいずれかのレイアウト候補情報に対応するテンプレートを選択する選択手段と、
   前記選択手段が選択したテンプレートに基づくレイアウト結果を出力する出力手段と、を備えることを特徴とする情報処理装置。
2. 前記評価手段は、前記第１の数の画像データの特徴と前記第１のテンプレート群に含まれるテンプレートが有する前記画像配置領域との相関関係に基づき、前記第１のレイアウト候補情報群に含まれるレイアウト候補情報を評価し、前記第２の数の画像データの特徴と前記第２のテンプレート群に含まれるテンプレートが有する前記画像配置領域との相関関係に基づき、前記第２のレイアウト候補情報群に含まれるレイアウト候補情報を評価することを特徴とする請求項１に記載の情報処理装置。
3. 前記評価手段は、前記第１の画像群に含まれる画像データの特徴に基づく値と前記第１のテンプレート群に含まれるそれぞれのテンプレートが有する前記画像配置領域に設定された設定値の差に基づいて、前記第１のレイアウト候補情報群に含まれるそれぞれのレイアウト候補情報の評価を行い、前記第２の画像群に含まれる画像データの特徴に基づく値と前記第２のテンプレート群に含まれるそれぞれのテンプレートが有する前記画像配置領域に設定された設定値の差に基づいて、前記第２のレイアウト候補情報群に含まれるそれぞれのレイアウト候補の評価を行うことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第１の画像群に含まれる画像データの特徴は、前記第１の画像群に含まれる画像データの撮影日時、前記第１の画像群に含まれる画像データの得点、前記第１の画像群に含まれる画像データの大きさのうち少なくとも１つであることを特徴とする請求項１乃至３のいずれか1項に記載の情報処理装置。
5. 前記第１の取得手段は、複数のカテゴリのうち所定のカテゴリに属する前記第１のテンプレート群と前記第２のテンプレート群を取得し、
   前記所定のカテゴリは、前記出力手段が既に出力したレイアウト結果に対応するテンプレートが属するカテゴリと異なることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記複数のレイアウト候補情報の評価が閾値以下の場合、前記第１のテンプレート群が属するカテゴリと異なるカテゴリに属し、前記第１の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第３のテンプレート群と、前記第２のテンプレート群が属するカテゴリと異なるカテゴリに属し、第２の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第４のテンプレート群を少なくとも取得する第３の取得手段と、
   前記複数のレイアウト候補情報の評価が閾値以下の場合、前記第１の数の画像データと前記第３のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第３のレイアウト候補情報群と、前記第２の数の画像データと前記第４のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第４のレイアウト候補情報群を少なくとも取得する第４の取得手段と、をさらに有し、
   前記評価手段は、前記複数のレイアウト候補情報の評価が閾値以下の場合、さらに、前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を含まず、前記第３のレイアウト候補情報群と前記第４のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報を評価し、
   前記選択手段は、前記複数のレイアウト候補情報の評価が閾値以下の場合、前記評価手段による評価に基づいて、前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を含まず、前記第３のレイアウト候補情報群と前記第４のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報のうちいずれかのレイアウト候補情報に対応するテンプレートを選択する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第１のテンプレート群に含まれる各テンプレートと前記第２のテンプレート群に含まれる各テンプレートは、前記画像配置領域の形状、前記画像配置領域の大きさ、前記画像配置領域の位置のうち少なくとも１つが異なることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記出力手段は、前記情報処理装置が備える表示部に、前記レイアウト結果を表示することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記レイアウト結果に基づいて、アルバムが作成されることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 情報処理装置において実行される制御方法であって、
    第１の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第１のテンプレート群と、第２の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第２のテンプレート群を少なくとも取得する第１の取得ステップと、
    前記第１の数の画像データと前記第１のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第１のレイアウト候補情報群と、前記第２の数の画像データと前記第２のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第２のレイアウト候補情報群を少なくとも取得する第２の取得ステップと、
    前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報を評価する評価ステップと、
    前記評価ステップによる評価に基づいて、前記評価ステップによって評価された前記複数のレイアウト候補情報のうちいずれかのレイアウト候補情報に対応するテンプレートを選択する選択ステップと、
    前記選択されたテンプレートに基づくレイアウト結果を出力する出力ステップと、
    有することを特徴とする制御方法。
11. 前記評価ステップでは、前記第１の数の画像データの特徴と前記第１のテンプレート群に含まれるテンプレートが有する前記画像配置領域との相関関係に基づき、前記第１のレイアウト候補情報群に含まれるレイアウト候補情報が評価され、前記第２の数の画像データの特徴と前記第２のテンプレート群に含まれるテンプレートが有する前記画像配置領域との相関関係に基づき、前記第２のレイアウト候補情報群に含まれるレイアウト候補情報が評価されることを特徴とする請求項１０に記載の制御方法。
12. 前記評価ステップでは、前記第１の画像群に含まれる画像データの特徴に基づく値と前記第１のテンプレート群に含まれるそれぞれのテンプレートが有する前記画像配置領域に設定された設定値の差に基づいて、前記第１のレイアウト候補情報群に含まれるそれぞれのレイアウト候補情報が評価され、前記第２の画像群に含まれる画像データの特徴に基づく値と前記第２のテンプレート群に含まれるそれぞれのテンプレートが有する前記画像配置領域に設定された設定値の差に基づいて、前記第２のレイアウト候補情報群に含まれるそれぞれのレイアウト候補が評価されることを特徴とする請求項１０又は１１に記載の制御方法。
13. 前記第１の画像群に含まれる画像データの特徴は、前記第１の画像群に含まれる画像データの撮影日時、前記第１の画像群に含まれる画像データの得点、前記第１の画像群に含まれる画像データの大きさのうち少なくとも１つであることを特徴とする請求項１０乃至１２のいずれか１項に記載の制御方法。
14. 前記第１の取得ステップでは、複数のカテゴリのうち所定のカテゴリに属する前記第１のテンプレート群と前記第２のテンプレート群が取得され、
    前記所定のカテゴリは、前記出力ステップで既に出力したレイアウト結果に対応するテンプレートが属するカテゴリと異なることを特徴とする請求項１０乃至１３のいずれか１項に記載の制御方法。
15. 前記複数のレイアウト候補情報の評価が閾値以下の場合、前記第１のテンプレート群が属するカテゴリと異なるカテゴリに属し、前記第１の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第３のテンプレート群と、前記第２のテンプレート群が属するカテゴリと異なるカテゴリに属し、第２の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第４のテンプレート群を少なくとも取得する第３の取得ステップと、
    前記複数のレイアウト候補情報の評価が閾値以下の場合、前記第１の数の画像データと前記第３のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第３のレイアウト候補情報群と、前記第２の数の画像データと前記第４のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第４のレイアウト候補情報群を少なくとも取得する第４の取得ステップと、をさらに有し、
    前記評価ステップでは、前記複数のレイアウト候補情報の評価が閾値以下の場合、さらに、前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を含まず、前記第３のレイアウト候補情報群と前記第４のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報を評価し、
    前記選択ステップでは、前記複数のレイアウト候補情報の評価が閾値以下の場合、前記評価ステップによる評価に基づいて、前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を含まず、前記第３のレイアウト候補情報群と前記第４のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報のうちいずれかのレイアウト候補情報に対応するテンプレートを選択する、
    ことを特徴とする請求項１０乃至１４のいずれか１項に記載の制御方法。
16. 前記第１のテンプレート群に含まれる各テンプレートと前記第２のテンプレート群に含まれる各テンプレートは、前記画像配置領域の形状、前記画像配置領域の大きさ、前記画像配置領域の位置のうち少なくとも１つが異なることを特徴とする請求項１０乃至１５のいずれか１項に記載の制御方法。
17. 前記出力ステップでは、前記情報処理装置が備える表示部に、前記レイアウト結果が表示されることを特徴とする請求項１０乃至１６のいずれか１項に記載の制御方法。
18. 前記レイアウト結果に基づいて、アルバムが作成されることを特徴とする請求項１０乃至１７のいずれか１項に記載の制御方法。
19. 情報処理装置としてのコンピュータに、
    第１の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第１のテンプレート群と、第２の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第２のテンプレート群を少なくとも取得する第１の取得ステップと、
    前記第１の数の画像データと前記第１のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第１のレイアウト候補情報群と、前記第２の数の画像データと前記第２のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第２のレイアウト候補情報群を少なくとも取得する第２の取得ステップと、
    前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報を評価する評価ステップと、
    前記評価ステップによる評価に基づいて、前記評価ステップによって評価された前記複数のレイアウト候補情報のうちいずれかのレイアウト候補情報に対応するテンプレートを選択する選択ステップと、
    前記選択されたテンプレートに基づくレイアウト結果を出力する出力ステップとを、実行させることを特徴とするプログラム。
20. 前記評価ステップでは、前記第１の数の画像データの特徴と前記第１のテンプレート群に含まれるテンプレートが有する前記画像配置領域との相関関係に基づき、前記第１のレイアウト候補情報群に含まれるレイアウト候補情報が評価され、前記第２の数の画像データの特徴と前記第２のテンプレート群に含まれるテンプレートが有する前記画像配置領域との相関関係に基づき、前記第２のレイアウト候補情報群に含まれるレイアウト候補情報が評価されることを特徴とする請求項１９に記載のプログラム。
21. 前記評価ステップでは、前記第１の画像群に含まれる画像データの特徴に基づく値と前記第１のテンプレート群に含まれるそれぞれのテンプレートが有する前記画像配置領域に設定された設定値の差に基づいて、前記第１のレイアウト候補情報群に含まれるそれぞれのレイアウト候補情報が評価され、前記第２の画像群に含まれる画像データの特徴に基づく値と前記第２のテンプレート群に含まれるそれぞれのテンプレートが有する前記画像配置領域に設定された設定値の差に基づいて、前記第２のレイアウト候補情報群に含まれるそれぞれのレイアウト候補が評価されることを特徴とする請求項１９又は２０に記載のプログラム。
22. 前記第１の画像群に含まれる画像データの特徴は、前記第１の画像群に含まれる画像データの撮影日時、前記第１の画像群に含まれる画像データの得点、前記第１の画像群に含まれる画像データの大きさのうち少なくとも１つであることを特徴とする請求項１９乃至２１のいずれか１項に記載のプログラム。
23. 前記第２の取得ステップでは、複数のカテゴリのうち所定のカテゴリに属す前記第１のテンプレート群と前記第２のテンプレート群が取得され、
    前記所定のカテゴリは、前記出力ステップで既に出力したレイアウト結果に対応するテンプレートが属するカテゴリと異なることを特徴とする請求項１９乃至２２のいずれか１項に記載のプログラム。
24. 前記複数のレイアウト候補情報の評価が閾値以下の場合、前記第１のテンプレート群が属するカテゴリと異なるカテゴリに属し、前記第１の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第３のテンプレート群と、前記第２のテンプレート群が属するカテゴリと異なるカテゴリに属し、第２の数の画像配置領域を有し、それぞれレイアウトが異なる複数のテンプレートからなる第４のテンプレート群を少なくとも取得する第３の取得ステップと、
    前記複数のレイアウト候補情報の評価が閾値以下の場合、前記第１の数の画像データと前記第３のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第３のレイアウト候補情報群と、前記第２の数の画像データと前記第４のテンプレート群に含まれるテンプレートとに基づいて作成される複数のレイアウト候補情報からなる第４のレイアウト候補情報群を少なくとも取得する第４の取得ステップと、をさらに有し、
    前記評価ステップでは、前記複数のレイアウト候補情報の評価が閾値以下の場合、さらに、前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を含まず、前記第３のレイアウト候補情報群と前記第４のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報を評価し、
    前記選択ステップでは、前記複数のレイアウト候補情報の評価が閾値以下の場合、前記評価ステップによる評価に基づいて、前記第１のレイアウト候補情報群と前記第２のレイアウト候補情報群を含まず、前記第３のレイアウト候補情報群と前記第４のレイアウト候補情報群を少なくとも含む複数のレイアウト候補情報のうちいずれかのレイアウト候補情報に対応するテンプレートを選択する、
    ことを特徴とする請求項１９乃至２３のいずれか１項に記載のプログラム。
25. 前記第１のテンプレート群に含まれる各テンプレートと前記第２のテンプレート群に含まれる各テンプレートは、前記画像配置領域の形状、前記画像配置領域の大きさ、前記画像配置領域の位置のうち少なくとも１つが異なることを特徴とする請求項１９乃至２４のいずれか１項に記載のプログラム。
26. 前記出力ステップでは、前記情報処理装置が備える表示部に、前記レイアウト結果が表示されることを特徴とする請求項１９乃至２５のいずれか１項に記載のプログラム。
27. 前記レイアウト結果に基づいて、アルバムが作成されることを特徴とする請求項１９乃至２６のいずれか１項に記載のプログラム。

Images