JP6586009B2 - Information processing apparatus, processing method, and program - Google Patents
Information processing apparatus, processing method, and program Download PDFInfo
- Publication number
- JP6586009B2 JP6586009B2 JP2015255243A JP2015255243A JP6586009B2 JP 6586009 B2 JP6586009 B2 JP 6586009B2 JP 2015255243 A JP2015255243 A JP 2015255243A JP 2015255243 A JP2015255243 A JP 2015255243A JP 6586009 B2 JP6586009 B2 JP 6586009B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- still
- frame
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、情報処理装置、処理方法、およびプログラムに関する。 The present invention relates to an information processing apparatus, a processing method, and a program.
近年、フォトアルバム作成アプリケーションを使って、複数の静止画像をフォトアルバム用のテンプレートに自動的に配置して、フォトアルバムを自動生成する製品がある。そして、特許文献１には、複数の画像の特徴情報に基づいて、アルバムにおける複数の画像をレイアウトするアルバム作成方法が開示されている。
In recent years, there are products that automatically generate a photo album by automatically arranging a plurality of still images on a photo album template using a photo album creation application.
しかしながら、特許文献１では、動画像に基づく画像、すなわち、動画から切り出した画像をレイアウトしたレイアウト画像を作成することはできない。
However, in
また、静止画像と動画像から抽出された画像とを含むレイアウト画像を自動的に作成しようとした場合、レイアウト画像を作成する際に必要な画像を抽出するのに時間を要する、という問題点もある。 Another problem is that when a layout image including a still image and an image extracted from a moving image is automatically created, it takes time to extract an image necessary for creating the layout image. is there.
本発明は、静止画像と動画像から抽出された画像とを高速で自動抽出することを目的とする。 An object of the present invention is to automatically extract a still image and an image extracted from a moving image at high speed.
上記課題を解決するために、本願発明は以下の構成を有する。すなわち、情報処理装置であってユーザからの指示に基づき、動画像と静止画像とを含む画像群を取得する取得手段と、前記取得手段により取得された画像群に含まれる前記動画像から抽出されるフレーム画像と前記静止画像とを含む画像の数が、閾値より多いか判定する判定手段と、前記判定手段により前記画像の数が前記閾値より多いと判定された場合、前記取得手段により取得された画像群のうち一部の画像をレイアウトの処理対象として評価する特定モードで処理を実行することを決定する決定手段と、前記特定モードにおいて、予め定められた参照値に基づき、前記取得手段により取得された画像群から選択する前記フレーム画像と前記静止画像とを含む画像総数を特定する特定手段と、前記決定手段により前記特定モードで処理を実行すると決定された場合、前記取得手段により取得された画像群に含まれる動画像から、第１所定数の動画像と、第２所定数の静止画像とを選択する選択手段と、前記選択手段により選択された動画像から複数のフレーム画像を生成する生成手段と、を有し、前記選択手段により選択される静止画像及び前記生成手段により生成されるフレーム画像の総数は、前記特定手段により特定された画像総数以下である。 In order to solve the above problems, the present invention has the following configuration. That is, based on the instruction from the user an information processing apparatus, an acquisition unit configured to acquire an image group including the moving images and still images are extracted from the moving image included in the image group acquired by the acquisition unit the number of images including a frame image and the said still image that, if the determination means or larger than the threshold, the number of the images by the determination means is determined greater than the threshold value, it is acquired by the acquisition unit and determining means for determining to perform the process in a specific mode evaluated by a part of the image processed by the layout of the image group, in the special mode based on the reference value set in advance, the acquisition specifying means for specifying the total number of images containing said frame image and the still image selected from the image group acquired by the means, treated with the specific mode by the determination unit If a determination is made to run, from the moving image included in the acquired images by the acquisition unit, and the moving image of the first predetermined number, selection means for selecting a second predetermined number of still images, the selection means anda generating means for generating a plurality of frame images from the moving image selected by the total number of frame images that will be generated by the still image and the generation unit that will be selected by the selection means, specified by the specifying means It has been is the total number of images or less.
本発明によれば、静止画像と動画像から抽出された画像とを高速で自動抽出することができる。 According to the present invention, a still image and an image extracted from a moving image can be automatically extracted at high speed.
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the present invention according to the claims, and all combinations of features described in the embodiments are not necessarily essential to the solution means of the present invention. . The same constituent elements are denoted by the same reference numerals, and the description thereof is omitted.
＜第１の実施形態＞
図１は、情報処理装置を含んで構成されるフォトアルバム作成／注文システムの構成の一例を示す図である。図１において、情報処理装置１及び２は、例えば、一般的なパーソナルコンピュータまたはサーバー（以下、ＰＣと略す場合がある）で構成される。ＰＣ１、ＰＣ２は、図２で後述するようなハードウェアで構成される。本実施形態では、各ＰＣには、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、ＯＳと略す場合がある）としてＷｉｎｄｏｗｓ（登録商標）８またはＷｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ ２０１２と同等のＯＳがインストールされているものとする。ＰＣ１、ＰＣ２は、例えば、それぞれＥｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク４及び８に接続されている。
<First Embodiment>
FIG. 1 is a diagram illustrating an example of a configuration of a photo album creation / order system configured to include an information processing apparatus. In FIG. 1, the
フォトアルバム作成アプリケーション８０（以下、アプリケーションと略す場合がある）は、例えば、Ｗｉｎｄｏｗｓ（登録商標）用の実行可能形式のファイル（＊．ＥＸＥ）で構成される。Ｗｅｂブラウザアプリケーション１４３（以下、Ｗｅｂブラウザと略す場合がある）は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）を利用する際に用いられるブラウザである。ネットワーク４は、ＰＣ１を使用するユーザ（顧客等）が住んでいる自宅に構築された一般家庭用のホームネットワークである。ネットワーク８は、ＡＢＣ社の拠点内に構築されたオフィスネットワークである。
The photo album creation application 80 (hereinafter may be abbreviated as an application) is composed of an executable file (* .EXE) for Windows (registered trademark), for example. The web browser application 143 (hereinafter may be abbreviated as “web browser”) is a browser used when using WWW (World Wide Web). The
ネットワーク８に接続されているＰＣ２は、Ｗｅｂサーバの機能を備えるＷｅｂサーバ９を含み、インターネットを介してＡＢＣ社のＷｅｂサイトを提供する。ショッピングサイト１１は、ＡＢＣ社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト１１を利用してフォトアルバムを注文することができる。
The PC 2 connected to the
図２は、ＰＣのハードウェア構成の一例を表す図である。ＰＣ１及びＰＣ２は、図２に示すようなハードウェアを含む。図２に示す通り、ＰＣ１及びＰＣ２は、ランダムアクセスメモリ部であるＲＡＭ２０１、ハードディスクドライブ部であるＨＤＤ２０２、キーボード部であるＫＢＤ２０３、及びＣＰＵ２０４を含む。更に、ＰＣ１及びＰＣ２は、表示用ディスプレイであるＬＣＤ２０５、及びネットワークボードであるＮＢ２０７を含む。更に、ＰＣ１及びＰＣ２は、少なくとも図２に示す各ブロックを互いに通信可能に接続するバス２０６を含む。ＨＤＤ２０２は、不揮発性の記憶部である。なお、可搬性ＣＤ−ＲＯＭまたは内部据付のＲＯＭ等が記憶部として用いられてもよい。ＫＢＤ２０３は、ＰＣ１及びＰＣ２の入力部である。ＣＰＵ２０４は、ＰＣ１及びＰＣ２の制御部である。ＬＣＤ２０５は、ＰＣ１及びＰＣ２の表示部である。ＮＢ２０７は、ＰＣ１及びＰＣ２の通信制御部である。
FIG. 2 is a diagram illustrating an example of a hardware configuration of a PC. PC1 and PC2 include hardware as shown in FIG. As illustrated in FIG. 2, the PC 1 and the
フォトアルバム作成アプリケーション８０やＷｅｂブラウザ１４３等のアプリケーション、および、図３に示す各モジュール（ソフトウェア）は、例えばＨＤＤ２０２に記憶され、必要に応じてＲＡＭ２０１に読み出されてＣＰＵ２０４により実行される。これにより、ＣＰＵ２０４が、各種アプリケーション（ソフトウェア）の機能を実現する。
The application such as the photo
図３は、ＰＣのソフトウェアのモジュール構成の一例を表す図である。図３において、モジュール９２は、Ｅｔｈｅｒｎｅｔ（登録商標）を制御するＥｔｈｅｒｎｅｔ（登録商標）制御スタックである。モジュール９１は、ＩＰ Ｎｅｔｗｏｒｋを制御するＩＰ Ｎｅｔｗｏｒｋ制御スタックである。モジュール９０は、ネットワーク上のデバイス探索の仕組みを提供するＷＳＤ（Ｗｅｂ Ｓｅｒｖｉｃｅ ｏｎ Ｄｅｖｉｃｅｓ）を制御するＷＳＤ制御スタックである。モジュール８８は、ネットワークのプラグアンドプレイを制御するＰｎＰ−Ｘ制御スタックである。尚、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ（登録商標）８ ＯＳに標準搭載されている機能であるＰｌｕｇ ａｎｄ Ｐｌａｙ Ｅｘｔｅｎｓｉｏｎｓの略称である。モジュール８５は、デバイスドライバ群であり、ＯＳに標準で同梱されている標準ドライバ群８７と、ＩＨＶ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｈａｒｄｗａｒｅ Ｖｅｎｄｏｒ）から提供されるＩＨＶ製ドライバ群８６とを含んで構成される。
FIG. 3 is a diagram illustrating an example of a module configuration of PC software. In FIG. 3, a
モジュール８４は、アプリケーション／ＤＤＩインタフェースであり、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）、ＤＤＩ（Ｄｅｖｉｃｅ Ｄｒｉｖｅｒ Ｉｎｔｅｒｆａｃｅ）を含んで構成される。モジュール８０は、例えば、フォトアルバム作成アプリケーションであり、モジュール１４３は、例えば、Ｗｅｂブラウザアプリケーションである。モジュール８２は、アプリケーション群であり、フォトアルバム作成アプリケーション８０、Ｗｅｂブラウザ１４３等を含んで構成される。
The
図４は、各種アプリケーションの画面の構成例を示す図である。図４（ａ）は、アプリケーション８０のメイン画面の一例を示す。図４（ｂ）は、アプリケーション８０のプレビュー／編集画面の一例を示す。図４（ｃ）は、Ｗｅｂブラウザ１４３で表示されるフォトアルバムの注文画面の一例を示す。
FIG. 4 is a diagram illustrating a configuration example of a screen of various applications. FIG. 4A shows an example of the main screen of the
図４（ａ）に示すメイン画面４０１は、アプリケーション８０のメイン画面である。フォトアルバムタイプ選択部４０２は、フォトアルバムタイプの選択部であり、フォトアルバムタイプの選択を受け付けるための選択ボタンが表示される。本実施形態では、フォトアルバムタイプとしては、作成するフォトアルバムの種類としてタイプＫ、タイプＭのいずれかを選択することができ、ページ数として２０、３０、４０、５０、６０ページのいずれかを選択することができる。なお、アルバムの種類としては、例えば、形状、用紙の種類、綴じ方、カバーの材質等が挙げられる。図４（ａ）では、タイプＫの２０ページ、タイプＭの５０ページが表示された状態を示しているが、フォトアルバムタイプ選択部４０２をスクロールすることで、これ以外の種類のフォトアルバムを表示することができ、ユーザはこれらのうちいずれかを選択することができる。ボタン４０３は、タイプＫの２０ページのフォトアルバムの選択を受け付ける為のフォトアルバムの選択ボタンである。タイプＫの２０ページのフォトアルバムは、例えば、次のようなフォトアルバムである。
A
形状： １５ｃｍ×１５ｃｍ スクエア
ページ数： ２０ページ
用紙の種類： サテン
綴じ方： ２つ折り
カバー： ソフト
Shape: 15cm x 15cm Square Number of pages: 20 pages Paper type: Satin Binding method: Folded Cover: Soft
ボタン４０４は、タイプＭの５０ページのフォトアルバムの選択を受け付ける為のフォトアルバムの選択ボタンである。タイプＭの５０ページのフォトアルバムは、例えば、次のようなフォトアルバムである。
A
形状： Ａ４（２１０ｍｍ×２９７ｍｍ） 縦
ページ数： ５０ページ
用紙の種類： 光沢
綴じ方： フラット
カバー： ハード
Shape: A4 (210mm x 297mm) Vertical Number of pages: 50 pages Paper type: Glossy Binding method: Flat Cover: Hard
マーク４０５は、フォトアルバム選択状態の表示マークであり、選択されているフォトアルバムに関連付けられているフォトアルバム選択ボタンを囲うように表示される。図４（ａ）は、ボタン４０３が押されてタイプＫのフォトアルバムが選択されている状態を示している。なお、選択ボタンが選択されていることを識別可能に表示できるものであれば、マーク４０５に限定されるものではない。フォトアルバム作成ボタン４１２に対するユーザの押下が検出されると、アプリケーション８０は、フォトアルバムの自動作成を開始する。動画像ファイル処理方法選択部４０６は、動画像ファイルに対する処理方法の選択部であり、動画像から静止画像を抽出する処理方法として、無効、自動、時間、シーン、テーマの何れかからのラジオボタンによる選択を受け付ける。
A
無効選択ボタン４３１は、動画像から静止画像を抽出する処理を無効とする機能が割り当てられている。無効選択ボタン４３１が押下された場合に動画像から静止画像を抽出する処理が無効となる。自動選択ボタン４０７は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図５に示す自動処理を実行する方法が対応している。時間選択ボタン４０８は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図８（ａ）に示すような撮影年月日時刻に基づく処理を実行する方法が対応している。シーン選択ボタン４０９は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図８（ｂ）に示すような色、ヒストグラムをもとにしたシーン判定処理を実行する方法が対応している。テーマ選択ボタン４１０は、動画像から静止画像を抽出する処理を有効とする機能が割り当てられている。動画像から静止画像を抽出する処理方法として、後述する図８（ｃ）に示すようなオブジェクトをもとにしたテーマ判定処理を実行する方法が対応している。
The
ユーザが、静止画像ファイルまたは動画像ファイルが格納されているＰＣ１内のフォルダ（不図示）、または１以上のファイルを選択すると、アプリケーション８０は、選択されたフォルダ又はファイルを、フォトアルバムを作成する際に処理対象とする画像データ群の格納先または画像データ群として指定する。なお、ＰＣ１にＳＤカード等の不揮発性の外部メモリを装着することができる場合、この外部メモリも画像データ群の格納先として指定することができる。本実施形態では、外部メモリが指定された場合、動画像ファイル処理方法選択部４０６のデフォルト値は無効（無効選択ボタン４３１）が選択されている状態とする。ＳＤカード等の不揮発性の外部メモリは、読み込み速度が遅く、動画像のような大きなサイズのファイルを読み込んだり、フォトアルバムを自動作成する際にＰＣ内に一時的にコピーしたりする処理に多くの時間を要する場合があるためである。すなわち、動画像ファイル処理方法選択部４０６のデフォルト値を無効とすることにより、フォトアルバムに用いる画像の抽出の時間が長くなるのを抑制することができ、フォトアルバムが生成されるまでのユーザの待ち時間が長くなるのを抑制することができる。
When the user selects a folder (not shown) in the
上記の格納先として、ＳＤカード等の不揮発性の外部メモリが選択されておらず、ＰＣ内のフォルダやファイルが選択されている場合、動画像ファイル処理方法選択部４０６のデフォルト値は自動（後述する自動選択ボタン４０７）が選択されている状態とする。これにより、動画像のような大きなサイズのファイルを高速に読み込めるケースでは、フォトアルバムを自動作成する際に、動画像を対象画像に含めることができる。なお、動画像は、ユーザが気に入っている場面である可能性が高く、動画像から切り出した画像をレイアウトすることにより、フォトアルバムのユーザの満足度を向上させることができる可能性が高まる。また、ユーザの操作性にも優れる。
When a non-volatile external memory such as an SD card is not selected as the storage destination and a folder or file in the PC is selected, the default value of the moving image file processing
本実施形態では、フォトアルバムを作成する際に対象とする画像データ群の格納先として、Ｆａｃｅｂｏｏｋ（登録商標）等のＳＮＳサイトに掲載されている画像が指定された場合、動画像を対象とせずに、静止画像だけを対象とする。これは、動画像のような大きなサイズのファイルをＳＮＳサイトからインターネットを介してダウンロードすると、処理に多くの時間を要する場合があるためである。すなわち、動画像ファイル処理方法選択部４０６のデフォルト値を無効とすることにより、フォトアルバムに用いる画像の抽出の時間が長くなるのを抑制することができ、フォトアルバムが生成されるまでのユーザの待ち時間が長くなるのを抑制することができる。尚、例えば、インターネットを介したファイルダウンロードを高速に行えるような環境では、格納先として外部メモリが指定された場合、動画像ファイル処理方法選択部４０６のデフォルト値を無効（無効選択ボタン４３１）が選択されている状態とする。そして、ユーザの判断で自動（自動選択ボタン４０７）等を選択することで、動画像を対象にしてフォトアルバムを自動作成するようにしてもよい。
In the present embodiment, when an image posted on an SNS site such as Facebook (registered trademark) is designated as a storage destination of a group of image data targeted when creating a photo album, a moving image is not targeted. In addition, only still images are targeted. This is because when a large-sized file such as a moving image is downloaded from the SNS site via the Internet, a long time may be required for processing. In other words, by invalidating the default value of the moving image file processing
ファイル選択ボタン４１１は、シーン選択ボタン４０９またはテーマ選択ボタン４１０が選択されている時に有効である。ユーザによるファイル選択ボタン４１１の押下を検出すると、ファイル選択画面（不図示）が表示され、ユーザによる静止画像ファイルの選択が可能になる。アプリケーション８０は、ファイル選択画面（不図示）を介してユーザにより選択された静止画像ファイルを、アプリケーション８０が使用するＲＡＭ２０１内のワークメモリに一時的に保存する。ユーザによるフォトアルバム作成ボタン４１２の押下を検出すると、アプリケーション８０は、ワークメモリに一時的に保存されている静止画像ファイルに基づいて、シーン判定処理またはテーマ判定処理を実行する。フレーム抽出時間間隔指定部４３０は、ユーザから、１つの動画像から静止画像（フレーム）を抽出する枚数の指定を例えば１枚単位で受付可能である。尚、デフォルト値は、例えば４０枚で設定されている。
The
平均スロット数指定部４３４にて、ユーザは、フォトアルバムの見開き２ページに配置されるスロットの数、言い換えれば、配置される画像の数の平均値を１つ指定することができる。本実施形態では、２、６、１０の中から１つ指定することができるものとし、平均スロット数指定部４３４で指定されている平均スロット数のデフォルト値は６とする。撮影日設定部４３２は、日付絞り込みチェックボックス４３３がチェックされている場合に有効となり、この場合、撮影日設定部４３２で設定されている期間に撮影された画像群（静止画像と動画像）がフォトアルバムを自動作成する際の対象となる。ここでの対象の画像群とは、フォトブックの作成に利用可能な画像群であることを意味する。日付絞り込みチェックボックス４３３のデフォルト値はチェックされている状態である。撮影日設定部４３２のデフォルト値は、フォトアルバムを自動作成する際に対象とする画像群の中で撮影日が最も新しい日から過去にさかのぼって３０日間とする。なお、さかのぼる日数はこれに限定されないが、デフォルト値として所定の日数を予め設定しておく。このように所定の日数を設定することにより、フォトアルバムを自動作成する際に対象とする画像群に含まれる画像数を適切に保つことができる。具体的には、図２０（ｂ）で後述するシステム上限画像数を超える可能性を低くすることができる。これにより、フォトアルバムを高速に自動作成することができる。また、最も新しい日から所定の日数までの撮影日の画像群に基づいてフォトアルバムを生成することにより、ユーザがアルバムを作成しようとしたタイミングに適したアルバムを作成できる可能性が高くなる。
In the average slot
図４（ｂ）に示す編集画面４１５は、アプリケーション８０のプレビュー／編集画面を示す。詳細は後述するが、図４（ａ）の画面で設定された条件に従って、フォルダから画像データ群が取得され、取得された画像データ群から複数の画像データを選択し、画像データに基づく画像をそれぞれテンプレートに配置することにより、レイアウト画像を生成する。なお、レイアウト画像は、フォトアルバムタイプ選択部４０２で受け付けたページ数に基づいて、複数ページ分生成される。そして、アプリケーション８０は、生成されたレイアウト画像のうち選択された見開きページ（すなわち、２ページ分）のレイアウト画像のプレビューを、プレビュー表示部４１８に表示する。見開きページ選択部４１６は、ユーザから、プレビュー表示部４１８に表示する見開きページの選択を受付可能である。ユーザにより選択されている見開きページには、見開きページ選択状態を識別可能な表示マーク４１７が表示される。選択状態を識別可能な表示はこれに限定されず、例えば、選択された見開きページの色を変更して表示するようにしてもよい。図４（ｂ）では、７ページと８ページで構成される見開きページが選択されている状態を示している。なお、見開きページ数が多い場合は、見開きページ選択部４１６をスクロールすることにより、これ以外の見開きページを表示することができるようにする。
An
購入商品追加ボタン４１９は、ユーザがフォトアルバムを購入する際に、商品としてショッピングカート（不図示）に追加することができる。ユーザによる購入商品追加ボタン４１９の押下を検出すると、アプリケーション８０がプレビュー表示部４１８に表示されている見開きページを含むフォトアルバムをショッピングカートに追加する。ユーザは、ショッピングカートに追加されたフォトアルバムを、ショッピングカートに関連付けられている図４（ｃ）に示すオンライン注文サイトと、それと連携している決済サイト（不図示）を介して購入することができる。尚、オンライン注文サイト、決済サイト、ショッピングカートに関しては、一般的なオンラインショッピングサイトとそれと連携する決済サイトやショッピングカートと同様なので、その説明を省略する。
The purchased
図４（ｃ）において、Ｗｅｂブラウザ１４３に表示されるＵＲＬ設定部４２１は、ユーザがＷｅｂブラウザ１４３で表示させたいＷｅｂサイト（ページ）のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）の指定を受け付ける。また、Ｗｅｂブラウザ１４３がＷｅｂサイト（ページ）を表示している場合は、表示しているＷｅｂサイトのＵＲＬがＵＲＬ設定部４２１に表示される。注文画面４２２は、Ｗｅｂブラウザ１４３が表示しているフォトアルバムの注文画面であり、図４（ｃ）は注文番号「４６４９」のフォトアルバムを注文する一例を示している。注文情報表示部４２３は、フォトアルバムの注文に関する情報を表示する。注文に関する情報としては、注文を識別する識別子（例えば、注文番号）、フォトアルバムの種類、価格等が挙げられる。図４（ｃ）は、以下のような例を示している。
In FIG. 4C, the
注文番号： ４６４９
フォトアルバムの種類： タイプＫ
価格： ￥１００，０００
Order number: 4649
Photo album type: Type K
Price: ¥ 100,000
注文ボタン４２４の押下を受け付けると、氏名、住所、電話番号、配送先等の必要な情報を入力する入力画面が表示される。ユーザが入力画面において必要な情報を入力し、決済サイトで決済を完了することで、アプリケーション８０で作成されたフォトアルバムの注文が確定して、ユーザはそのアルバムを購入することができる。
When the pressing of the
図１０は、フォトアルバムの構成の一例を示す。図１０（ａ）はタイプＫのフォトアルバムの構成の一例を示し、図１０（ｂ）はタイプＭのフォトアルバムの構成の一例を示す。 FIG. 10 shows an example of the configuration of a photo album. FIG. 10A shows an example of the configuration of a type K photo album, and FIG. 10B shows an example of the configuration of a type M photo album.
図１０（ａ）に示すフォトアルバムは、タイプＫのフォトアルバムに関し、表紙１００１、裏表紙１００４、本身の１ページと２ページの見開きページ１００２、本身の１９ページと２０ページの見開きページ１００３を含む。タイプＫのフォトアルバムの場合、本身に関しては、１ページ目が先頭ページ、２０ページ目が最終ページである。
The photo album shown in FIG. 10 (a) relates to a type K photo album, and includes a
図１０（ｂ）に示すフォトアルバムは、タイプＭのフォトアルバムに関し、表紙１０１１、裏表紙１０１４、本身の１ページと２ページの見開きページ１０１２、本身の４９ページと５０ページの見開きページの１０１３を含む。タイプＭのフォトアルバムの場合、本身に関しては、１ページ目が先頭ページ、５０ページ目が最終ページである。
The photo album shown in FIG. 10B relates to a photo album of type M, and includes a
図１１は、画像データに基づく画像を配置するためのレイアウトテンプレート（以下、テンプレートともいう）の一例を示す。図１１（ａ）は、タイプＫのフォトアルバムの時間ベース用のレイアウトテンプレートの一例を示す。図１１（ｂ）は、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの一例を示す。図１１（ｃ）は、タイプＫのフォトアルバムのテーマベース用のレイアウトテンプレートの一例を示す。 FIG. 11 shows an example of a layout template (hereinafter also referred to as a template) for arranging images based on image data. FIG. 11A shows an example of a time-based layout template for a type K photo album. FIG. 11B shows an example of a layout template for a scene base of a type K photo album. FIG. 11C shows an example of a layout template for a theme base of a type K photo album.
図１１（ａ）は、ページ単位で領域をグループ化し、そのグループ（片側１ページ）内の全てのスロットを同一グループの領域に属するものとした例を示している。図１１（ａ）に示すレイアウトテンプレート１１００は、例えば、タイプＫのフォトアルバムの時間ベース用のレイアウトテンプレートの、本身の１ページと２ページの見開き２ページのレイアウトテンプレートである。テンプレート１１０１は、本身の１ページのレイアウトテンプレートである。テンプレート１１０２は、本身の２ページのレイアウトテンプレートである。スロット１１０３〜１１０６は、本身の１ページに配置されているスロットであり、スロット１１０７〜１１１０は、本身の２ページに配置されているスロットであり、アプリケーション８０は静止画像をこれらのスロットに配置する。
FIG. 11A shows an example in which areas are grouped in units of pages, and all slots in the group (one page on one side) belong to the same group area. A
スロット１１０３〜１１０６は、グループ１の領域に属する。テンプレート１１０１に付加されているコードＫ−Ａ−Ｇ１−Ｐ１は、このテンプレートの属性を表す。Ｋは、タイプＫのフォトアルバム用であることを表す。Ａは、時間ベース用であることを表す。Ｇ１は、グループ１の領域用であることを表す。Ｐ１は、本身の１ページ用であることを表す。スロット１１０３〜１１０６に付加されているコードＫ−Ａ−Ｇ１−１、Ｋ−Ａ−Ｇ１−２、Ｋ−Ａ−Ｇ１−３、Ｋ−Ａ−Ｇ１−４はそれぞれ、これらのスロットの属性を表す。Ｋ−Ａ−Ｇ１は上記と同様であり、最後の数字はスロット番号を表す。スロット番号は、グループ単位で割り当てられる。
スロット１１０７〜１１１０は、グループ２の領域に属する。テンプレート１１０２に付加されているコードＫ−Ａ−Ｇ２−Ｐ２はこのテンプレートの属性を表す。Ｋ及びＡは前述の説明と同じ内容であるが、Ｇ２は、グループ２の領域用であることを表す。Ｐ２は、本身の２ページ用であることを表す。スロット１１０７〜１１１０に付加されているコードＫ−Ａ−Ｇ２−１、Ｋ−Ａ−Ｇ２−２、Ｋ−Ａ−Ｇ２−３、Ｋ−Ａ−Ｇ２−４はそれぞれ、これらのスロットの属性を表す。Ｋ−Ａ−Ｇ２は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。
The
図１１（ｂ）は、見開きページ単位で領域をグループ化し、そのグループ（見開き２ページ）内の全てのスロットを同一グループの領域に属するものとした例を示している。図１１（ｂ）に示すテンプレート１１２０は、例えば、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの、本身の７ページと８ページの見開き２ページのレイアウトテンプレートである。テンプレート１１２１は、本身の７ページのレイアウトテンプレートである。テンプレート１１２２は、本身の８ページのレイアウトテンプレートである。スロット１１２４は、本身の７ページに配置されているスロットである。スロット１１２６は、本身の８ページに配置されているスロットである。スロット１１２３、１１２５は、それぞれ本身の７ページと８ページの両方にまたがって配置されているスロットである。アプリケーション８０は、静止画像をこれらのスロットに配置する。
FIG. 11B shows an example in which areas are grouped in units of spread pages, and all slots in the group (two spread pages) belong to the same group area. A
スロット１１２３〜１１２６は、グループ４の領域に属する。テンプレート１１２１に付加されているコードＫ−Ｂ−Ｇ４−Ｐ７、および、テンプレート１１２２に付加されているコードＫ−Ｂ−Ｇ４−Ｐ８は、それぞれのテンプレートの属性を表す。Ｋは、タイプＫのフォトアルバム用であることを表す。Ｂは、シーンベース用であることを表す。Ｇ４は、グループ４の領域用であることを表す。Ｐ７は、本身の７ページ用であることを示す。Ｐ８は、本身の８ページ用であることを表す。スロット１１２３〜１１２６に付加されているコードＫ−Ｂ−Ｇ４−１、Ｋ−Ｂ−Ｇ４−２、Ｋ−Ｂ−Ｇ４−３、Ｋ−Ｂ−Ｇ４−４はそれぞれ、これらのスロットの属性を表す。Ｋ−Ｂ−Ｇ４は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。
The
図１１（ｃ）は、ページ単位で領域をグループ化し、そのグループ（片側１ページ）内の全てのスロットを同一グループの領域に属するものとした例を示している。図１１（ｃ）に示すレイアウトテンプレート１１４０は、例えば、タイプＫのフォトアルバムのテーマベース用のレイアウトテンプレートの、本身の５ページと６ページの見開き２ページのレイアウトテンプレートである。テンプレート１１４１は、本身の５ページのレイアウトテンプレートである。テンプレート１１４２は、本身の６ページのレイアウトテンプレートである。スロット１１４３〜１１４７は、本身の５ページに配置されているスロットであり、スロット１１４８〜１１５１は、本身の６ページに配置されているスロットであり、アプリケーション８０は静止画像をこれらのスロットに配置する。
FIG. 11C shows an example in which areas are grouped in page units, and all slots in the group (one page on one side) belong to the same group area. A
スロット１１４３〜１１４７は、グループ５の領域に属する。テンプレート１１４１に付加されているコードＫ−Ｃ−Ｇ５−Ｐ５は、このテンプレートの属性を表す。Ｋは、タイプＫのフォトアルバム用であることを表す。Ｃは、テーマベース用であることを表す。Ｇ５は、グループ５の領域用であることを表す。Ｐ５は、本身の５ページ用であることを表す。スロット１１４３〜１１４７に付加されているコードＫ−Ｃ−Ｇ５−１、Ｋ−Ｃ−Ｇ５−２、Ｋ−Ｃ−Ｇ５−３、Ｋ−Ｃ−Ｇ５−４、Ｋ−Ｃ−Ｇ５−５はそれぞれ、これらのスロットの属性を表す。Ｋ−Ｃ−Ｇ５は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。
The
スロット１１４８〜１１５１は、グループ６の領域に属する。テンプレート１１４２に付加されているコードＫ−Ｃ−Ｇ６−Ｐ６は、このテンプレートの属性を表す。Ｋ−Ｃは前述の説明と同じ内容であり、Ｇ６は、グループ６の領域用であることを表す。Ｐ６は、本身の６ページ用であることを表す。スロット１１４８〜１１５１に付加されているコードＫ−Ｃ−Ｇ６−１、Ｋ−Ｃ−Ｇ６−２、Ｋ−Ｃ−Ｇ６−３、Ｋ−Ｃ−Ｇ６−４はそれぞれ、これらのスロットの属性を表す。Ｋ−Ｃ−Ｇ６は上記と同様であり、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。
The
図１２は、レイアウトテンプレートとスロット管理を説明するための図である。図１２（ａ）は、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの一例を示す。図１２（ｂ）は、スロットの管理方法の一例を示す。図１２（ａ）は、図１１（ｂ）に示すレイアウトテンプレートと同様に、見開きページ単位で領域をグループ化し、そのグループ内の全てのスロットを同一グループの領域に属するものとしたテンプレートである。このテンプレートは、静止画像と、動画像から抽出した静止画像をそれぞれ適切なスロットに配置するためのものである。 FIG. 12 is a diagram for explaining a layout template and slot management. FIG. 12A shows an example of a layout template for a scene base of a type K photo album. FIG. 12B shows an example of a slot management method. FIG. 12A shows a template in which areas are grouped in units of spread pages and all slots in the group belong to the same group area, similarly to the layout template shown in FIG. 11B. This template is for arranging still images and still images extracted from moving images in appropriate slots.
図１２（ａ）に示すレイアウトテンプレート１２００は、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの、本身の１５ページと１６ページの見開きページのレイアウトテンプレートである。テンプレート１２０１は、本身の１５ページのレイアウトテンプレートである。テンプレート１２０２は、本身の１６ページのレイアウトテンプレートである。スロット１２０５、１２０６は、本身の１５ページに配置されているスロットである。スロット１２０８、１２０９は、本身の１６ページに配置されているスロットである。スロット１２０３、１２０７は、本身の１５ページと１６ページの両方にまたがって配置されているスロットである。アプリケーション８０は、静止画像をこれらのスロットに配置する。
A
スロット１２０３〜１２０９は、グループ８の領域に属する。Ｋは、タイプＫのフォトアルバム用であることを表す。Ｂは、シーンベース用であることを表す。Ｇ８は、グループ８の領域用であることを表す。Ｐ１５は、本身の１５ページ用であることを表す。Ｐ１６は、本身の１６ページ用であることを表す。テンプレート１２０１に付加されているコードＫ−Ｂ−Ｇ８−Ｐ１５、および、テンプレート１２０２に付加されているコードＫ−Ｂ−Ｇ８−Ｐ１６は、それぞれのテンプレートの属性を表す。
スロット１２０３〜１２０９に付加されているコード（Ｋ−Ｂ−Ｇ８−１−Ｓ等）はそれぞれ、スロットの属性を表す。Ｋ−Ｂ−Ｇ８の次の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。そして、最後の文字は配置する画像の属性を表す。Ｓは、一般的な静止画像用のスロットであることを示す属性を表す。ここでの一般的な静止画像とは、動画像から抽出された静止画像ではなく、デジタルスチルカメラ等で撮影して保存された写真等を意味するものとし、以下、単に「静止画像」という。また、Ｄは、動画像からフレームの解析等を行って抽出した静止画像用のスロットであることを示す属性を表す。例えば、スロット１２０３にはコードＫ−Ｂ−Ｇ８−１−Ｓが付加されていて、画像の属性はＳであるため、このスロットに配置するのに適した画像は、一般的な静止画像である。また、例えば、スロット１２０５にはコードＫ−Ｂ−Ｇ８−３−Ｄが付加されていて、画像の属性はＤであるため、このスロットに配置するのに適した画像は、動画像から抽出した静止画像である。動画像から抽出した静止画像は、以下、「フレーム画像」ともいう。
Codes (K-B-G8-1-S, etc.) added to the
尚、静止画像用として適しているスロット１２０３に配置するのに適した静止画像が存在しない場合には、このスロットにフレーム画像を配置してもよい。また、フレーム画像用として適しているスロット１２０５に配置するのに適したフレーム画像が存在しない場合には、このスロットに静止画像を配置してもよい。
If there is no still image suitable for placement in the
また、動画像から抽出した複数のフレーム画像の中に、例えば少しピンボケしていてフォトアルバムとしてはあまり適切でないフレーム画像と、その少しピンボケしているフレーム画像よりも品位の高い静止画像とが存在するケースがある。そのようなケースでも、本実施形態では、あえて少しピンボケしたフレーム画像をフレーム画像用として適している属性Ｄのスロットに、動画像から抽出した連続しているフレーム画像の内の１つとして配置する。つまり、動画像から抽出した連続している複数のフレーム画像を、フレーム画像用として適している属性Ｄのスロットに配置する。これにより、レイアウトテンプレートの特徴を引き出したダイナミックなフォトアルバムを自動的に作成することができる。また、魅力のあるフォトアルバムを自動生成する機能を備えるフォトアルバム作成アプリケーションを提供することができる。 Also, among multiple frame images extracted from moving images, there are, for example, frame images that are slightly out of focus and not very suitable as photo albums, and still images that are higher quality than the frame images that are slightly out of focus There is a case to do. Even in such a case, in this embodiment, a frame image that is slightly out of focus is arranged as one of continuous frame images extracted from a moving image in a slot having an attribute D suitable for the frame image. . That is, a plurality of continuous frame images extracted from a moving image are arranged in a slot having an attribute D suitable for frame images. This makes it possible to automatically create a dynamic photo album that draws out the features of the layout template. In addition, it is possible to provide a photo album creation application having a function of automatically generating attractive photo albums.
図１２（ｂ）を用いて、図１２（ａ）に示すタイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートのスロットの管理方法について説明する。図１２（ｂ）では、説明の都合上、スロット１２０３以外のスロットに関しては、その記載を省略する。図１２（ｂ）において、点Ｏはフォトアルバムの基準点である。アプリケーション８０は、フォトアルバムの見開きページの左上端の角を基準点として、各スロットの位置を定義し、それぞれのスロットに対する画像の配置を管理／制御する。アプリケーション８０は、点Ｏから右方向を横のプラス（＋）座標、左方向を横のマイナス（−）座標、下方向を縦のプラス（＋）座標、上方向を縦のマイナス（−）座標と定義している。各点の座標は（横座標、縦座標）と表され、例えば点Ｏの座標は（０，０）［単位：ｃｍ］である。
With reference to FIG. 12B, a method of managing the slots of the layout template for the scene base of the type K photo album shown in FIG. 12A will be described. In FIG. 12B, the description of slots other than the
点Ｗはスロット１２０３の基準点であり、このスロットの左上端の角と一致する。このように、各スロットの基準点は、それぞれのスロットの左上端とする。点Ｗは点Ｏから右方向に１ｃｍ、下方向に１ｃｍの位置にあり、座標は（１，１）［単位：ｃｍ］である。Ｌはスロット１２０３の幅であり、１６ｃｍである。Ｈはスロット１２０３の高さであり、６ｃｍである。これらにより、スロット１２０３を構成する長方形の各点及びその座標は、それぞれ点Ｘ（１７，１）［単位：ｃｍ］、点Ｙ（１７，７）［単位：ｃｍ］、点Ｚ（１，７）［単位：ｃｍ］である。点Ｐはスロット１２０３の中点であり、その座標は（９，４）［単位：ｃｍ］である。Ｒはスロット１２０３の回転角度であり、図１２（ｂ）の例ではスロット１２０３は回転されていないので、回転角度は０度である。このように、アプリケーション８０は、レイアウトテンプレートに配置する各スロットを座標と回転角度を用いて定義し、管理／制御する際にその情報を使用する。定義された情報は、図１５に示すテーブルのように管理される。すなわち、図１５に示すように、各スロットは、基準点の座標、幅（横の長さ）及び高さ（縦の長さ）と、回転角度が管理される。
Point W is the reference point of
図１５は、スロットの位置の一例を表す。図１５において、Ｓｌｏｔはスロット番号であり、ＲｅｆｅｒｅｎｃｅＰｏｉｎｔはスロットの基準点であり、Ｌｅｎｇｔｈはスロットの幅であり、Ｈｅｉｇｈｔはスロットの高さであり、Ｒｏｔａｔｉｏｎはスロットの回転角度である。図１５は、図１２（ａ）に示すレイアウトテンプレート１２００のスロット１２０３〜１２０９の位置の例を示す。
FIG. 15 shows an example of the position of the slot. In FIG. 15, Slot is a slot number, ReferencePoint is a slot reference point, Length is a slot width, Height is a slot height, and Rotation is a slot rotation angle. FIG. 15 shows an example of the positions of the
図５は、フォトアルバムを自動作成する処理を示すフローチャートである。図５のフローチャートに係るアプリケーションプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＣＰＵ２０４により読み出されて実行される。アプリケーションを起動することにより、図４（ａ）に示す画面が表示される。そして、ユーザによる図４（ａ）に示す自動選択ボタン４０７を選択及びフォトアルバム作成ボタン４１２が押下を受け付けると、アプリケーション８０が図５に示すフォローチャートに従ってその処理を実行する。
FIG. 5 is a flowchart showing a process for automatically creating a photo album. The application program according to the flowchart of FIG. 5 is stored in the
Ｓ５０１にて、アプリケーション８０は、画像ファイル（静止画像ファイルや動画像ファイル）が格納されているＰＣ１内のフォルダ（不図示）又はＰＣ１内の各ファイルを、フォトアルバムを作成する際に必要な画像データ群の格納先として指定する。なお、ユーザに画像ファイルが格納されているＰＣ１内のフォルダやＰＣ１内のファイルを選択させるようにしてもよい。Ｓ５０１にて、アプリケーション８０は、指定された格納先の画像データ群を対象として、静止画像の数が閾値より多いか否かを判定する。本実施形態では、図１９（ａ）に示す画像総数（閾値）より多いか否かを判定する。このとき、静止画像の数とは、通常の静止画像数と動画像から抽出する静止画像数（フレーム画像数）との合計数を指す。なお、動画像から抽出する静止画像数は、動画像の数と、１つの動画像から抽出するフレーム数（本実施形態では、４０個）とを積算した値とする。例えば、指定された画像データ群に含まれる通常の静止画像数が４００個であり、動画像数が１０個であり、１つの動画像から抽出するフレーム数を４０個とする場合は、４００＋（１０×４０）＝８００個となる。
In S501, the
図１９は、高速モードの画像数のテーブルの一例を示す図である。図１９（ａ）と図１９（ｂ）は、Ｗｉｎｄｏｗｓ（登録商標）等のＰＣ用のアプリケーションが参照するテーブルである。図１９（ｃ）と図１９（ｄ）は、Ａｎｄｒｏｉｄ（登録商標）ＯＳが搭載されているスマートフォン等のモバイルデバイス用のアプリケーションが参照するテーブルである。図１９にて、「ページ数」はフォトアルバムのページ数であり、「平均スロット数」はフォトアルバムの見開きページ（２ページ）に配置されるスロットの数の平均値である。また、「動画像からの画像数」は動画像から抽出するフレーム画像の数であり、「静止画像数」は静止画像の数である。「画像総数」は「動画像からの画像数」と「静止画像数」の合計の数とする。 FIG. 19 is a diagram illustrating an example of a table of the number of images in the high speed mode. FIG. 19A and FIG. 19B are tables referred to by a PC application such as Windows (registered trademark). FIG. 19C and FIG. 19D are tables that are referred to by an application for a mobile device such as a smartphone on which an Android (registered trademark) OS is mounted. In FIG. 19, “number of pages” is the number of pages of the photo album, and “average number of slots” is the average value of the number of slots arranged on the two-page spread of the photo album. Further, “the number of images from moving images” is the number of frame images extracted from the moving images, and “the number of still images” is the number of still images. “Total number of images” is the total number of “number of images from moving images” and “number of still images”.
図１９（ａ）、（ｃ）は、フォトアルバムを自動作成する際に対象とする画像データ群の中に動画像が含まれている場合に、対象として取り扱う動画像を１つに固定（規定数＝１）し、その１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するものとする。なお、対象とする画像データ群の中に複数の動画像が含まれる場合の動画像の選択方法については、後述する。同じページ数に着目して、図１９（ａ）と、図１９（ｃ）の「画像総数」や「静止画像数」を比較すると、図１９（ａ）のＰＣ用のテーブルの方が図１９（ｃ）のモバイルデバイス用のテーブルよりも数が多く設定していることがわかる。これは、一般的に、ＰＣの方がモバイルデバイスよりもＣＰＵやＲＡＭ等のハードウェアの性能が高く、単位時間あたりに処理できる画像数が多いので、このような値をそれぞれのテーブルに設定している。これにより、ＰＣ上でアプリケーション８０を実行した場合とモバイルデバイス上でアプリケーション８０を実行した場合とで、フォトアルバムを自動作成する時間差が少なくなる。すなわち、デバイス種に応じた上限数を設定することにより、フォトアルバムを自動生成する時間をいずれのデバイスでも短くすることができる。なお、対象として取り扱うデータ数が多いほど、ユーザの満足度が高くなる可能性が高まる。静止画像（動画像から抽出された静止画像も含む）の数が画像総数より多いと判定した場合、アプリケーション８０は、図２１に示す高速モード移行メッセージ画面２１０１、２１０５を表示する。静止画像（動画像から抽出された静止画像も含む）の数が画像総数以下と判定した場合、アプリケーション８０は、高速モード移行メッセージ画面２１０１、２１０５を表示せずに、通常モードでフォトアルバム自動作成用の画像群を抽出する処理を実行する。なお、フォトアルバム自動作成用の画像群を抽出する処理については、図２０を用いて後述する。
19 (a) and 19 (c), when a moving image is included in the target image data group when automatically creating a photo album, the number of moving images handled as a target is fixed (specified) The number is 1), and 40 frames are extracted at equal intervals from the one moving image to generate a still image. A method for selecting a moving image when a plurality of moving images are included in the target image data group will be described later. Focusing on the same number of pages, comparing the “total number of images” and the “number of still images” in FIG. 19A and FIG. 19C, the PC table in FIG. It can be seen that the number is set larger than the table for the mobile device in (c). This is because the PC generally has higher performance of hardware such as CPU and RAM than the mobile device, and the number of images that can be processed per unit time is larger, so such values are set in each table. ing. This reduces the time difference for automatically creating a photo album between when the
図２１は、高速モードへの移行を促すメッセージの画面の一例を示す。このメッセージ画面は、ＣＰＵ２０４がＰＣ１の表示部であるＬＣＤ２０５に表示させる。図２１（ａ）は日本語表示の画面であり、図２１（ｂ）は英語表示の画面の例である。これらの画面では、表示の言語が異なるのみで、表示している内容は同じである。表示の言語をいずれにするかは、ＰＣ１に設定された表示言語に基づいて決定する。図２１に示す高速モード移行メッセージ画面２１０１は、高速モードチェックボックス２１０２、キャンセルボタン２１０３、ＯＫボタン２１０４を含む。図２１に示す高速モード移行メッセージ画面２１０５は、高速モードチェックボックス２１０６、キャンセルボタン２１０７、ＯＫボタン２１０８を含む。本実施形態では、高速モードチェックボックス２１０２、２１０６のデフォルト値は、チェックされていない状態（高速モード無効）とする。デフォルト値として、高速モードを無効に設定することにより、自動的に作成されるフォトアルバムの仕上がりの良さを重視した設定となっている。なお、デフォルト状態を高速にフォトアルバムを自動作成することを重視した設定としたい場合は、高速モードチェックボックス２１０２、２１０６のデフォルト値をチェックされている状態（高速モード有効）とする。
FIG. 21 shows an example of a message screen prompting the transition to the high speed mode. This message screen is displayed on the
ここで、高速モードとは、通常モードよりも高速にフォトアルバムを生成するモードである。具体的には、通常モードよりも抽出する画像数を少なくすることにより、画像抽出時間を少なくし、これにより、画像のスコア解析の時間を少なくし、高速にフォトアルバムを生成することができる。 Here, the high-speed mode is a mode for generating a photo album at a higher speed than in the normal mode. Specifically, by reducing the number of images to be extracted as compared with the normal mode, the image extraction time can be reduced, thereby reducing the time required for image score analysis and generating a photo album at high speed.
上述した通り、静止画像（動画像から抽出されたフレーム画像も含む）の数が画像総数より多いと判定した場合、高速モード移行メッセージ画面２１０１又は高速モード移行メッセージ画面２１０５を表示する。図２１では、写真の枚数が多いため、解析に時間がかかる旨を表示し、「解析する写真の枚数を自動的に絞り込んで時間を短縮するか否か」をユーザが選択できるようにする。このように、ユーザが時間を短縮するか否かを選択可能とすることにより、解析する写真の枚数が多く、解析に時間がかかったとしても、ユーザは待機の煩わしさが無くなる。また、短い時間で解析したいユーザの要望にも応えることができる。図２１では、高速モードチェックボックス２１０２、２１０６がチェックされていて、高速モードが有効となる状態を示している。高速モードチェックボックス２１０２、２１０６がチェックされていて高速モードが有効となる状態で、ＯＫボタン２１０４、２１０８が押下されると、アプリケーション８０は、フォトアルバム自動作成用の画像群を高速モードで抽出する処理を実行する。高速モードチェックボックス２１０２、２１０６がチェックされておらず高速モードが無効となる状態で、ＯＫボタン２１０４、２１０８が押下されると、アプリケーション８０は、フォトアルバム自動作成用の画像群を通常モードで抽出する処理を実行する。キャンセルボタン２１０３、２１０７が押下されると、アプリケーション８０は、図５のＳ５０１で処理を中断し、図４（ａ）に示すメイン画面４０１に戻る。なお、本実施形態では、ユーザに、通常モードが高速モードかを選択させるものとしたが、指定された画像群に含まれる画像数が多い場合は、自動的に高速モードに設定するようにしてもよい。
As described above, when it is determined that the number of still images (including frame images extracted from moving images) is larger than the total number of images, the high-speed mode
尚、前述したようにアプリケーション８０がＷｉｎｄｏｗｓ（登録商標）等のＰＣ用のアプリケーションの例の場合は、アプリケーション８０は図１９（ａ）のテーブルを参照する。これに対して、例えば、Ｇｏｏｇｌｅ社のＡｎｄｒｏｉｄ（登録商標）ＯＳが搭載されているスマートフォン等のモバイルデバイス用のアプリケーションの例の場合は、アプリケーション８０は図１９（ｃ）に示すテーブルを参照する。
As described above, when the
本実施形態では、アプリケーション８０が、ＰＣ用のアプリケーションとモバイルデバイス用のアプリケーションとは異なるものとし、各アプリケーションが参照するテーブルを予めそれぞれ別のものを用意するものとした。ただし、この構成に限定するものではなく、例えば、ＰＣとモバイルデバイスの両方で実行可能なアプリケーションとしてもよく、この場合は、アプリケーション８０がＯＳを介して実行されている機器の情報を取得する。そして、ＰＣの場合は図１９（ａ）のテーブルを参照し、モバイルデバイスの場合は図１９（ｃ）のテーブルを参照する、というような構成であってもよい。
In this embodiment, it is assumed that the
Ｓ５０２にて、アプリケーション８０は、動画像ファイルから静止画像（フレーム画像）を取得して保存する処理を実行する。本工程の処理の詳細は、図１６（ａ）を用いて後述する。
In S502, the
Ｓ５０３にて、アプリケーション８０は、Ｓ５０２で保存した静止画像に対して、その静止画像のもととなった動画像内のフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。ここでの関連付けの例を図１７を用いて説明する。
In S503, the
図１７は、フレーム画像と動画像の関連付けと、フレーム画像の分類の一例を示す。図１７において、ＪＰＥＧはフレーム画像のファイル名であり、ＭＰＥＧはＭＰＥＧ動画像のファイル名であり、Ｄａｔｅ＆Ｔｉｍｅは撮影年月日時刻であり、Ｉｎｆｏは分類に関する情報であり、Ｇｒｏｕｐは分類結果である。また、Ｆｒａｍｅは動画像を構成するフレーム番号であり、ＲｅｌａｔｅｄＦｉｌｅは静止画像ファイルもしくは動画像ファイルに関連付けられている関連ファイル（動画像ファイル／静止画像ファイル）のファイル名である。ＪＰＥＧ欄に記載されているフレーム画像ファイルは、同じ行のＭＰＥＧ欄に記載されている動画像ファイルから抽出されて保存された静止画像ファイル（フレーム画像ファイル）である。Ｄａｔｅ＆Ｔｉｍｅの書式は年月日と時刻（１／１０００秒）である。例えば、図１７（ａ）のｄｙｎａｍｉｃ１５．ｊｐｇの行のＤａｔｅ＆Ｔｉｍｅ欄に記載されている「２０１４０３３０１０００１０３３４」は、２０１４年０３月３０日１０時００分１０と３３４／１０００秒を表す。なお、図１７において「−」はデータが存在しないことを表す。本実施形態では、例えば、図１７（ａ）に示すように、フレーム番号とフレーム画像とが関連付けされる。 FIG. 17 shows an example of the association between frame images and moving images and the classification of frame images. In FIG. 17, JPEG is the frame image file name, MPEG is the MPEG moving image file name, Date & Time is the shooting date, Info is information about the classification, and Group is the classification result. Frame is a frame number constituting a moving image, and RelatedFile is a file name of a still image file or a related file (moving image file / still image file) associated with the moving image file. The frame image file described in the JPEG column is a still image file (frame image file) extracted and stored from the moving image file described in the MPEG column on the same line. The format of Date & Time is a date and time (1/1000 second). For example, the dynamic15. “2014040330100010334” described in the Date & Time column of the jpg line represents March 30, 2014, 10:00:10 and 334/1000 seconds. In FIG. 17, “-” indicates that no data exists. In the present embodiment, for example, as shown in FIG. 17A, a frame number and a frame image are associated with each other.
Ｓ５０４にて、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群の中の各静止画像に対して、フォトアルバム用の画像としての適切さを解析する。ここで、「適切さ」は、図１４に示す基準に基づいて解析する。
In S504, the
図１４は、静止画像のスコアの一例を示す。図１４において、Ｆｉｌｅはファイル名であり、Ｅｌｅｍｅｎｔｓはフォトアルバム用の画像としての適切さを定義する要素（基準）であり、Ｓｃｏｒｅはその各要素の総合的なスコアである。スコアは、Ｅｌｅｍｅｎｔの各要素の点から導き出された、テンプレートに配置（レイアウト）される上での総合的な適切さを示す指標である。 FIG. 14 shows an example of a still image score. In FIG. 14, File is a file name, Elements is an element (reference) that defines the appropriateness as an image for a photo album, and Score is an overall score of each element. The score is an index indicating overall suitability derived from the points of each element of the Element and placed on the template (layout).
Ｅｌｅｍｅｎｔｓは、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）の各要素を含む。各要素は、０（最低）〜１０（最高）のポイントで、フォトアルバム用の画像としての適切さを表す。各要素のポイントは、予め定められた基準に基づいて付与する。本実施形態では、例えば、静止画像内の輝度値の最大値と最小値の差が所定の各レベルに対応すれば、対応するポイントをコントラスト点として付与する。また、例えば、静止画像内のオブジェクトに基づいた三角構図の評価結果が所定の各レベルに対応すれば、対応するポイントを構図点として付与する。また、例えば、静止画像内の輝度分布の変化の尖鋭度が所定の各レベルに対応すれば、対応するポイントをピント点として付与する。なお、ポイントの付与方法は、これらに限定されるものではない。図１４の「−」はデータが存在しないことを表す。 Elements include each element of Color (color), Contrast (contrast), Brightness (brightness), Focus (focus), and Composition (composition). Each element represents an appropriateness as an image for a photo album, with points from 0 (lowest) to 10 (highest). Points for each element are given based on a predetermined standard. In the present embodiment, for example, if the difference between the maximum value and the minimum value of luminance values in a still image corresponds to each predetermined level, the corresponding point is given as a contrast point. For example, if the evaluation result of the triangular composition based on the object in the still image corresponds to each predetermined level, the corresponding point is given as the composition point. For example, if the sharpness of the change in the luminance distribution in the still image corresponds to each predetermined level, the corresponding point is given as the focus point. In addition, the method of giving points is not limited to these. “-” In FIG. 14 indicates that no data exists.
このように、アプリケーション８０は、各要素の適切さを示す評価値として、各静止画像に対してスコアを算出し、付与する。ここでスコアが付与される画像は、静止画像ファイル内の静止画像と、Ｓ５０２にて保存されたフレーム画像である。なお、Ｓ５０４では、静止画像ファイル内の静止画像、動画像ファイルから抽出されたフレーム画像の両方に対して共通の評価基準によりスコアが付与される。すなわち、Ｓ５０４にて、アプリケーション８０は、Ｓ５０２で追加した、動画像から抽出したフレーム画像に対しても、フォトアルバム用の画像としての各要素の適切さに応じてスコアを付与する。
In this way, the
Ｓ５０５にて、アプリケーション８０は、動画像から抽出したフレーム画像のスコアを補正する。Ｓ５０５にて、アプリケーション８０は、動画像から抽出したフレーム画像に対して、例えば、オリジナルのスコアに１．２倍を乗算してスコアを増やす。ここで用いられた重み付けの値は、１．２に限定するものではなく、経験的に求められた他の値を用いてもよい。この値は、予め定義され記憶部に保持されているものとする。
In S505, the
図１４において、Ｏｒｉｇｉｎａｌはオリジナルのスコアであり、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）のそれぞれのポイントの平均値である。Ｍｏｄｉｆｉｅｄはオリジナルのスコアを補正したスコアである。アプリケーション８０は、動画像から抽出したフレーム画像に対して、そのメリットを表す分の重み付けをスコアとして表す為に、本実施形態では、例えばオリジナルのスコアに１．２倍を乗算してスコアを増やす。
In FIG. 14, Original is an original score, and is an average value of each point of Color (color), Contrast (contrast), Brightness (brightness), Focus (focus), and Composition (composition). Modified is a score obtained by correcting the original score. In the present embodiment, the
ここでのメリットとは、例えば、オリジナルのスコア値を大きくすることによって、動画像から抽出した静止画像がテンプレートへのレイアウト対象として特定される可能性を高めることができる。つまり、動画像から抽出したフレーム画像については、再度の抽出し直しでより良い静止画像を取得することも可能であるので、最終的に完成するレイアウト画像のユーザ満足度を向上させることができる。 The merit here is that, for example, by increasing the original score value, the possibility that a still image extracted from a moving image is specified as a layout target on a template can be increased. That is, for the frame image extracted from the moving image, it is possible to obtain a better still image by re-extraction, so that the user satisfaction of the finally completed layout image can be improved.
アプリケーション８０は、静止画像を各スロットに配置する際に、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）または補正後のスコア（Ｍｏｄｉｆｉｅｄ）から高い方のスコアを採用して、テンプレートへのレイアウト対象としてより適切な画像の特定に使用する。そして、テンプレート内のスロット数分の静止画像を各スロットに対して配置する。これにより、フレーム画像は、静止画像よりもオリジナルのスコアが低かったとしても、高い評価が得られることでレイアウト画像に配置されやすくなる。動画が撮影された場面は、ユーザの印象に残っている場面・お気に入りの場面である可能性が高く、動画から抽出したフレーム画像をレイアウト画像に配置することにより、ユーザの満足度が向上する可能性が高まる。
When the
尚、本実施形態では、動画像から抽出した静止画像のオリジナルのスコアに１．２倍を乗算してそのスコアを増やすことにより、動画像から抽出した静止画像のスコアの方が、一般的な静止画像のスコアよりも相対的に高くなるように制御している。しかしながら、このような制御方法に限られることなく、例えば、静止画像のスコアに０．８倍を乗算して静止画像のスコアをフレーム画像よりも減らすようにしても良い。これにより、動画像から抽出したフレーム画像のスコアの方が、静止画像のスコアよりも相対的に高くなるように制御することを実現できる。 In this embodiment, the score of the still image extracted from the moving image is more general by multiplying the original score of the still image extracted from the moving image by 1.2 to increase the score. Control is performed so as to be relatively higher than the score of the still image. However, the present invention is not limited to such a control method. For example, the still image score may be multiplied by 0.8 times to reduce the still image score from the frame image. Accordingly, it is possible to realize control so that the score of the frame image extracted from the moving image is relatively higher than the score of the still image.
Ｓ５０６にて、アプリケーション８０は、レイアウトテンプレート内の各スロットに、スコアの高い順に静止画像を配置する。配置するスロットは、各スロットに割り当てられた番号の順であってもよいし、スロット自体に割り当てられた優先度（スコア）に従ってもよい。
In S506, the
Ｓ５０７にて、アプリケーション８０は、動画像から抽出したフレーム画像がスロットに配置されているか否かの判定を行う。動画像から抽出したフレーム画像がスロットの中の少なくとも何れか１つのスロットに配置されていると判定された場合には（Ｓ５０８にてＹＥＳ）Ｓ５０９へ進む。また、スロットのいずれにも配置されていないと判定された場合には（Ｓ５０８にてＮＯ）本処理フローを終了する。
In S507, the
Ｓ５０９にて、画像からより適切な静止画像の取得をし、Ｓ５１０にて、動画像から抽出されたより適切な静止画像（フレーム画像）をスロットに配置する。その後、本処理フローを終了する。 In S509, a more appropriate still image is acquired from the image, and in S510, a more appropriate still image (frame image) extracted from the moving image is arranged in the slot. Thereafter, this processing flow ends.
以下、図１１（ａ）に示すレイアウトテンプレート１１００を例に挙げて、各スロットに画像を配置してフォトアルバムを作成する処理に関して説明する。例えば、Ｓ５０６にて、図１４のスコアに基づき、スロット１１０７〜１１１０に、ｓｔａｔｉｃ１．ｊｐｇ、ｓｔａｔｉｃ２．ｊｐｇ、ｓｔａｔｉｃ３．ｊｐｇ、ｄｙｎａｍｉｃ２０．ｊｐｇを配置したとする（図１３（ａ）に相当）。Ｓ５０９にて、アプリケーション８０は、スロット１１１０に配置されたｄｙｎａｍｉｃ２０．ｊｐｇに基づいて、動画像からテンプレートへのレイアウト対象としてより適切なフレーム画像を取得して保存する処理（図１６（ｂ））を実行する。アプリケーション８０は、ｄｙｎａｍｉｃ２０．ｊｐｇに関連付けられている位置情報（フレーム番号）に基づき、元となった動画像ファイルの中から、前後の一定時間の所定範囲内に含まれる全てのフレームを解析する。そして、アプリケーション８０は、フォトアルバム用としてより適切なフレームを抽出する。ここでの前後の一定時間の所定範囲内として、例えば、前１秒、後１秒の合計２秒を設定する。
Hereinafter, the
ここで、図１３は、スロットと配置する画像の関係の一例を示す。同１３（ａ）と図１３（ｂ）は、テンプレート１１０２におけるスロットと配置する画像の関係を示す。図１３（ｃ）と図１３（ｄ）は、テンプレート１１４１におけるスロットと配置する画像の関係を示す。図１３（ｅ）は、レイアウトテンプレート１２００におけるスロットと配置する画像の関係を示す。図１３において、ＡｌｂｕｍＴｙｐｅはフォトアルバムの種類であり、Ｇｒｏｕｐは領域（グループ）番号であり、Ｐａｇｅはページ番号であり、Ｓｌｏｔはスロット番号であり、Ａｔｔｒｉｂｕｔｅは画像の属性であり、Ｆｉｌｅはファイル名である。図１３（ａ）と図１３（ｂ）において、スロット番号１〜４のスロットはそれぞれ、スロット１１０７〜１１１０に該当する。図１３（ｃ）と図１３（ｄ）において、スロット番号１〜５はそれぞれ、スロット１１４３〜１１４７に該当する。図１３（ｅ）において、スロット番号１〜７は、それぞれスロット１２０３〜１２０９に該当する。図１３において、ｓｔａｔｉｃ＊．ｊｐｇはデジタルスチルカメラ等で撮影して保存された写真等の静止画像である。また、ｄｙｎａｍｉｃ＊．ｊｐｇ（＊は任意の数字）は動画像から抽出されたフレーム画像である。
Here, FIG. 13 shows an example of the relationship between the slot and the image to be arranged. 13A and 13B show the relationship between the slots in the
その際、アプリケーション８０は、より適切なフレームを抽出する為に、図１４に示す各要素を使って、フレーム画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でより高いスコアのフレームを採用する。アプリケーション８０は、フォトアルバム用としてより適切なフレームを抽出し、抽出したフレーム画像を静止画像ｄｙｎａｍｉｃ２４．ｊｐｇとして保存する。
At that time, in order to extract a more appropriate frame, the
Ｓ５１０にて、アプリケーション８０は、スロット１１１０に配置されているｄｙｎａｍｉｃ２０．ｊｐｇをスロット１１１０から外す。そして、アプリケーション８０は、Ｓ５０９で保存したフォトアルバム用としてより適切な静止画像ｄｙｎａｍｉｃ２４．ｊｐｇをスロット１１１０に配置して置き換える。その結果、スロット１１０７〜１１１０に対して、図１３（ｂ）に示す画像が配置される。つまり、図１３（ｂ）に示すスロット４の画像が置き換えられている。そして本処理フローを終了する。本処理フローの終了後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
In step S510, the
以上のように、静止画像と動画像の両方を一緒に取り扱い、ユーザの煩わしい操作を伴わずに、自動的により適切な画像を抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。 As described above, it is possible to provide a photo album creation application that handles both a still image and a moving image together, and automatically extracts and lays out an appropriate image without a user's troublesome operation.
また、上記の例では、Ｓ５０５にて、動画像から抽出したフレーム画像のオリジナルのスコアに１．２倍を乗算してスコアを増やす、又は通常の静止画像のスコアに０．８倍を乗算してスコアを減らす。これにより、フレーム画像がスロットに配置されやすいようにした。しかし、これらのような例に限られることなく、例えば、動画像の解像度等の指標に基づくクオリティに応じて、スコアに重み付けをしてもよい。具体的には、そのクオリティが高いと判断した場合はその動画像から抽出したフレーム画像のオリジナルのスコアに１．５倍を乗算してもよい。例えば、解像度が基準値以上であれば、クオリティが高いと判定してもよい。また、静止画像の解像度等の指標に基づくクオリティに応じて、スコアに重み付けをしてもよい。具体的には、クオリティが低い場合はその静止画像のオリジナルのスコアに０．５倍を乗算してもよい。このような構成により、フォトアルバム用の画像としての適切さを示すスコア値を柔軟に制御することができる。 In the above example, in S505, the original score of the frame image extracted from the moving image is multiplied by 1.2 times to increase the score, or the normal still image score is multiplied by 0.8 times. Reduce the score. As a result, the frame image is easily arranged in the slot. However, the score is not limited to these examples. For example, the score may be weighted according to the quality based on the index such as the resolution of the moving image. Specifically, when it is determined that the quality is high, the original score of the frame image extracted from the moving image may be multiplied by 1.5 times. For example, if the resolution is equal to or higher than a reference value, it may be determined that the quality is high. Further, the score may be weighted according to the quality based on an index such as the resolution of the still image. Specifically, when the quality is low, the original score of the still image may be multiplied by 0.5. With such a configuration, it is possible to flexibly control a score value indicating appropriateness as an image for a photo album.
また、上記の例では、Ｓ５０４にて静止画像に対してスコアを付与した後、Ｓ５０５にてそのスコアを補正した。しかし、この構成に限らず、Ｓ５０４にて、動画像から抽出された静止画像に高いスコアが付与されるように処理を行ってもよい。例えば、ＰＣは、高いスコアが付与されやすい第１の評価基準と、第１の評価基準よりは低いスコアが付与されやすい第２の評価基準とをＨＤＤ２０２に記憶しておく。そして、ＣＰＵ２０４は、Ｓ５０４にて、動画像から抽出されたフレーム画像については第１の評価基準によりスコアを付与し、それ以外の静止画像については第２の評価基準によりスコアを付与してもよい。
In the above example, after assigning a score to the still image in S504, the score is corrected in S505. However, the present invention is not limited to this configuration, and the processing may be performed so that a high score is given to the still image extracted from the moving image in S504. For example, the PC stores in the HDD 202 a first evaluation criterion for which a high score is easily given and a second evaluation criterion for which a score lower than the first evaluation criterion is easily given. In step S504, the
また、上記の例では、Ｓ５１０にて、スロット１１１０に配置されているｄｙｎａｍｉｃ２０．ｊｐｇをスロット１１１０から外し、Ｓ５０９で保存したフォトアルバム用としてより適切なｄｙｎａｍｉｃ２４．ｊｐｇを配置して置き換えた。しかしながら、このような制御方法に限られることなく、例えば、ｄｙｎａｍｉｃ２４．ｊｐｇのオリジナルのスコア（Ｏｒｉｇｉｎａｌ）により、図１３（ｂ）に示すテンプレート１１０２におけるスロットとフレーム画像の配置の関係を見直してもよい。例えば、ｄｙｎａｍｉｃ２４．ｊｐｇのオリジナルのスコア（Ｏｒｉｇｉｎａｌ）が７．５であるとする。この場合、ｄｙｎａｍｉｃ２４．ｊｐｇの方がｓｔａｔｉｃ３．ｊｐｇのオリジナルのスコアである７．０よりもスコア（＝オリジナルのスコア）が高くなる。従って、アプリケーション８０は、ｄｙｎａｍｉｃ２４．ｊｐｇを図１３（ｂ）のスロット３に、ｓｔａｔｉｃ３．ｊｐｇを図１３（ｂ）のスロット４にそれぞれ配置する。この場合も、ｄｙｎａｍｉｃ２０．ｊｐｇは置き換えられることにより、配置されなくなる。
In the above example, in step S510, the dynamic20. jpg is removed from the
ここで、図１６を用いて、Ｓ５０２及びＳ５０９の処理について詳細に説明する。図１６は、動画像からフレーム画像（静止画像）を取得して保存する処理を示すフローチャートである。図１６のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＣＰＵ２０４により読み出されて実行される。図１６（ａ）は動画像から静止画像を取得して保存する処理の一例を示すフローチャートであり、図５のＳ５０２の工程に対応する。図１６（ｂ）は、動画像からより適切な静止画像を取得して保存する処理を示すフローチャートであり、図５のＳ５０９の工程に対応する。
Here, the processing of S502 and S509 will be described in detail with reference to FIG. FIG. 16 is a flowchart showing a process of acquiring and storing a frame image (still image) from a moving image. For example, the program according to the flowchart of FIG. 16 is stored in the
図５のＳ５０２の処理が実行されると、アプリケーション８０は、図１６（ａ）の処理を開始する。
When the process of S502 of FIG. 5 is executed, the
Ｓ１６１１にて、アプリケーション８０は、図５のＳ５０１で指定したフォルダに格納されている静止画像または動画像、もしくは、図５のＳ５０１で指定した画像データ群から動画像を検索する。
In S1611, the
Ｓ１６１２にて、アプリケーション８０は、検索された動画像から図４のフレーム抽出時間間隔指定部４３０で指定されている時間間隔で複数のフレームを抽出する。ここでは、フレーム抽出時間間隔指定部４３０で指定されている時間間隔を、デフォルト値の１秒として説明する。
In S1612, the
Ｓ１６１３にて、アプリケーション８０は、抽出した各フレームを静止画像（ＪＰＥＧファイル）に変換して、これらの静止画像（フレーム画像）を保存する。なお、このとき静止画像をファイル化する場合に限らず、ＣＰＵ２０４が静止画像を例えばビットマップ形式でＲＡＭ２０１に記憶させておいてもよい。この時、図１７（ａ）に示すように、アプリケーション８０は、各フレーム画像に対して、そのフレーム画像を抽出した動画像のファイル名と、そのフレーム画像の元であるフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。なお、静止画像を抽出した動画像のファイルの情報は格納先のフルパスを含むが、図１７（ａ）では格納先のフルパスを省略している。
In S1613, the
Ｓ１６１４にて、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群の中にこれらのフレーム画像を追加する。その後、本処理フローを終了する。
In S1614, the
例えば、Ｓ５０６にて、図１４に示すスコアに基づいて、スロット１１０７〜１１１０に、ｓｔａｔｉｃ１．ｊｐｇ、ｓｔａｔｉｃ２．ｊｐｇ、ｓｔａｔｉｃ３．ｊｐｇ、ｄｙｎａｍｉｃ２０．ｊｐｇが配置されたとする（図１３（ａ）に相当）。ここで、図１７（ａ）に示すように、ｄｙｎａｍｉｃ２０．ｊｐｇは、ｖｉｄｅｏ１．ｍｐ４から抽出されたフレームを元に保存されたファイルである。尚、ｖｉｄｅｏ１．ｍｐ４はＭＰＥＧ４形式の動画像ファイルであり、フレームレートは３０ｆｐｓ（フレーム／秒）である。 For example, in S506, based on the score shown in FIG. jpg, static2. jpg, static3. jpg, dynamic20. It is assumed that jpg is arranged (corresponding to FIG. 13A). Here, as shown in FIG. jpg is video1. This file is saved based on the frame extracted from mp4. In addition, video1. mp4 is a moving image file in the MPEG4 format, and the frame rate is 30 fps (frame / second).
図５のＳ５０９の処理が実行されると、アプリケーション８０は、スロット１１１０に配置された動画像から抽出したｄｙｎａｍｉｃ２０．ｊｐｇを基に、図１６（ｂ）の処理を開始する。図１６（ｂ）の処理は、動画像からテンプレートへのレイアウト対象としてより適切なフレーム画像を取得して保存する処理である。
When the process of S509 in FIG. 5 is executed, the
Ｓ１６２１にて、アプリケーション８０は、図１７（ａ）に示すテーブルを参照し、ｄｙｎａｍｉｃ２０．ｊｐｇに関連付けられている位置情報（フレーム番号）を取得する。
In S1621, the
Ｓ１６２２にて、アプリケーション８０は、取得した位置情報（フレーム番号）に基づいて、その前後の一定時間の所定範囲（例えば、前１秒、後１秒の合計２秒）の中に含まれる全てのフレームを抽出する。
In S1622, the
Ｓ１６２３にて、アプリケーション８０は、抽出した全てのフレームを解析して、フォトアルバム用としてより適切なフレームを選択する。その際、アプリケーション８０は、より適切なフレームを選択する為に、図１４に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でより高いスコアのフレームを選択する。例えば、抽出されたフレームの中でオリジナルのスコアが最も高いフレームを選択する。つまり、ここでのより適切なフレームとは、各画像に割り当てられたスコアに基づき判定される。
In S1623, the
Ｓ１６２４にて、アプリケーション８０は、選択したフレームを静止画像（ＪＰＥＧファイル）に変換して、その静止画像（フレーム画像）を保存する。ここで、アプリケーション８０は、ｄｙｎａｍｉｃ２０．ｊｐｇを基準として、フォトアルバム用としてより適切なフレームを選択し、その選択したフレームをｄｙｎａｍｉｃ２４．ｊｐｇとして保存する。その後、本処理フローを終了する。
In S1624, the
以上で説明した処理によれば、静止画像がテンプレートにレイアウトされるに際し、動画像から抽出されたフレーム画像に高いスコアが付与されやすくなり、その静止画像がテンプレートに配置されやすくなる。 According to the processing described above, when a still image is laid out on a template, a high score is easily given to the frame image extracted from the moving image, and the still image is easily placed on the template.
以上で説明した処理によれば、動画像から抽出された複数のフレーム画像に優先的に高いスコアが付与され、さらにその複数のフレーム画像のうち評価の高い画像がレイアウトされる。そのため、ボケ等の少ない適切な画像をレイアウトすることができる。動画像の場合、あるシーンについて多数の画像（静止画像）が撮影されるため、その多数の画像の中にボケが少ない適切な画像が含まれることがある。したがって、本実施形態では、上述した方法により、より適切な画像を抽出し、テンプレートのスロットにレイアウトする。 According to the processing described above, a high score is preferentially given to a plurality of frame images extracted from a moving image, and an image with a high evaluation among the plurality of frame images is laid out. Therefore, it is possible to lay out an appropriate image with less blur and the like. In the case of a moving image, since a large number of images (still images) are captured for a certain scene, an appropriate image with less blur may be included in the large number of images. Therefore, in this embodiment, a more appropriate image is extracted and laid out in a template slot by the above-described method.
ここで、図２０を用いて、フォトアルバム自動作成用の画像データ群を抽出する処理について説明する。図２０は、フォトアルバム自動作成用の画像データ群を抽出する処理を示すフローチャートである。図２０のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＣＰＵ２０４により読み出されて実行される。図２０の処理が開始されると、まず、高速モードは有効か否かが判定され（Ｓ２００１）、その判定結果に基づき図２０（ａ）もしくは図２０（ｂ）の処理が実行される。図２０（ａ）のＳ２００２以降の処理は、高速モードが有効な場合の処理を示す。図２０（ｂ）の処理は、高速モードが無効な場合の処理を示す。
Here, the process of extracting the image data group for automatic photo album creation will be described with reference to FIG. FIG. 20 is a flowchart showing a process of extracting an image data group for automatic photo album creation. The program according to the flowchart of FIG. 20 is stored in, for example, the
上述したように、まず、図２０（ａ）のＳ２００１にて、アプリケーション８０は、高速モードの設定状態（有効か無効か）を確認する。高速モードが有効であると判定された場合（Ｓ２００１にてＹＥＳ）Ｓ２００２へ進み、指定された画像群のうち一部の画像を選択する。高速モードが無効であると判定された場合（Ｓ２００１にてＮＯ）図２０（ｂ）のＳ２０１１へ進む。
As described above, first, in S2001 of FIG. 20A, the
Ｓ２００２にて、アプリケーション８０は、動画像からフレーム画像を抽出する処理の設定状態を確認する。動画像も抽出の対象である、すなわち、動画像を抽出する設定が有効であると判定された場合（Ｓ２００２にてＹＥＳ）Ｓ２００３へ進み、無効であると判定された場合（Ｓ２００２にてＮＯ）Ｓ２００７へ進む。
In S2002, the
Ｓ２００３にて、アプリケーション８０は、フォトアルバムを作成する対象となっている画像データ群の中に条件を満たす動画像があるか否かを確認する。条件を満たす動画像があると判定された場合（Ｓ２００３にてＹＥＳ）Ｓ２００５へ進み、条件を満たす動画像が無いと判定された場合（Ｓ２００３にてＮＯ）Ｓ２００７へ進む。ここで、条件の一例を以下に示す。
In step S2003, the
［動画像の条件］
フォーマット： ＭＯＶ、ＭＰ４
エンコーディング： ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４
撮影時間： ５秒以上〜１８０秒以下
[Video condition]
Format: MOV, MP4
Encoding: MPEG-4 AVC / H. H.264
Shooting time: 5 seconds to 180 seconds
Ｓ２００４にて、アプリケーション８０は、動画像の数が規定数以内であるか否かを判定する。動画像の数が規定数以内の場合（Ｓ２００４にてＹＥＳ）Ｓ２００６へ進み、規定数より多い場合（Ｓ２００４にてＮＯ）Ｓ２００５へ進む。ここで、図１９（ａ）、図１９（ｃ）に示すように、規定数が１であると仮定する。
In S2004, the
Ｓ２００５にて、アプリケーション８０は、複数の動画像の中から規定数（＝１つ）の動画像を選択する。すなわち、規定数の動画像を取得する。動画像の選択方法として、例えば、アプリケーション８０は、撮影時間がある所定の時間（ここでは１８０秒とする）以下でその所定の時間に最も近いものを選択する。すなわち、ここでは、１８０秒以下で且つ１８０秒に最も近い動画像を選択する。尚、この構成に限定するものではなく、例えば、アプリケーション８０が、ある所定の時間以下ではなく、その所定の時間の前後を対象としてその所定の時間に最も近いものを選択するという方法でもよい。すなわち、例えば、１８０秒から±３０秒で且つ１８０秒に最も近い動画像を選択するという方法でもよい。また、所定の時間は１８０秒に限られることなく、６０秒、９０秒、３００秒等の値に設定してもよい。
In S2005, the
Ｓ２００６にて、アプリケーション８０は、規定数以内（＝１つ）の動画像から静止画像（フレーム画像）を生成する。静止画像の生成方法としては、例えば、対象の内のある１つの動画像から等間隔で４０個のフレームを抽出し、抽出した各フレームを静止画像（ＪＰＥＧファイル）に変換して保存することで生成してもよい。尚、このとき静止画像をファイル化する場合に限らず、ＣＰＵ２０４が静止画像を例えばビットマップ形式でＲＡＭ２０１に記憶させておいてもよい。この時、図１７（ａ）に示すように、アプリケーション８０は、各フレーム画像に対して、そのフレーム画像を抽出した動画像のファイル名と、その静止画像の元となるフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。アプリケーション８０は、フォトアルバムを作成する際に必要な画像データ群の中にこれらのフレーム画像を追加する。
In S2006, the
Ｓ２００７にて、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群として指定または選択された画像群の中に含まれている静止画像の数を確認する。更にアプリケーション８０は、所定数と画像群の中に含まれている静止画像の数を比較する。この時の所定数の定義は次の通りである。
In S2007, the
Ｓ２００６の処理を実行していた場合：図１９（ａ）もしくは図１９（ｃ）のテーブルの「静止画像数」
Ｓ２００６の処理を実行しなかった場合：図１９（ａ）もしくは図１９（ｃ）のテーブルの「画像総数」
例えば、アプリケーション８０がＰＣ用のアプリケーションの場合、Ｓ２００６を実行した時の所定数は図１９（ａ）の「静止画像数」となるので、ページ数が２０ページの場合では所定数は４６０個となる。また、例えば、アプリケーション８０がＰＣ用のアプリケーションの場合、Ｓ２００６を実行しなかった時の所定数は図１９（ａ）の「画像総数」となるので、ページ数が２０ページの場合では所定数は５００個となる。このように、Ｓ２００６の処理を実行した場合としなかった場合（すなわち、動画像からの静止画像の生成を行った場合と行わなかった場合）の間で、フォトアルバムを自動作成する時間差が少なくでき、その結果、ユーザの操作性に優れるものとなる。
When the processing of S2006 has been executed: “number of still images” in the table of FIG. 19A or 19C
When the process of S2006 is not executed: “Total number of images” in the table of FIG. 19A or 19C
For example, when the
Ｓ２００７にて、アプリケーション８０は、画像群の中に含まれている静止画像の数が所定数以内であるか否かを判定する。静止画像の数が所定数以内である場合（Ｓ２００７にてＹＥＳ）Ｓ２００９へ進み、所定数より多い場合（Ｓ２００７にてＮＯ）Ｓ２００８へ進む。
In S2007, the
Ｓ２００８にて、アプリケーション８０は、画像群の中に含まれている静止画像から所定数と同じ数またはそれ以内となるように静止画像を抽出する（選択する）。なお、画像の抽出方法は、特に限定されないが、本実施形態では、画像を撮影順に並べて所定間隔で間引くことにより、所定数以下の静止画像を抽出する。
In S2008, the
Ｓ２００９にて、アプリケーション８０は、フォトアルバムの自動作成において対象とする画像が、フォトアルバムを自動作成する為に必要な最小数以上であるか否かを判定する。ここでの対象とする画像とは、動画像から生成されたフレーム画像と、静止画像（Ｓ２００８の処理を実行した場合は、この処理で抽出された抽出された静止画像）の合計数に相当する。また、フォトアルバムを自動作成する為に必要な画像の最小数は、例えば、２ページで構成される見開きページ毎に少なくとも１枚の写真（画像）が必要であると仮定して、「ページ数／２」とする。尚、フォトアルバムを自動作成する為に必要な最小数はこの例に限られることなく、例えば、フォトアルバムに使用するレイアウトテンプレートの仕様に合わせて、適切な値を設定してもよい。対象とする画像が最小数以上であると判定された場合（Ｓ２００９にてＮＯ）図５のＳ５０３へ進み、最小数より少ないと判定された場合（Ｓ２００９にてＹＥＳ）Ｓ２０１０へ進む。
In S2009, the
Ｓ２０１０にて、アプリケーション８０は、「写真（画像）の数が足りません。」という旨の画像数不足エラーメッセージを表示する。そして、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、メイン画面４０１を表示する。
In step S2010, the
図２０（ｂ）のＳ２０１１にて、アプリケーション８０は、動画像からフレーム画像を抽出する処理の設定状態を確認する。動画像も抽出の対象である、すなわち、動画像を抽出する設定が有効であると判定された場合（Ｓ２０１１にてＹＥＳ）Ｓ２０１２へ進み、無効であると判定された場合（Ｓ２０１１にてＮＯ）Ｓ２０１４へ進む。
In S2011 of FIG. 20B, the
Ｓ２０１２にて、アプリケーション８０は、フォトアルバムを作成する対象となっている画像群の中に動画像があるか否かを確認する。動画像があると判定された場合（Ｓ２０１２にてＹＥＳ）Ｓ２０１３へ進み、動画像がないと判定された場合（Ｓ２０１２にてＮＯ）Ｓ２０１４へ進む。
In S2012, the
Ｓ２０１３にて、アプリケーション８０は、画像群の中の全ての動画像から静止画像（フレーム画像）を生成する。静止画像の生成方法としては、Ｓ２００６の工程にて示した方法と同じでも良いし、Ｓ２００６の工程とは異なる方法で生成してもよい。静止画像を生成する時、図１７（ａ）に示すように、アプリケーション８０は、各静止画像に対して、その静止画像を抽出した動画像のファイル名と、その静止画像のもととなっているフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。そして、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群の中にこれらの静止画像を追加する。
In S2013, the
Ｓ２０１４にて、アプリケーション８０は、フォトアルバムの自動作成において対象とする画像が、フォトアルバムを自動作成する為に必要な最小数以上であるか否かを判定する。ここでの対象とする画像とは、動画像から生成された静止画像と、静止画像の合計数に相当する。また、ここでの最小数は、Ｓ２００９と同じ値であってもよいし、別の値を用いてもよい。対象とする画像が最小数以上であると判定された場合（Ｓ２０１４にてＮＯ）Ｓ２０１６へ進み、最小数より少ないと判定された場合（Ｓ２０１４にてＹＥＳ）Ｓ２０１５へ進む。
In S2014, the
Ｓ２０１５にて、アプリケーション８０は、「写真（画像）の数が足りません。」という旨の画像数不足エラーメッセージを表示する。そして、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、メイン画面４０１を表示する。
In S2015, the
Ｓ２０１６にて、アプリケーション８０は、フォトアルバムの自動作成において対象とする画像が、アプリケーション８０がフォトアルバムを自動作成する際に規定されたシステム上限画像数（＝１００００個）より多いか否かを判断する。ここでの対象とする画像とは、動画像から生成されたフレーム画像と、静止画像の合計数に相当する。対象とする画像がシステム上限画像数より多いと判定された場合（Ｓ２０１６にてＹＥＳ）Ｓ２０１７へ進み、システム上限画像数以内であると判定された場合（Ｓ２０１６にてＮＯ）図５のＳ５０３へ進む。
In S2016, the
Ｓ２０１７にて、アプリケーション８０は、「写真（画像）の数が上限数を超えています。」という旨の画像数超過警告メッセージを表示する。その後、図５のＳ５０３へ進む。
In S2017, the
尚、上記の例では、システム上限画像数を１００００個と設定したが、この例に限られることなく、ハードウェアのスペックに合わせて適切な値を設定してもよい。また、この値は、ＰＣ用のアプリケーションとモバイルデバイス用のアプリケーションとで、それぞれのハードウェアに適した異なる値を設定してもよい。例えば、アプリケーション８０が、ＰＣとモバイルデバイスの両方で実行可能なアプリケーションの場合は、ＯＳを介して実行されている機器の情報を取得し、各ハードウェアに適する異なる値を設定してもよい。尚、システム上限画像数を超えた場合、フォトアルバムを自動作成する際に対象とする画像を前記システム上限画像数以内に間引いてもよい。
In the above example, the system upper limit image number is set to 10,000, but the present invention is not limited to this example, and an appropriate value may be set according to the hardware specifications. Also, different values suitable for the respective hardware may be set for the PC application and the mobile device application. For example, when the
以上、本実施形態によれば、動画像から抽出された画像を含むレイアウト処理を適切に行うことができる。また、大量の静止画像と動画像が含まれている画像群から、フォトアルバムの自動作成を高速に行うことができる。 As described above, according to the present embodiment, it is possible to appropriately perform layout processing including an image extracted from a moving image. In addition, a photo album can be automatically created at high speed from a group of images including a large number of still images and moving images.
＜第２の実施形態＞
本実施形態では、関連性のある画像を自動的に動画像から抽出してレイアウトを行う。
<Second Embodiment>
In the present embodiment, a related image is automatically extracted from a moving image and layout is performed.
図１８は、動画像を構成するフレームの一例を示す。図１８は、動画像ｖｉｄｅｏ４４４．ｍｐ４の例を示す。図１８において、各フレームの下に記載されている番号はそのフレームのフレーム番号である。ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ４５．ｊｐｇ、ｄｙｎａｍｉｃ４６．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム３、４、５からそれぞれ抽出して保存した静止画像ファイルである。ｄｙｎａｍｉｃ５４．ｊｐｇ、ｄｙｎａｍｉｃ５５．ｊｐｇ、ｄｙｎａｍｉｃ５６．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム９２５、９２６、９２７からそれぞれ抽出して保存した静止画像ファイルである。ｄｙｎａｍｉｃ８７．ｊｐｇ、ｄｙｎａｍｉｃ８８．ｊｐｇ、ｄｙｎａｍｉｃ８９．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム３３３４、３３３５、３３３６からそれぞれ抽出して保存した静止画像ファイルである。図１８に示す通り、フレーム１〜５、フレーム９２４〜９２８、フレーム３３３３〜３３３７は、それぞれ異なる場面のフレーム群である。
FIG. 18 shows an example of a frame constituting a moving image. FIG. 18 shows a moving image video444. An example of mp4 is shown. In FIG. 18, the number described below each frame is the frame number of that frame. dynamic44. jpg, dynamic45. jpg, dynamic46. jpg is the application 444. It is a still image file extracted and stored from
本実施形態では、各場面について、フレーム画像中に含まれるオブジェクトに基づいてフレーム画像が分類される。例えば、静止画像中に含まれるオブジェクトの種類が異なれば、異なる場面として場面分けする。場面分けは、他の基準に因ってもよく、例えば、同一若しくは類似の構図ごとに場面分けされてもよい。 In the present embodiment, for each scene, the frame image is classified based on the objects included in the frame image. For example, if the types of objects included in a still image are different, the scenes are divided into different scenes. The scene division may be based on other criteria. For example, the scene division may be performed for each identical or similar composition.
図６は、本実施形態に係るフォトアルバムを自動作成する処理を示すフローチャートである。図６のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。ユーザは、図４（ａ）に示す時間選択ボタン４０８、シーン選択ボタン４０９、テーマ選択ボタン４１０の何れか１つを選択して、フォトアルバム作成ボタン４１２を押下する。その押下に応じて、アプリケーション８０は図６に示す処理を実行する。
FIG. 6 is a flowchart showing a process for automatically creating a photo album according to the present embodiment. For example, the program according to the flowchart of FIG. 6 is stored in the
Ｓ６０１にて、アプリケーション８０は、静止画像または動画像が格納されているＰＣ１内のフォルダ（不図示）、またはＰＣ１内の静止画像または動画像を選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、Ｓ６０１にて、ユーザに、静止画像または動画像が格納されているＰＣ１内のフォルダ、またはＰＣ１内の静止画像または動画像を選択させてもよい。
In S601, the
Ｓ６０２にて、アプリケーション８０は、図７に示す静止画像の分類処理を実行する。本工程の処理の詳細については後述する。
In step S602, the
Ｓ６０３にて、アプリケーション８０は、Ｓ６０２の静止画像の分類処理における分類方法（時間ベース、シーンベース、テーマベース）の各方法に応じて、各方法に該当する図８（ａ）〜（ｃ）のいずれかの処理を実行する。図８（ａ）〜（ｃ）に示す処理は、分類に対応した、動画像から静止画像（フレーム画像）を抽出する処理である。尚、分類方法は、時間ベース、シーンベース、テーマベースの何れか１つを適用するケースの他に、これらのいくつかを組合せて適用するケースも本実施形態に含まれる。本工程の処理の詳細については後述する。
In S603, the
Ｓ６０４にて、アプリケーション８０は、Ｓ６０２で適用した分類方法に基づいて、その分類方法に関連付けられているレイアウトテンプレートを選択する。例えば、Ｓ６０２にて、アプリケーション８０がテーマベースの分類方法を選択したとする。この場合、Ｓ６０４にて、アプリケーション８０は、テーマベースの分類方法に関連付けられているレイアウトテンプレートを選択する。ここでは、アプリケーション８０は、図１１（ｃ）に示すレイアウトテンプレート１１４０が含まれたレイアウトテンプレートを選択したとする。
In S604, the
Ｓ６０５にて、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の各スロットに、互いに関連する静止画像を配置する。その際に、本分類（例えば、テーマ）に分類分けされた静止画像が、一連の領域内の所定のスロット数より多い場合、第１の実施形態で説明したようなスコアリングが行われて、スコアの高い順に所定数のスロットに割り当てるようにしてもよい。
In S605, the
Ｓ６０６にて、アプリケーション８０は、各スロットに配置されている静止画像を確認し、動画像から抽出したフレーム画像が複数配置されているか否かを判定する。複数配置されていると判定された場合には（Ｓ６０７にてＹＥＳ）Ｓ６０８へ進み、複数配置されていないと判定された場合には（Ｓ６０７にてＮＯ）本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
In S606, the
ここで、図１３（ｃ）に示す通り、スロット１１４３〜１１４７にｓｔａｔｉｃ１４．ｊｐｇ、ｓｔａｔｉｃ２８．ｊｐｇ、ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ４５．ｊｐｇ、ｄｙｎａｍｉｃ４６．ｊｐｇが各配置されたとする。 Here, as shown in FIG. 13C, the static 14. jpg, static28. jpg, dynamic44. jpg, dynamic45. jpg, dynamic46. Assume that jpgs are arranged.
Ｓ６０８にて、アプリケーション８０は、複数配置されている動画像から抽出したフレーム画像の中に同一場面のものが含まれているか否かを判定する。同一場面のものが含まれていると判定された場合には（Ｓ６０９にてＹＥＳ）Ｓ６１０へ進み、同一場面のものが含まれていないと判定された場合には（Ｓ６０９にてＮＯ）本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
In S608, the
Ｓ６１０にて、アプリケーション８０は、動画像から抽出したフレーム画像の中に同一場面と判定した場面とは異なる場面のフレーム画像があるかを判定する。異なる場面のフレーム画像が有ると判定された場合には（Ｓ６１１にてＹＥＳ）Ｓ６１２へ進み、異なる場面のフレーム画像が無いと判定された場合には（Ｓ６１１にてＮＯ）Ｓ６１３へ進む。
In S610, the
Ｓ６１２にて、アプリケーション８０は、スロットに配置されている動画像から抽出したフレーム画像の中の同一場面のフレーム画像の一方を、動画像から抽出した異なる場面のフレーム画像と置き換えて、そのスロットに配置する。その結果、ここでの例の場合、スロット１１４６に配置されているｄｙｎａｍｉｃ４５．ｊｐｇがｄｙｎａｍｉｃ５５．ｊｐｇに置き換えられる。また、スロット１１４７に配置されているｄｙｎａｍｉｃ４６．ｊｐｇがｄｙｎａｍｉｃ８８．ｊｐｇに置き換えられる。図１３（ｄ）に示す通り、スロット１１４３〜１１４７にｓｔａｔｉｃ１４．ｊｐｇ、ｓｔａｔｉｃ２８．ｊｐｇ、ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ５５．ｊｐｇ、ｄｙｎａｍｉｃ８８．ｊｐｇがそれぞれ配置される。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
In step S612, the
Ｓ６１３にて、アプリケーション８０は、スロットに配置されている動画像から抽出したフレーム画像の中の同一場面のフレーム画像の一方を、動画像から抽出したフレーム画像ではない、同一分類の静止画像と置き換えて、そのスロットに配置する。このときに、図１４に示すスコア値が大きくなるように、置き換えを行ってもよい。若しくは、図１４に示す各要素のいずれかのポイントが大きくなるように、置き換えを行ってもよい。その結果、最終的に完成されるレイアウト画像のユーザの満足度を向上させることができる。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
In S613, the
（静止画像の分類処理）
図７は、静止画像の分類処理を示すフローチャートである。図７のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。本処理は、図６のＳ６０２の処理に対応する。
(Still image classification processing)
FIG. 7 is a flowchart showing still image classification processing. For example, the program according to the flowchart of FIG. 7 is stored in the
Ｓ７０１にて、アプリケーション８０は、ユーザによる動画像ファイル処理方法選択部４０６の選択状態を取得し、ユーザが選択した動画像から静止画像を抽出する処理方法に基づいて、分類方法を判定する。分類方法が時間ベースの分類方法であると判定した場合には（Ｓ７０２にてＹＥＳ）Ｓ７０３へ進み、時間ベースの分類方法ではないと判定した場合には（Ｓ７０２にてＮＯ）Ｓ７０４へ進む。
In S701, the
Ｓ７０３にて、アプリケーション８０は、静止画像（ＪＰＥＧファイル）のＥｘｉｆ情報のＤａｔｅＴｉｍｅ情報、静止画像のファイルの作成日、更新日時、アクセス日時等を参照し、それらの情報から得られた撮影年月日時刻に基づき静止画像を分類する。そして、アプリケーション８０は、その分類情報と分類結果（グループ）を、対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、Ｅｘｉｆ情報のＤａｔｅＴｉｍｅ情報が存在しない場合、ファイルの作成日、更新日時、アクセス日時等から得られた撮影年月日時刻を、静止画像と関連付けて保存する。
In S703, the
分類の方法としては、例えば、同一日の静止画像をまとめて同じ分類としたり、同一月等の同一の時間情報の静止画像をまとめて同じ分類としたりする方法等がある。例えば、図１７（ｂ）のｓｔａｔｉｃ１００．ｊｐｇ、ｓｔａｔｉｃ１０２．ｊｐｇ、ｓｔａｔｉｃ１０３．ｊｐｇ、ｓｔａｔｉｃ１０８．ｊｐｇ、ｓｔａｔｉｃ１０９．ｊｐｇがこのケースを表す。ｓｔａｔｉｃ１０２．ｊｐｇは、Ｉｎｆｏ（分類情報）に２０１３年１２月２４日２０時台（２０：００〜２０：５９）で分類したことを表す情報が関連付けられて格納されている。 As a classification method, for example, there are a method in which still images of the same day are grouped together into the same classification, or still images of the same time information such as the same month are grouped into the same classification. For example, static100. jpg, static102. jpg, static103. jpg, static108. jpg, static109. jpg represents this case. static102. The jpg is stored in association with information (classification information) indicating that classification is performed on December 24, 2013 at 20:00 (20:00 to 20:59).
分類方法がシーンベースの分類方法であると判定した場合には（Ｓ７０４にてＹＥＳ）Ｓ７０５へ進み、シーンベースの分類方法ではないと判定した場合には（Ｓ７０４にてＮＯ）Ｓ７０６へ進む。 If it is determined that the classification method is a scene-based classification method (YES in S704), the process proceeds to S705. If it is determined that the classification method is not a scene-based classification method (NO in S704), the process proceeds to S706.
Ｓ７０５にて、アプリケーション８０は、静止画像の色情報やヒストグラム等を解析し、その解析結果に基づいて静止画像を分類し、その分類情報と分類結果（グループ）を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、色情報やヒストグラムの情報も、静止画像と関連付けて保存する。分類の方法としては、例えば同じような色味の静止画像をまとめて同じ分類としたり、ＲＧＢまたはＹＣｒＣｂのヒストグラムが一致あるいは色度が所定の閾値範囲内の近い静止画像をまとめて同じ分類としたりする方法等がある。例えば、図１７（ｂ）のｓｔａｔｉｃ１２０．ｊｐｇ、ｓｔａｔｉｃ１２１．ｊｐｇ、ｓｔａｔｉｃ１２３．ｊｐｇ、ｓｔａｔｉｃ１２５．ｊｐｇがこのケースを表す。ｓｔａｔｉｃ１２０．ｊｐｇは、Ｉｎｆｏ（分類情報）にヒストグラム４（ｈｉｓｔｏｇｒａｍ４−＊、＊は自然数、ヒストグラム４のグループとして判定されるヒストグラム値）で分類したことを表す情報が関連付けられて格納されている。本工程の処理の後、本処理フローを終了する。
In S705, the
分類方法がテーマベースの分類方法であると判定した場合には（Ｓ７０６にてＹＥＳ）Ｓ７０７へ進み、テーマベースの分類方法ではないと判定した場合には（Ｓ７０６にてＮＯ）Ｓ７０８へ進む。 If it is determined that the classification method is the theme-based classification method (YES in S706), the process proceeds to S707. If it is determined that the classification method is not the theme-based classification method (NO in S706), the process proceeds to S708.
Ｓ７０７にて、アプリケーション８０は、ユーザがファイル選択ボタン４１１で選択したファイルに含まれているオブジェクトを解析し、その解析結果に基づいて静止画像を分類する。そして、アプリケーション８０は、その分類情報と分類結果（グループ）を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、オブジェクト情報も、静止画像と関連付けて保存する。ここでオブジェクトの例としては、人、犬や猫等の動物、花、列車、自動車、バイクなど様々なものがあり、特に限定するものではない。尚、オブジェクトの例の人として、人物、顔等を区別してもよい。例えば、図１７（ｂ）のｓｔａｔｉｃ１５５．ｊｐｇ、ｓｔａｔｉｃ１５６．ｊｐｇ、ｓｔａｔｉｃ１５７．ｊｐｇ、ｓｔａｔｉｃ１６０．ｊｐｇがこのケースを表す。ｓｔａｔｉｃ１５５．ｊｐｇは、Ｉｎｆｏ（分類情報）にオブジェクト８（ｏｂｊｅｃｔ８−＊、＊は自然数、オブジェクト８のグループとして判定されるオブジェクトを規定する情報）で分類したことを表す情報が関連付けられて格納されている。本工程の処理の後、本処理フローを終了する。
In S707, the
Ｓ７０８にて、アプリケーション８０は、その他の方法（時間、シーン、テーマ以外）に基づいて静止画像を分類し、その結果を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、上記のその他の方法の情報も、静止画像と関連付けて保存する。尚、ユーザが本実施形態のメイン画面４０１を操作する場合、アプリケーション８０がＳ７０８の処理を実行しない場合もある。本工程の処理の後、本処理フローを終了する。
In S708, the
（静止画像の抽出処理）
図８は、動画像から静止画像の抽出処理を示すフローチャートである。図８のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。図８に示す３つの処理フローは、図６のＳ６０３の処理に対応する。図８（ａ）は時間ベースで動画像から静止画像（フレーム画像）を抽出する処理を示すフローチャートである。また、図８（ｂ）はシーンベースで動画像から静止画像（フレーム画像）を抽出する処理を示すフローチャートである。また、図８（ｃ）はテーマベースで動画像から静止画像（フレーム画像）を抽出する処理を示すフローチャートである。
(Still image extraction processing)
FIG. 8 is a flowchart showing still image extraction processing from a moving image. For example, the program according to the flowchart of FIG. 8 is stored in the
ユーザが、図４（ａ）に示す時間選択ボタン４０８を選択して、フォトアルバム作成ボタン４１２を押下したとする。この場合、図６のＳ６０３でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ａ）の静止画像の抽出処理を開始する。
Assume that the user selects the
Ｓ８１１にて、アプリケーション８０は、Ｓ７０３で静止画像に関連付けられている分類情報と、その静止画像のＥｘｉｆ情報のＤａｔｅＴｉｍｅ情報又はその静止画像に関連付けられている撮影年月日時刻に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、まず、動画像の撮影年月日時刻を取得し、Ｓ７０３で得られた静止画像に関連付けられている分類情報（例えば、同一日、同一月）を使って、分類が一致する動画像を特定する。そして、アプリケーション８０は、特定した動画像にその分類情報を関連付けて、その情報を保存する。次に、アプリケーション８０は、同一分類のフレーム静止画像から、Ｅｘｉｆ情報のＤａｔｅＴｉｍｅ情報又はそのフレーム画像に関連付けられている撮影年月日時刻を取得し、同一分類の動画像から、撮影年月日時刻が一致するフレームを抽出する。その際、アプリケーション８０は、撮影年月日時刻を基準時刻として、その前後の一定時間の所定範囲（例えば、前３秒、後３秒の合計６秒）の中に含まれる全てのフレームを解析して、フォトアルバム用としてより適切なフレームを抽出する。
In S811, the
ここで、アプリケーション８０は、複数のフレームを抽出してもよい。その際、アプリケーション８０は、より適切なフレームを抽出する為に、図１４に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でスコアの高い順にフレームを採用する。フレームの採用数については、例えば、動画像から抽出したフレーム画像をレイアウト可能なスロット数を、フレームの採用数として決定してもよい。
Here, the
Ｓ８１２にて、アプリケーション８０は、Ｓ８１１で抽出されたフレームを静止画像として保存する。なお、Ｓ８１１にて、撮影年月日時刻が一致するフレームが存在しない場合、アプリケーション８０は、その動画像に対して図１６（ａ）に示す処理を実行して静止画像を抽出する。
In S812, the
Ｓ８１３にて、アプリケーション８０は、動画像から抽出したフレーム画像と、分類情報、分類結果、関連ファイルを関連付けて、その情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３０１．ｊｐｇ、ｄｙｎａｍｉｃ３０２．ｊｐｇこのケースを表す。ｄｙｎａｍｉｃ３０１．ｊｐｇには、Ｉｎｆｏ（分類情報）に２０１３年１２月２４日２０時台（２０：００〜２０：５９）で分類したことを表す情報が関連付けて格納されている。また、Ｇｒｏｕｐ（分類結果）にｄａｔｅＴｉｍｅ１というグループ情報が関連付けて格納されている。また、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１０２．ｊｐｇが関連付けて格納されている。その後、本処理フローを終了する。
In S813, the
ユーザが、図４（ａ）に示すシーン選択ボタン４０９を選択して、フォトアルバム作成ボタン４１２を押下したとする。この場合、図６のＳ６０３でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ｂ）の静止画像の抽出処理を開始する。
Assume that the user selects the
Ｓ８２１にて、アプリケーション８０は、図７のＳ７０５で静止画像に関連付けられた色情報やヒストグラム等の分類情報に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、各動画像からフレームを抽出し、そのフレームの色情報やヒストグラム等を解析し、図７のＳ７０５で得られた静止画像に関連付けられた分類情報（色やヒストグラム等）と比較する。比較の結果、両者が一致または類似している場合、アプリケーション８０は、動画像にその分類情報を関連付けてその情報を保存する。また、アプリケーション８０は、分類情報が一致したフレームにもその分類情報を関連付けて、その情報を保存する。アプリケーション８０は、分類情報が一致した全てのフレームを解析して、フォトアルバム用として適切なフレームを抽出する。ここで、アプリケーション８０は、複数のフレームを抽出してもよい。適切なフレームの抽出（スコア順及びフレーム採用数）については、図８（ａ）と同じ基準で行われる。
In S821, the
Ｓ８２２にて、アプリケーション８０は、Ｓ８２１で抽出されたフレームを静止画像（フレーム画像）として保存する。
In S822, the
Ｓ８２３にて、アプリケーション８０は、動画像から抽出したフレーム画像と分類情報、分類結果、関連ファイルを関連付けて、その情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３２１．ｊｐｇの行がこのケースを表す。この画像には、Ｉｎｆｏ（分類情報）にヒストグラム４（ｈｉｓｔｏｇｒａｍ４−＊、＊は自然数、ヒストグラム４のグループとして判定されるヒストグラム値）で分類したことを表す情報が関連付けて格納されている。また、この画像には、Ｇｒｏｕｐ（分類結果）にｈｉｓｔｏｇｒａｍ４というグループ情報が関連付けて格納されている。また、この画像には、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１２０．ｊｐｇが関連付けられて格納されている。その後、本処理フローを終了する。
In S823, the
ユーザが、図４（ａ）に示すテーマ選択ボタン４１０を選択して、フォトアルバム作成ボタン４１２を押下したとする。この場合、図６のＳ６０３でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ｃ）の静止画像の抽出処理を開始する。
Assume that the user selects the
Ｓ８３１にて、アプリケーション８０は、図７のＳ７０７で静止画像に関連付けられたオブジェクトの分類情報に基づいて、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、各動画像からフレームを抽出し、そのフレームの中に含まれているオブジェクトを解析し、図７のＳ７０７で得られた静止画像に関連付けられている分類情報（オブジェクト）と比較する。比較の結果、両者が一致または類似している場合、アプリケーション８０は、動画像にその分類情報を関連付けてその情報を保存する。また、アプリケーション８０は、分類情報が一致したフレームにもその分類情報を関連付けて、その情報を保存する。アプリケーション８０は、分類情報が一致した全てのフレームを解析して、フォトアルバム用として適切なフレームを抽出する。ここで、アプリケーション８０は、複数のフレームを抽出してもよい。適切なフレームの抽出（スコア順及びフレーム採用数）については、図８（ａ）と同じ基準で行われる。
In S831, the
Ｓ８３２にて、アプリケーション８０は、Ｓ８３１で抽出されたフレームを静止画像として保存する。
In S832, the
Ｓ８３３にて、アプリケーション８０は、動画像から抽出した静止画像と、分類情報、分類結果、関連ファイルを関連付けてその情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３４１．ｊｐｇの行がこのケースを表す。この画像には、Ｉｎｆｏ（分類情報）にオブジェクト８（ｏｂｊｅｃｔ８−＊、＊は自然数、オブジェクト８のグループとして判定されるオブジェクトを規定する情報）で分類したことを表す情報が関連付けて格納されている。また、この画像には、Ｇｒｏｕｐ（分類結果）にｏｂｊｅｃｔ８というグループ情報が関連付けて格納されている。また、この画像には、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１５５．ｊｐｇが関連付けて格納されている。その後、本処理フローを終了する。
In S833, the
以上のように、本実施形態では、分類分けされた静止画像に基づいて、動画像から、静止画像と関連する静止画像（フレーム画像）を自動的に抽出し、これらの静止画像をレイアウト内の一連の領域に配置する。それにより、ユーザの煩わしい操作を伴わずに、関連性のある適切な画像を自動的に動画像から抽出してレイアウトを行うことができる。また、１つの動画像から異なる場面の複数の静止画像を抽出して一連の領域に配置することで、ユーザの煩わしい操作を伴わずに、変化に富んだ画像を自動的に抽出してレイアウトを行うことができる。 As described above, in the present embodiment, still images (frame images) related to still images are automatically extracted from moving images based on the classified still images, and these still images are included in the layout. Place in a series of areas. Accordingly, it is possible to automatically extract a relevant relevant image from the moving image without performing a troublesome operation by the user. In addition, by extracting multiple still images of different scenes from a single moving image and placing them in a series of areas, a variety of images can be automatically extracted without any cumbersome operation by the user. It can be carried out.
＜第３の実施形態＞
本実施形態では、解像度が高い静止画像を、テンプレートのスロットのうちのより大きなサイズのスロットに配置することで、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行う。
<Third Embodiment>
In this embodiment, a still image with a high resolution is placed in a slot of a larger size among the slots of the template, so that a realistic image layout combining the goodness of the still image and the motion of the moving image is automatically performed. To do.
図９は、本実施形態に係るフォトアルバムを自動作成する処理を示すフローチャートである。図９のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。ユーザが、図４（ａ）に示す時間選択ボタン４０８、シーン選択ボタン４０９、テーマ選択ボタン４１０の何れか１つを選択して、フォトアルバム作成ボタン４１２を押下する。その押下に応じて、アプリケーション８０は、図９に示す処理を実行する。本実施形態では、図１３（ｅ）に示すデータを用いて説明を行う。
FIG. 9 is a flowchart showing a process for automatically creating a photo album according to the present embodiment. For example, the program according to the flowchart of FIG. 9 is stored in the
Ｓ９０１にて、アプリケーション８０は、静止画像または動画像が格納されているＰＣ１内のフォルダ（不図示）、またはＰＣ１内の静止画像または動画像を選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、Ｓ９０１にて、ユーザに静止画像または動画像が格納されているＰＣ１内のフォルダ、またはＰＣ１内の静止画像または動画像を選択させてもよい。
In S901, the
Ｓ９０２にて、アプリケーション８０は、第２の実施形態で説明した図７に示す静止画像の分類処理を実行する。ここで、ｓｔａｔｉｃ１１．ｊｐｇとｓｔａｔｉｃ１２．ｊｐｇは、デジタルスチルカメラで撮影して保存された写真（静止画像）であるものとする。また、図１３（ｅ）に示す、ｓｔａｔｉｃ１１．ｊｐｇに関連付けられている分類情報と、ｓｔａｔｉｃ１２．ｊｐｇに関連付けられている分類情報とは、一致しているものとする。
In step S902, the
Ｓ９０３にて、アプリケーション８０は、Ｓ９０２の静止画像の分類処理における分類方法（時間ベース、シーンベース、テーマベース）の各方法に応じて、それぞれの方法に対応する図８（ａ）〜（ｃ）の処理のいずれかを実行する。図８（ａ）〜（ｃ）の処理は、第２の実施形態にて述べたように、動画像から静止画像（フレーム画像）を抽出する処理である。尚、分類方法は、時間ベース、シーンベース、テーマベースの何れか１つを適用するケースの他に、これらのいくつかを組合せて適用するケースも本実施形態に含まれる。ここで、図１３（ｅ）に示す、ｄｙｎａｍｉｃ２２．ｊｐｇ、ｄｙｎａｍｉｃ４３．ｊｐｇ、ｄｙｎａｍｉｃ５０．ｊｐｇ、ｄｙｎａｍｉｃ７８．ｊｐｇ、ｄｙｎａｍｉｃ８５．ｊｐｇは、１つの動画像から抽出された静止画像であるものとする。また、これらの各フレーム画像に関連付けられている分類情報は全て一致し、ｓｔａｔｉｃ１１．ｊｐｇに関連付けられている分類情報と、ｓｔａｔｉｃ１２．ｊｐｇに関連付けられている分類情報とも一致しているとする。
In S903, the
Ｓ９０４にて、アプリケーション８０は、Ｓ９０２で適用した分類方法に基づいて、その分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、Ｓ９０２にて、アプリケーション８０が、シーンベースの分類方法を選択したとする。この場合、Ｓ９０４にて、アプリケーション８０は、シーンベースの分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、アプリケーション８０は、図１２（ａ）に示すレイアウトテンプレート１２００が含まれたレイアウトテンプレートを選択したとする。
In S904, the
Ｓ９０５にて、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の通常の静止画像（動画像から抽出したフレーム画像ではない静止画像）に適した各スロットに、互いに関連する通常の静止画像を配置する。ここでは、スロット１２０３、１２０４に、互いに関連する通常の静止画像ｓｔａｔｉｃ１１．ｊｐｇ、ｓｔａｔｉｃ１２．ｊｐｇがそれぞれ配置される。その際に、分類分けされた静止画像が、一連の領域内の所定のスロット数より多い場合、第１の実施形態で説明したようなスコアリングを行い、スコアの高い順に所定数のスロットに割り当てるようにしてもよい。
In step S905, the
Ｓ９０６にて、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の動画像から抽出されたフレーム画像に適した各スロットに、互いに関連する動画像から抽出されたフレーム画像をそれぞれ配置する。ここでは、スロット１２０５〜１２０９に、互いに関連する動画像から抽出された静止画像ｄｙｎａｍｉｃ２２．ｊｐｇ、ｄｙｎａｍｉｃ４３．ｊｐｇ、ｄｙｎａｍｉｃ５０．ｊｐｇ、ｄｙｎａｍｉｃ７８．ｊｐｇ、ｄｙｎａｍｉｃ８５．ｊｐｇがそれぞれ配置される。その後、本処理フローを終了する。本処理フローが終了した後、アプリケーション８０は、図４（ｂ）に示す編集画面４１５を表示する。
In S906, the
以上のように、本実施形態では、解像度が高い静止画像を、レイアウトテンプレート内で関連付けられている一連の領域内の通常の静止画像に適した大きめのスロット１２０３、１２０４に配置する。また、１つの動画像から抽出された静止画像を一連のフレーム画像用のスロット、すなわち、一連のスロット１２０５〜１２０９に配置する。これにより、ユーザの煩わしい操作を伴わずに、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行うフォトアルバム作成アプリケーションを提供することができる。このように、１つの動画像から抽出した複数のフレーム画像を連続して配置することにより、動きを表現したレイアウト画像を生成することができる。
As described above, in the present embodiment, still images with high resolution are arranged in
＜第４の実施形態＞
第１の実施形態では、図１９（ａ）、図１９（ｃ）を用いて説明した通り、フォトアルバムのページ数に依存することなく、動画像の規定数を一律に固定（規定数＝１）していた。しかし、フォトアルバムのページ数に応じて、フォトアルバムを自動作成する為に必要な画像数の最小値や推奨値が異なる。具体的には、フォトアルバムのページ数が増えることに伴い、必要な画像数の最小値や推奨値も増える。第１の実施形態では、高速モードが有効な場合に、フォトアルバムのページ数が多いケースにおいても、フォトアルバムを自動作成する対象となる動画像は１つとした。これに対し、本実施形態では、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が複数存在する場合、それらを有効に利用する。
<Fourth Embodiment>
In the first embodiment, as described with reference to FIGS. 19A and 19C, the specified number of moving images is uniformly fixed (the specified number = 1) without depending on the number of pages of the photo album. )Was. However, the minimum and recommended values for the number of images required to automatically create a photo album differ depending on the number of pages in the photo album. Specifically, as the number of pages in the photo album increases, the minimum value and recommended value of the required number of images also increase. In the first embodiment, when the high-speed mode is enabled, even when the number of pages of the photo album is large, the number of moving images that are automatically created as a photo album is one. On the other hand, in this embodiment, when there are a plurality of moving images in the target image group when the photo album is automatically created, these are used effectively.
本実施形態では、図１９（ｂ）、図１９（ｄ）を用いる。具体的には、図１９（ｂ）、図１９（ｄ）に示すテーブルに基づいて、アプリケーション８０がフォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて切り換える。ページ数が２０ページと３０ページの場合の規定数は１である。ページ数が４０ページと５０ページの場合の規定数は２である。ページ数が６０ページの場合の規定数は３である。ここでは、１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するため、規定数に応じて、動画像から生成される静止画像の数が、４０個、８０個、１２０個というように切り換わる。図１９（ｂ）、図１９（ｄ）のテーブルを利用して、図２０のＳ２００４〜Ｓ２００８を実行することで、ユーザが選択しているフォトアルバムのページ数に合わせて、より多くの動画像を利用して、フォトアルバムを高速に自動作成することができる。
In this embodiment, FIG. 19B and FIG. 19D are used. Specifically, based on the tables shown in FIGS. 19B and 19D, a moving image is included in an image group targeted when the
第１の実施形態、および、第４の実施形態では、動画像からフレーム画像を生成する方法として、１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成する方法を採用した。この例に限られることなく、例えば、１つの動画像から１秒ごとにフレームを抽出してフレーム画像を生成するようにしてもよい。この場合、アプリケーション８０は、図１９の各テーブルの「静止画像数」を「動画像からの画像数」に合わせて動的に管理する。
In the first embodiment and the fourth embodiment, as a method of generating a frame image from a moving image, a method of generating a still image by extracting 40 frames from one moving image at equal intervals is adopted. did. Without being limited to this example, for example, a frame image may be generated by extracting a frame from one moving image every second. In this case, the
＜第５の実施形態＞
第１の実施形態では、図２０（ａ）に示すような処理を実行することで、高速モードを実現した。第１の実施形態の場合、Ｓ２００５にて複数の動画像の中から規定数の動画像を選択する過程で、選択されなかった動画像が存在する。本実施形態では、選択されなかった動画像の中にフォトアルバムを自動作成する際に対象画像として適した動画像が含まれていた場合、その動画像から静止画像を生成し、フォトアルバムのスロットに自動的に配置する。
<Fifth Embodiment>
In the first embodiment, the high-speed mode is realized by executing the processing as shown in FIG. In the case of the first embodiment, there is a moving image that has not been selected in the process of selecting a specified number of moving images from a plurality of moving images in S2005. In this embodiment, when a moving image suitable for a target image is included in a photo album that is not selected, a still image is generated from the moving image, and a photo album slot is created. To automatically place.
具体的には、図２０（ａ）にて、アプリケーション８０がＳ２００５とＳ２００６で実行する処理の代わりに、次のような処理を実行する。アプリケーション８０は、動画像の数が所定数（＝４０個）以内の場合、各動画像から数個ずつフレーム画像を生成して、合計４０個またはそれ以内となるようにフレーム画像を生成する。アプリケーション８０は、動画像の数が所定数（＝４０個）より多い場合、フォトアルバムを自動作成する際に対象とする動画像の数が所定数（＝４０個）以内となるように、動画像を選択する。そして、アプリケーション８０は、各動画像から数個ずつフレーム画像を生成して、合計４０個またはそれ以内となるようにフレーム画像を生成する。これにより、より多くの動画像を利用して、フォトアルバムを高速に自動作成することができる。
Specifically, in FIG. 20A, the following processing is executed instead of the processing executed by the
＜第６の実施形態＞
上記の各実施形態は、静止画像の数と比較して動画像の数がかなり少ないケースに適している。これに対し、本実施形態では、静止画像の数と動画像の数がほぼ同じ場合や、静止画像の数と比較して動画像の数が多いケースの場合に、適した例を説明する。
<Sixth Embodiment>
Each of the above embodiments is suitable for a case where the number of moving images is considerably smaller than the number of still images. On the other hand, in the present embodiment, an example suitable for the case where the number of still images and the number of moving images are substantially the same, or the case where the number of moving images is larger than the number of still images will be described.
図２２は、高速モードへの移行を判定するテーブルの一例を示す図である。図２２（ａ）〜（ｄ）は、Ｗｉｎｄｏｗｓ（登録商標）等のＰＣ用のアプリケーションが参照するテーブルである。「ページ数」は、フォトアルバムのページ数である。「平均スロット数」は、フォトアルバムの見開き２ページに配置されるスロットの数の平均値である。「動画像からの画像数」は、動画像から抽出するフレーム画像の数である。「静止画像数」は、静止画像の数である。「画像総数」は、「動画像からの画像数」と「静止画像数」の合計の数である。 FIG. 22 is a diagram illustrating an example of a table for determining the shift to the high speed mode. 22A to 22D are tables that are referred to by a PC application such as Windows (registered trademark). “Number of pages” is the number of pages of the photo album. “Average number of slots” is an average value of the number of slots arranged on two pages of a photo album. “Number of images from moving image” is the number of frame images extracted from the moving image. “Number of still images” is the number of still images. “Total number of images” is the total number of “number of images from moving images” and “number of still images”.
本実施形態では、図１９（ｂ）、図２２（ａ）、図２２（ｂ）のテーブルに基づいて、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて切り換える。図１９（ｂ）は、静止画像の数と比較して動画像の数がかなり少ないケース用の判定テーブルである。図２２（ａ）は、静止画像の数と比較して動画像の数がほぼ同じか若干少ないケース用の判定テーブルである。図２２（ｂ）は、静止画像の数と比較して動画像の数が多いケース用の判定テーブルである。 In the present embodiment, moving images are included in the target image group when automatically creating a photo album based on the tables of FIGS. 19B, 22A, and 22B. The number of moving images handled as a target is switched according to the number of pages of the photo album. FIG. 19B is a determination table for a case where the number of moving images is considerably smaller than the number of still images. FIG. 22A is a determination table for a case where the number of moving images is substantially the same or slightly smaller than the number of still images. FIG. 22B is a determination table for a case where the number of moving images is larger than the number of still images.
図２２（ａ）にて、ページ数が２０ページの場合の規定数は６、ページ数が３０ページの場合の規定数は９、ページ数が４０ページの場合の規定数は１２、ページ数が５０ページの場合の規定数は１５、ページ数が６０ページの場合の規定数は１８とする。ここでは、１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するものとする。したがって、規定数に応じて、動画像から生成される静止画像の数が、２４０個、３６０個、４８０個、６００個、７２０個というように切り換わる。 In FIG. 22A, the prescribed number is 6 when the number of pages is 20, the prescribed number is 9 when the number of pages is 30, the prescribed number is 12 when the number of pages is 40, and the number of pages is The prescribed number is 15 for 50 pages, and the prescribed number is 18 for 60 pages. Here, it is assumed that 40 frames are extracted at regular intervals from one moving image to generate a still image. Accordingly, the number of still images generated from a moving image is switched to 240, 360, 480, 600, 720, etc. according to the specified number.
図２２（ｂ）にて、ページ数が２０ページの場合の規定数は１０、ページ数が３０ページの場合の規定数は１５、ページ数が４０ページの場合の規定数は２０、ページ数が５０ページの場合の規定数は２５、ページ数が６０ページの場合の規定数は２０とする。ここでは、１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するものとする。したがって、規定数に応じて、動画像から生成される静止画像の数が、４００個、６００個、８００個、１０００個、１２００個というように切り換わる。 In FIG. 22B, the prescribed number is 10 when the number of pages is 20, the prescribed number is 15 when the number of pages is 30, the prescribed number is 20 when the number of pages is 40, and the number of pages is The prescribed number is 25 for 50 pages, and the prescribed number is 20 for 60 pages. Here, it is assumed that 40 frames are extracted at regular intervals from one moving image to generate a still image. Therefore, the number of still images generated from a moving image is switched to 400, 600, 800, 1000, 1200, etc. according to the specified number.
図１９（ｂ）の規定数がページ数に応じて１〜３であるのに対し、図２２（ａ）の規定数はページ数に応じて６〜１８であり、図２２（ｂ）の規定数はページ数に応じて１０〜３０である。 The specified number in FIG. 19B is 1 to 3 according to the number of pages, whereas the specified number in FIG. 22A is 6 to 18 according to the number of pages, and the specified number in FIG. The number is 10-30 depending on the number of pages.
図２０のＳ２００４にて、アプリケーション８０は、フォトアルバムを自動作成する際の対象となる静止画像の数と動画像の数を比較し、動画像の数の割合に応じて判定に使用するテーブルを切り換える。例えば、静止画像の数に対する動画像の数の割合が第１の閾値以下の場合は、図１９（ｂ）のテーブルを用い、静止画像の数に対する動画像の数の割合が第１の閾値より大きく第２の閾値以下の場合は、図２２（ａ）のテーブルを用いる。そして、静止画像の数に対する動画像の数の割合が第２の閾値より大きい場合は、図２２（ｂ）のテーブルを用いる。つまり、アプリケーション８０は、動画像の数の割合が大きくなるにつれて高速モードにおいて動画像から静止画像を生成する候補となる動画像の数（＝規定数）を増やすように制御する。そして、アプリケーション８０は、図１９（ｂ）、図２２（ａ）、図２２（ｂ）の各テーブルを利用して、図２０のＳ２００４〜Ｓ２００８を実行する。これにより、本実施形態では、ユーザが選択しているフォトアルバム、または静止画像の数に対する動画像の数の割合に応じて、動画像の数の割合が大きくなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。
In S2004 of FIG. 20, the
本実施形態の上記の構成では、アプリケーション８０は、図１９（ｂ）、図２２（ａ）、図２２（ｂ）のテーブルを利用し、動画像の数の割合が大きくなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成している。更に、上記のようなテーブルを利用する以外の方法の一例を以下に記す。
In the above-described configuration of the present embodiment, the
図２０のＳ２００４において、アプリケーション８０は、この処理の代わりに次のような処理を実行する。まず、アプリケーション８０は、図１９（ａ）のテーブルを参照し、選択されているフォトアルバムのページ数に対応する「画像総数」を取得する。次に、アプリケーション８０は、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている動画像の数を確認し、規定数（＝１）と比較する。動画数の数が規定数を超える場合は、アプリケーション８０は、選択する動画像の数の候補を規定数（＝１）に設定する。ここで決まった動画像の数の候補を「動画像数候補１」と定義する。次に、アプリケーション８０は、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている静止画像の数を確認し、
（「画像総数」−「静止画像の数」）／４０
の演算を実行する。尚、この演算の単位は整数として、余りが発生した場合はその余りは無視する。この演算結果で得られた動画像の数の候補を「動画像数候補２」と定義する。ここで、「４０」は、１つの動画像から等間隔でフレームを抽出して静止画像を生成する時に使用しているフレーム数である。次に、アプリケーション８０は、「動画像数候補１」と「動画像数候補２」を比較し、大きい方の値を、選択する動画像の数として設定する。「動画像数候補１」と「動画像数候補２」が同じ値の場合は、アプリケーション８０は、「動画像数候補１」の値を、選択する動画像の数として設定する。
In S2004 of FIG. 20, the
(“Total number of images” − “Number of still images”) / 40
Execute the operation. The unit of this calculation is an integer, and when a remainder occurs, the remainder is ignored. A candidate for the number of moving images obtained as a result of this calculation is defined as “moving
例えば、図１９（ａ）において、ページ数が２０ページの場合で、フォトアルバムを自動作成する際の対象となる画像群の中に含まれている動画像数が２０個、静止画像の数が１００個の場合を考える。このとき、「動画像数候補１」の値は「１」となり、上記の式から、
「動画像数候補２」＝（５００−１００）／４０
となり、「動画像数候補２」の値は「１０」となる。そして、「動画像数候補１」と「動画像数候補２」とを比較した結果、「動画像数候補２」がより大きいため、選択する動画像の数は「１０」となる。そして、１０個の動画像から計４００枚の静止画像が抽出される。
For example, in FIG. 19A, when the number of pages is 20, the number of moving images included in the image group that is the target for automatically creating a photo album is 20, and the number of still images is Consider the case of 100 pieces. At this time, the value of “moving
“Moving
Thus, the value of “moving
その結果、この例の場合、「動画像からの画像数」は４０個、「静止画像数」は１００個、「画像総数」は５００個となる。このような演算処理により、選択する動画像の数を決定して、画像データ群から決定した数の動画像を選択する。その後、アプリケーション８０は、図２０のＳ２００５〜Ｓ２００８を実行し、ユーザが選択しているフォトアルバム又は静止画像の数に対する動画像の数に応じて静止画像の数が多い場合は動画像の数を減らし、静止画像の数が少ない場合は動画像の数を増やす。これにより、その時の状況に応じて適切な数の静止画像と動画像を利用してフォトアルバムを高速に自動作成することができる。従って、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。
As a result, in this example, the “number of images from moving images” is 40, the “number of still images” is 100, and the “total number of images” is 500. By such arithmetic processing, the number of moving images to be selected is determined, and the determined number of moving images is selected from the image data group. After that, the
本実施形態では、アプリケーション８０が、静止画像の数に対する動画像の数の割合（言い換えると、フォトアルバム作成に用いられる総画像数に対する動画像数の割合）に応じて、図１９（ｂ）、図２２（ａ）、図２２（ｂ）のテーブルを切り換えて制御する。つまり通常の静止画像の全体に対する割合が小さくなるほど、上記の規定数が大きくなるように設定する。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上できる。しかし、この例に限られることなく、例えば、解像度に応じてテーブルを切り替えるようにしてもよい。例えば、図２０のＳ２００４にて、動画像の解像度を確認し、１２８０×７２０ｄｐｉ未満の場合は図１９（ｂ）のテーブルを選択する。一方、１２８０×７２０ｄｐｉ以上１４４０×１０８０ｄｐｉ未満は図２２（ａ）のテーブルを選択し、１９２０×１０８０ｄｐｉ以上は図２２（ｂ）のテーブルを選択する。そして、アプリケーション８０は、選択されたテーブルを利用して、図２０のＳ２００４〜Ｓ２００８を実行する。これにより、ユーザが選択しているフォトアルバム、または動画像の画質に応じて、動画像の画質が良くなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができる。
In the present embodiment, the
＜第７の実施形態＞
上記の実施形態では、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数に応じて規定数を変えることにより切り換える構成について説明した。本実施形態では、例えば、スロット数に応じて規定数を変えることにより、対象として取り扱う動画像の数を切り換える形態について説明する。
<Seventh Embodiment>
In the above-described embodiment, when a moving image is included in the target image group when automatically creating a photo album, the number of moving images handled as a target is determined according to the number of pages of the photo album. The configuration for switching by changing the above has been described. In the present embodiment, for example, a mode in which the number of moving images handled as a target is switched by changing the prescribed number according to the number of slots will be described.
図２２（ｃ）、図２２（ｄ）は、フォトアルバムを自動作成する際に対象とする画像群の中に動画像が含まれている場合に、対象として取り扱う動画像の数をフォトアルバムのページ数及び平均スロット数に応じて切り換えることができるテーブルを示す。ここでの平均スロット数とは、フォトアルバムの見開きページに配置されるスロットの数の平均値を意味する。図２２（ｃ）は、平均スロット数が２のケース用の判定テーブルである。図１９（ｂ）は、平均スロット数が６のケース用の判定テーブルである。図２２（ｄ）は、平均スロット数が１０のケース用の判定テーブルである。同じページ数で比較した場合、例えば、４０ページの場合を参照すると、平均スロット数が少ない（＝２）ケースは、図２２（ｃ）に示すように規定数が１である。同様に、平均スロット数が標準（＝６）ケースは、図１９（ｂ）に示すように規定数が２であり、平均スロット数が多い（＝１０）ケースは、図２２（ｄ）に示すように規定数が３である。１つの動画像から等間隔で４０個のフレームを抽出して静止画像を生成するので、上記の３つのケースは、規定数に応じて動画像から生成される静止画像の数が、平均スロット数の少ない順に、４０個、８０個、１２０個というように切り換わる。 22 (c) and 22 (d) show the number of moving images handled as targets when the moving image is included in the target image group when the photo album is automatically created. The table which can be switched according to the number of pages and the average number of slots is shown. Here, the average number of slots means an average value of the number of slots arranged on the spread page of the photo album. FIG. 22C is a determination table for a case where the average number of slots is 2. FIG. 19B is a determination table for a case where the average number of slots is six. FIG. 22D is a determination table for a case where the average number of slots is 10. When comparing with the same number of pages, for example, referring to the case of 40 pages, the specified number is 1 in the case where the average number of slots is small (= 2) as shown in FIG. Similarly, the case where the average number of slots is standard (= 6) is 2 as shown in FIG. 19B, and the case where the average number of slots is large (= 10) is shown in FIG. 22D. Thus, the specified number is 3. Since 40 frames are extracted from one moving image at equal intervals to generate a still image, the above three cases are such that the number of still images generated from the moving image according to the specified number is the average number of slots. The number is changed in the order of 40, 80, 120, etc. in ascending order.
図２０のＳ２００４にて、アプリケーション８０は、平均スロット数に応じて判定に使用するテーブルを切り換える。具体的には、アプリケーション８０は、平均スロット数が多くなるにつれて高速モードにおいて動画像から静止画像を生成する候補となる動画像の数（＝規定数）を増やすように制御する。そして、アプリケーション８０は、選択されたテーブルを利用して、図２０のＳ２００４〜Ｓ２００８を実行する。これにより、ユーザが選択しているフォトアルバム、または平均スロット数に応じて、平均スロット数が多くなるにつれて、より多くの動画像を利用してフォトアルバムを高速に自動作成することができる。これにより、自動作成されるフォトアルバムの仕上がりのユーザ満足度を向上することができ、また、ユーザの操作性にも優れる。
In S2004 of FIG. 20, the
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
また、上述した実施形態を組み合わせてもよい。例えば、実施形態１において、高速モードにおいて、データ画像群に含まれる静止画像数が、予め決めた静止画像数（例えば、図１９に示すテーブルに定めた静止画像数）よりも少ない場合に、Ｓ２００４において、実施形態６の演算処理を行ってもよい。 Moreover, you may combine embodiment mentioned above. For example, in the first embodiment, in the high-speed mode, when the number of still images included in the data image group is smaller than a predetermined number of still images (for example, the number of still images determined in the table shown in FIG. 19), S2004 Then, the arithmetic processing of the sixth embodiment may be performed.
また、上述した実施形態では、アプリケーションの例として図４に示すようなフォトアルバム作成アプリケーション８０を挙げたが、この例に限られることなく、同様な画像抽出機能を備える任意のアプリケーションでも実現可能である。
In the above-described embodiment, the photo
また、上述した実施形態では、情報処理装置としてパーソナルコンピュータを想定した。しかしながら、携帯電話、携帯情報端末、デジタルスチルカメラ、デジタルビデオカメラ、携帯ミュージックプレーヤー、ゲーム、セットトップボックス、インターネット家電等、同様な使用方法が可能な任意の情報処理装置（端末）を用いてもよい。 In the embodiment described above, a personal computer is assumed as the information processing apparatus. However, any information processing apparatus (terminal) that can be used in a similar manner, such as a mobile phone, a portable information terminal, a digital still camera, a digital video camera, a portable music player, a game, a set-top box, or an Internet home appliance, may be used. Good.
また、上述した実施形態では、ＯＳに例としてＷｉｎｄｏｗｓ（登録商標）８と同等のＯＳを使用したが、このＯＳに限られることなく、任意のＯＳを使用することができる。また、上述した実施形態では、ネットワーク４の構成例としてＥｔｈｅｒｎｅｔ（登録商標）を用いたが、この例に限られることなく、例えば、無線ＬＡＮ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、他の任意のネットワーク構成であってもよい。
In the embodiment described above, an OS equivalent to Windows (registered trademark) 8 is used as an example of the OS. However, the present invention is not limited to this OS, and an arbitrary OS can be used. In the above-described embodiment, Ethernet (registered trademark) is used as a configuration example of the
以上のように、第１の実施形態によれば、静止画像と動画像の両方を一緒に取り扱い、ユーザの煩わしい操作を伴わずに、自動的により適切な画像を抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。 As described above, according to the first embodiment, both a still image and a moving image are handled together, and a photo album that automatically extracts and lays out an appropriate image without a user's troublesome operation is performed. Creation application can be provided.
また、第２の実施形態では、分類分けされた静止画像に基づいて、動画像から、静止画像と関連するフレーム画像を自動的に抽出し、これらの静止画像を一連の領域に配置する。これにより、ユーザの煩わしい操作を伴わずに、関連性のある適切な画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。また、１つの動画像から異なる場面の複数のフレーム画像を抽出して一連の領域に配置することで、ユーザの煩わしい操作を伴わずに、変化に富んだ画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。 In the second embodiment, a frame image related to a still image is automatically extracted from a moving image based on the classified still images, and these still images are arranged in a series of regions. Accordingly, it is possible to provide a photo album creating application that automatically extracts relevant appropriate images and performs layout without requiring troublesome operations by the user. In addition, by extracting multiple frame images of different scenes from one moving image and placing them in a series of areas, a variety of images can be automatically extracted without any cumbersome user operation and layout can be performed. A photo album creation application can be provided.
また、第３の実施形態では、レイアウトテンプレート内に、デジタルスチルカメラ等で撮影して保存された写真等の静止画像に適したスロットと、動画像から抽出されたフレーム画像に適したスロットに対して、各適した静止画像を配置する。これにより、ユーザの煩わしい操作を伴わずに、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行うフォトアルバム作成アプリケーションを提供することができる。 In the third embodiment, the layout template includes a slot suitable for a still image such as a photograph taken and stored by a digital still camera and a slot suitable for a frame image extracted from a moving image. To arrange each suitable still image. Accordingly, it is possible to provide a photo album creation application that automatically performs a realistic image layout that combines the goodness of a still image and the motion of a moving image without involving a user's troublesome operation.
静止画像の分類、動画像から静止画像を抽出する処理方法として、撮影年月日時刻、色やヒストグラム、オブジェクトを利用する例を挙げたが、これらの例に限られることなく、同様な目的を達成し得る任意の処理方法を利用して本発明を実現することができる。さらに、撮影年月日時刻、色やヒストグラム、オブジェクト、その他の処理方法等を組み合わせて静止画像を分類したり、動画像から静止画像を抽出したりしてもよい。このように複数の処理方法を組合せることで、フォトアルバムの完成度を向上することができる。 As examples of still image classification and processing methods for extracting still images from moving images, shooting dates, times, colors, histograms, and objects are used. However, the present invention is not limited to these examples. The present invention can be implemented using any processing method that can be achieved. Further, still images may be classified by combining shooting date / time, color, histogram, object, and other processing methods, or a still image may be extracted from a moving image. By combining a plurality of processing methods in this way, the completeness of the photo album can be improved.
また、画像の解析方法として、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）の要素を利用する例を挙げた。しかしながら、これらの例に限られることなく、同様な目的を達成し得る任意の解析方法を利用して本発明を実現することができる。 In addition, as an image analysis method, an example in which the elements of Color (color), Contrast (contrast), Brightness (brightness), Focus (focus), and Composition (composition) are used. However, the present invention is not limited to these examples, and the present invention can be realized by using any analysis method that can achieve the same object.
以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。 Each embodiment has been described in detail above, but is not limited to a specific embodiment, and various modifications and changes can be made within the scope of the gist of the present invention.
また、各実施形態を組合せることで、それぞれの実施形態が持つ効果をさらに高めることができ、ユーザの操作性に優れ、かつ、高品質なフォトアルバムを自動作成することができる。 Further, by combining the embodiments, the effects of the embodiments can be further enhanced, and a high-quality photo album with excellent user operability can be automatically created.
８０…アプリケーション、２０４…ＣＰＵ、２０１…ＲＡＭ、２０２…ＨＤＤ 80 ... Application, 204 ... CPU, 201 ... RAM, 202 ... HDD
Claims (13)
前記取得手段により取得された画像群に含まれる前記動画像から抽出されるフレーム画像と前記静止画像とを含む画像の数が、閾値より多いか判定する判定手段と、
前記判定手段により前記画像の数が前記閾値より多いと判定された場合、前記取得手段により取得された画像群のうち一部の画像をレイアウトの処理対象として評価する特定モードで処理を実行することを決定する決定手段と、
前記特定モードにおいて、予め定められた参照値に基づき、前記取得手段により取得された画像群から選択する前記フレーム画像と前記静止画像とを含む画像総数を特定する特定手段と、
前記決定手段により前記特定モードで処理を実行すると決定された場合、前記取得手段により取得された画像群に含まれる動画像から、第１所定数の動画像と、第２所定数の静止画像とを選択する選択手段と、
前記選択手段により選択された動画像から複数のフレーム画像を生成する生成手段と、
を有し、
前記選択手段により選択される静止画像及び前記生成手段により生成されるフレーム画像の総数は、前記特定手段により特定された画像総数以下であることを特徴とする情報処理装置。 An acquisition means for acquiring an image group including a moving image and a still image based on an instruction from the user;
A determination unit that determines whether the number of images including the frame image extracted from the moving image included in the image group acquired by the acquisition unit and the still image is greater than a threshold;
When the determination unit determines that the number of the images is greater than the threshold value, the processing is performed in a specific mode in which a part of the images acquired by the acquisition unit is evaluated as a layout processing target. A determination means for determining
Specifying means for specifying the total number of images including the frame image and the still image selected from the image group acquired by the acquiring means based on a predetermined reference value in the specifying mode;
When it is determined by the determining means to execute the process in the specific mode, a first predetermined number of moving images and a second predetermined number of still images are selected from the moving images included in the image group acquired by the acquiring means. A selection means for selecting
Generating means for generating a plurality of frame images from the moving image selected by the selecting means;
Have
The total number of still images selected by the selection unit and frame images generated by the generation unit is equal to or less than the total number of images specified by the specifying unit.
前記特定手段は、前記ページ数が第１のページ数の場合は、前記参照値として定められた第１参照値に基づき前記画像総数を特定し、前記ページ数が前記第１のページ数よりも多い第２のページ数の場合は、前記参照値として定められた第２参照値に基づき前記画像総数を特定し、
前記第２参照値は、前記第１参照値よりも大きいことを特徴とする請求項４または５に記載の情報処理装置。 The reference value used by the specifying means has a plurality of values determined in advance according to the number of pages of the layout image,
The specifying means specifies the total number of images based on a first reference value determined as the reference value when the page number is the first page number, and the page number is more than the first page number. In the case of a large second page number, the total number of images is specified based on the second reference value determined as the reference value,
The information processing apparatus according to claim 4, wherein the second reference value is larger than the first reference value.
前記取得工程において取得された画像群に含まれる前記動画像から抽出されるフレーム画像と前記静止画像とを含む画像の数が、閾値より多いか判定する判定工程と、
前記判定工程において前記画像の数が前記閾値より多いと判定された場合、前記取得工程において取得された画像群のうち一部の画像をレイアウトの処理対象として評価する特定モードで処理を実行することを決定する決定工程と、
前記特定モードにおいて、予め定められた参照値に基づき、前記取得工程において取得された画像群から選択する前記フレーム画像と前記静止画像とを含む画像総数を特定する特定工程と、
前記決定工程において前記特定モードで処理を実行すると決定された場合、前記取得工程において取得された画像群に含まれる動画像から、第１所定数の動画像と、第２所定数の静止画像とを選択する選択工程と、
前記選択工程において選択された動画像から複数のフレーム画像を生成する生成工程と、
を有し、
前記選択工程において選択される静止画像及び前記生成工程において生成されるフレーム画像の総数は、前記特定工程において特定された画像総数以下であることを特徴とする処理方法。 An acquisition step of acquiring an image group including a moving image and a still image based on an instruction from the user;
A determination step of determining whether the number of images including frame images extracted from the moving images included in the image group acquired in the acquisition step and the still images is greater than a threshold;
When it is determined in the determination step that the number of images is greater than the threshold value, the processing is executed in a specific mode in which a part of the images acquired in the acquisition step is evaluated as a layout processing target. A determination step for determining
In the specific mode, a specific step of specifying the total number of images including the frame image and the still image selected from the image group acquired in the acquisition step based on a predetermined reference value;
When it is determined in the determination step that the process is performed in the specific mode, a first predetermined number of moving images and a second predetermined number of still images are selected from the moving images included in the image group acquired in the acquisition step. A selection process for selecting
A generation step of generating a plurality of frame images from the moving images selected in the selection step;
Have
The total number of still images selected in the selecting step and frame images generated in the generating step is equal to or less than the total number of images specified in the specifying step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015255243A JP6586009B2 (en) | 2015-12-25 | 2015-12-25 | Information processing apparatus, processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015255243A JP6586009B2 (en) | 2015-12-25 | 2015-12-25 | Information processing apparatus, processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017117409A JP2017117409A (en) | 2017-06-29 |
| JP6586009B2 true JP6586009B2 (en) | 2019-10-02 |
Family
ID=59234512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015255243A Active JP6586009B2 (en) | 2015-12-25 | 2015-12-25 | Information processing apparatus, processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6586009B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115914775B (en) * | 2022-11-21 | 2024-08-30 | 北京奇艺世纪科技有限公司 | Cover determination method and device, electronic equipment and storage medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010068347A (en) * | 2008-09-11 | 2010-03-25 | Ricoh Co Ltd | Image forming apparatus, image forming method and image forming program |
| JP5131107B2 (en) * | 2008-09-12 | 2013-01-30 | Ｎｋワークス株式会社 | Image layout setting method, image layout setting device, and image layout setting program |
| JP2011082688A (en) * | 2009-10-05 | 2011-04-21 | Canon Inc | Still image extraction apparatus and still image extraction method |
| JP5415225B2 (en) * | 2009-10-15 | 2014-02-12 | ソニー株式会社 | Movie providing apparatus, movie providing method, and program |
| JP5686673B2 (en) * | 2010-07-22 | 2015-03-18 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and program |
-
2015
- 2015-12-25 JP JP2015255243A patent/JP6586009B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017117409A (en) | 2017-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6463996B2 (en) | Information processing apparatus, method, and program | |
| JP6381514B2 (en) | Image processing system, information processing apparatus and control method thereof | |
| US10359927B2 (en) | Methods and systems for photo, page, and spread arrangement on space-constrained user devices | |
| US9378189B2 (en) | Layout apparatus, layout method, and computer-readable recording medium | |
| JP5449460B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN107979709B (en) | Image processing apparatus, image processing system, control method, and computer readable medium | |
| JP6702900B2 (en) | Information processing apparatus, display control method, and program | |
| CN108377351B (en) | Image processing apparatus and image processing method for laying out images on templates | |
| JP6422409B2 (en) | Display control apparatus, display control method, and program | |
| JP6887816B2 (en) | Image processing equipment, control methods, and programs | |
| JP6723938B2 (en) | Information processing apparatus, display control method, and program | |
| JP2019067260A (en) | INFORMATION PROCESSING APPARATUS, DISPLAY CONTROL METHOD, AND PROGRAM | |
| US11320965B2 (en) | Image processing apparatus, control method, and recording medium | |
| CN101908218A (en) | Editing Equipment and Arrangement Methods | |
| JP2022123209A (en) | Image processing apparatus, image processing method, and program | |
| JP7207908B2 (en) | Information processing system, information processing device, program, and information processing method | |
| JP6681192B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP6397382B2 (en) | Information processing apparatus and control method thereof | |
| JP6586009B2 (en) | Information processing apparatus, processing method, and program | |
| JP6673771B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2021149196A (en) | Image processing apparatus, image processing method, and program | |
| JP6765978B2 (en) | Information processing equipment and programs | |
| JP6586402B2 (en) | Image classification apparatus, image classification method, and program | |
| JP6647039B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP6877105B2 (en) | Image processing equipment, control methods, and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190906 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6586009 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |