Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5802255B2 - レイアウト編集装置、レイアウト編集方法およびプログラム - Google Patents
[go: Go Back, main page]

JP5802255B2 - レイアウト編集装置、レイアウト編集方法およびプログラム - Google Patents

レイアウト編集装置、レイアウト編集方法およびプログラム Download PDF

Info

Publication number
JP5802255B2
JP5802255B2 JP2013254814A JP2013254814A JP5802255B2 JP 5802255 B2 JP5802255 B2 JP 5802255B2 JP 2013254814 A JP2013254814 A JP 2013254814A JP 2013254814 A JP2013254814 A JP 2013254814A JP 5802255 B2 JP5802255 B2 JP 5802255B2
Authority
JP
Japan
Prior art keywords
layout
editing
images
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013254814A
Other languages
English (en)
Other versions
JP2014199641A (ja
Inventor
啓 山路
啓 山路
中嶋 輝義
輝義 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013254814A priority Critical patent/JP5802255B2/ja
Priority to EP14158127.2A priority patent/EP2779099B1/en
Priority to CN201410088776.3A priority patent/CN104049838B/zh
Priority to US14/205,396 priority patent/US9471209B2/en
Publication of JP2014199641A publication Critical patent/JP2014199641A/ja
Application granted granted Critical
Publication of JP5802255B2 publication Critical patent/JP5802255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/60Creating or editing images; Combining images with text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Document Processing Apparatus (AREA)

Description

本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置、レイアウト編集方法およびプログラムに関するものである。
フォトブックは、ユーザが所有する複数の画像(画像データ)から所定数の画像を選択し、選択した所定数の画像を使用して、ユーザが希望するレイアウトの写真集(フォトアルバム)を作成したものである。近年では、ユーザが所有する複数の画像から自動的に所定数の画像を選択し、選択した所定数の画像を使用して、自動的にフォトブックのそれぞれのページのレイアウトを作成する自動レイアウト機能が提供されている。
従来のフォトブックでは、例えば、旅行、結婚式等の1つのイベントで撮影された数100枚程度の画像からフォトブックを作成することが想定されていた。これに対し、近年では、大量の画像を保有するものの、フォトブックを作成する時間がないユーザ等を対象として、例えば、記念アルバムとして、1年分の1000〜数1000枚という大量の画像からフォトブックを作成することが行われている。
自動レイアウト機能を使用せずにフォトブックのレイアウトを行う場合、例えば、画像解析を行って、お薦め画像を提示する等の選択アシスト機能を提供するものがある。しかし、1000〜数1000枚という大量の画像からフォトブックのレイアウトを作成する場合、ユーザは、その中から所望の画像を選択するのに非常に手間がかかるという問題がある。
一方、自動レイアウト機能を使用する場合、ユーザは、自動で作成されたレイアウトにおいて、画像の追加、削除等の編集処理を実施する。しかし、例えば、1500枚の画像から自動で200枚の画像を選択してフォトブックのレイアウトを自動で作成した場合でも、ユーザは、フォトブックに使用されていない1300枚の未使用画像を確認しながら画像の追加、削除を行うことになり、非常に手間がかかるという問題がある。
ここで、本発明に関連性のある先行技術文献として、特許文献1がある。
特許文献1は、ネットワークを介して画像を複数の閲覧者の情報処理装置に提供する画像管理装置に関するものであり、画像に対する閲覧者の行動パターンを閲覧者毎に個別の設定をするための設定手段と、設定手段により閲覧者毎に設定された行動パターンと提供された画像に対する閲覧者の過去の操作履歴とが一致している画像を検索する検索手段と、検索手段により検索された画像を画面に表示させる表示手段とを備える。
特開2009−265886号公報
特許文献1は、画像の閲覧者の行動パターンに基づいて画像の選別を行い、閲覧者のお気に入り度が高い画像を選別して表示するものである。これに対し、本発明は、ユーザによるレイアウトの編集結果に基づいてユーザの好みを推測し、推測したユーザの好みに基づいて、ユーザによるレイアウトの編集作業をアシストするものであり、フォトブックのレイアウト編集の簡易化を実現することが可能であるという違いがある。
本発明の目的は、前記従来技術の問題点を解消し、画像のレイアウト編集を行う場合に、ユーザが大量の未使用画像の中から所望の未使用画像を容易に選択することができるレイアウト編集装置、レイアウト編集方法およびプログラムを提供することにある。
上記目的を達成するために、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
レイアウトの編集画面を表示する画面表示部と、
レイアウトを編集するためのユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
複数の画像のそれぞれの画像解析を行う画像解析部と、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測部と、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価部と、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシスト部とを備え、
嗜好推測部は、複数の画像のうちのレイアウトに使用されていない未使用画像の中からユーザの指示に基づいてレイアウトに追加された1以上の追加画像のそれぞれに撮影されたそれぞれの人物の登場回数と、レイアウトからユーザの指示に基づいて削除された1以上の削除画像のそれぞれに撮影されたそれぞれの人物と同一人物の登場回数との差に基づいて、ユーザの好みとして、それぞれの人物の重要度を算出するものであることを特徴とするレイアウト編集装置を提供するものである。
また、嗜好推測部は、追加画像および削除画像のそれぞれに撮影されたそれぞれの人物の顔のサイズに応じて、重要度を重み付けするものであることが好ましい。
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
レイアウトの編集画面を表示する画面表示部と、
レイアウトを編集するためのユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
複数の画像のそれぞれの画像解析を行う画像解析部と、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測部と、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価部と、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシスト部とを備え、
嗜好推測部は、レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、ユーザの好みとしてそれぞれの人物の重要度を算出し、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が多い人物の重要度が、重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が少ない人物の重要度よりも高くなるように重要度を算出するものであることを特徴とするレイアウト編集装置を提供する
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
レイアウトの編集画面を表示する画面表示部と、
レイアウトを編集するためのユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
複数の画像のそれぞれの画像解析を行う画像解析部と、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測部と、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価部と、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシスト部とを備え、
嗜好推測部は、レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、ユーザの好みとしてそれぞれの人物の重要度を算出し、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日における登場日数が多い人物の重要度が、登場日数が少ない人物の重要度よりも高くなるように重要度を算出するものであることを特徴とするレイアウト編集装置を提供する
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
レイアウトの編集画面を表示する画面表示部と、
レイアウトを編集するためのユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
複数の画像のそれぞれの画像解析を行う画像解析部と、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測部と、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価部と、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシスト部とを備え、
嗜好推測部は、レイアウトに使用されている編集画像と、複数の画像のうちのレイアウトに使用されていない未使用画像とがユーザの指示に基づいて交換された場合、交換前後の画像に人物の顔が撮影されているかどうか、交換前後の画像に同一人物が撮影されているかどうか、交換前後の画像が類似画像かどうかに基づいて、ユーザの好みとして、交換前後の画像に撮影された人物の重要度、ならびに、交換前後の画像の場面および構図の重要度を算出するものであることを特徴とするレイアウト編集装置を提供する
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
レイアウトの編集画面を表示する画面表示部と、
レイアウトを編集するためのユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
複数の画像のそれぞれの画像解析を行う画像解析部と、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測部と、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価部と、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシスト部とを備え、
嗜好推測部は、レイアウトに使用されている編集画像と、複数の画像のうちのレイアウトに使用されていない未使用画像とがユーザの指示に基づいて交換された場合、交換前後の画像の撮影時刻、交換前後の画像の撮影場所、交換前後の画像に撮影された人物の顔のサイズ、交換前後の画像に撮影された人物の顔の位置、交換前後の画像に撮影された人物の顔の向き、交換前後の画像に撮影された人物の表情、交換前後の画像のシーン、交換前後の画像全体の色味、交換前後の画像が風景画なのか人物画なのか、のいずれかに基づいて、ユーザの好みを推測するものであることを特徴とするレイアウト編集装置を提供する
画面表示部は、さらに、複数の画像のうちのレイアウトに配置されていない未使用画像のうち、所定数の未使用画像の一覧を編集画面に表示するものであり、
編集アシスト部は、アシスト情報として、評価値が低い未使用画像よりも評価値が高い未使用画像を優先的に未使用画像の一覧内に表示させるものであることが好ましい。
また、編集アシスト部は、評価値が高い未使用画像を、評価値が低い未使用画像よりも未使用画像の一覧内の先頭側に配置して表示させるものであることが好ましい。
また、編集アシスト部は、評価値が高い未使用画像を、未使用画像の一覧内で識別表示させるものであることが好ましい。
また、編集アシスト部は、未使用画像の一覧内で、評価値が高い未使用画像にマークを付ける、評価値が高い未使用画像の表示枠の色を変更する、もしくは、評価値が高い未使用画像の表示サイズを変更することにより、識別表示するものであることが好ましい。
また、編集アシスト部は、レイアウトに使用されている編集画像のうちのユーザの指示に基づいて指定された所定の画像に応じて、所定数の未使用画像を切り換えて未使用画像の一覧内に表示させるものであることが好ましい。
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
レイアウトの編集画面を表示する画面表示部と、
レイアウトを編集するためのユーザの指示を入力する指示入力部と、
ユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
複数の画像のそれぞれの画像解析を行う画像解析部と、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測部と、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価部と、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシスト部とを備え、
画面表示部は、さらに、複数の画像のうちのレイアウトに配置されていない未使用画像のうち、所定数の未使用画像の一覧を編集画面に表示するものであり、
嗜好推測部は、ユーザの好みとして、複数の画像のそれぞれに撮影されたそれぞれの人物または場所の重要度を算出するものであり、
編集アシスト部は、レイアウトに使用されている編集画像のうちの重要度が低い人物または場所が撮影された画像がユーザの指示に基づいて指定された場合、アシスト情報として、重要度が低い人物または場所が撮影された、評価値が低い未使用画像よりも重要度が高い人物または場所が撮影された、評価値が高い未使用画像を優先的に未使用画像の一覧内に表示させるものであることを特徴とするレイアウト編集装置を提供する
さらに、ユーザの好みに基づいて、レイアウトを自動で作成する自動レイアウト部を備え、
編集アシスト部は、さらに、アシスト情報として、自動レイアウト部により作成されたレイアウトを画面表示部の編集画面に表示させるものであることが好ましい。
また、編集アシスト部は、さらに、ユーザの好みに基づいて、アシスト情報として、背景台紙、フレーム装飾、クリップアート、および、文字入れ用のフォントのうちの少なくとも1つを画面表示部の編集画面に表示させるものであることが好ましい。
また、複数のページからなるレイアウトを編集するレイアウト編集装置であって、
さらに、複数のページのそれぞれのレイアウトを自動で作成する自動レイアウト部を備え、
自動レイアウト部は、所定のページにおけるレイアウトの編集結果に基づいて、複数のページのうち、所定のページ以外のページのレイアウトを作成するものであることが好ましい。
また、複数のページからなるレイアウトを編集するレイアウト編集装置であって、
嗜好推測部は、複数のページのうちの2以上のページにわたるレイアウトの編集結果に基づいて、ユーザの好みを推測するものであることが好ましい。
また、複数のページからなるレイアウトを編集するレイアウト編集装置であって、
嗜好推測部は、複数のページのそれぞれにおけるレイアウトの編集時間に基づいて、ユーザの好みを推測するものであることが好ましい。
さらに、ユーザの好みのデータを保存する嗜好保存部を備え、
画像評価部は、嗜好保存部に保存されたユーザの好みのデータに基づいて、複数の画像のそれぞれの評価値を算出するものであることが好ましい。
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
指示入力部を介して入力される、レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
複数の画像のそれぞれの画像解析を行う画像解析ステップと、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測ステップと、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価ステップと、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシストステップとを含み、
嗜好推測ステップは、複数の画像のうちのレイアウトに使用されていない未使用画像の中からユーザの指示に基づいてレイアウトに追加された1以上の追加画像のそれぞれに撮影されたそれぞれの人物の登場回数と、レイアウトからユーザの指示に基づいて削除された1以上の削除画像のそれぞれに撮影されたそれぞれの人物と同一人物の登場回数との差に基づいて、ユーザの好みとして、それぞれの人物の重要度を算出することを特徴とするレイアウト編集方法を提供する。
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
指示入力部を介して入力される、レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
複数の画像のそれぞれの画像解析を行う画像解析ステップと、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測ステップと、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価ステップと、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシストステップとを含み、
嗜好推測ステップは、レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、ユーザの好みとしてそれぞれの人物の重要度を算出し、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が多い人物の重要度が、重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が少ない人物の重要度よりも高くなるように重要度を算出することを特徴とするレイアウト編集方法を提供する。
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
指示入力部を介して入力される、レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
複数の画像のそれぞれの画像解析を行う画像解析ステップと、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測ステップと、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価ステップと、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシストステップとを含み、
嗜好推測ステップは、レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、ユーザの好みとしてそれぞれの人物の重要度を算出し、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日における登場日数が多い人物の重要度が、登場日数が少ない人物の重要度よりも高くなるように重要度を算出することを特徴とするレイアウト編集方法を提供する。
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
指示入力部を介して入力される、レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
複数の画像のそれぞれの画像解析を行う画像解析ステップと、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測ステップと、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価ステップと、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシストステップとを含み、
嗜好推測ステップは、レイアウトに使用されている編集画像と、複数の画像のうちのレイアウトに使用されていない未使用画像とがユーザの指示に基づいて交換された場合、交換前後の画像に人物の顔が撮影されているかどうか、交換前後の画像に同一人物が撮影されているかどうか、交換前後の画像が類似画像かどうかに基づいて、ユーザの好みとして、交換前後の画像に撮影された人物の重要度、ならびに、交換前後の画像の場面および構図の重要度を算出することを特徴とするレイアウト編集方法を提供する。
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
指示入力部を介して入力される、レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
複数の画像のそれぞれの画像解析を行う画像解析ステップと、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測ステップと、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価ステップと、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシストステップとを含み、
嗜好推測ステップは、レイアウトに使用されている編集画像と、複数の画像のうちのレイアウトに使用されていない未使用画像とがユーザの指示に基づいて交換された場合、交換前後の画像の撮影時刻、交換前後の画像の撮影場所、交換前後の画像に撮影された人物の顔のサイズ、交換前後の画像に撮影された人物の顔の位置、交換前後の画像に撮影された人物の顔の向き、交換前後の画像に撮影された人物の表情、交換前後の画像のシーン、交換前後の画像全体の色味、交換前後の画像が風景画なのか人物画なのか、のいずれかに基づいて、ユーザの好みを推測することを特徴とするレイアウト編集方法を提供する。
また、本発明は、複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
レイアウトの編集画面を表示する画面表示ステップと、
指示入力部を介して入力される、レイアウトを編集するためのユーザの指示に基づいて、編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
複数の画像のそれぞれの画像解析を行う画像解析ステップと、
レイアウトの編集結果および画像解析の結果に基づいて、ユーザの好みを推測する嗜好推測ステップと、
ユーザの好みおよび画像解析の結果に基づいて、複数の画像のそれぞれの評価値を算出する画像評価ステップと、
複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部の編集画面に表示させる編集アシストステップとを含み、
画面表示ステップは、さらに、複数の画像のうちのレイアウトに配置されていない未使用画像のうち、所定数の未使用画像の一覧を編集画面に表示し、
嗜好推測ステップは、ユーザの好みとして、複数の画像のそれぞれに撮影されたそれぞれの人物または場所の重要度を算出し、
編集アシストステップは、レイアウトに使用されている編集画像のうちの重要度が低い人物または場所が撮影された画像がユーザの指示に基づいて指定された場合、アシスト情報として、重要度が低い人物または場所が撮影された、評価値が低い未使用画像よりも、重要度が高い人物または場所が撮影された、評価値が高い未使用画像を優先的に未使用画像の一覧内に表示させることを特徴とするレイアウト編集方法を提供する。
また、本発明は、上記に記載のレイアウト編集方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明は、上記に記載のレイアウト編集方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
本発明によれば、ユーザの好みに基づいて、ユーザによるレイアウトの編集作業をアシストすることにより、ユーザは、大量の未使用画像の中から所望の未使用画像を容易に選択することができるようになるため、編集作業を効率的に行うことができる。
本発明のレイアウト編集装置の構成を表す一実施形態のブロック図である。 図1に示すレイアウト編集装置の動作を表す一例のフローチャートである。 フォトブックのレイアウトの表示画面を表す一例の概念図である。 フォトブックのレイアウトの編集画面を表す一例の概念図である。 未使用画像のレイアウトへの追加、および、編集画像のレイアウトからの削除を行う様子を表す一例の概念図である。 AさんとBさんの二人が撮影された画像を表す一例の概念図である。 編集画像と未使用画像との入れ換えを行う様子を表す一例の概念図である。 Aさんの顔を含む領域を抽出する様子を表す一例の概念図である。 評価値が高い未使用画像に「★」マークを付けた様子を表す一例の概念図である。 重要度が低い人物が撮影された画像が選択された場合に、これに対応する未使用画像が未使用画像の一覧内に表示される様子を表す一例の概念図である。 1〜2ページのレイアウトの編集結果に基づいて、3〜4ページのレイアウトが変更される様子を表した一例の概念図である。
以下に、添付の図面に示す好適実施形態に基づいて、本発明のレイアウト編集装置、レイアウト編集方法およびプログラムを詳細に説明する。
図1は、本発明のレイアウト編集装置の構成を表す一実施形態のブロック図である。同図に示すレイアウト編集装置10は、複数の画像から選択された所定数の画像が所定の位置に配置された、フォトブックのそれぞれのページのレイアウトを編集するものであって、自動レイアウト部12と、指示入力部14と、レイアウト編集部16と、画像解析部18と、嗜好推測部20と、嗜好保存部22と、画像評価部24と、編集アシスト部26と、画面表示部28とによって構成されている。
自動レイアウト部12は、フォトブックで使用可能な複数の画像から、それぞれのページに対応する所定数の画像を選択して所定の位置に配置することにより、それぞれのページのレイアウトを自動で作成(自動レイアウト)する。
自動レイアウト部12は、例えば、フォトブックで使用可能な複数の画像を、撮影時刻、撮影位置等を含む画像データの付帯情報に基づいて所定数のグループに分割し、分割したグループ毎に、画像の評価値等に基づいて、グループに含まれる画像の中から所定数の画像を選択し、グループ毎に選択した所定数の画像を、グループに対応する1ないし2以上のページに配置(自動レイアウト)する。
なお、自動レイアウト方法は何ら限定されず、自動レイアウト部12は、従来公知の自動レイアウト方法を含む各種の自動レイアウト方法を利用して、フォトブックのそれぞれのページの自動レイアウトを行うことが可能である。
以下順に、指示入力部14は、フォトブックのそれぞれのページのレイアウトを編集するためのユーザの指示の他、レイアウト編集装置10を操作するための各種のユーザの指示を入力するためのものである。指示入力部14は、例えば、マウス、キーボード、タッチパネル等の入力手段であり、画面表示部28に表示されたレイアウトの表示画面や編集画面を操作して指示を入力することができるものが利用可能である。
ユーザは、フォトブックの作成時に、例えば、フォトブックのページ数、フォトブックで使用可能な複数の画像等の指示を指示入力部14を介して入力する。また、ユーザは、フォトブックのレイアウトの編集時に、例えば、レイアウト編集を行うページ、編集対象のページのレイアウトに使用されている編集画像、フォトブックで使用可能な複数の画像のうちのフォトブックに使用されていない未使用画像の指定、編集内容の指定等の指示を入力する。
続いて、レイアウト編集部16は、自動レイアウト部12により自動で作成され、画面表示部28の編集画面に表示されたフォトブックのそれぞれのページのレイアウトを、指示入力部14を介して入力されたユーザの指示に基づいて編集する。
画像解析部18は、フォトブックで使用可能な複数の画像のそれぞれについて、各種の画像解析を行って、例えば、画像に人物の顔があるかどうか(顔認識)、画像に人物の顔がある場合には、その人物の顔のサイズ、顔の位置、顔の向き、表情、画像に含まれる人物の数等を求め、さらに、シーン(屋内、屋外、夜景等)、画像全体の色味(明るさ、彩度、コントラスト等)、風景画なのか人物画なのか等を求める。
画像に人物の顔があるかどうかは、例えば、特開2004−348733号公報で引用されている、「H. Schneiderman et al., “A statistical method for 3d object detection applied to faces and cars,” in IEEE Conf. on Computer Vision and Pattern Recognition, 2000, pp. 746-51」に記載された、画像をウェーブレット変換することにより得られたDWT係数を用いた顔検出の手法を用いることができる。
顔のサイズは、例えば、顔領域内の画素数、顔領域の画像全体に対する割合、顔領域の画像の幅に対する割合等を用いて求めることができる。
顔の位置は、例えば、顔領域の中心の位置(例えば顔領域が矩形の場合、対角線の交点)の座標値の画像の横および縦方向の長さに対する割合を百分率にて表した値を使用することができる。
顔の向きは、例えば、顔領域に含まれる顔の向きが正面または横であることを表す情報を用いて求めることができる。また、顔の向きは顔領域からさらに目を検出し、検出した目が2つある場合には正面、1つの場合には横向きであるとしてもよい。また、顔領域から顔の向きを表す特徴量を求め、その特徴量を用いて顔の向きが正面か横かを決定するようにしてもよい。
表情については、例えば、特開2001−43345号公報に記載された手法を用いて、画像に含まれる顔が笑っているか、笑っていないかを判定する。具体的には、各種表情を呈している顔の画像について、表皮の動きのパターンに基づいて表情を識別するための特徴ベクトルをあらかじめ記憶しておき、対象となる画像から特徴ベクトルを算出し、これとあらかじめ記憶した特徴ベクトルとの距離を算出し、最も近い距離となる特徴ベクトルに対応する表情を、対象となる画像に含まれる顔の表情と判定する。
画像に含まれる人物の数、シーン、画像全体の色味、風景画なのか人物画なのか等については、従来公知の画像解析を含む各種の画像解析によって求めることができる。
続いて、嗜好推測部20は、レイアウト編集部16によるレイアウトの編集結果、および、画像解析部18による画像解析の結果に基づいて、ユーザの好み(編集意図、編集傾向)を推測する。
嗜好保存部22は、嗜好推測部20により推測されたユーザの好みのデータを保存する。
画像評価部24は、嗜好推測部20により推測されたユーザの好み、および、画像解析部18による画像解析の結果に基づいて、フォトブックで使用可能な複数の画像のそれぞれの評価値を算出する。嗜好保存部22にユーザの好みのデータが保存されている場合、画像評価部24は、嗜好推測部20により推測されたユーザの好みからではなく、嗜好保存部22に保存されたユーザの好みのデータに基づいて、それぞれの画像の評価値を算出することができる。
編集アシスト部26は、画像評価部24により算出された、フォトブックで使用可能な複数の画像のそれぞれの評価値に基づいて、ユーザによるレイアウトの編集作業をアシストするためのアシスト情報を画面表示部28の編集画面に表示させる。
画面表示部28は、自動レイアウト部12により自動で作成されたレイアウトの表示画面、レイアウト編集部16により編集されたレイアウトの編集画面を含む各種の画面を表示する。
次に、図2に示すフローチャートを参照しながら、ユーザがレイアウト編集を行う時のレイアウト編集装置10の動作を説明する。
ユーザが、フォトブックの作成条件、例えば、作成しようとするフォトブックのページ数、撮影期間等の指定によるフォトブックで使用可能な複数の画像等の指示を指示入力部14を介して入力すると、自動レイアウト部12により、フォトブックのそれぞれのページの自動レイアウトが行われる(ステップS1)。自動レイアウトが終了すると、例えば、図3に示すように、レイアウトの表示画面の初期画面として、自動レイアウト部12により作成されたフォトブックの見開きの1〜2ページのレイアウトが画面表示部28に表示される(ステップS2)。
図3は、フォトブックのレイアウトの表示画面を表す一例の概念図である。同図に示すレイアウトの表示画面30は、レイアウト表示エリア32と、指示入力エリア36とによって構成されている。
レイアウト表示エリア32には、自動作成されたフォトブックのそれぞれのページのレイアウトが表示される。同図には、レイアウトの表示画面30の初期画面として、見開きの1〜2ページのレイアウトに使用されている所定数の画像が表示されている。
指示入力エリア36には、ユーザが指示入力部14を介して各種の指示を入力するための各種のボタンが配置されている。例えば、ユーザが右向きボタン38をマウスでクリックしたり、タッチパネルでタッチしたりして選択すると、次のページのレイアウトが表示され、左向きボタン40を選択すると、前のページのレイアウトが表示される。また、「編集する」ボタン42を選択すると、編集対象のページのレイアウトの編集画面が表示される。「保存」ボタン44を選択すると、現在のレイアウトのデータが保存される。「戻る」ボタン46を選択すると、レイアウト自動作成前のフォトブック作成条件の入力画面が表示される。
続いて、ユーザが、指示入力部14を介して「編集する」ボタン42を選択してレイアウト編集の指示を入力すると、図4に示すように、ユーザにより指定された編集対象のページのレイアウトの編集画面50が画面表示部28に表示される(ステップS3)。
図4は、フォトブックのレイアウトの編集画面を表す一例の概念図である。同図に示すレイアウトの編集画面50は、レイアウト表示エリア32と、未使用画像表示エリア34と、指示入力エリア36とによって構成されている。
レイアウト表示エリア32には、編集対象のページのレイアウトが表示される。同図には、レイアウト編集の初期画面として、編集対象の見開きの1〜2ページのレイアウトに使用されている所定数の編集画像が表示されている。
未使用画像表示エリア34には、フォトブックで使用可能な複数の画像のうちのフォトブックに使用されていない未使用画像52のうち、所定数の未使用画像の一覧が縮小表示(サムネイル表示)される。編集画面50上には所定数の未使用画像52だけが表示されているが、ユーザが下向きボタン54を選択すると、次の所定数の未使用画像が表示され、上向きボタン56を選択すると、前の所定数の未使用画像が表示される。
指示入力エリア36には、ユーザが指示入力部14を介して各種の指示を入力するための各種のボタンが配置される。右向きボタン38、左向きボタン40、「保存」ボタン44は、図3の場合と同じである。「レイアウト変更」ボタン48を選択すると、編集対象のページのレイアウトが変更される。「戻る」ボタン46を選択すると、レイアウト編集前の自動レイアウト後の画面が表示される。
ユーザは、編集画面50において、指示入力部14を介して各種の指示を入力することにより、例えば、レイアウト表示エリア32に表示されたレイアウトの編集画像51の中から編集しようとする画像を選択し、選択した編集画像の回転、拡大/縮小、レイアウトからの削除、未使用画像との入れ換え等を行うことができる。また、ユーザは、未使用画像表示エリア34に表示された未使用画像52の中から所定の未使用画像を選択してレイアウトに追加することができる。さらに、ユーザは、レイアウトの変更、レイアウトのデータの保存等を行うことができる。
ユーザが指示入力部14を介して各種の指示を入力すると(ステップS4)、レイアウト編集部16により、指示入力部14を介して入力されたユーザの指示に基づいて、編集対象のページのレイアウトが編集される(ステップS5)。
次に、嗜好推測部20の動作を説明する。
まず、図5に矢印で示すように、ユーザが未使用画像表示エリア34からレイアウトに追加した未使用画像(追加画像)、および、ユーザがレイアウトから削除した編集画像(削除画像)に基づいて、嗜好推測部20がユーザの好みを推測する場合の動作を説明する。
この場合、嗜好推測部20は、レイアウト編集部16によるレイアウトの編集結果、および、画像解析部18による画像解析の結果に基づいて、未使用画像の中からユーザの指示に基づいてレイアウトに追加された1以上の追加画像のそれぞれに撮影されたそれぞれの人物の登場回数と、レイアウトからユーザの指示に基づいて削除された1以上の削除画像のそれぞれに撮影されたそれぞれの人物と同一人物の登場回数との差に基づいて、ユーザの好みとして、それぞれの人物の重要度を算出する。
例えば、表1に示すように、追加画像における人物の登場回数(追加回数)は、Aさんが4回、Bさんが10回、Cさんが1回、Dさんが0回、Eさんが12回、…、であり、削除画像における人物の登場回数(削除回数)は、Aさんが0回、Bさんが2回、Cさんが3回、Dさんが10回、Eさんが7回、…であるとする。従って、(追加回数−削除回数)は、Aさんが4回、Bさんが8回、Cさんが−2回、Dさんが−10回、Eさんが5回、…である。
この場合、嗜好推測部20は、(追加回数−削除回数)が多い人物ほど重要度の高い人物であると判断する。表1の例では、Bさんの重要度が最も高く、続いて、Eさん、Aさん、Cさん、Dさん、…の順に重要度が低くなると判断する。
そして、画像評価部24は、それぞれの人物の重要度および画像解析の結果に基づいて、Bさんが撮影されている画像の評価値を最も高く設定し、続いて、Eさん、Aさん、Cさん、Dさん、…の順に、それぞれの人物が撮影されている画像の評価値が低くなるように設定する。
なお、図6に示すように、ユーザが、例えば、AさんとBさんの二人が撮影された画像をレイアウトに追加した場合、嗜好推測部20は、Aさん、Bさんともに、登場回数を加算する(重要度を高くする)が、それぞれの追加画像に撮影された人物の顔のサイズに応じて、加算する登場回数(重要度)を重み付けしてもよい。図6の例の場合、Bさんよりも顔のサイズが大きいAさんの登場回数を+1回加算し、Bさんの登場回数を+0.5回加算する。画像を削除する場合も同様に登場回数を減算する。
また、嗜好推測部20は、フォトブック(レイアウト)に使用されている編集画像(フォトブックの使用画像)のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、ユーザの好みとして、それぞれの人物の重要度を判断してもよい。
表2は、追加回数、削除回数、(追加回数−削除回数)が、表1と同じ場合について、フォトブックの使用画像における人物の登場回数を示したものである。表2の例では、フォトブックの使用画像における人物の登場回数は、Aさんが20回、Bさんが10回、Cさんが8回、Dさんが20回、Eさんが8回、…である。
この場合、Dさんの(追加回数−削除回数)は−10回であるが、フォトブックの使用画像における人物の登場回数は20回と多いことから、嗜好推測部20は、ユーザは表情、場面などが気に入らない画像が多かったが、Dさんは重要度が高いと判断する。同様に、Aさんの重要度も高いと判断する。一方、Bさんの(追加回数−削除回数)は8回で最も多いが、フォトブックの使用画像における人物の登場回数は10回であるから、BさんはAさん、Dさんよりも重要度が低いと判断する。
また、嗜好推測部20は、重要度が高い人物との関係性に基づいて、他の人物の重要度を判断してもよい。
例えば、嗜好推測部20は、前述のように算出された、それぞれの人物の重要度に基づいて、さらに、重要度が低い人物よりも重要度が高い人物が撮影されている画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像における登場回数が多い人物の重要度が、登場回数が少ない人物の重要度よりも高くなるように重要度を算出してもよい。
この場合、嗜好推測部20は、重要度が高い人物と同じ画像に撮影されている人物は、重要度の高い人物と何らかの関係がある人物(関係人物)であり、同様に関係人物の重要度は高いと判断する。
また、嗜好推測部20は、前述のように算出された、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が多い人物の重要度が、登場回数が少ない人物の重要度よりも高くなるように重要度を算出してもよい。
例えば、重要度が高い人物が撮影されている画像の撮影日が、3/4、5/4、5/5、7/18の場合、嗜好推測部20は、これら全ての撮影日に撮影された全ての画像において登場回数が多い人物は関係人物であり、同様に重要度が高いと判断する。
また、嗜好推測部20は、前述のように算出された、それぞれの人物の重要度に基づいて、重要度が低い人物よりも重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、重要度が高い人物が撮影されている画像の撮影日における登場日数が多い人物の重要度が、登場日数が少ない人物の重要度よりも高くなるように重要度を算出してもよい。
例えば、重要度が高い人物が撮影されている画像の撮影日が、3/4、5/4、5/5、7/18の場合、嗜好推測部20は、これらの撮影日において、登場日数が多い人物は、重要度が高い人物の関係人物であり、同様に重要度が高いと判断する。
嗜好推測部20は、例えば、3/4に撮影された画像だけに登場している人物よりも、3/4および5/4に撮影された画像に登場している人物の方が重要度が高い、つまり、登場日数が多い人物ほど重要度が高い人物であると判断する。
また、嗜好推測部20は、レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの画像内容に基づいて、ユーザの好みとして、それぞれの人物の重要度を算出してもよい。
ここで、画像内容は、画像に撮影された中身の様子を表す情報であり、画像解析部18による画像解析により求められる。画像内容は何ら限定されないが、例えば、画像に人物が撮影されているのか、人物以外のオブジェクト(料理、子供のおもちゃ等)が撮影されているのか、どのようなシーン(夜景、屋外、夕景などの風景等)が撮影されているのか、画像の明るさやボケ具合はどの程度なのか、等を例示することができる。
例えば、「料理」の画像が一定枚数レイアウトに使用されている場合、嗜好推測部20は、ユーザの好みとして、「料理」が重要であると判断し、「料理」の画像の重要度を、それ以外のものが撮影されている画像の重要度よりも高くする。また、例えば、多少でもボケている画像が一枚もレイアウトに採用されていない場合、ユーザの好みとして、「ボケ具合」が重要と判断し、ボケが少ない画像の重要度を、ボケが多い画像の重要度よりも高くする。
続いて、図7に矢印で示すように、ユーザが、編集画像と未使用画像との入れ換えを行った交換前後の画像に基づいて、嗜好推測部20がユーザの好みを推測する場合の動作を説明する。
この場合、嗜好推測部20は、表3に示すように、交換前後の画像に人物の顔が撮影されているかどうか(人物が撮影されているかどうか)、交換前後の画像に同一人物が撮影されているかどうか、交換前後の画像が類似画像かどうかに基づいて、ユーザの好みとして、交換前後の画像に撮影された人物の重要度、ならびに、交換前後の画像の場面および構図の重要度を算出する。
No.1の場合、交換前後の画像ともに人物の顔が撮影され、かつ、同一人物であることから、嗜好推測部20は、交換前後の画像に撮影されている人物の重要度が高いと判断する。また、交換前後の画像は類似画像であることから、嗜好推測部20は、ユーザは変更前の画像に撮影されている人物の顔(表情)が不満で画像を入れ換えたのであり、場面や構図に不満はなく、その重要度は高いと判断する。
以下順に、No.2の場合、交換前後の画像ともに人物の顔が撮影され、かつ、同一人物であることから、嗜好推測部20は、No.1と同様に、交換前後の画像に撮影されている人物の重要度が高いと判断する。また、交換前後の画像が類似画像ではないことから、嗜好推測部20は、ユーザは変更前の画像に撮影されている場面や構図が不満で画像を入れ換えたのであり、変更前の画像の場面や構図の重要度は低いと判断する。
No.3の場合、交換前後の画像ともに人物の顔が撮影されているが、同一人物ではないことから、嗜好推測部20は、ユーザは変更前の画像に撮影されている人物が不満で画像を入れ換えたのであり、変更前の画像に撮影されている人物の重要度は低いと判断する。また、交換前後の画像は類似画像であることから、嗜好推測部20は、No.1と同様に、交換前後の画像の場面や構図の重要度は高いと判断する。
No.4の場合、交換前後の画像ともに人物の顔が撮影されているが、同一人物ではないことから、嗜好推測部20は、No.3と同様に、変更前の画像に撮影されている人物の重要度は低いと判断する。また、交換前後の画像は類似画像ではないことから、嗜好推測部20は、No.2と同様に、撮影前の画像に撮影されている場面や構図の重要度は低いと判断する。
No.5の場合、変更前の画像には人物の顔が撮影されているが、変更後の画像には人物の顔が撮影されていないことから、嗜好推測部20は、変更前の画像に撮影されている人物の重要度は低いと判断する。また、交換前後の画像は類似画像であることから、嗜好推測部20は、No.1と同様に、交換前後の画像の場面や構図の重要度は高いと判断する。
No.6の場合、変更前の画像には人物の顔が撮影されているが、変更後の画像には人物の顔が撮影されていないことから、嗜好推測部20は、No.5と同様に、変更前の画像に撮影されている人物の重要度が低いと判断する。また、交換前後の画像は類似画像ではないことから、嗜好推測部20は、No.2と同様に、撮影前の画像に撮影されている場面や構図の重要度が低いと判断する。
No.7の場合、変更前の画像には人物の顔が撮影されていないが、変更後の画像には人物の顔が撮影されていることから、嗜好推測部20は、変更後の画像に撮影されている人物の重要度が高いと判断する。また、交換前後の画像は類似画像であることから、嗜好推測部20は、No.1と同様に、交換前後の画像の場面や構図の重要度が高いと判断する。
No.8の場合、変更前の画像には人物の顔が撮影されていないが、変更後の画像には人物の顔が撮影されていることから、嗜好推測部20は、No.7と同様に、変更後の画像に撮影されている人物の重要度が高いと判断する。また、交換前後の画像は類似画像ではないことから、嗜好推測部20は、No.6と同様に、撮影前の画像に撮影されている場面や構図の重要度が低いと判断する。
なお、嗜好推測部20は、上記例に限らず、画像解析部18の解析結果を利用して、レイアウトの編集結果から、例えば、交換前後の画像の撮影時刻、交換前後の画像の撮影場所(GPS情報)、交換前後の画像に撮影された人物の顔のサイズ、交換前後の画像に撮影された人物の顔の位置、交換前後の画像に撮影された人物の顔の向き、交換前後の画像に撮影された人物の表情、交換前後の画像のシーン、交換前後の画像全体の色味、交換前後の画像が風景画なのか人物画なのか等に基づいてユーザの好みを推測し、推測したユーザの好みに基づいて、フォトブックで使用可能なそれぞれの画像の評価値を算出することができる。
例えば、嗜好推測部20は、交換前後の画像の撮影時刻が近いかどうか(所定時間内かどうか)に基づいて、交換前後の画像に撮影されている場面の重要度を判断する。例えば、交換前後の画像の撮影時刻が近い場合、交換前後の画像に撮影されている場面の重要度が高いと判断する。一方、交換前後の画像の撮影時刻が離れている場合、変更前の画像に撮影されている場面は重要度が低いと判断する。
また、嗜好推測部20は、交換前後の画像の撮影場所が近いかどうか(所定範囲内かどうか)に基づいて、交換前後の画像の撮影場所の重要度を判断する。例えば、交換前後の画像の撮影場所が近い場合、交換前後の画像の撮影場所の重要度が高いと判断する。一方、交換前後の画像の撮影場所が遠い場合、変更前の画像の撮影場所の重要度は低いと判断する。
ユーザには、例えば、「子供の顔はアップが好き」、「自分の顔がアップ過ぎるのは嫌い」などの好みがある。これに応じて、嗜好推測部20は、交換前後の画像に撮影された人物、顔のサイズ等に基づいて、顔のサイズについてのユーザの好みを判断する。
ユーザには、例えば、「顔が画面中心にある方が好き」、「顔が画面中心から少しずれている方が好き」などの好みがある。これに応じて、嗜好推測部20は、交換前後の画像に撮影された顔の位置に基づいて、顔の位置についてのユーザの好みを判断する。
ユーザには、例えば、「顔が正面を向いている方が好き」、「顔が少し斜めを向いている方が好き」などの好みがある。これに応じて、嗜好推測部20は、交換前後の画像に撮影された顔の向きに基づいて、顔の向きについてのユーザの好みを判断する。
ユーザには、例えば、「子供の顔は笑顔が好き」、「自分の顔は笑顔過ぎるのは嫌い」などの好みがある。これに応じて、嗜好推測部20は、交換前後の画像に撮影された人物、表情等に基づいて、表情についてのユーザの好みを判断する。
ユーザには、例えば、「屋内の画像が好き」、「屋外の画像が好き」、「夜景が好き」などの好みがある。これに応じて、嗜好推測部20は、交換前後の画像のシーンに基づいて、シーンについてのユーザの好みを判断する。
ユーザには、例えば、「淡い画像が好き」、「コントラストの強い画像が好き」などの好みがある。これに応じて、嗜好推測部20は、交換前後の画像の明るさ、彩度、コントラスト等に基づいて、画像全体の色味についてのユーザの好みを判断する。
ユーザには、「風景画が好き」、「人物画が好き」などの好みがある。これに応じて、嗜好推測部20は、交換前後の画像に撮影されている人物、風景等に基づいて、人物画/風景画についてのユーザの好みを判断する。
また、ユーザが、レイアウトに使用されている編集画像のうち、2以上の人物が撮影された画像からユーザの指示に基づいて所定の人物を含む領域だけを抽出してレイアウトに配置した場合、嗜好推測部20は、抽出された所定の人物の重要度が、その画像に撮影された2以上の人物のうち、所定の人物以外の人物の重要度よりも高くなるように重要度を算出してもよい。
例えば、図8に点線で示すように、AさんとBさんの二人が撮影された画像からAさんの顔を含む点線の領域を抽出し拡大してレイアウトに配置した場合、嗜好推測部20は、BさんよりもAさんの重要度が高いと判断する。
また、嗜好推測部20は、複数ページにわたるレイアウトの編集結果からユーザの好みを推測してもよい。
例えば、ユーザが、Aさんが撮影された画像を全ページに追加する等、全ページにわたって同じレイアウト編集を行った場合、嗜好推測部20は、そのレイアウトの編集結果を最優先してユーザの好みを推測し、Aさんが撮影された画像の評価値を優先的に高くする。一方、ユーザが、あるページではAさんが撮影されている画像を追加し、別のページではAさんが撮影された画像を削除した場合、嗜好推測部20は、Aさんが撮影された画像の評価値を下げる。
また、嗜好推測部20は、各ページの編集時間に基づいて、各ページの重要度を判断してもよい。
例えば、ユーザがあまり時間をかけずにレイアウト編集を完了したページは、ユーザに迷いがないと考えられる。例えば、明らかに関連のない人物が画像に撮影されている場合、ユーザは、その画像を時間をかけずにすぐに削除する。これに応じて、嗜好推測部20は、そのページのレイアウトの編集結果の重要度が高いと判断し、そのページのレイアウトの編集結果から推測されるユーザの好みの優先度を高くする。
一方、ユーザが時間をかけてレイアウト編集を実施したページは、ユーザが悩んで判断したと考えられる。例えば、親しい友人のAさん、Bさんがいて、あるページではAさんが撮影された画像を使用したとしても、別のページではBさんが撮影された画像を使用したくなる可能性もある。これに応じて、嗜好推測部20は、そのページのレイアウトの編集結果の重要度が低いと判断し、そのページのレイアウトの編集結果から推測されるユーザの好みの優先度を低くする。
次に、編集アシスト部26の動作を説明する。
編集アシスト部26は、画像評価部24により算出された、フォトブックで使用可能な複数の画像のそれぞれの評価値に基づいて、例えば、未使用画像の一覧の表示方法を変更する等、ユーザによるレイアウトの編集作業をアシストする。
例えば、編集アシスト部26は、未使用画像表示エリア34に縮小表示されている未使用画像の一覧において、ユーザにとって重要度の高い画像、つまり、評価値が高い画像を優先的に表示させ、評価値が低い未使用画像を表示する優先度を下げる。言い換えると、編集アシスト部26は、評価値が低い未使用画像よりも評価値が高い未使用画像を優先的に未使用画像の一覧内に表示させる。
編集アシスト部26は、例えば、評価値が高い未使用画像を、評価値が低い未使用画像よりも優先して未使用画像の一覧内の先頭側に配置して表示させたり、評価値が高い未使用画像を、未使用画像の一覧内で識別表示、例えば、図9に示すように、評価値が高い未使用画像に「★」等のマークを付けさせたり、評価値が高い未使用画像の表示枠の色を変更させたり、評価値が高い未使用画像の表示サイズを変更(評価値が高い未使用画像の表示サイズを大きく)させたりする。逆に、編集アシスト部26は、評価値が低い未使用画像を、例えば、未使用画像の一覧の後ろ側へ移動させたり、表示させないようにする。
また、編集アシスト部26は、レイアウトに使用されている編集画像のうちのユーザの指示に基づいて指定された所定の編集画像に応じて、未使用画像の一覧内に表示させる未使用画像を切り換えてもよい。
例えば、嗜好推測部20が、ユーザの好みとして、フォトブックで使用可能な複数の画像のそれぞれに撮影されたそれぞれの人物の重要度を算出する場合、編集アシスト部26は、図10に太枠で示すように、レイアウトに使用されている編集画像のうちの重要度が低い人物が撮影された画像がユーザの指示に基づいて選択された場合、その重要度が低い人物が撮影された画像よりも重要度が高い人物が撮影された未使用画像を未使用画像の一覧内に優先的に表示させる。人物が場所の場合も同様である。
また、編集アシスト部26は、未使用画像の一覧の表示方法を変更するだけでなく、アシスト情報として、自動レイアウト部12により作成されたレイアウトを画面表示部28の編集画面に表示させてもよい。
例えば、フォトブックの所定のページにおいて、ユーザがそのページのレイアウトを編集している場合に、自動レイアウト部12は、ユーザの好みに基づいて、自動で画像を選択し、選択した画像を使用してレイアウトを作成する。そして、編集アシスト部26は、アシスト情報として、自動レイアウト部12により作成されたレイアウトを画面表示部28の編集画面に表示させる。
これにより、ユーザは、編集アシスト部26により提案されたレイアウトをそのまま採用したり、あるいは、編集アシスト部26により提案されたレイアウトを参考にして、編集中のレイアウトをさらに編集したりすることができる。
さらに、編集アシスト部26は、ユーザの好みに基づいて、アシスト情報として、背景台紙、フレーム装飾、クリップアート、文字入れ用のフォント等の装飾パーツを画面表示部28の編集画面に表示させてもよい。
編集アシスト部26は、例えば、「子供」の重要度が高い場合には、子供向けの背景台紙を優先的に表示させたり、「料理」の画像の重要度が高い場合には、「料理」の画像をアピールするフレーム装飾を優先的に表示させたりする。
これにより、ユーザは、編集アシスト部26により提案された装飾パーツを使用して、編集中のレイアウトを装飾することができる。
また、本実施形態のフォトブックのように、レイアウト編集装置10が、複数のページからなるレイアウトを編集するものである場合、自動レイアウト部12は、図11に示すように、所定のページにおけるレイアウトの編集結果に基づいて、複数のページのうち、所定のページ以外のページのレイアウトを作成してもよい。例えば、ユーザが、見開きの1〜2ページでAさんの画像を中心に追加した場合、自動レイアウト部12は、見開きの3〜4ページ以降のページのレイアウトをAさん中心のレイアウトに変更する。
また、本実施形態のフォトブックのように、レイアウト編集装置10が、複数のページからなるレイアウトを編集するものである場合、嗜好推測部20は、複数のページのうちの2以上のページにわたるレイアウトの編集結果に基づいて、ユーザの好みを推測してもよい。もしくは、嗜好推測部20は、複数のページのそれぞれにおけるレイアウトの編集時間に基づいて、ユーザの好みを推測してもよい。
上記のように、ユーザの好みに基づいて、ユーザによるレイアウトの編集作業をアシストすることにより、ユーザは、大量の未使用画像の中から所望の未使用画像を容易に選択することができるようになるため、編集作業を効率的に行うことができる。
上記実施形態では、本発明を、複数のページからなるフォトブックに適用した場合を説明したが、本発明はこれに限定されず、複数のページからなることは必須ではなく、1ページからなるレイアウトにも同様に適用可能である。
また、本発明のレイアウト編集方法は、その各ステップをコンピュータに実行させるためのプログラムとして実現することができる。また、このプログラムが記録されたコンピュータ読取可能な記録媒体としてもよい。
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
10 レイアウト編集装置
12 自動レイアウト部
14 指示入力部
16 レイアウト編集部
18 画像解析部
20 嗜好推測部
22 嗜好保存部
24 画像評価部
26 編集アシスト部
28 画面表示部
30 レイアウトの表示画面
32 レイアウト表示エリア
34 未使用画像表示エリア
36 指示入力エリア
38 右向きボタン
40 左向きボタン
42 「編集する」ボタン
44 「保存」ボタン
46 「戻る」ボタン
48 「レイアウト変更」ボタン
50 レイアウトの編集画面
51 編集画像
52 未使用画像
54 下向きボタン
56 上向きボタン

Claims (26)

  1. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
    前記レイアウトの編集画面を表示する画面表示部と、
    前記レイアウトを編集するためのユーザの指示を入力する指示入力部と、
    前記ユーザの指示に基づいて、前記画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
    前記複数の画像のそれぞれの画像解析を行う画像解析部と、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測部と、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価部と、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシスト部とを備え、
    前記嗜好推測部は、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像の中から前記ユーザの指示に基づいて前記レイアウトに追加された1以上の追加画像のそれぞれに撮影されたそれぞれの人物の登場回数と、前記レイアウトから前記ユーザの指示に基づいて削除された1以上の削除画像のそれぞれに撮影された前記それぞれの人物と同一人物の登場回数との差に基づいて、前記ユーザの好みとして、前記それぞれの人物の重要度を算出するものであることを特徴とするレイアウト編集装置。
  2. 前記嗜好推測部は、前記追加画像および前記削除画像のそれぞれに撮影されたそれぞれの人物の顔のサイズに応じて、前記重要度を重み付けするものである請求項に記載のレイアウト編集装置。
  3. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
    前記レイアウトの編集画面を表示する画面表示部と、
    前記レイアウトを編集するためのユーザの指示を入力する指示入力部と、
    前記ユーザの指示に基づいて、前記画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
    前記複数の画像のそれぞれの画像解析を行う画像解析部と、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測部と、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価部と、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシスト部とを備え、
    前記嗜好推測部は、前記レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、前記ユーザの好みとして前記それぞれの人物の重要度を算出し、前記それぞれの人物の重要度に基づいて、前記重要度が低い人物よりも前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が多い人物の重要度が、前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が少ない人物の重要度よりも高くなるように前記重要度を算出するものであることを特徴とするレイアウト編集装置。
  4. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
    前記レイアウトの編集画面を表示する画面表示部と、
    前記レイアウトを編集するためのユーザの指示を入力する指示入力部と、
    前記ユーザの指示に基づいて、前記画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
    前記複数の画像のそれぞれの画像解析を行う画像解析部と、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測部と、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価部と、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシスト部とを備え、
    前記嗜好推測部は、前記レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、前記ユーザの好みとして前記それぞれの人物の重要度を算出し、前記それぞれの人物の重要度に基づいて、前記重要度が低い人物よりも前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、前記重要度が高い人物が撮影されている画像の撮影日における登場日数が多い人物の重要度が、前記登場日数が少ない人物の重要度よりも高くなるように前記重要度を算出するものであることを特徴とするレイアウト編集装置。
  5. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
    前記レイアウトの編集画面を表示する画面表示部と、
    前記レイアウトを編集するためのユーザの指示を入力する指示入力部と、
    前記ユーザの指示に基づいて、前記画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
    前記複数の画像のそれぞれの画像解析を行う画像解析部と、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測部と、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価部と、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシスト部とを備え、
    前記嗜好推測部は、前記レイアウトに使用されている編集画像と、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像とが前記ユーザの指示に基づいて交換された場合、交換前後の画像に人物の顔が撮影されているかどうか、前記交換前後の画像に同一人物が撮影されているかどうか、前記交換前後の画像が類似画像かどうかに基づいて、前記ユーザの好みとして、前記交換前後の画像に撮影された人物の重要度、ならびに、前記交換前後の画像の場面および構図の重要度を算出するものであることを特徴とするレイアウト編集装置。
  6. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
    前記レイアウトの編集画面を表示する画面表示部と、
    前記レイアウトを編集するためのユーザの指示を入力する指示入力部と、
    前記ユーザの指示に基づいて、前記画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
    前記複数の画像のそれぞれの画像解析を行う画像解析部と、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測部と、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価部と、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシスト部とを備え、
    前記嗜好推測部は、前記レイアウトに使用されている編集画像と、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像とが前記ユーザの指示に基づいて交換された場合、交換前後の画像の撮影時刻、前記交換前後の画像の撮影場所、前記交換前後の画像に撮影された人物の顔のサイズ、前記交換前後の画像に撮影された人物の顔の位置、前記交換前後の画像に撮影された人物の顔の向き、前記交換前後の画像に撮影された人物の表情、前記交換前後の画像のシーン、前記交換前後の画像全体の色味、前記交換前後の画像が風景画なのか人物画なのか、のいずれかに基づいて、前記ユーザの好みを推測するものであることを特徴とするレイアウト編集装置。
  7. 前記画面表示部は、さらに、前記複数の画像のうちの前記レイアウトに配置されていない未使用画像のうち、所定数の未使用画像の一覧を前記編集画面に表示するものであり、
    前記編集アシスト部は、前記アシスト情報として、前記評価値が低い未使用画像よりも前記評価値が高い未使用画像を優先的に前記未使用画像の一覧内に表示させるものである請求項1〜のいずれか1項に記載のレイアウト編集装置。
  8. 前記編集アシスト部は、前記評価値が高い未使用画像を、前記評価値が低い未使用画像よりも前記未使用画像の一覧内の先頭側に配置して表示させるものである請求項に記載のレイアウト編集装置。
  9. 前記編集アシスト部は、前記評価値が高い未使用画像を、前記未使用画像の一覧内で識別表示させるものである請求項に記載のレイアウト編集装置。
  10. 前記編集アシスト部は、前記未使用画像の一覧内で、前記評価値が高い未使用画像にマークを付ける、前記評価値が高い未使用画像の表示枠の色を変更する、もしくは、前記評価値が高い未使用画像の表示サイズを変更することにより、前記識別表示するものである請求項に記載のレイアウト編集装置。
  11. 前記編集アシスト部は、前記レイアウトに使用されている編集画像のうちの前記ユーザの指示に基づいて指定された所定の画像に応じて、前記所定数の未使用画像を切り換えて前記未使用画像の一覧内に表示させるものである請求項に記載のレイアウト編集装置。
  12. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集装置であって、
    前記レイアウトの編集画面を表示する画面表示部と、
    前記レイアウトを編集するためのユーザの指示を入力する指示入力部と、
    前記ユーザの指示に基づいて、前記画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集部と、
    前記複数の画像のそれぞれの画像解析を行う画像解析部と、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測部と、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価部と、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシスト部とを備え、
    前記画面表示部は、さらに、前記複数の画像のうちの前記レイアウトに配置されていない未使用画像のうち、所定数の未使用画像の一覧を前記編集画面に表示するものであり、
    前記嗜好推測部は、前記ユーザの好みとして、前記複数の画像のそれぞれに撮影されたそれぞれの人物または場所の重要度を算出するものであり、
    前記編集アシスト部は、前記レイアウトに使用されている編集画像のうちの前記重要度が低い人物または場所が撮影された画像が前記ユーザの指示に基づいて指定された場合、前記アシスト情報として、前記重要度が低い人物または場所が撮影された、前記評価値が低い未使用画像よりも、前記重要度が高い人物または場所が撮影された、前記評価値が高い未使用画像を優先的に前記未使用画像の一覧内に表示させるものであることを特徴とするレイアウト編集装置。
  13. さらに、前記ユーザの好みに基づいて、前記レイアウトを自動で作成する自動レイアウト部を備え、
    前記編集アシスト部は、さらに、前記アシスト情報として、前記自動レイアウト部により作成されたレイアウトを前記画面表示部の編集画面に表示させるものである請求項7〜12のいずれか1項に記載のレイアウト編集装置。
  14. 前記編集アシスト部は、さらに、前記ユーザの好みに基づいて、前記アシスト情報として、背景台紙、フレーム装飾、クリップアート、および、文字入れ用のフォントのうちの少なくとも1つを前記画面表示部の編集画面に表示させるものである請求項7〜13のいずれか1項に記載のレイアウト編集装置。
  15. 複数のページからなるレイアウトを編集するレイアウト編集装置であって、
    さらに、前記複数のページのそれぞれのレイアウトを自動で作成する自動レイアウト部を備え、
    前記自動レイアウト部は、所定のページにおけるレイアウトの編集結果に基づいて、前記複数のページのうち、前記所定のページ以外のページのレイアウトを作成するものである請求項1〜12のいずれか1項に記載のレイアウト編集装置。
  16. 複数のページからなるレイアウトを編集するレイアウト編集装置であって、
    前記嗜好推測部は、前記複数のページのうちの2以上のページにわたるレイアウトの編集結果に基づいて、前記ユーザの好みを推測するものである請求項1〜15のいずれか1項に記載のレイアウト編集装置。
  17. 複数のページからなるレイアウトを編集するレイアウト編集装置であって、
    前記嗜好推測部は、前記複数のページのそれぞれにおけるレイアウトの編集時間に基づいて、前記ユーザの好みを推測するものである請求項1〜15のいずれか1項に記載のレイアウト編集装置。
  18. さらに、前記ユーザの好みのデータを保存する嗜好保存部を備え、
    前記画像評価部は、前記嗜好保存部に保存されたユーザの好みのデータに基づいて、前記複数の画像のそれぞれの評価値を算出するものである請求項1〜17のいずれか1項に記載のレイアウト編集装置。
  19. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
    指示入力部を介して入力される、前記レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
    前記複数の画像のそれぞれの画像解析を行う画像解析ステップと、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測ステップと、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価ステップと、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシストステップとを含み、
    前記嗜好推測ステップは、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像の中から前記ユーザの指示に基づいて前記レイアウトに追加された1以上の追加画像のそれぞれに撮影されたそれぞれの人物の登場回数と、前記レイアウトから前記ユーザの指示に基づいて削除された1以上の削除画像のそれぞれに撮影された前記それぞれの人物と同一人物の登場回数との差に基づいて、前記ユーザの好みとして、前記それぞれの人物の重要度を算出することを特徴とするレイアウト編集方法。
  20. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
    指示入力部を介して入力される、前記レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
    前記複数の画像のそれぞれの画像解析を行う画像解析ステップと、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測ステップと、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価ステップと、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシストステップとを含み、
    前記嗜好推測ステップは、前記レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、前記ユーザの好みとして前記それぞれの人物の重要度を算出し、前記それぞれの人物の重要度に基づいて、前記重要度が低い人物よりも前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が多い人物の重要度が、前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像における登場回数が少ない人物の重要度よりも高くなるように前記重要度を算出することを特徴とするレイアウト編集方法。
  21. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
    指示入力部を介して入力される、前記レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
    前記複数の画像のそれぞれの画像解析を行う画像解析ステップと、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測ステップと、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価ステップと、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシストステップとを含み、
    前記嗜好推測ステップは、前記レイアウトに使用されている編集画像のそれぞれに撮影されたそれぞれの人物の登場回数に基づいて、前記ユーザの好みとして前記それぞれの人物の重要度を算出し、前記それぞれの人物の重要度に基づいて、前記重要度が低い人物よりも前記重要度が高い人物が撮影されている画像の撮影日に撮影された画像に撮影されている人物のうち、前記重要度が高い人物が撮影されている画像の撮影日における登場日数が多い人物の重要度が、前記登場日数が少ない人物の重要度よりも高くなるように前記重要度を算出することを特徴とするレイアウト編集方法。
  22. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
    指示入力部を介して入力される、前記レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
    前記複数の画像のそれぞれの画像解析を行う画像解析ステップと、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測ステップと、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価ステップと、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシストステップとを含み、
    前記嗜好推測ステップは、前記レイアウトに使用されている編集画像と、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像とが前記ユーザの指示に基づいて交換された場合、交換前後の画像に人物の顔が撮影されているかどうか、前記交換前後の画像に同一人物が撮影されているかどうか、前記交換前後の画像が類似画像かどうかに基づいて、前記ユーザの好みとして、前記交換前後の画像に撮影された人物の重要度、ならびに、前記交換前後の画像の場面および構図の重要度を算出することを特徴とするレイアウト編集方法。
  23. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
    指示入力部を介して入力される、前記レイアウトを編集するためのユーザの指示に基づいて、画面表示部の編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
    前記複数の画像のそれぞれの画像解析を行う画像解析ステップと、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測ステップと、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価ステップと、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシストステップとを含み、
    前記嗜好推測ステップは、前記レイアウトに使用されている編集画像と、前記複数の画像のうちの前記レイアウトに使用されていない未使用画像とが前記ユーザの指示に基づいて交換された場合、交換前後の画像の撮影時刻、前記交換前後の画像の撮影場所、前記交換前後の画像に撮影された人物の顔のサイズ、前記交換前後の画像に撮影された人物の顔の位置、前記交換前後の画像に撮影された人物の顔の向き、前記交換前後の画像に撮影された人物の表情、前記交換前後の画像のシーン、前記交換前後の画像全体の色味、前記交換前後の画像が風景画なのか人物画なのか、のいずれかに基づいて、前記ユーザの好みを推測することを特徴とするレイアウト編集方法。
  24. 複数の画像から選択された所定数の画像が所定の位置に配置されたレイアウトを編集するレイアウト編集方法であって、
    前記レイアウトの編集画面を表示する画面表示ステップと、
    指示入力部を介して入力される、前記レイアウトを編集するためのユーザの指示に基づいて、前記編集画面に表示されたレイアウトを編集するレイアウト編集ステップと、
    前記複数の画像のそれぞれの画像解析を行う画像解析ステップと、
    前記レイアウトの編集結果および前記画像解析の結果に基づいて、前記ユーザの好みを推測する嗜好推測ステップと、
    前記ユーザの好みおよび前記画像解析の結果に基づいて、前記複数の画像のそれぞれの評価値を算出する画像評価ステップと、
    前記複数の画像のそれぞれの評価値に基づいて、前記ユーザによる前記レイアウトの編集作業をアシストするためのアシスト情報を前記画面表示部の編集画面に表示させる編集アシストステップとを含み、
    前記画面表示ステップは、さらに、前記複数の画像のうちの前記レイアウトに配置されていない未使用画像のうち、所定数の未使用画像の一覧を前記編集画面に表示し、
    前記嗜好推測ステップは、前記ユーザの好みとして、前記複数の画像のそれぞれに撮影されたそれぞれの人物または場所の重要度を算出し、
    前記編集アシストステップは、前記レイアウトに使用されている編集画像のうちの前記重要度が低い人物または場所が撮影された画像が前記ユーザの指示に基づいて指定された場合、前記アシスト情報として、前記重要度が低い人物または場所が撮影された、前記評価値が低い未使用画像よりも、前記重要度が高い人物または場所が撮影された、前記評価値が高い未使用画像を優先的に前記未使用画像の一覧内に表示させることを特徴とするレイアウト編集方法。
  25. 請求項19〜24のいずれか1項に記載のレイアウト編集方法の各ステップをコンピュータに実行させるためのプログラム。
  26. 請求項19〜24のいずれか1項に記載のレイアウト編集方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2013254814A 2013-03-13 2013-12-10 レイアウト編集装置、レイアウト編集方法およびプログラム Active JP5802255B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013254814A JP5802255B2 (ja) 2013-03-13 2013-12-10 レイアウト編集装置、レイアウト編集方法およびプログラム
EP14158127.2A EP2779099B1 (en) 2013-03-13 2014-03-06 Layout editing device, layout editing method and program thereof
CN201410088776.3A CN104049838B (zh) 2013-03-13 2014-03-11 布局编辑装置、布局编辑方法及存储介质
US14/205,396 US9471209B2 (en) 2013-03-13 2014-03-12 Layout editing device, layout editing method and recording medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013050651 2013-03-13
JP2013050651 2013-03-13
JP2013254814A JP5802255B2 (ja) 2013-03-13 2013-12-10 レイアウト編集装置、レイアウト編集方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014199641A JP2014199641A (ja) 2014-10-23
JP5802255B2 true JP5802255B2 (ja) 2015-10-28

Family

ID=50272321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013254814A Active JP5802255B2 (ja) 2013-03-13 2013-12-10 レイアウト編集装置、レイアウト編集方法およびプログラム

Country Status (4)

Country Link
US (1) US9471209B2 (ja)
EP (1) EP2779099B1 (ja)
JP (1) JP5802255B2 (ja)
CN (1) CN104049838B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210598B2 (en) 2015-06-17 2019-02-19 Samsung Electronics Co., Ltd. Electronic device for displaying a plurality of images and method for processing an image
JP6463231B2 (ja) 2015-07-31 2019-01-30 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6494503B2 (ja) * 2015-08-07 2019-04-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6606374B2 (ja) * 2015-08-07 2019-11-13 キヤノン株式会社 画像処理装置および方法およびプログラム
JP6537419B2 (ja) 2015-09-18 2019-07-03 富士フイルム株式会社 テンプレート選択システム,テンプレート選択方法,テンプレート選択プログラムおよびそのプログラムを格納した記録媒体
JP6453194B2 (ja) 2015-09-28 2019-01-16 富士フイルム株式会社 画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体
KR20170073068A (ko) * 2015-12-18 2017-06-28 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6598670B2 (ja) * 2015-12-24 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
JP6636406B2 (ja) * 2016-09-16 2020-01-29 富士フイルム株式会社 画像抽出システム,画像抽出方法およびそのプログラム
JP6632500B2 (ja) * 2016-09-16 2020-01-22 富士フイルム株式会社 画像表示装置、画像表示方法及びプログラム
CN110235174B (zh) * 2017-03-15 2024-05-31 富士胶片株式会社 图像评价装置、图像评价方法及记录介质
JP6891059B2 (ja) * 2017-07-03 2021-06-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US10671052B2 (en) * 2017-11-15 2020-06-02 Taiwan Semiconductor Manufacturing Co., Ltd. Synchronized parallel tile computation for large area lithography simulation
CN108112146A (zh) * 2017-12-14 2018-06-01 武汉泰康翔科技股份有限公司 一种照明系统的控制装置及方法
JP6924896B2 (ja) 2018-03-30 2021-08-25 富士フイルム株式会社 画像のレイアウト・サイズ算出装置および方法ならびに画像のレイアウト・サイズ算出プログラムおよびそのプログラムを格納した記録媒体
JP7139695B2 (ja) * 2018-06-01 2022-09-21 大日本印刷株式会社 考査処理装置及び考査処理方法
JP2019212202A (ja) 2018-06-08 2019-12-12 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体
KR102627658B1 (ko) * 2018-10-11 2024-01-22 삼성전자주식회사 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
CN110032700B (zh) * 2019-04-04 2021-09-07 网易(杭州)网络有限公司 信息发布控制方法、装置、存储介质及电子设备
JP7335186B2 (ja) * 2020-02-28 2023-08-29 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム
JP7435265B2 (ja) * 2020-05-29 2024-02-21 ブラザー工業株式会社 プログラム及び情報処理装置
USD1011359S1 (en) 2020-09-22 2024-01-16 Igt Display screen or portion thereof with graphical user interface
CN114119810B (zh) * 2021-11-29 2026-01-02 维沃移动通信有限公司 一种图像的填充方法、装置及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232917A (ja) * 1997-02-19 1998-09-02 Canon Inc リスト表示装置及び方法並びにプログラムを記録した媒体
JP2001043345A (ja) 1999-07-28 2001-02-16 Mitsubishi Electric Corp 表情認識装置、およびそれを用いた投薬制御システム、覚醒レベル評価システム、回復評価システム
US7343028B2 (en) 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
US20080205789A1 (en) * 2005-01-28 2008-08-28 Koninklijke Philips Electronics, N.V. Dynamic Photo Collage
JP2006253992A (ja) * 2005-03-10 2006-09-21 Fuji Photo Film Co Ltd 画像レイアウト装置および方法並びにプログラム
JP2007097090A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置
JP4945486B2 (ja) * 2008-03-18 2012-06-06 富士フイルム株式会社 画像重要度判定装置、アルバム自動レイアウト装置、プログラム、画像重要度判定方法およびアルバム自動レイアウト方法
JP2009265886A (ja) 2008-04-24 2009-11-12 Canon Inc 画像管理装置及びその制御方法、並びにプログラム
JP2009277177A (ja) * 2008-05-19 2009-11-26 Fujifilm Corp 画像レイアウト装置、記録媒体および画像レイアウト方法
JP5009864B2 (ja) * 2008-06-13 2012-08-22 富士フイルム株式会社 候補画像表示方法および装置ならびにプログラム
US8660378B2 (en) 2010-02-10 2014-02-25 Panasonic Corporation Image evaluating device for calculating an importance degree of an object and an image, and an image evaluating method, program, and integrated circuit for performing the same
JP5908849B2 (ja) * 2011-02-17 2016-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像評価装置、画像評価方法、プログラム、集積回路
JP5449460B2 (ja) * 2011-06-28 2014-03-19 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
EP2779099A2 (en) 2014-09-17
US9471209B2 (en) 2016-10-18
JP2014199641A (ja) 2014-10-23
CN104049838A (zh) 2014-09-17
CN104049838B (zh) 2018-12-04
US20140281965A1 (en) 2014-09-18
EP2779099A3 (en) 2015-06-10
EP2779099B1 (en) 2020-04-29

Similar Documents

Publication Publication Date Title
JP5802255B2 (ja) レイアウト編集装置、レイアウト編集方法およびプログラム
JP7487362B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7286392B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN102855906B (zh) 图像处理设备和图像处理方法
JP7286393B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7250567B2 (ja) 装置、方法、及びプログラム
US8212834B2 (en) Artistic digital template for image display
JP6009481B2 (ja) 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
JP2007097090A (ja) 画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置
US20110025709A1 (en) Processing digital templates for image display
CN109076137B (zh) 图像合成装置、图像合成方法及计算机可读取记录介质
JP4029636B2 (ja) オブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラム及び画像レイアウトプログラム、並びにオブジェクトレイアウト方法及び画像レイアウト方法
WO2011014233A1 (en) Image capture device with artistic template design
JP2014016818A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5883821B2 (ja) 画像検索装置およびその動作制御方法ならびに画像検索サーバ
JP6422409B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2011217125A (ja) 画像処理装置、画像処理方法およびプログラム
JP2010057073A (ja) アルバム作成装置及びアルバム作成プログラム
JP7336211B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2022123211A (ja) プログラム、画像処理装置、及び画像処理方法
US20240037623A1 (en) System and method for reducing similar photos from display and product design
JP2018124781A (ja) 情報処理装置、表示制御方法、及びプログラム
JP6681192B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN103425724A (zh) 信息处理设备和方法、计算机程序以及图像显示设备
JP2006314010A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150828

R150 Certificate of patent or registration of utility model

Ref document number: 5802255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250