JP7520535B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

近年、スマートフォンなどの携帯端末では、当該携帯端末のデジタルカメラ機能で撮影された画像の編集（加工）が、様々なアプリケーションを利用して行われている。携帯端末の高機能化に伴い、携帯端末で実行できるアプリケーションの種類が増えている。携帯端末で画像を編集する場合に、ユーザは、行いたい画像処理の種類などに応じて、携帯端末にインストールされた複数のアプリケーションのいずれかを選択し、選択したアプリケーションで画像を編集する。

特許文献１では、複数のアプリケーションを並列に実行可能であり、複数のアプリケーションの実行画面の中から選択された１つのアプリケーションの実行画面を表示面に表示させる携帯端末について開示されている。

特開２０１６－８６２６９号公報

しかしながら、従来の携帯端末では、複数のアプリケーションを利用して１つの画像に複数の処理を施す場合に、煩雑な操作が必要となる。一例として、第１のアプリケーションで画像に美肌処理を施した後、第２のアプリケーションで当該画像に背景ぼかし処理を施す場合を考える。この場合に、ユーザは、第１のアプリケーションで美肌処理を行った後、画像を一旦保存し、（第１のアプリケーションを終了し、）第２のアプリケーションを選択（および起動）する。そして、ユーザは、第２のアプリケーションで、第１のアプリケーションで美肌処理を施した画像を再び選択して表示し、背景ぼかしの処理を指定して実行し、画像を保存する。このように、複数のアプリケーションを利用して１つの画像に複数の画像処理を施す場合には、アプリケーションの選択や、画像の選択、画像の保存などのために、同じ操作を何度もユーザに行わせる必要があり、操作が煩雑である。

そこで本発明は、複数のアプリケーションを利用して１つの画像に処理を施す場合の操作性を向上することを目的とする。

本発明の画像処理装置は、撮影画像を取得する画像取得手段と、アプリケーションと、その機能である画像処理とを含むアクションを実行して、前記撮影画像を編集する編集手段と、前記撮影画像の撮影シーンの情報を取得する情報取得手段と、前記撮影画像に対するアクションの履歴を示す第１の履歴情報を取得する第１取得手段と、前記撮影画像の撮影シーンと同じまたは類似する撮影シーンの他の画像に対するアクションの履歴を少なくとも示す第２の履歴情報を取得する第２取得手段と、次に実行するアクションの候補を前記第１の履歴情報と前記第２の履歴情報とに基づいて決定し、決定した候補を通知するように制御する制御手段とを有することを特徴とする。

本発明によれば、複数のアプリケーションを利用して１つの画像に処理を施す場合の操
作性を向上することができる。

本実施形態に係る携帯端末のブロック図である。 本実施形態に係るアプリケーション処理などのフローチャートである。 本実施形態に係る各種画面の表示例を示す図である。 本実施形態に係る画像処理の一例を示す図である。 本実施形態に係る個人／全体履歴情報の一例を示す図である。 本実施形態に係るポイントの判断基準の一例を示す図である。 本実施形態に係る次アクション実行処理のフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。以下では、本発明を適用した画像処理装置の一例として、撮影機能を有する携帯端末（具体的にはカメラを有する携帯端末）について説明する。

＜構成＞
図１は、本実施形態に係る携帯端末１００の構成例を示すブロック図である。レンズ１０１は、被写体からの光（被写体光）を撮像部１０２に結像する。撮像部１０２は、ＣＣＤやＣＭＯＳ素子などで構成された撮像素子であり、結像された光学像を電気信号（画像データ）に変換する（光電変換）。Ａ／Ｄ変換器１０３は、アナログ信号をデジタル信号に変換する。認識処理部１０４は、撮影画像（撮像して記録した画像）の撮影シーンを解析する。画像処理部１０５は、Ａ／Ｄ変換器１０３から出力された画像データ（デジタル信号）に対し各種画像処理を施す。画像メモリ１０６には画像データが格納される。メモリ制御部１０７は、画像メモリ１０６に対する画像データの読み書きを制御する。Ｄ／Ａ変換器１０８は、デジタル信号をアナログ信号に変換する。表示部１０９はＬＣＤ（液晶ディスプレイ）などの表示器である。コーデック部１１０は、画像データの圧縮符号化や復号化を行う。Ｉ／Ｆ１１１は、記録媒体１１２とのインタフェースである。記録媒体１１２は、メモリカードやハードディスクなどである。システム制御部５０は、携帯端末１００の全体を制御する。操作部１２０は、ユーザによる操作（ユーザ操作）を受け付ける。不揮発性メモリ１２１はＥＥＰＲＯＭなどであり、不揮発性メモリ１２１にはプログラムやパラメータなどが格納される。システムメモリ１２２には、システム制御部５０の動作用の定数や変数、システム制御部５０が不揮発性メモリ１２１から読み出したプログラムなどが展開される。通信部１２３は、外部機器との通信を行う。

撮影時における携帯端末１００の基本動作について説明する。撮像部１０２は、レンズ１０１を介して入射した光を電気信号に変換し、得られた電気信号（アナログ画像信号）をＡ／Ｄ変換器１０３へ出力する。Ａ／Ｄ変換器１０３は、撮像部１０２から出力されたアナログ画像信号をデジタル画像信号に変換し、当該デジタル画像信号を画像処理部１０５に出力する。画像処理部１０５は、Ａ／Ｄ変換器１０３からの画像データ（デジタル画像信号）、又は、メモリ制御部１０７からの画像データに対し、ホワイトバランス調整などの色変換処理、γ処理、輪郭強調処理などを施す。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６には、撮像部１０２から出力されてＡ／Ｄ変換器１０３で変換された画像データや、表示部１０９に表示するための画像データなども格納される。Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納された表示用の画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。コーデック部１１０は、画像メモリ１０６に格納された記録（撮影）用の画像データに対して、ＪＰＥＧやＭＰＥＧなどの規格に基づく圧縮符号化を行う。システム制御部５０は、圧縮符号化後の画像データを、インタフェース１１１を介して記録媒体１１２に
格納する。コーデック部１１０が、圧縮符号化後の画像データとして、圧縮符号化の複数の規格にそれぞれ対応する複数の画像データを生成する場合には、システム制御部５０は、当該複数の画像データを互いに関連付けて記録媒体１１２に格納する。

上記の基本動作の他に、システム制御部５０は、不揮発性メモリ１２１に格納されたアプリケーションプログラムを実行することで、後述する各処理を実現する。その際、システム制御部５０は、システム制御部５０の動作用の定数や変数、不揮発性メモリ１２１から読み出したプログラムなどを、システムメモリ１２２に展開する。

＜アプリケーション処理＞
図２（Ａ）は、携帯端末１００で行われるアプリケーション処理の詳細を示すフローチャートである。アプリケーション処理は、アプリケーションを実行して画像を編集（加工）する処理である。具体的には、アプリケーション処理では、システム制御部５０は、アプリケーションを実行し、その機能である画像処理を、画像処理部１０５を用いて実行する。アプリケーション処理は、システム制御部５０が不揮発性メモリ１２１に格納されたプログラムをシステムメモリ１２２に展開して実行することにより実現される。例えば、携帯端末１００を起動すると、アプリケーション処理が開始する。

ステップＳ２０１では、システム制御部５０は、操作部１２０に対するユーザ操作に応じて、複数の画像処理アプリケーションのいずれかを起動（実行）する。図３（Ａ）は、表示部１０９におけるメニュー画面の表示例を示す。本実施形態では、システム制御部５０が表示部１０９などを制御することにより、表示部１０９で各種表示が行われる。メニュー画面には、携帯端末１００にインストールされた複数のアプリケーション（アプリケーションＡ～Ｆ）にそれぞれ対応する複数のアイコンが表示される。アプリケーションＡ～Ｆは、いずれも撮影画像を編集するための画像処理を実行可能な画像処理アプリケーションであるとする。システム制御部５０は、メニュー画面に表示された複数のアイコンのいずれかを指定（選択）するユーザ操作に応じて、指定されたアイコンに対応するアプリケーションを選択して起動する。そして、システム制御部５０は、起動したアプリケーションの画面（アプリケーション画面）を表示部１０９に表示する。本実施形態では、表示部１０９に表示された画面（表示画面）を、メニュー画面からアプリケーション画面に遷移させる（切り替える）とするが、画面の表示を継続して、新たな画面を追加で表示してもよい。図３（Ｂ）は、アプリケーションの起動後における、当該アプリケーションの画面の表示例を示す。

ステップＳ２０２では、システム制御部５０は、操作部１２０に対するユーザ操作に応じて、記録媒体１１２に格納された複数の画像のいずれかを開く（画像オープン；画像取得）。記録媒体１１２には、携帯端末１００で撮影された画像や、通信部１２３を介して外部機器から入力（取得）された画像などが格納される。システム制御部５０は、図３（Ｂ）の画面（アプリケーション画面）に表示された開くアイコン３０１を選択（指定）するユーザ操作に応じて、画像選択画面を表示部１０９に表示する。本実施形態では、表示部１０９の表示画面を、アプリケーション画面から画像選択画面に遷移させるとする。図３（Ｃ）は、画像選択画面の表示例を示す。画像選択画面には、記録媒体１１２に格納された複数の画像にそれぞれ対応する複数のサムネイルが表示される。システム制御部５０は、画像選択画面に表示された複数のサムネイルのいずれかを選択（指定）するユーザ操作に応じて、指定されたサムネイルに対応する画像を選択して開く。具体的には、システム制御部５０は、指定されたサムネイルに対応する画像を、アプリケーション画面に表示する。本実施形態では、表示部１０９の表示画面を画像選択画面からアプリケーション画面に戻し、当該アプリケーション画面に画像を表示するとする。図３（Ｄ）は、画像を開いた後におけるアプリケーション画面の表示例を示す。本実施形態では、アプリケーション画面に表示された画像（開いた画像）を編集することができる。編集対象の画像は特に
限定されないが、本実施形態では撮影画像が編集対象であるとする。

ステップＳ２０３では、システム制御部５０は、ステップＳ２０２で開いた画像を認識処理部１０４で解析し、当該画像の撮影シーンを判別する（シーン情報取得）。判別される撮影シーンは特に限定されないが、本実施形態では、撮影シーンが「人物（人物ポートレート）」、「風景（自然）」、「乗り物」、「動物」、「料理」のいずれであるかが判別されるとする。なお、撮影シーンを判別する処理には、既知の様々な技術を利用することができる。

ステップＳ２０４では、システム制御部５０は、操作部１２０に対するユーザ操作に応じて、アプリケーションの機能である画像処理の種類と、当該画像処理のパラメータ（処理パラメータ）とを決定する。そして、システム制御部５０は、決定した処理パラメータを用いて、決定した種類の画像処理を、編集対象の画像に施す。図３（Ｄ）のアプリケーション画面には、画像処理の種類を選択するためのアイコン３０２と、補正強度などの処理パラメータを調整するためのアイテム３０３とが表示されている。システム制御部５０は、アイコン３０２を指定（選択）するユーザ操作に応じて画像処理の種類を決定し、アイテム３０３に対するユーザ操作に応じて処理パラメータを決定する。本実施形態では、図４に示す７種類の画像処理（美肌処理、背景ぼかし処理、第１エフェクト処理（色フィルタ処理）、トリミング処理、レイアウト変更処理、ライティング処理、第２エフェクト処理（モノクロフィルタ処理））が行われ得るものとする。つまり、アプリケーションＡ～Ｆのそれぞれで、図４に示す７種類の画像処理のうちの少なくともいずれかが実行可能であるものとする。なお、実行可能な画像処理の種類や数は特に限定されず、図４に示されていない画像処理が実行可能であってもよい。また、本実施形態では、異なるアプリケーション間で類似する（同じ種類の）画像処理は、同じ画像処理とみなす。具体的には、図４に示すように、システム制御部５０は、画像処理の種類ごとの処理ＩＤを管理する。異なるアプリケーションで行われる画像処理であっても同じ種類の画像処理は、共通の処理ＩＤで管理される。

ステップＳ２０５では、システム制御部５０は、ステップＳ２０４で行ったアクションを示す画像履歴情報を生成し、編集対象の画像（編集後の画像；画像データ）に関連付けて記録媒体１１２に記録する。編集対象の画像に関連付けられた画像履歴情報が存在する場合には、システム制御部５０は、ステップＳ２０４で行ったアクションをさらに示すように、当該画像履歴情報を更新する。具体的には、ステップＳ２０４で画像処理が行われた後に、システム制御部５０は、図３（Ｄ）のアプリケーション画面に表示された保存アイコン３０４を指定（選択）するユーザ操作に応じて、画像履歴情報の生成や更新を行う。画像履歴情報は、例えば、画像のヘッダにメタデータとして記録される。アクションは、画像処理を行ったアプリケーションと、当該画像処理の種類との組み合わせであり、画像履歴情報は、対応する画像に対するアクションの履歴を示す情報である。本実施形態では、画像履歴情報は、１回のアクションに対応する情報として、アプリＩＤ（アプリケーションを示す識別子）、処理ＩＤ、及び、処理パラメータを含むとする。

ステップＳ２０６では、システム制御部５０は、ステップＳ２０３で判別した撮影シーンとステップＳ２０４で行ったアクションとに基づいて個人履歴情報を生成し、生成した個人履歴情報を記録媒体１１２または不揮発性メモリ１２１に記録する。個人履歴情報が存在する場合には、システム制御部５０は、ステップＳ２０３で判別した撮影シーンとステップＳ２０４で行ったアクションとに基づいて、当該個人履歴情報を更新する。個人履歴情報は、特定のユーザ（１人）によるアクションの履歴に基づく情報である。複数の画像に画像処理が行われると、個人履歴情報は、当該複数の画像に対するアクションの履歴に基づく情報となる。図５（Ａ）は個人履歴情報の一例を示す。図５（Ａ）の個人履歴情報は、撮影シーンごとに、行われたアクションを実行頻度順で示す。例えば、図５（Ａ）
の個人履歴情報は、撮影シーン「人物」について、アプリＩＤ＝Ａ０１１のアプリケーションを利用して処理ＩＤ＝Ｐ００１の美肌処理を行うアクションの実行頻度が最も高いことを示す。なお、図５（Ａ）には示されていないが、本実施形態では、個人履歴情報が処理パラメータも含むとする。

図２（Ａ）のアプリケーション処理によれば、アクションが実行される度に、当該アクションの情報が、画像履歴情報や個人履歴情報に反映（蓄積）される。

＜次アクション処理＞
図２（Ｂ）は、携帯端末１００で行われる次アクション処理の詳細を示すフローチャートである。次アクション処理は、編集対象の画像に対して次に実行するアクションの候補（アクション候補）をユーザに通知（提案）する処理を含む。次アクション処理は、システム制御部５０が不揮発性メモリ１２１に格納されたプログラムをシステムメモリ１２２に展開して実行することにより実現される。編集対象の画像に関する所定の処理を実行したタイミング、例えばアプリケーションで画像を開いた直後や、画像を保存した直後などの所定のタイミングで、次アクション処理が開始する。

ステップＳ２１１では、システム制御部５０は、図３（Ｅ）に示すように、アプリケーション画面に提案アイコン３０５を表示する。提案アイコン３０５は、次に実行するアクションの候補（アクション候補）をユーザに通知（提案）するためのアイコンである。提案アイコン３０５を指定（選択）するユーザ操作が行われると、ステップＳ２１２に進む。

ステップＳ２１２では、システム制御部５０は、編集対象の画像（現在開いている画像）の撮影シーンに基づいて、当該撮影シーンに対応したシーン履歴情報（個人履歴情報の一部など）を取得する。撮影シーンは、ステップＳ２０３と同様の処理（認識処理部１０４での解析）により判別される。取得されるシーン履歴情報は、編集対象の画像の撮影シーンと類似する又は同じ撮影シーンの画像に対するアクションの履歴に基づく履歴情報とも言える。本実施形態では、個人履歴情報と全体履歴情報のそれぞれから、シーン履歴情報が取得される。全体履歴情報は、個人履歴情報と同様に生成、記録、及び、更新される。全体履歴情報は個人履歴情報と同様の情報であるが、不特定のユーザ（１人または複数人）によるアクションの履歴に基づく情報である。全体履歴情報を参照することで、現在のユーザが普段利用していないアクションも候補として提示することができるため、当該ユーザが新たなアクションを発見することにもつながる。図５（Ｂ）は全体履歴情報の一例を示す。なお、個人履歴情報と全体履歴情報の一方のみからシーン履歴情報を取得してもよい。例えば、個人履歴情報に所定数以上のアクションが反映されていない場合には、全体履歴情報のみからシーン履歴情報を取得してもよい。

ステップＳ２１３では、システム制御部５０は、編集対象の画像の画像履歴情報を、当該画像のメタデータから取得する。

ステップＳ２１４では、システム制御部５０は、ステップＳ２１２で取得したシーン履歴情報と、ステップＳ２１３で取得した画像履歴情報とに基づいて、次に行うアクションの候補（アクション候補）を決定する。具体的には、システム制御部５０は、ステップＳ２１２で取得したシーン履歴情報と、ステップＳ２１３で取得した画像履歴情報とに基づいて、次に行うアクションの優先度を決定し、決定した優先度に基づいてアクション候補を決定する。本実施形態では、個人履歴情報（個人履歴情報から取得されたシーン履歴情報）に基づく優先度と、全体履歴情報（全体履歴情報から取得されたシーン履歴情報）に基づく優先度とのそれぞれが決定される。そして、個人履歴情報に基づくアクション候補と、全体履歴情報に基づくアクション候補とのそれぞれが決定される。

アクション候補の決定方法について具体的に説明する。個人履歴情報に基づくアクション候補と、全体履歴情報に基づくアクション候補とは、同様の処理により決定される。まず、システム制御部５０は、シーン履歴情報で示された複数のアクションのうち、実行頻度が高い側から第１の所定数（例えば１０個）のアクションを抽出する。次に、システム制御部５０は、抽出した各アクションについて、所定の判断基準に応じた優先度を算出する。本実施形態では、１つのアクションについて、図６（Ａ）に示す６種類の判断基準にそれぞれ応じた６つのポイントを算出し、当該６つのポイントの合計値を優先度として算出する。そして、システム制御部５０は、抽出した第１の数のアクションのうち、優先度が高い側から第２の数（第１の数よりも少ない数；例えば１～３個）のアクションを、アクション候補として決定する。なお、個人履歴情報に基づくアクション候補を決定する処理と、全体履歴情報に基づくアクション候補を決定する処理とで、第１の所定数と第２の所定数は異なってもよい。また、判断基準の数や種類は特に限定されない。

図６（Ａ）に示す判断基準について説明する。判断基準１（Ｎｏ．１の判断基準）は、優先度を算出するアクション（シーン履歴情報から抽出されたアクション；対象アクション）に対応する処理ＩＤが、画像履歴情報に含まれているか否かに応じたポイントの判断基準である。対象アクションの処理ＩＤが画像履歴情報に含まれている場合にはポイント＝０が決定され、含まれていない場合にはポイント＝２０が決定される。こうすることで、編集対象の画像に対して過去に施された画像処理と同じ種類の画像処理を含むアクションがアクション候補として決定されにくくなり、同じ種類の画像処理が画像に対して２重に施されるのを抑制できる。換言すれば、編集対象の画像に対して施されていない画像処理を含むアクションが、アクション候補として決定されやすくなる。

判断基準２は、対象アクションの実行頻度の順位（頻度順位）に応じたポイントの判断基準である。１０（上述した第１の所定数）から頻度順位を減算した値が、ポイントとして決定される。具体的には、対象アクションの頻度順位が１位の場合にはポイント＝９が決定され、２位の場合にはポイント＝８が決定される。そして、対象アクションの頻度順位が１０位の場合には、ポイント＝０が決定される。こうすることで、実行頻度が高いアクションが、アクション候補として決定されやすくなる。

判断基準３は、編集対象の画像に対して直前に施された画像処理（処理ＩＤ）と、対象アクションに含まれた画像処理（処理ＩＤ）との関係性に応じたポイントの判断基準である。編集対象の画像に対して直前に施された画像処理は、画像履歴情報から判断される。本実施形態では、図６（Ｂ）に示す関係情報が、記録媒体１１２または不揮発性メモリ１２１に予め記録される。図６（Ｂ）の関係情報は、編集対象の画像に対して直前に施される画像処理、対象アクションに含まれる画像処理、及び、ポイントの対応関係を示す。図６（Ｂ）の関係情報では、直前に施される画像処理と対象アクションに含まれる画像処理との関係性が高いほど高いポイント（関係性が低いほど低いポイント）が設定されている。例えば、直前に施された画像処理が美肌処理（処理ＩＤ＝Ｐ００１）であり、且つ、対象アクションに含まれた画像処理が背景ぼかし処理（処理ＩＤ＝Ｐ００２）である場合には、ポイント＝９が決定される。こうすることで、直前に施された画像処理との関係性（関係度）が高い画像処理を含むアクションが、アクション候補として決定されやすくなる。なお、図６（Ｂ）の関係情報は、固定の情報であってもよいし、アクションの履歴に基づいて更新される情報（統計的に決定される情報）であってもよい。

判断基準４，５は、携帯端末１００におけるアプリケーションの状態に基づくポイントの判断基準である。

判断基準４は、携帯端末１００が実行中のアプリケーション（フォアグラウンド）で対
象アクションが実行可能か否かに応じたポイント、つまり実行中のアプリケーションを対象アクションが含むか否かに応じたポイントの判断基準である。実行中のアプリケーションで対象アクションが実行できる場合には、アプリケーションの切り替えなどが不要となるため、実行できない場合に比べ高いポイントが決定される。例えば、実行中のアプリケーションで対象アクションが実行できる場合にはポイント＝５が決定され、実行できない場合にはポイント＝２が決定される。こうすることで、実行中のアプリケーションで実行可能なアクションが、アクション候補として決定されやすくなる。

判断基準５は、対象アクションに含まれたアプリケーションが携帯端末１００にインストールされているか否かに応じたポイントの判断基準である。対象アクションに含まれたアプリケーションが携帯端末１００にインストールされている場合には、アプリケーションのインストールなどが不要となるため、インストールされていない場合に比べ高いポイントが決定される。例えば、対象アクションに含まれたアプリケーションが携帯端末１００にインストールされている場合にはポイント＝５が決定され、インストールされていない場合にはポイント＝０が決定される。こうすることで、インストール済みのアプリケーションを含むアクションが、アクション候補として決定されやすくなる。

携帯端末１００は、アクションに依っては、編集対象の画像をクラウド端末などの外部機器に伝送し、当該アクションを外部機器に行わせる。判断基準６は、外部機器によるアクションの実行可否に基づくポイントの判断基準である。対象アクションが外部機器に行わせるアクションである場合に、対象アクションが実行可能であれば、実行不可能な場合に比べ高いポイントが決定される。例えば、携帯端末１００と外部との通信状態が良好でない場合（通信強度が所定の閾値以下の場合）など、外部機器によるアクションが安定して実行できない場合には、ポイント＝０が決定される。そして、携帯端末１００と外部との通信状態が良好な場合（通信強度が所定の閾値よりも高い場合）など、外部機器によるアクションが安定して実行できる場合には、ポイント＝５が決定される。対象アクションが外部機器に行わせるアクションでない場合（対象アクションが携帯端末１００で行うアクションである場合）には、外部機器によるアクションの実行可否に依らず、ポイント＝５が決定される。こうすることで、外部機器によるアクションが安定して実行できない場合に、当該アクションがアクション候補として決定されにくくなる。

図２（Ｂ）の説明に戻る。ステップＳ２１５では、システム制御部５０は、ステップＳ２１４で決定したアクション候補（アプリケーションと画像処理）をユーザに通知する。本実施形態では、表示部１０９における通知画面の表示によって通知が実現されるとするが、音声などを用いた他の方法で通知が実現されてもよい。図３（Ｆ）は通知画面の一例を示す。図３（Ｆ）の通知画面には、個人履歴情報に基づく２つのアクション候補３０６，３０７と、全体履歴情報に基づく１つのアクション候補３０８とが表示されている。なお、アクション候補の数は特に限定されない。

ステップＳ２１６では、システム制御部５０は、ステップＳ２１５で通知したアクション候補を指定（選択）するユーザ操作に応じて、当該アクション候補（アクション）を実行する（次アクション実行処理）。ステップＳ２１５で複数のアクション候補が通知された場合には、システム制御部５０は、通知された複数のアクション候補のいずれかを指定（選択）するユーザ操作に応じて、指定されたアクション候補（アクション）を実行する。次アクション実行処理の詳細は、図７のフローチャートを用いて後述する。

ステップＳ２１７では、システム制御部５０は、ステップＳ２０５と同様に、ステップＳ２１６で実行したアクションに応じて、画像履歴情報の生成、記録、更新などを行う。

ステップＳ２１８では、システム制御部５０は、ステップＳ２０６と同様に、ステップ
Ｓ２１６で実行したアクションに応じて、個人履歴情報の生成、記録、更新などを行う。なお、ステップＳ２０６，Ｓ２１８では、全体履歴情報の生成、記録、更新などをさらに行ってもよい。

ステップＳ２１９では、システム制御部５０は、ステップＳ２１６で実行したアクションの次に実行するアクション候補を通知するか否かを判定する。例えば、システム制御部５０は、図３（Ｅ）の提案アイコン３０５を指定（選択）するユーザ操作が行われた否かを判定する。次に実行するアクション候補を通知する場合（提案アイコン３０５を指定するユーザ操作が行われた場合）には、ステップＳ２１２に進む。次に実行するアクション候補を通知しない場合（提案アイコン３０５を指定するユーザ操作が行われなかった場合）には、次アクション処理を終了する。

＜次アクション実行処理＞
図７は、図２（Ｂ）のステップＳ２１６で行われる次アクション実行処理の詳細を示すフローチャートである。次アクション実行処理は、システム制御部５０が不揮発性メモリ１２１に格納されたプログラムをシステムメモリ１２２に展開して実行することにより実現される。

ステップＳ７０１では、システム制御部５０は、指定アクション（図２（Ｂ）のステップＳ２１６においてユーザ操作により指定されたアクション候補）が携帯端末１００で行うアクションであるか否かを判定する。指定アクションが携帯端末１００で行うアクションである場合にはステップＳ７０２に進み、指定アクションが外部機器に行わせるアクションである場合にはステップＳ７１０に進む。

ステップＳ７０２では、システム制御部５０は、実行中のアプリケーション（フォアグラウンド）で指定アクションが実行可能か否かを判定する。実行中のアプリケーションで指定アクションが実行できる場合にはステップＳ７０３に進み、実行中のアプリケーションで指定アクションが実行できない場合にはステップＳ７０４に進む。

ステップＳ７０３では、システム制御部５０は、指定アクションを実行する。指定アクションに含まれたアプリケーションは実行中であるため、実行中のアプリケーション内で、指定アクションに含まれた画像処理が実行される。

上述したように、本実施形態では、個人履歴情報や全体履歴情報に処理パラメータが含まれる。このため、システム制御部５０は、好適な処理パラメータを自動で設定して、指定アクションの画像処理を実行することができる。一例として、個人履歴情報や全体履歴情報で、アプリケーション、画像処理の種類、及び、処理パラメータの組み合わせがアクションとして管理されている場合を考える。この場合には、指定アクションに含まれた処理パラメータを自動で設定することができる。なお、この場合には、利用頻度が高い処理パラメータ（例えば処理パラメータの最頻値）を含むアクションがアクション候補として決定されやすいため、設定頻度が高い処理パラメータが設定されやすい。他の例として、個人履歴情報や全体履歴情報で、アプリケーションと画像処理の種類の組み合わせがアクションとして管理されている場合を考える。つまり、１つのアクションについて過去に設定された全ての処理パラメータが当該アクションに関連付けられている場合を考える。この場合は、指定アクションに関連付けられた処理パラメータの代表値（平均値、最頻値、中間値、最大値、最小値など）、つまり指定アクションの画像処理で過去に設定された処理パラメータの代表値を、自動で設定することができる。処理パラメータの利用履歴に基づいて好適な処理パラメータが自動で設定されることにより、ユーザが処理パラメータを指定する手間を低減することができる。

なお、指定アクションを実行する際には、デフォルトの処理パラメータが設定されてもよい。システム制御部５０は、指定アクションを実行する際に、処理パラメータを指定するユーザ操作を受け付け、指定された処理パラメータを設定してもよい。システム制御部５０は、ユーザ操作の種類に応じた方法で、処理パラメータを設定してもよい。例えば、表示部１０９がタッチ操作を受け付け可能な場合には、指などの操作体でアクション候補にタッチすることでアクション候補が指定（選択）されてもよい。その後、タッチを維持したまま操作体を所定方向（上下方向や左右方向など）に移動させるスライド操作により、処理パラメータが指定されてもよい。そして、操作体を表示部１０９から離した時の処理パラメータが設定されてもよい。一方で、操作体を移動させずに表示部１０９から離すタップ操作が行われた場合には、処理パラメータの利用履歴に基づく上記方法で処理パラメータが自動で設定されてもよい。

詳細は後述するが、本実施形態では、指定アクションがバックグラウンドで実行されることがある。指定アクションがフォアグラウンドで実行される場合も、バックグラウンドで実行される場合も、上記方法で処理パラメータを効率良く設定することができる。

ステップＳ７０４では、システム制御部５０は、指定アクションに含まれたアプリケーションが携帯端末１００にインストールされているか否かを判定する。インストールされている場合にはステップＳ７０６に進み、インストールされていない場合にはステップＳ７０５に進む。

ステップＳ７０５では、システム制御部５０は、指定アクションに含まれたアプリケーションを携帯端末１００にインストールする。このとき、システム制御部５０は、表示部１０９における確認表示（警告表示）などにより、インストールの可否をユーザに問い合わせてもよい。

ステップＳ７０６では、システム制御部５０は、指定アクション（指定アクションに含まれたアプリケーション）をバックグラウンドで実行するか、フォワグラウンドで実行するかを判定する。具体的には、システム制御部５０は、表示部１０９における確認表示などにより、指定アクションをバックグラウンドで実行するか、フォワグラウンドで実行するかをユーザに問い合わせる。バックグラウンドでの実行を指定するユーザ操作が行われた場合など、指定アクションをバックグラウンドで実行する場合には、ステップＳ７０７に進む。フォアグラウンドでの実行を指定するユーザ操作が行われた場合など、指定アクションをフォアグラウンドで実行する場合には、ステップＳ７０９に進む。

ステップＳ７０７では、システム制御部５０は、指定アクションをバックグラウンドで実行する。具体的には、システム制御部５０は、指定アクションに含まれたアプリケーションをバックグラウンドで起動し、編集対象の画像（現在開いている画像）をバックグラウンドのアプリケーションで開く。そして、システム制御部５０は、バックグラウンドのアプリケーションで、指定アクションに含まれた画像処理を編集対象の画像に施し、当該画像処理の結果（編集後の画像）を記録媒体１１２に保存する。

ステップＳ７０８では、システム制御部５０は、フォワグラウンドのアプリケーションで、ステップＳ７０７で画像処理が施された後の画像を開く。これにより、ユーザは、アプリケーションの切り替えを意識せずにアクション実行結果の画像を確認することができる。

ステップＳ７０９では、システム制御部５０は、指定アクションをフォアグラウンドで実行する。具体的には、フォアグランドのアプリケーションが、指定アクションに含まれたアプリケーションに切り替えられるように、システム制御部５０は、指定アクションに
含まれたアプリケーションをフォワグラウンドで起動する。そして、システム制御部５０は、フォアグラウンドのアプリケーションで、編集対象の画像を開き、指定アクションに含まれた画像処理を編集対象の画像に施す。

指定アクションの画像処理が外部機器に行わせる画像処理である場合のステップＳ７１０では、システム制御部５０は、通信部１２３を用いて、編集対象の画像と、指定アクションの情報（アクション情報）とを、外部機器に送信する。

ステップＳ７１１では、外部機器は、アクション情報に基づき、編集対象の画像に対して指定アクションを実行する。具体的には、外部機器は、指定アクションに含まれたアプリケーションと画像処理を実行する。そして、外部機器は、指定アクションの結果（編集後の画像）を携帯端末１００に送信する。

ステップＳ７１２では、システム制御部５０は、通信部１２３を用いて、指定アクションの結果（編集後の画像）を外部機器から受信する。そして、システム制御部５０は、受信した画像を、フォワグラウンドのアプリケーションで開く。

以上述べたとおり、本実施形態によれば、次に実行するアクションの候補が、以下の３つの情報に基づいて決定され、ユーザに通知される。
・編集対象の画像の撮影シーンを示すシーン情報
・編集対象の画像に対するアクションの履歴を示す画像履歴情報、
・編集対象の画像とは異なる画像に対するアクションの履歴に少なくとも基づく履歴情報（個人履歴情報や全体履歴情報）

これにより、複数のアプリケーションを利用して１つの画像に画像処理を施す場合の操作性を向上することができる。例えば、次に実行するアプリケーションをユーザが決める手間を軽減することができる。さらに、通知されたアクション候補をユーザが選択するだけで、次のアクションを実行することが可能となるため、アプリケーションの選択や切り替えなどによる操作の煩雑化を抑制することができる。

さらに、本実施形態によれば、異なるアプリケーション間で類似する画像処理は、同じ画像処理とみなされるため、より好適なアクションをアクション候補として通知することができる。例えば、編集対象の画像に対して過去に施された画像処理と同じ種類の画像処理を含むアクションがアクション候補として通知される、ということを抑制できる。その結果、ユーザは、編集対象の画像に対して過去に施された画像処理と異なる種類の画像処理を含むアクションなどの好適なアクションを、容易に選択することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、撮影画像（編集対象の画像）の撮影に関する撮影情報としてシーン情報を用いる例について説明したが、撮影情報はシーン情報に限られないし、複数の情報を含んでもよい。撮影情報は、撮影画像における被写体の特徴を示す他の情報を含んでもよい。撮影情報は、撮影画像を撮影した撮像装置に関する情報を含んでもよい。例えば、撮影情報は、撮影パラメータや、撮影場所、携帯端末（撮影を行った撮像装置）の機種、画像ファイルのフォーマット、被写体の明るさなどの少なくともいずれかを含んでもよい。撮影パラメータ（撮像パラメータ）は、感度やシャッタースピード、絞り、ホワイトバランスなどであり、撮影モードは、ポートレートモード、風景モードなど、ユーザが指定するモード
である。

また、次に行うアクションの優先度を決定する方法は、少なくとも処理ＩＤ（画像処理を示す情報）を用いた方法であればよく、上記方法に限られない。例えば、携帯端末１００が外部機器に接続されている場合には、外部機器での実行頻度が高いアクション（実行済みのアクションは除く）を優先的にアクション候補として決定してもよい。

また、個人履歴情報と全体履歴情報を用いる例について説明したが、他の履歴情報を用いてもよい。例えば、カメラ上級者のみによるアクションの履歴に基づく履歴情報を用いてもよい。この場合、上級者がよく使うアクションをアクション候補として通知でき、初心者ユーザが上級者のアクションを容易に再現することが可能となる。

また、画像履歴情報、個人履歴情報、全体履歴情報などの履歴情報で管理されるアクションの履歴は、過去全期間であってもよいし、そうでなくてもよい。例えば、履歴情報は、現在までの所定期間（例えば過去１週間）でのアクションの履歴に基づく情報であってもよい。この場合には、ユーザ（本人）や他人が最近よく実行したアクションをアクション候補として通知することが可能となる。

また、個人履歴情報は、特定のユーザ（個人）によるアクションの履歴に基づく情報であればよく、その構成は上記構成（図５（Ａ））に限られない。同様に、全体履歴情報は、不特定のユーザ（１人または複数人）によるアクションの履歴に基づく情報であればよく、その構成は上記構成（図５（Ｂ））に限られない。例えば、個人履歴情報や全体履歴情報では、各アプリケーション（各アプリＩＤ）の利用頻度と、各画像処理（各処理ＩＤ）の実行頻度とがそれぞれ独立して（個別に）管理されてもよい。この場合、例えば、実行頻度が最も高い画像処理をアクション候補の画像処理として決定し、決定した画像処理を実行可能なアプリケーションのうち、利用頻度が最も高いアプリケーションを、アクション候補のアプリケーションとして決定することが可能となる。これにより、ユーザが普段利用していない新たなアクションを提案（通知）できるようになる。

また、提案アイコン３０５（図３）を選択したタイミングでアクション候補を通知する例について説明したが、アクション候補を通知するタイミングはこれに限られない。例えば、編集対象の画像に関する所定の処理を実行したタイミング、例えばアプリケーションで画像を開いた直後や、画像を保存した直後などの所定のタイミングで、アクション候補を通知してもよい。これにより、アクション候補を確認するためだけの操作をユーザが行うという手間を省くことができる。

また、画像データのヘッダに画像履歴情報を記録する例について説明したが、画像データと画像履歴情報が互いに関連付けられて管理されれば、それらの管理方法は特に限定されない。例えば、画像データとは別のデータベースで画像履歴情報が管理されてもよい。

また、スマートフォンなどの撮影機能付き携帯端末に本発明を適用した例について説明したが、本発明を適用可能な画像処理装置（電子機器）はこれに限られない。画像編集機能を有する画像処理装置であれば、本発明は適用可能である。例えば、デジタルカメラに本発明を適用することも可能である。この場合には、上述の外部機器として、携帯電話端末、クラウド端末、他のデジタルカメラなどを用いることができる。これにより、携帯電話端末などの外部機器で頻繁に実行されているアクションを、本発明を適用したデジタルカメラに対する簡易なユーザ操作で当該外部機器に実行させることが可能となる。また、撮像部や表示部などは、本発明を適用した画像処理装置の外部機器に設けられてもよい。

また、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウ
ェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：携帯端末 ５０：システム制御部 １０４：認識処理部
１０５：画像処理部 １０９：表示部

Claims (15)

1. 撮影画像を取得する画像取得手段と、
   アプリケーションと、その機能である画像処理とを含むアクションを実行して、前記撮影画像を編集する編集手段と、
   前記撮影画像の撮影シーンの情報を取得する情報取得手段と、
   前記撮影画像に対するアクションの履歴を示す第１の履歴情報を取得する第１取得手段と、
   前記撮影画像の撮影シーンと同じまたは類似する撮影シーンの他の画像に対するアクションの履歴を少なくとも示す第２の履歴情報を取得する第２取得手段と、
   次に実行するアクションの候補を前記第１の履歴情報と前記第２の履歴情報とに基づいて決定し、決定した候補を通知するように制御する制御手段と
   を有することを特徴とする画像処理装置。
2. 前記制御手段は、前記第２の履歴情報で示されたアクションのうち、前記撮影画像に施されていない画像処理を含むアクションを、前記候補として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記画像処理装置におけるアプリケーションの状態にさらに基づいて、前記候補を決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記編集手段は、アクションに依っては、当該アクションを外部機器に行わせ、
   前記制御手段は、前記外部機器によるアクションの実行可否にさらに基づいて、前記候補を決定する
   ことを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記撮影画像に関する所定の処理を実行したタイミングで、前記候補を通知するように制御する
   ことを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
6. 異なるアプリケーション間で類似する画像処理は、同じ画像処理とみなされる
   ことを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記第１の履歴情報から判断される、前記撮影画像に対して直前に施された画像処理に基づいて、前記候補を決定する
   ことを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、前記第２の履歴情報で示されたアクションの実行頻度に基づいて、前記候補を決定する
   ことを特徴とする請求項１～７のいずれか１項に記載の画像処理装置。
9. 画像を取得する取得手段と、
   アプリケーションと、その機能である画像処理とを含むアクションを実行して、前記画像を編集する編集手段と、
   前記画像に対するアクションの履歴を示す履歴情報を生成する生成手段と、
   次に実行するアクションの候補を前記履歴情報に基づいて決定し、決定した候補を通知するように制御する制御手段と
   を有し、
   前記生成手段は、異なるアプリケーション間で類似する画像処理を同じ画像処理とみなして、前記履歴情報を生成する
   ことを特徴とする画像処理装置。
10. 前記制御手段は、前記画像に施されていない画像処理を含むアクションを、前記候補として決定する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記制御手段は、前記履歴情報から判断される、前記画像に対して直前に施された画像処理に基づいて、前記候補を決定する
    ことを特徴とする請求項９または１０に記載の画像処理装置。
12. 撮影画像を取得する画像取得ステップと、
    アプリケーションと、その機能である画像処理とを含むアクションを実行して、前記撮影画像を編集する編集ステップと、
    前記撮影画像の撮影シーンの情報を取得する情報取得ステップと、
    前記撮影画像に対するアクションの履歴を示す第１の履歴情報を取得する第１取得ステップと、
    前記撮影画像の撮影シーンと同じまたは類似する撮影シーンの他の画像に対するアクションの履歴を少なくとも示す第２の履歴情報を取得する第２取得ステップと、
    次に実行するアクションの候補を前記第１の履歴情報と前記第２の履歴情報とに基づいて決定し、決定した候補を通知するように制御する制御ステップと
    を有することを特徴とする画像処理方法。
13. 画像を取得する取得ステップと、
    アプリケーションと、その機能である画像処理とを含むアクションを実行して、前記画像を編集する編集ステップと、
    前記画像に対するアクションの履歴を示す履歴情報を生成する生成ステップと、
    次に実行するアクションの候補を前記履歴情報に基づいて決定し、決定した候補を通知するように制御する制御ステップと
    を有し、
    前記生成ステップでは、異なるアプリケーション間で類似する画像処理を同じ画像処理
    とみなして、前記履歴情報を生成する
    ことを特徴とする画像処理方法。
14. コンピュータを、請求項１～１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１～１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images