JP7212862B2 - 画像処理装置、画像処理方法、画像提供システム及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像提供システム及び画像処理プログラムに関する。

ＤＰＥ（Ｄｅｖｅｌｏｐｍｅｎｔ，Ｐｒｉｎｔｉｎｇ，Ｅｎｌａｒｇｅｍｅｎｔ）サービスに関して、様々な技術が提案されている。特許文献１は、先のプリント作成時の原画像の画像処理の情報と、この原画像の画像処理の情報に対応する原画像の情報をプリント作成時に検索するために用いられる検索情報とを記憶しておく技術を提案している。この技術によれば、先のプリントで再現された画像と、色や濃度が好適に一致する画像が再現された再プリントを、安定して簡易な操作で出力することができるとしている。特許文献２は、デジタルカメラ等で撮影した画像から、画像の一部を削除し、削除部分を補完画素で補填して補完画像を生成する際に、削除部が複雑な形状の画像で補完されるべき場合や、非削除部に存在しない画像で補完されるべき場合であっても、自然な補完画像を生成することができる画像処理方法を提案している。一方、特許文献３は、複数の動画の中から相関の高いオブジェクトを含む撮像画像を連続して表示する技術を提案している。この技術によれば、異なる撮像装置によって撮像された同一人物の画像を連続して表示させることができるとしている。

特開２０００－１０１８３３号公報 特開２００８－１９９５８７号公報 特開２００９－２６８０６５号公報

本願発明者は、幼稚園のお遊戯会や小学校の発表会等のイベントにおいて、写真や動画の撮影の負担で鑑賞が阻害されている状況に着目した。すなわち、幼稚園の園児等の父兄は、お遊戯会の鑑賞を望みつつも写真撮影等に忙殺されてしまう場合があるという問題があった。

本発明は、このような状況に鑑みてなされたものであり、イベントでの写真撮影の負担を軽減しつつ画質の向上と画角の調整とを可能としてユーザー所望の画像を提供することを目的とする。

本発明は、被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理装置を提供する。前記画像処理装置は、前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力部と、前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出部と、前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整部とを備える。

本発明は、被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供する画像提供システムを提供する。前記画像提供システムは、前記画像処理装置と、前記被写体としてのイベントを撮影して動画像データを取得する動画像データ取得装置とを備える。

本発明は、被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理方法を提供する。前記画像処理方法は、前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力工程と、前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出工程と、前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整工程とを備える。

本発明は、被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理装置を制御する画像処理プログラムを提供する。前記画像処理プログラムは、前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力部、前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出部、及び前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整部として画像処理装置を機能させる。

本発明によれば、イベントでの写真撮影の負担を軽減しつつ画質の向上と画角の調整とを可能としてユーザー所望の画像を提供する。

本発明の一実施形態に係る画像提供システムの機能構成を示すブロックダイアグラムである。 一実施形態に係る画像処理装置の機能構成を示すブロックダイアグラムである。 一実施形態に係る高画質画像提供処理の内容を示すフローチャートである。 一実施形態に係るアプリインストール処理の内容を示すフローチャートである。 一実施形態に係るアプリインストール画面を示す説明図である。 一実施形態に係る静止画像取得処理の内容を示すフローチャートである。 一実施形態に係るフレーム画像データ生成処理の内容を示すデータフローダイアグラムである。 一実施形態に係る画角調整処理を示す説明図である。 変形例に係る高画質画像提供処理の内容を示すフローチャートである。 変形例に係る画角調整処理を示す説明図である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像提供システム１０の機能構成を示すブロックダイアグラムである。画像提供システム１０は、クラウドコンピュータとして構成されている画像処理装置１００と、スマートフォン２００と、画像形成装置３００と、複数（この例では、５台）の業務用高解像ビデオカメラ４００（４００ａ乃至４００ｅ）と、パーソナルコンピュータ（単にＰＣとも呼ばれる。）５００と、ユーザー所有のデジタルカメラ６００（６００ａ及び６００ｂ）とを備えている。

業務用高解像ビデオカメラ４００は、高解像カメラや動画像データ取得装置とも呼ばれ、８Ｋカメラや１６Ｋカメラが利用可能である。この例では、複数の業務用高解像ビデオカメラ４００は、同一の被写体としてのお遊戯会を相互に相違する角度から撮影するようにセッティングされている。デジタルカメラ６００は、ズーム機能や望遠機能を有しているものとする。

画像処理装置１００は、インターネットを介して、画像形成装置３００と、業務用高解像ビデオカメラ４００とバーチャルプライベートネットワーク（ＶＰＮ）で接続されている。画像形成装置３００は、たとえばプリンター、多機能プリンター、又は複合機（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）である。

スマートフォン２００は、制御部２１０と、操作表示部２３０と、記憶部２４０と、通信インターフェース部（通信Ｉ／Ｆ部とも呼ばれる。）２５０と、撮像部２６０とを備えている。スマートフォン２００は、通信インターフェース部２５０を使用して画像形成装置３００やデジタルカメラ６００と近距離無線通信で接続される。近距離無線通信は、本実施形態では、ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ２を使用している。ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ２は、出力２．５ｍＷの通信であり、画像形成装置３００とスマートフォン２００との距離が１０ｍ以内程度での通信が可能な近距離無線通信である。

スマートフォン２００の操作表示部２３０は、ディスプレイ２３１と、操作処理部２３２とを備えている。ディスプレイ２３１は、タッチパネルとして機能し、様々なメニューを入力画面として表示する。操作処理部２３２は、タッチパネルとして機能するディスプレイ２３１や各種ボタンやスイッチ（図示せず）からユーザーの操作入力を受け付ける。

撮像部２６０は、Ｅｘｉｆ規格に対応し、原画像データの生成日時（ＤａｔｅＴｉｍｅＯｒｉｇｉｎａｌ）やＧＰＳデータを画像データファイルに格納する。原画像データの生成日時は、実質的に撮影日時として利用可能であり、撮影日時情報とも呼ばれる。これにより、スマートフォン２００で撮影された各画像データファイルは、撮影日時と位置を表す情報を自動的に格納することができる。Ｅｘｉｆ規格では、撮影日時は秒単位で記録される。

図２は、一実施形態に係る画像処理装置１００の機能構成を示すブロックダイアグラムである。画像処理装置１００は、制御部１１０と、記憶部１４０と、通信インターフェース部（通信Ｉ／Ｆ部とも呼ばれる。）１５０とを備えている。制御部１１０は、フレーム画像生成部１１１と、画像解析部１１２と、フレームメモリ１１３とを備えている。フレーム画像生成部１１１及び画像解析部１１２は、フレーム画像データ抽出部として機能する。

制御部１１０，２１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０，２１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備えている。制御部１１０は、画像処理装置１００の全体を制御する。制御部２１０は、スマートフォン２００の全体を制御する。

記憶部１４０，２４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、それぞれ制御部１１０，２１０が実行する処理の制御プログラムやデータを記憶する。記憶部１４０は、さらに、フレーム画像データを格納するための動画像データ格納領域１４１と、ユーザーデータベース１４２と、アプリケーションファイル１４３とを有している。動画像データ格納領域１４１には、業務用高解像ビデオカメラ４００で生成された動画像データが格納される。ユーザーデータベース１４２には、ユーザー情報とその決済情報とが登録される。

図３は、一実施形態に係る高画質画像提供処理の内容を示すフローチャートである。高画質画像提供処理は、デジタルカメラ６００で撮影された画像と同一シーンの高画質画像データを提供する処理である。高画質画像データは、画像処理装置１００を介して業務用高解像ビデオカメラ４００から提供される。この例では、幼稚園のお遊戯会における父兄の写真撮影が高画質画像提供処理の対象となるものとする。

ステップＳ１００では、スマートフォン２００は、アプリインストール処理を実行する。アプリインストール処理では、スマートフォン２００は、アプリケーションファイル１４３を使用して高画質画像提供処理に使用されるアプリをインストールする。パーソナルコンピュータ５００は、インストール用のビーコンパケットをブロードキャスト送信するものとする。

図４は、一実施形態に係るアプリインストール処理（ステップＳ１００）の内容を示すフローチャートである。図５は、一実施形態に係るアプリインストール画面を示す説明図である。お遊戯会は、予め撮影対象イベントとして開催日時及び場所とともに画像処理装置１００に登録されているものとする。

ステップＳ１１０では、スマートフォン２００は、お遊戯会の会場で高画質画像提供処理の提供業者がお遊戯会の会場に設置したパーソナルコンピュータ５００から送信されたビーコンパケットを受信する。ビーコンパケットには、ＢＳＳＩＤやＳＳＩＤ、チャネル（周波数）情報、サポートする転送速度の一覧といった無線通信の接続に必要な情報と、ビーコン送信間隔と、セキュリティ情報と、その他の情報とが含まれる。

ステップＳ１２０では、スマートフォン２００は、携帯端末接続処理を実行する。携帯端末接続処理では、スマートフォン２００は、携帯端末として自動的にパーソナルコンピュータ５００との無線通信を接続する。無線通信の接続は、一般に、ビーコンパケットから取得した情報を使用して、アソシエーション手続きや認証手続きを経て行われる。スマートフォン２００は、バイブレーションやスマートフォン２００のディスプレイ２３１へのユーザーインターフェース画面２３１ａの表示によるプッシュ通知を行って、お遊戯会が高画質画像提供サービスの提供対象であることをスマートフォン２００の所有者に通知する（図５参照）。

ステップＳ１３０では、パーソナルコンピュータ５００は、スマートフォン２００に対してアプリケーションがインストール済みか否かを問い合わせる。スマートフォン２００は、未インストールである場合には、処理をステップＳ１４０に進め、インストール済みである場合には、インストール処理（ステップＳ１５０）をスキップして処理をステップＳ１６０に進める。

ステップＳ１４０では、スマートフォン２００は、操作表示部２３０のディスプレイ２３１にアプリのインストールの承諾を求めるユーザーインターフェース画面２３１ａを表示する。ユーザーは、ＯＫアイコン２３１ｂのタッチによる承諾又はキャンセルアイコン２３１ｃのタッチによる非承諾のいずれかを選択する。スマートフォン２００は、承諾が選択された場合には、処理をステップＳ１５０に進め、非承諾が選択された場合には、処理を終了する。

ステップＳ１５０では、スマートフォン２００は、インストール処理を実行する。インストール処理では、スマートフォン２００は、画像処理装置１００からパーソナルコンピュータ５００を介してアプリケーションファイル１４３をダウンロードし、アプリケーションファイル１４３を使用してインストールする。

ステップＳ１６０では、スマートフォン２００は、イベントコード受信処理を実行する。イベントコード受信処理では、スマートフォン２００は、イベントとしてのお遊戯会を表すイベントコードとパスワードとを受信し、処理をステップＳ２００に進める。これにより、スマートフォン２００は、お遊戯会の高画質データ提供サービスを円滑に受けることができる。

ステップＳ２００では、５台の業務用高解像ビデオカメラ４００は、お遊戯会の開始に応じて固定された状態で相互に相違する撮影角度で同一被写体としてのお遊戯会の高解像度画像の撮影を開始する。業務用高解像ビデオカメラ４００は、バーチャルプライベートネットワーク（ＶＰＮ）を介して、動画像データを画像処理装置１００にアップロードする。一方、ユーザーは、ユーザー所有のデジタルカメラ６００（６００ａ及び６００ｂ）を使用し、ズーム機能や望遠機能を使用して所望の画角（ａｎｇｌｅ ｏｆ ｖｉｅｗ）及びタイミング（シーン）で所望の被写体（ユーザーの子息等）を撮影する。

ステップＳ３００では、画像処理装置１００は、ＤＰＥ位置情報提供処理を実行する。ＤＰＥ位置情報提供処理では、画像処理装置１００は、お遊戯会の終了に応じて、ＤＰＥプリントや高画質画像データを提供するサービス提供業者（たとえばコンビニエンスストア）の位置情報をスマートフォン２００に提供する。これにより、ユーザーは、高画質画像の写真または画像データを受け取ることができる場所を知ることができる。位置情報は、ルート案内として提供してもよい。

ステップＳ４００では、ユーザーは、写真選択処理を実行する。写真選択処理では、スマートフォン２００は、予め近距離無線通信や接続コードを介してデジタルカメラ６００から画像データを取得する。ユーザーは、取得した画像データ（元画像データ又は画像抽出用画像データとも呼ばれる。）のうちでＤＰＥプリントや高画質画像データの取得を望む画像データを選択する。画像抽出用画像データには、ユーザーのビデオカメラ（図示略）で取得した動画像データから生成された静止画像データも含まれる。

ステップＳ５００では、スマートフォン２００は、たとえばコンビニエンスストアへのユーザーの到着に応じて自動ログイン処理を実行する。自動ログイン処理では、スマートフォン２００は、イベントコードとパスワードとを使用して画像形成装置３００に自動ログインすることができる。なお、画像形成装置３００は、他のユーザーに対して複写処理等を並行して提供することができる。

ステップＳ６００では、スマートフォン２００は、静止画像取得処理を実行する。静止画像取得処理では、スマートフォン２００は、ステップＳ４００で選択された元画像データを使用して高画質画像データを取得することができる。画像処理装置１００は、画像抽出用画像データ入力部として機能する通信インターフェース部１５０を使用してスマートフォン２００から元画像データを受信する。

図６は、一実施形態に係る静止画像取得処理（ステップＳ６００）の内容を示すフローチャートである。静止画像取得処理は、ユーザーがデジタルカメラ６００を使用して取得した元画像データを使用して、業務用高解像ビデオカメラ４００で取得した動画像データから静止画像データを取得する処理である。

ステップＳ６１０では、スマートフォン２００は、Ｅｘｉｆ情報取得処理を実行する。Ｅｘｉｆ情報取得処理では、スマートフォン２００は、選択された元画像データのＥｘｉｆ情報の中から撮影日時やＧＰＳデータを取得する。撮影日時やＧＰＳデータは、スマートフォン２００から画像処理装置１００にイベントコードとともに送信される。

ステップＳ６２０では、画像処理装置１００は、イベント特定処理を実行する。イベント特定処理では、画像処理装置１００は、イベントコードに基づいてイベントを特定し、特定されたイベントの動画像データを選別する。画像処理装置１００は、スマートフォン２００がイベントコードを取得していない場合には、撮影日時やＧＰＳデータに基づいてイベントを特定することができる。

ステップＳ６３０では、画像処理装置１００は、撮影時間特定処理を実行する。撮影時間特定処理では、画像処理装置１００は、撮影日時（Ｅｘｉｆ情報）に基づいて撮影時間を秒単位で特定する。撮影日時は、動画像データから静止画像データを抽出する際の抽出情報として使用される。

ステップＳ６４０では、画像処理装置１００は、静止画像抽出処理を実行する。静止画像抽出処理では、撮影時間に基づいて静止画像を選択して抽出する。静止画像は、業務用高解像ビデオカメラ４００によって取得された動画像データのフレーム画像データとして取得される。

図７は、一実施形態に係るフレーム画像データ生成処理の内容を示すデータフローダイアグラムである。図７には、上側にデータフローダイアグラムが示され、下側にＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）が示されている。データフローダイアグラムは、動画像データＭＤからのフレーム画像データの流れを示している。フレーム画像データは、ＹＵＶ画像データとして構成されている。フレーム画像データ生成処理は、動画像データＭＤから複数のフレーム画像データを抽出する処理であり、フレーム画像生成部１１１によって実行される。

フレーム画像データ生成処理には、たとえばＭＰＥＧ－４（ＩＳＯ／ＩＥＣ １４４９６）やＨ．２６４に規定される処理が含まれる。フレーム画像データ生成処理では、フレーム画像生成部１１１は、Ｉフレーム（Ｉｎｔｒａ－ｃｏｄｅｄ Ｆｒａｍｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）及びＢフレーム（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）からフレーム画像データを生成する。

Ｉフレームとは、フレーム間予測を用いずに符号化されるフレームである。Ｉフレームとは、イントラフレームやキーフレームとも呼ばれる。Ｉフレームは、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）やＢフレーム（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）とともにＧＯＰを構成する。Ｐフレームは、ＩフレームやＰフレームとのフレーム間処理によってフレーム画像データの生成を可能とする。Ｂフレームは、Ｉフレーム、Ｐフレーム及び他のＢフレームとの前後のフレーム間処理によってフレーム画像データの生成を可能とする。

動画像データＭＤは、時系列順に配列されている複数のフレーム画像データから生成される。複数のフレーム画像データは、時系列の前後のフレーム間で近似していることが多い。フレーム間予測とは、このような動画像データＭＤの性質を利用して、時系列的に前のフレーム画像から現在のフレーム画像を予測する技術である。

具体的には、画素ブロック毎の移動を推定し、移動後のフレーム間での画素ブロックの差分をＤＣＴ変換・量子化してＧＯＰ単位での圧縮率を高める技術である。Ｐフレームは、動きベクトルを使用してＩフレームから再現することができる。動きベクトルは、各画素ブロックの移動ベクトルである。

フレーム画像生成部１１１は、Ｉフレームに対して逆離散コサイン変換（逆ＤＣＴ変換とも呼ばれる。）を行うことによって、輝度データと色差データとを含むＹＵＶ画像データとしてのフレーム画像データを生成する。逆ＤＣＴ変換は、たとえば８×８画素あるいは１６×１６の画素ブロック毎に実行される。

フレーム画像生成部１１１は、Ｐフレーム及びＢフレームに対して逆離散コサイン変換を行うことによって差分データを生成する。フレーム画像生成部１１１は、差分データと動きベクトルとを使用してフレーム間処理を実行してフレーム画像データを生成する。動きベクトルは、動画像データＭＤのエンコード時に生成されたデータである。本処理は、ＭＰＥＧ－４やＨ．２６４に規定される通常の復号化処理である。

フレーム画像生成部１１１は、ＰフレームやＢフレームに基づくフレーム画像データ生成処理を実行し、元画像の撮影日時の前後の複数のフレーム画像データをフレームメモリ１１３に格納する。フレーム画像データをフレームメモリ１１３に格納する際には、フレーム画像生成部１１１は、フレーム画像データの時系列的な順序を表す番号を各フレーム画像データに紐づけて候補フレーム画像データとして制御部１１０のフレームメモリ１１３に格納する。この例では、撮影日時は、抽出情報として使用されている。

ステップＳ７００では、ユーザーは、スマートフォン２００において画角調整処理を実行することができる。画角調整処理では、ユーザーは、ユーザー所有のデジタルカメラ６００で取得した元画像データによって表される元画像Ｆ１の画角を、元画像データに制限されることなく画角の枠外への調整を含めて調整することができる。

さらに、本実施形態では、複数の業務用高解像ビデオカメラ４００は、同一の被写体としてのお遊戯会を相互に相違する角度から撮影するようにセッティングされているので、被写体の撮影角度も選択することができる。具体的には、本実施形態では、被写体としての園児の視線の方向に近い業務用高解像ビデオカメラ４００を選択することもできる。本明細書の画角調整は、広い意味を有し、このような撮影角度（上下左右）の選択も含まれる。

図８は、一実施形態に係る画角調整処理を示す説明図である。図８（ａ）は、画角調整処理の一例を示している。元画像Ｆ１は、ズーム機能や望遠機能を使用して３人の被写体Ｓ１，Ｓ２及びＳ３を含む画角（ａｎｇｌｅ ｏｆ ｖｉｅｗ）を有するように構成されている。この画角（静止画像の画角領域）は、画角調整部として機能する画像処理装置１００で画角設定情報として使用される。

画像解析部１１２は、候補フレーム画像データを解析し、候補フレーム画像データの中で３人の被写体Ｓ１，Ｓ２及びＳ３を含む画角（候補画像領域）を探索する。画像解析部１１２は、たとえば周知のＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を使用して人物（被写体Ｓ１，Ｓ２及びＳ３）の検出を実行することができる。

具体的には、画像解析部１１２は、たとえばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴やＨａａｒ－Ｌｉｋｅ特徴に基づいて人物の特徴を定量的に表している特徴量を計算することができる。特徴量の計算では、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などの機械学習を利用することもできる。画像処理装置１００は、候補画像領域を有する少なくとも１つの候補フレーム画像データを抽出する。

画像解析部１１２は、候補画像領域を含む複数の候補フレーム画像データをスマートフォン２００に送信する。スマートフォン２００は、複数の候補フレーム画像データから複数の候補画像領域を抽出し、この抽出された複数の候補画像領域と元画像Ｆ１とを並べてディスプレイ２３１に表示する。複数の候補画像領域は、画角設定情報に基づいて設定されている。

ユーザーは、リスト化された複数の候補画像領域の中から所望の候補画像領域を選択し、画角を調整することができる。この例では、ユーザーは、画角を調整して被写体Ｓ３を削除するとともに、縦長として太陽の絵を画角内に含めて高画質画像Ｆ１ａとしている。

図８（ｂ）は、画角調整処理の他の例を示している。画角調整処理では、ユーザーは、元画像Ｆ２の画角を拡大して太陽の絵をフレーム内に含めるとともに、被写体Ｓ４を画角内に含めて高画質画像Ｆ２ａとしている。このように、画角調整処理は、画質を向上させるとともに、元画像Ｆ１，Ｆ２のフレームの外側の画像（この例では、太陽の絵や被写体Ｓ４）を取り込むことができる。ユーザーは、全ての元画像について画角調整処理が完了すると、処理を購入処理に進める（ステップＳ８００）。

ステップＳ９００では、ユーザーは、購入処理を実行する。購入処理では、ユーザーは、支払方法を決定して購入アイコン（図示略）をタッチして購入することができる。具体的には、ユーザーは、たとえば画像形成装置３００で購入申込書を有料（たとえば１０円）で印刷出力することができる。

購入申込書には、調整後の高画質画像の縮小表示の一覧と、サービスの内容（ＤＰＥの各枚数やサイズ、高画質画像データの提供の有無）、ＱＲコード（登録商標）を含むことができる。ユーザーは、レジ担当者に購入申込書を渡し、レジ担当者は、バーコードリーダーでＱＲコード（登録商標）を読み取る。これにより、レジは、購入品名と支払金額と表示し、ユーザーの支払いに応じてサービスが提供されることになる。

なお、たとえばＤＰＥプリントの焼き増しは、たとえば画像形成装置３００でＤＰＥプリントをスキャンして発注することも可能である。さらに、画像処理装置１００は、焼き増しにおいて画角を変更できるように、ユーザーデータベース１４２に登録されたユーザー用に設定されているユーザー領域に候補フレーム画像を格納しておくこともできる。

このように、一実施形態に係る高画質画像提供処理は、ユーザー所有のデジタルカメラ６００で取得した画像データの属性データとしての撮影日時と、デジタルカメラ６００のズーム操作等でユーザーが定めた画角の情報とを使用し、５台の業務用高解像ビデオカメラ４００で取得した動画像データからユーザーが所望する静止画像を抽出することができる。これにより、ユーザーは、デジタルカメラ６００で撮影する際の写真撮影の負担を軽減しつつ画質の向上と画角の調整とを実現して所望の画像（ＤＰＥプリントや画像データ）を取得することができる。

Ｅ．変形例：
本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、ユーザーは、ユーザー所有のデジタルカメラ６００のズーム機能や望遠レンズを使用する画角の設定によってユーザー所望の画像を抽出しているが、本発明は、必ずしもデジタルカメラ６００のズーム機能や望遠レンズの使用を前提としない。

図９は、変形例に係る高画質画像提供処理の内容を示すフローチャートである。変形例に係る高画質画像提供処理は、静止画像取得処理（ステップＳ６００）の後に実行されている画角調整処理（ステップＳ７００及びステップＳ８００）の代わりに、静止画像取得処理（ステップＳ６００）の前に画角事前調整処理（ステップＳ５１０及びステップＳ５２０）を実行する点で上記実施形態と相違する。

図１０は、変形例に係る画角調整処理を示す説明図である。図１０（ａ）は、スマートフォン２００の撮像部２６０を使用して取得された元画像Ｆ３を示している。元画像Ｆ３は、スマートフォン２００のディスプレイ２３１に表示されている。ユーザーは、元画像Ｆ３上で画角設定ラインＴＬをドラッグ操作することで静止画像の一部の領域である画角領域（画角設定ラインＴＬで囲まれた領域）を設定することができる。画角領域は、ユーザー入力に基づいて設定された画角領域であり、画角設定情報として画像処理装置１００で使用される。元画像Ｆ３を表す画像データは、画像抽出用画像データとも呼ばれる。

図１０（ｂ）は、画角領域をピンチアウト操作で拡大した状態の元画像Ｆ３ａを示している。ユーザーは、画角領域を拡大した状態で画角の微調整をしつつ画像を確認することができる。この状態では、画角領域は、画角領域の拡大に起因して低解像度の画質を有している。画像解析部１１２は、元画像の撮影日時の前後の複数のフレーム画像データを抽出された候補フレーム画像データの中から元画像Ｆ３とマッチするフレーム画像を選択し、高画質の画角領域を抜き出して表示する。ユーザーは、さらに高画質の画角領域を確認しつつ画角を調整することができる。

変形例２：上記実施形態では、高画質の静止画像が提供されているが、たとえばショートムービーのような動画データを提供してもよい。画角は、たとえば固定でも良いし、被写体に応じてパンしても良い。この例では、フレーム画像データで表される画像は、静止画像だけでなく動画像も含んでいる。

変形例３：上記実施形態では、例示としてＭＰＥＧ－４（ＩＳＯ／ＩＥＣ １４４９６）やＨ．２６４に規定される処理で動画像データが業務用高解像ビデオカメラ４００で生成されているが、動画像データに限定される、連続写真（たとえば１０ｆｐｓ）やキーフレームのみ連続写真であってもよい。本明細書の動画像データは、広い意味を有し、連続写真も含んでいる。

変形例４：上記実施形態では、ユーザー側端末としてスマートフォンが使用されているが、たとえばタブレットやパーソナルコンピュータといったユーザー側端末として機能し得る装置を使用することもできる。さらに、ユーザーデータベース１４２にユーザー情報とその決済情報が登録されている場合には、パーソナルコンピュータやスマートフォンで決済することができる。

１０ 画像提供システム
１００ 画像処理装置
１１０，２１０ 制御部
１１１ フレーム画像生成部
１１２ 画像解析部
１１３ フレームメモリ
１４０，２４０ 記憶部
１４１ 動画像データ格納領域
１４２ ユーザーデータベース
１４３ アプリケーションファイル
１５０ 通信インターフェース部
２００ スマートフォン
２３０ 操作表示部
２３１ ディスプレイ
２３２ 操作処理部
２６０ 撮像部
３００ 画像形成装置
４００ 業務用高解像ビデオカメラ
５００ パーソナルコンピュータ
６００ デジタルカメラ

Claims (7)

1. 被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理装置であって、
   前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力部と、
   前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出部と、
   前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整部と、
   を備え、
   前記抽出情報は、前記画像抽出用画像データの撮影日時を表す撮影日時情報を含み、
   前記フレーム画像データ抽出部は、前記撮影日時情報を使用して前記抽出を行う画像処理装置。
2. 被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理装置であって、
   前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力部と、
   前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出部と、
   前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整部と、
   を備え、
   前記画角設定情報は、前記画像抽出用画像データで表される静止画像の一部の領域であって、ユーザー入力に基づいて設定された画角領域を含む画像処理装置。
3. 被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供する画像提供システムであって、
   請求項１記載の画像処理装置と、
   前記被写体としてのイベントを撮影して動画像データを取得する動画像データ取得装置と、
   を備える画像提供システム。
4. 被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理方法であって、
   前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力工程と、
   前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出工程と、
   前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整工程と、
   を備え、
   前記抽出情報は、前記画像抽出用画像データの撮影日時を表す撮影日時情報を含み、
   前記フレーム画像データ抽出工程は、前記撮影日時情報を使用して前記抽出を行う画像処理方法。
5. 被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理方法であって、
   前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力工程と、
   前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出工程と、
   前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整工程と、
   を備え、
   前記画角設定情報は、前記画像抽出用画像データで表される静止画像の一部の領域であって、ユーザー入力に基づいて設定された画角領域を含む画像処理方法。
6. 被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理装置を制御する画像処理プログラムであって、
   前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力部、
   前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出部、及び
   前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整部として画像処理装置を機能させ、
   前記抽出情報は、前記画像抽出用画像データの撮影日時を表す撮影日時情報を含み、
   前記フレーム画像データ抽出部は、前記撮影日時情報を使用して前記抽出を行う画像処理プログラム。
7. 被写体としてのイベントを撮影して動画像データを取得し、前記動画像データから抽出された画像を提供するための画像処理装置を制御する画像処理プログラムであって、
   前記動画像データの撮影と並行して、前記イベントを撮影して取得した静止画像を表す画像抽出用画像データを受け付ける画像抽出用画像データ入力部、
   前記画像抽出用画像データに含まれている抽出情報を使用して、前記画像抽出用画像データの撮影に対応するタイミングで撮影されたフレーム画像データを前記動画像データから抽出するフレーム画像データ抽出部、及び
   前記画像抽出用画像データに含まれている画角設定情報に基づいて、前記フレーム画像データで表される画像において、前記画角設定情報に示される画角領域に調整する画角調整部として画像処理装置を機能させ、
   前記画角設定情報は、前記画像抽出用画像データで表される静止画像の一部の領域であって、ユーザー入力に基づいて設定された画角領域を含む画像処理プログラム。
   

Images