JP5945966B2

JP5945966B2 - 携帯端末装置、携帯端末用プログラム、サーバ、及び画像取得システム

Info

Publication number: JP5945966B2
Application number: JP2013073774A
Authority: JP
Inventors: 雅司武市
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2013-03-29
Filing date: 2013-03-29
Publication date: 2016-07-05
Anticipated expiration: 2033-03-29
Also published as: JP2014199969A

Description

本発明は、公共の会場で私的に撮影された画像を公的に提供するための携帯端末装置、携帯端末用プログラム、サーバ、及び画像取得システムに関する。

近年では、例えばコンサート会場などの公共の会場内で来場者に自由に写真撮影を許可する場合が多くある。この場合、撮影された画像を主催側がインターネット等を介して収集・管理し、後にコンテンツの素材として利用することがある。

特許文献１には、このように公共の会場内で私的に撮影された画像を来場者にのみ共有させるシステムが開示されている。この従来技術では、無線携帯端末がＧＰＳ及び撮影手段を備え、サーバ側は所定期間内に所定ゾーン内に位置していた無線携帯端末だけに撮影画像の登録を許可し、登録された無線携帯端末が指定した送信先アドレスと送信時刻で選択コンテンツを配信する。

特開２００６−１０１１５７号公報

しかしながら上記従来技術では、公共の会場で各来場者が私的に撮影した画像を無線通信を介して効率的に収集、管理することが困難であった。その原因としては、各ユーザ自身によりそれぞれ任意の時間で任意に選択した画像だけをサーバに送信（アップロード）させていたため、時間的にも長くかかり、また内容的にも類似した画像が重複したり送信されないものがあるなど偏った収集内容となるためである。

これに対し、会場内に存在する大量の携帯端末装置に同じ時間帯で一斉に全ての撮影画像を自動的に送信させる手法が考えられるが、この場合には当該会場内に設置した無線通信装置に対して地理的及び時間的に無線通信が集中するためトラフィック負荷が過大となり、通信が困難となる。特に、それぞれが動画などの容量の大きい撮影画像を個別に無線通信で送受することは不可能となる。

本発明の目的は、同一の会場内で大量の携帯端末装置からそれぞれ適正な撮影画像だけを自動的かつ円滑に送受信できる携帯端末装置、携帯端末用プログラム、サーバ、及び画像取得システムを提供することにある。

上記目的を達成するために、本願発明は、予め定められた領域内の所定位置におけるユーザが所持し、前記領域内の領域を無線通信可能範囲とした無線通信装置との無線通信を介して所定のサーバと情報送受可能な携帯端末装置であって、前記ユーザの操作により前記所定位置の位置情報を入力する位置入力手段と、画像を撮影する画像撮影手段と、前記画像撮影手段が撮影した撮影画像とともに、当該画像を撮影した際に検出した当該携帯端末装置の姿勢情報と時間情報とを前記撮影画像と対応付けて記憶する撮影画像記憶手段と、前記位置情報と前記姿勢情報とに基づいて、前記撮影画像が前記領域内の所定の注視位置を撮影したものであるかを判定する画像判定手段と、前記画像判定手段により前記注視位置を撮影したと判定された前記撮影画像に対応する前記姿勢情報、前記位置情報、及び、時間情報を前記無線通信装置を介して前記サーバへ送信し、その返信として受信した送信許可情報で送信が許可された場合に、当該撮影画像を前記無線通信装置を介して前記サーバへ送信する画像送信手段と、を備えていることを特徴とする。

上記目的を達成するために、本願発明は、予め定められた領域内の領域を無線通信可能範囲とした無線通信装置との無線通信を介して所定のサーバと情報送受可能な携帯端末装置が備えるコンピュータが実行可能な携帯端末用プログラムであって、当該携帯端末装置を所持するユーザの前記領域内における所定位置の位置情報を入力する位置入力ステップと、画像を撮影する画像撮影ステップと、前記画像撮影ステップで撮影した撮影画像とともに、当該画像を撮影した際に検出した当該携帯端末装置の姿勢情報と時間情報を前記撮影画像と対応付けて記憶する撮影画像記憶ステップと、前記位置情報と前記姿勢情報とに基づいて、前記撮影画像が前記領域内の所定の注視位置を撮影したものであるかを判定する画像判定ステップと、前記画像判定ステップにより前記注視位置を撮影したと判定された前記撮影画像に対応する前記姿勢情報、前記位置情報、及び、時間情報を前記無線通信装置を介して前記サーバへ送信し、その返信として受信した送信許可情報で送信が許可された場合に、当該撮影画像を前記無線通信装置を介して前記サーバへ送信する画像送信ステップと、を実行させることを特徴とする。

上記目的を達成するために、本願発明は、予め定められた領域内の領域を無線通信可能範囲とした無線通信装置との無線通信を介して、前記領域内の所定位置におけるユーザが所持する携帯端末装置と情報送受可能なサーバであって、前記無線通信装置を介して前記携帯端末装置から受信した前記所定位置の位置情報、姿勢情報、及び、時間情報に基づいて、前記姿勢情報と前記時間情報に対応する撮影画像の有用度を判定する有用度判定手段と、前記有用度判定手段により有用度が一定以上高いと判定された撮影画像に対する送信許可情報を前記無線通信装置を介して当該携帯端末装置へ送信し、その返信として当該携帯端末装置から前記撮影画像を受信する画像受信手段と、前記画像受信手段で受信した前記撮影画像を記憶する受信画像記憶手段と、を備えていることを特徴とする。

上記目的を達成するために、本願発明は、予め定められた領域内の所定位置におけるユーザが所持する携帯端末装置と、前記領域内の領域を無線通信可能範囲として前記携帯端末装置と無線通信可能な無線通信装置と、前記無線通信装置と情報送受可能に接続されたサーバと、を有する画像取得システムであって、前記携帯端末装置は、前記ユーザの操作により前記所定位置の位置情報を入力する位置入力手段と、画像を撮影する画像撮影手段と、前記画像撮影手段が撮影した撮影画像とともに、当該画像を撮影した際に検出した当該携帯端末装置の姿勢情報と時間情報とを前記撮影画像と対応付けて記憶する撮影画像記憶手段と、前記位置情報と前記姿勢情報とに基づいて、前記撮影画像が前記領域内の所定の注視位置を撮影したものであるかを判定する画像判定手段と、前記画像判定手段により前記注視位置を撮影したと判定された前記撮影画像に対応する前記姿勢情報、前記位置情報、及び、前記時間情報を前記無線通信装置を介して前記サーバへ送信し、その返信として受信した送信許可情報で送信が許可された場合に、当該撮影画像を前記無線通信装置を介して前記サーバへ送信する画像送信手段と、を備え、前記サーバは、前記無線通信装置を介して前記携帯端末装置から受信した前記位置情報、前記姿勢情報、及び、前記時間情報に基づいて、前記姿勢情報と前記時間情報に対応する前記撮影画像の有用度を判定する有用度判定手段と、前記有用度判定手段により有用度が一定以上高いと判定された撮影画像に対する送信許可情報を前記無線通信装置を介して当該携帯端末装置へ送信し、その返信として当該携帯端末装置から前記撮影画像を受信する画像受信手段と、前記画像受信手段で受信した前記撮影画像を記憶する受信画像記憶手段と、を備えていることを特徴とする。

本発明によれば、同一の会場内で大量の携帯端末装置からそれぞれ適正な撮影画像だけを自動的かつ円滑に送受信できる。

画像取得システムの主要構成を示す説明図である。携帯端末装置の主要構成を示す機能ブロック図である。携帯端末装置における注視位置撮影の判定手法について説明する図である。携帯端末装置とサーバの間の情報送受についての詳細を示すシーケンスチャートである。携帯端末装置側で記憶する撮影画像データベースを模式的に表す図である。サーバ側で記憶する会場データベースを模式的に表す図である。サーバ側で記憶する収集画像データベースを模式的に表す図である。専用アプリを起動した携帯端末装置のＣＰＵが実行する処理内容を示すフローチャートである。図８中に示した画像撮影記録処理の詳細な処理内容を示すフローチャートである。図８中に示した画像送信処理の詳細な処理内容を示すフローチャートである。サーバのＣＰＵが通信可能時間帯毎に実行する処理内容を示すフローチャートである。会場内における無線通信のトラフィック負荷を軽減させる他の構成を表す図である。

以下、本発明の一実施の形態について図面を参照しつつ説明する。なお、本実施形態では、公共のコンサートホール会場（予め定められた領域；以下、会場という）で催された音楽コンサートの模様について、来場者個人の携帯端末装置のカメラで私的に撮影した画像を公的に提供する場合を説明する。

図１は、本実施形態に係わる画像取得システム１の主要構成を示す説明図である。図１に示すように、会場内１００に設置される公共部分のシステムとしては、会場内１００の観客席（会場内の領域）を無線通信可能範囲とした会場内アクセスポイント１０１（無線通信装置）と、これら会場内を通信対象とした会場内アクセスポイント１０１と有線ＬＡＮ１０２などを介して情報送受可能に接続されたサーバ１０３と、が備えられている。

会場内アクセスポイント１０１は、無線通信可能範囲１０４内の観客席に位置するユーザＹ（来場者、観客）が所持する例えばスマートフォンなどの携帯端末装置１０と、無線ＬＡＮを介して情報送受可能となっている。サーバ１０３は、ハードディスクなどの大容量記憶装置１０３ａ（受信画像記憶手段）を備えたコンピュータで構成されている。

そして、本実施形態の画像取得システム１によるサービスを希望するユーザＹ、つまり音楽コンサートの観客は、予めインターネット等で当該音楽コンサート専用のアプリケーション（以下、専用アプリと適宜略記する）をインストールした携帯端末装置１０を所持してコンサートホール会場１００に来場する。

本実施形態の画像取得システム１は、コンサートホール会場１００に集まった多数のユーザＹがそれぞれ所持する携帯端末装置１０とサーバ１０３との間の無線通信を介した撮影画像の送受を行う。

図２は、携帯端末装置１０の主要構成を示す機能ブロック図を示している。この図２において、携帯端末装置１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、不揮発性記憶装置１４と、時計１５と、タッチパネルディスプレイ１６と、カメラ１７（画像撮影手段）と、方位センサ１８と、３次元加速度センサ１９と、無線ＬＡＮ通信部２０とを有している。

ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、当該携帯端末装置１０全体を制御する機能を有する。

ＲＯＭ１２は、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１３は、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。不揮発性記憶装置１４は、例えばフラッシュメモリなどの不揮発性の情報記憶媒体であり、上記専用アプリのプログラムや、後述する座席情報、撮影画像、や撮影画像データベースの各種情報を記憶する。時計１５は、その時点の時刻を検出する機能を有する。

タッチパネルディスプレイ１６は、表示部である液晶表示ディスプレイと、入力部であるタッチパネルを一体化したものであり、当該携帯端末装置１０のユーザインターフェースとして機能する。

カメラ１７は、例えばＣＣＤなどの撮像画素を備えて撮像方向の画像を撮影する。撮影する画像の種類としては、静止画及び動画のいずれも可能であるが、本実施形態の例では静止画を撮影画像として扱う。

方位センサ１８は、地磁気を検知することで上記カメラ１７の撮像方向が向いている方位を検出する機能を有する。

３次元加速度センサ１９は、直交３軸方向でそれぞれの重力加速度を検知することで、上記カメラ１７の撮像方向の水平方向に対する傾き（仰角）を検出する機能を有する。

無線ＬＡＮ通信部２０は、いわゆるＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ規格に準拠して会場内アクセスポイント１０１との情報通信を制御する機能を有する。

上記構成の画像取得システム１による画像収集機能について説明する。本実施形態の画像取得システム１は、この例のコンサートホール会場１００に集まった多数の観客（ユーザ）がそれぞれ所持する携帯端末装置１０とサーバ１０３との間の無線通信を介した撮影画像の送受を行う。まず各ユーザは、公演前の時点で携帯端末装置１０への操作入力により、会場１００内の自分の座席（所定位置）の位置情報を携帯端末装置１０に入力する。この具体的な操作入力としては、チケットや座席に記載されている座席番号の手動入力や、電子チケットからの情報入力、またはチケットや座席に印刷されているバーコード読み取りなどがある。これについては、公知の手法を用いればよく、詳細な説明を省略する。そして会場１００内では、ユーザは携帯端末装置１０に内蔵されているカメラ１７を用いて任意の方向、任意のタイミングで自由に撮影する。

上記コンサート等の主催側は、このように公共の会場で各ユーザが私的に撮影した画像を無線通信を介してサーバ１０３に収集、管理するが、それを効率的に行うことが困難であった。その原因としては、各ユーザ自身によりそれぞれコンサート公演終了後の任意の時間で任意に選択した画像だけをサーバ１０３に送信（アップロード）させていたため、収集する時間が長くかかり、また内容的にも類似した画像が重複したり送信されないものがあるなど収集内容が偏るためである。

これに対し、会場１００内に存在する大量の携帯端末装置１０にコンサート公演中の時間帯で一斉に全ての撮影画像を自動的に送信させる手法が考えられるが、この場合には当該会場１００内に設置した会場内アクセスポイント１０１に対して空間的及び時間的に無線通信が集中するためトラフィック負荷が過大となり、通信が困難となる。特に、それぞれが動画などの容量の大きい撮影画像を個別に無線通信で送受することは不可能となる。

そこで本実施形態の画像取得システム１では、ユーザが自由に撮影した画像のうち、携帯端末装置１０とサーバ１０３の両方で適正なものだけを絞り込んで送受信する。具体的には、携帯端末装置１０が、カメラ１７で撮影した撮影画像とともに、当該画像を撮影した際に検出した当該携帯端末装置１０の姿勢情報（方位角、仰角）と時間情報（撮影時刻）を撮影画像と対応付けて記憶する。さらに携帯端末装置１０は、上記の位置情報（座席位置）と姿勢情報とに基づいて、撮影画像が会場１００内の所定の注視位置、つまりステージ上にいる公演者など画像取得対象となっている被写体の位置を撮影したものであるかを判定する。これにより、ユーザが自由に撮影した画像のうち、携帯端末装置１０自体でサーバ１０３への送信に適正なものだけを自動的に絞り込むことができる。なお、注視位置の情報は、予めサーバ１０３から別途受信しておき時間情報と対応して定期的に更新してもよい（この点については詳細な説明を省略する）。

このような携帯端末装置１０における注視位置撮影の判定手法について、図３を参照しつつ説明する。図３（ａ）は会場１００内での特定のユーザＹと、ステージ上に存在する画像取得対象の公演者との配置関係を上方から見た平面図であり、図３（ｂ）は同配置関係を側方から見た側面図である。

まず図３（ａ）において、図示する例では会場１００内のステージが観客席全体から見て真北方向（Ｎ０°）の方位に位置しているとする。その観客席の中のある座席位置に位置しているユーザＹがその携帯端末装置１０でステージ上の注視対象である公演者Ｚを撮影した際、方位センサ１８はステージの存在方位（Ｎ０°）に対する公演者Ｚの相対方位Ｘ°を検出する。このときのユーザＹの座席位置に対するステージの存在方位は固定された会場内空間座標において既知であり、携帯端末装置１０自体がそのような基準方位（ステージの存在方位）と注視位置が分かっていれば、方位センサ１８が検出した方位Ｘ°が公演者Ｚを向いてるか否かを判定できる。

本実施形態の例では、各座席から見たステージ中央位置１０６の存在方位Ｃ°をそれぞれの基準方位とし、各携帯端末装置１０がこの基準方位を注視位置と併せて別途サーバ１０３から取得しておく。これにより、各携帯端末装置１０は基準方位に対する方位センサ１８の検出方位の相対方位Ｄ°と、注視位置とを照合することでカメラ１７の撮影方向が公演者Ｚを向いているか否かを判定できる。

図３（ｂ）においては、各座席から見たステージ中央（センターエリア）の存在仰角Ｙ°をそれぞれの基準仰角とし、各携帯端末装置１０がこの基準仰角を別途サーバ１０３から取得しておく。図示する例のように、公演者Ｚの注視位置が高さ方向で大きく変化しない場合には、３次元加速度センサ１９が検出する仰角も大きく変化しないため、検出仰角が基準仰角とほぼ一致しているか否かでカメラ１７の撮影方向が公演者Ｚを向いているか否かを判定できる。

以上のように、画像撮影時における方位センサ１８の検出方位と３次元加速度センサ１９の検出仰角とを併せた姿勢情報と、画像撮影時の時間情報が分かれば、ユーザの座席位置に対応して予め別途取得していた基準方位と基準仰角、及び時間情報に対応して別途取得した注視位置とを照合することにより、撮影した画像が公演者Ｚを撮影したものであるか否かを判定できる。

なお図３（ａ）中に記載しているように、観客席において、近接する座席どうしをまとめたエリア、つまり同じ時間帯に類似した画像を撮影する可能性のあるエリアを、特に撮影ブロック１０５とする。

そして、携帯端末装置１０が、注視位置を撮影したと判定された撮影画像に対応する姿勢情報、座席の位置情報、及び、時間情報とを無線通信装置を介してサーバ１０３へ送信する。これを受信したサーバ１０３は、座席の位置情報、姿勢情報、及び、時間情報に基づきその姿勢情報に対応する撮影画像の有用度を判定する。この有用度は、似たような座席位置、姿勢、及び、時間で撮影された画像がすでに取得していれば有用度が低いと判定し、まだ取得していない新たな画像であれば有用度が高いと判定する。つまり、内容的に重複する画像の取得をできるだけ回避するための送信優先度を撮影画像別に評価する。これにより、携帯端末装置１０側で絞り込んだ送信候補の画像のうち、さらに取得に適正なものだけをサーバ１０３側で絞り込むことができる。

そして、サーバ１０３が、有用度が一定以上高いと判定された撮影画像に対する送信許可情報を当該携帯端末装置１０へ送信する。なお本実施形態の例では、送信許可情報は、送信を許可する複数の撮影画像についてそれぞれの有用度を示すリスト形式で送信する。これを受信した携帯端末装置１０は、送信許可画像リストで送信が許可された複数の撮影画像を送信優先度順でサーバ１０３へ送信し、サーバ１０３が当該携帯端末装置１０から前記撮影画像を送信優先度順で順次受信して大容量記憶装置１０３ａに記憶する。

このとき、ユーザは自由に画像を撮影する以外は特に操作を意識せずとも、携帯端末装置１０及びサーバ１０３が自動的に適正な画像を絞り込み、その厳選された撮影画像だけを自動的にサーバ１０３に送信して記憶させることができる。これにより、撮影画像の送信数が大幅に少なくなるため、容量が大きい撮影画像であっても円滑に送受信できる。

以上説明した携帯端末装置１０とサーバ１０３の間の情報送受についての詳細を図４のシーケンスチャートに示す。なお、公演中における注視位置の変更については、適宜必要なとき、もしくは逐次、サーバ１０３から携帯端末装置１０へ注視位置情報を送受するだけであるので、図示及び説明を省略している。

まず、コンサートホール会場１００に観客（ユーザＹ）が入場した段階（公演前）で、ユーザＹが携帯端末装置１０の専用アプリを起動し、座席番号を入力する。携帯端末装置１０が座席の位置情報をサーバ１０３へ送信し、これを受信したサーバ１０３が後述する会場データベース（後述の図６参照）から座席位置に対応する基準方位及び基準仰角を含む座席情報を検索し、携帯端末装置１０に返信する。なお、この座席情報は、専用アプリをダウンロードした際に既に予約した座席番号が分かっていればその時点で受信してもよいし、または専用アプリ自体が会場データベースを記憶してもよい。

そして公演が開始した後には、ユーザは任意の方位、任意のタイミングで自由に画像を撮影し、その撮影画像をその時刻情報、姿勢情報（検出方位、検出仰角）と対応付けて不揮発性記憶装置１４に記録する。また同時に当該撮影画像がその時点の注視位置を撮影したものがどうかの判定も行い、その結果も併せて記録する。

ここで本実施形態では、携帯端末装置１０が所定の区別態様のグループ別に割り当てられた通信可能時間帯でサーバ１０３と無線通信を行う。つまり、会場１００内に存在する大量の携帯端末装置１０が全部一斉にサーバ１０３と情報送受するのではなく、グループ別に時差を設けて（時分割で）サーバ１０３と情報送受する。このグループ分けは、本実施形態の例では上記撮影ブロック１０５とは異なる区別態様（例えば予約順、観客席の横並び又は縦並びのまとまり等）とするが、撮影ブロック１０５と同じ区別態様であってもよい。通信可能時間帯は公演中においてそれら複数のグループでローテーションするように複数回設定され、それらの通信開始時間についても上記座席情報に含まれて公演前に受信する。

そして携帯端末装置１０は、公演中に割り当てられた通信可能時間帯の開始時間になると、自動的に無線通信を介してサーバ１０３との情報送受を開始し、その終了時間には自動的に無線通信を終了する。この通信可能時間帯におけるサーバ１０３との通信は、専用アプリのバックグラウンド処理により行われるため、ユーザは特に操作を意識する必要はない。

通信可能時間帯においては、携帯端末装置１０はそれまでに注視位置を撮影されたと判定され、かつサーバ１０３に未送信である撮影画像についてのそれぞれの画像ＩＤ、時間情報（撮影時刻）、姿勢情報（検出方位、検出仰角）、及び、座席位置をまとめてメタデータ（後述の図５参照）としてサーバ１０３へ送信する。サーバ１０３は、受信したメタデータから、撮影内容が類似すると推定される画像を振り分けて、重複して取得するのをできるだけ回避するよう各画像の送信優先度（有用度）を判定する。そして各携帯端末装置１０ごとに各画像の送信優先度に基づいて、送信許可画像リストを作成し返信する。これを受信した携帯端末装置１０は、送信許可画像リストの送信優先度順に撮影画像をサーバ１０３へ送信し続け、そのときの通信可能時間帯が終了するまで継続する。そして通信不可時間帯では、画像撮影と記録、及び注視位置撮影の判定だけを繰り返す。

携帯端末装置１０側で記憶する撮影画像データベースを図５に示す。これは不揮発性記憶装置１４に記憶される情報であり、公演開始後から画像撮影順に付与された画像ＩＤに対応付けて、その撮影時刻、検出方位（Ｘ°）、検出仰角（Ｙ°）、判定フラグ、送信済フラグ、及び、当該撮影画像のバイナリデータを記憶する。このうち画像ＩＤ、撮影時刻、検出方位、及び、検出仰角に加えて当該ユーザの座席位置の位置情報が、上述したメタデータとしてサーバ１０３に送信される。また判定フラグは注視位置を撮影したものと判定された場合に１を、判定されない場合に０を記憶する。また送信済フラグは、サーバ１０３へ画像データを送信したものに１を、送信していないものに０を記憶する。なお、特に図示しないが、サーバ１０３から受信する送信許可画像リスト中には、送信を許可された複数の画像ＩＤがそれぞれ送信優先度に対応付けられる。

サーバ１０３側で記憶する会場データベースを図６に示す。これはサーバ１０３の大容量記憶装置１０３ａに記憶される情報であり、会場別に設定される。この会場データベースでは、各座席番号に対応付けて、ステージ中央へ向けた基準方位、基準仰角、通信開始時間（複数）、及び、ステージ中央までの距離を記憶する。１座席分の情報が、上述した座席情報として公演前に携帯端末装置１０に送信される。

サーバ１０３側で記憶する収集画像データベースを図７に示す。これはサーバ１０３の大容量記憶装置１０３ａに記憶される情報であり、各携帯端末装置１０から送信許可撮影画像としての受信順に付与された画像ＩＤに対応付けて、その撮影時刻、検出方位（Ｘ°）、検出仰角（Ｙ°）、席番号、推定されるステージエリア、及び、当該送信許可撮影画像のバイナリデータを記憶する。なおステージエリアについては、本実施形態の例ではセンター（中央）、レフト、ライトでステージ上の領域を３つに区分しており、サーバ１０３が各メタデータを受信した際にはそれぞれの座席位置情報と姿勢情報を参照して当該メタデータの撮影画像がどのステージエリアを撮影したかを推定して記録する。なお、携帯端末装置１０側で注視位置撮影の判定とともにステージエリアの推定を行って上記撮影画像データベースに記録してもよい。

上記のようにして画像取得システム１が各種情報を処理するときに、携帯端末装置１０及びサーバ１０３のそれぞれのＣＰＵが実行する処理内容を、図８〜図１１のフローチャートにより説明する。

図８は専用アプリを起動した携帯端末装置のＣＰＵ１１が実行する処理内容を示すフローチャートであり、専用アプリを起動した際に実行を開始する。

図８において、まず、ステップＳＫ１０５において、携帯端末装置のＣＰＵ１１は、ユーザからの操作入力（もしくは他の情報入力）を介して座席番号を入力する。

次にステップＳＫ１１０へ移り、携帯端末装置のＣＰＵ１１は、上記ステップＳＫ１０５で入力した座席番号の位置情報を会場内アクセスポイント１０１との無線ＬＡＮ通信を介してサーバ１０３へ送信する。

次にステップＳＫ１１０へ移り、携帯端末装置のＣＰＵ１１は、サーバ１０３から座席情報を受信できたか否か、言い換えると座席情報の検索に成功したか否かを判定する。座席情報の検索に失敗した場合には、判定は満たされず、ステップＳＫ１０５へ戻って同様の手順を繰り返す。

一方、座席情報の検索に成功した場合には、判定が満たされ、ステップＳＫ１２０へ移る。

ステップＳＫ１２０では、携帯端末装置のＣＰＵ１１は、受信した座席情報を不揮発性記憶装置１４に記憶する。

次にステップＳＫ１２５へ移り、携帯端末装置のＣＰＵ１１は、タッチパネルディスプレイ１６に画像撮影用の画面を表示し（図示省略）、画像撮影の操作入力を受け入れる状態にする。

次にステップＳＫ１３０へ移り、携帯端末装置のＣＰＵ１１は、ユーザからの操作入力を介して当該専用アプリを終了する操作が入力されたか否かを判定する。終了操作が入力された場合、判定が満たされ、このフローを終了する。

一方、終了操作が入力されていない場合、判定は満たされず、ステップＳＫ１３５へ移る。

ステップＳＫ１３５では、携帯端末装置のＣＰＵ１１は、特に図示しないタッチパネルディスプレイ１６上の撮影ボタンが操作されて画像撮影が行われたか否かを判定する。画像撮影操作が行われた場合、判定が満たされ、ステップＳＫ２００へ移る。

ステップＳＫ２００では、携帯端末装置のＣＰＵ１１は、カメラ１７での画像撮影とともに検出した撮影時刻、カメラ方位、及び、カメラ仰角を記録するとともに、当該撮影画像がその時点の注視位置を撮影したものであるか判定する画像撮影記録処理を実行する（後述の図９参照）。そして上記ステップＳＫ１３０へ戻って、同様の手順を繰り返す。

一方、上記ステップＳＫ１３５の判定において、画像撮影操作が行われていない場合、判定は満たされず、ステップＳＫ１４０へ移る。

ステップＳＫ１４０では、携帯端末装置のＣＰＵ１１は、次の通信開始時間に到達したか否かを判定する。通信開始時間に到達していない場合、判定は満たされず、ステップＳＫ１３０へ戻って同様の手順を繰り返す。

一方、通信開始時間に到達した場合、判定が満たされ、ステップＳＫ３００へ移る。

ステップＳＫ３００では、携帯端末装置のＣＰＵ１１は、サーバ１０３との情報送受により撮影画像を送信する画像送信処理の実行をバックグラウンド処理で開始する。つまり、ステップＳＫ１３０へ戻って同様の手順を繰り返すのと並行して内部的に画像送信処理の実行を開始する。これにより、ユーザは画像送信処理を意識することなく任意の画像撮影を継続できる。

図９は、上記図８中に示した画像撮影記録処理の詳細な処理内容を示すフローチャートである。

この図９において、まず、ステップＳＫ２０５において、携帯端末装置のＣＰＵ１１は、カメラ１７で画像を撮影し、その画像データを上記図５に示した撮影画像データベースに記録する。このとき撮影順に画像ＩＤを生成し、この画像ＩＤに対応付けて画像データを記録する。

次にステップＳＫ２１０へ移り、携帯端末装置のＣＰＵ１１は、上記ステップＳＫ２０５での撮影時における撮影時刻、撮影方位、撮影仰角を検出して、同じ画像ＩＤに対応付けて撮影画像データベースに記録する。この時点では対応する送信済フラグは０で記録される。

次にステップＳＫ２１５へ移り、携帯端末装置のＣＰＵ１１は、上記ステップＳＫ２０５で撮影された画像がその時点の注視位置を撮影したものであるか解析する。このときの解析は、上記図３で説明した手法により行うものであり、すなわち検出方位と検出仰角の姿勢情報と、撮影時刻の時間情報に対して、予め別途取得していた座席情報の基準方位と基準仰角、及び時間情報に対応して別途取得した注視位置（公演中にサーバ１０３から逐次取得）を照合することにより、撮影した画像が公演者Ｚを撮影したものであるかを解析する。

次にステップＳＫ２２０へ移り、携帯端末装置のＣＰＵ１１は、上記ステップＳＫ２１５で注視位置を撮影したと解析したか否かを判定する。注視位置を撮影したと解析した場合、判定が満たされ、ステップＳＫ２２５へ移る。

ステップＳＫ２２５では、携帯端末装置のＣＰＵ１１は、撮影画像データベースで撮影画像の画像ＩＤに対応する判定フラグに１を記録する。そしてこのフローを終了する。

一方、上記ステップＳＫ２２０の判定において、注視位置を撮影していないと解析した場合、判定は満たされず、ステップＳＫ２３０へ移る。

ステップＳＫ２３０では、携帯端末装置のＣＰＵ１１は、撮影画像データベースで撮影画像の画像ＩＤに対応する判定フラグに０を記録する。そしてこのフローを終了する。

図１０は、上記図８中に示した画像送信処理の詳細な処理内容を示すフローチャートである。なお、上述したように、この画像送信処理は携帯端末装置１０のタッチパネルディスプレイ１６上に何ら表示を行わず、バックグラウンド処理で実行する。

この図１０において、まず、ステップＳＫ３０５において、携帯端末装置のＣＰＵ１１は、会場内アクセスポイント１０１を介してサーバ１０３との無線ＬＡＮ通信の接続開始を要求する情報を送信する。

次にステップＳＫ３１０へ移り、携帯端末装置のＣＰＵ１１は、無線ＬＡＮ通信の接続に成功したか否かを判定する。接続に失敗した場合、判定は満たされず、ステップＳＫ３０５へ戻って同様の手順を繰り返す。

一方、接続に成功した場合、判定が満たされ、ステップＳＫ３１５へ移る。

ステップＳＫ３１５では、携帯端末装置のＣＰＵ１１は、撮影画像データベース中で判定フラグが１で、かつ、送信済フラグが０である画像ＩＤのメタデータ（座席位置の位置情報も含む）を抽出し、それらを全てサーバ１０３へ送信する。

次にステップＳＫ３２０へ移り、携帯端末装置のＣＰＵ１１は、上記ステップＳＫ３１５で送信したメタデータに対する返信として、サーバ１０３から送信許可画像リストを受信する。

次にステップＳＫ３２５へ移り、携帯端末装置のＣＰＵ１１は、上記ステップＳＫ３２０で受信した送信許可画像リストで指定されている画像ＩＤの画像データを、送信優先度順で１つ送信する。

次にステップＳＫ３３０へ移り、携帯端末装置のＣＰＵ１１は、撮影画像データベースにおいて上記ステップＳＫ３２５で送信した画像データに対応する送信済フラグに１を記録する。

次にステップＳＫ３３５へ移り、携帯端末装置のＣＰＵ１１は、その回の通信可能時間帯が終了したか否か、言い換えるとその回の通信開始時間から規定の時間（この例の２分）だけ経過したか否かを判定する。通信終了時間に到達していない場合、判定は満たされず、ステップＳＫ３４０へ移る。

ステップＳＫ３４０では、携帯端末装置のＣＰＵ１１は、送信許可画像のうちで未送信のものがあるか否か、言い換えると送信許可画像リストで指定されている画像ＩＤで対応する送信済フラグがまだ０のものがあるか否かを判定する。未送信の画像がある場合、判定が満たされ、ステップＳＫ３２５へ戻って同様の手順を繰り返す。

一方、上記ステップＳＫ３３５の判定において、通信終了時間に到達していた場合、判定が満たされ、ステップＳＫ３４５へ移る。

また一方、上記ステップＳＫ３４０の判定において、未送信の画像がない場合、判定は満たされず、ステップＳＫ３４５へ移る。

ステップＳＫ３４５では、携帯端末装置のＣＰＵ１１は、無線ＬＡＮ接続を切断してサーバ１０３との無線通信を終了する。この時、通信終了時間に到達してもまだ送信許可画像の画像データを送信中であっても、強制的に無線通信を終了する。なお、次回以降に重複してメタデータの抽出と送信を行うことがないよう、この時点で未送信である画像ＩＤの送信済フラグを全て０と１以外（例えば２）に記録するとよい。そしてこのフローを終了する。

以上において、ステップＳＫ１０５の手順が各請求項記載の位置入力手段に相当し、ステップＳＫ２１０の手順が各請求項記載の撮影画像記憶手段に相当し、ステップＳＫ２１５の手順が各請求項記載の画像判定手段に相当し、ステップＳＫ３００の画像送信処理全体が各請求項記載の画像送信手段に相当し、ステップＳＫ１２０の手順が各請求項記載の割当時間記憶手段に相当する。

図１１はサーバ１０３のＣＰＵ（特に図示せず）が通信可能時間帯毎に実行する処理内容を示すフローチャートであり、通信開始時間の到達毎に実行を開始する。なお、公演前の座席情報検索処理については省略する。

図１１において、まず、ステップＳＳ１０５において、サーバ１０３のＣＰＵは、無線ＬＡＮ通信を介して各携帯端末装置１０から送られてくる注視位置撮影画像のメタデータを受信する。なおここで、特に図示しないが、受信した各メタデータの座席位置情報と姿勢情報（検出方位、検出仰角）を参照して、それぞれ対応する撮影画像が撮影しているステージエリア（センター、レフト、ライト）を推定しておく。なお、このステージエリアの推定は携帯端末装置１０側で行ってもよく、その場合には撮影画像データベース中に各撮影画像に対応してステージエリアの推定結果を記録し、これもメタデータに含めて送信してもよい。

次にステップＳＳ１１０へ移り、サーバ１０３のＣＰＵは、上記ステップＳＳ１０５で受信した全てのメタデータのうち、それぞれの座席位置情報を参照して同一の撮影ブロック１０５に属するものを抽出して振り分ける。

次にステップＳＳ１１５へ移り、サーバ１０３のＣＰＵは、上記ステップＳＳ１１０での振り分けからさらに、撮影時刻を参照して同一時間帯に撮影されたものを抽出して振り分ける。

次にステップＳＳ１２０へ移り、サーバ１０３のＣＰＵは、上記ステップＳＳ１１５での振り分けからさらに、同一のステージエリアに対して撮影されたと推定されるものを抽出して振り分ける。

次にステップＳＳ１２５へ移り、サーバ１０３のＣＰＵは、各メタデータに例えば５段階評価での送信優先度を設定する（図示省略）。つまり、上記ステップＳＳ１１０からステップＳＳ１２０で振り分けられたメタデータどうしは対応する撮影画像（未送信）の内容が類似している可能性が高いため、それらのデータ数から送信優先度を計算し、各メタデータの送信優先度を設定する。

次にステップＳＳ１３０へ移り、サーバ１０３のＣＰＵは、追加で受信するメタデータについて全て送信優先度を設定するまで上記ステップＳＳ１１０へ戻って同様の手順を繰り返す。その回での通信可能時間帯で全てのメタデータを受信してそれぞれに送信優先度を設定した際に、次のステップＳＳ１３５へ移る。

ステップＳＳ１３５では、サーバ１０３のＣＰＵは、全てのメタデータとその送信優先度の設定を携帯端末装置１０別に整理し、それぞれを送信許可画像リストとして作成して対応する携帯端末装置１０に送信する。

次にステップＳＳ１４０へ移り、サーバ１０３のＣＰＵは、上記ステップＳＳ１３５で送信した送信許可画像リストの返信として、携帯端末装置１０から送信許可撮影画像（画像データ）を受信する。そして受信した画像データにその受信順でサーバ１０３用の画像ＩＤを付与し、当該画像データのメタデータ及びステージエリアとともに上記収集画像データベースに記録する。

次にステップＳＳ１４５へ移り、サーバ１０３のＣＰＵは、その回の通信可能時間帯が終了したか否か、言い換えるとその回の通信開始時間から規定の時間（この例の２分）だけ経過したか否かを判定する。通信終了時間に到達していない場合、判定は満たされず、ステップＳＳ１５０へ移る。

ステップＳＳ１５０では、サーバ１０３のＣＰＵは、送信許可画像のうちで未受信のものがあるか否かを判定する。未受信の画像がある場合、判定が満たされ、ステップＳＳ１４０へ戻って同様の手順を繰り返す。

一方、上記ステップＳＳ１４５の判定において、通信終了時間に到達していた場合、判定が満たされ、ステップＳＳ１５５へ移る。

また一方、上記ステップＳＳ１５０の判定において、未受信の画像がない場合、判定は満たされず、ステップＳＳ１５５へ移る。

ステップＳＳ１５５では、サーバ１０３のＣＰＵは、無線ＬＡＮ接続を切断して携帯端末装置１０との無線通信を終了する。この時、通信終了時間に到達してもまだ送信許可画像の画像データを受信中であっても、強制的に無線通信を終了する。そしてこのフローを終了する。

以上において、ステップＳＳ１２５の手順が各請求項記載の有用度判定手段に相当し、ステップＳＳ１４０の手順が各請求項記載の画像受信手段に相当する。

以上説明したように、本実施形態では、ユーザは自由に画像を撮影する以外は特に操作を意識せずとも、携帯端末装置１０及びサーバ１０３で自動的に適正な画像を絞り込み、その厳選された撮影画像だけを自動的にサーバ１０３に送信して記憶させることができる。これにより、撮影画像の送信数が大幅に少なくなるため、容量が大きい撮影画像であっても円滑に送受信できる。この結果、同一の会場１００内で大量の携帯端末装置１０からそれぞれ適正な撮影画像だけを自動的かつ円滑に送受信できる。

また、本実施形態では特に、携帯端末装置１０が、ステップＳＫ１２０の手順で通信開始時間の情報を含む座席情報を不揮発性記憶装置１４に記憶させ、ステップＳＫ３００の画像送信処理で当該携帯端末装置１０が所属するグループに割り当てられた通信可能時間帯の間だけ、会場内アクセスポイント１０１を介してサーバ１０３と情報送受する。これにより、会場１００内に存在する大量の携帯端末装置１０がグループ別に時差を設けて無線通信するため、会場内アクセスポイント１０１のトラフィック負荷を軽減させることができる。

なお、このように会場内アクセスポイント１０１に対するトラフィック負荷を軽減させる他の手法としては、例えば図１２に示すように観客席全体を複数のエリアに区分して各エリアを無線通信可能範囲１０４Ａ〜１０４Ｄとする複数の会場内アクセスポイント１０１Ａ〜１０１Ｄを設けるようにしてもよい。この場合、各会場内アクセスポイント１０１Ａ〜１０１Ｄがそれぞれ無線通信する相手の携帯端末装置１０の数が少ないため、常時無線通信により情報を送受できる。また図示する例では、４つの会場内アクセスポイント１０１Ａ〜１０１Ｄに対して１つのサーバ１０３で情報を処理しているが、この他にも各会場内アクセスポイント１０１Ａ〜１０１Ｄにそれぞれ対応して個別のサーバ１０３Ａ〜１０３Ｄを設けてもよい。この場合には、上記図７に示した収集画像データベースがそれぞれのサーバ１０３Ａ〜１０３Ｄで記憶され、それぞれ個別に画像ＩＤを付与する。これにより、無線通信のトラフィック負荷を軽減できるとともに情報の送受もより円滑に行うことができる。

また本実施形態では、画像データとして静止画像を扱う例を示したが、これ以外にも動画画像を画像データとして扱ってもよい。また送信許可画像リストは、送信優先度が一定以上高いと判定された撮影画像だけをリストアップしてもよい。また本実施形態では、公演中において携帯端末装置１０のタッチパネルディスプレイ１６上に画像撮影用画面（図示省略）を表示させるが、カメラ１７の撮影方向が注視位置へ向いてる間にこの画像撮影用画面上にリアルタイムにその旨の表示を行うようにしてもよい。この場合、画像の撮影操作を待たずに上記ステップＳＫ２１５の注視点撮影解析を常時行い、カメラ１７の撮影方向が注視位置へ向いていると判定されている間だけ画像撮影用画面上にその旨を報知する表示を行えばよい。これにより、ユーザは意識的に注視位置の撮影を行うことが容易となる。

また本実施形態では、携帯端末装置１０の位置情報をユーザの座席位置で特定したが、この他にも当該携帯端末装置１０がＧＰＳセンサを内蔵してユーザの位置の緯度、経度で位置情報を特定してもよい。また本実施形態では、ステージ上の注視位置を移動する１人の公演者Ｚの位置として想定したが、この他にも固定位置であったり、複数設定してもよい。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用してもよい。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１画像取得システム
１０携帯端末装置
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４不揮発性記憶装置
１５時計
１６タッチパネルディスプレイ
１７カメラ
１８方位センサ
１９３次元加速度センサ
２０無線ＬＡＮ通信部
１００コンサートホール会場
１０１会場内アクセスポイント
１０２有線ＬＡＮ
１０３、１０３Ａ、サーバ
１０３Ｂ、１０３Ｃ、
１０３Ｄ
１０３ａ大容量記憶装置（受信画像記憶手段）
１０４、１０４Ａ、無線通信可能範囲
１０４Ｂ、１０４Ｃ、
１０４Ｄ
１０５撮影ブロック
１０６ステージ中央位置
Ｙユーザ
Ｚ公演者

Claims

予め定められた領域内の所定位置におけるユーザが所持し、前記領域内の領域を無線通信可能範囲とした無線通信装置との無線通信を介して所定のサーバと情報送受可能な携帯端末装置であって、
前記ユーザの操作により前記所定位置の位置情報を入力する位置入力手段と、
画像を撮影する画像撮影手段と、
前記画像撮影手段が撮影した撮影画像とともに、当該画像を撮影した際に検出した当該携帯端末装置の姿勢情報と時間情報とを前記撮影画像と対応付けて記憶する撮影画像記憶手段と、
前記位置情報と前記姿勢情報とに基づいて、前記撮影画像が前記領域内の所定の注視位置を撮影したものであるかを判定する画像判定手段と、
前記画像判定手段により前記注視位置を撮影したと判定された前記撮影画像に対応する前記姿勢情報、前記位置情報、及び、時間情報を前記無線通信装置を介して前記サーバへ送信し、その返信として受信した送信許可情報で送信が許可された場合に、当該撮影画像を前記無線通信装置を介して前記サーバへ送信する画像送信手段と、を備えていることを特徴とする携帯端末装置。
前記携帯端末装置は、
グループ別に割り当てられた通信可能時間帯を記憶する割当時間記憶手段、
を備え、
前記画像送信手段は、当該携帯端末装置が所属するグループに割り当てられた通信可能時間帯の間だけ、前記無線通信装置を介して前記サーバと情報送受することを特徴とする請求項１記載の携帯端末装置。
予め定められた領域内の領域を無線通信可能範囲とした無線通信装置との無線通信を介して所定のサーバと情報送受可能な携帯端末装置が備えるコンピュータが実行可能な携帯端末用プログラムであって、
当該携帯端末装置を所持するユーザの前記領域内における所定位置の位置情報を入力する位置入力ステップと、
画像を撮影する画像撮影ステップと、
前記画像撮影ステップで撮影した撮影画像とともに、当該画像を撮影した際に検出した当該携帯端末装置の姿勢情報と時間情報を前記撮影画像と対応付けて記憶する撮影画像記憶ステップと、
前記位置情報と前記姿勢情報とに基づいて、前記撮影画像が前記領域内の所定の注視位置を撮影したものであるかを判定する画像判定ステップと、
前記画像判定ステップにより前記注視位置を撮影したと判定された前記撮影画像に対応する前記姿勢情報、前記位置情報、及び、時間情報を前記無線通信装置を介して前記サーバへ送信し、その返信として受信した送信許可情報で送信が許可された場合に、当該撮影画像を前記無線通信装置を介して前記サーバへ送信する画像送信ステップと、
を実行させることを特徴とする携帯端末用プログラム。
予め定められた領域内の領域を無線通信可能範囲とした無線通信装置との無線通信を介して、前記領域内の所定位置におけるユーザが所持する携帯端末装置と情報送受可能なサーバであって、
前記無線通信装置を介して前記携帯端末装置から受信した前記所定位置の位置情報、姿勢情報、及び、時間情報に基づいて、前記姿勢情報と前記時間情報に対応する撮影画像の有用度を判定する有用度判定手段と、
前記有用度判定手段により有用度が一定以上高いと判定された撮影画像に対する送信許可情報を前記無線通信装置を介して当該携帯端末装置へ送信し、その返信として当該携帯端末装置から前記撮影画像を受信する画像受信手段と、
前記画像受信手段で受信した前記撮影画像を記憶する受信画像記憶手段と、
を備えていることを特徴とするサーバ。
予め定められた領域内の所定位置におけるユーザが所持する携帯端末装置と、
前記領域内の領域を無線通信可能範囲として前記携帯端末装置と無線通信可能な無線通信装置と、
前記無線通信装置と情報送受可能に接続されたサーバと、
を有する画像取得システムであって、
前記携帯端末装置は、
前記ユーザの操作により前記所定位置の位置情報を入力する位置入力手段と、
画像を撮影する画像撮影手段と、
前記画像撮影手段が撮影した撮影画像とともに、当該画像を撮影した際に検出した当該携帯端末装置の姿勢情報と時間情報とを前記撮影画像と対応付けて記憶する撮影画像記憶手段と、
前記位置情報と前記姿勢情報とに基づいて、前記撮影画像が前記領域内の所定の注視位置を撮影したものであるかを判定する画像判定手段と、
前記画像判定手段により前記注視位置を撮影したと判定された前記撮影画像に対応する前記姿勢情報、前記位置情報、及び、前記時間情報を前記無線通信装置を介して前記サーバへ送信し、その返信として受信した送信許可情報で送信が許可された場合に、当該撮影画像を前記無線通信装置を介して前記サーバへ送信する画像送信手段と、を備え、
前記サーバは、
前記無線通信装置を介して前記携帯端末装置から受信した前記位置情報、前記姿勢情報、及び、前記時間情報に基づいて、前記姿勢情報と前記時間情報に対応する前記撮影画像の有用度を判定する有用度判定手段と、
前記有用度判定手段により有用度が一定以上高いと判定された撮影画像に対する送信許可情報を前記無線通信装置を介して当該携帯端末装置へ送信し、その返信として当該携帯端末装置から前記撮影画像を受信する画像受信手段と、
前記画像受信手段で受信した前記撮影画像を記憶する受信画像記憶手段と、
を備えていることを特徴とする画像取得システム。