JP5213764B2 - 映像コンテンツへの位置情報付与システムおよび方法 - Google Patents

Description

本発明は映像コンテンツへの位置情報付与システムおよび方法に関し、特に、ユーザが、デジカメ、ビデオカメラ等の撮影機器で撮影した静止画像または動画像に自動的に地名や施設名などの位置情報を付けて保管することのできる映像コンテンツへの位置情報付与システムおよび方法に関する。

従来は、デジカメ、ビデオカメラ等の撮影者が撮影した映像を見ながら、手入力で、撮影時の記憶やメモに従って位置情報または場所情報を映像コンテンツに入力していた。また、下記の特許文献１に開示されているように、撮影機器にＧＰＳ装置を付加して撮影映像と共に位置情報を映像コンテンツに記録することが行われていた。

特開２００２−３３０３７７号公報

しかしながら、前記した手入力で位置情報または場所情報を映像コンテンツに入力する方法は、正確に位置情報または場所情報を入力することはできるが、手間がかかり、効率が悪いという課題があった。また、前記撮影機器にＧＰＳ装置を付加して位置情報を取得する方法は、ＧＰＳ装置を付加する分の撮影機器のコスト増になるという課題があった。

本発明は、前記課題に鑑みてなされたものであり、その目的は、通常の撮影機器で撮影した画像に、携帯電話番号を用いて簡易に位置情報を付与することのできる映像コンテンツへの位置情報付与システムおよび方法を提供することにある。

前記の目的を達成するために、本発明は、予め、顔写真、名前および携帯電話番号を少なくとも登録された家庭個別ＤＢ（データベース）と、映像撮影時間情報が付加された映像コンテンツを受信する映像入力部と、前記映像入力部で受信した映像コンテンツの映像撮影時間情報を抽出する時間情報抽出部と、前記映像コンテンツから抽出された顔情報と前記家庭個別ＤＢに登録されている顔写真情報とを比較して、該映像コンテンツ中の人物の名前を認識すると共に、その人物に対応する携帯電話番号を取得する顔認識部と、前記時間情報抽出部で抽出した映像撮影時間情報と、前記顔認識部で取得された携帯電話番号とに基づいて、撮影場所の地名および施設名候補の少なくとも一つを取得し、前記映像コンテンツのタグ情報とするタグ付与部と、前記タグ付与部で付与された撮影場所の地名または施設名候補のタグ情報を、前記映像コンテンツと共に保存するＶｏＤコンテンツ保存部とを具備した点に特徴がある。

また、前記タグ付与部は、前記映像撮影時間情報と携帯電話番号とにより携帯電話位置情報ＤＢにアクセスして、前記撮影場所の地名および施設名候補の少なくとも一つに係る位置情報を得、該位置情報を基に地図情報ＤＢにアクセスして該位置情報に対応する地名および施設名候補の少なくとも一つを得る点に他の特徴がある。

また、予め、家庭個別ＤＢ（データベース）に顔写真、名前および携帯電話番号を少なくとも登録する工程と、映像撮影時間情報が付加された映像コンテンツを受信する工程と、前記映像コンテンツから顔情報を抽出する工程と、該抽出された顔情報と前記家庭個別ＤＢに登録されている顔写真情報とを比較する工程と、該比較により、前記映像コンテンツ中の人物の名前を認識すると共に、その人物に対応する携帯電話番号を取得する工程と、前記映像入力部で受信した映像撮影時間情報と、前記顔認識部で取得された携帯電話番号とに基づいて、撮影場所の地名および施設名候補の少なくとも一つを取得する工程と、該取得した地名および施設名候補の少なくとも一つを前記映像コンテンツのタグ情報とする工程と、前記タグ付与部で付与された撮影場所の地名または施設名候補のタグ情報を、前記映像コンテンツと共に保存する工程とからなる映像コンテンツへの位置情報付与方法に他の特徴がある。

本発明は、撮影カメラにＧＰＳ機能を装着することなく、１人１台を持つまでに普及している携帯電話を巧みに利用して撮影画像の場所情報を自動的に付与できるという効果、およびこのためユーザは撮影画像に簡易かつ安価に位置情報を付与できるという効果がある。

本発明が実施されるネットワーク環境の一例を示すブロック図である。 本発明の一実施形態のサーバの構成を示すブロック図である。 家庭個別ＤＢ登録部に登録される家庭個別データの一例を示す図である。 家庭個別ＤＢ登録部への登録動作を説明するフローチャートである。 サーバの動作を説明するフローチャートである。 図５の続きの動作を示すフローチャートである。 サーバのタグ付与部の動作の概略の説明図である。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明が実施されるネットワーク環境の一例の説明図である。

ＰＣ等の端末装置２からは、顔映像、名前、携帯電話番号などの家庭情報がインターネット網３を介してサーバ４へアップロードされる。また、撮像装置１はビデオカメラ、デジカメなどからなり、該撮像装置１で撮影されたユーザ個人等の映像データ（静止画像、動画像）は、ＰＣ等の端末装置２を経由して、または直接にＷｉＦｉ、ＷｉＭａｘ等によりインターネット網３に送られる。インターネット網３に送られた家庭情報、及び映像データ又は映像コンテンツ（以下、映像コンテンツと呼ぶ）はサーバの情報・映像入力部からサーバ４に入力される。該サーバ４の構成は後で詳細に説明するが、映像コンテンツの顔情報から名前や携帯電話番号などを認識する機能、サーバ４に接続されている携帯電話位置情報ＤＢ（データベース）５にアクセスして映像コンテンツの時間情報を基に位置情報（ＧＰＳ情報）を取得する機能、該取得した位置情報を基に地図情報ＤＢ６にアクセスし地図情報を取得する機能、映像コンテンツにタグ情報（位置情報、地名、施設名情報など）を付与する機能、映像ファイル作成機能、該映像ファイルを保管する機能、ＩＤおよびパスワードを生成して該映像コンテンツに関連させる機能、ＶｏＤ受信要求のアクセスに対応する機能、フィードバック情報に対応する機能などを有している。なお、前記携帯電話位置情報ＤＢ５および地図情報DB６は、インターネット網３に接続されることもできる。

サーバ４はＶｏＤ視聴装置８からインターネット網３又はＶｏＤインフラ網７を介してアクセスされると、前記ＩＤおよびパスワードを照合した上で要求された画像コンテンツを映像出力部からＶｏＤインフラ網７を介してＶｏＤ視聴装置８へ送出する。ＶｏＤ視聴装置８はテレビやＤＶＲ等からなり、ユーザは該ＶｏＤ視聴装置８の映像面上に映出された画像コンテンツの映像分類情報を用いて、見たい映像コンテンツやチャプター（映像シーン）を選択的に映出することにより、効率的にかつ自宅に居ながら楽しむことができる。また、サーバ４で自動的に付けられた前記タグ情報に満足しない場合には、ユーザは好みのタグ情報をサーバ４にフィードバックして、タグ情報を修正することができる。つまり、サーバ４は、該フィードバック情報により前記タグ情報を修正すると共に、タグ情報付与の精度が向上するように学習することができる。

次に、前記サーバ４の構成の詳細を、図２のブロック図を参照して詳細に説明する。図２において、図１と同じ符号は同一または同等物を示す。なお、本発明では、ユーザは携帯電話を所持していることを前提とするものであり、ユーザが携帯電話を持ちながら所望の場所に移動すると、その行路は時間と共に、例えば携帯電話会社の携帯電話位置情報ＤＢ５に記録されるものとする。

サーバ４は、前記端末装置２からの家庭情報（例えば、顔映像、名前、携帯電話番号）などが入力する情報入力部４１、情報入力部４１に入力した家庭情報などを受け付ける情報受付部４２、該家庭情報などを登録する家庭個別ＤＢ登録部４３を有している。前記家庭情報は、図３に具体例が示されているように、名前、顔画像および携帯電話番号がリンクされて構成される。

また、サーバ４は、インターネット網経由で送られてきた映像コンテンツ（動画・静止画）が入力する映像入力部４４、該映像コンテンツから時間情報を抽出する時間情報抽出部４５を有している。該時間情報は、デジカメ、ビデオカメラ等の撮影機器が本来的に有する時計機能により映像コンテンツに付加される情報である。また、サーバ４は例えばＤＶフォーマットの映像をＭＰＥＧ２や非圧縮映像に変換する映像規格変換部４６を有する。また、サーバ４は、顔認識部４７および特徴量抽出部４８を有する。該顔認識部４７は、映像コンテンツから顔データを抜き出し、家庭個別ＤＢ登録部４３に予め登録されている家庭情報の顔映像と比較し、映像コンテンツに登場している人の名前と、その人と対応する携帯電話番号（その人が持っている携帯電話機の電話番号）とを取得する。

映像特徴量ＤＢ４９には地名や施設名がそれらの映像特徴と対で格納されており、特徴量抽出部４８は映像コンテンツの中から映像全体あるいは顔以外の背景などから特徴量を抽出し、前記映像特徴量ＤＢ４９と比較して、地名や施設名などを取得する。例えば、銀座、渋谷、東京タワー、ディズニーランド、都庁などの地名や施設名を取得する。なお、該特徴量抽出部４８および映像特徴量ＤＢ４９は、ユーザが携帯電話機を所持していない場合、あるいは所持を忘れた場合に有用となるものであり、本発明には必須のものではない。

サーバ４は、また、タグ付与部５０を有している。該タグ付与部５０は、前記時間情報抽出部４５から時間情報を受け取り、顔認識部４７からは映っている人の名前と携帯電話番号を受け取り、特徴量抽出部４８からは地名や施設名などのデータを受け取る。そして、前記携帯電話番号と時間情報を基に、位置情報取得部５１を介して携帯電話位置情報ＤＢ５をアクセスし、位置情報を得る。例えば、「座標：３５．６３２５４６，１３９．８８１３２８」という位置情報を得る。この位置情報だけでは、具体的な場所が分からないからこの位置情報を基に地名・施設名取得部５２を介して地図情報ＤＢ６をアクセスし、具体的な地名・施設名などの候補情報、例えば、「浦安、ディズニーランド、幕張」などの候補情報を得る。タグ付与部５０は、以上の情報またはデータから、映像コンテンツにタグ情報を付与する。このタグ情報は、例えば映像コンテンツのシーン毎に付けられるのが好ましい。

サーバ４は、さらに、映像規格変換部４６よりの映像コンテンツとタグ情報が付与されている映像ファイルを作成する映像ファイル（ＴＳ；Transport stream）作成部５３、該映像ファイルを格納するＶｏＤコンテンツ保存部５４および図１の映像出力部に相当するＶｏＤ送出部５５を有する。さらに、図１のフィードバック情報入力部に相当するＶｏＤ受信部５６を有し、該ＶｏＤ受信部５６は、ユーザからのＶｏＤ視聴要求とフィードバック情報とを識別し、ＶｏＤ視聴要求であればＶｏＤコンテンツ保存部５４にＶｏＤ視聴要求を送り、一方フィードバック情報であれば該フィードバック情報をフィードバック処理部５７に送る。タグ付与部５０は、フィードバック処理部５７から修正情報を受けると、映像ファイル作成部５３およびＶｏＤコンテンツ保存部５４に送付済みの該当する映像コンテンツに付与されているタグ情報を修正すると共に、修正内容に応じて、家庭個別ＤＢ登録部４３および映像特徴量ＤＢ４９のデータを修正する。

次に、前記サーバ４の動作を、図４、図５のフローチャートを参照して説明する。まず、サーバ４の家庭個別ＤＢ登録部４３に、家庭情報を予め登録する動作を図４のフローチャートを参照して説明する。ステップＳ１では、例えば図３のような家庭情報（個人や家族の顔画像、名前、携帯電話番号など）が入力される。ステップＳ２では、ユーザが入力内容が正しいことが確認されたか否かの判断がなされ、正しいことが確認された後、登録操作がなされると、ステップＳ３に進んで、前記入力された家庭情報が前記家庭個別ＤＢ登録部４３に登録される。

次に、サーバ４の動作を、図５のフローチャートを参照して説明する。ステップＳ１１では、端末装置２から、撮影者の名前や携帯電話番号が入力された後、映像コンテンツ（静止画、動画）が入力されると、映像入力部４４は撮影者の名前や携帯電話番号および映像コンテンツを受信する。ステップＳ１２では、時間情報抽出部４５で、映像コンテンツから時間情報を抽出する。抽出された時間情報は前記タグ付与部５０に送られる。ステップＳ１３では、映像規格変換部４６で映像フォーマットが変換される。例えばＤＶフォーマットの映像がＭＰＥＧ２や非圧縮映像に変換される。ステップＳ１４では、顔認識部４７にて、静止画や動画のシーン内の顔画像が抽出され、ステップＳ１５では家庭個別ＤＢ登録部４３を参照して顔認識ができた画像であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ１７に進んで撮影日時情報と撮影者と顔認識対象者（複数でもよい）の携帯電話番号とを、タグ情報として付与する。一方、顔認識ができなかった画像であれば、ステップＳ１８に進んで、撮影日時情報と、撮影者の携帯電話番号とをタグ情報として付与する。

その後ステップＳ１９に進み、タグ付与部５０は、携帯会社の位置情報ＤＢ５にアクセスし、前記撮影日時情報と携帯電話番号とを基に、その時刻の位置情報を取得する。次いで、ステップＳ２０に進み、地図情報ＤＢ６にアクセスし、該位置情報を基に、該位置情報の地名や施設名及び近くの地名や施設名を付与候補として取得する。次に、ステップＳ２１では、映像ファイル作成部５３が、映像規格変換部４６からの映像コンテンツに、タグ情報（撮影日時、顔認識された人の名前、地名や施設名等）を付与して映像ファイルを作成する。ステップＳ２２では、作成された映像ファイルがＶｏＤコンテンツ保存部５４に一時的に保存される。

次に図６に進み、ステップＳ２３では、該映像ファイルがＶｏＤコンテンツ保存部５４から読み出され、ＶｏＤ送出部５５からＶｏＤ視聴装置８に送出される。そこで、映像コンテンツに付与されているタグ情報はユーザによって閲覧及びチェックされ、修正すべきタグ情報があれば（ステップＳ２４が肯定）、ステップＳ２５に進んで映像コンテンツのタグ情報の修正がなされる。また、ステップＳ２６では、家庭個別ＤＢ登録部４３のデータや、映像特徴ＤＢのデータが更新（修正）される。そして、映像コンテンツに付与されるタグ情報が確定され、ステップＳ２７にてＶｏＤコンテンツ保存部５４に保存される。一方、タグ情報の修正のフィードバック情報がなければ、タグ情報はそのまま確定されて保存される。

図７に、本実施形態の動作の一具体例を示す。今、時間情報９時４０分〜１０時４０分までの映像コンテンツ６０が映像入力としてサーバ４に送られてきたとすると、顔認識（個人認識）部４７は映像コンテンツ６０から顔抽出をする。図７の例では、１０時〜１０時２０分の間に写っている人の顔を抽出する。そして、家庭個別ＤＢ登録部４３に予め登録されている家庭情報の顔映像と比較し、映像コンテンツに登場している人の名前と、その人と対応する携帯電話番号（その人が持っている携帯電話機の電話番号）とを取得する。いま、図３のデータが家庭個別ＤＢ登録部４３に登録されているとすると、名前「はるか」と携帯電話番号「０９０−１１１１−１１１１」が取得される。また、前記時間情報（撮影日時情報）は、時間情報抽出部４５で抽出されタグ付与部４５に送られる。

タグ付与部５０では、映像コンテンツ６０に対して撮影者の携帯電話番号「０９０−３３３３−３３３３」を付与すると共に、前記１０時〜１０時２０分の映像に対しては「はるか」と携帯電話番号「０９０−１１１１−１１１１」とをタグ情報として付与する。また、撮影者と「はるか」の携帯電話番号を基に前記携帯電話位置情報ＤＢ５および地図情報ＤＢ６を前記のようにアクセスし、地名、施設名などの情報、例えば「浦安、ディズニーランド、幕張」を取得する。そして、前記映像コンテンツ６０に、タグ情報、すなわち前記撮影者の携帯電話番号「０９０−３３３３−３３３３」、「はるか」、「０９０−１１１１−１１１１」および「浦安、ディズニーランド、幕張」を付与する。このタグ情報が付された映像コンテンツ６０は、映像ファイル化され、一時的にＶｏＤコンテンツ保持部５４に保持された後、ユーザのＶｏＤ視聴装置８（図１参照）へ送られる。ユーザは受信した映像コンテンツを閲覧して、前記撮影者の携帯電話番号「０９０−３３３３−３３３３」、「はるか」、「０９０−１１１１−１１１１」に間違いがあれば修正し、地名、施設名候補「浦安、ディズニーランド、幕張」の中から所望のものを選択する。これらの修正情報および選択情報はサーバ４にフィードバック情報として返送される。そうすると、サーバ４のタグ付与部５０は、映像コンテンツのタグ情報を指示された通りに修正または決定すると共に、家庭個別ＤＢ登録部４３や映像特徴量ＤＢ４９のデータを更新修正する。

なお、携帯電話会社が有する前記携帯電話位置情報ＤＢ５は個人情報に係わるものであるので、本発明のサービス提供者は、該携帯電話位置情報ＤＢ５の提供について予め同意を得たことを確認したユーザ（携帯電話契約者）にのみ本発明のサービスを提供することができることに留意する必要がある。

以上の実施形態では、本発明の典型例を説明したが、本発明の精神から逸脱しない範囲での変形は、本発明に含まれることは明らかである。

１・・・撮像装置、２・・・端末装置、３・・・インターネット網、４・・・サーバ、５・・・携帯電話位置情報ＤＢ、６・・・地図情報ＤＢ、７・・・ＶｏＤインフラ網、８・・・ＶｏＤ視聴装置、４３・・・家庭個別ＤＢ登録部、４４・・・映像入力部、４５・・・時間情報抽出部、４６・・・映像規格変換部、４７・・・顔認識（個人認識）部、５０・・・タグ付与部、５１・・・位置情報取得部、５２・・・地名・施設名取得部、５３・・・映像ファイル（ＴＳ）作成部、５４・・・ＶｏＤコンテンツ保存部、５５・・・ＶｏＤ送出部、５６・・・ＶｏＤ受信部、５７・・・フィードバック処理部。

Claims (7)

1. 予め、顔写真、名前および携帯電話番号を少なくとも登録された家庭個別ＤＢ（データベース）と、
   映像撮影時間情報が付加された映像コンテンツを受信する映像入力部と、
   前記映像入力部で受信した映像コンテンツの映像撮影時間情報を抽出する時間情報抽出部と、
   前記映像コンテンツから抽出された顔情報と前記家庭個別ＤＢに登録されている顔写真情報とを比較して、該映像コンテンツ中の人物の名前を認識すると共に、その人物に対応する携帯電話番号を取得する顔認識部と、
   前記時間情報抽出部で抽出した映像撮影時間情報と、前記顔認識部で取得された携帯電話番号とに基づいて、撮影場所の地名および施設名候補の少なくとも一つを取得し、前記映像コンテンツのタグ情報とするタグ付与部と、
   前記タグ付与部で付与された撮影場所の地名または施設名候補のタグ情報を、前記映像コンテンツと共に保存するＶｏＤコンテンツ保存部とを具備する映像コンテンツへの位置情報付与システム。
2. 前記タグ付与部は、前記映像撮影時間情報と携帯電話番号とにより携帯電話位置情報ＤＢにアクセスして、前記撮影場所の地名および施設名候補の少なくとも一つに係る位置情報を得ることを特徴とする請求項１に記載の映像コンテンツへの位置情報付与システム。
3. 前記タグ付与部は、前記映像コンテンツから顔情報が認識できない場合に、撮影者の携帯電話番号を使用することを特徴とする請求項２に記載の映像コンテンツへの位置情報付与システム。
4. 前記タグ付与部は、前記位置情報を基に地図情報ＤＢにアクセスして、該位置情報に対応する地名および施設名候補の少なくとも一つを得ることを特徴とする請求項２または３に記載の映像コンテンツへの位置情報付与システム。
5. 前記タグ付与部は、さらに、前記撮影時間情報、前記携帯電話番号及び前記人物の名前の少なくとも一つを前記映像コンテンツのタグ情報とすることを特徴とする請求項１に記載の映像コンテンツへの位置情報付与システム。
6. フィードバック情報を処理するフィードバック処理部をさらに有し、
   該フィードバック処理部から選択のフィードバック情報を受けると、前記タグ付与部は、前記撮影場所を該選択情報で通知された地名又は施設名に決定することを特徴とする請求項１に記載の映像コンテンツへの位置情報付与システム。
7. 予め、家庭個別ＤＢ（データベース）に顔写真、名前および携帯電話番号を少なくとも登録する工程と、
   映像撮影時間情報が付加された映像コンテンツを受信する工程と、
   前記映像コンテンツから顔情報を抽出する工程と、
   該抽出された顔情報と前記家庭個別ＤＢに登録されている顔写真情報とを比較する工程と、
   該比較により、前記映像コンテンツ中の人物の名前を認識すると共に、その人物に対応する携帯電話番号を取得する工程と、
   前記映像入力部で受信した映像撮影時間情報と、前記顔認識部で取得された携帯電話番号とに基づいて、撮影場所の地名および施設名候補の少なくとも一つを取得する工程と、
   該取得した地名および施設名候補の少なくとも一つを前記映像コンテンツのタグ情報とする工程と、
   前記タグ付与部で付与された撮影場所の地名または施設名候補のタグ情報を、前記映像コンテンツと共に保存する工程とからなる映像コンテンツへの位置情報付与方法。

Images