Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3617052B2 - Camera image providing system and camera image time correction method - Google Patents
[go: Go Back, main page]

JP3617052B2 - Camera image providing system and camera image time correction method - Google Patents

Camera image providing system and camera image time correction method Download PDF

Info

Publication number
JP3617052B2
JP3617052B2 JP2001261650A JP2001261650A JP3617052B2 JP 3617052 B2 JP3617052 B2 JP 3617052B2 JP 2001261650 A JP2001261650 A JP 2001261650A JP 2001261650 A JP2001261650 A JP 2001261650A JP 3617052 B2 JP3617052 B2 JP 3617052B2
Authority
JP
Japan
Prior art keywords
time
video
cameras
information processing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001261650A
Other languages
Japanese (ja)
Other versions
JP2003078864A (en
Inventor
ひろし 的場
洋一 狩野
秀雄 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001261650A priority Critical patent/JP3617052B2/en
Publication of JP2003078864A publication Critical patent/JP2003078864A/en
Application granted granted Critical
Publication of JP3617052B2 publication Critical patent/JP3617052B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カメラ映像提供システム及びカメラ映像の時間軸補正方法に関し、特に複数のカメラで撮った映像の時間軸を揃えて利用者に提供し、またカメラで撮った映像の撮影時刻を補正する技術に関する。
【0002】
【従来の技術】
近年、家庭用のハンディなビデオカメラ(以下、「家庭用カメラ」という)が普及し、広く使用されている。このような家庭用カメラは、撮影された映像を自身の表示装置に表示させる機能の他に、撮影された映像の映像信号を外部に出力する機能を有している。
【0003】
この家庭用カメラからの映像信号は、例えばパーソナルコンピュータに取り込むことができるようになっている。そして、パーソナルコンピュータ上で動作する映像編集ソフトウェアは、取り込まれた映像信号に基づく映像を編集できるようになっている。
【0004】
ところで、上述した編集は、1台の家庭用カメラから取り込まれた映像を対象に行われることが殆どであった。一方、映画では、1つのシーンを複数のプロフェッショナル用カメラで別々に撮影し、この複数のプロフェッショナル用カメラから取り込まれた複数の映像を繋ぎ合わせる編集を行い、ストーリー性を有する映像を作成することも行われている。
【0005】
【発明が解決しようとする課題】
しかしながら、家庭用カメラでは、その内蔵時計が、正確な時刻に設定されていないことなどによる実時刻とのズレに起因して、複数のカメラ映像の時間軸が正確にあっていないことが多い。そのため、家庭用カメラで撮影した映像では、同一の時間軸における連続した編集を行うことができず、映像の抜けやダブりが発生して映像進行のぎこちなさが目立ち、また、映像と同時に録音されている音声が繰り返されたりするので、視聴に耐えられないという問題がある。
【0006】
そこで、複数の映像を正確な時間軸上で編集したいという要望がある。また、1つのシーンの、同一時刻における異なるアングルの映像を見たいという要望も生じている。
【0007】
本発明は、上述した問題を解消し、また上記要請に応えるためになされたものであり、その目的は、カメラ映像の時間軸を正確に揃えることができるカメラ映像提供システム及びカメラ映像の時間軸補正方法を提供することにある。
【0008】
【課題を解決するための手段】
本発明は、複数の利用者が運動会のような、1つのイベントを複数のカメラで撮影することにより得られた複数の映像をコンピュータ上に集め、コンテンツとして利用者に提供するものである。より詳しくは、蓄積された複数の映像の時間軸を正確に合わせる映像の時間軸補正方法及び映像の時間軸を合わせて帯状に並べて提供し、映像編集及び映像アングルの切換を容易ならしめるカメラ映像提供システムである。地域、学校、集合住宅といったコミュニティ内での共同撮影、共同映像編集のためのツールとして活用できる。
【0009】
即ち、本発明の第1の態様に係るカメラ映像提供システムは、上記目的を達成するために、複数のカメラと、前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置、とを備えている。
【0010】
このカメラ映像提供システムにおける前記情報処理装置は、前記複数の映像の各々に関連付けられている情報に基づいて前記複数の映像のマッチングをとることにより時間軸を揃えるように構成できる。この場合、前記関連付けられている情報は音波形から構成できる。また、このカメラ映像提供システムにおける前記情報処理装置は、前記複数の映像のマッチングがとれた部分にマークを設定するように構成できる。
【0011】
また、このカメラ映像提供システムにおける前記情報処理装置は第1時計を備え、前記複数のカメラの各々は第2時計を備え、前記情報処理装置は、前記第1時計が示す現在時刻と、前記第2時計が示す現在時刻との差を表す補正値に基づいて前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【0012】
また、このカメラ映像提供システムにおける前記情報処理装置は、ネットワークによって接続された複数の情報処理機器から成り、前記複数の情報処理機器の各々に備えられた前記第1時計の時刻は、前記ネットワークに接続された他の情報処理装置からセットされるように構成できる。
【0013】
この場合、前記複数の情報処理機器は、前記ネットワークを介して、少なくとも映像及び該映像の撮影時刻を前記他の情報処理装置に送るように構成できる。また、前記複数の情報処理機器は、更に、前記補正値を前記他の情報処理装置に送るように構成できる。これらの場合、前記撮影時刻は、前記補正値により補正された撮影時刻とすることができる。
【0014】
また、このカメラ映像提供システムにおける前記情報処理装置は、時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも1つの映像を生成するように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも1つの映像を生成するように構成できる。
【0015】
更に、このカメラ映像提供システムは、前記複数のカメラの各々は、自己修正機能を有する内蔵時計を備え、前記情報処理装置は、前記内蔵時計が示す時刻に基づいて前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【0016】
この場合、前記情報処理装置は、ネットワークによって接続された複数の情報処理機器から成り、前記複数の情報処理機器は、前記ネットワークを介して、少なくとも映像及び該映像の撮影時刻を他の情報処理装置に送るように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも1つの映像を生成するように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも1つの映像を生成するように構成できる。これらの場合、前記内蔵時計は、電波時計から構成できる。更に、前記複数のカメラの各々は、ネットワークに接続するためのネットインタフェース部を備え、前記内蔵時計は、前記ネットワークに接続された他の情報処理装置から前記ネットインタフェース部を介して時刻がセットされるように構成できる。
【0017】
また、本発明の第2の態様に係るカメラ映像提供システムは、上記と同様の目的で、自己修正機能を有する第1時計を含む情報処理装置と、第2時計を含むカメラ、とを備え、前記情報処理装置は、前記第1時計が示す現在時刻と前記第2時計が示す現在時刻との差に基づいて前記カメラで撮影された映像の撮影時刻を補正し、該補正された撮影時刻を有する映像を提供するように構成されている。
【0018】
この第2の態様に係るカメラ映像提供システムによれば、第1時計は自己修正機能を有するので、第1時計からは常に実際の時刻を得ることができる。この第1時計が示す現在時刻と第2時計が示す現在時刻との差に基づいて、カメラで撮影された映像の撮影時刻が補正されるので、常に正確な撮影時刻を有する映像を提供できる。
【0019】
また、本発明の第3の態様に係るカメラ映像の時間軸補正方法は、上記と同様の目的で、複数のカメラで撮影された複数の映像を入力し、該入力された複数の映像の各々に関連付けられている情報に基づいて前記複数の映像のマッチングをとり、該マッチングがとられた前記複数の映像の時間軸を揃えるように構成されている。この場合、前記関連付けられている情報は音波形から構成できる。
【0020】
また、この第3の態様に係るカメラ映像の時間軸補正方法では、更に、前記複数の映像のマッチングがとれた部分にマークを設定するように構成できる。
【0021】
また、この第3の態様に係るカメラ映像の時間軸補正方法では、第1時計が示す現在時刻を読み込み、前記複数のカメラに備えられた第2時計が示す現在時刻を読み込み、前記第1時計が示す現在時刻と前記第2時計が示す現在時刻との差を算出し、該算出された差を補正値として前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【0022】
この場合、前記撮影時刻を補正するステップは、少なくとも映像及び該映像の撮影時刻に基づいて前記撮影時刻を補正するように構成できる。この場合、前記撮影時刻を補正するステップは、更に、前記補正値に基づいて前記撮影時刻を補正するように構成できる。また、前記撮影時刻は、前記補正値により補正された撮影時刻から構成できる。
【0023】
また、この第3の態様に係るカメラ映像の時間軸補正方法では、前記時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも1つの映像を生成するように構成できる。更に、この第2の態様に係るカメラ映像の時間軸補正方法では、前記時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも1つの映像を生成するように構成できる。
【0024】
更に、本発明の第4の態様に係るカメラ映像の時間軸補正方法は、上記と同様の目的で、自己修正機能を有する第1時計が示す現在時刻と、カメラに含まれる第2時計が示す現在時刻との差を算出し、該算出された差に基づいて前記カメラで撮影された映像の撮影時刻を補正するように構成されている。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。なお、以下の実施の形態で使用する家庭用ビデオカメラ(以下、単に「カメラ」と略称することもある)は、DV(Digital Video)規格を採用するものとする。DV規格としては、「INTERNATIONAL STANDARD」(CEI/IEC 61883−2:1998)を採用できる。
【0026】
(実施の形態1)
図1は、本発明の実施の形態1に係るカメラ映像供給システムの構成を示すブロック図である。このカメラ映像供給システムは、インターネット10、このインターネット10に接続されたサーバ20並びに複数のパーソナルコンピュータ(以下、「PC」と略称することもある)30、31及び32から構成されている。複数のパーソナルコンピュータ30、31及び32には、家庭用ビデオカメラ40、41及び42がそれぞれ接続されている。
【0027】
本発明の情報処理装置は、サーバ20並びに複数のパーソナルコンピュータ30、31及び32に対応する。また、本発明の情報処理機器は、パーソナルコンピュータ30、31及び32に対応する。
【0028】
このカメラ映像供給システムでは、ネットワークとしてインターネット10を使用しているが、本発明ではインターネットに限らず、種々のネットワークを使用できる。
【0029】
サーバ20は、このカメラ映像供給システムを統括的に制御する。このサーバ20としては、サーバ用コンピュータ、ワークステーション、汎用コンピュータいった種々の情報処理装置を使用できる。サーバ20は内蔵時計を備えている。この内蔵時計の時刻は、このカメラ映像供給システムの基準時刻として用いられる。
【0030】
パーソナルコンピュータ30、31及び32は、カメラ40、41及び42からの情報をそれぞれ取り込み、種々の処理を行う。これらパーソナルコンピュータ30、31及び32が行う処理の詳細は後述する。なお、パーソナルコンピュータ30、31及び32の代わりに、他の情報処理装置を使用できることは勿論である。
【0031】
パーソナルコンピュータ30、31及び32の各々は内蔵時計を有しており、後述するように、補正時間Δを算出するために使用される。なお、パーソナルコンピュータ30、31及び32で使用する時計は内蔵時計に限定されず、パーソナルコンピュータ30、31及び32が時刻を知ることのできるものであれば如何なる時計であってもよい。
【0032】
カメラ40、41及び42はパーソナルコンピュータ30、31及び32にそれぞれ接続される。接続は、IEEE1394規格(i・Link等の類似規格を含む)のケーブルやアナログ映像信号ケーブル、ブルートゥース(Bluetooth)等の無線を用いて行われる。
【0033】
なお、サーバ20とパーソナルコンピュータ30、31及び32とは同一の情報処理装置であってもよい。その場合は、図5に示すように、複数台の情報処理装置30〜30に順番に複数台のカメラ40〜40を繋いだり、図4に示すように、1台の情報処理装置30に複数台のカメラ40〜40を繋ぐように構成できる。なお、情報処理装置に複数台のカメラを繋ぐケースとしては、図4に示すように、同時に複数台のカメラを繋ぐケースと、複数台のカメラを順次取り替えながら1台のみを繋ぐケースとがある。
【0034】
また、この実施の形態に係るカメラ映像提供システムでは、情報処理装置は、該情報処理装置に接続されているカメラのIDと、カメラに収納されたテープに記録されている、録画に使用されたカメラのIDとを取得し、これらを映像と関連付けて管理するように構成できる。この構成によれば、撮影時刻の補正行うにあったてカメラとテープの整合性を確認できるので、時刻補正が誤って行われることを防止できる。
【0035】
以上の構成において、本発明の実施の形態に係るカメラ映像供給システムの動作を説明する。
【0036】
先ず、利用者は、パーソナルコンピュータ30、31及び32をサーバ20に接続し、パーソナルコンピュータ30、31及び32の内蔵時計の時刻をサーバ20の内蔵時計の時刻に合わせる。サーバ20の内蔵時計の時刻は、常に、電波時計やNTTの時報サービス、インターネット上の時刻を同期させるためのプロトコルであるNTP(Network Time Protocol)等を利用して正確な時刻に合わせておくことが望ましい。なお、NTPについては、RFC1305で定義されている。
【0037】
次いで、利用者は、カメラ40、41及び42をパーソナルコンピュータ30、31及び32に接続する。以上によりカメラ映像供給システムのセッティングが完了する。
【0038】
以上のセッティングが完了すると、カメラ40、41及び42からパーソナルコンピュータ30、31及び32に撮影した「映像」がそれぞれ送られる。この際、各映像に付加されている「撮影時刻」もパーソナルコンピュータ30、31及び32に送られる。次いで、カメラ40、41及び42の内蔵時計の「現在時刻」がパーソナルコンピュータ30、31及び32にそれぞれ送られる。なお、「映像」、「撮影時刻」及び「現在時刻」を送る順序は上記に限定されず任意である。また、これらの「映像」、「撮影時刻」及び「現在時刻」は、複数回送るように構成してもよい。
【0039】
パーソナルコンピュータ30、31及び32は、カメラ40、41及び42から得られたカメラの現在時刻とパーソナルコンピュータ30、31及び32の内蔵時計の現在時刻との差を算出する。この算出された差を、補正時間Δと呼ぶ。パーソナルコンピュータ30、31及び32は、カメラ40、41及び42から得られた映像に、上記算出された補正時間Δを関連付けて記憶する。
【0040】
なお、DV規格以外のカメラの場合は、内蔵時計の現在時刻を外部に出力する機能を備えていない。この場合、以下の方法によりカメラの現在時刻を取得することができる。即ち、カメラは、通常、映像再生時や撮影時に時刻を映像に重畳する機能を備えている。カメラは、この時刻付き映像をパーソナルコンピュータに送る。
【0041】
パーソナルコンピュータは、映像に重畳された時刻表示を、文字認識と文字が変化するタイミングを検知する手法を用いて認識し、現在時刻を得る。そして、パーソナルコンピュータは、これらにより得られたカメラの現在時刻とパーソナルコンピュータの内蔵時計の現在時刻との差を算出し、補正時間Δを得る。映像の撮影時刻も、撮影した際の映像上の時刻表示を文字認識して得る。
【0042】
上述した現在時刻及び映像の撮影時刻を得る方法を、パーソナルコンピュータ30に接続されたカメラ40を例に挙げて、更に詳細に説明する。先ず、カメラ40に現在時刻を表示させて撮影し、この撮影により得られた映像をパーソナルコンピュータ30に送る。この場合、カメラ40は静止した被写体を撮影し、この静止した映像に時刻を表示させるのが好ましい。これにより、パーソナルコンピュータ30は、1秒(又は1分)毎に画面が変化する領域を特定しやすくなる。
【0043】
次に、パーソナルコンピュータ30は、画面を走査することにより所定時刻における画像と該所定時刻から1秒経過した後の画像とを取得し、これらを比較して変化している箇所を見つける。この動作を何秒(又は何分)か繰り返し、周期的に必ず画像が変化している部分であって、且つ部分的に色が同一である部分を検出する。そして、この検出された部分が、時刻表示領域(厳密には、時刻表示領域の末尾の部分)であると認識する。
【0044】
なお、パーソナルコンピュータ30が、時刻が表示されている箇所を特定できない場合又は必要に応じて、ユーザが、例えばマウスに連動するポインタで領域を指定するように構成してもよい。
【0045】
上記時刻表示領域を認識する際は、時刻を表す文字の変化が大きい部分から認識を始める。そして、その部分で画面の色が変化するタイミングを測定し、1秒の間隔を得る。なお、秒単位で補正する場合は、ミリ秒単位で測定する。
【0046】
そして、1秒の間隔が得られたら、仮の時刻の基準値、例えば「00:00:01」からから計時を開始、得られた1秒の間隔でインクリメントを開始する。次いで、映像を止め、その際の仮の時刻を記録する。この場合、仮の時刻は止めずに計時を継続する。
【0047】
次に、止めた時の映像から文字を2桁ずつ認識する。文字の認識には、既存の光学文字認識(OCR)等で用いられている文字認識方法を用いることができる。文字は、「0」〜「9」、「:」、「,」「時」、「分」及び「秒」の15通りに特定できるので、高い認識率が得られる。なお、認識された文字は、パーソナルコンピュータ30に表示させてユーザが確認できるように構成するのが好ましい。
【0048】
この文字認識では、1秒の周期で画面が変化している場合は、最大8文字(時、分及び秒の数字は2桁表示)を認識する。なお、1分の周期で画面が変化している場合は、5桁を認識する。時、分及び秒の間の区切りは、「:」、「,」「時」、「分」及び「秒」を認識することにより判断する。
【0049】
次いで、「認識された時刻−映像を止めた時の仮の時刻」を演算し、結果を仮の時刻に加算することにより、カメラ40の現在時刻が得られる。
【0050】
次に、各パーソナルコンピュータ30、31及び32は、サーバ20に、映像、撮影時刻及び補正時間Δを送る。サーバ20は、複数のパーソナルコンピュータ30、31及び32から送られてきた複数の映像、撮影時刻、補正時間Δに基づいて映像の正確な撮影時刻を算出する。そして、図2に概念的に示すように、複数の映像を同一の時間軸上に並列に並べ、利用者の編集や加工に供する。
【0051】
利用者は、時間軸上に並列に並べられた映像から所望の映像を取捨選択することにより、正確な時刻で映像を繋ぎ合わせた編集・加工ができる。例えば、図3に示すように、運動会の徒競走でAさんは息子をスタート地点から撮っていたため途中のシーンが人垣などで上手く撮れていなかったが、Bさんがコーナー地点で撮っていた映像にもAさんの息子が映っていたとする。同様に、Cさんが撮っていた映像にもAさんの息子が映っていたとする。このような状況が生じた場合に、Aさん、Bさん及びCさのカメラで撮った映像を正確な時間で繋ぎ合わせて1つの映像として編集できる。
【0052】
このように、本発明の実施の形態1に係るカメラ映像提供システムによれば、複数のカメラで撮った各シーンを正確な時間で繋ぎ合わせる編集ができるので、正確な時間に沿って物事が進行している状態を再現することができ、Aさんの息子を主人公とするプロフェッショナルの映画のような品質の高い映像を作成することができる。
【0053】
また、この実施の形態1に係るカメラ映像提供システムによれば、利用者は、時間軸上に並列に並べられた映像に基づいて、ある時刻の映像を多面的なアングルや位置の情報として閲覧できる。例えば、地震や噴火の際に時間の経過と地域の揺れや被害状況の正確な映像を見ることができるので、正確な情報を把握できる。
【0054】
また、従来、3次元の映像を撮影するためには、対象物を360゜囲むように複数台のスチルカメラを配置し、シャッターを同時に押して連続撮影し、撮影後、得られた画像をコンピュータ上で一枚一枚張り合わせて映像を作成している。この実施の形態1に係るカメラ映像提供システムを利用すれば、動画カメラを利用でき、各動画カメラの撮影開始時刻を気にせずに撮影しても、撮影後に各映像の撮影時刻を正確に合わせることができるので、簡単に多面的な視点の映像が得られる。
【0055】
利用者は、上述したようにしてサーバ上で複数の映像を編集・加工することにより得られた1つの映像をパーソナルコンピュータ31、32及び33にダウンロードし、必要に応じてテープやディスクに書き出すことができる。これにより、利用者が最初に撮った映像より付加価値の高い新たな映像を得ることができる。
【0056】
なお、上述した実施の形態1では、各パーソナルコンピュータ31、32及び33は、映像、撮影時刻及び補正時間Δをサーバ20に送り、サーバ20上で正確な撮影時刻を算出するように構成したが、各パーソナルコンピュータ31、32及び33は、映像、撮影時刻及び補正時間Δに基づいて正確な撮影時刻を算出して撮影時刻情報を書き直し、映像と、この書き直された撮影時刻とをサーバ20に送るように構成することができる。この場合、サーバ20及びインターネット10の負荷を軽減できる。
【0057】
或いはまた、各パーソナルコンピュータ30、31及び33は、カメラ41、42及び43から映像を取り込まず、現在時刻と撮影時刻だけを取り込み、上述したようにして撮影時刻を補正し、補正された撮影時刻をカメラ41、42及び43内の映像、より詳しくはDVテープの映像に付帯された撮影時刻情報部分に書き戻すように構成できる。
【0058】
(実施の形態2)
本発明の実施の形態2は、実施の形態1における補正時間Δを使用せずに、各映像の時間を合わせる時間軸補正方法を採用したカメラ映像提供システムである。
【0059】
この時間軸補正方法は、補正時間Δが得られないときや、補正時間Δが正しいかどうかを検証するために用いられる。補正時間Δが得られない場合とは、撮影に用いたカメラとは異なる装置(ビデオカメラやビデオデッキ)を用いて再生を行う場合や、時刻の合わせ直し等によりカメラの内蔵時計の時刻が撮影時から変化してしまった場合や8mmフィルム等の時間情報を持たない場合である。
【0060】
この実施の形態2に係るカメラ映像提供システムの構成は、図1に示した実施の形態1のそれと同じである。
【0061】
DV規格のカメラ40、41及び42では、同一イベントを複数のカメラで撮影することにより得られた複数の映像を、パーソナルコンピュータ30、31及び32経由でサーバ20にアップロードする際、映像からは各々撮影時の時刻情報が取得できる。
【0062】
サーバ20は、初期段階にサーバ20にアップロードされた映像の中で最も長時間撮影された映像Aを基準とし、その他の映像との要素マッチングを行う。
【0063】
ここで、要素マッチングについて説明する。複数のカメラで同一のイベントを撮影している場合には、各映像中には共通の要素が含まれている。この共通の要素をサーチして映像の時間軸上の一致点を求めるのが本明細書で言う要素マッチングである。
【0064】
要素マッチングは、音声、映像又は音声及び映像の双方を用いて行うことができる。要素マッチングを行う場合は、利用者は、ユーザインタフェース(UI)を用いて、各カメラの映像から、時間の一致するフレームを大まかに指定する。そして、サーバ20は、指定されたフレーム付近の、音声、映像又は音声及び映像の双方の正確な一致点を自動的に検索する。
【0065】
音で要素マッチングを行う場合は、例えば、運動会における徒競走のピストルの音波形、結婚式におけるシャンパンの開栓の音波形等を利用できる。映像で要素マッチングを行う場合は、運動会におけるくす玉が割れた瞬間に現れる画像の色の顕著な変化や、結婚式におけるケーキ入刀のシーンに連続的に現れるフラッシュの明滅パターン等を利用できる。
【0066】
時間一致の解析は、以下のように行うことができる。音量や映像の平均色或いは平均輝度の変化パターンを、正規化或いは適切な閾値で2値化する。そして、得られた或る区間の時系列パターン同士の一致度を、パターン同士をずらしながら求め、一致度が最も高くなる点を探す。その点が求められると、お互いの映像の時間軸のズレが得られたことになる。なお、一致度の計算の一例は、例えば「IEEE PromsMMNet 1997」に収録されている「WebSync:A system for Synchronization of Analog Sequential Media and WWW」(H.Matoba,T.Oizumi and K.maeno)に記述されている。
【0067】
このような要素マッチングでは、映像Aと映像Bとがマッチングする箇所を最低1個確定すれば、映像Aに記録されている時刻情報を仮基準として、映像Bの時刻を映像Aの仮基準の時刻に合わせる、つまり、同じ時間軸に各映像を並べることができる。映像Aと映像Bとの間で複数のマッチング箇所が確定できれば、より正確な時間軸合わせが可能になり、マッチングミスによる補正エラー発生確率を低減できる。
【0068】
以下同様にして、映像C、D、Eと順次要素マッチングを行い、映像Aの撮影時刻を仮基準として時刻補正を行う。同じマッチング箇所がどの撮影映像にも何時も出現するようなら、撮影したイベントでの特徴的なシーンと見なすことができる。従って、以後のマッチングは、そのシーンに絞ってマッチング箇所を探せばよいので、マッチング処理の効率が向上する。
【0069】
つまり、撮影の開始から終了までの全撮影映像に対してマッチング箇所をサーチする必要はない。例えば、結婚披露宴であれば、特徴的なシーンの一つである花嫁花婿入場は撮影開始の初期段階にあるので、このシーンに絞ってマッチング箇所を探せばマッチング処理の効率を格段に向上させることができる。
【0070】
上記の処理を繰り返して、対象となる同一イベントの撮影映像の時刻を全て、映像Aに合わせる。全ての映像について、マッチング箇所が最低1個確定できれば、全ての映像を同一時間軸に並べることが可能である。
【0071】
仮に、映像Aに対して、マッチング箇所が取得できない撮影映像があれば、マッチング箇所が存在する別の映像を基準にマッチングを行ってもよい。例えば、映像Cが映像Aを基準としてマッチングできなかった場合、既にマッチング箇所が存在する映像Bと映像Cとでマッチングを行ったり、映像Cと映像Dとを先にマッチングさせてから映像Dと映像Aとをマッチングさせる等により全ての映像を同一時間軸に並べることが可能である。
【0072】
なお、何れの映像に対してもマッチング箇所が見つからない映像は、編集時に利用する可能性も低い映像とみなすことができる。従って、このような映像は編集材料としては除外することができる。
【0073】
また、映像のマッチング箇所をサーチする際に、サーチされたマッチング箇所にブックマークを設定し、このブックマークが設定された映像を保存するように構成できる。この構成によれば、別アングルの映像を繋いで編集する際のマッチング箇所のサーチの効率を高めることができる。
【0074】
なお、本発明に係るカメラ映像提供システムでは、撮影時刻は必ずしも正確である必要はないが、映像の正確な撮影時刻を得るためには、各映像のマッチング箇所の多い部分で、各映像から取得した撮影時刻情報の最頻値や平均値を正確な時刻とみなして、各映像の撮影時刻とすることができる。
【0075】
(実施の形態3)
本発明の実施の形態3は、時刻を正確に合わせる自己修正機能を有するカメラを用いたカメラ映像提供システムである。
【0076】
この実施の形態3に係るカメラ映像提供システムの構成は、図1に示した実施の形態1のそれと同じである。実施の形態1との相違は、カメラ40、41及び42に時刻を正確に合わせる機能を付加し、パーソナルコンピュータ30、31及び32やサーバ20では時間軸補正を行わない点である。
【0077】
カメラ40、41及び42は、標準電波から日本標準時を取得し、正確な時刻に合わせる電波時計を内蔵している。カメラ40、41及び42は、この電波時計を内蔵時計として時刻を計時する。従って、各カメラ40、41及び42から送パーソナルコンピュータ30、31及び32に送られる映像に付された時刻情報は非常に正確であり、補正の必要はない。
【0078】
パーソナルコンピュータ30、31及び32は、カメラ40、41及び42からの映像をそのままサーバ20に送る。サーバ20は、映像に付加された撮影時刻に基づいて、図2に概念的に示すように、複数の映像を同一の時間軸上に並列に並べ、利用者の編集や加工に供する。
【0079】
この構成により、カメラ40、41及び42はサーバ20に映像と撮影時刻を送信するだけで、時間軸を合わせた複数の映像を利用者に提供できる。従って、パーソナルコンピュータ30、31及び32の時刻を正確に合わせる、カメラ40、41及び42の現在時刻から補正時間Δを算出する、撮影時刻と補正時間Δとから正確な撮影時刻を求める、といった処理が不要になる。
【0080】
この実施の形態3に係るカメラ映像提供システムは、次のように変形できる。即ち、この変形に係るカメラ映像提供システムのカメラ40、41及び42は、電波時計の変わりに通常の時刻合わせ可能な内蔵時計を備え、更に、例えばブルートゥースといった無線回線や既存の有線回線を用いてインターネットに接続するネットインタフェース部を備えている。そして、定期的又は必要に応じてインターネットにアクセスし、NTPを利用して内蔵時計を正確な時刻に合わせる。これにより、電波時計を内蔵した場合と同等の作用及び効果を奏する。
【0081】
以上説明したように、本発明の実施の形態に係るカメラ映像提供システムによれば、複数の映像の時間を正確に合わせて利用者に提供できるので、時間に正確に物事が進行している映像が編集できたり、同時刻に行われている他地点の変化を正確に知ることができる。
【0082】
【発明の効果】
以上詳述したように、本発明によれば、時間軸が正確に揃ったカメラ映像を提供できるカメラ映像提供システム及び映像の時間軸補正方法を提供できる。
【0083】
複数のカメラで撮った各シーンを正確な時間で繋ぎ合わせる編集ができるので、正確な時間に沿って物事が進行している状態を再現することができ、プロフェッショナルの映画のような品質の高い映像を作成することができる。
【0084】
また、利用者は、時間軸上に並列に並べられた映像に基づいて、ある時刻の映像を多面的なアングルや位置の情報として閲覧できるので、例えば、地震や噴火の際に時間の経過と地域の揺れや被害状況の正確な映像を見ることができ、正確な情報を把握できる。
【0085】
また、3次元の映像を撮影するためには、従来のような複数台のスチルカメラを用いるのではなく、動画カメラを利用することができ、各動画カメラの撮影開始時刻を気にせずに撮影しても、撮影後に各映像の撮影時刻を正確に合わせることができるので、簡単に多面的な視点の映像が得られる。
【0086】
更に、複数の映像を編集・加工することにより得られた1つの映像は、必要に応じてテープやディスクに書き出すことができるので、利用者が最初に撮った映像より付加価値の高い新たな映像を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係るカメラ映像供給システムの構成を示すブロック図である。
【図2】本発明の実施の形態1に係るカメラ映像供給システムにおいて、複数の映像を同一の時間軸上に並列に並べた様子を概念的に示す説明図である。
【図3】本発明の実施の形態1に係るカメラ映像供給システムの動作を説明するための図である。
【図4】本発明の実施の形態1に係るカメラ映像供給システムの他の構成を説明するための図である。
【図5】本発明の実施の形態1に係るカメラ映像供給システムの更に他の構成を説明するための図である。
【符号の説明】
10 インターネット
20 サーバ
30、31、32 パーソナルコンピュータ
40、41、42 カメラ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera image providing system and a camera image time axis correction method, and in particular, provides a user with the same time axis of images taken by a plurality of cameras, and corrects the shooting time of the images taken by the cameras. Regarding technology.
[0002]
[Prior art]
In recent years, home video cameras (hereinafter referred to as “home cameras”) have become widespread and widely used. Such a home camera has a function of outputting a video signal of the shot video to the outside in addition to a function of displaying the shot video on its own display device.
[0003]
The video signal from the home camera can be taken into a personal computer, for example. The video editing software operating on the personal computer can edit the video based on the captured video signal.
[0004]
By the way, the above-described editing is mostly performed on a video captured from one home camera. On the other hand, in a movie, a scene can be shot separately with a plurality of professional cameras, and a plurality of videos captured from the plurality of professional cameras can be connected and edited to create a story-like video. Has been done.
[0005]
[Problems to be solved by the invention]
However, in a home camera, the time axis of a plurality of camera images is often not accurate due to a deviation from the actual time because the built-in clock is not set to an accurate time. For this reason, video taken with a home camera cannot be edited continuously on the same time axis, and video omissions and duplication occur, making the video awkward and noticeable. There is a problem that it is not able to endure viewing because the sound is repeated.
[0006]
Therefore, there is a demand for editing a plurality of videos on an accurate time axis. There has also been a desire to view videos of different angles at the same time in one scene.
[0007]
The present invention has been made in order to solve the above-mentioned problems and to meet the above-mentioned demands, and an object of the present invention is to provide a camera image providing system capable of accurately aligning the time axes of camera images and the time axis of camera images. It is to provide a correction method.
[0008]
[Means for Solving the Problems]
The present invention collects, on a computer, a plurality of videos obtained by a plurality of users shooting a single event such as an athletic meet with a plurality of cameras, and provides them to the user as contents. More specifically, the video time axis correction method that accurately aligns the time axes of a plurality of stored videos and the video images that can be edited and switched between video angles are provided by arranging the video time axes in a band. This is a provision system. It can be used as a tool for collaborative shooting and video editing in communities such as regions, schools, and housing complexes.
[0009]
That is, the camera image providing system according to the first aspect of the present invention provides a plurality of cameras and an information processing device that aligns the time axes of the plurality of images captured by the plurality of cameras, in order to achieve the above-described object, And.
[0010]
The information processing apparatus in this camera video providing system can be configured to align time axes by matching the plurality of videos based on information associated with each of the plurality of videos. In this case, the associated information can comprise a sound waveform. Further, the information processing apparatus in the camera video providing system can be configured to set a mark in a portion where the plurality of videos are matched.
[0011]
The information processing apparatus in the camera video providing system includes a first clock, each of the plurality of cameras includes a second clock, and the information processing apparatus includes a current time indicated by the first clock and the first clock. 2. Correct the shooting time of the plurality of images from the plurality of cameras based on the correction value representing the difference from the current time indicated by the two clocks, and thereby set the time axes of the plurality of images captured by the plurality of cameras. Can be configured to align.
[0012]
The information processing apparatus in the camera video providing system includes a plurality of information processing devices connected via a network, and the time of the first clock provided in each of the plurality of information processing devices is stored in the network. It can be configured to be set from another connected information processing apparatus.
[0013]
In this case, the plurality of information processing devices can be configured to send at least a video and a shooting time of the video to the other information processing apparatus via the network. Further, the plurality of information processing devices can be configured to further send the correction value to the other information processing apparatus. In these cases, the photographing time can be the photographing time corrected by the correction value.
[0014]
Further, the information processing apparatus in the camera video providing system can be configured to generate at least one video edited so that the shooting times are continuous based on a plurality of videos having the same time axis. The information processing apparatus may be configured to generate at least one image by processing a plurality of images having the same shooting time among a plurality of images having the same time axis so as to be switched and connected.
[0015]
Furthermore, in this camera image providing system, each of the plurality of cameras includes a built-in clock having a self-correcting function, and the information processing apparatus is photographed by the plurality of cameras based on times indicated by the built-in clock. It can be configured to align the time axes of multiple videos.
[0016]
In this case, the information processing apparatus includes a plurality of information processing devices connected via a network, and the plurality of information processing devices transmits at least a video and a shooting time of the video via the network to another information processing device. Can be configured to send to The information processing apparatus may be configured to generate at least one video edited so that the shooting times are continuous based on a plurality of videos having the same time axis. In addition, the information processing apparatus can be configured to generate at least one video by processing a plurality of videos having the same shooting time among a plurality of videos having the same time axis to be switched and connected. In these cases, the built-in clock can be constituted by a radio clock. Further, each of the plurality of cameras includes a network interface unit for connecting to a network, and the internal clock is set with time from the other information processing apparatus connected to the network via the network interface unit. Can be configured.
[0017]
A camera image providing system according to a second aspect of the present invention includes an information processing device including a first clock having a self-correcting function and a camera including a second clock for the same purpose as described above. The information processing apparatus corrects a shooting time of a video shot by the camera based on a difference between a current time indicated by the first clock and a current time indicated by the second clock, and the corrected shooting time is determined. It is comprised so that the image | video which it has may be provided.
[0018]
According to the camera image providing system according to the second aspect, since the first clock has a self-correcting function, the actual time can always be obtained from the first clock. Since the shooting time of the video shot by the camera is corrected based on the difference between the current time indicated by the first clock and the current time indicated by the second clock, a video having an accurate shooting time can always be provided.
[0019]
In addition, in the camera video time base correction method according to the third aspect of the present invention, for the same purpose as described above, a plurality of videos taken by a plurality of cameras are input, and each of the input plurality of videos is input. The plurality of videos are matched based on the information associated with the video, and the time axes of the matched videos are aligned. In this case, the associated information can comprise a sound waveform.
[0020]
Further, in the camera video time base correcting method according to the third aspect, a mark can be set at a portion where the plurality of videos are matched.
[0021]
In the camera image time base correction method according to the third aspect, the current time indicated by the first clock is read, the current times indicated by the second clocks provided in the plurality of cameras are read, and the first timepiece is read. Calculating the difference between the current time indicated by the second clock and the current time indicated by the second clock, and correcting the shooting times of the plurality of videos from the plurality of cameras using the calculated difference as a correction value, It is possible to configure so that the time axes of a plurality of videos taken by the camera are aligned.
[0022]
In this case, the step of correcting the shooting time can be configured to correct the shooting time based on at least the video and the shooting time of the video. In this case, the step of correcting the shooting time can be further configured to correct the shooting time based on the correction value. Further, the photographing time can be configured from the photographing time corrected by the correction value.
[0023]
In the camera video time base correction method according to the third aspect, at least one video edited so that the shooting times are continuous is generated based on the plurality of videos having the same time axis. Can be configured. Furthermore, in the time axis correction method for a camera image according to the second aspect, at least a plurality of images having the same shooting time among the plurality of images with the same time axis are switched and connected to each other. It can be configured to generate one video.
[0024]
Furthermore, the camera image time base correction method according to the fourth aspect of the present invention is the same as described above, and the current time indicated by the first timepiece having a self-correcting function and the second timepiece included in the camera indicate A difference from the current time is calculated, and the shooting time of the video shot by the camera is corrected based on the calculated difference.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that a home video camera used in the following embodiments (hereinafter sometimes simply referred to as “camera”) adopts the DV (Digital Video) standard. As the DV standard, “INTERNATIONAL STANDARD” (CEI / IEC 61883-2: 1998) can be adopted.
[0026]
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a camera video supply system according to Embodiment 1 of the present invention. The camera video supply system includes an Internet 10, a server 20 connected to the Internet 10, and a plurality of personal computers (hereinafter also abbreviated as “PC”) 30, 31, and 32. The home video cameras 40, 41, and 42 are connected to the plurality of personal computers 30, 31, and 32, respectively.
[0027]
The information processing apparatus according to the present invention corresponds to the server 20 and the plurality of personal computers 30, 31 and 32. The information processing apparatus according to the present invention corresponds to the personal computers 30, 31 and 32.
[0028]
In this camera video supply system, the Internet 10 is used as a network. However, the present invention is not limited to the Internet, and various networks can be used.
[0029]
The server 20 comprehensively controls this camera video supply system. As the server 20, various information processing apparatuses such as a server computer, a workstation, and a general-purpose computer can be used. The server 20 has a built-in clock. The time of the built-in clock is used as a reference time for the camera video supply system.
[0030]
The personal computers 30, 31, and 32 take in information from the cameras 40, 41, and 42, respectively, and perform various processes. Details of processing performed by the personal computers 30, 31, and 32 will be described later. Of course, other information processing apparatuses can be used in place of the personal computers 30, 31 and 32.
[0031]
Each of the personal computers 30, 31, and 32 has a built-in clock, and is used to calculate the correction time Δ, as will be described later. Note that the clock used in the personal computers 30, 31, and 32 is not limited to the built-in clock, and any clock can be used as long as the personal computers 30, 31, and 32 can know the time.
[0032]
Cameras 40, 41 and 42 are connected to personal computers 30, 31 and 32, respectively. The connection is performed using a wireless cable such as an IEEE 1394 standard (including a similar standard such as i · Link) cable, an analog video signal cable, or Bluetooth.
[0033]
The server 20 and the personal computers 30, 31 and 32 may be the same information processing apparatus. In that case, as shown in FIG. 1 ~ 30 n Multiple cameras 40 in order 1 ~ 40 n Or a plurality of cameras 40 in one information processing device 30 as shown in FIG. 1 ~ 40 n Can be configured to connect. As shown in FIG. 4, there are a case where a plurality of cameras are connected to an information processing apparatus, and a case where a plurality of cameras are connected at the same time, and a case where only one camera is connected while sequentially replacing the plurality of cameras. .
[0034]
Further, in the camera video providing system according to this embodiment, the information processing apparatus is used for recording, which is recorded on the tape stored in the camera and the ID of the camera connected to the information processing apparatus. It can be configured to acquire camera IDs and manage them in association with video. According to this configuration, since the consistency between the camera and the tape can be confirmed when the shooting time is corrected, it is possible to prevent time correction from being performed erroneously.
[0035]
With the above configuration, the operation of the camera video supply system according to the embodiment of the present invention will be described.
[0036]
First, the user connects the personal computers 30, 31 and 32 to the server 20, and sets the time of the internal clock of the personal computers 30, 31 and 32 to the time of the internal clock of the server 20. The time of the internal clock of the server 20 is always set to the correct time using a radio clock, an NTT time signal service, NTP (Network Time Protocol) which is a protocol for synchronizing the time on the Internet, and the like. Is desirable. Note that NTP is defined in RFC1305.
[0037]
Next, the user connects the cameras 40, 41 and 42 to the personal computers 30, 31 and 32. This completes the setting of the camera video supply system.
[0038]
When the above setting is completed, “images” taken by the cameras 40, 41, and 42 are sent to the personal computers 30, 31, and 32, respectively. At this time, the “shooting time” added to each video is also sent to the personal computers 30, 31 and 32. Next, the “current time” of the built-in clock of the cameras 40, 41 and 42 is sent to the personal computers 30, 31 and 32, respectively. Note that the order of sending the “video”, “shooting time”, and “current time” is not limited to the above and is arbitrary. Further, these “video”, “shooting time”, and “current time” may be configured to be sent a plurality of times.
[0039]
The personal computers 30, 31 and 32 calculate the difference between the current time of the camera obtained from the cameras 40, 41 and 42 and the current time of the internal clock of the personal computers 30, 31 and 32. This calculated difference is called a correction time Δ. The personal computers 30, 31 and 32 store the calculated correction time Δ in association with the images obtained from the cameras 40, 41 and 42.
[0040]
Note that a camera other than the DV standard does not have a function of outputting the current time of the built-in clock to the outside. In this case, the current time of the camera can be acquired by the following method. That is, the camera normally has a function of superimposing the time on the video during video playback or shooting. The camera sends the video with time to the personal computer.
[0041]
The personal computer recognizes the time display superimposed on the video by using character recognition and a method of detecting the timing when the character changes, and obtains the current time. Then, the personal computer calculates the difference between the current camera time and the current time of the internal clock of the personal computer, thereby obtaining the correction time Δ. The shooting time of the video is also obtained by character recognition of the time display on the video at the time of shooting.
[0042]
The above-described method for obtaining the current time and video shooting time will be described in more detail by taking the camera 40 connected to the personal computer 30 as an example. First, the current time is displayed on the camera 40 to take a picture, and an image obtained by this photography is sent to the personal computer 30. In this case, it is preferable that the camera 40 captures a still subject and displays the time on the still image. As a result, the personal computer 30 can easily identify the area where the screen changes every second (or one minute).
[0043]
Next, the personal computer 30 scans the screen to obtain an image at a predetermined time and an image after a lapse of 1 second from the predetermined time, and compares these to find a changing portion. This operation is repeated for several seconds (or minutes) to detect a portion where the image always changes periodically and a portion having the same color. Then, the detected part is recognized as the time display area (strictly, the last part of the time display area).
[0044]
Note that the personal computer 30 may be configured such that the user can specify a region with a pointer linked to a mouse, for example, if the location where the time is displayed cannot be specified or if necessary.
[0045]
When recognizing the time display area, the recognition is started from a portion where the change of the character representing the time is large. Then, the timing at which the screen color changes at that portion is measured to obtain an interval of 1 second. When correcting in seconds, measure in milliseconds.
[0046]
When an interval of 1 second is obtained, timing is started from a temporary time reference value, for example, “00:00:01”, and increment is started at the obtained interval of 1 second. Next, the video is stopped and the temporary time at that time is recorded. In this case, the timing is continued without stopping the temporary time.
[0047]
Next, characters are recognized two digits at a time when the video is stopped. For character recognition, a character recognition method used in existing optical character recognition (OCR) or the like can be used. Since the characters can be specified in 15 ways of “0” to “9”, “:”, “,” “hour”, “minute” and “second”, a high recognition rate can be obtained. The recognized character is preferably displayed on the personal computer 30 so that the user can confirm it.
[0048]
In this character recognition, when the screen changes at a cycle of 1 second, a maximum of 8 characters (hour, minute and second numbers are displayed in two digits) are recognized. If the screen changes at a cycle of 1 minute, 5 digits are recognized. The division between the hour, minute, and second is determined by recognizing “:”, “,”, “hour”, “minute”, and “second”.
[0049]
Next, “recognized time—temporary time when video is stopped” is calculated, and the result is added to the temporary time, whereby the current time of the camera 40 is obtained.
[0050]
Next, each personal computer 30, 31, and 32 sends the video, the shooting time, and the correction time Δ to the server 20. The server 20 calculates an accurate shooting time of the video based on the plurality of videos sent from the plurality of personal computers 30, 31 and 32, the shooting time, and the correction time Δ. Then, as conceptually shown in FIG. 2, a plurality of videos are arranged in parallel on the same time axis and used for editing and processing by the user.
[0051]
The user can edit and process the video by connecting the video at an accurate time by selecting a desired video from the videos arranged in parallel on the time axis. For example, as shown in Fig. 3, A was taking a picture of his son from the starting point at the athletic meet, so the scene on the way could not be taken well with a fence etc. Suppose A's son was reflected. Similarly, suppose that Mr. A's son was also reflected in the video that Mr. C was taking. When such a situation occurs, the images taken by the cameras of Mr. A, Mr. B, and Mr. C can be connected in an accurate time and edited as one image.
[0052]
As described above, according to the camera image providing system according to Embodiment 1 of the present invention, it is possible to edit scenes obtained by connecting a plurality of scenes taken with a plurality of cameras in an accurate time. It is possible to reproduce the state of the movie, and to create a high-quality video like a professional movie with A's son as the main character.
[0053]
In addition, according to the camera video providing system according to the first embodiment, the user can view a video at a certain time as multifaceted angle and position information based on videos arranged in parallel on the time axis. it can. For example, accurate information can be grasped because it is possible to view an accurate video of the passage of time, the shaking of the area, and the damage situation during an earthquake or eruption.
[0054]
Conventionally, in order to shoot a three-dimensional image, a plurality of still cameras are arranged so as to surround the object 360 °, and the shutter is simultaneously pressed to continuously shoot. The images are created by sticking them one by one. If the camera video providing system according to the first embodiment is used, a video camera can be used, and even if shooting is performed without worrying about the shooting start time of each video camera, the shooting time of each video is accurately adjusted after shooting. It is possible to obtain images from various viewpoints easily.
[0055]
The user downloads one video obtained by editing and processing a plurality of videos on the server as described above to the personal computers 31, 32 and 33, and writes it to a tape or a disk as necessary. Can do. This makes it possible to obtain a new video with higher added value than the video originally taken by the user.
[0056]
In the first embodiment described above, each personal computer 31, 32, and 33 is configured to send an image, a shooting time, and a correction time Δ to the server 20 and calculate an accurate shooting time on the server 20. The personal computers 31, 32, and 33 calculate the accurate shooting time based on the video, the shooting time, and the correction time Δ, and rewrite the shooting time information, and the video and the rewritten shooting time are sent to the server 20. Can be configured to send. In this case, the load on the server 20 and the Internet 10 can be reduced.
[0057]
Alternatively, each personal computer 30, 31 and 33 does not capture images from the cameras 41, 42 and 43, but only captures the current time and photographing time, corrects the photographing time as described above, and corrects the photographing time. Can be written back to the video in the cameras 41, 42 and 43, more specifically, to the shooting time information part attached to the video on the DV tape.
[0058]
(Embodiment 2)
The second embodiment of the present invention is a camera video providing system that employs a time axis correction method for adjusting the time of each video without using the correction time Δ in the first embodiment.
[0059]
This time axis correction method is used when the correction time Δ cannot be obtained or for verifying whether the correction time Δ is correct. When the correction time Δ cannot be obtained, the time of the camera's built-in clock is shot by playback using a device (video camera or VCR) that is different from the camera used for shooting, or by resetting the time. This is the case when it has changed from time or when it does not have time information such as an 8 mm film.
[0060]
The configuration of the camera video providing system according to the second embodiment is the same as that of the first embodiment shown in FIG.
[0061]
In the DV standard cameras 40, 41, and 42, when uploading a plurality of videos obtained by photographing the same event with a plurality of cameras to the server 20 via the personal computers 30, 31, and 32, the videos are respectively Time information at the time of shooting can be acquired.
[0062]
The server 20 performs element matching with other videos based on the video A shot for the longest time among the videos uploaded to the server 20 in the initial stage.
[0063]
Here, element matching will be described. When the same event is shot by a plurality of cameras, common elements are included in each video. This common element is searched for the coincidence point on the time axis of the video, which is element matching in this specification.
[0064]
Element matching can be performed using audio, video, or both audio and video. In the case of performing element matching, the user roughly designates a frame having a matching time from the video of each camera using a user interface (UI). Then, the server 20 automatically searches for an exact coincidence point of audio, video, or both audio and video near the designated frame.
[0065]
In the case of performing element matching by sound, for example, the sound waveform of a pistol for an athletic meet or the sound waveform of champagne opening at a wedding can be used. When performing element matching on a video, it is possible to use a noticeable change in the color of an image that appears at the moment when a ball is broken at an athletic meet, a flashing blink pattern that appears continuously in a scene of a cake sword at a wedding ceremony, or the like.
[0066]
The time coincidence analysis can be performed as follows. The change pattern of the volume, the average color of the video, or the average luminance is normalized or binarized with an appropriate threshold. Then, the degree of coincidence between the obtained time series patterns in a certain section is obtained while shifting the patterns, and the point having the highest degree of coincidence is searched for. When that point is required, the time axis shift between the images is obtained. An example of the calculation of the degree of coincidence is described in, for example, “Web Sync: A system for Synchronization of Analog Media and WWW” (H. Matoba, T. O. Has been.
[0067]
In such element matching, if at least one matching point between the video A and the video B is determined, the time information recorded in the video A is used as a temporary reference, and the time of the video B is set as the temporary reference of the video A. According to the time, that is, each video can be arranged on the same time axis. If a plurality of matching points can be determined between the video A and the video B, more accurate time axis alignment is possible, and the probability of occurrence of a correction error due to a matching error can be reduced.
[0068]
In the same manner, element matching is sequentially performed with the images C, D, and E, and time correction is performed using the shooting time of the image A as a temporary reference. If the same matching part appears in any captured video at any time, it can be regarded as a characteristic scene at the captured event. Accordingly, in the subsequent matching, it is only necessary to search for a matching portion by focusing on the scene, so that the efficiency of the matching process is improved.
[0069]
That is, it is not necessary to search for a matching portion for all the shot images from the start to the end of shooting. For example, if it is a wedding reception, the bride and groom entrance, which is one of the characteristic scenes, is in the initial stage of shooting, so if you search for a matching part focusing on this scene, the efficiency of the matching process will be greatly improved. Can do.
[0070]
The above process is repeated to match all the times of the captured video of the same target event with the video A. If at least one matching point can be determined for all the videos, all the videos can be arranged on the same time axis.
[0071]
If there is a photographed video for which a matching location cannot be obtained for video A, matching may be performed based on another video in which the matching location exists. For example, if video C cannot be matched with video A as a reference, video B and video C that already have matching points are matched, or video C and video D are matched before video D and video D are matched. It is possible to arrange all the videos on the same time axis by matching the video A or the like.
[0072]
Note that a video for which no matching portion is found for any video can be regarded as a video that is unlikely to be used during editing. Therefore, such an image can be excluded as editing material.
[0073]
Further, when searching for a matching part of a video, a bookmark can be set at the searched matching part, and the video with the bookmark set can be saved. According to this configuration, it is possible to increase the efficiency of searching for a matching portion when editing video by connecting videos of different angles.
[0074]
In the camera video providing system according to the present invention, the shooting time does not necessarily have to be accurate, but in order to obtain an accurate shooting time of the video, it is acquired from each video at a portion where there are many matching portions of each video. The mode value and the average value of the shooting time information obtained can be regarded as the accurate time, and can be set as the shooting time of each video.
[0075]
(Embodiment 3)
Embodiment 3 of the present invention is a camera image providing system using a camera having a self-correcting function for accurately adjusting time.
[0076]
The configuration of the camera video providing system according to the third embodiment is the same as that of the first embodiment shown in FIG. The difference from the first embodiment is that the personal computers 30, 31 and 32 and the server 20 do not perform time axis correction by adding a function for accurately adjusting the time to the cameras 40, 41 and 42.
[0077]
The cameras 40, 41 and 42 have a built-in radio clock that acquires Japan standard time from standard radio waves and adjusts the time accurately. The cameras 40, 41 and 42 measure the time using this radio clock as a built-in clock. Therefore, the time information attached to the images sent from the cameras 40, 41 and 42 to the sending personal computers 30, 31 and 32 is very accurate and does not need to be corrected.
[0078]
The personal computers 30, 31 and 32 send the images from the cameras 40, 41 and 42 to the server 20 as they are. As conceptually shown in FIG. 2, the server 20 arranges a plurality of videos in parallel on the same time axis based on the shooting time added to the videos, and uses them for editing and processing by the user.
[0079]
With this configuration, the cameras 40, 41, and 42 can provide the user with a plurality of videos with the same time axis by simply transmitting the video and shooting time to the server 20. Accordingly, the processing of accurately adjusting the time of the personal computers 30, 31, and 32, calculating the correction time Δ from the current time of the cameras 40, 41, and 42, and obtaining the accurate shooting time from the shooting time and the correction time Δ. Is no longer necessary.
[0080]
The camera image providing system according to the third embodiment can be modified as follows. That is, the cameras 40, 41 and 42 of the camera image providing system according to this modification include a built-in clock that can adjust the normal time instead of a radio clock, and further, for example, using a wireless line such as Bluetooth or an existing wired line It has a network interface that connects to the Internet. Then, the Internet is accessed periodically or as necessary, and the internal clock is set to the correct time using NTP. Thereby, there exists an effect | action and effect equivalent to the case where a radio timepiece is incorporated.
[0081]
As described above, according to the camera image providing system according to the embodiment of the present invention, it is possible to provide a user with the time of a plurality of images accurately, so that an image in which things are progressing accurately in time. Can be edited, and you can know exactly the changes at other points at the same time.
[0082]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to provide a camera video providing system and a video time axis correction method capable of providing a camera video with time axes accurately aligned.
[0083]
The scenes taken by multiple cameras can be edited by connecting them in precise time, so you can reproduce the state that things are progressing along the precise time, and high quality images like professional movies Can be created.
[0084]
In addition, since the user can view the video at a certain time as multifaceted angle and position information based on the video arranged in parallel on the time axis, for example, the time elapses during an earthquake or eruption. You can see accurate images of local shaking and damage, and get accurate information.
[0085]
Also, in order to shoot 3D images, you can use a video camera instead of using multiple conventional still cameras, and shoot without worrying about the shooting start time of each video camera. Even so, the shooting time of each video can be accurately set after shooting, so that a video with a multifaceted viewpoint can be easily obtained.
[0086]
In addition, one video obtained by editing and processing multiple videos can be written to tape or disk as needed, so new video with higher added value than the video originally taken by the user Can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a camera video supply system according to Embodiment 1 of the present invention.
FIG. 2 is an explanatory diagram conceptually showing a state in which a plurality of videos are arranged in parallel on the same time axis in the camera video supply system according to Embodiment 1 of the present invention.
FIG. 3 is a diagram for explaining the operation of the camera video supply system according to Embodiment 1 of the present invention.
FIG. 4 is a diagram for explaining another configuration of the camera video supply system according to Embodiment 1 of the present invention.
FIG. 5 is a diagram for explaining still another configuration of the camera video supply system according to Embodiment 1 of the present invention.
[Explanation of symbols]
10 Internet
20 servers
30, 31, 32 Personal computer
40, 41, 42 cameras

Claims (15)

複数のカメラと、
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は第1時計を備え、
前記複数のカメラの各々は第2時計を備え、
前記情報処理装置は、前記第1時計が示す現在時刻と、前記第2時計が示す現在時刻との差を表す補正値に基づいて前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃える、
カメラ映像提供システム。
Multiple cameras,
An information processing device that aligns the time axes of a plurality of images taken by the plurality of cameras ,
The information processing apparatus includes a first watch.
Each of the plurality of cameras includes a second watch.
The information processing device corrects shooting times of a plurality of videos from the plurality of cameras based on a correction value representing a difference between a current time indicated by the first clock and a current time indicated by the second clock, Therefore, align the time axis of the plurality of images taken by the plurality of cameras,
Camera image providing system.
前記情報処理装置は、ネットワークによって接続された複数の情報処理機器から成り、
前記複数の情報処理機器の各々に備えられた前記第1時計の時刻は、前記ネットワークに接続された他の情報処理装置からセットされる、
請求項1に記載のカメラ映像提供システム。
The information processing apparatus comprises a plurality of information processing devices connected by a network,
The time of the first clock provided in each of the plurality of information processing devices is set from another information processing device connected to the network.
The camera image providing system according to claim 1 .
前記複数の情報処理機器は、前記ネットワークを介して、少なくとも映像及び該映像の撮影時刻を前記他の情報処理装置に送る、
請求項2に記載のカメラ映像提供システム。
The plurality of information processing devices send at least a video and a shooting time of the video to the other information processing apparatus via the network.
The camera image providing system according to claim 2 .
前記複数の情報処理機器は、更に、前記補正値を前記他の情報処理装置に送る、
請求項3に記載のカメラ映像提供システム。
The plurality of information processing devices further send the correction value to the other information processing apparatus.
The camera image providing system according to claim 3 .
前記撮影時刻は、前記補正値により補正された撮影時刻である、
請求項3に記載のカメラ映像提供システム。
The shooting time is a shooting time corrected by the correction value.
The camera image providing system according to claim 3 .
複数のカメラと、
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は、前記複数の映像のマッチングをとることにより前記時間軸を揃え、前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像提供システム。
Multiple cameras,
An information processing device that aligns the time axes of a plurality of images taken by the plurality of cameras ,
The information processing device aligns the time axis by matching the plurality of images, and sets a mark in a portion where the plurality of images are matched.
Camera image providing system.
複数のカメラと、
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は、前記複数の映像のそれぞれに含まれる音声情報のマッチングをとることにより前記時間軸を揃え、前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像提供システム。
Multiple cameras,
An information processing device that aligns the time axes of a plurality of images taken by the plurality of cameras ,
The information processing apparatus aligns the time axis by matching audio information included in each of the plurality of videos, and sets a mark in a portion where the matching of the plurality of videos is obtained.
Camera image providing system.
複数のカメラで撮影された複数の映像を入力し、
記複数の映像のマッチングをとり、
該マッチングがとられた前記複数の映像の時間軸を揃え、
前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像の時間軸補正方法。
Input multiple images shot by multiple cameras,
Take the matching of the previous Symbol plurality of video,
Allen-Bradley time axis of the plurality of images the matching is taken,
A mark is set in a portion where the matching of the plurality of images is obtained;
Time base correction method for camera video.
複数のカメラで撮影された複数の映像を入力し、
記複数の映像のそれぞれに含まれる音声情報のマッチングをとり、
該マッチングがとられた前記複数の映像の時間軸を揃え、
前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像の時間軸補正方法。
Input multiple images shot by multiple cameras,
Take the matching of audio information included in each of the previous SL plurality of images,
Allen-Bradley time axis of the plurality of images the matching is taken,
A mark is set in a portion where the matching of the plurality of images is obtained;
Time base correction method for camera video.
複数のカメラで撮影された複数の映像を入力し、
第1時計が示す現在時刻を読み込み、
前記複数のカメラに備えられた第2時計が示す現在時刻を読み込み、
前記第1時計が示す現在時刻と前記第2時計が示す現在時刻との差を算出し、
該算出された差を補正値として前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃える、
カメラ映像の時間軸補正方法。
Input multiple images shot by multiple cameras,
Read the current time indicated by the first clock,
Read the current time indicated by the second clock provided in the plurality of cameras,
Calculating the difference between the current time indicated by the first clock and the current time indicated by the second clock;
Correcting the shooting times of a plurality of videos from the plurality of cameras using the calculated difference as a correction value, thereby aligning the time axes of the plurality of videos shot by the plurality of cameras;
Time base correction method for camera video.
前記撮影時刻を補正するステップは、少なくとも映像及び該映像の撮影時刻に基づいて前記撮影時刻を補正する、
請求項10に記載のカメラ映像の時間軸補正方法。
The step of correcting the shooting time corrects the shooting time based on at least the video and the shooting time of the video,
The method for correcting a time axis of a camera image according to claim 10 .
前記撮影時刻を補正するステップは、更に、前記補正値に基づいて前記撮影時刻を補正する、
請求項11に記載のカメラ映像の時間軸補正方法。
The step of correcting the shooting time further corrects the shooting time based on the correction value.
The method of correcting a time axis of a camera image according to claim 11 .
前記撮影時刻は、前記補正値により補正された撮影時刻である、
請求項11に記載のカメラ映像の時間軸補正方法。
The shooting time is a shooting time corrected by the correction value.
The method of correcting a time axis of a camera image according to claim 11 .
請求項8乃至13の何れか1項において、前記時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも1つの映像を生成する、カメラ映像の時間軸補正方法。14. The time base correction method for a camera video according to claim 8 , wherein at least one video edited so that shooting times are continuous is generated based on the plurality of videos having the same time axis. . 請求項8乃至13の何れか1項において、前記時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも1つの映像を生成する、カメラ映像の時間軸補正方法。14. The method according to claim 8 , wherein a plurality of images having the same shooting time among the plurality of images having the same time axis are switched and connected to generate at least one image. , Time base correction method for camera video.
JP2001261650A 2001-08-30 2001-08-30 Camera image providing system and camera image time correction method Expired - Fee Related JP3617052B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001261650A JP3617052B2 (en) 2001-08-30 2001-08-30 Camera image providing system and camera image time correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001261650A JP3617052B2 (en) 2001-08-30 2001-08-30 Camera image providing system and camera image time correction method

Publications (2)

Publication Number Publication Date
JP2003078864A JP2003078864A (en) 2003-03-14
JP3617052B2 true JP3617052B2 (en) 2005-02-02

Family

ID=19088661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001261650A Expired - Fee Related JP3617052B2 (en) 2001-08-30 2001-08-30 Camera image providing system and camera image time correction method

Country Status (1)

Country Link
JP (1) JP3617052B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840039B1 (en) * 2016-09-05 2018-03-20 인천대학교 산학협력단 Method and apparatus for synchronizing moving picture photographing time based on image analysis

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4174430B2 (en) * 2004-02-06 2008-10-29 ティーディーシーソフトウェアエンジニアリング株式会社 Record management method and record management system
JP4564772B2 (en) * 2004-04-05 2010-10-20 パナソニック株式会社 Wireless railway monitoring system
JP4264955B2 (en) 2005-07-11 2009-05-20 株式会社Jm Report creation system with authentication image
JP2007033785A (en) * 2005-07-26 2007-02-08 Sony Corp Information processing apparatus and method, and program
JP4591252B2 (en) * 2005-07-26 2010-12-01 ソニー株式会社 Information processing apparatus and method, and program
KR100801390B1 (en) * 2006-09-05 2008-02-05 이근식 Protruding Noise Reducer
JP5159174B2 (en) * 2007-05-29 2013-03-06 キヤノン株式会社 Network control device, control method thereof, and program
JP2009004969A (en) * 2007-06-20 2009-01-08 Canon Inc Network control device, network control method, and program
JP2010130084A (en) * 2008-11-25 2010-06-10 Casio Computer Co Ltd Image processor and program
US8326087B2 (en) * 2008-11-25 2012-12-04 Xerox Corporation Synchronizing image sequences
JP5092000B2 (en) * 2010-09-24 2012-12-05 株式会社東芝 Video processing apparatus, method, and video processing system
CA2955632A1 (en) 2010-11-10 2012-05-18 Nike Innovate C.V. Systems and methods for time-based athletic activity measurement and display
US9792955B2 (en) 2011-11-14 2017-10-17 Apple Inc. Automatic generation of multi-camera media clips
JP5752585B2 (en) * 2011-12-16 2015-07-22 株式会社東芝 Video processing apparatus, method and program
JP5885025B2 (en) * 2012-02-27 2016-03-15 ソニー株式会社 Signal processing apparatus, signal processing method, program, and electronic apparatus
JP5994306B2 (en) 2012-03-15 2016-09-21 ソニー株式会社 Information processing apparatus, information processing system, and program
US9129640B2 (en) * 2012-12-12 2015-09-08 Crowdflik, Inc. Collaborative digital video platform that enables synchronized capture, curation and editing of multiple user-generated videos
JP5867432B2 (en) * 2013-03-22 2016-02-24 ソニー株式会社 Information processing apparatus, recording medium, and information processing system
WO2014208378A1 (en) * 2013-06-28 2014-12-31 ソニー株式会社 Information processing device, information processing method, program, and information processing system
JP6610030B2 (en) * 2015-06-29 2019-11-27 ヤマハ株式会社 Video processing apparatus and video processing method
JP2017038152A (en) * 2015-08-07 2017-02-16 ヤマハ株式会社 Video processing apparatus and video processing method
JP6540395B2 (en) * 2015-09-04 2019-07-10 株式会社ソシオネクスト Image processing method and image processing program
JP2016015780A (en) * 2015-10-14 2016-01-28 ソニー株式会社 Information processing apparatus, recording medium, and information processing system
JP6628670B2 (en) * 2016-03-31 2020-01-15 サクサ株式会社 Image processing apparatus and image processing method
JP2018073134A (en) * 2016-10-28 2018-05-10 サクサ株式会社 Information processing device and program
JP7609629B2 (en) * 2020-12-23 2025-01-07 日本信号株式会社 Image processing device and inspection system
CN114697466B (en) * 2022-03-17 2023-10-13 杭州海康威视数字技术股份有限公司 Video frame acquisition synchronization control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840039B1 (en) * 2016-09-05 2018-03-20 인천대학교 산학협력단 Method and apparatus for synchronizing moving picture photographing time based on image analysis

Also Published As

Publication number Publication date
JP2003078864A (en) 2003-03-14

Similar Documents

Publication Publication Date Title
JP3617052B2 (en) Camera image providing system and camera image time correction method
US8199211B2 (en) Camera direct dailies
CN101506892B (en) Method and apparatus for generating a summary
WO2022019719A1 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
US20160337718A1 (en) Automated video production from a plurality of electronic devices
US20150222815A1 (en) Aligning videos representing different viewpoints
WO2020073709A1 (en) Multi-camera multi-face video continuous acquisition device and method
US20160037068A1 (en) System and method of stitching together video streams to generate a wide field video stream
CN110290287B (en) Multi-camera frame synchronization method
CN106576190A (en) 360 degree space image reproduction method and system therefor
JP5292399B2 (en) Content editing device
US20160353053A1 (en) Video processing apparatus, video processing method, and storage medium
KR20160021706A (en) Playing method and the system of 360 degree spacial video
KR101425950B1 (en) Method for generating a sound series of photographs and apparatus for generating and reproducing such sound series
US9491447B2 (en) System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor
WO2014012242A1 (en) Image generation method
CN103546677B (en) Interactive system and interactive method
WO2007110822A1 (en) Method and apparatus for synchronising recording of multiple cameras
JP2008306355A (en) Image reproduction processing apparatus, image reproduction processing method, program, and recording medium
US20240056616A1 (en) Systems and Methods for Standalone Recording Devices and Generating Video Compilations
JP4172352B2 (en) Imaging apparatus and method, imaging system, and program
KR100286306B1 (en) Panorama photograph method for digital still camera
JP6715907B2 (en) Image editing apparatus, image editing method, and program
JP2004241834A (en) Moving image generation apparatus and method, moving image transmission system, program, and recording medium
JP4333255B2 (en) Monitoring device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees