JP3617052B2 - Camera image providing system and camera image time correction method - Google Patents
Camera image providing system and camera image time correction method Download PDFInfo
- Publication number
- JP3617052B2 JP3617052B2 JP2001261650A JP2001261650A JP3617052B2 JP 3617052 B2 JP3617052 B2 JP 3617052B2 JP 2001261650 A JP2001261650 A JP 2001261650A JP 2001261650 A JP2001261650 A JP 2001261650A JP 3617052 B2 JP3617052 B2 JP 3617052B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- video
- cameras
- information processing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000010365 information processing Effects 0.000 claims description 49
- 238000010586 diagram Methods 0.000 description 6
- 230000000386 athletic effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000019993 champagne Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、カメラ映像提供システム及びカメラ映像の時間軸補正方法に関し、特に複数のカメラで撮った映像の時間軸を揃えて利用者に提供し、またカメラで撮った映像の撮影時刻を補正する技術に関する。
【0002】
【従来の技術】
近年、家庭用のハンディなビデオカメラ(以下、「家庭用カメラ」という)が普及し、広く使用されている。このような家庭用カメラは、撮影された映像を自身の表示装置に表示させる機能の他に、撮影された映像の映像信号を外部に出力する機能を有している。
【0003】
この家庭用カメラからの映像信号は、例えばパーソナルコンピュータに取り込むことができるようになっている。そして、パーソナルコンピュータ上で動作する映像編集ソフトウェアは、取り込まれた映像信号に基づく映像を編集できるようになっている。
【0004】
ところで、上述した編集は、1台の家庭用カメラから取り込まれた映像を対象に行われることが殆どであった。一方、映画では、1つのシーンを複数のプロフェッショナル用カメラで別々に撮影し、この複数のプロフェッショナル用カメラから取り込まれた複数の映像を繋ぎ合わせる編集を行い、ストーリー性を有する映像を作成することも行われている。
【0005】
【発明が解決しようとする課題】
しかしながら、家庭用カメラでは、その内蔵時計が、正確な時刻に設定されていないことなどによる実時刻とのズレに起因して、複数のカメラ映像の時間軸が正確にあっていないことが多い。そのため、家庭用カメラで撮影した映像では、同一の時間軸における連続した編集を行うことができず、映像の抜けやダブりが発生して映像進行のぎこちなさが目立ち、また、映像と同時に録音されている音声が繰り返されたりするので、視聴に耐えられないという問題がある。
【0006】
そこで、複数の映像を正確な時間軸上で編集したいという要望がある。また、1つのシーンの、同一時刻における異なるアングルの映像を見たいという要望も生じている。
【0007】
本発明は、上述した問題を解消し、また上記要請に応えるためになされたものであり、その目的は、カメラ映像の時間軸を正確に揃えることができるカメラ映像提供システム及びカメラ映像の時間軸補正方法を提供することにある。
【0008】
【課題を解決するための手段】
本発明は、複数の利用者が運動会のような、1つのイベントを複数のカメラで撮影することにより得られた複数の映像をコンピュータ上に集め、コンテンツとして利用者に提供するものである。より詳しくは、蓄積された複数の映像の時間軸を正確に合わせる映像の時間軸補正方法及び映像の時間軸を合わせて帯状に並べて提供し、映像編集及び映像アングルの切換を容易ならしめるカメラ映像提供システムである。地域、学校、集合住宅といったコミュニティ内での共同撮影、共同映像編集のためのツールとして活用できる。
【0009】
即ち、本発明の第1の態様に係るカメラ映像提供システムは、上記目的を達成するために、複数のカメラと、前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置、とを備えている。
【0010】
このカメラ映像提供システムにおける前記情報処理装置は、前記複数の映像の各々に関連付けられている情報に基づいて前記複数の映像のマッチングをとることにより時間軸を揃えるように構成できる。この場合、前記関連付けられている情報は音波形から構成できる。また、このカメラ映像提供システムにおける前記情報処理装置は、前記複数の映像のマッチングがとれた部分にマークを設定するように構成できる。
【0011】
また、このカメラ映像提供システムにおける前記情報処理装置は第1時計を備え、前記複数のカメラの各々は第2時計を備え、前記情報処理装置は、前記第1時計が示す現在時刻と、前記第2時計が示す現在時刻との差を表す補正値に基づいて前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【0012】
また、このカメラ映像提供システムにおける前記情報処理装置は、ネットワークによって接続された複数の情報処理機器から成り、前記複数の情報処理機器の各々に備えられた前記第1時計の時刻は、前記ネットワークに接続された他の情報処理装置からセットされるように構成できる。
【0013】
この場合、前記複数の情報処理機器は、前記ネットワークを介して、少なくとも映像及び該映像の撮影時刻を前記他の情報処理装置に送るように構成できる。また、前記複数の情報処理機器は、更に、前記補正値を前記他の情報処理装置に送るように構成できる。これらの場合、前記撮影時刻は、前記補正値により補正された撮影時刻とすることができる。
【0014】
また、このカメラ映像提供システムにおける前記情報処理装置は、時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも1つの映像を生成するように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも1つの映像を生成するように構成できる。
【0015】
更に、このカメラ映像提供システムは、前記複数のカメラの各々は、自己修正機能を有する内蔵時計を備え、前記情報処理装置は、前記内蔵時計が示す時刻に基づいて前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【0016】
この場合、前記情報処理装置は、ネットワークによって接続された複数の情報処理機器から成り、前記複数の情報処理機器は、前記ネットワークを介して、少なくとも映像及び該映像の撮影時刻を他の情報処理装置に送るように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも1つの映像を生成するように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも1つの映像を生成するように構成できる。これらの場合、前記内蔵時計は、電波時計から構成できる。更に、前記複数のカメラの各々は、ネットワークに接続するためのネットインタフェース部を備え、前記内蔵時計は、前記ネットワークに接続された他の情報処理装置から前記ネットインタフェース部を介して時刻がセットされるように構成できる。
【0017】
また、本発明の第2の態様に係るカメラ映像提供システムは、上記と同様の目的で、自己修正機能を有する第1時計を含む情報処理装置と、第2時計を含むカメラ、とを備え、前記情報処理装置は、前記第1時計が示す現在時刻と前記第2時計が示す現在時刻との差に基づいて前記カメラで撮影された映像の撮影時刻を補正し、該補正された撮影時刻を有する映像を提供するように構成されている。
【0018】
この第2の態様に係るカメラ映像提供システムによれば、第1時計は自己修正機能を有するので、第1時計からは常に実際の時刻を得ることができる。この第1時計が示す現在時刻と第2時計が示す現在時刻との差に基づいて、カメラで撮影された映像の撮影時刻が補正されるので、常に正確な撮影時刻を有する映像を提供できる。
【0019】
また、本発明の第3の態様に係るカメラ映像の時間軸補正方法は、上記と同様の目的で、複数のカメラで撮影された複数の映像を入力し、該入力された複数の映像の各々に関連付けられている情報に基づいて前記複数の映像のマッチングをとり、該マッチングがとられた前記複数の映像の時間軸を揃えるように構成されている。この場合、前記関連付けられている情報は音波形から構成できる。
【0020】
また、この第3の態様に係るカメラ映像の時間軸補正方法では、更に、前記複数の映像のマッチングがとれた部分にマークを設定するように構成できる。
【0021】
また、この第3の態様に係るカメラ映像の時間軸補正方法では、第1時計が示す現在時刻を読み込み、前記複数のカメラに備えられた第2時計が示す現在時刻を読み込み、前記第1時計が示す現在時刻と前記第2時計が示す現在時刻との差を算出し、該算出された差を補正値として前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【0022】
この場合、前記撮影時刻を補正するステップは、少なくとも映像及び該映像の撮影時刻に基づいて前記撮影時刻を補正するように構成できる。この場合、前記撮影時刻を補正するステップは、更に、前記補正値に基づいて前記撮影時刻を補正するように構成できる。また、前記撮影時刻は、前記補正値により補正された撮影時刻から構成できる。
【0023】
また、この第3の態様に係るカメラ映像の時間軸補正方法では、前記時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも1つの映像を生成するように構成できる。更に、この第2の態様に係るカメラ映像の時間軸補正方法では、前記時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも1つの映像を生成するように構成できる。
【0024】
更に、本発明の第4の態様に係るカメラ映像の時間軸補正方法は、上記と同様の目的で、自己修正機能を有する第1時計が示す現在時刻と、カメラに含まれる第2時計が示す現在時刻との差を算出し、該算出された差に基づいて前記カメラで撮影された映像の撮影時刻を補正するように構成されている。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。なお、以下の実施の形態で使用する家庭用ビデオカメラ(以下、単に「カメラ」と略称することもある)は、DV(Digital Video)規格を採用するものとする。DV規格としては、「INTERNATIONAL STANDARD」(CEI/IEC 61883−2:1998)を採用できる。
【0026】
(実施の形態1)
図1は、本発明の実施の形態1に係るカメラ映像供給システムの構成を示すブロック図である。このカメラ映像供給システムは、インターネット10、このインターネット10に接続されたサーバ20並びに複数のパーソナルコンピュータ(以下、「PC」と略称することもある)30、31及び32から構成されている。複数のパーソナルコンピュータ30、31及び32には、家庭用ビデオカメラ40、41及び42がそれぞれ接続されている。
【0027】
本発明の情報処理装置は、サーバ20並びに複数のパーソナルコンピュータ30、31及び32に対応する。また、本発明の情報処理機器は、パーソナルコンピュータ30、31及び32に対応する。
【0028】
このカメラ映像供給システムでは、ネットワークとしてインターネット10を使用しているが、本発明ではインターネットに限らず、種々のネットワークを使用できる。
【0029】
サーバ20は、このカメラ映像供給システムを統括的に制御する。このサーバ20としては、サーバ用コンピュータ、ワークステーション、汎用コンピュータいった種々の情報処理装置を使用できる。サーバ20は内蔵時計を備えている。この内蔵時計の時刻は、このカメラ映像供給システムの基準時刻として用いられる。
【0030】
パーソナルコンピュータ30、31及び32は、カメラ40、41及び42からの情報をそれぞれ取り込み、種々の処理を行う。これらパーソナルコンピュータ30、31及び32が行う処理の詳細は後述する。なお、パーソナルコンピュータ30、31及び32の代わりに、他の情報処理装置を使用できることは勿論である。
【0031】
パーソナルコンピュータ30、31及び32の各々は内蔵時計を有しており、後述するように、補正時間Δを算出するために使用される。なお、パーソナルコンピュータ30、31及び32で使用する時計は内蔵時計に限定されず、パーソナルコンピュータ30、31及び32が時刻を知ることのできるものであれば如何なる時計であってもよい。
【0032】
カメラ40、41及び42はパーソナルコンピュータ30、31及び32にそれぞれ接続される。接続は、IEEE1394規格(i・Link等の類似規格を含む)のケーブルやアナログ映像信号ケーブル、ブルートゥース(Bluetooth)等の無線を用いて行われる。
【0033】
なお、サーバ20とパーソナルコンピュータ30、31及び32とは同一の情報処理装置であってもよい。その場合は、図5に示すように、複数台の情報処理装置301〜30nに順番に複数台のカメラ401〜40nを繋いだり、図4に示すように、1台の情報処理装置30に複数台のカメラ401〜40nを繋ぐように構成できる。なお、情報処理装置に複数台のカメラを繋ぐケースとしては、図4に示すように、同時に複数台のカメラを繋ぐケースと、複数台のカメラを順次取り替えながら1台のみを繋ぐケースとがある。
【0034】
また、この実施の形態に係るカメラ映像提供システムでは、情報処理装置は、該情報処理装置に接続されているカメラのIDと、カメラに収納されたテープに記録されている、録画に使用されたカメラのIDとを取得し、これらを映像と関連付けて管理するように構成できる。この構成によれば、撮影時刻の補正行うにあったてカメラとテープの整合性を確認できるので、時刻補正が誤って行われることを防止できる。
【0035】
以上の構成において、本発明の実施の形態に係るカメラ映像供給システムの動作を説明する。
【0036】
先ず、利用者は、パーソナルコンピュータ30、31及び32をサーバ20に接続し、パーソナルコンピュータ30、31及び32の内蔵時計の時刻をサーバ20の内蔵時計の時刻に合わせる。サーバ20の内蔵時計の時刻は、常に、電波時計やNTTの時報サービス、インターネット上の時刻を同期させるためのプロトコルであるNTP(Network Time Protocol)等を利用して正確な時刻に合わせておくことが望ましい。なお、NTPについては、RFC1305で定義されている。
【0037】
次いで、利用者は、カメラ40、41及び42をパーソナルコンピュータ30、31及び32に接続する。以上によりカメラ映像供給システムのセッティングが完了する。
【0038】
以上のセッティングが完了すると、カメラ40、41及び42からパーソナルコンピュータ30、31及び32に撮影した「映像」がそれぞれ送られる。この際、各映像に付加されている「撮影時刻」もパーソナルコンピュータ30、31及び32に送られる。次いで、カメラ40、41及び42の内蔵時計の「現在時刻」がパーソナルコンピュータ30、31及び32にそれぞれ送られる。なお、「映像」、「撮影時刻」及び「現在時刻」を送る順序は上記に限定されず任意である。また、これらの「映像」、「撮影時刻」及び「現在時刻」は、複数回送るように構成してもよい。
【0039】
パーソナルコンピュータ30、31及び32は、カメラ40、41及び42から得られたカメラの現在時刻とパーソナルコンピュータ30、31及び32の内蔵時計の現在時刻との差を算出する。この算出された差を、補正時間Δと呼ぶ。パーソナルコンピュータ30、31及び32は、カメラ40、41及び42から得られた映像に、上記算出された補正時間Δを関連付けて記憶する。
【0040】
なお、DV規格以外のカメラの場合は、内蔵時計の現在時刻を外部に出力する機能を備えていない。この場合、以下の方法によりカメラの現在時刻を取得することができる。即ち、カメラは、通常、映像再生時や撮影時に時刻を映像に重畳する機能を備えている。カメラは、この時刻付き映像をパーソナルコンピュータに送る。
【0041】
パーソナルコンピュータは、映像に重畳された時刻表示を、文字認識と文字が変化するタイミングを検知する手法を用いて認識し、現在時刻を得る。そして、パーソナルコンピュータは、これらにより得られたカメラの現在時刻とパーソナルコンピュータの内蔵時計の現在時刻との差を算出し、補正時間Δを得る。映像の撮影時刻も、撮影した際の映像上の時刻表示を文字認識して得る。
【0042】
上述した現在時刻及び映像の撮影時刻を得る方法を、パーソナルコンピュータ30に接続されたカメラ40を例に挙げて、更に詳細に説明する。先ず、カメラ40に現在時刻を表示させて撮影し、この撮影により得られた映像をパーソナルコンピュータ30に送る。この場合、カメラ40は静止した被写体を撮影し、この静止した映像に時刻を表示させるのが好ましい。これにより、パーソナルコンピュータ30は、1秒(又は1分)毎に画面が変化する領域を特定しやすくなる。
【0043】
次に、パーソナルコンピュータ30は、画面を走査することにより所定時刻における画像と該所定時刻から1秒経過した後の画像とを取得し、これらを比較して変化している箇所を見つける。この動作を何秒(又は何分)か繰り返し、周期的に必ず画像が変化している部分であって、且つ部分的に色が同一である部分を検出する。そして、この検出された部分が、時刻表示領域(厳密には、時刻表示領域の末尾の部分)であると認識する。
【0044】
なお、パーソナルコンピュータ30が、時刻が表示されている箇所を特定できない場合又は必要に応じて、ユーザが、例えばマウスに連動するポインタで領域を指定するように構成してもよい。
【0045】
上記時刻表示領域を認識する際は、時刻を表す文字の変化が大きい部分から認識を始める。そして、その部分で画面の色が変化するタイミングを測定し、1秒の間隔を得る。なお、秒単位で補正する場合は、ミリ秒単位で測定する。
【0046】
そして、1秒の間隔が得られたら、仮の時刻の基準値、例えば「00:00:01」からから計時を開始、得られた1秒の間隔でインクリメントを開始する。次いで、映像を止め、その際の仮の時刻を記録する。この場合、仮の時刻は止めずに計時を継続する。
【0047】
次に、止めた時の映像から文字を2桁ずつ認識する。文字の認識には、既存の光学文字認識(OCR)等で用いられている文字認識方法を用いることができる。文字は、「0」〜「9」、「:」、「,」「時」、「分」及び「秒」の15通りに特定できるので、高い認識率が得られる。なお、認識された文字は、パーソナルコンピュータ30に表示させてユーザが確認できるように構成するのが好ましい。
【0048】
この文字認識では、1秒の周期で画面が変化している場合は、最大8文字(時、分及び秒の数字は2桁表示)を認識する。なお、1分の周期で画面が変化している場合は、5桁を認識する。時、分及び秒の間の区切りは、「:」、「,」「時」、「分」及び「秒」を認識することにより判断する。
【0049】
次いで、「認識された時刻−映像を止めた時の仮の時刻」を演算し、結果を仮の時刻に加算することにより、カメラ40の現在時刻が得られる。
【0050】
次に、各パーソナルコンピュータ30、31及び32は、サーバ20に、映像、撮影時刻及び補正時間Δを送る。サーバ20は、複数のパーソナルコンピュータ30、31及び32から送られてきた複数の映像、撮影時刻、補正時間Δに基づいて映像の正確な撮影時刻を算出する。そして、図2に概念的に示すように、複数の映像を同一の時間軸上に並列に並べ、利用者の編集や加工に供する。
【0051】
利用者は、時間軸上に並列に並べられた映像から所望の映像を取捨選択することにより、正確な時刻で映像を繋ぎ合わせた編集・加工ができる。例えば、図3に示すように、運動会の徒競走でAさんは息子をスタート地点から撮っていたため途中のシーンが人垣などで上手く撮れていなかったが、Bさんがコーナー地点で撮っていた映像にもAさんの息子が映っていたとする。同様に、Cさんが撮っていた映像にもAさんの息子が映っていたとする。このような状況が生じた場合に、Aさん、Bさん及びCさのカメラで撮った映像を正確な時間で繋ぎ合わせて1つの映像として編集できる。
【0052】
このように、本発明の実施の形態1に係るカメラ映像提供システムによれば、複数のカメラで撮った各シーンを正確な時間で繋ぎ合わせる編集ができるので、正確な時間に沿って物事が進行している状態を再現することができ、Aさんの息子を主人公とするプロフェッショナルの映画のような品質の高い映像を作成することができる。
【0053】
また、この実施の形態1に係るカメラ映像提供システムによれば、利用者は、時間軸上に並列に並べられた映像に基づいて、ある時刻の映像を多面的なアングルや位置の情報として閲覧できる。例えば、地震や噴火の際に時間の経過と地域の揺れや被害状況の正確な映像を見ることができるので、正確な情報を把握できる。
【0054】
また、従来、3次元の映像を撮影するためには、対象物を360゜囲むように複数台のスチルカメラを配置し、シャッターを同時に押して連続撮影し、撮影後、得られた画像をコンピュータ上で一枚一枚張り合わせて映像を作成している。この実施の形態1に係るカメラ映像提供システムを利用すれば、動画カメラを利用でき、各動画カメラの撮影開始時刻を気にせずに撮影しても、撮影後に各映像の撮影時刻を正確に合わせることができるので、簡単に多面的な視点の映像が得られる。
【0055】
利用者は、上述したようにしてサーバ上で複数の映像を編集・加工することにより得られた1つの映像をパーソナルコンピュータ31、32及び33にダウンロードし、必要に応じてテープやディスクに書き出すことができる。これにより、利用者が最初に撮った映像より付加価値の高い新たな映像を得ることができる。
【0056】
なお、上述した実施の形態1では、各パーソナルコンピュータ31、32及び33は、映像、撮影時刻及び補正時間Δをサーバ20に送り、サーバ20上で正確な撮影時刻を算出するように構成したが、各パーソナルコンピュータ31、32及び33は、映像、撮影時刻及び補正時間Δに基づいて正確な撮影時刻を算出して撮影時刻情報を書き直し、映像と、この書き直された撮影時刻とをサーバ20に送るように構成することができる。この場合、サーバ20及びインターネット10の負荷を軽減できる。
【0057】
或いはまた、各パーソナルコンピュータ30、31及び33は、カメラ41、42及び43から映像を取り込まず、現在時刻と撮影時刻だけを取り込み、上述したようにして撮影時刻を補正し、補正された撮影時刻をカメラ41、42及び43内の映像、より詳しくはDVテープの映像に付帯された撮影時刻情報部分に書き戻すように構成できる。
【0058】
(実施の形態2)
本発明の実施の形態2は、実施の形態1における補正時間Δを使用せずに、各映像の時間を合わせる時間軸補正方法を採用したカメラ映像提供システムである。
【0059】
この時間軸補正方法は、補正時間Δが得られないときや、補正時間Δが正しいかどうかを検証するために用いられる。補正時間Δが得られない場合とは、撮影に用いたカメラとは異なる装置(ビデオカメラやビデオデッキ)を用いて再生を行う場合や、時刻の合わせ直し等によりカメラの内蔵時計の時刻が撮影時から変化してしまった場合や8mmフィルム等の時間情報を持たない場合である。
【0060】
この実施の形態2に係るカメラ映像提供システムの構成は、図1に示した実施の形態1のそれと同じである。
【0061】
DV規格のカメラ40、41及び42では、同一イベントを複数のカメラで撮影することにより得られた複数の映像を、パーソナルコンピュータ30、31及び32経由でサーバ20にアップロードする際、映像からは各々撮影時の時刻情報が取得できる。
【0062】
サーバ20は、初期段階にサーバ20にアップロードされた映像の中で最も長時間撮影された映像Aを基準とし、その他の映像との要素マッチングを行う。
【0063】
ここで、要素マッチングについて説明する。複数のカメラで同一のイベントを撮影している場合には、各映像中には共通の要素が含まれている。この共通の要素をサーチして映像の時間軸上の一致点を求めるのが本明細書で言う要素マッチングである。
【0064】
要素マッチングは、音声、映像又は音声及び映像の双方を用いて行うことができる。要素マッチングを行う場合は、利用者は、ユーザインタフェース(UI)を用いて、各カメラの映像から、時間の一致するフレームを大まかに指定する。そして、サーバ20は、指定されたフレーム付近の、音声、映像又は音声及び映像の双方の正確な一致点を自動的に検索する。
【0065】
音で要素マッチングを行う場合は、例えば、運動会における徒競走のピストルの音波形、結婚式におけるシャンパンの開栓の音波形等を利用できる。映像で要素マッチングを行う場合は、運動会におけるくす玉が割れた瞬間に現れる画像の色の顕著な変化や、結婚式におけるケーキ入刀のシーンに連続的に現れるフラッシュの明滅パターン等を利用できる。
【0066】
時間一致の解析は、以下のように行うことができる。音量や映像の平均色或いは平均輝度の変化パターンを、正規化或いは適切な閾値で2値化する。そして、得られた或る区間の時系列パターン同士の一致度を、パターン同士をずらしながら求め、一致度が最も高くなる点を探す。その点が求められると、お互いの映像の時間軸のズレが得られたことになる。なお、一致度の計算の一例は、例えば「IEEE PromsMMNet 1997」に収録されている「WebSync:A system for Synchronization of Analog Sequential Media and WWW」(H.Matoba,T.Oizumi and K.maeno)に記述されている。
【0067】
このような要素マッチングでは、映像Aと映像Bとがマッチングする箇所を最低1個確定すれば、映像Aに記録されている時刻情報を仮基準として、映像Bの時刻を映像Aの仮基準の時刻に合わせる、つまり、同じ時間軸に各映像を並べることができる。映像Aと映像Bとの間で複数のマッチング箇所が確定できれば、より正確な時間軸合わせが可能になり、マッチングミスによる補正エラー発生確率を低減できる。
【0068】
以下同様にして、映像C、D、Eと順次要素マッチングを行い、映像Aの撮影時刻を仮基準として時刻補正を行う。同じマッチング箇所がどの撮影映像にも何時も出現するようなら、撮影したイベントでの特徴的なシーンと見なすことができる。従って、以後のマッチングは、そのシーンに絞ってマッチング箇所を探せばよいので、マッチング処理の効率が向上する。
【0069】
つまり、撮影の開始から終了までの全撮影映像に対してマッチング箇所をサーチする必要はない。例えば、結婚披露宴であれば、特徴的なシーンの一つである花嫁花婿入場は撮影開始の初期段階にあるので、このシーンに絞ってマッチング箇所を探せばマッチング処理の効率を格段に向上させることができる。
【0070】
上記の処理を繰り返して、対象となる同一イベントの撮影映像の時刻を全て、映像Aに合わせる。全ての映像について、マッチング箇所が最低1個確定できれば、全ての映像を同一時間軸に並べることが可能である。
【0071】
仮に、映像Aに対して、マッチング箇所が取得できない撮影映像があれば、マッチング箇所が存在する別の映像を基準にマッチングを行ってもよい。例えば、映像Cが映像Aを基準としてマッチングできなかった場合、既にマッチング箇所が存在する映像Bと映像Cとでマッチングを行ったり、映像Cと映像Dとを先にマッチングさせてから映像Dと映像Aとをマッチングさせる等により全ての映像を同一時間軸に並べることが可能である。
【0072】
なお、何れの映像に対してもマッチング箇所が見つからない映像は、編集時に利用する可能性も低い映像とみなすことができる。従って、このような映像は編集材料としては除外することができる。
【0073】
また、映像のマッチング箇所をサーチする際に、サーチされたマッチング箇所にブックマークを設定し、このブックマークが設定された映像を保存するように構成できる。この構成によれば、別アングルの映像を繋いで編集する際のマッチング箇所のサーチの効率を高めることができる。
【0074】
なお、本発明に係るカメラ映像提供システムでは、撮影時刻は必ずしも正確である必要はないが、映像の正確な撮影時刻を得るためには、各映像のマッチング箇所の多い部分で、各映像から取得した撮影時刻情報の最頻値や平均値を正確な時刻とみなして、各映像の撮影時刻とすることができる。
【0075】
(実施の形態3)
本発明の実施の形態3は、時刻を正確に合わせる自己修正機能を有するカメラを用いたカメラ映像提供システムである。
【0076】
この実施の形態3に係るカメラ映像提供システムの構成は、図1に示した実施の形態1のそれと同じである。実施の形態1との相違は、カメラ40、41及び42に時刻を正確に合わせる機能を付加し、パーソナルコンピュータ30、31及び32やサーバ20では時間軸補正を行わない点である。
【0077】
カメラ40、41及び42は、標準電波から日本標準時を取得し、正確な時刻に合わせる電波時計を内蔵している。カメラ40、41及び42は、この電波時計を内蔵時計として時刻を計時する。従って、各カメラ40、41及び42から送パーソナルコンピュータ30、31及び32に送られる映像に付された時刻情報は非常に正確であり、補正の必要はない。
【0078】
パーソナルコンピュータ30、31及び32は、カメラ40、41及び42からの映像をそのままサーバ20に送る。サーバ20は、映像に付加された撮影時刻に基づいて、図2に概念的に示すように、複数の映像を同一の時間軸上に並列に並べ、利用者の編集や加工に供する。
【0079】
この構成により、カメラ40、41及び42はサーバ20に映像と撮影時刻を送信するだけで、時間軸を合わせた複数の映像を利用者に提供できる。従って、パーソナルコンピュータ30、31及び32の時刻を正確に合わせる、カメラ40、41及び42の現在時刻から補正時間Δを算出する、撮影時刻と補正時間Δとから正確な撮影時刻を求める、といった処理が不要になる。
【0080】
この実施の形態3に係るカメラ映像提供システムは、次のように変形できる。即ち、この変形に係るカメラ映像提供システムのカメラ40、41及び42は、電波時計の変わりに通常の時刻合わせ可能な内蔵時計を備え、更に、例えばブルートゥースといった無線回線や既存の有線回線を用いてインターネットに接続するネットインタフェース部を備えている。そして、定期的又は必要に応じてインターネットにアクセスし、NTPを利用して内蔵時計を正確な時刻に合わせる。これにより、電波時計を内蔵した場合と同等の作用及び効果を奏する。
【0081】
以上説明したように、本発明の実施の形態に係るカメラ映像提供システムによれば、複数の映像の時間を正確に合わせて利用者に提供できるので、時間に正確に物事が進行している映像が編集できたり、同時刻に行われている他地点の変化を正確に知ることができる。
【0082】
【発明の効果】
以上詳述したように、本発明によれば、時間軸が正確に揃ったカメラ映像を提供できるカメラ映像提供システム及び映像の時間軸補正方法を提供できる。
【0083】
複数のカメラで撮った各シーンを正確な時間で繋ぎ合わせる編集ができるので、正確な時間に沿って物事が進行している状態を再現することができ、プロフェッショナルの映画のような品質の高い映像を作成することができる。
【0084】
また、利用者は、時間軸上に並列に並べられた映像に基づいて、ある時刻の映像を多面的なアングルや位置の情報として閲覧できるので、例えば、地震や噴火の際に時間の経過と地域の揺れや被害状況の正確な映像を見ることができ、正確な情報を把握できる。
【0085】
また、3次元の映像を撮影するためには、従来のような複数台のスチルカメラを用いるのではなく、動画カメラを利用することができ、各動画カメラの撮影開始時刻を気にせずに撮影しても、撮影後に各映像の撮影時刻を正確に合わせることができるので、簡単に多面的な視点の映像が得られる。
【0086】
更に、複数の映像を編集・加工することにより得られた1つの映像は、必要に応じてテープやディスクに書き出すことができるので、利用者が最初に撮った映像より付加価値の高い新たな映像を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係るカメラ映像供給システムの構成を示すブロック図である。
【図2】本発明の実施の形態1に係るカメラ映像供給システムにおいて、複数の映像を同一の時間軸上に並列に並べた様子を概念的に示す説明図である。
【図3】本発明の実施の形態1に係るカメラ映像供給システムの動作を説明するための図である。
【図4】本発明の実施の形態1に係るカメラ映像供給システムの他の構成を説明するための図である。
【図5】本発明の実施の形態1に係るカメラ映像供給システムの更に他の構成を説明するための図である。
【符号の説明】
10 インターネット
20 サーバ
30、31、32 パーソナルコンピュータ
40、41、42 カメラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera image providing system and a camera image time axis correction method, and in particular, provides a user with the same time axis of images taken by a plurality of cameras, and corrects the shooting time of the images taken by the cameras. Regarding technology.
[0002]
[Prior art]
In recent years, home video cameras (hereinafter referred to as “home cameras”) have become widespread and widely used. Such a home camera has a function of outputting a video signal of the shot video to the outside in addition to a function of displaying the shot video on its own display device.
[0003]
The video signal from the home camera can be taken into a personal computer, for example. The video editing software operating on the personal computer can edit the video based on the captured video signal.
[0004]
By the way, the above-described editing is mostly performed on a video captured from one home camera. On the other hand, in a movie, a scene can be shot separately with a plurality of professional cameras, and a plurality of videos captured from the plurality of professional cameras can be connected and edited to create a story-like video. Has been done.
[0005]
[Problems to be solved by the invention]
However, in a home camera, the time axis of a plurality of camera images is often not accurate due to a deviation from the actual time because the built-in clock is not set to an accurate time. For this reason, video taken with a home camera cannot be edited continuously on the same time axis, and video omissions and duplication occur, making the video awkward and noticeable. There is a problem that it is not able to endure viewing because the sound is repeated.
[0006]
Therefore, there is a demand for editing a plurality of videos on an accurate time axis. There has also been a desire to view videos of different angles at the same time in one scene.
[0007]
The present invention has been made in order to solve the above-mentioned problems and to meet the above-mentioned demands, and an object of the present invention is to provide a camera image providing system capable of accurately aligning the time axes of camera images and the time axis of camera images. It is to provide a correction method.
[0008]
[Means for Solving the Problems]
The present invention collects, on a computer, a plurality of videos obtained by a plurality of users shooting a single event such as an athletic meet with a plurality of cameras, and provides them to the user as contents. More specifically, the video time axis correction method that accurately aligns the time axes of a plurality of stored videos and the video images that can be edited and switched between video angles are provided by arranging the video time axes in a band. This is a provision system. It can be used as a tool for collaborative shooting and video editing in communities such as regions, schools, and housing complexes.
[0009]
That is, the camera image providing system according to the first aspect of the present invention provides a plurality of cameras and an information processing device that aligns the time axes of the plurality of images captured by the plurality of cameras, in order to achieve the above-described object, And.
[0010]
The information processing apparatus in this camera video providing system can be configured to align time axes by matching the plurality of videos based on information associated with each of the plurality of videos. In this case, the associated information can comprise a sound waveform. Further, the information processing apparatus in the camera video providing system can be configured to set a mark in a portion where the plurality of videos are matched.
[0011]
The information processing apparatus in the camera video providing system includes a first clock, each of the plurality of cameras includes a second clock, and the information processing apparatus includes a current time indicated by the first clock and the first clock. 2. Correct the shooting time of the plurality of images from the plurality of cameras based on the correction value representing the difference from the current time indicated by the two clocks, and thereby set the time axes of the plurality of images captured by the plurality of cameras. Can be configured to align.
[0012]
The information processing apparatus in the camera video providing system includes a plurality of information processing devices connected via a network, and the time of the first clock provided in each of the plurality of information processing devices is stored in the network. It can be configured to be set from another connected information processing apparatus.
[0013]
In this case, the plurality of information processing devices can be configured to send at least a video and a shooting time of the video to the other information processing apparatus via the network. Further, the plurality of information processing devices can be configured to further send the correction value to the other information processing apparatus. In these cases, the photographing time can be the photographing time corrected by the correction value.
[0014]
Further, the information processing apparatus in the camera video providing system can be configured to generate at least one video edited so that the shooting times are continuous based on a plurality of videos having the same time axis. The information processing apparatus may be configured to generate at least one image by processing a plurality of images having the same shooting time among a plurality of images having the same time axis so as to be switched and connected.
[0015]
Furthermore, in this camera image providing system, each of the plurality of cameras includes a built-in clock having a self-correcting function, and the information processing apparatus is photographed by the plurality of cameras based on times indicated by the built-in clock. It can be configured to align the time axes of multiple videos.
[0016]
In this case, the information processing apparatus includes a plurality of information processing devices connected via a network, and the plurality of information processing devices transmits at least a video and a shooting time of the video via the network to another information processing device. Can be configured to send to The information processing apparatus may be configured to generate at least one video edited so that the shooting times are continuous based on a plurality of videos having the same time axis. In addition, the information processing apparatus can be configured to generate at least one video by processing a plurality of videos having the same shooting time among a plurality of videos having the same time axis to be switched and connected. In these cases, the built-in clock can be constituted by a radio clock. Further, each of the plurality of cameras includes a network interface unit for connecting to a network, and the internal clock is set with time from the other information processing apparatus connected to the network via the network interface unit. Can be configured.
[0017]
A camera image providing system according to a second aspect of the present invention includes an information processing device including a first clock having a self-correcting function and a camera including a second clock for the same purpose as described above. The information processing apparatus corrects a shooting time of a video shot by the camera based on a difference between a current time indicated by the first clock and a current time indicated by the second clock, and the corrected shooting time is determined. It is comprised so that the image | video which it has may be provided.
[0018]
According to the camera image providing system according to the second aspect, since the first clock has a self-correcting function, the actual time can always be obtained from the first clock. Since the shooting time of the video shot by the camera is corrected based on the difference between the current time indicated by the first clock and the current time indicated by the second clock, a video having an accurate shooting time can always be provided.
[0019]
In addition, in the camera video time base correction method according to the third aspect of the present invention, for the same purpose as described above, a plurality of videos taken by a plurality of cameras are input, and each of the input plurality of videos is input. The plurality of videos are matched based on the information associated with the video, and the time axes of the matched videos are aligned. In this case, the associated information can comprise a sound waveform.
[0020]
Further, in the camera video time base correcting method according to the third aspect, a mark can be set at a portion where the plurality of videos are matched.
[0021]
In the camera image time base correction method according to the third aspect, the current time indicated by the first clock is read, the current times indicated by the second clocks provided in the plurality of cameras are read, and the first timepiece is read. Calculating the difference between the current time indicated by the second clock and the current time indicated by the second clock, and correcting the shooting times of the plurality of videos from the plurality of cameras using the calculated difference as a correction value, It is possible to configure so that the time axes of a plurality of videos taken by the camera are aligned.
[0022]
In this case, the step of correcting the shooting time can be configured to correct the shooting time based on at least the video and the shooting time of the video. In this case, the step of correcting the shooting time can be further configured to correct the shooting time based on the correction value. Further, the photographing time can be configured from the photographing time corrected by the correction value.
[0023]
In the camera video time base correction method according to the third aspect, at least one video edited so that the shooting times are continuous is generated based on the plurality of videos having the same time axis. Can be configured. Furthermore, in the time axis correction method for a camera image according to the second aspect, at least a plurality of images having the same shooting time among the plurality of images with the same time axis are switched and connected to each other. It can be configured to generate one video.
[0024]
Furthermore, the camera image time base correction method according to the fourth aspect of the present invention is the same as described above, and the current time indicated by the first timepiece having a self-correcting function and the second timepiece included in the camera indicate A difference from the current time is calculated, and the shooting time of the video shot by the camera is corrected based on the calculated difference.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that a home video camera used in the following embodiments (hereinafter sometimes simply referred to as “camera”) adopts the DV (Digital Video) standard. As the DV standard, “INTERNATIONAL STANDARD” (CEI / IEC 61883-2: 1998) can be adopted.
[0026]
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a camera video supply system according to Embodiment 1 of the present invention. The camera video supply system includes an Internet 10, a server 20 connected to the Internet 10, and a plurality of personal computers (hereinafter also abbreviated as “PC”) 30, 31, and 32. The
[0027]
The information processing apparatus according to the present invention corresponds to the server 20 and the plurality of
[0028]
In this camera video supply system, the Internet 10 is used as a network. However, the present invention is not limited to the Internet, and various networks can be used.
[0029]
The server 20 comprehensively controls this camera video supply system. As the server 20, various information processing apparatuses such as a server computer, a workstation, and a general-purpose computer can be used. The server 20 has a built-in clock. The time of the built-in clock is used as a reference time for the camera video supply system.
[0030]
The
[0031]
Each of the
[0032]
[0033]
The server 20 and the
[0034]
Further, in the camera video providing system according to this embodiment, the information processing apparatus is used for recording, which is recorded on the tape stored in the camera and the ID of the camera connected to the information processing apparatus. It can be configured to acquire camera IDs and manage them in association with video. According to this configuration, since the consistency between the camera and the tape can be confirmed when the shooting time is corrected, it is possible to prevent time correction from being performed erroneously.
[0035]
With the above configuration, the operation of the camera video supply system according to the embodiment of the present invention will be described.
[0036]
First, the user connects the
[0037]
Next, the user connects the
[0038]
When the above setting is completed, “images” taken by the
[0039]
The
[0040]
Note that a camera other than the DV standard does not have a function of outputting the current time of the built-in clock to the outside. In this case, the current time of the camera can be acquired by the following method. That is, the camera normally has a function of superimposing the time on the video during video playback or shooting. The camera sends the video with time to the personal computer.
[0041]
The personal computer recognizes the time display superimposed on the video by using character recognition and a method of detecting the timing when the character changes, and obtains the current time. Then, the personal computer calculates the difference between the current camera time and the current time of the internal clock of the personal computer, thereby obtaining the correction time Δ. The shooting time of the video is also obtained by character recognition of the time display on the video at the time of shooting.
[0042]
The above-described method for obtaining the current time and video shooting time will be described in more detail by taking the
[0043]
Next, the
[0044]
Note that the
[0045]
When recognizing the time display area, the recognition is started from a portion where the change of the character representing the time is large. Then, the timing at which the screen color changes at that portion is measured to obtain an interval of 1 second. When correcting in seconds, measure in milliseconds.
[0046]
When an interval of 1 second is obtained, timing is started from a temporary time reference value, for example, “00:00:01”, and increment is started at the obtained interval of 1 second. Next, the video is stopped and the temporary time at that time is recorded. In this case, the timing is continued without stopping the temporary time.
[0047]
Next, characters are recognized two digits at a time when the video is stopped. For character recognition, a character recognition method used in existing optical character recognition (OCR) or the like can be used. Since the characters can be specified in 15 ways of “0” to “9”, “:”, “,” “hour”, “minute” and “second”, a high recognition rate can be obtained. The recognized character is preferably displayed on the
[0048]
In this character recognition, when the screen changes at a cycle of 1 second, a maximum of 8 characters (hour, minute and second numbers are displayed in two digits) are recognized. If the screen changes at a cycle of 1 minute, 5 digits are recognized. The division between the hour, minute, and second is determined by recognizing “:”, “,”, “hour”, “minute”, and “second”.
[0049]
Next, “recognized time—temporary time when video is stopped” is calculated, and the result is added to the temporary time, whereby the current time of the
[0050]
Next, each
[0051]
The user can edit and process the video by connecting the video at an accurate time by selecting a desired video from the videos arranged in parallel on the time axis. For example, as shown in Fig. 3, A was taking a picture of his son from the starting point at the athletic meet, so the scene on the way could not be taken well with a fence etc. Suppose A's son was reflected. Similarly, suppose that Mr. A's son was also reflected in the video that Mr. C was taking. When such a situation occurs, the images taken by the cameras of Mr. A, Mr. B, and Mr. C can be connected in an accurate time and edited as one image.
[0052]
As described above, according to the camera image providing system according to Embodiment 1 of the present invention, it is possible to edit scenes obtained by connecting a plurality of scenes taken with a plurality of cameras in an accurate time. It is possible to reproduce the state of the movie, and to create a high-quality video like a professional movie with A's son as the main character.
[0053]
In addition, according to the camera video providing system according to the first embodiment, the user can view a video at a certain time as multifaceted angle and position information based on videos arranged in parallel on the time axis. it can. For example, accurate information can be grasped because it is possible to view an accurate video of the passage of time, the shaking of the area, and the damage situation during an earthquake or eruption.
[0054]
Conventionally, in order to shoot a three-dimensional image, a plurality of still cameras are arranged so as to surround the object 360 °, and the shutter is simultaneously pressed to continuously shoot. The images are created by sticking them one by one. If the camera video providing system according to the first embodiment is used, a video camera can be used, and even if shooting is performed without worrying about the shooting start time of each video camera, the shooting time of each video is accurately adjusted after shooting. It is possible to obtain images from various viewpoints easily.
[0055]
The user downloads one video obtained by editing and processing a plurality of videos on the server as described above to the
[0056]
In the first embodiment described above, each
[0057]
Alternatively, each
[0058]
(Embodiment 2)
The second embodiment of the present invention is a camera video providing system that employs a time axis correction method for adjusting the time of each video without using the correction time Δ in the first embodiment.
[0059]
This time axis correction method is used when the correction time Δ cannot be obtained or for verifying whether the correction time Δ is correct. When the correction time Δ cannot be obtained, the time of the camera's built-in clock is shot by playback using a device (video camera or VCR) that is different from the camera used for shooting, or by resetting the time. This is the case when it has changed from time or when it does not have time information such as an 8 mm film.
[0060]
The configuration of the camera video providing system according to the second embodiment is the same as that of the first embodiment shown in FIG.
[0061]
In the DV
[0062]
The server 20 performs element matching with other videos based on the video A shot for the longest time among the videos uploaded to the server 20 in the initial stage.
[0063]
Here, element matching will be described. When the same event is shot by a plurality of cameras, common elements are included in each video. This common element is searched for the coincidence point on the time axis of the video, which is element matching in this specification.
[0064]
Element matching can be performed using audio, video, or both audio and video. In the case of performing element matching, the user roughly designates a frame having a matching time from the video of each camera using a user interface (UI). Then, the server 20 automatically searches for an exact coincidence point of audio, video, or both audio and video near the designated frame.
[0065]
In the case of performing element matching by sound, for example, the sound waveform of a pistol for an athletic meet or the sound waveform of champagne opening at a wedding can be used. When performing element matching on a video, it is possible to use a noticeable change in the color of an image that appears at the moment when a ball is broken at an athletic meet, a flashing blink pattern that appears continuously in a scene of a cake sword at a wedding ceremony, or the like.
[0066]
The time coincidence analysis can be performed as follows. The change pattern of the volume, the average color of the video, or the average luminance is normalized or binarized with an appropriate threshold. Then, the degree of coincidence between the obtained time series patterns in a certain section is obtained while shifting the patterns, and the point having the highest degree of coincidence is searched for. When that point is required, the time axis shift between the images is obtained. An example of the calculation of the degree of coincidence is described in, for example, “Web Sync: A system for Synchronization of Analog Media and WWW” (H. Matoba, T. O. Has been.
[0067]
In such element matching, if at least one matching point between the video A and the video B is determined, the time information recorded in the video A is used as a temporary reference, and the time of the video B is set as the temporary reference of the video A. According to the time, that is, each video can be arranged on the same time axis. If a plurality of matching points can be determined between the video A and the video B, more accurate time axis alignment is possible, and the probability of occurrence of a correction error due to a matching error can be reduced.
[0068]
In the same manner, element matching is sequentially performed with the images C, D, and E, and time correction is performed using the shooting time of the image A as a temporary reference. If the same matching part appears in any captured video at any time, it can be regarded as a characteristic scene at the captured event. Accordingly, in the subsequent matching, it is only necessary to search for a matching portion by focusing on the scene, so that the efficiency of the matching process is improved.
[0069]
That is, it is not necessary to search for a matching portion for all the shot images from the start to the end of shooting. For example, if it is a wedding reception, the bride and groom entrance, which is one of the characteristic scenes, is in the initial stage of shooting, so if you search for a matching part focusing on this scene, the efficiency of the matching process will be greatly improved. Can do.
[0070]
The above process is repeated to match all the times of the captured video of the same target event with the video A. If at least one matching point can be determined for all the videos, all the videos can be arranged on the same time axis.
[0071]
If there is a photographed video for which a matching location cannot be obtained for video A, matching may be performed based on another video in which the matching location exists. For example, if video C cannot be matched with video A as a reference, video B and video C that already have matching points are matched, or video C and video D are matched before video D and video D are matched. It is possible to arrange all the videos on the same time axis by matching the video A or the like.
[0072]
Note that a video for which no matching portion is found for any video can be regarded as a video that is unlikely to be used during editing. Therefore, such an image can be excluded as editing material.
[0073]
Further, when searching for a matching part of a video, a bookmark can be set at the searched matching part, and the video with the bookmark set can be saved. According to this configuration, it is possible to increase the efficiency of searching for a matching portion when editing video by connecting videos of different angles.
[0074]
In the camera video providing system according to the present invention, the shooting time does not necessarily have to be accurate, but in order to obtain an accurate shooting time of the video, it is acquired from each video at a portion where there are many matching portions of each video. The mode value and the average value of the shooting time information obtained can be regarded as the accurate time, and can be set as the shooting time of each video.
[0075]
(Embodiment 3)
Embodiment 3 of the present invention is a camera image providing system using a camera having a self-correcting function for accurately adjusting time.
[0076]
The configuration of the camera video providing system according to the third embodiment is the same as that of the first embodiment shown in FIG. The difference from the first embodiment is that the
[0077]
The
[0078]
The
[0079]
With this configuration, the
[0080]
The camera image providing system according to the third embodiment can be modified as follows. That is, the
[0081]
As described above, according to the camera image providing system according to the embodiment of the present invention, it is possible to provide a user with the time of a plurality of images accurately, so that an image in which things are progressing accurately in time. Can be edited, and you can know exactly the changes at other points at the same time.
[0082]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to provide a camera video providing system and a video time axis correction method capable of providing a camera video with time axes accurately aligned.
[0083]
The scenes taken by multiple cameras can be edited by connecting them in precise time, so you can reproduce the state that things are progressing along the precise time, and high quality images like professional movies Can be created.
[0084]
In addition, since the user can view the video at a certain time as multifaceted angle and position information based on the video arranged in parallel on the time axis, for example, the time elapses during an earthquake or eruption. You can see accurate images of local shaking and damage, and get accurate information.
[0085]
Also, in order to shoot 3D images, you can use a video camera instead of using multiple conventional still cameras, and shoot without worrying about the shooting start time of each video camera. Even so, the shooting time of each video can be accurately set after shooting, so that a video with a multifaceted viewpoint can be easily obtained.
[0086]
In addition, one video obtained by editing and processing multiple videos can be written to tape or disk as needed, so new video with higher added value than the video originally taken by the user Can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a camera video supply system according to Embodiment 1 of the present invention.
FIG. 2 is an explanatory diagram conceptually showing a state in which a plurality of videos are arranged in parallel on the same time axis in the camera video supply system according to Embodiment 1 of the present invention.
FIG. 3 is a diagram for explaining the operation of the camera video supply system according to Embodiment 1 of the present invention.
FIG. 4 is a diagram for explaining another configuration of the camera video supply system according to Embodiment 1 of the present invention.
FIG. 5 is a diagram for explaining still another configuration of the camera video supply system according to Embodiment 1 of the present invention.
[Explanation of symbols]
10 Internet
20 servers
30, 31, 32 Personal computer
40, 41, 42 cameras
Claims (15)
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は第1時計を備え、
前記複数のカメラの各々は第2時計を備え、
前記情報処理装置は、前記第1時計が示す現在時刻と、前記第2時計が示す現在時刻との差を表す補正値に基づいて前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃える、
カメラ映像提供システム。Multiple cameras,
An information processing device that aligns the time axes of a plurality of images taken by the plurality of cameras ,
The information processing apparatus includes a first watch.
Each of the plurality of cameras includes a second watch.
The information processing device corrects shooting times of a plurality of videos from the plurality of cameras based on a correction value representing a difference between a current time indicated by the first clock and a current time indicated by the second clock, Therefore, align the time axis of the plurality of images taken by the plurality of cameras,
Camera image providing system.
前記複数の情報処理機器の各々に備えられた前記第1時計の時刻は、前記ネットワークに接続された他の情報処理装置からセットされる、
請求項1に記載のカメラ映像提供システム。The information processing apparatus comprises a plurality of information processing devices connected by a network,
The time of the first clock provided in each of the plurality of information processing devices is set from another information processing device connected to the network.
The camera image providing system according to claim 1 .
請求項2に記載のカメラ映像提供システム。The plurality of information processing devices send at least a video and a shooting time of the video to the other information processing apparatus via the network.
The camera image providing system according to claim 2 .
請求項3に記載のカメラ映像提供システム。The plurality of information processing devices further send the correction value to the other information processing apparatus.
The camera image providing system according to claim 3 .
請求項3に記載のカメラ映像提供システム。The shooting time is a shooting time corrected by the correction value.
The camera image providing system according to claim 3 .
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は、前記複数の映像のマッチングをとることにより前記時間軸を揃え、前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像提供システム。Multiple cameras,
An information processing device that aligns the time axes of a plurality of images taken by the plurality of cameras ,
The information processing device aligns the time axis by matching the plurality of images, and sets a mark in a portion where the plurality of images are matched.
Camera image providing system.
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は、前記複数の映像のそれぞれに含まれる音声情報のマッチングをとることにより前記時間軸を揃え、前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像提供システム。Multiple cameras,
An information processing device that aligns the time axes of a plurality of images taken by the plurality of cameras ,
The information processing apparatus aligns the time axis by matching audio information included in each of the plurality of videos, and sets a mark in a portion where the matching of the plurality of videos is obtained.
Camera image providing system.
前記複数の映像のマッチングをとり、
該マッチングがとられた前記複数の映像の時間軸を揃え、
前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像の時間軸補正方法。Input multiple images shot by multiple cameras,
Take the matching of the previous Symbol plurality of video,
Allen-Bradley time axis of the plurality of images the matching is taken,
A mark is set in a portion where the matching of the plurality of images is obtained;
Time base correction method for camera video.
前記複数の映像のそれぞれに含まれる音声情報のマッチングをとり、
該マッチングがとられた前記複数の映像の時間軸を揃え、
前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像の時間軸補正方法。Input multiple images shot by multiple cameras,
Take the matching of audio information included in each of the previous SL plurality of images,
Allen-Bradley time axis of the plurality of images the matching is taken,
A mark is set in a portion where the matching of the plurality of images is obtained;
Time base correction method for camera video.
第1時計が示す現在時刻を読み込み、
前記複数のカメラに備えられた第2時計が示す現在時刻を読み込み、
前記第1時計が示す現在時刻と前記第2時計が示す現在時刻との差を算出し、
該算出された差を補正値として前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃える、
カメラ映像の時間軸補正方法。 Input multiple images shot by multiple cameras,
Read the current time indicated by the first clock,
Read the current time indicated by the second clock provided in the plurality of cameras,
Calculating the difference between the current time indicated by the first clock and the current time indicated by the second clock;
Correcting the shooting times of a plurality of videos from the plurality of cameras using the calculated difference as a correction value, thereby aligning the time axes of the plurality of videos shot by the plurality of cameras;
Time base correction method for camera video.
請求項10に記載のカメラ映像の時間軸補正方法。The step of correcting the shooting time corrects the shooting time based on at least the video and the shooting time of the video,
The method for correcting a time axis of a camera image according to claim 10 .
請求項11に記載のカメラ映像の時間軸補正方法。The step of correcting the shooting time further corrects the shooting time based on the correction value.
The method of correcting a time axis of a camera image according to claim 11 .
請求項11に記載のカメラ映像の時間軸補正方法。The shooting time is a shooting time corrected by the correction value.
The method of correcting a time axis of a camera image according to claim 11 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001261650A JP3617052B2 (en) | 2001-08-30 | 2001-08-30 | Camera image providing system and camera image time correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001261650A JP3617052B2 (en) | 2001-08-30 | 2001-08-30 | Camera image providing system and camera image time correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003078864A JP2003078864A (en) | 2003-03-14 |
| JP3617052B2 true JP3617052B2 (en) | 2005-02-02 |
Family
ID=19088661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001261650A Expired - Fee Related JP3617052B2 (en) | 2001-08-30 | 2001-08-30 | Camera image providing system and camera image time correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3617052B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101840039B1 (en) * | 2016-09-05 | 2018-03-20 | 인천대학교 산학협력단 | Method and apparatus for synchronizing moving picture photographing time based on image analysis |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4174430B2 (en) * | 2004-02-06 | 2008-10-29 | ティーディーシーソフトウェアエンジニアリング株式会社 | Record management method and record management system |
| JP4564772B2 (en) * | 2004-04-05 | 2010-10-20 | パナソニック株式会社 | Wireless railway monitoring system |
| JP4264955B2 (en) | 2005-07-11 | 2009-05-20 | 株式会社Jm | Report creation system with authentication image |
| JP2007033785A (en) * | 2005-07-26 | 2007-02-08 | Sony Corp | Information processing apparatus and method, and program |
| JP4591252B2 (en) * | 2005-07-26 | 2010-12-01 | ソニー株式会社 | Information processing apparatus and method, and program |
| KR100801390B1 (en) * | 2006-09-05 | 2008-02-05 | 이근식 | Protruding Noise Reducer |
| JP5159174B2 (en) * | 2007-05-29 | 2013-03-06 | キヤノン株式会社 | Network control device, control method thereof, and program |
| JP2009004969A (en) * | 2007-06-20 | 2009-01-08 | Canon Inc | Network control device, network control method, and program |
| JP2010130084A (en) * | 2008-11-25 | 2010-06-10 | Casio Computer Co Ltd | Image processor and program |
| US8326087B2 (en) * | 2008-11-25 | 2012-12-04 | Xerox Corporation | Synchronizing image sequences |
| JP5092000B2 (en) * | 2010-09-24 | 2012-12-05 | 株式会社東芝 | Video processing apparatus, method, and video processing system |
| CA2955632A1 (en) | 2010-11-10 | 2012-05-18 | Nike Innovate C.V. | Systems and methods for time-based athletic activity measurement and display |
| US9792955B2 (en) | 2011-11-14 | 2017-10-17 | Apple Inc. | Automatic generation of multi-camera media clips |
| JP5752585B2 (en) * | 2011-12-16 | 2015-07-22 | 株式会社東芝 | Video processing apparatus, method and program |
| JP5885025B2 (en) * | 2012-02-27 | 2016-03-15 | ソニー株式会社 | Signal processing apparatus, signal processing method, program, and electronic apparatus |
| JP5994306B2 (en) | 2012-03-15 | 2016-09-21 | ソニー株式会社 | Information processing apparatus, information processing system, and program |
| US9129640B2 (en) * | 2012-12-12 | 2015-09-08 | Crowdflik, Inc. | Collaborative digital video platform that enables synchronized capture, curation and editing of multiple user-generated videos |
| JP5867432B2 (en) * | 2013-03-22 | 2016-02-24 | ソニー株式会社 | Information processing apparatus, recording medium, and information processing system |
| WO2014208378A1 (en) * | 2013-06-28 | 2014-12-31 | ソニー株式会社 | Information processing device, information processing method, program, and information processing system |
| JP6610030B2 (en) * | 2015-06-29 | 2019-11-27 | ヤマハ株式会社 | Video processing apparatus and video processing method |
| JP2017038152A (en) * | 2015-08-07 | 2017-02-16 | ヤマハ株式会社 | Video processing apparatus and video processing method |
| JP6540395B2 (en) * | 2015-09-04 | 2019-07-10 | 株式会社ソシオネクスト | Image processing method and image processing program |
| JP2016015780A (en) * | 2015-10-14 | 2016-01-28 | ソニー株式会社 | Information processing apparatus, recording medium, and information processing system |
| JP6628670B2 (en) * | 2016-03-31 | 2020-01-15 | サクサ株式会社 | Image processing apparatus and image processing method |
| JP2018073134A (en) * | 2016-10-28 | 2018-05-10 | サクサ株式会社 | Information processing device and program |
| JP7609629B2 (en) * | 2020-12-23 | 2025-01-07 | 日本信号株式会社 | Image processing device and inspection system |
| CN114697466B (en) * | 2022-03-17 | 2023-10-13 | 杭州海康威视数字技术股份有限公司 | Video frame acquisition synchronization control |
-
2001
- 2001-08-30 JP JP2001261650A patent/JP3617052B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101840039B1 (en) * | 2016-09-05 | 2018-03-20 | 인천대학교 산학협력단 | Method and apparatus for synchronizing moving picture photographing time based on image analysis |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003078864A (en) | 2003-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3617052B2 (en) | Camera image providing system and camera image time correction method | |
| US8199211B2 (en) | Camera direct dailies | |
| CN101506892B (en) | Method and apparatus for generating a summary | |
| WO2022019719A1 (en) | Generation and distribution of immersive media content from streams captured via distributed mobile devices | |
| US20160337718A1 (en) | Automated video production from a plurality of electronic devices | |
| US20150222815A1 (en) | Aligning videos representing different viewpoints | |
| WO2020073709A1 (en) | Multi-camera multi-face video continuous acquisition device and method | |
| US20160037068A1 (en) | System and method of stitching together video streams to generate a wide field video stream | |
| CN110290287B (en) | Multi-camera frame synchronization method | |
| CN106576190A (en) | 360 degree space image reproduction method and system therefor | |
| JP5292399B2 (en) | Content editing device | |
| US20160353053A1 (en) | Video processing apparatus, video processing method, and storage medium | |
| KR20160021706A (en) | Playing method and the system of 360 degree spacial video | |
| KR101425950B1 (en) | Method for generating a sound series of photographs and apparatus for generating and reproducing such sound series | |
| US9491447B2 (en) | System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor | |
| WO2014012242A1 (en) | Image generation method | |
| CN103546677B (en) | Interactive system and interactive method | |
| WO2007110822A1 (en) | Method and apparatus for synchronising recording of multiple cameras | |
| JP2008306355A (en) | Image reproduction processing apparatus, image reproduction processing method, program, and recording medium | |
| US20240056616A1 (en) | Systems and Methods for Standalone Recording Devices and Generating Video Compilations | |
| JP4172352B2 (en) | Imaging apparatus and method, imaging system, and program | |
| KR100286306B1 (en) | Panorama photograph method for digital still camera | |
| JP6715907B2 (en) | Image editing apparatus, image editing method, and program | |
| JP2004241834A (en) | Moving image generation apparatus and method, moving image transmission system, program, and recording medium | |
| JP4333255B2 (en) | Monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041031 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |