JP6978852B2 - 同期信号出力装置、制御方法、及び、プログラム - Google Patents

Description

本発明は、複数の装置を同期させるための同期信号を生成する技術に関する。

異なる位置に設置された複数のカメラを用いて複数の視点から被写体を撮影し、その撮影によって得られた複数の視点からの画像を用いて、ユーザに対して高い臨場感を与える仮想視点コンテンツを生成する技術が注目されている。このような仮想視点コンテンツを生成する際には、複数のカメラで撮影される映像信号を同期させる必要がある。これに対して、放送用／業務用カメラは、外部から入力される基準信号を用いて同期を確立することで複数のカメラ間で映像信号の位相と周波数とを一致させる機能を有しており、この機能によって、仮想視点コンテンツの生成のための同期を確立するができる。なお、この基準信号は、Ｇｅｎｅｒａｔｏｒ Ｌｏｃｋ信号（ＧｅｎＬｏｃｋ信号）と呼ばれる。また、特許文献１には、同期を確立するために、受信したデジタル放送から時刻情報を分離して時刻情報に同期した同期信号を生成する方法を用いて、複数の映像機器の同期を確立する方法が記載されている。

特開２０１０−１８７０５５号公報

特許文献１に記載の技術では、デジタル放送データを受信した時の時刻情報のジッタが考慮されていなかった。特に時刻情報の生成源とそのデジタル放送の受信器との間の距離が大きい場合や、時刻情報がその生成源から受信器まで届くまでの間に複数のノードを経由する場合に、時刻情報のジッタが大きくなりうる。同期信号を、このようなジッタの大きい時刻情報に基づいて生成すると、同期信号にも大きいジッタが発生し、同期信号としての機能を損ないうるという課題があった。

本発明は上記課題に鑑みなされたものであり、時刻情報に基づいて同期信号を生成する際に、時刻情報のジッタの影響を低減することを目的とする。

本発明の一態様による同期信号出力装置は、前記同期信号出力装置の内部時計に基づいて生成される内部信号に基づき、複数の撮影装置による撮影タイミングを制御するための同期信号を出力する出力手段と、タイムサーバの時刻と前記内部時計の時刻との差分を取得する取得手段と、前記取得手段により取得された差分に基づき、前記差分が小さくなるように前記内部信号の周波数を調整する調整手段と、を有し、前記調整手段は、前記取得手段により取得された差分が第１の閾値より小さい第１の場合、前記タイムサーバの時刻に基づいて生成されるリファレンス信号と前記内部信号との位相差に基づいて、第１の感度で前記内部信号の周波数を調整し、前記取得手段により取得された差分が前記第１の閾値より大きい第２の場合、前記位相差に基づいて、前記第１の場合よりも低い第２の感度で前記内部信号の周波数を調整し、前記出力手段は、前記調整手段により周波数が調整された内部信号に基づいて前記同期信号を出力する、ことを特徴とする。

本発明によれば、時刻情報に基づいて同期信号を生成する際に、時刻情報のジッタの影響を低減することができる。

ネットワークの構成例を示す図である。 同期信号出力装置の構成例を示すブロック図である。 同期信号出力装置が実行する処理の流れの例を示すフローチャートである。 内部時計とタイムサーバとにおける時刻の誤差を示す図である。 高感度フィードバックモードでの動作の概念を示す図である。 低感度フィードバックモードでの動作の概念を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（システム構成）
まず、図１を用いて、本実施形態に係るシステムの構成例について説明する。本システムは、例えば、複数の撮影装置１０３ａ〜３０ｚと、複数の撮影装置１０３ａ〜３０ｚのそれぞれに対応する複数の同期信号出力装置１０１ａ〜１０ｚと、タイムサーバ１０２とを含んで構成される。なお、複数の同期信号出力装置１０１ａ〜１０ｚのそれぞれは、ネットワーク１０４を介してタイムサーバ１０２と接続する。なお、同期信号出力装置１０１ａ〜１０ｚのそれぞれは、有線又は無線の回線を通じてタイムサーバ１０２と直接接続されてもよいし、ネットワーク１０４上の他の装置を介してタイムサーバ１０２と接続されてもよい。また、複数の撮影装置１０３ａ〜３０ｚのそれぞれは、それぞれ対応する同期信号出力装置１０１ａ〜１０ｚと、有線又は無線の回線１０５ａ〜１０５ｚを用いて接続される。なお、以下では、特に区別する必要がない場合は、同期信号出力装置１０１ａ〜１０ｚ、撮影装置１０３ａ〜３０ｚ、及び、回線１０５ａ〜１０５ｚを、それぞれ、同期信号出力装置１０１、撮影装置１０３、及び、回線１０５と表記する。

同期信号出力装置１０１は、例えば、ＮＴＰやＩＥＥＥ１５８８ ＰＴＰ等の時刻同期プロトコルを用いて、ネットワーク１０４を介してタイムサーバ１０２が有する時刻との同期処理を実行する。なお、ＮＴＰは、Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌの頭字語であり、ＰＴＰは、Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌの頭字語である。同期信号出力装置１０１は、同期処理が実行された結果得られる時刻情報に基づいて、対応する撮影装置１０３に対して、回線１０５を介して同期信号を出力する。同期信号出力装置１０１は、一例において、タイムサーバ１０２が有する時刻との時刻同期を確立した後に、その時刻情報に基づいて同期信号を生成して撮影装置１０３に出力する。ここで出力される同期信号は、例えば、撮影装置１０３においてＧｅｎＬｏｃｋ信号として扱われる形式を有する信号である。全ての同期信号出力装置１０１が、同期信号を出力開始するタイミングをそろえることによって、全ての撮影装置１０３は、互いに同期して同じタイミングで撮影を行うことが可能となる。なお、例えば、複数の同期信号出力装置１０１が同期信号を出力する時刻等を制御する不図示の制御サーバが用いられてもよい。例えば、制御サーバは同期信号出力装置１０１のそれぞれに対して同期信号を出力する時刻を通知し、同期信号出力装置１０１は通知された時刻から同期信号の出力を開始しうる。同期信号出力装置１０１は、タイムサーバ１０２との間で時刻同期を確立しているため、制御サーバが同期信号の送信開始時刻を指示することによって、複数の同期信号出力装置１０１が同期信号の出力を開始するタイミングを揃えることができる。なお、同期信号出力装置１０１は、同期信号の出力を開始した後は、タイムサーバと同期した時刻に基づいて同期信号を生成するタイミングを補正しながら出力を継続することができる。これにより複数の撮影装置１０３のそれぞれが、共通のタイミングで時刻同期を確保しながら撮影を行うことができる。

なお、図１では、同期信号出力装置１０１と撮影装置１０３とが別個の装置として構成される例を示しているが、同期信号出力装置１０１が撮影装置１０３の内部に含まれるなど、これらの装置が１つの装置として構成されてもよい。また、図１では、同期信号出力装置１０１が複数存在するが１つであってもよい。また、図１では、１つの撮影装置１０３に対して１つの同期信号出力装置１０１が対応する例を示しているが、１つの同期信号出力装置１０１が複数の撮影装置１０３に対して同期信号を出力してもよい。すなわち、同期信号出力装置１０１の数は限定されない。

タイムサーバ１０２は、自装置内に保持されている現在時刻の情報を、ＮＴＰやＩＥＥＥ１５８８ ＰＴＰ等のプロトコルに従って、ネットワーク１０４を介して配信するサーバである。タイムサーバ１０２は、例えば、ＧＰＳ、標準電波、又は原子時計等から現在時刻を取得し、その取得した現在時刻を配信する。なお、タイムサーバ１０２は、現在時刻を配信せずに、自装置に設定された時刻からの経過時間の情報を時刻情報として配信してもよい。また、タイムサーバ１０２が時刻情報を配信する際のプロトコルは、ＮＴＰまたはＰＴＰに限定されず、他の手法が用いられてもよい。

撮影装置１０３は、同期信号出力装置１０１から入力された同期信号に基づいて撮影を行う装置である。なお、撮影装置１０３は、同期信号を用いずに撮影を行うことも可能でありうるが、他の撮影装置１０３と同期しての撮影が行われる場合には、例えば本実施形態に係る同期信号を用いて、当該他の撮影装置１０３との時刻同期を確立する。撮影装置１０３によって撮影される映像は、動画と静止画とのいずれであってもよく、映像と共に音声等のデータが含まれてもよい。撮影装置１０３によって撮影された映像は、撮影装置１０３や同期信号出力装置１０１に内蔵されたストレージや、ネットワーク１０４を介してアクセス可能なサーバやクラウド上のストレージに保存されうる。複数の撮影装置１０３で同期撮影されて蓄積された映像に基づいて、仮想視点コンテンツを生成することができる。なお、撮影装置１０３によって撮影された映像は、ストレージに保存されることなく、リアルタイムに自由視点コンテンツの生成に用いられてもよい。

ネットワーク１０４は、例えば有線回線や、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いた無線回線又はこれらの組み合わせによって、同期信号出力装置１０１及びタイムサーバ１０２等の装置間で信号を送受信可能とする通信網である。ネットワーク１０４は、複数の同期信号出力装置１０１とタイムサーバ１０２との間のデータを中継可能な、例えば、ハブ、無線ＬＡＮステーション、ＰＣ等の中継装置を含んで構成されうる。なお、図１の例では、複数の同期信号出力装置１０１が、それぞれネットワーク１０４と接続する例を示しているがこれに限られない。例えば、複数の同期信号出力装置１０１がカスケード接続され、その複数の同期信号出力装置１０１のうちの１台が、ネットワーク１０４を介してタイムサーバ１０２と接続されるようにシステムを構成してもよい。

回線１０５は、同期信号出力装置１０１と撮影装置１０３とを接続するＢＮＣケーブル等の同軸ケーブルや他の種類の有線回線、又は近接無線等の無線回線である。

図１のように、ネットワーク１０４を介して時刻同期を確立する場合、ネットワーク１０４上の中継装置の数や、各中継装置がデータを中継する際のレイテンシやジッタによって、時刻同期精度が低下することが知られている。これに対して、ＮＴＰではｓｔｒａｔｕｍと呼ばれる階層構造を用いて、最上位のＮＴＰサーバがＧＰＳ等から正確な時計から標準時を取得し、下位のＮＴＰサーバはそれを参照する事で時刻を合わせる仕組みがある。この仕組みによって下位のＮＴＰサーバでも高精度な時間を配布することが期待されるが、下位のＮＴＰサーバにいくにつれて時間の同期精度が低下しうる。また、ＰＴＰでは、ＢＣ（Ｂｏｕｎｄｏｒｙ Ｃｌｏｃｋ）やＴＣ（Ｔｒａｎｓｐａｒｅｎｔ Ｃｌｏｃｋ）の仕組みを用いて、複数の中継装置を介しても高精度の時間を配布することが可能である。しかしながら、タイムサーバ１０２と同期信号出力装置１０１との間で高精度に時刻同期を確立するには、これらの装置間の通信を中継する全ての中継装置が高精度なＢＣまたはＴＣ機能を有する必要がある。また、複数の同期信号出力装置１０１がカスケード接続される場合は、同期信号出力装置１０１は、ＯＣ（Ｏｒｄｉｎａｒｙ Ｃｌｏｃｋ）と、ＢＣまたはＴＣとを有することによって、高精度の時刻同期と中継とを共に実現することができる。中継経路の途中でＢＣまたはＴＣに対応していない中継装置が存在すると、その中継装置より下流の装置へは時刻を配信することはできないからである。また、全ての中継装置がＢＣまたはＴＣに対応していても、中継装置の性能が低い場合は時刻精度が低下することがありうる。

同期信号出力装置１０１は、通常、時刻情報に基づいて同期信号を生成して出力する。この結果、時刻情報の精度が低く、大きいジッタが発生する場合、その大きいジッタに追従して、同期信号まで揺らいでしまいうる。このため、本実施形態に係る同期信号出力装置１０１は、時刻情報の誤差が大きい場合には同期信号をその時刻情報に追従させず、時刻情報の誤差が十分に小さい場合には同期信号をその時刻情報に追従させるなどの制御を行う。これにより、時刻情報の精度が低く、ジッタが大きい場合に、その時刻情報のジッタに伴って同期信号にも大きいジッタが発生することを防ぐことが可能となる。なお、同期信号出力装置１０１は、さらに、時刻情報の誤差の大きさに応じて、同期信号を時刻情報に高精度に追従させるモードと、低精度で追従させるモードとを切り替えるようにしてもよい。すなわち、同期信号出力装置１０１は、時刻情報の誤差の大きさが第１の所定値以下の場合は同期信号を時刻情報に高精度で追従させ、時刻情報の誤差の大きさが第１の所定値より大きく第２の所定値以下の場合は、同期信号を時刻情報に低精度で追従させうる。この場合、さらに、同期信号出力装置１０１は、時刻情報の誤差の大きさが第２の所定値を超える場合には、同期信号を時刻情報に追従させない制御を実行しうる。以下では、このような処理を実行する同期信号出力装置１０１の構成と処理の例について、さらに説明する。

（同期信号出力装置の構成）
図２は、本実施形態に係る同期信号出力装置１０１の構成例を示す図である。図２に示す構成は、特に説明のない限り、例えばＲＯＭやＲＡＭ等の記憶装置に記憶されたプログラムをＣＰＵ等の１つ以上のプロセッサによって実行することによって実現されうる。なお、ＲＯＭは読み出し専用メモリ、ＲＡＭはランダムアクセスメモリ、ＣＰＵは中央処理装置のことを指す。なお、プロセッサは、例えばＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタルシグナルプロセッサ）等の、ＣＰＵ以外のプロセッサが用いられてもよい。また、図２の構成例は、説明のためのものであり、図２に示された機能に加えてさらに別の機能構成を有していてもよいし、可能な場合には図２に示された機能のうち少なくとも一部が省略・統合されてもよい。

同期信号出力装置１０１は、一例において、内部時計２０１、データ送受信部２０２、時刻同期部２０３、時刻制御部２０４、同期信号生成部２０５、及び同期精度判定部２０６を含んで構成される。

内部時計２０１は、例えば、現在時間を保持するハードウェアクロックである。内部時計２０１は、例えば、ハードウェアクロックに基づいて、同期信号出力装置１０１内の時刻基準となるリファレンス信号を周期的に出力する。データ送受信部２０２は、ネットワーク１０４を介してタイムサーバ１０２とデータの送受信を行う。データ送受信部２０２は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）でありうるが、これに限られず、タイムサーバ１０２との間でデータの送受信が可能な他の構成が用いられてもよい。データ送受信部２０２は、例えばＩＥＥＥ１５８８規格に準拠し、タイムサーバ１０２との間でデータを送受信した時のタイムスタンプを保存する機能を有する。また、内部時計２０１の機能が、データ送受信部２０２に内包されていてもよい。

時刻同期部２０３は、例えばＩＥＥＥ１５８８規格に準拠した方法で、タイムサーバ１０２から時刻情報を取得して、内部時計２０１をタイムサーバ内の時刻と同期させる。なお、時刻同期部２０３は、ＩＥＥＥ１５８８規格ではなく、例えば、ＮＴＰやＥｔｈｅｒＡＶＢ規格等の他の規格や独自プロトコルによって、タイムサーバ１０２との時刻同期を確立するようにしてもよい。また、時刻同期部２０３は、ＩＥＥＥ１５８８規格を用いる場合であっても、例えば、ＩＥＥＥ１５８８−２００２やＩＥＥＥ１５８８−２００８等の現在又は将来の規格のいずれに準拠してもよい。なお、ＩＥＥＥ１５８８−２００８による時刻同期の規格は、ＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ２）とも呼ばれる。また、時刻同期部２０３は、例えば、タイムサーバ１０２との間でデータを送受信してタイムサーバ１０２と同期信号出力装置１０１との間の伝送遅延を算出することで、タイムサーバ１０２の時刻との誤差（オフセット）を算出することができる。なお、時刻同期部２０３は、算出した誤差を保持し、この誤差の情報を、後述の時刻制御部２０４及び同期精度判定部２０６に供給しうる。

時刻制御部２０４は、時刻同期部２０３が取得したタイムサーバ１０２の時刻と、タイムサーバ１０２と同期信号出力装置１０１との間の時刻の誤差に基づいて、内部時計２０１を調整する。時刻制御部２０４は、例えば、タイムサーバ１０２が保持する時間との誤差に関して閾値を定義し、閾値より誤差が大きい場合は内部時計２０１の時刻を大きく変更し、誤差が閾値以下の場合は内部時計２０１の時間を徐々に補正する。同期信号出力装置１０１とタイムサーバ１０２との距離が離れている場合や、同期信号出力装置１０１とタイムサーバ１０２との間に中間ノードが多く存在する場合はタイムサーバ１０２との伝送遅延のジッタが大きくなる場合がある。時刻制御部２０４は、ジッタが大きい場合には閾値を大きくし、ジッタが小さい場合は閾値を小さくすることにより、タイムサーバ１０２の時間と同期するまでの時間を短縮することができる。また閾値は動的に変更されてもよい。

同期信号生成部２０５は、撮影装置１０３に対して同期信号を生成して出力する。なお、同期信号は、ＧｅｎＬｏｃｋ信号でありうるが、これに限られず、任意の周期的な信号が同期信号として用いられうる。同期信号生成部２０５は、例えば、ＶＣＸＯ（電圧制御水晶発振器）、ＴＣＸＯ（温度補償水晶発振器）などの水晶振動子や、セラミック発振子を含んで構成される。また、同期信号生成部２０５は、安定した同期信号を生成するため位相比較器等を組み合わせた位相同期回路（ＰＬＬ）を含んでもよい。また、同期信号生成部２０５は、精度向上のために、例えば水晶発振器の個体差を補正する補正値を予め適用するように構成されてもよい。なお、同期信号生成部２０５は、回路の小型化・簡便化の観点で可能であれば、精度の高い原子時計等を使用してもよい。

また、同期信号生成部２０５は、例えば、内部時計２０１が生成したリファレンス信号の周波数と同一の周波数の内部信号を生成し、内部信号とリファレンス信号との位相差に基づいて、同期信号を生成するタイミングを調整する。例えば、同期信号生成部２０５は、瞬時的な位相差に比例した調整値が適用される整数定数と、過去の位相差を積分した値が適用される比例定数とを用いて、位相差に応じて、内部信号の周波数を調整し、内部信号から同期信号の生成を行う。例えば、同期信号生成部２０５は、１未満の正の値αを用いて、α×（整数定数）＋（１−α）×（比例定数）を算出する。そして、同期信号生成部２０５は、例えば内部信号がリファレンス信号より遅れる方向に位相差が拡大している場合には、この算出した値に応じて内部信号の周波数を高くするように調整する。一方、同期信号生成部２０５は、内部信号がリファレンス信号より進む方向に位相差が拡大している場合には、算出した値に応じて内部信号の周波数を低くするように調整する。なお、αが大きいほど（１に近いほど）瞬時の位相差に追従して周波数の調整が行われ、αが小さいほど（０に近いほど）瞬時の位相差に追従するのではなく、過去の所定の区間における位相差の累積値に応じた緩やかな変化をするように周波数の調整が行われる。ここで、比例定数は、上述の算出された値（α×（整数定数）＋（１−α）×（比例定数））によって更新されてもよい。これにより、同期信号生成部２０５は、時刻制御部２０４によって調整された内部時計２０１の変動に追従して、同期信号を生成して出力することができる。

なお、内部時計２０１が生成するリファレンス信号のジッタが大きい場合、すなわち、例えばタイムサーバ１０２との伝送遅延のジッタが大きい場合、内部時計２０１が生成するリファレンス信号の周波数の揺らぎが大きくなる。この結果、内部信号とリファレンス信号との位相差も揺らぐこととなり、この位相差を内部信号にフィードバックすると、同期信号の生成タイミングも大きく揺れてしまいうる。このため、撮影装置１０３が安定して撮影を行うことができなくなりうる。

同期精度判定部２０６は、時刻同期部２０３によって保持された、タイムサーバ１０２と同期信号出力装置１０１とにおける時刻の誤差の大きさを判定し、その結果に応じて、同期信号生成部２０５が生成する内部信号の調整モードを設定する。

（処理の流れ）
次に、本実施形態に係る同期信号出力装置１０１が実行する処理の流れの例について、図３を用いて説明する。本処理では、まず、時刻同期部２０３が、データ送受信部２０２を介して、タイムサーバ１０２との間での時刻同期処理を開始する（Ｓ３０１）。

時刻同期部２０３は、同期信号出力装置１０１とタイムサーバ１０２とにおける時刻の誤差を算出して時刻制御部２０４へ供給し、時刻制御部２０４は、この誤差に基づいて内部時計２０１を調整する。その後、時刻制御部２０４は、タイムサーバ１０２との時刻同期処理を行った結果が内部時計２０１に反映されているかを判定する（Ｓ３０２）。すなわち、時刻制御部２０４は、タイムサーバ１０２と内部時計２０１の時刻の誤差が、例えば後述する閾値（例えば、後述する閾値４０５及び４０６）の範囲内にあるか否かを判定する。この誤差に関する閾値は、撮影装置１０３で撮影する被写体の大きさや移動速度によって変動させてもよい。例えば被写体が大きい場合や、被写体の移動速度が遅い場合は、撮影装置１０３のそれぞれが同時に撮影する際の同期精度が高くなくてもよいため、閾値が大きく設定されうる。逆に、被写体が小さい場合や被写体の移動速度が速い場合は、撮影装置１０３のそれぞれが同時に撮影する際の同期精度が高いことが要求されるため、閾値が小さく設定されうる。誤差が後述の閾値４０５及び４０６より大きく、同期信号出力装置１０１とタイムサーバ１０２との間で所定の精度での時刻同期を維持できていないと判定された場合（Ｓ３０２でＮＯ）は処理をＳ３０５へ進める。一方、所定の制度での時刻同期を維持できていると判定された場合（Ｓ３０２でＹＥＳ）は、処理はＳ３０３へと進められる。

Ｓ３０３では、同期精度判定部２０６が、同期信号出力装置１０１とタイムサーバ１０２とのそれぞれにおける時刻差（誤差）の情報を、時刻同期部２０３から取得する。そして、同期精度判定部２０６は、取得した誤差の情報に応じて、同期信号生成部２０５が内部時計２０１のリファレンス信号との位相差に基づく内部信号の調整を行う際の動作モードを変更するか否かを決定する（Ｓ３０４）。モードの変更がない場合（Ｓ３０４でＮＯ）は、処理はＳ３０２に戻る。同期精度判定部２０６は、例えば、取得した誤差が例えば後述の閾値４０５及び４０６よりも大きい場合は、処理をＳ３０５へ進める。一方、同期精度判定部２０６は、取得した誤差が、後述の閾値４０５及び４０６よりは小さいが、その閾値４０５及び４０６より小さい別の閾値（後述の閾値４０３及び４０４）より大きい場合は、処理をＳ３０６へと進める。また、同期精度判定部２０６は、取得した誤差が、別の閾値４０３及び４０４より小さい場合は、処理をＳ３０７へと進める。

Ｓ３０５では、同期信号生成部２０５が内部時計２０１によって生成されたリファレンス信号と内部信号の位相差による、内部信号の更新を行わない自走モードが設定される。例えば、同期信号生成部２０５は、自走モードにおいては、内部信号を生成する際の位相差のフィードバックを行わないようにしてもよいし、フィードバックされた位相差の情報を無視するようにしてもよい。なお、自走モードで長時間にわたって同期信号を生成し続けると、同期信号生成部２０５が生成する内部信号の精度によって、同期信号を生成する周期が少しずつずれる場合がある。このため、自走モードでの動作が所定期間以上継続した場合、この同期信号出力装置１０１によって出力された同期信号に基づいて動作する撮影装置１０３が撮影した映像は、例えば自由視点コンテンツの生成等には使用しないものとしてもよい。

Ｓ３０６では、同期信号生成部２０５が内部時計２０１によって生成されたリファレンス信号と内部信号との位相差に対して、低感度で内部信号を調整して同期信号を生成する低感度フィードバックモードが設定される。また、Ｓ３０７では、同期信号生成部２０５が内部時計２０１によって生成されたリファレンス信号と内部信号との位相差に対して高感度で内部信号を調整して同期信号を生成する高感度フィードバックモードが設定される。

このときの同期精度判定部２０６による判定について、図４を参照しながら説明する。図４は、横軸に経過時間４０１、縦軸にタイムサーバ１０２の時刻と内部時計２０１の時刻との誤差４０２を示している。曲線４１０は、時刻同期部２０３が算出した、タイムサーバ１０２の時刻と内部時計２０１の時刻との誤差の、時間変化を示している。時刻同期部２０３は、周期的にタイムサーバ１０２とＰＴＰによる時刻同期処理を実行し、時刻同期処理の結果に基づいて、タイムサーバ１０２と内部時計２０１との時刻の差を用いて、内部時計２０１を補正する。これにより、同期信号出力装置１０１とタイムサーバ１０２との間で時刻同期を確立することができる。このとき、タイムサーバ１０２との時刻の差をなくすために、検出された誤差がそのまま内部時計２０１に適用されてもよいし、過去数回分の誤差の積分とそのタイミングで検出した誤差のそれぞれに重みづけした補正量が内部時計２０１に適用されてもよい。

閾値４０３〜４０６は、タイムサーバ１０２と内部時計２０１との時刻の誤差の閾値を示している。なお、閾値４０３及び４０４はその大きさがｎ秒の誤差に対応し、閾値４０５及び４０６はその大きさがｍ秒の誤差に対応し、ここで、ｍ＞ｎであるものとする。図４において、同期精度判定部２０６は、期間ｔ０〜ｔ１の期間４０７に対して、誤差が非常に大きい（誤差の大きさがｍ秒を超える）ため、動作モードとして自走モードを選択する。一方、同期精度判定部２０６は、期間ｔ４〜ｔ５の期間４０９に対して、誤差が十分小さい（誤差の大きさがｎ秒以内である）ため、動作モードとして、高感度フィードバックモードを選択する。また、同期精度判定部２０６は、期間ｔ２〜ｔ３の期間４０８については、誤差が十分に小さいわけではないが、一定の範囲内に収まっている（誤差の大きさがｎ秒を超えるがｍ秒以内である）ため、動作モードとして低感度フィードバックモードを選択する。なお、各閾値ｍ及びｎは、撮影装置１０３や同期信号出力装置１０１等に関して、撮影対象、撮影場所、撮影目的、設置環境、ネットワーク環境、ネットワーク状況等の条件に応じて、動的に変化させてもよい。

以上のように、本実施形態では、同期精度判定部２０６が、同期信号出力装置１０１とタイムサーバ１０２とにおける時刻の誤差の大きさに応じて、同期信号を生成するための内部信号の更新に関する動作モードを決定する。なお、ここでの「誤差の大きさ」は、同期信号出力装置１０１がタイムサーバ１０２との同期を確立している間（Ｓ３０２でＹＥＳ）の誤差であるため、誤差のジッタの大きさと考えられる。また、上述のように、ここでの誤差の大きさは、内部時計２０１に基づいて生成されるリファレンス信号のジッタの大きさにも対応する。このため、同期信号出力装置１０１とタイムサーバ１０２との間の伝送路における伝送遅延のジッタが大きい場合に、自走モードを選択して、内部信号がそのジッタに従って揺らぐのを防ぐことが可能となる。また、同期信号出力装置１０１とタイムサーバ１０２との間の伝送遅延のジッタが自走モードが選択されるほどには大きくない場合は、内部信号を、タイムサーバ１０２から取得した時刻に応じて生成されるリファレンス信号に追従させて調整する。このとき、伝送遅延のジッタの大きさが一定程度大きい場合には、低精度で内部信号をリファレンス信号に追従させることによって、伝送遅延のジッタの影響を低減しながら、タイムサーバ１０２から取得した時刻に応じた同期信号を生成することができる。また、伝送遅延のジッタの大きさが十分に小さい場合には、高精度で内部信号をリファレンス信号に追従させることによって、正確な時刻での同期信号の生成が可能となる。

続いて、同期信号生成部２０５が、高感度フィードバックモード又は低感度フィードバックモードで動作する際の動作例について、図５及び図６を用いて説明する。図５は、高感度フィードバックモードでの動作例を示しており、図６は、低感度フィードバックモードでの動作例を示している。なお、図５及び図６において、図４と同様の項目については、図４と同じ参照符号を用いることにより、その説明を省略する。

図５において、破線曲線５０１は、内部時計２０１に基づいて出力されるリファレンス信号の変動に対して、同期信号生成部２０５が生成する内部信号を、高感度で追従させた状態を概念的に示している。同期信号生成部２０５は、内部時計２０１のリファレンス信号と内部信号との位相差により、同期信号生成部２０５が生成する内部信号にその位相差を反映させる調整を行う。例えば、過去の位相差の影響を受ける比例定数より、その時点での位相差の影響を強く受ける整数定数の重みづけを高くして、直前のリファレンス信号の変動量を内部信号へ適用することで、内部信号を時刻情報の変動に高感度に追従させることができる。これにより、時刻同期部２０３が周期的にタイムサーバ１０２とＰＴＰによる時刻同期処理を行った結果に基づいて、タイムサーバ１０２と内部時計２０１との時間差を、内部信号に高感度で反映させることができる。

図６において、破線曲線６０１は、内部時計２０１に基づいて出力されるリファレンス信号の変動に対して、同期信号生成部２０５が生成する内部信号を、低感度で追従させた状態を概念的に示している。同期信号生成部２０５は、低感度フィードバックモードで動作する場合、例えば過去の位相差の影響を受ける比例定数を、その時点での位相差に強く影響を受ける整数定数よりも重みづけを高くして、低感度で内部信号の調整を行うことができる。または、同期信号生成部２０５は、内部信号の調整量の最大値または最小値を低く抑えることによって、直前のリファレンス信号との位相量に対して低感度で内部信号を補正することできる。内部時計２０１で生成したリファレンス信号に内部信号が追従する速度を遅くすることにより、内部時計２０１で生成したリファレンス信号の周波数が変動しても、内部信号及び同期信号を生成する周期のジッタを緩やかに変動させることができる。

リファレンス信号の揺らぎが大きい時に内部時計２０１に高感度で追従すると、同期信号の周波数も大きく揺らぐため、撮影装置１０３における同期信号のジッタの許容範囲を超えてしまう場合が想定される。同期信号のジッタの許容範囲を超えた場合、撮影装置１０３は、連続撮影ができなくなる。これに対して、同期精度判定部２０６が、内部時計２０１のジッタが閾値を超えていることを判定して、内部信号を内部時計２０１に追従させない又は低感度で追従させることによって、同期信号の周波数を大きく変動させないようにすることができる。以上のように、タイムサーバ１０２における時刻と内部時計２０１における時刻との誤差の大きさによって、同期信号生成部２０５が生成する内部信号の周波数の位相を変える速度を変更し、場合によっては、そのような変更を行わないようにする。これによって、内部時計２０１のリファレンス信号の位相が大きく変化しても、撮影装置１０３における同期信号のジッタの許容範囲内で同期信号を出力することができ、撮影装置１０３は、その同期信号に従って連続撮影を実行することができる。

なお、同期信号生成部２０５において設定された動作モード（高感度フィードバックモード、低感度フィードバックモード、又は自走モード）の情報が同期信号と共に出力されてもよい。この場合、撮影装置１０３は、例えば、撮影された映像に、その撮影時の動作モードの情報をメタデータとして含めてもよい。また、同期信号出力装置１０１が、時刻とその時刻において用いられていた動作モードとを関連付けて記憶しておき、撮影装置１０３が撮影した映像データを取得した際に、その映像データに、例えばメタデータとして動作モードの情報を含めてもよい。また、同期信号と同時に例えばＳＭＰＴＥで定義されているタイムコード信号に含まれるユーザフィールドに、モード情報が設定されてもよい。なお、ＳＭＰＴＥは、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓの頭字語である。これによって、撮影装置１０３のそれぞれが、撮影した映像のタイミングが、タイムサーバ１０２の時刻とどの程度の精度で同期していたかを特定することができる。

このように、同期信号出力装置１０１は、自装置とタイムサーバ１０２とにおける時刻差のジッタの大きさに応じて、同期信号生成部２０５が内部信号を調整する動作に関する動作モードを変更する。同期信号出力装置１０１は、動作モードを変更することにより、自装置とタイムサーバ１０２とにおける時刻差に応じて異なるタイミングを示す同期信号を出力することになる。これにより、同期信号出力装置１０１は、ジッタが小さい場合には、タイムサーバ１０２の時刻に高精度で対応する同期信号を出力することができる。また、同期信号出力装置１０１は、ジッタが大きい場合であっても、同期信号の精度を、撮影装置１０３における同期信号のジッタの許容範囲内に抑えることができる。さらに、ジッタがさらに大きい場合には、同期信号出力装置１０１が同期信号の調整を行わない自走モードを用いることにより、撮影装置１０３が撮影を継続できない状態となることを防ぐことが可能となる。また、同期信号出力装置１０１は、ジッタが大きい場合には、タイムサーバ１０２からの時刻情報を用いず、内部時計２０１に基づくタイミングを示す同期信号を出力する。これにより、同期信号出力装置１０１とタイムサーバ１０２との間で時刻差におけるジッタによらず、撮影装置１０３は、連続した同期撮影を行うことが可能となる。また、同期信号出力装置１０１は、ジッタの大きい時刻情報に基づいて同期信号を生成することが抑制される。したがって、複数の撮影装置１０３間の撮影の同期をより高精度に維持することができるため、より高画質な仮想視点コンテンツを生成するための撮影を行うことができる。

なお、上述の説明では、動作モードを３段階としたが、これに限られない。例えば、上述の比例定数と整数定数とに対する重み付けの設定を３段階以上用意しておき、自走モードに加えて、３段階以上の精度レベルで内部信号をリファレンス信号に追従させるフィードバックモードを定義し、４段階以上の動作モードを用意してもよい。この場合、同期信号出力装置１０１とタイムサーバ１０２とにおける時刻差のジッタの大きさが小さいほど、高精度に内部信号をリファレンス信号に追従させるフィードバックモードが用いられるように動作モードの選択が行われうる。また、フィードバックモードは複数段階定義されなければならないわけではなく、自走モードと、特定の精度で内部信号をリファレンス信号に追従させる１つのフィードバックモードとの２段階の動作モードのみが用いられてもよい。すなわち、同期信号出力装置１０１とタイムサーバ１０２とにおける時刻差のジッタの大きさが所定の閾値を超えた場合には自走モードが、そのジッタの大きさが所定の閾値以下である場合にはフィードバックモードが、それぞれ選択されてもよい。さらに、自走モードが用いられなくてもよく、例えば、高精度フィードバックモードと低精度フィードバックモードのみ、又は、３段階以上に区分されたフィードバックモードのみが用いられてもよい。

また、上述の説明では、複数の撮影装置１０３が同期して撮影を行うために、同期信号出力装置１０１が同期信号を供給する場合について説明したが、映像データ以外のデータの取得時に同期信号が用いられてもよい。例えば、同期信号出力装置１０１は、音声データの録音のために、複数の録音装置に対して同期信号を供給し、録音装置がその同期信号に基づいて録音を行うことにより、高臨場感の音声データを得ることができる。また、同期信号出力装置１０１は、例えば、映像・音声・電波等の様々なデータを出力するタイミングを同期させるために、同期信号を出力してもよい。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：同期信号出力装置、１０２：タイムサーバ、１０３：撮影装置、１０４：ネットワーク、１０５：回線、２０１：内部時計、２０２：データ送受信部、２０３：時刻同期部、２０４：時刻制御部、２０５：同期信号生成部、２０６：同期精度判定部

Claims (13)

1. 同期信号出力装置であって、
   前記同期信号出力装置の内部時計に基づいて生成される内部信号に基づき、複数の撮影装置による撮影タイミングを制御するための同期信号を出力する出力手段と、
   タイムサーバの時刻と前記内部時計の時刻との差分を取得する取得手段と、
   前記取得手段により取得された差分に基づき、前記差分が小さくなるように前記内部信号の周波数を調整する調整手段と、を有し、
   前記調整手段は、前記取得手段により取得された差分が第１の閾値より小さい第１の場合、前記タイムサーバの時刻に基づいて生成されるリファレンス信号と前記内部信号との位相差に基づいて、第１の感度で前記内部信号の周波数を調整し、前記取得手段により取得された差分が前記第１の閾値より大きい第２の場合、前記位相差に基づいて、前記第１の場合よりも低い第２の感度で前記内部信号の周波数を調整し、
   前記出力手段は、前記調整手段により周波数が調整された内部信号に基づいて前記同期信号を出力する、ことを特徴とする同期信号出力装置。
2. 前記調整手段は、前記差分が前記第１の閾値よりも大きい閾値である第２の閾値よりも大きい第３の場合、前記内部信号の周波数の調整を行わない、
   ことを特徴とする請求項１に記載の同期信号出力装置。
3. 前記出力手段は、前記同期信号と共に前記調整手段により行われた前記内部信号の周波数の調整方法を示す情報を出力する、
   ことを特徴とする請求項１又は２に記載の同期信号出力装置。
4. 前記同期信号に基づいて行われた撮影により得られたデータと、前記調整手段により行われた前記内部信号の周波数の調整方法を示す情報とを関連付ける手段をさらに有する、
   ことを特徴とする請求項１から３のいずれか１項に記載の同期信号出力装置。
5. 前記出力手段は、前記複数の撮影装置に前記同期信号を出力し、
   前記複数の撮影装置は、前記同期信号に基づいて同期撮影を行う、
   ことを特徴とする請求項１から４のいずれか１項に記載の同期信号出力装置。
6. 前記同期信号出力装置は、前記同期信号が出力される装置の内部に含まれる、
   ことを特徴とする請求項１から５のいずれか１項に記載の同期信号出力装置。
7. 前記同期信号出力装置は、前記同期信号が出力される装置と別個の装置である、
   ことを特徴とする請求項１から５のいずれか１項に記載の同期信号出力装置。
8. 同期信号出力装置が行う制御方法であって、
   前記同期信号出力装置の内部時計に基づいて生成される内部信号に基づき、複数の撮影装置による撮影タイミングを制御するための同期信号を出力する出力工程と、
   タイムサーバの時刻と前記内部時計の時刻との差分を取得する取得工程と、
   前記取得工程において取得された差分に基づき、前記差分が小さくなるように前記内部信号の周波数を調整する調整工程と、を有し、
   前記調整工程においては、前記取得工程において取得された差分が第１の閾値より小さい第１の場合、前記タイムサーバの時刻に基づいて生成されるリファレンス信号と前記内部信号との位相差に基づいて、第１の感度で前記内部信号の周波数が調整され、前記取得工程において取得された差分が前記第１の閾値より大きい第２の場合、前記位相差に基づいて、前記第１の場合よりも低い第２の感度で前記内部信号の周波数が調整され、
   前記出力工程においては、前記調整工程において周波数が調整された内部信号に基づいて前記同期信号が出力される、
   ことを特徴とする制御方法。
9. 前記調整工程においては、前記差分が前記第１の閾値よりも大きい閾値である第２の閾値よりも大きい第３の場合、前記内部信号の周波数の調整が行われない、
   ことを特徴とする請求項８に記載の制御方法。
10. 前記出力工程においては、前記複数の撮影装置に前記同期信号が出力され、
    前記複数の撮影装置は、前記同期信号に基づいて同期撮影を行う、
    ことを特徴とする請求項８または９に記載の制御方法。
11. 前記同期信号出力装置は、前記同期信号が出力される装置の内部に含まれる、
    ことを特徴とする請求項８から１０のいずれか１項に記載の制御方法。
12. 前記同期信号出力装置は、前記同期信号が出力される装置と別個の装置である、
    ことを特徴とする請求項８から１０のいずれか１項に記載の制御方法。
13. 請求項１から請求項７のいずれか１項に記載の同期信号出力装置または請求項８から１２のいずれか１項に記載の制御方法をコンピュータにより実現するためのプログラム。

Images