JP4912296B2 - リップシンク補正システム、リップシンク補正装置及びリップシンク補正方法 - Google Patents

Description

本発明は、映像信号と音声信号の時間差、すなわちリップシンクのズレを補正する装置及び方法に関する。

リップシンクとは、再生時の映像信号と音声信号の同期であり、従来より、リップシンクを実現するための種々の技術が考案されている。図２４に、従来の映像音声同期システムの一構成例を示す。ソース装置２１０において同一のタイムスタンプ（タイムコード）を映像信号と音声信号それぞれに多重する。タイムスタンプを多重した映像信号と音声信号は、リピータ２１４、２１６等の種々の経路を辿るが、最終的にその双方がシンク装置２２０へ入力される。シンク装置２２０において映像信号のタイムスタンプと音声信号のタイムスタンプを取り出し、タイムコード比較器２２２でその差を検出する。この差に基づいてそれぞれの最終経路に設けられた映像遅延器２２４と音声遅延器２２６を制御する。例えば、映像信号の方が音声信号よりも遅延している場合には音声信号に追加の遅延を加えて双方の総遅延時間が同じになるよう補正する。

特許文献１には、映像信号のタイムスタンプと音声信号のタイムスタンプを比較し、両者が一致するように、映像信号及び音声信号のいずれか一方を遅延させることにより、音声の時間ズレを自動的に補正する技術が開示されている。
特開２００３−２５９３１４号公報

従来のシステムは、映像信号と音声信号のタイムスタンプを同時に一対比較検出できる場合、すなわち同じ装置に両方のタイムスタンプを同時入力した場合に、ズレの検出とリップシンク補正とが可能である。しかし、映像信号と音声信号の伝送経路が分離しているトポロジ（topology）では一方のタイムスタンプだけしか認識できないため、映像信号と音声信号の時間差が検出できず、リップシンク補正ができないといった課題がある。

本発明は上記課題を解決すべくなされたものであり、その目的とするところは、映像信号と音声信号のパスが分離している構成であっても、確実にリップシンク補正を実現できるリンプシンク補正装置を提供することにある。

本発明の第１の態様において、映像信号と音声信号の再生時間のずれを補正するリップシンク補正システムを提供する。リップシンク補正システムは、映像信号及び音声信号を、ソース装置からシンク装置へ、それぞれの伝送経路において、それぞれ所定のインタフェースに準拠して送信する。所定のインタフェースには双方向インタフェースが含まれる。リップシンク補正システムは、双方向インタフェースに準拠した伝送経路上の機器における映像信号の遅延時間の総和を示す遅延情報を取得し、その取得した遅延情報を用いて、再生時間のずれを補正するコントローラを備える。

上記構成によれば、コントローラが双方向インタフェースの伝送経路を通じて機器の遅延情報を取得し、その取得した情報を用いて、映像信号と音声信号の再生時間のずれを調整する。この方法によれば、コントローラは一方の伝送経路から得た遅延時間情報に基づき、他の伝送経路上で映像信号と音声信号の再生時間差を調整することができるため、映像信号と音声信号の伝送経路が異なる場合であっても、確実にリップシンク補正が可能となる。
さらに、コントローラは、再生時間のずれを補正するために音声信号の伝送経路上の機器において音声信号に追加遅延を付与する。一般的に音声信号に対して映像信号が遅延するため、音声信号の伝送経路上の機器において音声信号に追加遅延を付与することで確実にリップシンク補正が実現できる。

リップシンク補正システムにおいて、映像信号を双方向インタフェースで伝送し、音声信号を単方向インタフェースで伝送してもよい。映像信号を双方向インタフェースで伝送するようにすることで、映像信号の伝送経路上の機器の遅延情報を、映像信号の伝送経路の下流から取得することができ、取得した遅延情報を音声信号の伝送経路の上流から送信することができる。これにより、音声信号の伝送経路上の機器においてリップシンク補正が可能となる。

コントローラは、追加遅延を、音声信号の伝送経路上の最下流の機器に付与してもよい。最下流の機器で追加遅延時間を調節することで、より確実に、精度よくリップシンク補正が実現できる。

遅延情報を音声信号の付加情報として伝送してもよい。これにより、音声信号の伝送経路が単方向インタフェースであっても、音声信号の伝送経路を通じて映像信号の遅延情報を取得することができる。

本発明の第２の態様において、映像信号と音声信号の再生時間のずれを補正するリップシンク補正装置を提供する。リップシンク補正装置において、映像信号及び音声信号は、それぞれの伝送経路において、ソース装置からシンク装置へ、それぞれ所定のインタフェースに準拠して送信される。所定のインタフェースには双方向インタフェースが含まれておいる。リップシンク補正装置は、双方向インタフェースに準拠した伝送経路に接続された機器における映像信号の遅延時間の総和を示す遅延情報を取得し、取得した遅延情報を用いて再生時間のずれを補正するコントローラを備える。コントローラは、再生時間のずれを補正するために音声信号の伝送経路上の機器において音声信号に追加遅延を付与する。

本発明の第３の態様において、映像信号と音声信号の再生時間のずれを補正するリップシンク補正方法を提供する。リップシンク補正方法は、映像信号及び音声信号を、ソース装置からシンク装置へ、それぞれの伝送経路において、それぞれ所定のインタフェースに準拠して送信する。所定のインタフェースには双方向インタフェースが含まれる。リップシンク補正方法は、双方向インタフェースに準拠した伝送経路上の機器における映像信号の遅延時間の総和を示す遅延情報を取得し、取得した遅延情報を用いて映像信号と音声信号のずれを補正する。このずれを補正するために、音声信号の伝送経路上の機器において音声信号に追加遅延を付与する。

本発明によれば、コントローラが双方向インタフェースの伝送経路を通じて機器の遅延情報を取得し、その取得した情報を用いて、映像信号と音声信号の再生時間のずれを調整する。このように、コントローラは一方の伝送経路から得た遅延時間情報に基づき、他の伝送経路上で映像信号と音声信号の再生時間差を調整することができるため、映像信号と音声信号の伝送経路が異なる場合であっても、確実にリップシンク補正が可能となる。

以下、添付の図面を参照し、本発明の実施の形態を説明する。各図において同一の構成要素または同様に機能する構成要素については同一の参照符号を付している。

（基本概念）
最初に、リップシンク補正に関する本発明の基本概念を図１を参照して説明する。

本発明は、音声信号及び映像信号を発生させるソース装置４００と、その音声信号及び映像信号を再生、出力するシンク装置４１０とが直接的またはリピータを介して接続された音声映像再生システムにおいて、リップシンクのずれを補正するものである。また、本発明は、追加遅延を付与してリップシンクのずれを補正する機能としてコントローラ４２０を備える。

本発明では、映像伝送をＩＥＥＥ１３９４またはＨＤＭＩのような双方向データインタフェースを用いた映像伝送経路で行う。ソース装置４００は、ＩＥＥＥ１３９４ではコマンドシーケンスにより、ＨＤＭＩ(High-Definition Multimedia Interface)ではＥＤＩＤ（Extended Display Identification Data）システムにより、映像伝送経路を介して、映像信号の総潜伏時間（映像伝送経路上の機器の潜伏時間（latency）の総和）を問い合わせる。ソース装置４００は上り回線を通じて総潜伏時間の情報を取得すると、総潜伏時間の情報を音声伝送経路上の他の機器に送信する。音声伝送経路上の他の機器は、機器毎に積算された音声の潜伏時間情報を、映像の総潜伏時間情報とともに送信する。音声伝送経路上の最後の機器は、音声伝送経路を通じて、音声の潜伏時間の合計値をｓＤａとして、映像の総潜伏時間（ＴＬｖ）とともに出力する。

コントローラ４２０が、最終的な最後の機器のみからｓＤａとＴＬｖを検出する。ＴＬｖ＞ｓＤａであれば、コントローラ４２０は、音声伝送経路上の最後の機器に対して追加遅延（extra delay）（ＴＬｖ−ｓＤａ）を付加する。

このように、本発明は映像信号の総潜伏時間情報（遅延情報）を予め取得し、その情報を音声伝送経路を通じて、音声伝送経路上の機器に伝送する。そして、最終的に得られた映像信号と音声信号の潜伏時間情報に基づき、最後の機器における音声信号の出力時間を調整することで、映像信号と音声信号のずれ、すなわち、リップシンクのずれを補正する。

なお、コントローラ４２０の機能は例えば、典型的にはシンク装置に含まれるが、最終的に得られた総潜伏情報に基づき、最後の機器に対して追加遅延を付加する機能を実現できるのであれば、音声伝送経路上のシンク装置以外の装置（例えば、ソース装置やリピータ）に備えてもよい。また、追加遅延も、必ずしも音声伝送経路上の最後の機器に付加する必要もなく、音声伝送経路上のいずれかの機器に持たせてもよい。また、追加遅延を複数の機器に分散して付加してもよい。

以下、上記の概念に基づく本発明のいくつかの具体的な実施の形態について説明する。

（実施の形態１）
１．システム構成
図２は、本発明のリップシンク補正の概念を適用した映像音声再生システムの構成を示した図である。

映像音声再生システムは、映像・音声信号を生成するソース装置１００と、音声信号を増幅するリピータ１１０、１３０と、映像信号を増幅するリピータ１２０と、映像信号に基づいて映像を表示するシンク装置１４０と、音声信号に基づいて音声を出力するシンク装置１５０とを含む。

１．１ ソース装置
ソース装置は、映像・音声信号の伝送経路の最上流に位置し、映像信号及び音声信号の出力源となる機器である。本実施形態では、ソース装置１００はＤＶＤメディア１０１の再生装置であるＤＶＤプレーヤであり、映像信号２００及び音声信号３００を生成し、出力する。

図３にそのハードウェア構成を示す。ソース装置１００は、ＤＶＤメディア１０１から情報を読み出し電気信号に変換するピックアップ１１と、ピックアップ１１からの出力信号を受けて映像信号及び音声信号を生成するフロントエンドプロセッサ１３と、ソース装置１００全体の動作を制御するシステムコントローラ１５と、ワークエリアとして動作するＲＡＭ１７と、所定の情報を格納するＲＯＭ１９とを備える。さらにソース装置１００は、外部機器との間で、映像信号等のやりとりを行うためのＨＤＭＩインタフェース部２１と、音声信号等のやりとりを行うためのＩＥＣインタフェース部２２とを備える。ソース装置１００では、システムコントローラ１５が所定のプログラムを実行することで以下に説明する機能及び処理部を実現する。図２に示すように、ソース装置１００は音声可変遅延部１０２を有し、それにより音声信号３００を所定時間（本例では２０ｍｓ）だけ遅延させて出力する。

なお、ソース装置はＤＶＤプレーヤに限らず、例えばハードディスクプレーヤのような他の種類のメディア再生装置でもよい。

１．２ シンク装置
シンク装置は、映像・音声信号の伝送経路の最下流に位置して、映像または音声を出力する機器である。

本実施形態では、シンク装置１４０は映像表示装置であり、図４に示すハードウェア構成を有する。シンク装置１４０は、デジタル映像信号をＨＤＭＩインタフェースに準拠して受信するＨＤＭＩインタフェース部３１と、受信したデジタル映像信号をデコードするビデオデコーダ３３と、映像を表示する液晶表示装置（以下「ＬＣＤ」という。）１４３と、デコードされた映像信号から映像信号を生成してＬＣＤ１４３を駆動するドライバ３７と、シンク装置１４０全体の動作を制御するコントローラ３９と、コントローラ３９のワークエリアとして機能するＲＡＭ４１と、所定の情報を格納するＲＯＭ４３とを備える。シンク装置１４０では、コントローラ３９が所定のプログラムを実行することで以下に説明する機能及び処理部を実現する。なお、図４におけるビデオデコーダ３３及びドライバ３７は図２に示す映像信号処理部１４２を構成する。映像信号処理部１４２の映像信号の潜伏時間（video latency）Ｌｖを８０ｍｓとする。潜伏時間とは、機器において信号を入力してから出力するまでの遅延時間である。潜伏時間Ｌｖの情報はシンク装置１４０のＲＯＭ４３に格納されている。

シンク装置１５０は音声出力装置であり、図５に示すハードウェア構成を有する。図５に示すように、シンク装置１５０は、デジタル音声信号をＩＥＥＥ６０９５８に準拠して受信するＩＥＣインタフェース部５１と、受信したデジタル音声信号をデコードするオーディオデコーダ１５２と、デコードされた信号をアナログ信号に変換するＤ／Ａ変換器５５と、アナログ信号を増幅するアンプ５７と、アンプ５７の出力にしたがい音声を出力するスピーカ１５３と、シンク装置１５０全体の動作を制御するコントローラ６１と、コントローラ６１のワークエリアとして機能するＲＡＭ６３と、所定の情報を格納するＲＯＭ６５とを備える。図２を参照し、シンク装置１５０は、音声信号を所定時間（本例では１０ｍｓ）だけ遅延させる音声可変遅延部１５１を有する。デコーダ１５２の音声信号の潜伏時間（audio latency）Ｌａを１０ｍｓとする。潜伏時間Ｌａの情報はシンク装置１５０のＲＯＭ６５に格納される。

なお、シンク装置の数や種類は上記のものに限られない。

１．３ リピータ
リピータは映像・音声信号の伝送経路の途中に介在する機器であり、例えば増幅器である。図６にそのハードウェア構成を示す。リピータ１１０は、映像・音声のデジタル信号をＨＤＭＩに準拠して受信するＨＤＭＩインタフェース部７１と、映像・音声のデジタル信号をＩＥＥＥ１３９４に準拠して受信するＩＥＣインタフェース部７２と、受信したデジタル信号を処理するコントローラ７３と、コントローラ７３のワークエリアとして機能するＲＡＭ７５と、プログラム等の所定の情報を格納するＲＯＭ７９とを備える。コントローラ７３が所定のプログラムを実行することで以下に説明する機能及び処理部を実現する。

図２において、リピータ１１０はソース装置１００からの映像信号２００と音声信号３００を入力し、増幅し、映像信号２０１および音声信号３０１として出力する。リピータ１１０は再エンコーダ１１２を有し、再エンコーダ１１２により、音声信号３００を一旦デコードして、情報を読み出し、読み出した情報を再エンコードする。この再エンコーダ１１２の潜伏時間Ｌａを１０ｍｓとする。潜伏時間Ｌａの情報はリピータ１１０のＲＯＭ７９に格納されている。

リピータ１２０は映像信号を増幅する映像信号処理部１２２を有し、映像信号２０１を入力し、増幅した後、映像信号２０２として出力する。映像信号処理部１２２の潜伏時間Ｌｖを２０ｍｓとする。リピータ１３０は、音声信号３０１に対して所定の処理を行う信号処理部１３２を含み、処理後の信号を音声信号３０２として出力する。信号処理部１３２の潜伏時間Ｌａを５０ｍｓとする。リピータ１２０、１３０は、図６に示した構成と同様の構成を有し、それぞれの潜伏時間をそれぞれのＲＯＭ内に格納している。

なお、リピータの数や種類は、上記のものに限られない。

１．４ インタフェース
本実施形態では、映像信号の伝送インタフェースとしてＨＤＭＩ(High-Definition Multimedia Interface)を用いる。ＨＤＭＩとは、2002年12月に策定された、主に家電やAV機器向けのデジタル映像・音声入出力インタフェース規格である。1本のケーブルで映像・音声・制御信号を合わせて送受信が可能であり、また、オプショナルで制御信号を双方向に伝送させることができる。

本発明では、ＨＤＭＩにより、ソース装置１００からシンク装置１４０への高速デジタル映像信号を伝送するとともに、シンク装置１４０のプロファイル情報をリピータ１２０、リピータ１１０、ソース装置１００へ順次伝送することを可能とする、上り回線の機能を実現する。以下、この上り回線の機能を「ＥＤＩＤ（Extended Display Identification Data）回線」という。

図７にＨＤＭＩの構成図を示す。同図に示すように、ＨＤＭＩは、３つのデータチャネルと１つのクロックチャネルを有し、これらのデータチャネルにより映像データ、音声データおよびその他のデータが伝送される。また、ＨＤＭＩは、機器間の構成やステータスをやり取りするディスプレイデータチャネル（以下「ＤＤＣ」という。）を有する。さらに、ＨＤＭＩはオプションのＣＥＣ回線を有し、これにより種々のＡＶ機器間で制御信号を双方向に伝送させることができる。本実施形態では、ＤＤＣを用いて機器の映像や音声の潜伏時間に関する情報を伝送する。なお、ＤＤＣの代わりにＣＥＣ回線で潜伏時間に関する情報を伝送してもよい。また、ＨＤＭＩの代わりにＩＥＥ１３９４を用いても同様の機能が実現できる。

なお、ＨＤＭＩおよびＥＤＩＤは例えば以下の文献に詳細が開示されている。「ハイ・デフィニション・マルチメディア・インターフェイス スペシフィケイション バージョン１．１（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒｓｉｏｎ １．１）」、日立製作所株式会社、他６社、２００４年５月２０日、インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｈｄｍｉ．ｏｒｇ／ｄｏｗｎｌｏａｄ／ＨＤＭＩ＿Ｓｐｅｃｉｆｉｃａｔｉｏｎ＿１．１．ｐｄｆ＞

本実施の形態では、音声信号の伝送には、単方向インタフェースであるＩＥＥＥ６０９５８インタフェースを用いる。なお、以降の実施の形態では、音声信号の伝送に対して、双方向インタフェースであるＨＤＭＩを用いる場合もある。

２．動作
以上のようなシステム構成において、映像信号２００はソース装置１００から、ＨＤＭＩインタフェースに準拠して、リピータ１１０、リピータ１２０を経由してシンク装置１４０へ伝送される。音声信号３００はソース装置１００から、ＩＥＣ６０９５８インタフェースに準拠して、リピータ１１０、リピータ１３０を経由してシンク装置１５０へ伝送される。

映像信号の伝送経路において、ソース装置１００からシンク装置１４０までの映像信号の総潜伏時間ＴＬｖは、リピータ１２０の映像信号処理部１２２の潜伏時間Ｌｖ（２０ｍｓ）と、シンク装置１４０の映像信号処理部１４２の潜伏時間Ｌｖ（８０ｍｓ）との総和であり１００ｍｓである。

一方、音声信号の伝送経路において、ソース装置１００からシンク装置１５０までの音声信号の潜伏時間Ｌａの総計は、リピータ１１０の再エンコーダ１１２、リピータ１３０およびシンク装置１５０のそれぞれの潜伏時間Ｌａ（１０ｍｓ、５０ｍｓおよび１０ｍｓ）の総和であり７０ｍｓとなる。

すなわち、映像信号の総潜伏時間ＴＬｖは１００ｍｓであるのに対して、音声信号の潜伏時間Ｌａの総計は７０ｍｓである（なお、時間調整のできる音声可変遅延部１５１の遅延時間はこれには含めていない。）。よって、このままでは３０ｍｓだけ音声信号が早く再生されることとなる。本システムにおいて、このような映像信号と音声信号の再生時の時間差を解決するための処理を以下に説明する。

２．１ 全体フロー
図８は、本システムの全体動作を示すフローチャートである。まず、最上流にあるソース装置は、映像伝送経路上の各機器の映像信号の潜伏時間の合計（総潜伏時間）ＴＬｖを取得する（Ｓ１１）。この処理の詳細は後述する。

次に、音声伝送経路において、ソース装置１００からシンク装置１５０へ映像信号の総潜伏時間ＴＬｖと、各機器の音声信号における遅延時間及び潜伏時間の総計（以下「累積遅延時間」という。）ｓDａとを送る（Ｓ１２）。その際、音声信号の累積遅延時間ｓDａは、音声伝送経路上にある各機器に順に送られ、各機器の潜伏時間の値が加算されながら順に下流へと送られる。

最後に、最下流にあるシンク装置において、音声信号の累積遅延時間ｓDａの値に基づき音声を遅延させて出力する（Ｓ１３）。このように音声の出力時間を調整することで、映像と音声の出力時間差を解消できる。

２．２ 映像信号の総潜伏時間ＴＬｖの取得
映像信号の総潜伏時間ＴＬｖの取得動作（図８のステップＳ１１）の詳細について説明する。

２．２．１ ソース装置１００によるＴＬｖの取得
図９を参照し、ソース装置１００による映像信号の総潜伏時間ＴＬｖの取得について説明する。ソース装置１００は、映像伝送経路の下流にある機器（リピータ、シンク装置）に対してＴＬｖ送信命令を送信する（Ｓ４１）。ソース装置からＴＬｖ送信命令が送信されると、その命令が順次下流の機器に伝えられ、下流側からソース装置１００に向かい、各機器の潜伏時間Ｌｖが順次加算された情報ｓＬｖが伝送される。最終的に、ソース装置１００に各機器（リピータ、シンク装置）の潜伏時間Ｌｖの積算値（以下「累積潜伏時間」という。）ｓＬｖが送信される。この処理の詳細は後述する。

ソース装置１００は下流の機器から累積潜伏時間ｓＬｖを受信すると（Ｓ４２）、自己の潜伏時間ＬｖをＲＯＭ１９から読み出し（Ｓ４３）、読み出した潜伏時間Ｌｖを下流の機器から受信した累積潜伏時間ｓＬｖに加算する（Ｓ４４）。これにより、映像信号の総潜伏時間ＴＬｖを得ることができる。

２．２．２ リピータからのｓＬｖの送信
図１０を参照し、ＴＬｖ送信命令を受信したときのリピータ１２０の動作を説明する。リピータ１１０，１２０はＴＬｖ送信命令を受信すると（Ｓ３１）、下流の機器（リピータ、シンク装置）に、ＴＬｖ送信命令を転送し（Ｓ３２）、下流の機器からの累積潜伏時間ｓＬｖの送信を待つ（Ｓ３３）。下流の機器から累積潜伏時間ｓＬｖを受信すると、リピータ１１０，１２０は自己の潜伏時間ＬｖをＲＯＭ７９から読み出す（Ｓ３４）。読み出した潜伏時間Ｌｖを下流の機器からの累積潜伏時間ｓＬｖに加算し（Ｓ３５）、新たに得られた累積潜伏時間ｓＬｖを上流の機器（リピータ、ソース装置）に送信する（Ｓ３６）。

２．２．３ シンク装置からのｓＬｖの送信
図１１を参照し、ＴＬｖ送信命令を受信したときのシンク装置１４０の動作を説明する。シンク装置１４０はＴＬｖ送信命令を受信すると（Ｓ２１）、自己の潜伏時間ＬｖをＲＯＭ４３から読み出す（Ｓ２２）。読み出した潜伏時間Ｌｖを上流の機器（リピータ、ソース装置）に累積潜伏時間ｓＬｖとして送信する（Ｓ２３）。

２．３ 映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａの送信
映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａの送信動作（図８のステップＳ１２）の詳細について説明する。

音声伝送経路において、ソース装置１００からシンク装置１５０へ、映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａが順次送られる。このとき、音声信号の累積遅延時間ｓＤａに対して、音声伝送経路上にある各機器の潜伏時間が順次加算されていき、最終的に、最下流の機器（シンク装置１５０）を除いて音声伝送経路上にある全ての機器の潜伏時間Ｌａの合計値が、最下流の機器（シンク装置１５０）に伝送される。

２．３．１ ソース装置によるＴＬｖとｓＤａの送信
図１２を参照し、ソース装置１００からの、映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａの送信動作について説明する。

ソース装置１００は、映像信号の総潜伏時間ＴＬｖを受信した後（Ｓ５１）、自己の音声信号の潜伏時間ＬａをＲＯＭ１９から読み出し（Ｓ５２）、読み出した潜伏時間Ｌａを音声信号の累積遅延時間ｓＤａとして、音声信号の伝送経路における下流の機器に送信する（Ｓ５３）。

２．３．２ リピータによるＴＬｖとｓＤａの送信
図１３を参照し、映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａの送信について説明する。

リピータ１１０、１３０は、上流の機器から映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａを受信すると（Ｓ６１）、自己の音声信号の潜伏時間ＬａをＲＯＭ７９から読み出す（Ｓ６２）。リピータ１１０、１３０は、読み出した潜伏時間Ｌａを、受信した累積遅延時間ｓＤａに加算し、下流の機器（リピータ、シンク装置）に送信する（Ｓ６３）。

２．４ 音声出力時間の調整
図１４を参照し、シンク装置１５０における音声出力時間の調整動作（図８のステップＳ１３）の詳細について説明する。

シンク装置１５０は、上流の機器から映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａを受信すると（Ｓ７１）、出力時間調整のための遅延時間（ＡＤ）を求める（Ｓ７２）。遅延時間（ＡＤ）は、映像信号の総潜伏時間ＴＬｖから、音声信号の累積遅延時間ｓＤａを減算することで得られる。そして、その遅延時間（ＡＤ）だけ遅延させて音声を出力する（Ｓ７３）。

２．５ 総潜伏時間ＴＬｖの取得の具体例
以上個々の処理について説明したが、図２の構成のシステム全体としての流れを説明する。

ソース装置１００は、ＥＤＩＤ回線を用いて、ソース装置１００からシンク装置１４０までの映像信号の総潜伏時間ＴＬｖを取得するため、TLｖ送信命令を発行する。TLｖ送信命令により、シンク装置１４０は自己の潜伏時間Ｌｖ（８０ｍｓ）を示すパラメータである「ｓＬｖ＝８０ｍｓ」をＥＤＩＤ回線経由でリピータ１２０に伝送する。リピータ１２０は受信したｓＬｖ＝８０ｍｓが示す値に、自己の潜伏時間（２０ｍｓ）を加えた値を示す「ｓＬｖ＝１００ｍｓ」を上流のリピータ１１０に伝送する。リピータ１１０は映像信号の潜伏時間を有しないため、そのまま「ｓＬｖ＝１００ｍｓ」をソース装置１００に転送する。

ソース装置１００は、受信したｓＬｖの値（＝１００ｍｓ）を映像信号の総潜伏時間ＴＬｖ（１００ｍｓ）とする。ソース装置１００は、この映像信号の総潜伏時間ＴＬｖ（１００ｍｓ）を固定パラメータ「ＴＬｖ＝１００ｍｓ」として、音声信号３００に多重化して伝送する。同時に、ソース装置１００は、音声信号３００の付属情報として、音声信号の累積遅延時間ｓＤａをシンク装置１５０に伝送する。ここで、図２の例では、ソース装置１００において音声可変遅延部１０２に対して遅延時間２０ｍｓを設定している。よって、ソース装置１００は、音声可変遅延部１０２の遅延時間２０ｍｓを示すパラメータ「ｓＤａ＝２０ｍｓ」を音声信号３００に多重して伝送する。

リピータ１１０はソース装置１００からパラメータ「ｓＤａ＝２０ｍｓ」を受け取り、そのパラメータが示す値に自己の潜伏時間Ｌａ（１０ｍｓ）を累積し、「ｓＤａ＝３０ｍｓ」を音声信号３０１に多重化して伝送する。同様にリピータ１３０は、累積遅延時間ｓＤａ（３０ｍｓ）に自己の潜伏時間Ｌａ（５０ｍｓ）を加え、「ｓＤａ＝８０ｍｓ」を音声信号３０２に多重化して出力する。

シンク装置１５０は累積遅延時間ｓＤａ（８０ｍｓ）を読みとり、その値に、自己の潜伏時間Ｌａ（１０ｍｓ）を加算して、補正前の音声信号の総遅延時間として９０ｍｓを得る。シンク装置１５０は同時に、映像信号の総潜伏時間ＴＬｖが１００ｍｓであることを示す固定パラメータ「ＴＬｖ＝１００ｍｓ」を読みとる。このようにしてシンク装置１５０は、映像信号の総潜伏時間（１００ｍｓ）と、補正前の音声信号の総遅延時間（９０ｍｓ）とを知ることができ、その差の１０ｍｓを補正値（AD）として音声可変遅延部１５１を制御する。その結果、音声信号の総遅延時間が１００ｍｓに補正される。

ＤＶＤメディア１０１の音声と映像の同期がソース装置１００でとれていれば、シンク装置１４０で再生される映像信号と、シンク装置１５０で再生される音声信号のそれぞれがともに１００ｍｓ遅延となるので最終的に音声と映像の同期すなわちリップシンクがとれた再生が可能になる。

３．まとめ
以上のように本実施形態では、ソース装置からの要求に従い映像伝送経路上の各機器は、自己の映像信号の遅延時間（潜伏時間）を順次累算して映像伝送経路に伝送する。ソース装置はソース装置からシンク装置に至る伝送経路において映像信号の総遅延時間を取得し、映像信号の総遅延時間のパラメータを、音声信号および音声信号遅延時間とともに音声信号経路に伝送する。音声伝送経路上の各機器は、自己の音声信号の遅延時間を順次累算して音声伝送経路に伝送する。これにより音声伝送経路の最終段の機器において、映像信号の総遅延時間と音声信号の総遅延時間を知ることができ、その時間差を小さくするよう音声信号の追加遅延を行うことでリップシンクのズレ補正ができる。これらは映像と音声の経路が最終的に異なっていても良く、トポロジ（topology）の制限を無くすことが出来る。また、タイムスタンプに代えてそれぞれの経路における各装置の潜伏時間および遅延時間の定数パラメータ情報を用いることができるのでデータの送信頻度を削減できる。

以上述べた機能は、個々の機器とそれらを接続するインタフェースのそれぞれに所要の機能を付加することにより、ネットワークを構成するシステム全体として作用する。したがって、各機器が所要の機能を備えれば、ネットワークにおいて機器の置き換えが可能であり、また、ネットワークの接続形態（topology）が変わっても、同様の作用効果が得られる。以下の実施形態では、種々のネットワーク接続形態への適用例を説明する。

（実施の形態２）
本実施形態では、ソース装置とシンク装置とが直接接続されたシステム構成における本発明の適用例を説明する。ソース装置はＤＶＤプレーヤであり、シンク装置はデジタルテレビ受像機（以下「デジタルＴＶ」とする）である。

図１５（ａ）、（ｂ）、（ｃ）に本実施の形態におけるシステム構成を示す。ソース装置であるＤＶＤプレーヤ１００から、映像信号と音声信号を、シンク装置であるデジタルＴＶ１４０へ伝送し、デジタルＴＶ１４０で映像信号と音声信号の両方を再生する。

ソース装置１００は、ＤＶＤメディア１０１の再生手段であり映像信号２００と音声信号３００の双方をＨＤＭＩに準拠して出力する。シンク装置１４０はビデオ信号処理部１４２と音声のデコーダ１５２を内蔵し、ＬＣＤ１４３およびスピーカ１５３で映像と音声を出力する。スピーカ１５３は音声信号のアンプを含む。ここで、映像信号処理部１４２の映像信号の潜伏時間Ｌｖを８０ｍｓとし、デコーダ１５２の音声信号の潜伏時間Ｌａを１０ｍｓとする。

図１５（ａ）は、ソース装置１００が従来の装置である場合についての例を示す。従ってソース装置１００は、シンク装置１４０から映像信号の総潜伏時間ＴＬｖを取得することも、音声信号にその情報を付加することもできない。当然のことながら、音声信号に音声信号の累積遅延時間ｓＤａの情報を付加することもできない。一方、シンク装置１４０はソース装置１００の音声信号にこれらの付加情報がないことを認識する。付加情報がないため、シンク装置１４０自体でリップシンク補正を行う。具体的には、シンク装置１４０における映像信号の潜伏時間Ｌｖ（８０ｍｓ）とデコーダ１５２の潜伏時間Ｌａ（１０ｍｓ）に基づき、オーディオ遅延部１５１においてそれらの時間差を補正するため７０ｍｓ（＝８０−１０）の追加遅延を生じさせる。この追加遅延により、遅延の合計値を、映像信号と音声信号でともに８０ｍｓとすることができ、リップシンク補正ができる。

図１５（ｂ）、（ｃ）は、ソース装置１００が本発明の思想を適用した装置である場合についての例を示す。ソース装置１００はＥＤＩＤ回線を通じて映像信号の総潜伏時間ＴＬｖに加えて、音声信号の累積遅延時間も取得でき、さらに、音声信号にこれらの情報を付加することができる。図１５（ｂ）は、ソース装置１００が図１におけるコントローラ４２０の機能を有し、追加遅延をソース装置１００に付加した例を示す。図１５（ｃ）は、図１におけるコントローラ４２０の機能をソース装置１００及びシンク装置１４０に分散させ、かつ、追加遅延もソース装置１００に及びシンク装置１４０に分散させた例を示す。

図１５（ｂ）では、ソース装置１００は、ＥＤＩＤ回線を通じてシンク装置１４０から、映像信号の総潜伏時間ＴＬｖ（８０）に加えて、音声信号の潜伏時間Ｌａ（１０ｍｓ）も取得できる。よって、ソース装置１００は、取得したこれらの情報から追加遅延（７０ｍｓ）を算出でき、音声信号を追加遅延（７０ｍｓ）分だけ遅延させて出力する。この追加遅延があるため、ソース装置１００は音声信号３００の付属情報として、音声信号の累積遅延時間ｓＤａを７０ｍｓとして伝送する。シンク装置１４０は、映像信号の総潜伏時間が８０ｍｓであり、音声信号の累積遅延時間が７０ｍｓであることを認識できる。さらに、シンク装置１４０は、デコーダ１５２の潜伏時間が１０ｍｓであることを認識できることから、音声信号の総遅延時間が８０ｍｓであることを認識でき、これ以上の遅延処理は不要であることを認識できる。このようにしてシステムとしてリップシンク補正が可能となる。

また図１５（ｃ）も図１５（ｂ）と同様である。但し、ソース装置１００における追加遅延が４０ｍｓまでに制限されている。ソース装置１００は、追加遅延４０ｍｓだけ音声信号を遅延させて出力する。この追加遅延があるため、ソース装置１００は、音声信号の累積遅延時間ｓＤａを４０ｍｓとして音声信号３００に付加して伝送する。シンク装置１４０は映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（４０ｍｓ）と、デコーダ１５２の潜伏時間１０ｍｓとを認識できるため、映像信号と音声信号の遅延時間の差が３０ｍｓであることを認識できる。このため、シンク装置１４０は、オーディオ遅延部１５１で、３０ｍｓの追加遅延処理をする。その結果、映像信号と音声信号の双方において合計の遅延時間を８０ｍｓに補正できる。このようにしてシステムとしてリップシンク補正が可能となる。

（実施の形態３）
本実施形態では、音声伝送経路にリピータが挿入された点が実施の形態２と異なる。図１６（ａ）、（ｂ）、（ｃ）に、本実施の形態におけるシステム構成を示す。ＤＶＤプレーヤであるソース装置１００に、マルチチャンネルアンプであるリピータ１１０を介してデジタルＴＶであるシンク装置１４０を接続する。

ソース装置１００は、ＤＶＤメディア１０１から再生した映像信号２００と音声信号３００をＨＤＭＩに準拠して出力する。

リピータ１１０は音声信号の処理機能を有し、シンク装置１４０に内蔵のアンプおよびスピーカよりも高音質な音声の出力のため、またはマルチチャンネル化のために用いられる。リピータ１１０は再エンコーダ１１２を有し、その出力をシンク装置１４０へ伝送する。リピータ１１０において、映像信号については遅延なしでスルーするが、音声信号については再エンコーダ１１２にて１０ｍｓの潜伏時間Ｌａが発生する。

シンク装置１４０はデジタルＴＶであり、ビデオ信号処理部１４２と音声のデコーダ１５２を内蔵してＬＣＤ１４３およびスピーカ１５３で映像と音声を提示する。シンク装置１４０において、映像信号処理部１４２の潜伏時間Ｌｖは８０ｍｓであり、デコーダ１５２の潜伏時間Ｌａは１０ｍｓである。

図１６（ａ）は、ソース装置１００が従来の装置である場合についての例を示す。従ってソース装置１００は、映像信号の総潜伏時間ＴＬを認識することも、音声信号にその情報を付加することもできない。また、音声信号に、音声信号の累積遅延時間ｓＤａを付加することもできない。

リピータ１１０は、ＥＤＩＤ回線を介して、音声信号３００に付加された、音声信号の累積遅延時間ｓＤａの情報を受信しないので、付加情報がないことを認識する。そこで、リピータ１１０は、本発明のソース装置と同等の機能を果たすように動作する。すなわち、リピータ１１０は、シンク装置１４０からの映像信号の潜伏時間Ｌｖ（８０ｍｓ）をＥＤＩＤ回線経由で受けて、映像信号の総潜伏時間ＴＬｖを８０ｍｓとして認識する。リピータ１１０は、この総潜伏時間ＴＬｖ（８０ｍｓ）の情報を音声信号の付加情報としてシンク装置１４０へ伝送する。さらに、リピータ１１０は、音声信号の潜伏時間についても累積遅延時間ｓＤａ（１０ｍｓ）として音声信号に多重してシンク装置１４０へ伝送する。

また、リピータ１１０内の再エンコーダ１１２の出力は、リピータ１１０内部の音声可変遅延部１１１およびマルチチャンネルアンプ（図示せず）などを介してスピーカ１１３へ供給される。その際、リピータ１１０は、映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（１０ｍｓ）の差（７０ｍｓ）に基づき音声可変遅延部１１１の遅延時間を制御する。その結果、スピーカ１１３から出力される音声とＬＣＤ１４３で再生される映像とのリップシンクのずれが補正される。このように、高音質を目的として追加されたリピータ１１０からの音声信号に対してリップシンク補正が可能となる。

さらに補助的に使用できるシンク装置１４０のスピーカからの音響についてもリップシンク補正が以下のように可能である。シンク装置１４０はリピータ１１０からの情報に基づいて、総潜伏時間（ＴＬｖ）８０ｍｓと、音声の累積遅延時間（ｓＤａ）１０ｍｓと、自分自身のデコーダ１５２の潜伏時間１０ｍｓとから、映像と音声の時間差として６０ｍｓを算出する。シンク装置１４０はこの６０ｍｓの情報をもとに音声可変遅延部１５１を制御し、それぞれの総遅延時間をともに８０ｍｓに補正する。このようにしてシンク装置１４０の音響についてもリップシンク補正が可能となる。

図１６（ｂ）および（ｃ）は、ソース装置１００が本発明の思想を適用した装置である場合についての例を示す。ソース装置１００はＥＤＩＤ回線を通じて映像信号の総潜伏時間ＴＬｖに加えて音声信号の累積遅延時間ｓＤａも取得でき、音声信号にこれらの情報を付加することができる。

図１６（ｂ）では、ソース装置１００はＥＤＩＤ回線を通じて、リピータ１１０およびシンク装置１４０から映像信号及び音声信号それぞれの総潜伏時間を取得する。映像信号の総潜伏時間ＴＬｖは、実施の形態１で述べたようにＴＬｖ送信命令を下流の機器に発行することで取得できる。ソース装置１００は映像信号の総潜伏時間８０ｍｓを取得する。

また、ソース装置１００は、音声信号の総潜伏時間を取得するための命令を下流の機器に発行する。下流の各機器はこの命令を受けると、ＴＬｖ送信命令の場合と同様に、下流から送信されてきた音声信号の累積潜伏時間に、自己の潜伏時間Ｌａを加算しながら上流の機器に送信する。このようにして、ソース装置１００は音声信号の総潜伏時間が２０ｍｓ（＝１０ｍｓ＋１０ｍｓ）であることを認識できる。

映像信号の総潜伏時間が８０ｍｓで音声信号の総潜伏時間２０ｍｓであるため、ソース装置１００は追加遅延として６０ｍｓ（＝８０ｍｓ−２０ｍｓ）を設定し、音声信号に追加遅延を付加する。ソース装置１００は、映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）の情報と、音声信号の累積遅延時間ｓＤａ（６０ｍｓ）の情報とを音声信号の付加情報として伝送する。

次にリピータ１１０は、これらの情報を受けて、映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（６０ｍｓ）との差２０ｍｓを補正するよう音声可変遅延部１１１を制御する。その結果、スピーカ１１３から出力される音声と、ＬＣＤ１４３で再生される映像とのリップシンクのずれが補正される。このように高音質を目的に追加されたリピータ１１０からの音声信号を主にしてリップシンク補正が可能となる。

さらに以下のようにして、補助的に使用されるシンク装置１４０のスピーカからの音声についてもリップシンク補正が可能である。シンク装置１４０は、リピータ１１０からの情報に基づいて、映像信号の総潜伏時間ＴＬｖが８０ｍｓ、音声信号の累積遅延時間ｓＤａが７０ｍｓであることを認識し、映像信号と音声信号の遅延時間差として１０ｍｓを算出する。この時間差１０ｍｓは、シンク装置１４０の潜伏時間（１０ｍｓ）と等しいため、シンク装置１４０は追加遅延を付加することなく、音声信号を出力する。このようにしてシンク装置１４０の音声についてもリップシンク補正をすることができる。

図１６（ｃ）も図１６（ｂ）と同様である。但し、ソース装置１００における追加遅延が４０ｍｓまでに制限されている。このため、ソース装置１００は追加遅延４０ｍｓだけ音声信号に付加して出力する。この追加遅延があるため、ソース装置１００は、音声信号３００の付属情報として、映像信号の潜伏時間ＴＬｖ（８０ｍｓ）に加えて音声信号の累積遅延時間ｓＤａ（４０ｍｓ）の情報を伝送する。リピータ１１０およびシンク装置１４０はこの付属情報を受けて、リピータ１１０は音声可変遅延部１１１の追加遅延が３０ｍｓになるように、シンク装置１４０は音声可変遅延部１５１の追加遅延が２０ｍｓになるようにそれぞれ制御する。このように、主副双方の音声出力ともに音声の総遅延時間を８０ｍｓに補正でき、システム全体としてのリップシンク補正が可能となる。

（実施の形態４）
本実施形態では、ソース装置とシンク装置とが接続された構成において、音声信号の経路が分岐し、その分岐した経路にアンプが接続されたシステム構成における本発明の適用例を説明する。ソース装置（ＤＶＤプレーヤ）１００、シンク装置（マルチチャンネルアンプ）１５０およびシンク装置（デジタルＴＶ）１４０をＨＤＭＩでそれぞれ接続する。

図１７（ａ）、（ｂ）、（ｃ）に本実施の形態におけるシステム構成を示す。シンク装置１５０はマルチチャンネルアンプであり、デコーダ１５２、音声可変遅延部１５１および複数のアンプ、スピーカを含む。ソース装置１００は、映像信号の総潜伏時間ＴＬｖ及び音声信号の累積遅延時間ｓＤａを取得し、音声信号に付加することが可能である。

図１７（ａ）は、ソース装置１００において音声信号の追加遅延を行わない例を示す。ソース装置１００は、ＥＤＩＤ回線経由で、映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）の情報を音声信号３００の付加情報としてシンク装置１４０へ伝送する。同時に、ソース装置１００は、音声信号の累積遅延時間ｓＤａ（０ｍｓ）を音声信号３００に付加してシンク装置１４０およびシンク装置１５０へ伝送する。

シンク装置１４０は、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（０ｍｓ）と、シンク装置１４０の音声信号の潜伏時間Ｌａ（１０ｍｓ）とから、遅延時間差７０ｍｓを算出し、音声可変遅延部２５１を制御して７０ｍｓの追加遅延を付加する。

同様に、シンク装置１５０は、シンク装置１５０の音声信号の潜伏時間Ｌａ（２０ｍｓ）から時間差６０ｍｓを算出し、音声可変遅延部１５１を制御して６０ｍｓの追加遅延を付加する。このようにＬＣＤ１４３とスピーカ１５３およびスピーカ２５３のリップシンク補正が可能となる。

図１７（ｂ）、（ｃ）は、ソース装置１００において音声信号の追加遅延を付加する場合である。

図１７（ｂ）において、ソース装置１００は、ＥＤＩＤ回線経由で、シンク装置１４０及びシンク装置１５０の音声信号の潜伏時間Ｌａを予め知ることができる。これに基づいて最大の潜伏時間Ｌａを与える、シンク装置１５０への経路を基準にして、ソース装置１００は、音声可変遅延部１０２に追加遅延６０ｍｓの設定を行う。音声信号３００に、総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（６０ｍｓ）の情報を多重化して、シンク装置１４０およびシンク装置１５０へ伝送する。この場合、シンク装置１５０では追加遅延は不要である。シンク装置１４０は、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（６０ｍｓ）と、シンク装置１４０の音声信号の潜伏時間Ｌａ（１０ｍｓ）とから、音声と映像の出力時間差１０ｍｓを算出し、音声可変遅延部２５１を制御して１０ｍｓの追加遅延を実行する。このようにして、ＬＣＤ１４３とスピーカ１５３およびスピーカ２５３のリップシンク補正が可能となる。

次に、図１７（ｃ）においてソース装置１００は、ＥＤＩＤ回線経由でシンク装置１４０及びシンク装置１５０の音声信号の潜伏時間Ｌａを予め知ることができる。これに基づき、最大の潜伏時間Ｌａを与える音声伝送経路を基準にして、ソース装置１００は、音声可変遅延部１０２に追加遅延３０ｍｓの設定を行う。ソース装置１００は、音声信号３００に、映像の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（３０ｍｓ）を多重化して、シンク装置１４０およびシンク装置１５０へ伝送する。この場合、シンク装置１４０において追加遅延は不要である。シンク装置１５０は、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（３０ｍｓ）をもとに、シンク装置１５０自身の音声信号潜伏時間Ｌａ（２０ｍｓ）を用いて時間差３０ｍｓを算出し、音声可変遅延部１５１を制御して３０ｍｓの追加遅延を実行する。これにより、ＬＣＤ１４３とスピーカ１５３およびスピーカ２５３のリップシンク補正が可能となる。

（実施の形態５）
本実施形態では、ソース装置とシンク装置とが接続された構成において、音声信号の経路が分岐し、その分岐した経路にアンプが接続されたシステム構成における本発明の適用例を説明する。

図１８（ａ）、（ｂ）、（ｃ）に本実施の形態におけるシステム構成を示す。本実施形態では、ソース装置（ＤＶＤプレーヤ）１００およびシンク装置（デジタルＴＶ）１４０をＨＤＭＩで接続する。ソース装置（ＤＶＤプレーヤ）１００とシンク装置（マルチチャンネルアンプ）１５０間は、Ｓ／ＰＤＩＦインタフェースで接続する。Ｓ／ＰＤＩＦインタフェースとは、ＩＥＣ ６０９５８で規定する同軸または光ケーブルを利用してデジタルオーディオなどを伝送するインタフェースであり、ソース装置からシンク装置への単方向伝送であるため、シンク装置からソース装置への上り回線は備えていない。

図１８（ａ）は、ソース装置１００で音声信号の追加遅延を行わない例を示す。ソース装置１００は、ＥＤＩＤ回線経由で、映像の総潜伏時間ＴＬｖ（８０ｍｓ）の情報を音声信号３００の付加情報としてシンク装置１４０へ伝送するとともに、音声信号の累積遅延時間ｓＤａ（０ｍｓ）を音声信号３００に多重化してシンク装置１４０およびシンク装置１５０へ伝送する。

シンク装置１４０は、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（０ｍｓ）と、シンク装置１４０の音声信号潜伏時間Ｌａ（１０ｍｓ）とから、映像と音声の遅延時間差７０ｍｓを算出し、音声可変遅延部２５１を制御して７０ｍｓの追加遅延を実行する。

同様に、シンク装置１５０は、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（０ｍｓ）と、シンク装置１５０の音声信号潜伏時間Ｌａ（２０ｍｓ）とから遅延時間差６０ｍｓを算出し、音声可変遅延部１５１を制御して６０ｍｓの追加遅延を実行する。このようにＬＣＤ１４３とスピーカ１５３およびスピーカ２５３のリップシンク補正が可能となる。

図１８（ｂ）および（ｃ）はソース装置１００において音声信号の追加遅延を行う場合の例を示す。

図１８（ｂ）において、シンク装置１５０は単方向伝送であるＳ／ＰＤＩＦインタフェースでソース装置１００に接続されることから、ソース装置１００はシンク装置１５０の音声信号の潜伏時間（Ｌａ）を予め知ることができない。しかしながら、ソース装置１００において、音声可変遅延部１０２に追加遅延７０ｍｓが事前に設定されている。ソース装置１００は、総潜伏時間ＴＬｖ（８０ｍｓ）と、音声信号の累積遅延時間としてｓＤａ＝７０ｍｓとを音声信号３００に多重化してシンク装置１４０およびシンク装置１５０へ伝送する。

この場合、シンク装置１４０では追加遅延は不要である。シンク装置１５０では、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（７０ｍｓ）と、シンク装置１５０自身の音声信号潜伏時間Ｌａ（２０ｍｓ）とから、遅延時間差−１０ｍｓを算出する。しかし、遅延時間差−１０ｍｓを補正するためには、映像信号を遅延させる必要があるが、本実施例では不可能であるため、この負の遅延時間差は無視する。その結果、映像信号に対して音声信号が１０ｍｓだけ遅れることになる。自然界では光速と音速の差によってしばしば起こりうる現象であり、１００ｍｓまでの時間差であれば人間は違和感を覚えることは無いと解釈されているので、このよう負の遅延時間差を無視しても特段の問題は無い。

図１８（ｃ）において、ソース装置１００は、ＥＤＩＤ回線経由で、シンク装置１４０の音声信号の潜伏時間Ｌａを予め知ることができる。これに基づいてソース装置１００は、音声可変遅延部１０２に追加遅延３０ｍｓの設定を行う。音声信号３００に、映像の総潜伏時間ＴＬｖ（８０ｍｓ）、音声信号の累積遅延時間ｓＤａ（３０ｍｓ）を多重化して、シンク装置１４０およびシンク装置１５０へ伝送する。この場合、シンク装置１４０では追加遅延は不要である。シンク装置１５０では、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（３０ｍｓ）と、シンク装置１５０の音声信号の潜伏時間Ｌａ（２０ｍｓ）とから、遅延時間差３０ｍｓを算出し、音声可変遅延部１５１を制御して３０ｍｓの追加遅延を実行する。このようにしてＬＣＤ１４３とスピーカ１５３およびスピーカ２５３のリップシンク補正が可能となる。

（実施の形態６）
本実施形態では、ソース装置とシンク装置とが接続され、さらにシンク装置から別のシンク装置へ音声伝送経路が接続されるシステム構成における本発明の適用例を説明する。

図１９（ａ）、（ｂ）に本実施の形態におけるシステム構成を示す。ソース装置（ＤＶＤプレーヤ）１００からシンク装置（デジタルＴＶ）１４０に接続し、さらに、音声信号がＨＤＭＩでシンク装置（デジタルＴＶ）１４０からシンク装置（マルチチャンネルアンプ）１５０へ接続する。

図１９（ａ）において、ソース装置１００は従来の装置である。従って、ソース装置１００は映像信号の総潜伏時間ＴＬｖを認識することも音声信号に付加することもできず、音声信号の累積遅延時間を付加することもできない。

一方、シンク装置１４０は、ソース装置１００から出力された音声信号にこれらの付加情報がないことを認識する。付加情報がないので、シンク装置１４０自身でリップシンク補正を行う。具体的には、シンク装置１４０は、シンク装置１５０の音声信号の潜伏時間Ｌａ（２０ｍｓ）を予めＥＤＩＤ回線で取得しておき、これを自己の潜伏時間Ｌａ（１０ｍｓ）と加算し、潜伏時間Ｌａとして３０ｍｓを算出する。シンク装置１４０は、映像の潜伏時間（Ｌｖ）８０ｍｓと、この算出した潜伏時間Ｌａ（３０ｍｓ）とから、音声可変遅延部２５１においてその時間差を補正するため５０ｍｓの追加遅延を生じさせる。これにより、シンク装置１４０は、映像信号と音声信号の総遅延時間をともに８０ｍｓとすることができ、リップシンク補正が実現できる。

図１９（ｂ）は、ソース装置１００が本発明の思想を適用した装置である場合についての例を示す。ソース装置１００は、各シンク装置１４０、１５０の潜伏時間を認識できるため、より柔軟に遅延補正が可能となる。ソース装置１００において、５０ｍｓの追加遅延を行うことにより、最終的にシンク装置１５０において、映像信号と音声信号の総遅延時間をともに８０ｍｓとすることができ、リップシンク補正が実現できる。

（実施の形態７）
本実施形態では、図１７のシステム構成に、ソース装置１００とシンク装置１４０との間に挿入されたリピータ（ビデオプロセッサ）１２０をさらに追加したシステム構成における本発明の適用例を説明する。いずれの機器もＨＤＭＩインタフェースで接続されている。本例では、リピータ１２０は映像信号に対して画質を向上させる所定の処理を施すビデオプロセッサである。

図２０（ａ）、（ｂ）および（ｃ）に本実施の形態におけるシステム構成を示す。リピータ１２０は、５０ｍｓの映像信号の潜伏時間Ｌｖを有している。ソース装置１００はリピータ１２０経由で映像信号の総潜伏時間ＴＬｖ（１３０ｍｓ）を認識することや、この情報を音声信号に付加することができ、さらに音声信号に、音声信号の累積遅延時間を付加することもできる。

図２０（ａ）は、ソース装置１００で音声信号の追加遅延を行わない場合である。ソース装置１００は音声信号３００に総潜伏時間ＴＬｖ（１３０ｍｓ）の情報を伝送するとともに、音声信号の潜伏時間についても累積遅延時間ｓＤａ（０ｍｓ）を音声信号に多重して伝送する。リピータ１２０は受信した情報をもとに音声信号に追加の遅延４０ｍｓを付加する。

シンク装置１４０は、受信した映像の総潜伏時間ＴＬｖ（１３０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（４０ｍｓ）と、シンク装置１４０自身の音声信号潜伏時間Ｌａ（１０ｍｓ）とから、遅延時間差８０ｍｓを算出し、音声可変遅延部２５１を制御して８０ｍｓの追加遅延を実行する。

同様にシンク装置１５０は、受信した映像の総潜伏時間ＴＬｖ（１３０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（４０ｍｓ）と、シンク装置１５０自身の音声信号潜伏時間Ｌａ（２０ｍｓ）とから、遅延時間差１１０ｍｓを算出し、音声可変遅延部１５１を制御して１１０ｍｓの追加遅延を実行する。このようにＬＣＤ１４３とスピーカ１５３およびスピーカ２５３のリップシンク補正が可能となる。

図２０（ｂ）および（ｃ）は、ソース装置１００で音声信号の追加遅延を行う場合である。図２０（ｂ）において、ソース装置１００は、音声可変遅延部１０２に追加遅延１１０ｍｓの設定を行う。この場合、シンク装置１５０では追加遅延は不要である。

シンク装置１４０では、受信した映像の総潜伏時間ＴＬｖ（１３０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（１１０ｍｓ）と、シンク装置１４０自身の音声信号潜伏時間Ｌａ（１０ｍｓ）とから、遅延時間差１０ｍｓを算出し、音声可変遅延部２５１を制御して１０ｍｓの追加遅延を実行する。このようにしてＬＣＤ１４３とスピーカ１５３およびスピーカ２５３のリップシンク補正が可能となる。

図２０（ｃ）において、ソース装置１００は、音声可変遅延部１０２に追加遅延８０ｍｓの設定を行う。ソース装置１００は、音声信号３００に、総潜伏時間ＴＬｖ（１３０ｍｓ）と音声信号の累積遅延時間ｓＤａ（８０ｍｓ）を多重化して伝送する。この場合、シンク装置１４０では追加遅延は不要である。

一方、シンク装置１５０では、受信した映像信号の総潜伏時間ＴＬｖ（１３０ｍｓ）と音声信号の累積遅延時間ｓＤａ（８０ｍｓ）と、シンク装置１５０自身の音声信号潜伏時間Ｌａ（２０ｍｓ）とから遅延時間差３０ｍｓを算出し、音声可変遅延部１５１を制御して３０ｍｓの追加遅延を実行する。これにより、ＬＣＤ１４３とスピーカ１５３およびスピーカ２５３間のリップシンク補正が可能となる。

（実施の形態８）
本実施の形態では、ソース装置（ＤＶＤプレーヤ）１００とシンク装置（デジタルＴＶ）１４０との間にリピータ（ビデオプロセッサ）１１０が挿入され、さらにリピータ１１０を介してシンク装置（マルチチャンネルアンプ）１５０が接続されたシステム構成における本発明の適用例を説明する。リピータ１１０とシンク装置１５０とはＳ／ＰＤＩＦインタフェースで接続される。その他はＨＤＭＩで接続される。

図２１（ａ）、（ｂ）、（ｃ）に本実施の形態におけるシステム構成を示す。図２１（ａ）において、ソース装置１００は従来の装置であり、映像信号の総潜伏時間（ＴＬｖ）を認識することはできない。

リピータ１１０は、ＥＤＩＤ回線経由で、映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）を認識できる。リピータ１１０は、映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（２０ｍｓ）とを下流の機器に出力する。

シンク装置１４０は、リピータ１１０から受信した映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）及び音声信号の累積遅延時間ｓＤａ（２０ｍｓ）と、自己の潜伏時間Ｌａ（１０ｍｓ）とから、遅延時間差５０ｍｓを算出する。この算出した時間差５０ｍｓに基づき音声可変遅延部２５１が制御される。

シンク装置１５０は、Ｓ／ＰＤＩＦ経由で映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（２０ｍｓ）を受信して、これらの値と自身の潜伏時間Ｌａ（４０ｍｓ）とから遅延時間差４０ｍｓを算出し、算出した値に基づき音声可変遅延部１５１を制御する。このようにしてすべてのリップシンク補正が可能となる。

図２１（ｂ）および（ｃ）は、ソース装置１００において音声信号の追加遅延を行う例を示す。図２１（ｂ）において、リピータ１１０とシンク装置１５０がＳ／ＰＤＩＦインタフェースで接続されていることから、ソース装置１００はシンク装置１５０の音声信号の潜伏時間（Ｌａ）を予め知ることができないが、ソース装置１００は予め、音声可変遅延部１０２に追加遅延５０ｍｓの設定を行っている。

ソース１００は、映像信号の総潜伏時間ＴＬｖ（８０ｍｓ）と、音声信号の累積遅延時間ｓＤａ（５０ｍｓ）とを音声信号に多重化してリピータ１１０へ伝送する。この場合、シンク装置１４０では追加遅延は不要である。

シンク装置１５０では、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（５０ｍｓ）と、シンク装置１５０の音声信号潜伏時間Ｌａ（２０ｍｓ）とから遅延時間差−１０ｍｓを算出する。遅延時間差−１０ｍｓを補正するためには、音声信号ではなく映像信号を遅延させる必要があるが、本実施例では不可能であるため無視する。このような負の遅延時間差を無視しても問題ない点については既に説明したとおりである。

図２１（ｃ）において、ソース装置１００は、ＥＤＩＤ回線経由で、シンク装置１４０の音声信号の潜伏時間Ｌａ（５０ｍｓ）を予め知ることができる。この値に基づきソース装置１００は、音声可変遅延部１０２に追加遅延１０ｍｓの設定を行う。これにより、シンク装置１４０では追加遅延は不要となる。

一方、シンク装置１５０では、受信した映像の総潜伏時間ＴＬｖ（８０ｍｓ）と音声信号の累積遅延時間ｓＤａ（３０ｍｓ）と、シンク装置１５０の音声信号潜伏時間Ｌａ（２０ｍｓ）とから遅延時間差３０ｍｓを算出し、音声可変遅延部１５１を制御して３０ｍｓの追加遅延を実行する。
このようにして全てのＬＣＤおよびスピーカのリップシンク補正が可能となる。

（実施の形態９）
図２２を参照し、音声信号に付加情報を重畳する方法について説明する。図２２はＩＥＣ ６０９５８に規定されるユーザービット（以下「Ｕｂｉｔ」という。）を用いて付加情報を伝送する例について説明した図である。

Ｕｂｉｔは音声信号のサンプルデータに含まれＬ，ＲのＰＣＭデータ毎に１ｂｉｔが付加されている。このＵｂｉｔはビット列であり、スタートビットから始まる８ビットの固まりで定義する。Ｕｂｉｔは、Ｇｅｎｅｒａｌ ｕｓｅｒ ｄａｔａ ｆｏｒｍａｔ を使うことと決まられている。したがってＧｅｎｅｒａｌ ｕｓｅｒ ｄａｔａ ｆｏｒｍａｔに準拠して、潜伏時間情報などの付加情報を追加規定する。Ｇｅｎｅｒａｌ ｕｓｅｒ ｄａｔａ ｆｏｒｍａｔ についてはＩＥＣ ６０９５８−３ ６．２．４．１節に詳細が記述されている。

図２３はＧｅｎｅｒａｌ ｕｓｅｒ ｄａｔａ ｆｏｒｍａｔに準拠して追加規定した、潜伏時間情報などの付加情報のフォーマットを示した図である。最初のＩＵ１で潜伏時間情報であることを示し、ＩＵ２で情報語長を規定する。ＩＵ３はカテゴリコードのコピーである。ＩＵ４からＩＵ１１までの８個のＩＵを用いて、以下の情報を含む６バイトの情報を構成する。
Ａｕｄｉｏ Ｌａｔｅｎｃｙ Ｖａｌｉｄ： 音声信号の累積遅延時間ｓＤａの情報の有効性ビットである。
Ａｕｄｉｏ Ｕｎｉｔ ｔｙｐｅ： 音声信号の累積遅延時間ｓＤａの情報の単位を示す。
Ａｕｄｉｏ Ｌａｔｅｎｃｙ： 音声信号の累積遅延時間ｓＤａの情報であり、１６ビットの語長を有する。
Ｖｉｄｅｏ Ｌａｔｅｎｃｙ Ｖａｌｉｄ： 映像信号の総潜伏時間（ＴＬｖ）の情報の有効性ビットである。
Ｖｉｄｅｏ Ｕｎｉｔ ｔｙｐｅ： 映像信号の総潜伏時間（ＴＬｖ）の情報の単位を示す。
Ｖｉｄｅｏ Ｌａｔｅｎｃｙ：映像信号の総潜伏時間（ＴＬｖ）の情報であり、１６ビットの語長を有する。

このようにＵｂｉｔを用いて伝送するのは、カテゴリに関わらず一般性を広く保つ様にするためである。さらにＳＭＰＴＥ規格のタイムコードを伝送することも可能である。

このようにして、ＩＥＣ規格に準拠するデジタルオーディオインタフェースを利用することで、本発明に必要な潜伏時間情報を伝送することが可能となる。すなわち、ＩＥＣ規格に準拠するデジタルオーディオインタフェースを、上記の実施形態におけるＳ／ＰＤＩＦインタフェースに適用できる。

また、ＨＤＭＩについては、オーディオ伝送フォーマットはＩＥＣ ６０９５８に準拠したフォーマットが規定されている。言い換えるとＩＥＣ ６０９５８フォーマットをＨＤＭＩフォーマットに包んで伝送している。すなわち、ＩＥＣ ６０９５８と全く同様にＵｂｉｔを使うことでＨＤＭＩでも本発明に使用する全ての潜伏時間情報をＩＥＣ ６０９５８の形で伝送することが可能となる。さらにＩＥＣ６１８８３（１３９４）のＡＭＰプロトコルで規定するＩＥＣコンフォーマントと呼ばれるフォーマットを用いて全く同様に１３９４インタフェースでも本発明の潜伏時間情報を伝送することが可能である。

本発明は、特定の実施形態について説明されてきたが、当業者にとっては他の多くの変形例、修正、他の利用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されず、添付の請求の範囲によってのみ限定され得る。なお、本出願は日本国特許出願、特願２００５−１３１９６３号（２００５年４月２８日提出）に関連し、それらの内容は参照することにより本文中に組み入れられる。

本発明は、映像信号と音声信号を扱うＡＶ機器およびこれらを接続するインタフェースを用いて構成するネットワークなど広い範囲の装置、ＡＶ機器およびインタフェースなどに有用である。

本発明の基本概念を説明するための図 本発明の第１の実施形態におけるシステム構成を示したシステムブロック図 ソース装置（ＤＶＤプレーヤ）のハードウェア構成図 シンク装置（映像表示装置）のハードウェア構成図 シンク装置（音声出力装置）のハードウェア構成図 リピータのハードウェア構成図 ＨＤＭＩの構成図 第１の実施の形態のシステムの全体動作を示すフローチャート 第１の実施の形態における、ソース装置による映像信号の総潜伏時間ＴＬｖの取得処理を示すフローチャート ＴＬｖ送信命令を受信したときのリピータの処理を示すフローチャート ＴＬｖ送信命令を受信したときのシンク装置の処理を示すフローチャート ソース装置からの、映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａの送信処理を示すフローチャート 映像信号の総潜伏時間ＴＬｖと音声信号の累積遅延時間ｓＤａの送信処理を示すフローチャート シンク装置における音声出力時間の調整動作処理を示すフローチャート 本発明の第２の実施形態におけるシステム構成を示したシステムブロック図 本発明の第３の実施形態におけるシステム構成を示したシステムブロック図 本発明の第４の実施形態におけるシステム構成を示したシステムブロック図 本発明の第５の実施形態におけるシステム構成を示したシステムブロック図 本発明の第６の実施形態におけるシステム構成を示したシステムブロック図 本発明の第７の実施形態におけるシステム構成を示したシステムブロック図 本発明の第８の実施形態におけるシステム構成を示したシステムブロック図 音声信号に付加する付加情報の伝送方式を説明するための模式図 Ｇｅｎｅｒａｌ ｕｓｅｒ ｄａｔａ ｆｏｒｍａｔに準拠して追加規定した、潜伏時間情報などの付加情報のフォーマットを示した図 従来のリップシンク補正装置の接続構成を示したシステムブロック図

符号の説明

１００ ソース
１０１ ＤＶＤメディア
１０２ 音声可変遅延部
１１０ リピータ
１１２ 再エンコーダ
１２０ リピータ
１２２ 映像信号処理部
１３０ リピータ
１３２ 信号処理部
１４０ シンク
１４２ 映像信号処理部
１４３ ＬＣＤ（液晶表示装置）
１５０ シンク
１５１ 音声可変遅延部
１５２ デコーダ
１５３ スピーカ

Claims (13)

1. 映像信号と音声信号の再生時間のずれを補正するリップシンク補正システムであって、
   映像信号及び音声信号をそれぞれの伝送経路において、ソース装置からシンク装置へ、それぞれ所定のインタフェースに準拠して送信し、前記所定のインタフェースには双方向インタフェースが含まれ、
   前記双方向インタフェースに準拠した伝送経路に接続された機器における映像信号の遅延時間の総和を示す遅延情報を取得し、前記取得した遅延情報を用いて前記再生時間のずれを補正するコントローラを備え、
   前記コントローラは、前記再生時間のずれを補正するために前記音声信号の伝送経路上の機器において音声信号に追加遅延を付与する、リップシンク補正システム。
2. 前記コントローラは、前記追加遅延を前記音声信号の伝送経路上の最下流の機器において音声信号に付与する、請求項１記載のリップシンク補正システム。
3. 前記遅延情報を前記音声信号の付加情報として伝送する、請求項１又は２に記載のリップシンク補正システム。
4. 前記双方向インタフェースを介して受信される映像信号に関する遅延時間は、映像信号の伝送経路に接続する機器の、映像信号に関する遅延時間を累積的に加算して得られた情報である、
   請求項１から３のいずれかに記載のリップシンク補正システム。
5. 前記双方向インタフェースを介して受信される音声信号に関する遅延時間は、音声信号の伝送経路に接続する機器の、音声信号に関する遅延時間を累積的に加算して得られた情報である、
   請求項１から４のいずれかに記載のリップシンク補正システム。
6. 前記双方向インタフェースは、ＨＤＭＩ（High Definition Multimedia Interface）またはＩＥＥＥ１３９４である、請求項１から３のいずれかに記載のリップシンク補正システム。
7. 映像信号と音声信号の再生時間のずれを補正するリップシンク補正装置であって、
   前記映像信号及び音声信号は、それぞれの伝送経路において、ソース装置からシンク装置へ、それぞれ所定のインタフェースに準拠して送信され、前記所定のインタフェースには双方向インタフェースが含まれており、
   前記リップシンク補正装置は、前記双方向インタフェースに準拠した伝送経路に接続された機器における映像信号の遅延時間の総和を示す遅延情報を取得し、前記取得した遅延情報を用いて前記再生時間のずれを補正するコントローラを備え、
   前記コントローラは、前記再生時間のずれを補正するために前記音声信号の伝送経路上の機器において音声信号に追加遅延を付与する、リップシンク補正装置。
8. 前記コントローラは、前記追加遅延を前記音声信号の伝送経路上の最下流の機器において音声信号に付与する、請求項７記載のリップシンク補正装置。
9. 前記遅延情報を前記音声信号の付加情報として伝送する、請求項７又は８に記載のリップシンク補正装置。
10. 前記双方向インタフェースを介して受信される映像信号に関する遅延時間は、映像信号の伝送経路に接続する機器の、映像信号に関する遅延時間を累積的に加算して得られた情報である、
    請求項７から９のいずれかに記載のリップシンク補正装置。
11. 前記双方向インタフェースを介して受信される音声信号に関する遅延時間は、音声信号の伝送経路に接続する機器の、音声信号に関する遅延時間を累積的に加算して得られた情報である、
    請求項７から１０のいずれかに記載のリップシンク補正装置。
12. 前記双方向インタフェースは、ＨＤＭＩ（High Definition Multimedia Interface）またはＩＥＥＥ１３９４である、請求項７から１０のいずれかに記載のリップシンク補正装置。
13. 映像信号と音声信号の再生時間のずれを補正するリップシンク補正方法であって、
    ａ）映像信号及び音声信号を、ソース装置からシンク装置へ、それぞれの伝送経路において、それぞれ所定のインタフェースに準拠して送信し、
    前記所定のインタフェースは双方向インタフェースを含み、
    前記シンク装置は、
    ｂ）前記双方向インタフェースに準拠した伝送経路上の機器の総遅延時間を示す遅延情報を取得し、
    ｃ）前記取得した遅延情報を用いて映像信号と音声信号のずれを補正し、
    ｄ）前記ずれを補正するために前記音声信号の伝送経路上の機器に追加遅延を付与する、
    リップシンク補正方法。

Images