JP3063682B2

JP3063682B2 - 音声再生時刻の制御機能を有する画像音声デコーダ

Info

Publication number: JP3063682B2
Application number: JP9148109A
Authority: JP
Inventors: 容隆澁谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-06-05
Filing date: 1997-06-05
Publication date: 2000-07-12
Anticipated expiration: 2017-06-05
Also published as: JPH10336591A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像と音声とを同
時に再生する画像音声デコーダに関する。

【０００２】

【従来の技術】図８が従来の画像音声デコーダ再生時刻
制御回路である。画像音声デコーダ再生時刻制御回路
は、ＭＰＥＧ（Moving Picture Expert Group ）デコー
ダ等のような画像と音声とを同時に再生するシステムに
おいて、画像と音声の再生時刻を合わせるために使用さ
れ、画像デコーダと音声デコーダとにデコード時間の差
があることや符号化されたデータ中の誤り等の原因で画
像と音声の再生時刻がずれてしまうため、それを補正す
るのに必要となる。

【０００３】まず、図８を参照して各部の説明をする。
音声デコーダ７は、符号化された音声データ８が入力さ
れると、それをデコードし、出力音声データ９として外
部に出力する。また、ポーズ信号４やスキップ信号５が
入力されると、音声の再生のポーズ動作やスキップ動作
を行う。ポーズ動作は、音声の再生時刻が画像の再生時
刻より進んでいる場合に、音声の再生時刻と画像の再生
時刻との差に応じた時間だけ音声のデコードを停止し、
その後再び音声のデコードを再開する動作である。ま
た、スキップ動作は、音声の再生時刻が画像の再生時刻
より遅れている場合に、音声の再生時刻と画像の再生時
刻の差に応じた時間分の符号化音声データを読み飛ば
し、その後音声のデコードを再開する動作である。画像
再生時刻１、および音声再生時刻２は、現在の画像およ
び音声の再生時刻を示す信号である。制御回路３は入力
された画像再生時刻１と音声再生時刻２を比較し、それ
らの差が一定の値以上となった場合に、ポーズ信号４ま
たはスキップ信号５と、制御時間６を音声デコーダ７に
入力する。音声の再生時間の方が進んでいる場合はポー
ズ信号４を音声デコーダ７に入力し、音声の再生を入力
された制御時間６だけ停止させて再生時刻を遅らせる。
また、音声の再生時間の方が遅れている場合は、スキッ
プ信号５を音声デコーダ７に入力し、音声の再生を入力
された制御時間６だけスキップさせて再生時刻を進め
る。このように、音声の再生を停止させたり、スキップ
させたりして、画像の再生時刻に音声の再生時刻を合わ
せ、画像と音声との再生の同期を取る。

【０００４】制御回路３は図９のように構成される。入
力された画像再生時刻２９から音声再生時刻３０を減算
し、再生時刻差３１を求める。絶対値計算部３４は再生
時刻差３１の絶対値を求める。この値が定められた値ｔ
_thよりも大きいかどうかが比較部３５によって判定さ
れ、大きかった場合、同期処理イネーブル信号３６がポ
ーズ・スキップ信号出力部３７に出力される。正負判定
部３２は、再生時刻差３１が正か負かを判定し、正負判
定信号３３をポーズ・スキップ信号出力部３７に出力す
る。ポーズ・スキップ信号出力部３７は、同期処理イネ
ーブル信号３６が入力された場合、ポーズ信号３８また
はスキップ信号３９を出力する。このとき、正負判定信
号３３が正の場合は音声の再生が遅れているため、スキ
ップ信号３９を出力し、負の場合は音声の再生が進んで
いるため、ポーズ信号３８を出力する。また、画像の再
生時刻と音声の再生時刻の差を制御時間４０として出力
する。

【０００５】このポーズ、スキップ動作を図１０に示
す。図１０ａの上の図に示すように時刻ｔ₁ で制御時間
ｔ_p のポーズ動作が行われた場合、下の図に示すように
ポーズ開始時と終了時とで出力音声の不連続が生じる。
また、図１０ｂの上の図に示すように時刻ｔ₂ で制御時
間ｔ_s だけスキップを行った場合、スキップしたところ
で出力音声の不連続が起こる。このように、従来の画像
音声デコーダ再生時刻制御回路では、任意の時刻にポー
ズやスキップの制御が行われるため、音声の不連続が出
力音声の振幅の大きいところでも起こり、人間の聴感上
不快に感じられる。

【０００６】同期制御がポーズ、スキップではなく、音
声の再生速度を連続的に変更することも考えられるが、
この場合も出力音声の振幅の大きいところで行うと聴感
上不自然であり、再生信号の品質が損なわれる。

【０００７】

【発明が解決しようとする課題】上述した従来の画像音
声デコーダ再生時刻制御回路は任意の時刻にスキップや
ポーズの制御を行うため、出力音声が有音である時にス
キップやポーズの制御が行われた場合、人間の聴感上、
再生された音声が不自然で、不快に感じられる。そこで
本発明の目的は、上述した従来例の欠点を解消して、同
期処理時に音声データに不連続が存在しても、人間の聴
感には自然で何の不快感も与えない画像音声デコーダを
提供することである。

【０００８】

【課題を解決するための手段】本発明の画像音声デコー
ダは、符号化された画像、音声データを同時にデコー
ド、再生する際に、画像再生時刻と音声再生時刻とに時
刻差が生じたとき音声デコーダによる音声の再生時刻を
画像再生時刻に同期化させる同期処理を施す。この同期
処理は、無音検出回路を用いてデコードされた音声デー
タを解析し、音声データの振幅が所定の無音しきい値よ
り小さいかどうかを検出する。音声データの振幅が無音
しきい値より小さくて、かつ、両再生時刻の時刻差が所
定値を越えるとき、制御回路により音声デコーダに同期
処理を施させる。

【０００９】上述した同期処理は、音声データのデコー
ドを中断して再生時刻を遅延させるポーズ処理と、符号
化された音声データを読み飛ばし再生時刻を先行させる
スキップ処理とからなり、それぞれ画像データの再生時
刻と音声データの再生時刻との差分だけ補償するように
施される。

【００１０】また、同期処理は、前記音声データの再生
速度を速くしたり遅くしたりする再生速度の制御を施す
こともでき、音声データの再生速度は、そのときの画像
データの再生時刻と音声データの再生時刻との時刻差に
対応して定められる。

【００１１】

【発明の実施の形態】図１は本発明の第一の実施の形態
を示す図である。

【００１２】まず、図１を参照して各部の説明をする。
音声デコーダ１６は、符号化された音声データ１７が入
力されるとそれをデコードし、出力音声データ１８とし
て外部に出力する。また、ポーズ信号１３やスキップ信
号１４が入力されると、音声の再生のポーズ動作やスキ
ップ動作を行う。無音検出回路１９は出力音声データ１
８が無音かどうかを判断し、無音である場合に無音検出
信号２０を出力する。画像再生時刻１０および音声再生
時刻１１は、現在の画像および音声の再生時刻を示す信
号である。制御回路１２は入力された画像再生時刻１０
と音声再生時刻１１とを比較し、それらの差が一定の値
以上となって、かつ無音検出回路１９から無音検出信号
２０が入力されている場合、ポーズ信号１３、またはス
キップ信号１４と制御時間１５を音声デコーダに入力す
る。音声の再生時刻の方が進んでいる場合はポーズ信号
１３を音声デコーダ１６に入力し、音声の再生を入力さ
れた制御時間１５だけ停止させて再生時間を遅らせる。
また、音声の再生時刻の方が遅れている場合、スキップ
信号１４を音声デコーダ１６に入力し、音声の再生を入
力された制御時間１５だけスキップさせて再生時間を進
める。このように、出力音声データ１８が無音の間の
み、音声の再生を停止させたり、スキップさせたりし
て、画像の再生時刻に音声の再生時刻を合わせ、画像と
音声の再生の同期を取る。

【００１３】制御回路１２は図２のように構成できる。
入力された画像再生時刻４１から音声再生時刻４２を減
算し、再生時刻差４４を求める。絶対値計算部４７は再
生時刻差４４の絶対値を求める。この値が定められた値
ｔ_thよりも大きいかどうかを比較部４８が判定し、大き
い場合、同期処理イネーブル信号４９がポーズ・スキッ
プ信号出力部５０に出力される。正負判定部４５は、再
生時刻差４４が正か負かを判定し、正負判定信号４６を
ポーズ・スキップ信号出力部５０に出力する。ポーズ・
スキップ信号出力部５０は、同期処理イネーブル信号４
９が入力され、かつ、無音検出信号４３が入力された場
合、ポーズ信号５１またはスキップ信号５２を出力す
る。このとき、正負判定信号４６が正の場合は音声の再
生が遅れているため、スキップ信号５２を出力し、負の
場合は音声の再生が進んでいるため、ポーズ信号５１を
出力する。また、どのぐらい音声の再生時刻が進んでい
るか、または遅れているかを制御時間５３として出力す
る。

【００１４】無音検出回路１９は図３のように構成でき
る。入力された出力音声データ２１が絶対値計算部２２
に入力され、出力音声データの絶対値２３が計算され
る。これに乗算器２４により定められた定数を乗じた値
と、レジスタ２５に格納されていた値に乗算器２６によ
り定められた定数を乗じた値とを加算し、レジスタ２１
に格納する。レジスタ２１に格納されているデータは、
音声出力データの絶対値２３の過去からの平均値のよう
なものであると考えられる。このレジスタ２１に格納さ
れている値を比較回路２７で予め定められた無音しきい
値と比較し、この値以下であった場合、無音検出信号２
８を出力する。

【００１５】このポーズとスキップの動作を図４を参照
して説明する。本実施形態の回路では、無音検出回路１
９によって、出力音声データ１８の振幅が無音しきい値
より小さい場合にポーズやスキップの制御が行われる。
図４ａは音声の振幅が無音しきい値より小さくなった時
刻ｔ₁ から、制御時間ｔ_p だけ、ポーズ動作を行った場
合である。この場合、ポーズの開始時と終了時に音声が
不連続となるが、音声の振幅が小さい無音の部分である
ため、人間の聴感に与える影響は少ない。また、図４ｂ
は音声の音声の振幅が無音しきい値よりも小さくなった
時刻ｔ₂ から、制御時間ｔ_s だけスキップ動作を行った
場合である。この場合も、音声が不連続となるのは音声
の振幅の小さい無音部分であるため、再生された音声は
人間の聴感上不自然であると感じられない。

【００１６】また、無音が長時間検出されず同期処理が
行えないことが考えられるが、無音が検出されなかった
時間に比例して、無音検出回路１９の無音しきい値を大
きくしていき、同期処理を起こりやすくすることによっ
て解決することができる。

【００１７】なお、本実施例では、無音検出回路１９
は、出力音声データ１８の振幅の大きさから無音である
かを判断しているが、人間の聴覚の特性を利用して、出
力音声データ１８の振幅は大きいが人間の聴覚には聞こ
えにくい音声も無音であると判断する無音検出回路を使
用しても、本発明の音声デコーダ再生時刻制御回路を構
成することは容易である。

【００１８】図５は本発明の第二の実施の形態を示す図
である。

【００１９】まず、図５を参照して各部の説明をする。
音声デコーダ５９は、符号化された音声データ６０が入
力されると、それをデコードし、出力音声データ６１と
して外部に出力する。また、再生速度制御信号５７が入
力されると、別に入力された制御速度５８に応じて、音
声の再生速度の制御を行う。つまり、制御速度５８が正
の場合、再生速度を速め、制御速度５８が負の場合、再
生速度を遅くする。無音検出回路６２は出力音声データ
６１が無音かどうかを判断し、判断無音である場合に無
音検出信号６３を出力する。画像再生時刻５４、および
音声再生時刻５５は、現在の画像および音声の再生時刻
をそれぞれ示す信号である。制御回路５６は入力された
画像再生時刻５４と音声再生時刻５５を比較し、それら
の差が一定の値以上となって、かつ無音検出回路６２か
ら無音検出信号６３が入力されている場合、再生速度制
御信号５７と制御速度５８を音声デコーダ５９に入力す
る。音声の再生時刻の方が進んでいる場合は音声デコー
ダ５９の再生速度を遅くさせるような制御速度５８が音
声デコーダ５９に入力され、音声デコーダ５９の再生速
度が遅くなり、音声の再生時刻を遅らせる。また、音声
の再生時刻の方が遅れている場合は、音声デコーダ５９
の再生速度が速くなるような制御速度５８が音声デコー
ダ５９に入力され、音声デコーダ５９の再生速度が速く
なり、音声の再生時刻を進ませる。このように、出力音
声データ６１が無音の間のみ、音声の再生速度を速くし
たり、遅くしたりして、画像の再生時刻に音声の再生時
刻を合わせ、画像と音声の再生の同期を取る。

【００２０】制御回路５６は図６のように構成できる。
入力された画像再生時刻６４から音声再生時刻６５を減
算し、再生時刻差６７を求める。絶対値計算部６８は再
生時刻差６７の絶対値を求める。この値が定められた値
ｔ_thよりも大きいかどうかを比較部６９によって判定
し、大きい場合、同期処理イネーブル信号７０が再生速
度制御信号出力部７１に出力される。再生速度制御信号
出力部７１は、同期処理イネーブル信号７０が入力さ
れ、かつ、無音検出信号６６が入力された場合、再生速
度制御信号７２を出力する。また、再生時刻差６７に乗
算器７３によって定められた定数を乗じたものを、音声
デコーダがどのくらいまで再生速度を速くするか、また
は遅くするかを示す制御速度７４として出力する。

【００２１】この再生速度制御の動作を図７を参照して
説明する。第二の実施形態の回路では、無音検出回路６
２によって、出力音声データ６１の振幅が無音しきい値
より小さい場合に再生速度の制御が行われる。図７は音
声の振幅が無音しきい値より小さくなった時刻ｔ₁ か
ら、再生速度の制御を開始し、時刻ｔ₂ で画像の再生時
刻と音声の再生時刻の時刻差が一定値以下となり、再生
速度の制御が終了した場合を示している。例として時刻
ｔ₁ で画像の再生時刻が音声の再生時刻より遅れていた
場合に、音声デコーダの再生速度をｔ₁ からｔ₂ までの
間で遅らせた場合を示している。この場合、再生速度の
制御の開始時と終了時に、音声の再生速度が不連続とな
るが、音声の振幅が小さい無音の部分であるため、再生
された音声は、人間の聴感上不自然であると感じられな
い。

【００２２】

【発明の効果】上述したように本発明は、無音検出回路
と制御回路とを用いて、画像再生時刻と音声再生時刻と
の間に所定値以上の時刻差が生じたとき、出力音声デー
タの無音時のみ、時刻差を解消するように音声再生時刻
の同期処理を行うことにより、画像音声デコーダの同期
処理時に生じる音声の不連続が、人間の聴感に与える影
響を削減できるという効果がある。

【図面の簡単な説明】

【図１】本発明の第一の実施形態の構成を示す図であ
る。

【図２】第一の実施形態の制御回路の構成を示す図であ
る。

【図３】第一および第二の実施形態での無音検出回路の
構成を示す図である。

【図４】第一の実施形態での音声再生のポーズおよびス
キップ動作を示す図である。

【図５】第二の実施形態の構成を示す図である。

【図６】第二の実施形態での制御回路の構成を示す図で
ある。

【図７】本発明の第二の実施形態での音声再生の再生速
度変化による同期処理を示す図である。

【図８】従来例の構成を示す図である。

【図９】従来例での制御回路の構成を示す図である。

【図１０】従来例での音声再生のポーズ、スキップ動作
を示す図である。

【符号の説明】

１画像再生時刻２音声再生時刻３制御回路４ポーズ信号５スキップ信号６制御時間７音声デコーダ８符号化された音声データ９出力音声データ１０画像再生時刻１１音声再生時刻１２制御回路１３ポーズ信号１４スキップ信号１５制御時間１６音声デコーダ１７符号化された音声データ１８出力音声データ１９無音検出回路２０無音検出信号２１出力音声データ２２絶対値計算部２３出力音声データの絶対値２４乗算器１２５レジスタ２６乗算器２２７比較回路２８無音検出信号２９画像再生時刻３０音声再生時刻３１再生時刻差３２正負判定部３３正負判定信号３４絶対値計算部３５比較回路３６同期処理イネーブル信号３７ポーズ・スキップ信号出力部３８ポーズ信号３９スキップ信号４０制御時間４１画像再生時刻４２音声再生時刻４３無音検出信号４４再生時刻差４５正負判定部４６正負判定信号４７絶対値計算部４８判定部４９同期処理イネーブル信号５０ポーズ・スキップ信号出力部５１ポーズ信号５２スキップ信号５３制御時間５４画像再生時刻５５音声再生時刻５６制御回路５７再生速度制御信号５８制御速度５９無音検出信号６０符号化された音声データ６１出力音声データ６２無音検出回路６３無音検出信号６４画像再生時刻６５音声再生時刻６６無音検出信号６７再生時刻差６８絶対値計算部６９比較部７０同期イネーブル信号７１再生速度制御信号出力部７２再生速度制御信号７３乗算器３７４制御速度

Claims

(57)【特許請求の範囲】

【請求項１】符号化された画像データ及び音声データ
を同時にデコードし再生するとともに、画像再生時刻と
音声再生時刻とに時刻差が生じたとき音声デコーダによ
る音声の再生時刻を画像再生時刻に同期化させる同期処
理を施す画像音声デコーダにおいて、デコードされた音声データを解析し、該音声データの振
幅が所定の無音しきい値より小さいかどうかを検出する
無音検出回路と、前記無音検出回路により音声データの振幅が前記無音し
きい値より小さいことが検出され、かつ、前記時刻差が
所定値を越えるとき、前記音声デコーダに前記同期処理
を施させる制御回路と、を有することを特徴とする、音声再生時刻の制御機能を
有する画像音声デコーダ。
【請求項２】前記同期処理は、前記音声データのデコ
ードを中断して再生時刻を遅延させるポーズ処理と、前
記符号化された音声データを読み飛ばし再生時刻を先行
させるスキップ処理とからなる請求項１記載の画像音声
デコーダ。
【請求項３】前記ポーズ処理は音声データの再生時刻
が画像データの再生時刻に先行するとき、また、前記ス
キップ処理は音声データの再生時刻が画像データの再生
時刻より遅れるとき、それぞれ画像データの再生時刻と
音声データの再生時刻との差分だけ補償するように施さ
れる請求項２記載の画像音声デコーダ。
【請求項４】前記同期処理は、前記音声データの再生
速度を速くしたり遅くしたりする再生速度の制御を施す
請求項３記載の画像音声デコーダ。
【請求項５】前記同期処理における音声データの再生
速度は、そのときの画像データの再生時刻と音声データ
の再生時刻との時刻差に対応して定められる請求項４記
載の画像音声デコーダ。