JP4820877B2

JP4820877B2 - 情報データ受信装置、情報データ受信方法、情報データ受信プログラムおよび情報データ受信プログラムを格納した記録媒体

Info

Publication number: JP4820877B2
Application number: JP2008540849A
Authority: JP
Inventors: 清次原田
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2006-10-26
Filing date: 2006-10-26
Publication date: 2011-11-24
Anticipated expiration: 2026-10-26
Also published as: JPWO2008050427A1; WO2008050427A1

Description

【技術分野】
【０００１】
本発明は、映像や音声などが符号化された情報を受信する情報データ受信装置、情報データ受信方法、情報データ受信プログラムおよび情報データ受信プログラムを格納した記録媒体に関する。
【背景技術】
【０００２】
音声や動画像をデジタル化して伝送する際に符号化する符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）が知られている。
【０００３】
ＭＰＥＧでは音声や映像の符号化方式の他に、符号化された映像や音声、付加データなどの情報データとしての各ビットストリームを多重化し、それぞれの同期を取りながら伝送、再生するための方式としてＭＰＥＧシステムが規定されている。
【０００４】
ＭＰＥＧシステムでは、符号化された各ビットストリームをＰＥＳ（Packetized Elementary Stream）パケットと呼ばれるパケットに格納する。図１にＰＥＳパケットの構造を示す。ＰＥＳパケットは、ＰＴＳ（Presentation Time Stamp）と呼ばれる時間情報などが含まれるＰＥＳパケットヘッダと、音声や映像などの符号化されたデータが格納されるＰＥＳパケットペイロードとからなる可変長のパケットである。
【０００５】
そして、ＰＥＳパケットをＴＳ（Transport Stream）パケットと呼ばれる一定長に区切ったパケットに分割し、伝送路等に出力する。受信側では、受信したＴＳパケットからＰＥＳパケットを復元し、ＰＥＳパケットペイロードから音声や映像などの符号化データを取り出してＰＥＳパケットヘッダから取り出したＰＴＳなどの時間情報に基づいて復号化および再生を行う。
【０００６】
このような、ＭＰＥＧシステムによる伝送において、無線や有線などの伝送路での伝送中にデータの欠落または意図しない変更が発生してしまうことがある。その場合、受信側では、エラーとして認識され、当該データの廃棄や補間などが行われている。エラーが発生した際の受信側の対応方法としては、例えば、特許文献１に記載の情報データ伝送システムの受信装置が提案されている。
［０００７］
特許文献１に記載された情報データ伝送システムの受信装置は、ＰＥＳパケットに挿入されているＰＴＳを１つ前のＰＥＳパケットに挿入されているＰＴＳと比較してＰＥＳパケットの欠落の有無を判定し、欠落が検出された場合は、欠落したＰＥＳパケット分のオーディオデータを補間している。
特許文献１：特開２００１−１１１６１０号公報
発明の開示
発明が解決しようとする課題
［０００８］
上述した特許文献１に記載の情報データ伝送システムの受信装置は、ＰＴＳからＰＥＳパケットの欠落を判定してＰＥＳ単位で補間するために、例えば音声データの場合は、欠落したＰＥＳパケットに含まれるフレームが多いと再生時に音声が途切れたり、不自然な音声になってしまうことがあった。
［０００９］
そこで、本発明は、例えばＭＰＥＧシステムなどで音声や映像を伝送する際にデータの欠落や変更によるエラーが発生しても、再生時にエラーによる影響を最小限に留めることができる情報データ受信装置、情報データ受信方法、情報データ受信プログラムおよび情報データ受信プログラムを格納した記録媒体を提供することを課題とする。
課題を解決するための手段
［００１０］
上記課題を解決するために、請求項１に記載の発明は、復号化や再生のための時間情報が付加されている第一の最小符号化単位と、前記時間情報が付加されていない第二の最小符号化単位とが混在する情報データを受信する受信手段と、前記受信手段が受信した情報データを前記最小符号化単位毎に復号化する復号化手段と、前記復号化手段が復号化した復号化データを再生する再生手段と、を有する情報データ受信装置であって、前記復号化手段が前記第一の最小符号化単位または第二の最小符号化単位を復号化する際にエラーを検出した場合は、前記第一の最小符号化単位または第二の最小符号化単位の時間分の補間データを生成する補間手段と、エラーが検出された前記第一の最小符号化単位または第二の最小符号化単位の情報データに代えて前記補間データを出力させ、前記補間データを前記再生手段に出力させた後に前記復号化手段が復号化した情報データであってエラーが検出されなかった前記第二の最小符号化単位を、前記時間情報の到来を待たずに最小符号化単位毎に前記復号化手段に復号化させるとともに前記再生手段に出力させて、前記エラーが検出されなかった第二の最小符号化単位の後に到来する前記第一の最小符号化単位に付加された時間情報に基づいて、欠落した前記第一の最小符号化単位または第二の最小符号化単位の補完を行う制御手段と、を有したことを特徴としている。
［００１１］
請求項４に記載の発明は、復号化や再生のための時間情報が付加されている第一の最小符号化単位と、前記時間情報が付加されていない第二の最小符号化単位とが混在する情報データを受信し、受信した情報データを前記最小符号化単位毎に復号化して、復号化した復号化データを再生する情報データ受信方法であって、前記第一の最小符号化単位または第二の最小符号化単位を復号化する際にエラーを検出した場合は、前記第一の最小符号化単位または第二の最小符号化単位の時間分の補間データを生成し、エラーが検出された前記第一の最小符号化単位または第二の最小符号化単位の情報データに代えて前記補間データを出力し、前記補間データを出力した後に復号化した情報データであってエラーが検出されなかった前記第二の最小符号化単位を、前記時間情報の到来を待たずに最小符号化単位毎に復号化するとともに再生し、前記エラーが検出されなかった第二の最小符号化単位の後に到来する前記第一の最小符号化単位に付加された時間情報に基づいて、欠落した前記第一の最小符号化単位または第二の最小符号化単位の補完を行うように制御することを特徴としている。
［００１２］
請求項７に記載の発明は、復号化や再生のための時間情報が付加されている第一の最小符号化単位と、前記時間情報が付加されていない第二の最小符号化単位とが混在する情報データを受信する受信手段と、前記受信手段が受信した情報データを前記最小符号化単位毎に復号化する復号化手段と、前記復号化手段が復号化した復号化データを再生する再生手段と、してコンピュータに機能させる情報データ受信プログラムであって、前記復号化手段が前記第一の最小符号化単位または第二の最小符号化単位を復号化する際にエラーを検出した場合は、前記第一の最小符号化単位または第二の最小符号化単位の時間分の補間データを生成する補間手段と、エラーが検出された前記第一の最小符号化単位または第二の最小符号化単位の情報データに代えて前記補間データを出力させ、前記補間データを前記再生手段に出力させた後に前記復号化手段が復号化した情報データであってエラーが検出されなかった前記第二の最小符号化単位を、前記時間情報の到来を待たずに最小符号化単位毎に前記復号化手段に復号化させるとともに前記再生手段に出力させて、前記エラーが検出されなかった第二の最小符号化単位の後に到来する前記第一の最小符号化単位に付加された時間情報に基づいて、欠落した前記第一の最小符号化単位または第二の最小符号化単位の補完を行う制御手段と、してコンピュータに機能させることを特徴としている。
【図面の簡単な説明】
［００１３］
［図１］従来技術におけるＰＥＳパケットの説明図である。
［図２］本発明の一実施例にかかる情報データ受信装置のブロック図である。
［図３］図１に示された情報データ受信装置の音声デコーダのブロック図である。
［図４］音声デコーダの動作を説明したフローチャートである。
［図５］音声デコーダの入力と出力を示した説明図である。
［図６］音声デコーダの入力と出力を示した説明図である。
符号の説明
［００１４］
１００情報データ受信装置
１０１ＴＳデマルチプレクサ（受信手段）
１０３音声デコーダ
１０５Ｄ／Ａコンバータ（再生手段）
２０１音声デコード制御部（生後手段）
２０２補間データ生成部（補間手段）
２０３音声デコード部（復号化手段）
発明を実施するための最良の形態
［００１５］
以下、本発明の一実施形態にかかる情報データ受信装置を説明する。本発明の一実施形態にかかる情報データ受信装置は、復号化手段が第一、第二の最小符号化単位を復号化する際にエラーを検出した場合に、第一、第二の最小符号化単位分の時間の補間データを補間手段で生成し、その補間データを制御手段がエラーが検出された第一の最小符号化単位または第二の最小符号化単位の復号化データに代えて補間データを出力させ、補間データを再生手段に出力させた後に復号化手段が復号化した情報データであってエラーが検出されなかった第二の最小符号化単位を、時間情報の到来を待たずに最小符号化単位毎に復号化手段に復号化させるとともに再生手段に出力させて、エラーが検出されなかった第二の最小符号化単位の後に到来する第一の最小符号化単位に付加された時間情報に基づいて、欠落した第一または第二の最小符号化単位の補完を行っている。このようにすることにより、時間情報の有無に関わらずエラーが発生した時点で情報データの補間を行うことができ、その後は直ちに第二の最小符号化単位の復号を継続することができる。したがって、第一または第二の最小符号化単位でエラーが発生した時点で補間を直ちに行うことから、エラーによる影響を最小限に留めることができる。
［００１６］
また、制御手段が、時間情報から第一の最小符号化単位および第二の最小符号化単位の欠落を検出し、欠落時間分の情報データを補間手段に生成させて、再生手段に出力するようにしても良い。このようにすることにより、第一の最小符号化単位および第二の最小符号化単位の補間後に時間情報が検出された時点で欠落時間分の補間を行うことができるので、情報データ再生時の時間軸のずれを少なくすることができる。
［００１７］
また、制御手段が、一つ前の時間情報からの第一の最小符号化単位、第二の最小符号化単位の補間数および復号化数から算出した時間と、現在検出した時間情報とを比較して第一の最小符号化単位および第二の最小符号化単位の欠落を検出するようにしても良い。このようにすることにより、予め一つ前の時間情報からの第一の最小符号化単位および第二の最小符号化単位の補間数および復号化数から時間を算出しておき、時間現在の時間情報が付加された第一の最小符号化単位を検出した時点で比較すれば容易に第一の最小符号化単位および第二の最小符号化単位の欠落を検出することができる。
［００１８］
また、本発明の一実施形態にかかる情報データ受信方法は、第一、第二の最小符号化単位を復号化する際にエラーを検出した場合に、第一、第二の最小符号化単位分の時間の補間データを生成し、その補間データをエラーが検出された第一の最小符号化単位または第二の最小符号化単位の復号化データに代えて出力し、補間データを出力した後に復号化した情報データであってエラーが検出されなかった第二の最小符号化単位を、時間情報の到来を待たずに最小符号化単位毎に復号化するとともに再生し、エラーが検出されなかった第二の最小符号化単位の後に到来する第一の最小符号化単位に付加された時間情報に基づいて、欠落した第一または第二の最小符号化単位の補完を行っている。このようにすることにより、時間情報の有無に関わらずエラーが発生した時点で情報データの補間を行うことができ、その後は直ちに第二の最小符号化単位の復号を継続することができる。したがって、第一の最小符号化単位または第二の最小符号化単位でエラーが発生した時点で補間を直ちに行うことから、エラーによる影響を最小限に留めることができる。
［００１９］
また、時間情報から第一の最小符号化単位および第二の最小符号化単位の欠落を検出し、欠落時間分の情報データを生成して再生するようにしても良い。このようにすることにより、第一の最小符号化単位および第二の最小符号化単位の補間後に時間情報が検出された時点で欠落時間分の補間を行うことができるので、情報データ再生時の時間軸のずれを少なくすることができる。
［００２０］
また、一つ前の時間情報からの前記第一の最小符号化単位、前記第二の最小符号化単位の補間数および復号化数から算出した時間と、現在検出した時間情報とを比較して第一の最小符号化単位および第二の最小符号化単位の欠落を検出するようにしても良い。このようにすることにより、予め一つ前の時間情報からの前記第一の最小符号化単位および第二の最小符号化単位の補間数および復号化数から時間を算出しておき、時間現在の時間情報が付加された第一の最小符号化単位を検出した時点で比較すれば容易に前記第一の最小符号化単位および第二の最小符号化単位の欠落を検出することができる。
［００２１］
また、本発明の一実施形態にかかる情報データ受信プログラムは、復号化手段が第一、第二の最小符号化単位を復号化する際にエラーを検出した場合に、第一、第二の最小符号化単位分の時間の補間データを補間手段で生成し、その補間データを制御手段がエラーが検出された第一の最小符号化単位または第二の最小符号化単位の復号化データに代えて補間データを出力させ、補間データを再生手段に出力させた後に復号化手段が復号化した情報データであってエラーが検出されなかった第二の最小符号化単位を、時間情報の到来を待たずに最小符号化単位毎に復号化手段に復号化させるとともに再生手段に出力させて、エラーが検出されなかった第二の最小符号化単位の後に到来する第一の最小符号化単位に付加された時間情報に基づいて、欠落した第一または第二の最小符号化単位の補完を行うようにコンピュータに機能させる。このようにすることにより、時間情報の有無に関わらずエラーが発生した時点で情報データの補間を行うことができ、その後は直ちに第二の最小符号化単位の復号を継続することができる。したがって、第一または第二の最小符号化単位でエラーが発生した時点で補間を直ちに行うことから、エラーによる影響を最小限に留めることができる。
［００２２］
また、時間情報から第一の最小符号化単位および第二の最小符号化単位の欠落を検出し、欠落時間分の情報データを補間手段に生成させて、再生手段に出力するようにしても良い。このようにすることにより、第一の最小符号化単位および第二の最小符号化単位の補間後に時間情報が検出された時点で欠落時間分の補間を行うことができるので、情報データ再生時の時間軸のずれを少なくすることができる。
［００２３］
また、一つ前の時間情報からの第一の最小符号化単位、第二の最小符号化単位の補間数および復号化数から算出した時間と、現在検出した時間情報とを比較して第一の最小符号化単位および第二の最小符号化単位の欠落を検出するようにしても良い。このようにすることにより、予め一つ前の時間情報からの第一の最小符号化単位および第二の最小符号化単位の補間数および復号化数から時間を算出しておき、時間現在の時間情報が付加された第一の最小符号化単位を検出した時点で比較すれば容易に第一の最小符号化単位および第二の最小符号化単位の欠落を検出することができる。
［００２４］
また、請求項７乃至９のうちいずれか一項に記載の情報データ受信プログラムを記録媒体に格納してもよい。このようにすることにより、情報データ受信プログラムを機器に組み込む以外に単体でも流通させることができる。
実施例
［００２５］
本発明の一実施例にかかる情報データ受信装置１００を図２ないし図６を参照して説明する。情報データ受信装置１００は、入力端子から入力される情報データとしてのビットストリームを受信し、音声データを取り出して復号化し、再生する装置である。情報データ受信装置１００は、図２に示すようにＴＳデマルチプレクサ１０１と、音声入力バッファ１０２と、音声デコーダ１０３と、音声出力バッファ１０４と、Ｄ／Ａコンバータ１０５と、スピーカ１０６とを備えている。
［００２６］
受信手段としてのＴＳデマルチプレクサ１０１は、入力端子から入力されるＴＳ形式のビットストリームからＰＥＳパケットを復元し、音声データの取り出しおよびＰＥＳパケットヘッダから時間情報としてのＰＴＳの検出および音声データのエラー検出を行い、ＰＴＳやエラー検出情報は音声データとともに音声入力バッファ１０２に出力する。この際にＰＴＳは該ＰＥＳパケットの音声データの先頭に合わせるように、エラー検出情報は、音声データのエラー検出位置に合わせるように出力する。
【００２７】
音声入力バッファ１０２は、ＴＳデマルチプレクサ１０１から入力された音声データやＰＴＳおよびエラー検出情報を蓄積し、音声デコーダ１０３の要求に応じて、音声データやＰＴＳおよびエラー情報を出力する。
【００２８】
音声デコーダ１０３は、音声入力バッファ１０２から読み出した音声データをデコードして音声出力バッファ１０４に出力する。また、エラー検出情報があった場合はデコード結果およびＰＴＳに基づいて音声データを補間する。
【００２９】
音声デコーダ１０３では、図３に示すように、音声デコード制御部２０１と、補間データ生成部２０２と、音声デコード部２０３と、セレクタ２０４と、から構成されている。
【００３０】
制御手段としての音声デコード制御部２０１は、音声入力バッファ１０２からデコードの処理単位である最小符号化単位としてのフレームごとに読み出す。読み出したフレームにＰＴＳが付いていた場合は、そのＰＴＳと直前に出力したＰＴＳからのデコードまたは補間したフレーム数から時間を算出しておき、その時間からフレームの欠落を検出する。読み出したフレームにエラー検出情報が付いていた場合またはＰＴＳからフレームの欠落を検出した場合または音声デコード部２０３からエラー発生の通知があった場合は、補間データ生成部２０２に対して補間データの生成を指示する。エラー検出およびＰＴＳからフレームの欠落が検出されない場合は、音声デコード部２０３にフレームを出力する。さらに、補間データ生成部２０２または音声デコード部２０３のどちらに処理の指示を行ったかに応じてセレクタ２０４の切り替えを行う。
【００３１】
補間手段としての補間データ生成部２０２は、音声デコード制御部２０１からの指示に応じて、音声デコード部２０３の結果を参照しながらエラーフレームや欠落したフレーム分の補完データを１フレーム時間分生成してセレクタ２０４へ出力する。
【００３２】
復号化手段としての音声デコード部２０３は、音声デコード制御部２０１から入力されたフレームのデータをデコードしセレクタ２０４に出力する。デコード中にデコードエラーが発生した場合は、デコード処理を中止し、音声デコード制御部２０１にデコードエラーが発生したことを出力する。
【００３３】
セレクタ２０４は、音声デコード制御部２０１の指示により。補間データ生成部２０２または音声デコード部２０３のいずれか一方の出力を音声出力バッファ１０４へ出力する。また、出力するフレームにＰＴＳが付いている場合はＰＴＳも合わせて出力する。
【００３４】
音声デコーダ１０３の動作を図４のフローチャートを参照して説明する。
【００３５】
まず、ステップＳ１０１において、音声デコード制御部２０１内で計数している補間数およびデコード数としてのフレーム数を０にクリアしてステップＳ１０２に進む。
【００３６】
次に、ステップＳ１０２において、音声デコード制御部２０１で音声入力バッファ１０２よりフレーム単位の音声データ、ＰＴＳ、エラー検出情報を読み込みステップＳ１０３に進む。
【００３７】
次に、ステップＳ１０３において、音声デコード制御部２０１で読み込んだデータにＰＴＳがあるか否かを判断し、ＰＴＳがある場合（Ｙの場合）はステップＳ１１０に進み、そうでない場合（Ｎの場合）はステップＳ１０４に進む。
【００３８】
次に、ステップＳ１０４において、音声デコード制御部２０１で読み込んだデータにエラー検出情報があるか否かを判断し、エラー検出情報がある場合（Ｙの場合）はステップＳ１０７に進み、そうでない場合（Ｎの場合）はステップＳ１０５に進む。
【００３９】
次に、ステップＳ１０５において、音声デコード部２０３が読み込んだフレームのデータをデコードし、ステップＳ１０６に進む。
【００４０】
次に、ステップＳ１０６において、音声デコード部２０３でデコード中にエラーが発生したか否かを判断し、エラーが発生した場合（Ｙの場合）はステップＳ１０７に進み、そうでない場合（Ｎの場合）はステップＳ１０８に進む。
【００４１】
次に、ステップＳ１０７において、音声入力バッファ１０２から読み込んだデータにエラーが含まれていたまたは音声デコード部２０３からのデコードエラー発生を受けて音声デコード制御部２０１が補間データ生成部２０２に１フレーム時間分の補間データを生成させてステップＳ１０８に進む。１フレーム時間は入力されるビットストリームから取得し、また、補間の方法は、例えば、前のフレームを再度出力するようにしても良いし、過去の複数のフレームデータに基づいて補間データを生成するようにしても良い。
【００４２】
次に、ステップＳ１０８において、音声デコード制御部２０１がセレクタ２０４を切り替えてデコードまたは補間された音声データおよびＰＴＳを音声出力バッファ１０４に出力しステップＳ１０９に進む。
【００４３】
次に、ステップＳ１０９において、音声デコード制御部２０１内のフレーム数をインクリメントしてステップＳ１０２に戻る。
【００４４】
ステップＳ１１０においては、音声デコード制御部２０１で、ステップＳ１０３で得たＰＴＳが、直前に得たＰＴＳと音声デコード制御部２０１内で計数したフレーム数に１フレーム時間を掛けた値よりも大きいか否かを判断し、大きい場合（Ｙの場合）はステップＳ１１１に進み、そうでない場合（Ｎの場合）はステップＳ１１４に進む。すなわち、一つ前のＰＴＳからのフレームの補間数およびデコード数から算出した時間と、現在検出したＰＴＳとを比較してフレームの欠落を検出している。
【００４５】
次に、ステップＳ１１１において、ステップＳ１０３で検出したＰＴＳが直前に得たＰＴＳと音声デコード制御部２０１内で計数したフレーム数に１フレーム時間を掛けた値よりも大きいことからフレームの欠落があったと判断し、音声デコード制御部２０１が補間データ生成部２０２に１フレーム時間分の補間データを生成させてステップＳ１１２に進む。１フレーム時間は入力されるビットストリームから取得し、また、補間の方法は、例えば、前のフレームを再度出力するようにしても良いし、過去の複数のフレームデータに基づいて補間データを生成するようにしても良い。
【００４６】
次に、ステップＳ１１２において、音声デコード制御部２０１がセレクタ２０４を切り替えて補間された音声データおよびＰＴＳを音声出力バッファ１０４に出力しステップＳ１１３に進む。
【００４７】
次に、ステップＳ１１３において、音声デコード制御部２０１内のフレーム数をインクリメントしてステップＳ１１０に戻る。
【００４８】
ステップＳ１１４においては、音声デコード制御部２０１内のフレーム数を０にクリアしてステップＳ１０４に進む。
【００４９】
ここで、上述したフローチャートによる動作の例を図５、図６を参照して説明する。
【００５０】
まず、図５は、情報データ受信装置１００に入力されているビットストリームの一部を抜き出した図である。入力フレーム列がフレーム１から順に入力され、フレーム１が前のＰＥＳパケットの最後のフレームを示し、フレーム２から６までがＰＥＳパケットを構成し、フレーム７から次のＰＥＳパケットを示している場合の例である。図５に示したようにＰＥＳパケットの先頭フレームであるフレーム２と７にはＰＴＳが付加されている。以降の説明は、フレーム２〜６を含むＰＥＳパケットを中心に説明する。
【００５１】
図５においてフレーム３でデコード中にエラーが検出され、フレーム５でフレームデータを読み込んだときにエラー検出情報が含まれていたとすると、まず、ＰＥＳパケットの先頭であるフレーム２の場合は、ステップＳ１０２、Ｓ１０３と進みＰＴＳが付加されているのでＳ１１０と進み前のＰＥＳパケットでエラーが無かったとすれば、ステップＳ１１４、Ｓ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０８と進みデコードされた音声データが出力され、ステップＳ１０９に進み、フレーム数を１としてステップＳ１０２に戻る。ステップＳ１０２ではフレーム３を読み込み、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６と進み、エラーが検出されステップＳ１０７に進み１フレーム時間分補間データが生成され、ステップＳ１０８、ステップＳ１０９と進み、フレーム数を２としてステップＳ１０２に戻る。ステップＳ１０２ではフレーム４を読み込み、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０８、ステップＳ１０９と進み、フレーム数を３としてステップＳ１０２に戻る。
【００５２】
続いて、ステップＳ１０２でフレーム５を読み込み、ステップＳ１０３、ステップＳ１０４と進みエラー検出情報が含まれていたのでステップＳ１０７に進み１フレーム時間分補間データが生成され、ステップＳ１０８、ステップＳ１０９と進み、フレーム数を４としてステップＳ１０２に戻る。ステップＳ１０２ではフレーム６を読み込み、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０８、ステップＳ１０９と進み、フレーム数を５としてステップＳ１０２に戻る。
【００５３】
そして、ステップＳ１０２で次のＰＥＳパケットの先頭であるフレーム７を読み込み、ステップＳ１０３、ステップＳ１１０と進み、ステップＳ１１０で、フレーム７に含まれるＰＴＳが、フレーム２に含まれるＰＴＳにフレーム数と１フレーム時間を掛けた値を加えた時間よりも大きいか否かを判断する。フレーム２に含まれるＰＴＳにフレーム数と１フレーム時間を掛けた値を加えた時間は、上述したように、フレーム２のＰＴＳ＋５×１フレーム時間となり、フレーム７に含まれるＰＴＳは、図５に示すようにフレーム２から５フレーム時間分進んだ時間であることからステップＳ１１０はＮとなり、ステップＳ１１４に進む。すなわち、フレームの欠落が検出されなかったのでフレームの補間は行われない。
【００５４】
次に、図６の場合を説明する。図６は、エラーの発生がフレーム３で発生し、さらにエラーによってフレーム４の先頭が認識できない状態であることが図５とは異なる。
【００５５】
まず、ＰＥＳパケットの先頭であるフレーム２の場合は、ステップＳ１０２、Ｓ１０３と進みＰＴＳが付加されているのでＳ１１０と進み前のＰＥＳパケットでエラーが無かったとすれば、ステップＳ１１４、Ｓ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０８と進みデコードされた音声データが出力され、ステップＳ１０９に進み、フレーム数を１としてステップＳ１０２に戻る。ステップＳ１０２ではフレーム３を読み込み、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６と進み、エラーが検出されステップＳ１０７に進み１フレーム時間分補間データが生成され、ステップＳ１０８、ステップＳ１０９と進み、フレーム数を２としてステップＳ１０２に戻る。ステップＳ１０２ではフレーム４が検出できないので、先頭が検出できるフレーム５を読み込み、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０８、ステップＳ１０９と進み、フレーム数を３としてステップＳ１０２に戻る。すなわち、１フレーム時間分補間したのちにエラーが検出されなかったフレームの復号化データを続けて出力している。
【００５６】
続いて、ステップＳ１０２ではフレーム６を読み込み、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０８、ステップＳ１０９と進み、フレーム数を４としてステップＳ１０２に戻る。
【００５７】
そして、ステップＳ１０２で次のＰＥＳパケットの先頭であるフレーム７を読み込み、ステップＳ１０３、ステップＳ１１０と進み、ステップＳ１１０で、フレーム７に含まれるＰＴＳが、フレーム２に含まれるＰＴＳにフレーム数と１フレーム時間を掛けた値を加えた時間よりも大きいか否かを検出する。フレーム２に含まれるＰＴＳにフレーム数と１フレーム時間を掛けた値を加えた時間は、上述したように、フレーム２のＰＴＳ＋４×１フレーム時間となり、フレーム７に含まれるＰＴＳは、図６に示すようにフレーム２から５フレーム時間分進んだ時間であることからステップＳ１１０はＹとなり、ステップＳ１１１、Ｓ１１２と進み補間データとＰＴＳを出力して、ステップＳ１１３でフレームを５としてステップＳ１１０に戻る。ステップＳ１１０で、再度フレーム７に含まれるＰＴＳが、フレーム２に含まれるＰＴＳにフレーム数と１フレーム時間を掛けた値を加えた時間よりも大きいか否かを検出し、フレーム２に含まれるＰＴＳにフレーム数と１フレーム時間を掛けた値を加えた時間は、フレーム２のＰＴＳ＋５×１フレーム時間となりフレーム７のＰＴＳと一致するのでステップＳ１１４に進む。すなわち、ＰＴＳからフレームの欠落を検出し、フレームの補間を行っている。
【００５８】
なお、図６の場合にデコード中のエラー検出でなくフレーム３にエラー検出情報が付加されており、かつフレーム４の先頭が認識できない場合も同様の動作となる。
【００５９】
音声出力バッファ１０４は、音声デコーダ１０３から入力されたデコード済みまたは補間された音声データおよびＰＴＳを蓄積し、ＰＴＳに合わせてＤ／Ａコンバータ１０５に出力する。
【００６０】
再生手段としてのＤ／Ａコンバータ１０５は、音声出力バッファ１０４から入力されたデジタル値の音声データをアナログ信号に変換し、スピーカ１０６へ出力する。
【００６１】
スピーカ１０６は、Ｄ／Ａコンバータ１０５から出力されたアナログ信号を図示しないアンプで所定のレベルに増幅した後音声として放音する。
【００６２】
本実施例によれば、情報データ受信装置１００において、入力されたビットストリームからＰＥＳパケットをＴＳデマルチプレクサ１０１で復元し、音声デコーダ１０３でフレーム毎に復号化する。ＰＥＳパケット復元時のエラー検出または、音声デコーダ１０３内の音声デコード部２０３でデコード中にエラー検出した場合には、音声デコーダ１０３内の補間データ生成部２０２で１フレーム時間分の補間データを生成し、音声デコード制御部２０１が、エラーフレームに代えて補間データを音声出力バッファ１０４に出力するようにセレクタ２０４を切替えて、次のフレームの復号化を行いエラーが検出されなければそのまま出力されるので、エラー検出時には直ちに１フレーム時間分の音声データを補間することができる。そして、次のフレームの復号化を行い正常であればそのまま出力するので、１フレーム単位で補間を行えることからエラーの影響を最小限に留めて以降のフレームの音声情報を出力することができる。
【００６３】
さらに、ＰＴＳを検出した時点で、そのＰＴＳと、前のＰＴＳと補間またはデコードしたフレーム数から算出した時間と、を比較し、その結果現在のＰＴＳが大きい場合はフレームの欠落が有ると判断して、欠落時間分のフレームの補間を行うので、ＰＴＳを検出した時点で容易に欠落フレームの有無が判断でき補間を行うことができる。したがって、デコードデータの時間軸のずれを少なくすることができる。
［００６４］
なお、上述した実施例ではフレームの欠落を、ＰＴＳと、前のＰＴＳからの補間数およびフレーム数から算出した時間と、を比較して判定していたが、それに限らず、例えば情報データ受信装置内部に時計機能を持ち、その時計とＰＴＳとからフレームの欠落を検出しても良い。すなわち、フレームが本来到着していなければならない時刻になっても到着していない場合はフレーム欠落であると判定するようにしても良い。
［００６５］
また、上述した実施例では、フレームの欠落を、ＰＴＳと、前のＰＴＳからの補間数およびフレーム数から算出した時間と、を比較して判定していたが、ＰＴＳの揺らぎ分を考慮して判定を行っても良い。例えば、図５では、２つのＰＴＳ間は５フレーム時間であるが、実際のＭＰＥＧシステムの伝送においては、フレーム７に付加されるＰＴＳが必ずしもフレーム２から５フレーム後の時間でないことがあるため（約１／２フレーム時間未満の範囲で揺らぐことがある）、その分を考慮して判定を行っても良い。
［００６６］
また、上述した実施例は、音声について説明したが、音声に限らず映像についても、例えばピクチヤが最小符号化単位であった場合に、ピクチヤに時間情報が付加されたものと付加されないものがあった場合には本発明を適用することができる。
［００６７］
また、上述した情報データ受信装置をコンピュータで動作するプログラムとしてもよい。その際には、図２のブロック図に示された各ブロックの機能をＣＰＵおよびメモリなどに機能されることで、コンピュータ読み取り可能な情報データ受信プログラムとすることができる。
［００６８］
また、本発明を地上デジタル放送やＣＡＴＶおよびインターネット経由の放送などを受信する受信機に適用すれば、伝送時のエラーの影響を最小限に留めることができる。特に電波で情報が伝送される移動体受信機であるモバイル機器や車載機器などに適用すると非常に効果的である。
［００６９］
前述した実施例によれば、以下の情報データ受信装置、情報データ受信方法および情報データ受信プログラムが得られる。
［００７０］
（付記１）ＰＴＳが付加されているフレームと、ＰＴＳが付加されていないフレームとが混在するビットストリームを受信するＴＳデマルチプレクサ１０１と、ＴＳデマルチプレクサ１０１が受信したビットストリームをフレーム毎に復号化する音声デコード部２０３と、音声デコード部２０３が復号化した音声データを再生するＤ／Ａコンバータ１０５と、を有する情報データ受信装置１００において、音声デコード部２０３がフレームを復号化する際にエラーを検出した場合は、１フレーム時間分の補間データを生成する補間データ生成部２０２と、エラーが検出されたフレームの音声データに代えて補間データを出力させ、補間データをＤ／Ａコンバータ１０５に出力させた後に音声デコード部２０３が復号化した情報データであってエラーが検出されなかったＰＴＳが付加されていないフレームを、ＰＴＳの到来を待たずにフレーム毎に音声デコード部２０３に復号化させるとともにＤ／Ａコンバータ１０５に出力させて、エラーが検出されなかったＰＴＳが付加されていないフレームの後に到来するＰＴＳが付加されているフレームに付加されたＰＴＳに基づいて、欠落したフレームの補完を行う音声デコード制御部２０１と、を有したことを特徴とする情報データ受信装置。
［００７１］
この情報データ受信装置１００によれば、ＰＴＳの有無に関わらずエラーが発生した時点で音声データの補間を１フレーム分行うことができ、その後は直ちにフレーム単位の復号を継続することができる。したがって、フレームでエラーが発生した時点で補間を直ちに行うことから、エラーによる影響を最小限に留めることができる。
［００７２］
（付記２）ＰＴＳが付加されているフレームと、ＰＴＳが付加されていないフレームとが混在するビットストリームを受信し、受信したビットストリームをフレーム毎に復号化して、復号化した音声データを再生する情報データ受信方法において、フレームを復号化する際にエラーを検出した場合は、１フレーム時間分の補間データを生成し、エラーが検出されたフレームの音声データに代えて補間データを出力し、補間データを出力した後に復号化した情報データであってエラーが検出されなかったＰＴＳが付加されていないフレームを、ＰＴＳの到来を待たずにフレーム毎に復号化するとともに再生し、エラーが検出されなかったＰＴＳが付加されていないフレームの後に到来するＰＴＳが付加されているフレームに付加されたＰＴＳに基づいて、欠落したフレームの補完を行うように制御することを特徴とする情報データ受信方法。
［００７３］
この情報データ受信方法によれば、ＰＴＳの有無に関わらずエラーが発生した時点で音声データの補間を１フレーム分行うことができ、その後は直ちにフレーム単位の復号を継続することができる。したがって、フレームでエラーが発生した時点で補間を直ちに行うことから、エラーによる影響を最小限に留めることができる。
［００７４］
（付記３）ＰＴＳが付加されているフレームと、ＰＴＳが付加されていないフレームとが混在するビットストリームを受信するＴＳデマルチプレクサ１０１と、ＴＳデマルチプレクサ１０１が受信したビットストリームをフレーム毎に復号化する音声デコード部２０３と、音声デコード部２０３が復号化した音声データを再生するＤ／Ａコンバータ１０５と、してコンピュータに機能させる情報データ受信プログラムにおいて、音声デコード部２０３がフレームを復号化する際にエラーを検出した場合は、１フレーム時間分の補間データを生成する補間データ生成部２０２と、エラーが検出されたフレームの音声データに代えて補間データを出力させ、補間データをＤ／Ａコンバータ１０５に出力させた後に音声デコード部２０３が復号化した情報データであってエラーが検出されなかったＰＴＳが付加されていないフレームを、ＰＴＳの到来を待たずにフレーム毎に音声デコード部２０３に復号化させるとともにＤ／Ａコンバータ１０５に出力させて、エラーが検出されなかったＰＴＳが付加されていないフレームの後に到来するＰＴＳが付加されているフレームに付加されたＰＴＳに基づいて、欠落したフレームの補完を行う音声デコード制御部２０１と、してコンピュータに機能させることを特徴とするコンピュータ読み取り可能な情報データ受信プログラム。
［００７５］
この情報データ受信プログラムによれば、ＰＴＳの有無に関わらずエラーが発生した時点で音声データの補間を１フレーム分行うことができ、その後は直ちにフレーム単位の復号を継続することができる。したがって、フレームでエラーが発生した時点で補間を直ちに行うことから、エラーによる影響を最小限に留めることができる。
［００７６］
なお、前述した実施例は本発明の代表的な形態を示したに過ぎず、本発明は、実施例に限定されるものではない。すなわち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。

Claims

復号化や再生のための時間情報が付加されている第一の最小符号化単位と、前記時間情報が付加されていない第二の最小符号化単位とが混在する情報データを受信する受信手段と、前記受信手段が受信した情報データを前記最小符号化単位毎に復号化する復号化手段と、前記復号化手段が復号化した復号化データを再生する再生手段と、を有する情報データ受信装置であって、
前記復号化手段が前記第一の最小符号化単位または第二の最小符号化単位を復号化する際にエラーを検出した場合は、前記第一の最小符号化単位または第二の最小符号化単位の時間分の補間データを生成する補間手段と、
エラーが検出された前記第一の最小符号化単位または第二の最小符号化単位の情報データに代えて前記補間データを出力させ、前記補間データを前記再生手段に出力させた後に前記復号化手段が復号化した情報データであってエラーが検出されなかった前記第二の最小符号化単位を、前記時間情報の到来を待たずに最小符号化単位毎に前記復号化手段に復号化させるとともに前記再生手段に出力させて、前記エラーが検出されなかった第二の最小符号化単位の後に到来する前記第一の最小符号化単位に付加された時間情報に基づいて、欠落した前記第一の最小符号化単位または第二の最小符号化単位の補完を行う制御手段と、
を有したことを特徴とする情報データ受信装置。
前記制御手段が、前記時間情報から前記第一の最小符号化単位および第二の最小符号化単位の欠落を検出し、欠落時間分の情報データを前記補間手段に生成させて、前記再生手段に出力することを特徴とする請求項１に記載の情報データ受信装置。
前記制御手段が、一つ前の前記時間情報からの前記第一の最小符号化単位、第二の最小符号化単位の補間数および復号化数から算出した時間と、現在検出した前記時間情報とを比較して前記第一の最小符号化単位および第二の最小符号化単位の欠落を検出することを特徴とする請求項２に記載の情報データ受信装置。
復号化や再生のための時間情報が付加されている第一の最小符号化単位と、前記時間情報が付加されていない第二の最小符号化単位とが混在する情報データを受信し、受信した情報データを前記最小符号化単位毎に復号化して、復号化した復号化データを再生する情報データ受信方法であって、
前記第一の最小符号化単位または第二の最小符号化単位を復号化する際にエラーを検出した場合は、前記第一の最小符号化単位または第二の最小符号化単位の時間分の補間データを生成し、エラーが検出された前記第一の最小符号化単位または第二の最小符号化単位の情報データに代えて前記補間データを出力し、前記補間データを出力した後に復号化した情報データであってエラーが検出されなかった前記第二の最小符号化単位を、前記時間情報の到来を待たずに最小符号化単位毎に復号化するとともに再生し、前記エラーが検出されなかった第二の最小符号化単位の後に到来する前記第一の最小符号化単位に付加された時間情報に基づいて、欠落した前記第一の最小符号化単位または第二の最小符号化単位の補完を行うように制御することを特徴とする情報データ受信方法。
前記時間情報から前記第一の最小符号化単位および第二の最小符号化単位の欠落を検出し、欠落時間分の補間データを生成させて再生することを特徴とする請求項４に記載の情報データ受信方法。
一つ前の前記時間情報からの前記第一の最小符号化単位、第二の最小符号化単位の補間数および復号化数から算出した時間と、現在検出した前記時間情報とを比較して前記第一の最小符号化単位および第二の最小符号化単位の欠落を検出することを特徴とする請求項５に記載の情報データ受信方法。
復号化や再生のための時間情報が付加されている第一の最小符号化単位と、前記時間情報が付加されていない第二の最小符号化単位とが混在する情報データを受信する受信手段と、前記受信手段が受信した情報データを前記最小符号化単位毎に復号化する復号化手段と、前記復号化手段が復号化した復号化データを再生する再生手段と、してコンピュータに機能させる情報データ受信プログラムであって、
前記復号化手段が前記第一の最小符号化単位または第二の最小符号化単位を復号化する際にエラーを検出した場合は、前記第一の最小符号化単位または第二の最小符号化単位の時間分の補間データを生成する補間手段と、
エラーが検出された前記第一の最小符号化単位または第二の最小符号化単位の情報データに代えて前記補間データを出力させ、前記補間データを前記再生手段に出力させた後に前記復号化手段が復号化した情報データであってエラーが検出されなかった前記第二の最小符号化単位を、前記時間情報の到来を待たずに最小符号化単位毎に前記復号化手段に復号化させるとともに前記再生手段に出力させて、前記エラーが検出されなかった第二の最小符号化単位の後に到来する前記第一の最小符号化単位に付加された時間情報に基づいて、欠落した前記第一の最小符号化単位または第二の最小符号化単位の補完を行う制御手段と、
してコンピュータに機能させることを特徴とするコンピュータ読み取り可能な情報データ受信プログラム。
前記制御手段が、前記時間情報から前記第一の最小符号化単位および第二の最小符号化単位の欠落を検出し、欠落時間分の情報データを前記補間手段に生成させて、前記再生手段に出力することを特徴とする請求項７に記載の情報データ受信プログラム。
前記制御手段が、一つ前の前記時間情報からの前記第一の最小符号化単位、第二の最小符号化単位の補間数および復号化数から算出した時間と、現在検出した前記時間情報とを比較して前記第一の最小符号化単位および第二の最小符号化単位の欠落を検出することを特徴とする請求項８に記載の情報データ受信プログラム。
請求項７乃至９のうちいずれか一項に記載の情報データ受信プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。