JP5865899B2 - 立体音響の再生方法及び装置 - Google Patents

Description

本発明は、立体音響の再生方法及び装置に係り、特に、音響オブジェクトに対して遠近感を付与する立体音響の再生方法及び装置に関する。

画像技術の発展によって、ユーザは、３次元立体画像を視聴可能になった。３次元立体画像は、両眼視差を考慮して、左視点画像データを左眼に露出させ、右視点画像データを右眼に露出させる。ユーザは、３次元画像技術を通じて、スクリーンから飛び出るか、またはスクリーンに入り込むオブジェクトを実感の出るように認識できる。

一方、画像技術の発展と共に、音響へのユーザの関心が増大しており、特に、立体音響技術が非常に発展している。立体音響技術は、ユーザの周囲に複数のスピーカを配して、ユーザが定位感及び臨場感を感じるようにする。しかし、立体音響技術では、ユーザに近づくかまたはユーザから遠ざかる画像オブジェクトを効果的に表現できないので、立体画像に符合する音響効果が提供できない。

本発明が解決しようとする課題は、効果的に立体音響を再生する方法及び装置を提供するものであって、特に、音響オブジェクトに対して遠近感を付与して、ユーザに近づくかまたは遠ざかる音響を効果的に表現する立体音響の再生方法及び装置を提供することである。

前記課題を達成するために、本発明の一実施形態による一つの特徴は、音響信号内の少なくとも一つのオブジェクトと基準位置との間の距離を表す音響深度情報を獲得するステップと、前記音響深度情報に基づいて、前記オブジェクトに遠近感を付与するステップと、を含む。

前記音響信号は、複数の区間に区分され、前記音響深度情報を獲得するステップは、以前区間での前記音響信号と、次の区間での前記音響信号とを比較して、前記音響深度情報を獲得するステップを含む。

前記音響深度情報を獲得するステップは、前記複数の区間のそれぞれに対して周波数帯域別パワーを計算するステップと、前記周波数帯域別パワーに基づいて、隣接した区間で共通してパワーが一定臨界値以上である周波数帯域を共通周波数帯域と決定するステップと、前記現在区間での共通周波数帯域のパワーと、前記現在区間と隣接した以前区間での共通周波数帯域のパワーとの差に基づいて、前記音響深度情報を獲得するステップと、を含む。

前記方法は、前記音響信号からセンタースピーカに出力されるセンターチャネル信号を獲得するステップをさらに含み、前記パワーを計算するステップは、前記センターチャネル信号に基づいて、前記周波数帯域別パワーを計算するステップを含む。

前記遠近感を付与するステップは、前記音響深度情報に基づいて、前記オブジェクトのパワーを調整するステップを含む。

前記遠近感を付与するステップは、前記音響深度情報に基づいて、前記オブジェクトが反射されて発生する反射信号の利得及び遅延時間を調整するステップを含む。

前記遠近感を付与するステップは、前記音響深度情報に基づいて、前記オブジェクトの低帯域成分の大きさを調整するステップを含む。

前記遠近感を付与するステップは、第１スピーカから出力される前記オブジェクトの位相と、第２スピーカから出力される前記オブジェクトの位相との差を調整するステップを含む。

前記遠近感が付与されたオブジェクトを、左側サラウンドスピーカ及び右側サラウンドスピーカを通じて出力するか、または左側フロントスピーカ及び右側フロントスピーカを通じて出力するステップをさらに含む。

前記方法は、前記音響信号を利用して、スピーカの外郭に音相を定位させるステップをさらに含む。

本発明の他の実施形態による一つの特徴は、音響信号内の少なくとも一つのオブジェクトと基準点との間の距離を表す音響深度情報を獲得する情報獲得部と、前記音響深度情報に基づいて、前記オブジェクトに遠近感を付与する遠近感提供部と、を備える。

本発明の一実施形態による立体音響再生装置に関するブロック図である。 本発明の一実施形態に他の音響深度情報獲得部に関するブロック図である。 本発明の一実施形態による２チャネル音響信号を利用して立体音響を提供する立体音響再生装置に関するブロック図である。 （Ａ）〜（Ｄ）は、本発明の一実施形態による立体音響を提供する一例を示す図面である。 本発明の一実施形態による音響信号に基づいて音響深度情報を生成する方法に関するフローチャートである。 （Ａ）〜（Ｄ）は、本発明の一実施形態による音響信号から音響深度情報を生成する一例を示す図面である。 本発明の一実施形態による立体音響の再生方法に関するフローチャートである。

まず、説明の便宜上、本明細書で使われる用語を簡単に定義する。

音響オブジェクトは、音響信号に含まれた一つ以上の音響のそれぞれを表す。一つの音響信号には、多様な音響オブジェクトが含まれる。例えば、オーケストラの公演実況を録音して生成された音響信号には、ギター、バイオリン、オーボエなどの多様な楽器から発生した多様な音響オブジェクトが含まれる。

音源は、音響オブジェクトを生成した対象(例えば、楽器、声)を称す。本明細書では、音響オブジェクトを実際に生成した対象と、ユーザが音響オブジェクトを生成したと認識する対象とをいずれも音源と称す。一例として、ユーザが映画を視聴している間、リンゴがスクリーンからユーザ側に飛び出してくれば、リンゴが飛び出してくる時に発生する音(音響オブジェクト)が音響信号に含まれる。前記音響オブジェクトは、実際にリンゴを投げ出てくる声を録音したものでもあり、予め録音された音響オブジェクトを単純に再生するものでもある。しかし、いずれの場合でも、ユーザは、リンゴが前記音響オブジェクトを発生させたと認識するので、リンゴも、本明細書で定義する音源に当たる。

音響深度情報は、音響オブジェクトと基準位置との間の距離を表す情報である。具体的に、音響深度情報は、音響オブジェクトが発生した位置(音源の位置)と基準位置との間の距離を表す。

前述したように、ユーザが映画を視聴している間、リンゴがスクリーンからユーザ側に飛び出してくれば、音源とユーザとの距離が近づいている。リンゴが近づいているということを効果的に表現するためには、画像オブジェクトに対応する音響オブジェクトの発生位置がさらにユーザに近づくと表現せねばならず、このための情報が音響深度情報に含まれる。

基準位置は、所定の音源の位置、スピーカの位置、ユーザの位置など、実施形態によって多様である。

音響遠近感は、ユーザが音響オブジェクトを通じて感じる感覚の一種である。ユーザは、音響オブジェクトを聴取することによって、音響オブジェクトが発生した位置、すなわち、音響オブジェクトを生成した音源の位置を認識する。この時、ユーザが認識する音源との距離感を音響遠近感と称す。

以下、添付した図面を参照して、本発明の望ましい実施形態を詳細に説明する。

図１は、本発明の一実施形態による立体音響再生装置１００に関するブロック図である。
本発明の一実施形態による立体音響再生装置１００は、音響深度情報獲得部１１０及び遠近感提供部１２０を備える。

音響深度情報獲得部１１０は、音響信号に含まれた一つ以上の音響オブジェクトに対して音響深度情報を獲得する。音響信号には、一つ以上の音源で生成する音響が含まれている。音響深度情報は、音響が発生した位置(例えば、音源の位置)と基準位置との間の距離を表す情報である。

音響深度情報は、オブジェクトと基準位置との絶対距離を表すこともあるが、基準位置に対する相対的な距離を表すこともある。他の実施形態において、音響深度情報は、音響オブジェクトと基準位置との間の距離の変化のみを表すこともある。

音響深度情報獲得部１１０は、音響信号を分析して音響深度情報を獲得してもよく、３次元画像データを分析して音響深度情報を獲得してもよく、画像深度マップから音響深度情報を生成してもよい。本明細書には、音響深度情報獲得部１１０が音響信号を分析して音響深度情報を獲得する場合を重点的に説明する。

音響深度情報獲得部１１０は、音響信号を構成する複数の区間を隣接した区間と比較して、音響深度情報を獲得する。音響信号を分割する方法は、多様である。一例として、音響信号は、所定のサンプル数ごとに分割される。分割されたそれぞれの区間は、フレームやブロックと称される。音響深度情報獲得部１１０の一例についての詳細な説明は、図２で後述する。

遠近感提供部１２０は、音響深度情報に基づいて、ユーザが音響遠近感を感じられるように音響信号を処理する。遠近感提供部１２０は、ユーザが音響遠近感を効果的に感じるようにするために、次の４つの作業を行う。しかし、遠近感提供部１２０で行う４つの作業は、一例に過ぎず、本発明は、これに限定されない。

ｉ)遠近感提供部１２０は、音響深度情報に基づいて、音響オブジェクトのパワーを調整する。音響オブジェクトがユーザに近い所で発生するほど、音響オブジェクトのパワーが大きくなる。

ｉｉ)遠近感提供部１２０は、音響深度情報に基づいて、反射信号の利得及び遅延時間を調整する。ユーザは、障害物に反射されない直接音響信号と、障害物に反射されて生成された反射音響信号とを全部聴取する。反射音響信号が直接音響信号に比べて大きさが小さく、直接音響に比べて一定時間遅延されてユーザに達することが一般的である。特に、音響オブジェクトがユーザに近い所で発生した場合には、反射音響信号は、直接音響信号に比べて非常に遅く到着し、大きさも遥かに小さくなる。

ｉｉｉ)遠近感提供部１２０は、音響深度情報に基づいて、音響オブジェクトの低帯域成分を調整する。音響オブジェクトがユーザに近い所で発生すれば、ユーザは、低帯域成分を大きく認識する。

ｉｖ)遠近感提供部１２０は、音響深度情報に基づいて、音響オブジェクトの位相を調節する。第１スピーカから出力される音響オブジェクトの位相と、第２スピーカから出力される音響オブジェクトの位相との差が大きければ大きいほど、ユーザは、音響オブジェクトが近くあると認識する。

遠近感提供部１２０の動作に関する詳細な説明は、図３を参照して後述する。

図２は、本発明の一実施形態による音響深度情報獲得部１１０に関するブロック図である。本発明の一実施形態による音響深度情報獲得部１１０は、パワー計算部２１０、決定部２２０及び生成部２３０を備える。パワー計算部２１０は、音響信号を構成する区間のそれぞれに対して、周波数帯域別パワーを計算する。

周波数帯域のサイズを決定する方法は、実施形態によって多様である。以下では、周波数帯域のサイズを決定する２つの方法を提示するが、本発明は、これに限定されない。

ｉ)音響信号に対する周波数成分を同じサイズの周波数帯域に分割することができる。人間の耳が聴取できる可聴周波数は、２０〜２００００Ｈｚである。ｉ)方法によって可聴周波数を１０個の帯域に分割すれば、周波数帯域のサイズは、全部約２００Ｈｚとなる。音響信号の周波数成分を同じサイズの周波数帯域に分割する方式は、等価帯域幅(Ｅｑｕｉｖａｌｅｎｔ Ｒｅｃｔａｎｇｕｌａｒ Ｂａｎｄｗｉｄｔｈ)分割方式と称されることもある。

ｉｉ)音響信号に対する周波数成分を相異なるサイズの周波数帯域に分割することができる。人間の聴覚は、低い周波数の音響を聴取する時には、小さい周波数の変化も容易に認識できるが、高い周波数の音響を聴取する時には、小さい周波数の変化を認識できない。ｉｉ)方法の場合、人間の聴覚を考慮して、低い周波数帯域を細かく分割し、高い周波数帯域を疎らに分割する。したがって、低い周波数帯域は、幅が狭く、高い周波数帯域は、幅が広い。

決定部２２０は、周波数帯域別パワーに基づいて、隣接区間でパワーが一定臨界値以上である共通する周波数帯域を共通周波数帯域と決定する。一例として、現在区間で‘Ａ'以上のパワーを有する周波数帯域を選定し、以前区間で‘Ａ'以上のパワーを有する周波数帯域(または、現在区間で上位５番目以内のパワーを有する周波数帯域及び以前区間で上位５番目以内のパワーを有する周波数帯域)を選定した後、以前区間及び現在区間でいずれも選定された周波数帯域を共通周波数帯域と決定する。臨界値以上の周波数帯域に限定する理由は、信号の大きさが大きい音響オブジェクトの位置を獲得するためである。これにより、信号の大きさが小さい音響オブジェクトの影響力を最小化し、主な音響オブジェクトの影響力を最大化する。決定部２２０が共通周波数帯域を決定する他の理由は、以前区間ではなかった新たな音響オブジェクトが現在区間で生成されたか、あるいは以前から存在した音響オブジェクトの特性(例えば、発生位置)が変更されたかを判断するためである。

生成部２３０は、以前区間での共通周波数帯域のパワーと、現在区間での共通周波数帯域のパワーとの差に基づいて、音響深度情報を生成する。説明の便宜上、共通周波数帯域を３０００〜４０００Ｈｚと仮定する。以前区間で３０００〜４０００Ｈｚの周波数成分のパワーが３Ｗであり、現在区間で３０００〜４０００Ｈｚの周波数成分のパワーが４.５Ｗであれば、共通周波数帯域のパワーが増加した。これは、ユーザにさらに近接した位置で現在区間の音響オブジェクトが発生したと判断できる。もし、隣接区間の間で共通周波数帯域のパワーの差値が基準値(ｔｈｒｅｓｈｏｌｄ)より大きければ、音響オブジェクトと基準位置との位置変化が発生したと判断できる。

実施形態によって、３次元画像に関する深度マップ情報に基づいて、隣接区間での共通周波数帯域のパワーが変わる時、ユーザに近づく(すなわち、スクリーンから飛び出る)画像オブジェクトが存在するか否かを判断する。隣接区間で共通周波数帯域のパワーが変わる時、画像オブジェクトがユーザに近づければ、画像オブジェクトの移動に対応して、音響オブジェクトの発生位置が移動すると判断できる。

生成部２３０は、以前区間及び現在区間での共通周波数帯域のパワー変化が大きければ大きいほど、現在区間での共通周波数帯域に当たる音響オブジェクトが、以前区間での共通周波数帯域に当たる音響オブジェクトに比べて、ユーザにさらに近い所で発生すると判断できる。

図３は、本発明の一実施形態によるステレオ音響信号を利用して立体音響を提供する立体音響再生装置３００に関するブロック図である。

もし、入力信号が多チャンネル音響信号ならば、ステレオ信号でダウンミキシングを行った後に本発明を適用する。

ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部３１０は、入力信号に対して高速フーリエ変換を行う。ＩＦＦＴ（Ｉｎｖｅｒｓｅ ＦＦＴ）３２０は、フーリエ変換された信号に対して逆フーリエ変換を行う。

センター信号抽出部３３０は、ステレオ信号からセンターチャネルに当たる信号であるセンター信号を抽出する。センター信号抽出部３３０は、ステレオ信号から相関度の大きい信号をセンターチャネル信号として抽出する。図３では、センターチャネル信号に基づいて音響深度情報を生成すると仮定した。しかし、センターチャネル信号を利用して音響深度情報を生成するのは、一例に過ぎず、左・右フロントチャネル信号または、左・右サラウンドチャネル信号など他のチャネル信号を利用して音響深度情報を生成することもある。

音場拡張部３５０は、音場を拡張する。音場拡張部３５０は、ステレオ信号に時間差や位相差を人為的に付与して、音相をスピーカより外側に定位させる。音響深度情報獲得部３６０は、センター信号に基づいて、音響深度情報を獲得する。パラメータ計算部３７０は、音響深度情報に基づいて、音響オブジェクトへの音響遠近感の提供に必要な制御パラメータ値を決定する。

レベル制御部３７１は、入力信号の大きさを制御する。位相制御部３７２は、入力信号の位相を調整する。反射効果提供部３７３は、入力信号が壁によって反射されて発生する反射信号をモデリングする。

近距離効果提供部３７４は、ユーザと隣接した距離で発生した音響信号をモデリングする。ミキシング部３８０は、一つ以上の信号をミキシングしてスピーカに出力する。

以下では、経時的に立体音響再生装置３００の動作を説明する。

まず、多チャンネル音響信号が入力される場合、ダウンミキサー(図示せず)を通じてステレオ信号に変換する。

ＦＦＴ ３１０は、ステレオ信号に対して高速フーリエ変換を行った後、センター抽出部３２０に出力する。センター信号抽出部３２０は、変換されたステレオ信号を比較して、相関度の大きい信号をセンターチャネル信号として出力する。

音響深度情報獲得部３６０は、センター信号に基づいて音響深度情報を生成する。音響深度情報獲得部３６０で音響深度情報を生成する方法は、図２と同じである。すなわち、センターチャネル信号を構成するそれぞれの区間で周波数帯域別パワーを計算し、これに基づいて共通周波数帯域を決定する。隣接する二つ以上の区間で共通周波数帯域のパワー変化を測定し、パワー変化によって深度インデックスを設定する。隣接する区間での共通周波数帯域のパワー変化が大きければ大きいほど、共通周波数帯域に対応する音響オブジェクトがユーザに近づくと表現せねばならないので、音響オブジェクトの深度インデックス値を大きく設定する。

パラメータ計算部３７０は、インデックス値に基づいて、音響遠近感を付与するためのモジュールに適用するパラメータを計算する。

位相制御部３７１は、センターチャネル信号を二つの信号に複製した後、計算されたパラメータによって複製された信号の位相を調節する。位相が異なる音響信号を左側スピーカ及び右側スピーカで再生すれば、ブラーリング現象が発生する。ブラーリング現象が激しければ激しいほど、ユーザが音響オブジェクトの発生位置を正確に認識し難い。このような現象によって、位相制御方法が異なる遠近感付与方法と共に使われる時、遠近感提供効果を増大させることがある。音響オブジェクトの発生位置がユーザに近づくほど(または、発生位置がユーザに早く近づくほど)、位相制御部３７１は、複製された信号の位相差をより大きく設定する。位相が調整された複製信号は、ＩＦＦＴ ３２０を経て反射効果提供部３７３に伝えられる。

反射効果提供部３７３は、反射信号をモデリングする。音響オブジェクトがユーザから遠く離れた所で発生すれば、壁によって反射されずにユーザに直接伝達される直接音響と、壁によって反射されて生成された反射音響との大きさが類似しており、直接音響及び反射音響がユーザに到着する時間差がほとんどない。しかし、音響オブジェクトがユーザに近い所で発生すれば、直接音響と反射音響との大きさが異なり、直接音響と反射音響とがユーザに到着する時間差が大きい。したがって、音響オブジェクトがユーザに近い距離で発生するほど、反射効果提供部３７３は、反射信号の利得値をさらに大きく減少させ、時間遅延をさらに増大させるか、または直接音響の大きさを相対的に増大させる。反射効果提供部３７３は、反射信号が考慮されたセンターチャネル信号を近距離効果提供部３７４に伝送する。

近距離効果提供部３７４は、パラメータ計算部３７０で計算されたパラメータ値に基づいて、ユーザと隣接した距離で発生した音響オブジェクトをモデリングする。音響オブジェクトがユーザに近い位置で発生すれば、低帯域成分が目立つ。近距離効果提供部３７４は、オブジェクトが発生した地点がユーザと近ければ近いほど、センター信号の低帯域成分を増加させる。

一方、ステレオ入力信号を受信した音場拡張部３５０は、スピーカの外側に音相が定位されるようにステレオ信号を処理する。スピーカ間の位置が適当に遠ざかれば、ユーザは、現場感のある立体音響が聴取できる。

音場拡張部３５０は、ステレオ信号をワイドステレオ信号に変換する。音場拡張部３５０は、左／右バイノーラル合成(Ｂｉｎａｕｒａｌ Ｓｙｎｔｈｅｓｉｓ)とクロストークキャンセラーを畳み込んだワイドフィルタと、ワイドフィルタと左／右ダイレクトフィルタとを畳み込んだ一つのパノラマフィルタを含む。この時、ワイドフィルタは、ステレオ信号に対して所定の位置で測定したヘッド伝達関数(ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ)に基づいて、任意の位置に対する仮想音源に形成させ、ヘッド伝達関数を反映したフィルタ係数に基づいて、仮想音源のクロストークをキャンセリングする。左／右ダイレクトフィルタは、本来のステレオ信号とクロストークキャンセリングされた仮想音源との利得（ｇａｉｎ）及び遅延（ｄｅｌａｙ）のような信号特性を調整する。

レベル制御部３６０は、パラメータ計算部３７０で計算された深度インデックスに基づいて、音響オブジェクトのパワーの大きさを調整する。レベル制御部３６０は、音響オブジェクトがユーザに近い所で発生するほど、音響オブジェクトの大きさを増大させる。

ミキシング部３８０は、レベル制御部３６０から伝送されたステレオ信号と、近距離効果提供部３７４から伝送されたセンター信号とを結合してスピーカに出力する。

図４の（Ａ）ないし（Ｄ）は、本発明の一実施形態による立体音響を提供する一例を示す。

図４の（Ａ）は、本発明の一実施形態による立体音響オブジェクトが動作しない場合を示す。ユーザは、一つ以上のスピーカを通じて音響オブジェクトを聴取する。ユーザが一つのスピーカを利用してモノ信号を再生する場合には、立体感が感じられず、二つ以上のスピーカを利用してステレオ信号を再生する場合には、立体感が感じられる。

図４の（Ｂ）は、本発明の一実施形態による深度インデックスが‘０'である音響オブジェクトを再生する場合を示す。図４の（Ａ）ないし（Ｄ）で、深度インデックスは、‘０'から‘１'の値を有すると仮定する。ユーザにさらに近い所で発生すると表現せねばならない音響オブジェクトであるほど、深度インデックスの値が大きくなる。

音響オブジェクトの深度インデックスが‘０'であるので、音響オブジェクトに遠近感を付与する作業を行えない。但し、スピーカの外側に音相を定位させることによって、ユーザがステレオ信号を通じて立体感がよく感じられる。実施形態によっては、スピーカの外側に音相を定位させる技術を‘ワイドニング'技術と称す。

一般的に、ステレオ信号を再生するためには、複数のチャネルの音響信号が必要である。したがって、モノ信号が入力される場合には、アップミキシング（Ｕｐｍｉｘｉｎｇ）を通じて二つ以上のチャネルに当たる音響信号を生成する。

ステレオ信号は、左側スピーカを通じて第１チャネルの音響信号を再生し、右側スピーカを通じて第２チャネルの音響を再生する。ユーザは、異なる位置で発生する二つ以上の音響を聴取することによって、立体感が感じられる。

しかし、左側スピーカと右側スピーカとが過度に隣接して位置すれば、ユーザは、同じ位置で音響が発生すると認識するので、立体感が感じられない可能性もある。その場合、実際のスピーカの位置ではないスピーカの外側、例えば、スピーカの周辺またはスピーカ付近のようなスピーカの外部領域で音響が発生すると認識されるように、音響信号を処理する。

図４の（Ｃ）は、本発明の一実施形態による深度インデックスが‘０.３'である音響オブジェクトを再生する場合を示す。音響オブジェクトの深度インデックスが０より大きいので、ワイドニング技術と共に音響オブジェクトに深度インデックス‘０.３'に対応する遠近感を付与する。したがって、ユーザは、図４の（Ｂ）に比べて、音響オブジェクトがユーザに実際に発生した所よりさらに近い所で発生したと感じられる。

例えば、ユーザが３次元画像データを視聴しており、この時、画像オブジェクトがスクリーンの外側に飛び出すように表現されたと仮定する。図４の（Ｃ）では、画像オブジェクトに対応する音響オブジェクトに遠近感を付与して、音響オブジェクトがユーザ側に近づくように処理する。ユーザは、視覚的に画像オブジェクトが飛び出すと感じながら、音響オブジェクトがユーザに近づくと感じるので、さらに現実的な立体感を感じる。

図４の（Ｄ）は、本発明の一実施形態による深度インデックスが‘１'である音響オブジェクトを再生する場合を示す。音響オブジェクトの深度インデックスが０より大きいので、ワイドニング技術と共に音響オブジェクトに深度インデックス‘１'に対応する遠近感を付与する。図４の（Ｃ）における音響オブジェクトに比べて、図４の（Ｄ）における音響オブジェクトの深度インデックス値が大きいので、ユーザは、図４の（Ｃ）に比べて、音響オブジェクトがユーザにさらに近い所で発生したと感じる。

図５は、本発明の一実施形態による音響信号に基づいて、音響深度情報を生成する方法に関するフローチャートを示す。ステップＳ５１０では、音響信号を構成する複数の区間のそれぞれに対して周波数帯域別パワーを計算する。ステップＳ５２０では、周波数帯域別パワーに基づいて、共通周波数帯域を決定する。

共通周波数帯域は、以前区間のパワー及び現在区間のパワーが一定臨界値以上である共通する周波数帯域を意味する。この時、パワーが小さい周波数帯域は、ノイズのように意味のない音響オブジェクトに当たるので、パワーが小さい周波数帯域は、共通周波数帯域から除外することもある。例えば、パワーが大きい順で所定数の周波数帯域を選定した後、選定された周波数帯域のうち、共通周波数帯域を決定する。

ステップＳ５３０では、以前区間での共通周波数帯域のパワーと、現在区間での共通周波数帯域のパワーとを比較して、比較結果に基づいて、深度インデックス値を決定する。以前区間での共通周波数帯域のパワーに比べて、現在区間での共通周波数帯域のパワーがさらに大きければ、共通周波数帯域に当たる音響オブジェクトが、ユーザにさらに近接した位置で発生したと判断する。また、以前区間での共通周波数帯域のパワーに比べて、現在区間での共通周波数帯域のパワーが類似すれば、音響オブジェクトがユーザに近くならないと判断する。

図６の（Ａ）ないし（Ｄ）は、本発明の一実施形態による音響信号から音響深度情報を生成する一例を示す。

図６の（Ａ）は、時間軸で複数の区間に区分された音響信号を示す。図６の（Ｂ）ないし（Ｄ）は、第１区間ないし第３区間における周波数帯域別パワーを示す。図６の（Ｂ）ないし（Ｄ）で、第１区間６０１及び第２区間６０２は、以前区間であり、第３区間６０３は、現在区間である。

図６の（Ｂ）及び（Ｃ）を参照すれば、第１区間６０１ないし第２区間６０２で３０００〜４０００Ｈｚの周波数帯域、４０００〜５０００Ｈｚの周波数帯域、５０００〜６０００Ｈｚの周波数帯域のパワーが類似している。したがって、３０００〜４０００Ｈｚの周波数帯域、４０００〜５０００Ｈｚの周波数帯域、５０００〜６０００Ｈｚの周波数帯域が共通周波数帯域と決定される。

図６の（Ｃ）及び（Ｄ）を参照すれば、３０００〜４０００Ｈｚの周波数帯域、４０００〜５０００Ｈｚの周波数帯域、５０００〜６０００Ｈｚの周波数帯域のパワーが第１区間６０１ないし第３区間６０３で全部臨界値以上であると仮定すれば、３０００〜４０００Ｈｚの周波数帯域、４０００〜５０００Ｈｚの周波数帯域、５０００〜６０００Ｈｚの周波数帯域が共通周波数帯域と決定される。

しかし、第２区間６０２で、５０００〜６０００Ｈｚの周波数帯域のパワーに比べて、第３区間６０３で５０００〜６０００Ｈｚの周波数帯域のパワーは、大きく増加した。したがって、５０００〜６０００Ｈｚの周波数帯域に当たる音響オブジェクトの深度インデックスは、‘０'以上と決定される。実施形態によっては、音響オブジェクトの深度インデックスをさらに精巧に決定するために、画像深度マップを参照することもある。

例えば、第３区間で５０００〜６０００Ｈｚの周波数帯域のパワーが、第２区間６０２に比べて大きく増加した。場合によっては、５０００〜６０００Ｈｚの周波数帯域に対応する音響オブジェクトの発生位置がユーザに近くなるのではなく、同じ位置でパワーの大きさのみが増大した場合でもある。この時、画像深度マップを参照して、第３区間６０３に対応する画像フレームでスクリーンの外側に突出する画像オブジェクトが存在すれば、５０００〜６０００Ｈｚの周波数帯域に当たる音響オブジェクトが、画像オブジェクトに対応する確率が高い。この場合、音響オブジェクトの発生位置がユーザに次第に近くなることが望ましいので、音響オブジェクトの深度インデックスを‘０'以上と設定する。一方、第３区間６０３に対応する画像フレームでスクリーンの外側に突出する画像オブジェクトが存在しなければ、音響オブジェクトは、同じ位置でパワーのみが増加したと見られるので、音響オブジェクトの深度インデックスを‘０'と設定することができる。

図７は、本発明の一実施形態による立体音響の再生方法に関するフローチャートである。ステップＳ７１０では、音響深度情報を獲得する。音響深度情報は、音響信号内の少なくとも一つの音響オブジェクトと基準位置との間の距離を表す情報である。

ステップＳ７２０では、音響深度情報に基づいて、音響オブジェクトに遠近感を付与する。ステップＳ７２０は、ステップＳ７２１及びステップＳ７２２のうち少なくとも一つのステップを含む。

ステップＳ７２１では、音響深度情報に基づいて、音響オブジェクトのパワーゲインを調整する。ステップＳ７２２では、音響深度情報に基づいて、音響オブジェクトが障害物によって反射されて生成される反射信号の利得及び遅延時間を調整する。ステップＳ７２３では、音響深度情報に基づいて、音響オブジェクトの低帯域成分を調整する。

ステップＳ７２４では、第１スピーカから出力される音響オブジェクトの位相と、第２スピーカから出力される音響オブジェクトの位相との差を調整する。

従来には、画像オブジェクトについての深度情報を付加情報として提供するか、または画像データを分析して獲得せねばならないので、深度情報の獲得が容易でなかった。しかし、本発明では、音響信号にも画像オブジェクトの位置に関する情報が含まれるという点を考慮して、音響信号を分析して深度情報を生成することによって、さらに容易に深度情報を獲得することができる。

また、従来には、スクリーンから／に画像オブジェクトが飛び出る／入り込む現象を音響信号で適切に表現できなかった。しかし、本発明では、スクリーンから／に画像オブジェクトが飛び出る／入り込むことによって発生する音響オブジェクトを表現するので、ユーザがさらに現実的な立体感が感じられる。

また、本発明の一実施形態による場合、音響オブジェクトが生成された位置と基準位置との間の距離を効果的に表現でき、特に、音響オブジェクト単位で遠近感を付与するので、ユーザが効果的に音響立体感が感じられる。

一方、前述した本発明の実施形態は、コンピュータで実行可能なプログラムで作成可能であり、コンピュータで読取可能な記録媒体を利用して前記プログラムを動作させる汎用デジタルコンピュータで具現される。

前記コンピュータで読取可能な記録媒体は、マグネチック保存媒体(例えば、ＲＯＭ（Ｒｅａｎ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど)、光学的判読媒体(例えば、ＣＤ−ＲＯＭ、ＤＶＤなど)のような記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から離脱しない範囲で変形された形態で具現されるということが理解できる。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前記説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるすべての差異点は、本発明に含まれていると解釈されねばならない。

本発明は、立体音響再生関連の技術分野に好適に適用可能である。

１００ 立体音響再生装置
１１０ 音響深度情報獲得部
１２０ 遠近感提供部
２１０ パワー計算部
２２０ 決定部
２３０ 生成部

Claims (13)

1. 音響信号を経時的に隣接する複数の区間に区分するステップと、
   以前区間での前記音響信号と、現在区間での前記音響信号とを比較して、音響信号内の少なくとも一つの音響オブジェクトと基準位置との間の距離を表す音響深度情報を獲得するステップと、
   前記音響深度情報に基づいて、スピーカから出力される前記音響オブジェクトに音響遠近感を付与するステップと、を含むことを特徴とする立体音響の再生方法。
2. 前記音響深度情報を獲得するステップは、前記複数の区間のそれぞれに対して周波数帯域別パワーを計算するステップと、
   前記計算された周波数帯域別パワーに基づいて、隣接した区間でパワーが共通して臨界値以上である周波数帯域を共通周波数帯域と決定するステップと、
   前記現在区間での共通周波数帯域のパワーと、前記現在区間に隣接した以前区間での共通周波数帯域のパワーとの差に基づいて、前記音響深度情報を獲得するステップと、を含むことを特徴とする請求項１に記載の立体音響の再生方法。
3. 前記方法は、前記音響信号からセンタースピーカに出力されるセンターチャネル信号を獲得するステップをさらに含み、
   前記パワーを計算するステップは、前記センターチャネル信号に基づいて、前記周波数帯域別パワーを計算するステップを含むことを特徴とする請求項２に記載の立体音響の再生方法。
4. 前記音響遠近感を付与するステップは、前記音響深度情報に基づいて、前記音響オブジェクトのパワーを調整するステップを含むことを特徴とする請求項１に記載の立体音響の再生方法。
5. 前記音響遠近感を付与するステップは、前記音響深度情報に基づいて、前記音響オブジェクトが反射されて発生する反射信号の利得及び遅延時間を調整するステップを含むことを特徴とする請求項１に記載の立体音響の再生方法。
6. 前記音響遠近感を付与するステップは、前記音響深度情報に基づいて、前記音響オブジェクトの低帯域成分の大きさを調整するステップを含むことを特徴とする請求項１に記載の立体音響の再生方法。
7. 前記音響遠近感を付与するステップは、第１スピーカから出力される前記音響オブジェクトの位相と、第２スピーカから出力される前記音響オブジェクトの位相との差を調整するステップを含むことを特徴とする請求項１に記載の立体音響の再生方法。
8. 前記音響遠近感が付与された音響オブジェクトを、左側サラウンドスピーカ及び右側サラウンドスピーカを通じて出力するか、または左側フロントスピーカ及び右側フロントスピーカを通じて出力するステップをさらに含むことを特徴とする請求項１に記載の立体音響の再生方法。
9. 前記方法は、前記音響信号を利用して、スピーカの外部領域に音相を定位させるステップをさらに含むことを特徴とする請求項１に記載の立体音響の再生方法。
10. 音響信号を経時的に隣接する複数の区間に区分し、以前区間での前記音響信号と、現在区間での前記音響信号とを比較して、音響信号内の少なくとも一つの音響オブジェクトと基準位置との間の距離を表す音響深度情報を獲得する情報獲得部と、
    前記音響深度情報に基づいて、前記音響オブジェクトに音響遠近感を付与する遠近感提供部と、を備えることを特徴とする立体音響再生装置。
11. 前記情報獲得部は、
    前記複数の区間のそれぞれに対して周波数帯域別パワーを計算するパワー計算部と、
    前記計算された周波数帯域別パワーに基づいて、隣接した区間でパワーが共通的に臨界値以上である周波数帯域を共通周波数帯域と決定する決定部と、
    前記現在区間での共通周波数帯域のパワーと、前記現在区間に隣接した以前区間での共通周波数帯域のパワーとの差に基づいて、前記音響深度情報を生成する生成部と、を備えることを特徴とする請求項１０に記載の立体音響再生装置。
12. 前記装置は、前記音響信号からセンタースピーカに出力されるセンターチャネル信号を獲得する信号獲得部をさらに備え、
    前記パワー計算部は、前記センターチャネル信号に対応するチャネル信号に基づいて、前記周波数帯域別パワーを計算することを特徴とする請求項１１に記載の立体音響再生装置。
13. 請求項１ないし９のうちいずれか一項に記載の方法を具現するためのプログラムが記録されたコンピュータで読取可能な記録媒体。

Images