Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7701353B2 - 仮想音源を決定するための装置および方法 - Google Patents
[go: Go Back, main page]

JP7701353B2 - 仮想音源を決定するための装置および方法 - Google Patents

仮想音源を決定するための装置および方法 Download PDF

Info

Publication number
JP7701353B2
JP7701353B2 JP2022530758A JP2022530758A JP7701353B2 JP 7701353 B2 JP7701353 B2 JP 7701353B2 JP 2022530758 A JP2022530758 A JP 2022530758A JP 2022530758 A JP2022530758 A JP 2022530758A JP 7701353 B2 JP7701353 B2 JP 7701353B2
Authority
JP
Japan
Prior art keywords
room
source
mirror
mirroring
boundaries
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022530758A
Other languages
English (en)
Other versions
JP2023503986A (ja
JP2023503986A5 (ja
Inventor
イェルーン ジェラルドゥス ヘンリクス コッペンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2023503986A publication Critical patent/JP2023503986A/ja
Publication of JP2023503986A5 publication Critical patent/JP2023503986A5/ja
Application granted granted Critical
Publication of JP7701353B2 publication Critical patent/JP7701353B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、部屋内の音源の反射を表す仮想音源を決定するための装置および方法、特に、限定されないが、拡張／仮想現実アプリケーションにおいて音声をレンダリングするための仮想音源に関する。
近年、視聴覚コンテンツに基づく体験の多様性および範囲が大きく増大しており、そのようなコンテンツを利用および消費する新しいサービスや方法が継続的に開発および導入されている。特に、関与性や没入感がより高い体験をユーザに提供するために、多くの空間的インタラクティブサービス、アプリケーション、および体験が開発されている。
このようなアプリケーションの例としては、仮想現実（ＶＲ）アプリケーション、拡張現実（ＡＲ）アプリケーション、および急速に主流になりつつある複合現実（ＭＲ）アプリケーションがあり、多くのソリューションが消費者市場を標的としている。また、様々な標準化団体によって様々な規格が開発されている。そのような標準化活動は、例えばストリーミング、ブロードキャスト、およびレンダリングなど、ＶＲ／ＡＲ／ＭＲシステムの様々な側面のための規格を積極的に開発している。
ＶＲアプリケーションは、異なる世界／環境／シーンにいるユーザに対応するユーザ体験を提供する傾向がある一方、ＡＲ（複合現実ＭＲを含む）アプリケーションは、追加情報または仮想オブジェクトもしくは情報が追加された現在の環境にいるユーザに対応するユーザ体験を提供する傾向がある。したがって、ＶＲアプリケーションは完全に没入型の人工世界／シーンを提供する傾向がある一方、ＡＲアプリケーションは、ユーザが物理的に存在する現実のシーンに重ねられた部分的に人工の世界／シーンを提供する傾向がある。しかし、これらの用語はしばしば同義で使用され、大きく重複している。以下では、仮想現実／ＶＲという用語は仮想現実および拡張／複合現実の両方を表すために使用される。
一例として、益々人気が高まっているのは、ユーザの動きや位置および向きの変化に適合するようにレンダリングのパラメータを変更するために、ユーザがシステムと能動的かつ動的にインタラクトすることができるように画像および音声を提供するサービスである。多くのアプリケーションにおいて、視聴者の事実上の視点および視線を変更する機能、例えば、提示されているシーン内で視聴者が移動して「見回す」ことを可能にする等の機能は非常に魅力的である。
このような機能により、特に、仮想現実体験をユーザに提供することができる。これは、ユーザが仮想環境内を（比較的）自由に動き回ったり、自分の位置および視線を動的に変更することを可能にし得る。通常、このような仮想現実アプリケーションはシーンの三次元モデルに基づいており、特定の要求されるビューを提供するために、モデルは動的に評価される。この手法は、例えば、コンピュータやコンソール向けの一人称シューティングゲームのジャンルなどのゲームアプリケーションでよく知られている。
また、特に仮想現実アプリケーションの場合、提示される画像が三次元画像であることが望ましい。実際、視聴者の没入感を最適化するために、通常は、ユーザが提示されたシーンを三次元シーンとして体験することが好ましい。実際、仮想現実体験は好ましくは、ユーザが仮想世界に対する自身の位置、カメラの視点、および時点を選択することを可能にする。
視覚的なレンダリングに加えて、ほとんどのＶＲ／ＡＲアプリケーションは対応する音声体験をさらに提供する。多くのアプリケーションにおいて、音声は、視覚シーン内の対応するオブジェクトの位置に対応する位置から音源が到達していると知覚される空間的音声体験を提供することが好ましい。したがって、音声シーンおよび映像シーンは、一貫していて、両方が完全な空間的体験を提供するものとして知覚されることが好ましい。
例えば、多くの没入型体験は、バイノーラル音声レンダリング技術を使用したヘッドホン再生によって生成される仮想音声シーンによって提供される。多くの場合、このようなヘッドホン再生は、ユーザの頭の動きに応答してレンダリングできるようにヘッドトラッキングに基づいている可能性があり、これは没入感を大幅に向上させる。
しかし、没入感が高く、パーソナライズされた自然な体験をユーザに提供するには音声シーンのレンダリングが可能な限りリアルであることが重要である。また、視聴覚結合体験、例えば多数のＶＲ体験にとっては、音声体験が視覚体験のそれと厳密に一致していること、すなわち、レンダリングされる音声シーンと映像シーンとが厳密に一致していることが重要である。
高品質の体験を提供するためには、特に音声がリアルであると認識されるためには、音響環境が正確でリアルなモデルによって特徴付けられることが重要である。これは、提示されている音声シーンが純粋に仮想シーンであるか、またはシーンが特定の現実世界のシーンに対応することが望まれるかを問わず要求される。
部屋の音響、またはより一般的には環境の音響をシミュレートする際、環境の（これらが存在する場合には）壁、床、および天井での音波の反射により、音源信号の遅延および減衰（通常は周波数依存）したバージョンが様々な方向から聴取者に届く。これにより、室内インパルス応答（ＲＩＲ）と呼ばれるインパルス応答が発生する。
図１に示されるように、室内インパルス応答は、音源から聴取者までの距離に依存する直接音／無響部分と、それに続く、部屋の音響特性を特徴付ける残響部分とからなる。部屋のサイズおよび形状、部屋の中の音源および聴取者の位置、ならびに部屋の表面の反射特性はすべて、この残響部分の特徴に影響を与える。
残響部分は、通常は重なり合う、２つの時間領域に分割できる。第１の領域はいわゆる初期反射を含む。これは聴取者に到達する前の室内の壁や障害物での音源の孤立した反射である。タイムラグが増加すると一定の時間間隔内に存在する反射の数が増加し、二次およびより高次の反射も含まれるようになる。
残響部分内の第２の領域は、人間の脳では孤立させて分離することができない程にこれらの反射の密度が増加した部分である。この領域は拡散残響、後期残響、または残響テールと呼ばれる。
残響部分には、音源の距離、部屋のサイズ、および部屋の音響特性に関する情報を聴覚システムに与える手がかりが含まれている。無響部分のエネルギーに対する残響部分のエネルギーは知覚される音源距離を大きく左右する。最初期の反射のレベルおよび遅延は音源が壁にどれだけ近いかについての手がかりを与える可能性があり、人体測定学によってそれをフィルタリングすることにより、どの壁、床、または天井かの評価が向上され得る。
（初期）反射の密度は、知覚される部屋のサイズに寄与する。反射のエネルギーレベルが６０ｄＢ低下するのにかかる時間、すなわち残響時間はＴ６０で示され、反射が部屋内でどれだけ速く消散するかを示す尺度である。残響時間は部屋の音響特性に関する情報を与え、壁の反射性が高いか（例えば、浴室）、または音を吸収しやすいか（例えば、家具、カーペット、およびカーテンのある寝室）に関する情報を与える。
残響が没入型体験を提供するには、反射が聴取者に到達する方向を表現するために複数のＲＩＲが必要である。これらはスピーカー構成に関連付けられ、各ＲＩＲが、既知の位置にある複数のスピーカーのうちの１つに関連付けられている。ＶＢＡＰのようなパンニングアルゴリズムを使用して、既知の反射方向からのＲＩＲを生成することができる。
さらに、バイノーラル室内インパルス応答（ＢＲＩＲ）の一部である場合、没入型ＲＩＲは頭、耳、および肩によってフィルタリングされる、すなわち頭部インパルス応答（ＨＲＩＲ）によってフィルタリングされるため、没入型ＲＩＲはユーザの人体測定学的特性に依存する可能性がある。
後期残響の反射はもはや分離できないため、例えば、Ｊｏｔリバーブレーターのようなフィードバック・ディレイ・ネットワークなどのパラメトリックリバーブレーターを使用してパラメトリックにシミュレートできる。初期反射に関して、入射方向および距離依存遅延は、部屋に関する情報、および音源の相対位置に関する情報を抽出するために人間にとって重要な手がかりである。したがって、リアルな没入型体験を実現するには、初期反射のシミュレーションを後期残響よりも明確にする必要がある。
初期反射をモデリングするための１つの手法は、部屋の各境界における音源をミラーリングして、反射を表す仮想音源を生成することである。そのようなモデルは鏡像音源（ｉｍａｇｅ－ｓｏｕｒｃｅ）モデルとして知られており、Ａｌｌｅｎ ＪＢ，Ｂｅｒｋｌｅｙ ＤＡ．“Ｉｍａｇｅ ｍｅｔｈｏｄ ｆｏｒ ｅｆｆｉｃｉｅｎｔｌｙ ｓｉｍｕｌａｔｉｎｇ ｓｍａｌｌ－ｒｏｏｍ ａｃｏｕｓｔｉｃｓ”，Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ １９７９；６５（４）：９４３－５０において説明されている。しかし、そのようなモデルは、レイトレーシングや有限要素モデリングなどの部屋の形状による制限が小さい手法と比較して、初期反射の効率的かつ高品質なモデリングを提供し得るが、いくつかの欠点も有する傾向がある。具体的には、依然として比較的複雑であり、特に仮想反射ソースを見つけるために、不必要に高い計算リソースを要する傾向がある。例えば、このプロセスは、ソースの多くの複製を生成する可能性があり、これらの複製はさらに検討し、処理し、間引く必要がある。検討される反射の回数が大きいほど欠点が増大する傾向があり、多くの実践的なアプリケーションでは、それに対応して反射の回数が制限され、モデルの精度や品質が低下する。
したがって、反射を表す仮想ソースを生成するための改善されたモデルおよび手法は有利であろう。特に、動作の向上、柔軟性の増加、複雑さの軽減、実装の容易化、音声体験の向上、複雑さの軽減、計算負荷の軽減、音声品質の向上、モデルの精度および品質の向上、ならびに／またはパフォーマンスおよび／もしくは動作の向上を可能にする手法／モデルは有利であろう。
したがって、本発明は、上記欠点の１つまたは複数を単独で、または任意の組み合わせで好適に緩和、低減、または排除することを目的とする。
本発明の一態様によれば、最初の部屋内の最初の音源の反射を表す仮想音源を決定する方法が提供され、方法は、コンピュータが、最初の部屋の境界、および最初の部屋内の最初の音源の音源位置を表すデータを受け取るステップと、前の反復で決定された音源の音源ミラーリングを実行することによりミラーリングされた音源として仮想音源を繰り返し決定するステップとを実行することを含み、各反復は、直前の反復で決定されたミラー部屋を含むソース部屋のセットの各ソース部屋について、該ソース部屋のミラー境界のセットを決定するステップと、ミラー境界のセットの各ミラー境界について、該ミラー境界を軸としてソース部屋をミラーリングすることによってミラー部屋を決定するステップと、ミラー境界を軸としてソース音源をミラーリングすることによってミラー音源を決定するステップとを実行することを含み、ソース音源はソース部屋のミラー音源であり、ミラーリングは、ソース部屋からミラー部屋へのミラーリング方向を持ち、ミラー境界のセットを決定するステップは、選択基準に従ってソース部屋の境界を選択するステップを含み、選択基準は、ソース部屋の候補境界がミラー境界のセットに含まれるためには、候補境界の第１のミラーリング方向が、ソース部屋をもたらした前のいずれのミラーリングの方向に対しても反対方向であってはならないという要件と、候補境界がミラー境界のセットに含まれるためには、第１の方向が除外方向であってはならないという要件であって、除外方向は、ソース部屋をもたらすミラーリングの軸となった最初の部屋の境界に依存する、要件と、候補境界がミラー境界のセットに含まれるためには、第１の方向が、直前の反復でソース部屋を生成したミラーリングのミラーリング方向を除き、ソース部屋をもたらした前のいずれのミラーリングのミラーリング方向とも同じ方向であってはならないという要件とを含む。
本発明は、部屋内の反射を表す仮想音源の決定を改善および／または容易化し得る。この手法は、部屋内の初期反射のためのモデルの生成を容易化、および／またはより効率的にすることを可能にし得る。この手法は、多くの実施形態において、重複する仮想音源の生成を防ぐ可能性がある。この手法は、多くの実施形態において、部屋内の反射を表す正確なモデルを、より低い計算要件および／またはより低い複雑さで生成することを可能にし得る。
最初の部屋は二次元の長方形および／または三次元の長方形として表されてもよい。最初の部屋は二次元または三次元の超直方体（直方体とも呼ばれる）であってもよい。
部屋の境界は、壁、床、または天井など、部屋の境界を定める平面要素であり得る。境界は音響的に反射性の要素であってもよいし、または例えば場合によっては、（有意に）音響的に反射性の要素が存在しない境界の仮想的または理論的な（任意の）描写であってもよい。
部屋は、実質的に平面で、通常は音響的に反射性の要素によって境界が定められた任意の音響環境であり得る。平面要素はペアごとに平行であり得る。二次元の部屋は２つのそのような平行ペアを有し、三次元の部屋は３つのそのような平行ペアを有し得る（４つの壁、床および天井に対応）。
境界をまたいだ音源のミラーリングは、境界を軸としてソース音源の音源位置をミラーリングすることによって、ミラーリングされた音源位置を決定することに対応し得る。
具体的には、方法は、境界を軸としてソース部屋の音源の反射音源位置をミラーリングすることによって、ミラー部屋内の反射音源のミラー音源位置を決定することを含み得る。
本発明の任意選択的な特徴によれば、選択基準は、ソース部屋をもたらした前のいずれかのミラーリングの第２のミラーリング方向が、除外方向と、ソース部屋をもたらした最初の部屋のミラーリングのミラー方向とに対して垂直である場合、候補境界がミラー境界のセットに含まれるためには、第１の方向が第２の方向と同じでなければならないという要件を含む。
この手法は、多くの実施形態において、三次元の部屋における三次元反射を表すためのモデルの効率的な生成を提供し得る。この手法は、典型的には、（他の要件と合わせて）重複する音源の生成を防ぎ、また、典型的には、所与の反射次数に対応するすべての仮想音源を、生成された仮想音源で表すことを可能にし得る。
本発明の任意選択的な特徴によれば、最初の部屋は、互いに反対の方向である参照ミラーリング方向のペアを有し、選択基準は、ソース部屋をもたらした前のいずれかのミラーリングの第２のミラーリング方向が、関連付けられた参照ミラーリング方向のペアに属する方向である場合、候補境界がミラー境界のセットに含まれるためには、第１の方向が第２の方向と同じでなければならないという要件を含む。
この手法は、多くの実施形態において、三次元の部屋における三次元反射を表すためのモデルの効率的な生成を提供し得る。この手法は、典型的には、（他の要件と合わせて）重複する音源の生成を防ぎ、また、典型的には、所与の反射次数に対応するすべての仮想音源を、生成された仮想音源で表すことを可能にし得る。
参照ミラーリング方向のペアは最初の部屋の２つの平行な境界の方向であってもよい。参照ミラーリング方向のペアは、予め定められた参照ミラーリング方向のペアであってもよい。
一部の実施形態では、最初の部屋の２つの対向する境界は、それぞれ参照ミラー方向を有する参照境界として指定され、選択基準は、ソース部屋をもたらした前のミラーリングが参照ミラー方向であった場合、候補境界がミラー境界のセットに含まれるためには、第１の方向が参照ミラー方向でなければならないという要件を含み得る。
本発明の任意選択的な特徴によれば、最初の反復に関して、最初の部屋は、最初の反復のためのソース部屋のセットのソース部屋として指定される。
これは仮想音源の反復生成を初期設定／開始するための有利な手法を提供する可能性がある。
本発明の任意選択的な特徴によれば、最初の部屋のすべての境界が最初の反復のためのミラー境界のセットに含まれる。
これは多くの実施形態においてパフォーマンスを向上させ、かつ／または複雑さ／リソース使用量を低減し得る。これは典型的には、より低い複雑さおよび計算リソース使用量で改善されたモデルを生成することを可能にし得る。さらに、仮想音源の反復生成を初期設定／開始するための有利な手法が提供され得る。
本発明の任意選択的な特徴によれば、最初の部屋の各境界は減衰係数に関連付けられており、方法は、ミラー音源を含むミラー部屋をもたらしたミラーリングに含まれるすべての境界の減衰係数を結合することによって、各ミラー音源の結合減衰係数を求めるステップを含む。
これはよりリアルな音声レンダリングを提供可能な改善されたモデルを提供し得る。
本発明の任意選択的な特徴によれば、選択基準は、候補境界がミラー境界のセットに含まれるためには、ソース音源の結合減衰係数を候補境界の減衰係数と結合した結果が、閾値未満の減衰を示さなければならないという要件を含む。
これは多くの実施形態においてモデルの向上をもたらし得る。
本発明の任意選択的な特徴によれば、結合減衰係数は周波数依存性である。
これは多くの実施形態においてモデルの向上をもたらし得る。
本発明の任意選択的な特徴によれば、音響的に非反射性の境界の減衰係数は完全な減衰を示す。
これは多くの実施形態においてモデルの向上をもたらし得る。
本発明の任意選択的な特徴によれば、方法は、最初の部屋の聴取位置のための音声信号をレンダリングするステップ（３０９）をさらに含み、音声信号は、聴取位置に到達する少なくとも１つのミラー音声源からの音声を表す少なくとも１つの音声成分を含む。
この手法は改善された音声レンダリング、特に初期反射のより正確なレンダリングを提供する可能性がある。
本発明の任意選択的な特徴によれば、ミラー境界のセットは選択基準を満たすすべての境界を含む。
これは多くの実施形態においてパフォーマンスを向上させ、かつ／または複雑さ／リソース使用量を低減し得る。これは典型的には、より低い複雑さおよび計算リソース使用量で改善されたモデルを生成することを可能にし得る。
本発明の任意選択的な特徴によれば、反復は所定回数実行される。
これは多くの実施形態においてパフォーマンスを向上させ、かつ／または複雑さ／リソース使用量を低減し得る。これは典型的には、より低い複雑さおよび計算リソース使用量で改善されたモデルを生成することを可能にし得る。
本発明の任意選択的な特徴によれば、最初の部屋は超直方体である。
本発明の一態様によれば、最初の部屋内の最初の音源の反射を表す仮想音源を決定する装置が提供され、装置は、最初の部屋の境界、および最初の部屋内の最初の音源の音源位置を表すデータを受け取る受信機と、前の反復で決定された音源の音源ミラーリングを実行することにより、ミラーリングされた音源として仮想音源を繰り返し決定する処理回路とを備え、
各反復は、直前の反復で決定されたミラー部屋を含むソース部屋のセットの各ソース部屋について、該ソース部屋のミラー境界のセットを決定するステップと、ミラー境界のセットの各ミラー境界について、該ミラー境界を軸としてソース部屋をミラーリングすることによってミラー部屋を決定するステップと、ミラー境界を軸としてソース音源をミラーリングすることによってミラー音源を決定するステップとを実行することを含み、ソース音源はソース部屋のミラー音源であり、ミラーリングは、ソース部屋からミラー部屋へのミラーリング方向を持ち、
ミラー境界のセットを決定するステップは、選択基準に従ってソース部屋の境界を選択するステップを含み、選択基準は、ソース部屋の候補境界がミラー境界のセットに含まれるためには、候補境界の第１のミラーリング方向が、ソース部屋をもたらした前のいずれのミラーリングの方向に対しても反対方向であってはならないという要件と、候補境界がミラー境界のセットに含まれるためには、第１の方向が除外方向であってはならないという要件であって、除外方向は、ソース部屋をもたらすミラーリングの軸となった最初の部屋の境界に依存する、要件と、候補境界がミラー境界のセットに含まれるためには、第１の方向が、直前の反復でソース部屋を生成したミラーリングのミラーリング方向を除き、ソース部屋をもたらした前のいずれのミラーリングのミラーリング方向とも同じ方向であってはならないという要件とを含む。
本発明の上記および他の側面、特徴、および利点は、以下に記載される実施形態を参照しながら説明され、明らかになるであろう。
以下、本発明の単なる例に過ぎない実施形態について以下の図面を参照しながら説明する。
図１は、部屋の音響応答の成分の例を示す。 図２は、本発明の一部の実施形態に係る装置の要素の例を示す。 図３は、本発明の一部の実施形態に係る方法の要素の例を示す。 図４は、部屋のある境界の音響反射をモデリングするためのミラーリングの例を示す。 図５は、部屋の２つの境界の音響反射をモデリングするためのミラーリングの例を示す。 図６は、部屋の音響反射のための鏡像音源モデルのための部屋のミラーリングの例を示す。 図７は、部屋の音響反射のための鏡像音源モデルのための部屋のミラーリングの例を示す。 図８は、部屋の音響反射のための鏡像音源モデルのための部屋のミラーリングの例を示す。 図９は、本発明の一部の実施形態に係る方法によって生成された鏡像音源モデルを表すツリーの例を示す。 図１０は、本発明の一部の実施形態に係る方法によって鏡像音源モデルを生成するためのミラーリングの例を示す。
聴取者に自然でリアルな効果を提供することを目的とした音声レンダリングは、通常、音響環境のレンダリングを含む。レンダリングは音響環境のモデルに基づいており、通常、直接経路、（初期）反射、および残響のモデリングを含む。以下の記載では、現実のまたは仮想の部屋における（初期）反射に適したモデルを生成するための効率的な手法に焦点を当てる。
この手法は、図２に開示されるような音声レンダリング装置を参照して説明される。音声レンダリング装置は、レンダリングによってエミュレートされるべき音響環境を表す部屋を特徴付ける部屋データを受信するように構成された受信機２０１を備える。部屋データは、最初の部屋の境界と、部屋内の音源のための少なくとも１つの音源位置を具体的に表す。以下では、生成された仮想（ミラーリングされた）部屋、および説明される反射モデルのために生成された仮想（ミラーリングされた）音源と区別するために、部屋はオリジナル部屋（または最初の部屋）とも呼ばれ、オリジナル部屋内の音源はオリジナル音源とも呼ばれる。
受信機２０１は、例えば個別のまたは専用の電子機器を使用することを含む、任意の適切なやり方で実装することができる。処理回路２０３は、例えば特定用途向け集積回路（ＡＳＩＣ）などの集積回路として実装され得る。一部の実施形態では、回路は、例えば中央処理装置、デジタル信号処理装置、またはマイクロコントローラなどの適切なプロセッサ上で実行されるプログラムされた処理装置、例えばファームウェアまたはソフトウェアなどとして実装され得る。そのような実施形態では、処理装置は、オンボードまたは外部メモリ、クロック駆動回路構成、インターフェース回路構成、ユーザインターフェース回路構成などを含み得る。そのような回路構成はまた、処理装置の一部として、集積回路として、および／またはディスクリート電子回路構成として実装され得る。
受信機２０１は、任意の適切なソースから任意の適切な形式で、例えば音声信号の一部として、部屋データを受信することができる。部屋データは内部または外部のソースから受信され得る。受信機２０１は、例えば、ネットワーク接続、無線接続、または内部ソースへの他の任意の適切な接続を介して部屋データを受信するように構成され得る。多くの実施形態において、受信機は、ローカルメモリなどのローカルソースからデータを受信することができる。多くの実施形態において、受信機２０１は、例えば、ローカルＲＡＭまたはＲＯＭメモリなどのローカルメモリから部屋データを取り出すように構成され得る。
境界は部屋の輪郭を画定し、通常は壁、天井、および床を表す（または、２Ｄアプリケーションの場合は通常、壁のみ）。部屋は２Ｄまたは３Ｄ超直方体、例えば２Ｄ長方形または３Ｄ長方形である。境界はペアごとに平行であり、実質的に平面である。さらに、１つの平行境界ペアの境界は、他の１つまたは複数の平行境界ペアの境界に対して垂直である。境界は超直方体（２Ｄまたは３Ｄ）を具体的に画定する。境界は任意の物理的特性、例えば材料を反映し得る。境界はまた、音響特性を表し得る。
部屋データによって表される部屋は、レンダリングのために意図された音響環境に対応し、したがって、現実の部屋／環境または仮想の部屋／環境を表し得る。部屋は、ペアごとに平行で、かつペア同士の間で実質的に垂直である４つ（２Ｄの場合）または６つ（３Ｄの場合）の実質的に平面的な境界によって区切る／境界を定めることができる任意の領域／エリア／環境であり得る。部屋データは、一部の実施形態では、ペアごとに平行ではなく、かつ／または結ばれる境界間で直角をなさない意図された部屋の適切な近似を表し得る。
ほとんどの実施形態では、部屋データは、境界のうちの１つ以上、または典型的にはすべての境界の音響データをさらに含み得る。音響特性データは、具体的には、音が境界によって反射されるときに境界によって引き起こされる減衰を示す、各壁の反射減衰尺度を含み得る。あるいは、反射係数は、境界面から鏡面反射で反射される信号エネルギーの部分を示し得る。多くの実施形態において、減衰尺度は、反射が周波数ごとに異なる可能性があることをモデリングするために周波数依存であってもよい。さらに、音響特性は境界面上の位置に依存してもよい。
受信機２０１は処理回路２０３に結合されている。処理回路２０３は、部屋内の（初期）反射を表し、レンダリング実行時にこれらをエミュレートすることを可能にする部屋／音響環境のための反射モデルを生成するように構成される。具体的には、処理回路２０３は、オリジナル部屋内のオリジナル音源の反射を表す仮想音源を決定するように構成される。
処理回路２０３は、例えばディスクリートのまたは専用の電子機器を使用することを含む、任意の適切な形態で実装することができる。処理回路２０３は、例えば特定用途向け集積回路（ＡＳＩＣ）などの集積回路として実装され得る。一部の実施形態では、回路は、例えば中央処理装置、デジタル信号処理装置、またはマイクロコントローラなどの適切なプロセッサ上で実行されるプログラムされた処理装置、例えばファームウェアまたはソフトウェアなどとして実装され得る。そのような実施形態では、処理装置は、オンボードまたは外部メモリ、クロック駆動回路構成、インターフェース回路構成、ユーザインターフェース回路構成などを含み得る。そのような回路構成はまた、処理装置の一部として、集積回路として、および／またはディスクリート電子回路構成として実装され得る。
処理回路２０３は、音声源を表す音声信号をレンダリングするように構成されたレンダリング回路２０５に結合される。音声シーンのレンダリングを提供するために、音声信号は通常、さらに複数の他の音声源を表す。レンダリング回路２０５は、具体的には、オリジナル音源からの音声を特徴付ける音声データを受信し、任意の適切なレンダリング手法および技術に従ってこれをレンダリングし得る。オリジナル音源のレンダリングは、処理回路２０３によって生成された反射モデルに基づく反射音声の生成を含み得る。さらに、通常、直接経路および残響に対応するオリジナル音源の信号成分もレンダリングされる。当業者は、音声をレンダリングするための多様な手法（例えばバイノーラル処理を用いた、空間スピーカー構成およびヘッドホンを含む）を知っており、簡潔さのためにこれらはこれ以上詳述されない。
レンダリング回路２０５は、例えばディスクリートのまたは専用の電子機器を使用することを含む、任意の適切な形態で実装することができる。レンダリング回路２０５は、例えば特定用途向け集積回路（ＡＳＩＣ）などの集積回路として実装され得る。一部の実施形態では、回路は、例えば中央処理装置、デジタル信号処理装置、またはマイクロコントローラなどの適切なプロセッサ上で実行されるプログラムされた処理装置、例えばファームウェアまたはソフトウェアなどとして実装され得る。そのような実施形態では、処理装置は、オンボードまたは外部メモリ、クロック駆動回路構成、インターフェース回路構成、ユーザインターフェース回路構成などを含み得る。そのような回路構成はまた、処理装置の一部として、集積回路として、および／またはディスクリート電子回路構成として実装され得る。
処理回路２０３は、具体的には、反射のためのミラーソースモデルを生成するように構成されている。ミラーソースモデルでは、複数の別々の仮想音源によって反射がモデリングされる。各仮想音源はオリジナル音源の複製であり、オリジナル部屋の外側にある（仮想）位置を有する。この仮想位置は、仮想位置から聴取位置までの直接経路が、オリジナル音源から聴取位置までの反射経路と同じ特性を示すような位置である。具体的には、反射を表す仮想音源の経路長は、オリジナル音源から聴取位置までの反射経路の経路長に等しい。さらに、仮想音源経路における聴取位置への到達方向は反射経路の到達方向と等しい。さらに、反射経路における境界（例えば、壁）による反射ごとに、直接経路は反射境界に対応する境界を通過する。したがって、モデル境界を通過する際の透過率を使用して、反射効果を直接モデリングすることができ、例えば、境界の反射減衰に対応する減衰が、対応するモデル境界を通過する際の透過率に割り当てられてもよい。
ミラーソースモデルの特に重要な特性は、聴取位置から独立であり得ることである。決定された位置および部屋の構造は、オリジナル部屋内のすべての位置に対して正しい結果を提供する。具体的には、仮想ミラー音源および仮想ミラー部屋が生成され、これらを使用して、オリジナル部屋内の任意の位置の反射性能がモデリングされ得る。すなわち、オリジナル部屋内の任意の位置の経路長、反射、および到達方向を決定するために使用され得る。したがって、初期設定プロセス中にミラーソースモデルの生成が行われ、生成されたモデルは、例えば、ユーザがオリジナル部屋内を動き回る（並進および／または回転）と考えられるように継続的かつ動的に使用および評価され得る。したがって、ミラーソースモデルの生成は実際の聴取位置を考慮せずに実行され、より一般的なモデルが生成される。
ミラーソースモデルを生成するプロセスは反復プロセスであり、反射を表す仮想音源を生成することによってモデルを生成するための方法の例が図３に示されている。
方法は、プロセスの初期設定が行われるステップ３０１で開始する。これは、例えば、部屋の特定の特性を使用するために方法を初期設定すること、すなわち、部屋データから取り出された特性に基づいたものとなるように方法を初期設定することを含む。
プロセスは、部屋の境界を軸とした部屋の反復ミラーリング、および部屋の境界を軸とした音源の対応するミラーリングに基づいている。各反復において、前の反復で生成された部屋の境界（の一部）を軸として（直前の反復で）生成された部屋および音源（特に音源の位置）をミラーリングすることによって、新しい部屋および音源が生成される。プロセスが初期設定されると、オリジナル部屋が直前の反復の部屋として初期設定され／見なされ、オリジナル音源が直前の反復の音源として初期設定／見なされる。したがって、最初の反復は、単一のオリジナル部屋および音源を直前の反復の成果／結果と見なすことに基づいている。
最初の反復はステップ３０３で開始され、前の反復で生成された部屋に関してミラー境界のセットが決定される。具体的には、前の反復で生成された部屋として、ソース部屋のセットが決定される。最初の反復では、ソース部屋のセットはオリジナル部屋を含む（オリジナル部屋のみ）。次に、ステップ３０３においてこれらのソース部屋のうちの１つが処理される。
ソース部屋の境界はすべて、最初はミラー境界のセットの候補境界であり、ミラー境界のセットに含めるために、これらの中から０個、１個、いくつか、またはすべてが選択され得る。この選択については後で詳述する。
ステップ３０３の後にはステップ３０５が続き、ミラー境界のセット（以下、ミラー境界と呼ばれる）のうちの各境界を軸としてミラーリングが実行される。各ミラーは、ミラー境界を軸としてソース部屋をミラーリングしたものを含む。さらに、ミラー境界を軸としてソース部屋の音源をミラーリングしたものを含む。したがって、ミラー境界を軸としたミラーリングは、新しい（仮想）ミラー部屋と、新しい（仮想）ミラー音源とを生成する。したがって、ミラーリングは、ソース部屋およびソース音源を新しいミラー部屋およびミラー音源に変換する（それぞれ、ソース部屋およびソース音源のミラーリングされた複製である）。
ソース音源のミラーリングは、線が境界の表面に対して垂直になるように、境界とソース音源とを通る線を決定し、ミラー音源を境界から同じ距離（ただし、反対側、すなわちミラー部屋内）に配置することによって行うことができる。
ミラーリングは本質的に、ミラー境界の一方の側から他方の側への方向、すなわちソース部屋からミラー部屋への方向を定める。方向は鏡面に垂直な方向と見なすことができ、または同等に、部屋のミラー境界の相対位置が方向を示すと考えられてもよい。方向は、例えばオリジナル部屋に関連付けられ得る。例えば、オリジナル部屋の各境界の位置は方向を表すと見なすことができる。すなわち、３Ｄ部屋については６つの個別方向が定められ、２Ｄ部屋については４つの個別方向が定められ得る。ミラー部屋はミラーリングによって生成されるため、境界のアラインメントは変化せず、したがって、ミラー部屋の境界もオリジナル部屋の４方向または６方向と整列する（ただし、当然ながら、ミラーリングは境界の相対位置を逆転させ、例えば、左または右の境界を軸としてミラーリングすると左右の境界の位置が逆転する）。
最初の反復では、オリジナル部屋が直前の反復のミラー部屋と見なされ、オリジナル音源は直前の反復のミラー音源と見なされるため、オリジナル部屋の境界を含むミラー境界のセットが生成され得る。通常、最初の反復のミラー境界のセットはオリジナル部屋のすべての境界を含む。
次に、ミラー境界のセットの境界に関してミラーリングが実行されることにより、それぞれが新しいミラー音源を含む複数（通常は最大４つまたは６つ）の新しいミラー部屋が生成される。
方法はその後ステップ３０７に進み、ソース部屋のセットのうちのすべてのソース部屋が処理されたか否か、すなわち、前の反復で生成されたすべてのミラー部屋が処理されたか否かが決定される。すべて処理されていない場合、方法はステップ３０９に進み次のソース部屋が選択され、方法はステップ３０３に戻る。
すべて処理されている場合、方法はステップ３１１に進み、さらに反復を実行すべきか否かが決定される。さらに反復を実行すべき場合、方法はステップ３１３に進み、例えば、現在の反復で生成されたすべてのミラー部屋を含む新しいソース部屋のセットを決定することによって、次の反復が設定される。次に、方法はステップ３０３に戻り、この新しいソース部屋のセットが処理され、場合によってはミラーリングされる。したがって、各反復で、前の反復の結果のミラーリングに基づき、ミラー部屋／ミラー音源の数が増加する。
反復は、例えば、所定回数の反復が実行されるまで継続することができる。これがステップ３１１で検出された場合、方法はステップ３１５に進み、方法は、例えば停止するか、または例えば生成されたモデルに基づくレンダリングが実行され得る。
この手法は、オリジナル部屋での反射が、仮想ミラー音源からの直接経路によってエミュレートされ得るミラーソースモデルを生成し得る。
図４に示されるように、反射音成分は、ミラーリングされた音源の直接経路としてレンダリングされ、これは、聴取者に対する正しい入射距離および入射方向を表す。これはオリジナル部屋内のすべての位置について当てはまり、異なる聴取位置のために新しいミラー音源の位置を決定する必要はない。仮想ミラーソースは、オリジナル部屋内のすべてのユーザ位置について有効である。
この仮想ミラーソースを生成するとき、前述のように反射効果を考慮に入れることができる。これは通常、部屋間の各移行に対して、越える境界の表面によって鏡面反射される音源のエネルギーの部分を表す減衰または周波数依存フィルタリングを割り当てることによって行うことができる。
音は複数の境界反射を介してユーザに到達する可能性があるため、図５に示されるように手法が繰り返されてもよい。説明されている反復手法は、ミラー部屋およびミラーソースの複数の「レイヤー」を生成することにより、複数の反射をモデリングすることを可能にする。各反復は、経路の反射回数を増やし、すなわち、最初の反復は１回の反射を介して聴取位置に到達する音成分を表し、２回目の反復は２回の反射を介して聴取位置に到達する音成分を表す。
この手法は、通常、特定の次数（固定の反復回数）まで部屋を順次ミラーリングする場合、オリジナル部屋およびミラーリングされた部屋のひし形表現を生成する。図６では、２Ｄで、二次まで、すなわち２回の反復でこれが示されている。３Ｄでは、オリジナル部屋を通る断面を見ると同様の構造がある（すなわち、５つの部屋の列を通る垂直面内に同じパターンが見られる）。
しかし、記載される手法の原則は比較的単純に見える可能性があるが、実践的な実装はそうではなく、実際には、実践的な考慮事項は手法のパフォーマンスにとって重要である。
例えば、多くの用途では、部屋および音源を表すために使用される座標系が境界の方向と揃っていない可能性がある。これは同時に２つ以上の次元に影響を及ぼすため、ミラーリングの計算がより複雑になる。そのような場合、部屋の境界と音源とのどちらかを回転させて座標系に揃え、その後に決定されるすべての仮想ミラーソースを逆回転させるか、またはミラーリング自体を２つ以上の次元で実行する必要がある（例えば、境界の法線ベクトルを使用して）。多くの場合、後者の手法の方が効率的である。
この手法の顕著な問題は高いリソースを必要とする傾向があることであり、具体的には高い計算リソース要件を有することである。発明者らは、重要な問題は多数の重複ミラー部屋が生成されることであり、リソース使用量が多いのは、多くのミラー動作を実行する際のリソース使用量だけでなく、複製を識別して排除するために行われる、得られたミラー部屋およびミラー音源の後処理のための要件に起因することを認識した。
一例として、図７は、二次および四次ミラーリングシーケンスがどのようなミラー部屋の複製をもたらすかを示す２Ｄの例を示している。複製の相対数は反射の次数に応じて累進的に増加し、３Ｄ部屋および五次反射の場合、鏡像音源法を直接適用すると最大７７７６の仮想ソースが認められ、そのうちわずか２３０が一意である。
図３の方法では、重複するミラー部屋およびミラー音源の生成を低減できるように、ほとんどの用途においては完全に防ぐことができるように、ミラー境界のセットのための境界を選択する特定の手法が使用される。
したがって、方法は、オリジナル部屋およびミラーリングされた各部屋の後続ミラーの部屋境界サブセットを選択するように構成される。各部屋のサブセットは、重複する部屋が取得されないように選択されるため、重複する仮想ミラーソースを回避することができる。
これは、選択のための複数の規則／制約を含む選択基準に従ってミラー境界のセットのための境界を選択することによって実現される。選択基準は、部屋アレイを通る部屋／音源のミラーリングの進行を、オリジナル部屋からいくらかの量のステップ以内に制御するために使用される。この手法は、具体的には、各（潜在的）ミラー部屋への１つの経路を選択し、その部屋への他のすべての経路を除外するものと見なすことができる。考えられる複数の異なる経路はすべて対応する境界を越えるため、考えられる複数の異なる経路は、順序は異なるが、すべて同じ境界を含む。しかし、通常、反射は線形動作と見なすことができるため、音源から聴取者に到達する順序は重要ではなく、よって、境界を越える順序は関係ない。
まず２Ｄアプリケーションについて選択基準が検討され得る。以下では４つの方向、すなわち、対をなす２つの平行な境界に対応する上および下、ならびに（最初のペアに対して垂直な）別の対をなす２つの平行な境界に対応する後ろおよび前を考慮するものと見なされる。
選択基準は、具体的には、ソース部屋のある候補境界がミラー境界のセットに含まれるためには、該候補境界の第１のミラーリング方向が、ソース部屋をもたらした、前のいずれかのミラーリングの方向の反対方向であってはならないという制約／要件を含む。
したがって、方法はステップ３０３において、例えば、前の反復で生成されたすべてのミラー部屋を、潜在的なさらなるミラーリングのためのソース部屋として順次検討し得る。そして、現在検討中のソース部屋について、すべての境界が、含めるか否かに関して評価される。例えば、２Ｄの例ではソース部屋のすべての壁が検討され、３Ｄの例では天井および床がさらに検討される。
さらに、（最初の反復を除いて）現在のソース部屋は、１つまたは複数のミラーリングのシーケンスによって生成されたミラー部屋であり、したがって、現在のソース部屋は、どのようなミラー動作の結果としてソース部屋がもたらされたのかを反映する１つまたは複数のミラー方向のシーケンスに結び付けられる。
上記要件のため、過去のミラー方向のシーケンスにすでに含まれている方向の反対方向であるミラー方向に対応するソース部屋のすべての境界はその後の検討から除外される。
例えば、ソース部屋が上方向のミラーリングを含むシーケンスによって生成された場合、下ミラー方向に対応する境界はミラー境界のセットの選択肢から除外される。同様に、先行する方向シーケンスに前方向のミラーリングが含まれている場合、後ろミラー方向に対応する境界は除外される。
したがって、ミラーリングの経路／シーケンスを介したミラー部屋の順次生成を考えると、所与の方向でミラーリングが一実行された後は反対方向でのミラーリングは許可されない。
選択基準はさらに、オリジナル部屋に対して実行され、現在のソース部屋につながったミラーリングの方向に関連する要件を含む。
具体的には、最初の部屋の各境界は、結び付けられた除外方向に結び付けられる。所与の境界の除外方向は、具体的には、その境界のミラーリング方向に垂直な方向である。したがって、第１の平行境界ペアに属する境界は、異なる平行境界ペアに属する境界にとっては除外ミラー方向である。２つの境界ペアは、２Ｄアプリケーションの２つの次元、または３Ｄの場合は３つの次元のうちの２つの次元に対応する。
具体的には、ソース部屋の２組の平行境界ペアに属する４つの境界はそれぞれ結び付けられた除外方向を持ち、各境界の除外方向は、他方の平行境界ペアに属する境界のミラー方向である。さらに、４つの境界の４つの結び付けられた除外方向はすべて異なり、したがって、４つの除外方向は４つのミラー方向に対応する。
具体例として、結び付けられた方向は次のようであり得る。
Figure 0007701353000001
選択基準は、候補境界がミラー境界のセットに含まれるためには、該候補境界のミラーリング方向が除外方向であってはならないという制約／要件を含む。除外方向は、ソース部屋をもたらすミラーリングの軸となった最初の部屋の境界に依存する。
したがって、方法がステップ３０３において、ミラー境界のセットのための境界を選択するために所与のソース部屋のすべての境界を検討するとき、方法は具体的には、実行された最初のミラーリング、すなわち、最終的に現在のソース部屋につながったオリジナル部屋のミラーリングを検討する。そして、除外方向が特定され得る。例えば、最初のミラーリングが前方向であった場合、結び付けられた除外方向は右であると決定される。そして、除外方向に対応するミラー方向を有する境界が除外される。
この要件のため、除外方向のミラー方向に対応するソース部屋の境界はその後の検討から除外され、ミラー境界のセットには含まれない。したがって、除外方向ではミラーリングは実行されない。
例えば、左方向のミラーリングによって開始されたシーケンスによってソース部屋が生成された場合、前方向に対応する境界はミラー境界のセットの選択肢から除外される。したがって、ミラー部屋の生成の進行は、除外方向に対応する次元／境界ペアについて常に一方向になる。
選択基準はさらに、ある候補境界がミラー境界のセットに含まれるためには、該候補境界のミラーリング方向が、直前の反復でソース部屋の生成をもたらしたミラーリング方向を除き、ソース部屋をもたらした以前のいずれのミラーリング方向とも同じ方向であってはならないという制約／要件を含む。
したがって、ミラー境界のミラーリング方向は、その方向が前の反復で適用されたミラー方向と同じでない限り、すなわちソース部屋自体を生成するために使用されたものと同じ方向でない限り、以前のミラーリングが実行された方向と同じであってはならない。
したがって、選択要件は、前の反復でも使用されたものでない限り、すなわち、その所与の方向でのミラーリングの継続でない限り、ミラーリングの方向が繰り返されないというものである。したがって、選択基準は、所与のミラーリングシーケンスは、その後それから逸れた、以前に適用されたミラーリング方向に決して戻らないという要件を含む。したがって、ミラーリングが、ある初期方向で開始されると、これは望まれる限り継続可能であるが、異なる方向でミラーリングが生じると、ミラーリングは初期方向に戻ることはできない。ある１つの方向のミラーリングは反対方向のミラーリングを除外するため、各次元について１つの方向のミラーリングしか許可されず、ミラーリングシーケンスが、１つの次元から別の次元の方向のミラーリングに切り替わると最初の次元には戻ることができなくなる。すなわち、１つの次元でのミラーリングは、１つの方向で、連続ミラーリングシーケンスでのみ可能である。
したがって、ステップ３０３において、方法が、ミラー境界のセットのための境界を選択するために所与のソース部屋のすべての境界を検討するとき、具体的には、ソース部屋につながるすべての前のミラー方向を検討し、ソース部屋を生成したミラーリング方向と同じミラー方向を持つ境界を除いて、前のミラー方向と同じミラー方向を持つ境界をすべて除外する。
例えば、ソース部屋は前方向に２回のミラーリングによって開始し、次に左方向に２回ミラーリングというシーケンス（（前、前、左、左）のシーケンスに対応）によって生成された場合がある。その場合、最新のミラー方向を除いて前のミラー方向には戻らないという要件から、前ミラー方向の境界を除外されるが、左ミラー方向の境界は除外されない。
上記制約および要件は、ステップ３０５で実行されるミラーリングが重複する部屋を生成しないことを保証するように、密接に連携し得る（２Ｄアプリケーションを考える場合）。さらに、すべての可能なミラー部屋の生成を許容するため、すべての潜在的な反射（例えば、所与の回数までの反射）が自動的にモデリングされ得る。
具体的には、多くの実施形態では、ミラー境界のセットは選択基準を満たすすべての境界を含むように選択される。したがって、ソース部屋と見なされるミラー部屋の場合、要件によって除外されていないすべての境界を含むようにミラー境界のセットが生成される。通常、２Ｄの場合には１つまたは２つの境界が含まれる。
前述のように、最初の反復ではオリジナル部屋が唯一のソース部屋／ミラーとして見なされる。ミラー境界のセットはオリジナル部屋のすべての境界を含むように生成される。また、最初の反復の場合は以前の方向や除外方向がないため、４つの境界すべてが本来的に上記基準を満たすことに留意されたい。さらに、最初の反復は、それぞれの新しいミラー部屋について除外方向を決定する。
選択要件は密接かつ相乗的に相互作用して、２Ｄ平面において、重複なく所与の次数までのすべての反射を表すミラー部屋および仮想ソースの決定を可能にし得る。これは、上記プロセスによって４回の反復後に生成されたモデルの部屋、すなわち、４次までの反射を表すモデルの部屋を示す図８によって示され得る。除外方向を導入する要件は、本質的には空間を４つの象限に分割し、他の要件は、各ミラー部屋が１つの特定のミラーリングシーケンス／経路を通ってのみ到達され得ることを保証する。さらに、要件は可能なすべてのミラー部屋の生成をもたらす。
この手法は、多くの実施形態において３Ｄモデルを生成するために使用され、また、例えば、オリジナル部屋の天井および床を含む反射のモデリングを含み得る。
この場合、２Ｄモデルに焦点を当てて説明した上記要件が引き続き使用されるが、加えて、選択基準は第３の次元に対応するための特定の要件を含み得る。
具体的には、処理回路２０３は、ソース部屋をもたらした以前のいずれかのミラーリングの第２のミラーリング方向が、除外方向と、ソース部屋につながる最初の部屋のミラーリングのミラー方向とに対して垂直である場合、候補境界がミラー境界のセットに含まれるためには、該候補境界のミラーリング方向が第２の方向と同じでなければならないという要件を含み得る。
先に述べた要件は、主に、各部屋が２つの平行境界ペアを有する２Ｄの場合を考慮していた。しかし、より典型的な３Ｄの場合、各部屋はさらに、それらを軸としてミラーリングが実行され得る第３の平行境界ペアを有する。したがって、各ミラー境界セットはさらに、第３の次元の２つの方向において、例えば、具体的には部屋の天井および床に対応する上下方向において追加の境界を含み得る。先に述べた要件は、オリジナル２Ｄ平面内の部屋からそのようなミラーリングが実行されることを妨げない。したがって、前の反復で生成されたオリジナル２Ｄ平面内の新しいミラー部屋ごとに、現在の反復において、上下それぞれに新しいミラー部屋が生成され得る。
先に述べた要件は二次元で動作し、前に生成された部屋をミラーリングすることによって二次元モデルを拡張する手法を提供する。具体的には、要件は、要件が満たされている限り二次元でミラーリングを実行することを可能にし、２Ｄ平面のひし形の範囲をもたらす。２Ｄ平面は、実行された最初のミラーリングの方向、すなわち、検討されている現在のソース部屋につながったオリジナル部屋のミラーリングの方向と、それに関連付けられた除外方向とによって決定される。
この具体例では、最初のミラーリング方向は（前、左、後ろ、右）のいずれかであり、同様に除外方向は（前、左、後ろ、右）のいずれかである。したがって、要件は、他のミラー方向が以前に実行されたか否か、すなわち、これら以外の方向で以前にミラーリングがあったか否か、すなわち、上方向または下方向のミラーリングがあったか否かを検討する。そのようなミラーリングがなかった場合、要件は制約を課さず、よって、２Ｄ平面内でのミラーリングを制限せず、２Ｄ平面外の最初のミラーリング、すなわち、最初の上ミラーリングまたは下ミラーリングも制限しない。
しかし、以前のミラーリングが２Ｄ平面外で実行されていた場合、すなわち、最初の上ミラーリングまたは下ミラーリングが実行されていた場合、要件は、同じ方向のミラーリングのみが実行可能であるという厳しい制約を課す。したがって、上（または下）方向のミラーリングが一度実行されると、後続のすべてのミラーリングは上（または下）方向でなければならない。したがって、方向が一度２Ｄ平面外に変更されると、この方向を維持しなければならず、方向の変更は許可されない。したがって、第３の次元でのミラーシーケンス内の最初のステップの方向は、この最初のステップに続く他の方向を禁じる。
一部の実施形態では、第３の次元は、除外方向および最初のミラーリング方向によって特定されなくてもよい。そうではなく、第３の次元は単に指定された参照次元であってもよく、具体的には、予め定められた参照次元であってもよい。１つの次元は互いに反対側の境界を軸としたミラーリングを表すため、次元は２つの方向、すなわち互いに反対の方向のミラーリング方向を表す。したがって、オリジナル部屋は、互いに反対の方向の参照ミラーリング方向のペアに結び付けられていてもよい／関連付けられていてもよい。この具体例では、参照方向ペアは具体的には上方向および下方向であり得る。
そのような実施形態では、選択基準は、ソース部屋をもたらした以前のいずれかのミラーリングの第２のミラーリング方向が、２つの参照ミラーリング方向のうちの１つである場合、候補境界がミラー境界のセットに含まれるためには、該候補境界のミラーリング方向が第２の方向と同じでなければならないという要件を含み得る。
したがって、そのような実施形態では、一度ミラーリングが参照方向、具体的には、この例では上または下で実行されると、その後のすべてのミラーリングが同じ方向でなければならない。したがって、上方向のミラーリングが実行された途端、後続のミラーリングは上方向のみが可能となり、他の方向（右、左、後ろ、前、または下）のミラーリングは実行できなくなる。
この手法は、方法が、反射を三次元でモデリングするための（典型的には対称性を有する）ミラー部屋のセットを生成し得ることを保証する。これは、先に述べた要件と緊密かつ相乗的に相互作用して、反射の正確なモデリングを含むと同時に、複雑さの低い３Ｄモデルを効率的に生成し得る。特に、重複なくミラー部屋の３Ｄモデルを生成できる。さらに、要件は可能なすべてのミラー部屋の生成をもたらす。
実行される反復の回数を決定するために使用される基準は、個々の用途の優先事項および要件に応じて異なり得る。多くの実施形態では、所定の最大反射回数に対応する所定の回数だけ反復が実行され得る。
他の実施形態では、より適応型の基準が使用されてもよく、例えば、生成されたすべてのミラー音源の結合された減衰係数（結合された反射係数）が閾値を下回るまで反復が継続される。したがって、そのような実装形態の場合、反射信号が無視できるほど弱いと考えられるまで反復を繰り返すことができる。
所望の特性を備えたモデルを生成するために、および／またはプロセスが所望の特性を備えることを保証するために任意の停止基準が使用され得ることが理解されよう。例えば、すべての減衰係数が閾値を下回るか、または所定の回数だけ反復が実行されるまで反復が継続されてもよい。
多くの実施形態では、生成されたモデルは、オリジナル部屋内の所与の聴取位置においてオリジナル音源の音声信号をレンダリングするために使用され得る。ステップ３１５は、具体的には、前のステップで生成されたモデルに基づき、レンダラー２０５によってレンダリングを行うことを含み得る。
レンダリングは、具体的には、各音源から聴取位置への直接（非反射）経路に対応する各音源の音声成分を決定することを含み得る。さらに、各経路について、信号は、経路長に直接対応するように決定される減衰係数と、経路が越えるすべての境界による減衰の結合に対応する結合された減衰係数とによって減衰され得る。さらに、多くの実施形態は、（仮想）音源から聴取者までの飛行時間をシミュレートする、経路長に直接対応する遅延だけ信号を遅延させてもよい。経路長からの遅延の決定には音速が使用される。したがって、各音声成分は１つの初期反射をエミュレートし、すべての音声成分（オリジナル音源から直接のものを含む）、および、任意選択で後期残響成分（例えば、Ｊｏｔリバーブレーターなどの任意の適切な手段を使用して生成され得る）を結合することによって、聴取位置に到達する結合音声を生成することができる。
仮想音源からの直接の非反射伝搬としての音声成分のレンダリングは、部屋／音響環境での反射の効率的なエミュレーションを提供することにより、自然でリアルなサウンドとして知覚されるレンダリングを生成することを可能にする。
空間スピーカー構成またはヘッドホン再生のためのバイノーラル処理を使用する空間レンダリングアルゴリズムなど）、多くのレンダリングアルゴリズムが知られており、任意の適切な手法を使用できることが理解されよう。
上記したように、オリジナル部屋の各境界は音響特性に関連付けられ、具体的には、部屋データは各境界の減衰または反射係数を表し得る。減衰／反射係数は、具体的には、壁によって反射される音響信号の減衰を示し、すなわち、入射音声信号と反射音声信号との間のレベル差／比率を示し得る。減衰／反射係数は周波数依存性であり、例えば、入射音声信号の周波数依存フィルタリングに直接対応する可能性がある。
境界の減衰係数は境界の音響特性に依存し、具体的には境界を構成する要素の材料に依存する。一部の材料は強い反射をもたらす一方（例えば、タイル）、他の材料は高い吸音性を有し（例えば、シャギーカーペット）、音を減衰させ、ずっと小さい信号のみが反射される。これは減衰係数によって示され得る。
各仮想音源について、オリジナル部屋への経路は複数の境界を越え、その数は部屋が生成された反復に等しい。さらに、越える各境界は実際の部屋での反射に対応する／反射をモデリングする。例えば、オリジナル部屋に到達するために２つの境界を越える仮想音源は、２つの反射によって形成されるオリジナル部屋内の経路をモデリングする。さらに、２つの反射は減衰係数を有し、これらの減衰係数をミラー境界に割り当てるとき、ミラー境界を越える際の減衰係数は、これがモデリングする反射の影響を直接反映する。
多くの実施形態では、仮想ミラー音源および対応するミラー部屋を生成するために実行されてきたミラーリングの軸である複数の境界の減衰係数を結合することによって、仮想音源ごとに結合反射／減衰係数が求められ得る。したがって、ミラー音源を含むミラー部屋につながるミラーリングに含まれるすべての境界の減衰係数を結合することにより、そのミラー音源のための結合減衰係数が生成され得る。
したがって、この結合減衰係数は、仮想音源によってモデリングされた初期反射のすべての反射の結合反射減衰を反映する。したがって、結合減衰係数は、例えば、聴取位置に到達する音声成分の信号レベルおよび／または周波数分布を決定するためにレンダリングによって使用され得る。さらに、これは、オリジナル部屋内の聴取位置の具体的な位置に依存しない可能性があり、よって、具体的な現在の聴取位置のために求める必要があるのは距離依存性の経路損失減衰のみである。
一部の実施形態では、選択基準は、ソース音源の結合減衰係数をミラー境界の減衰係数と結合した結果が閾値を下回る減衰を示さなければならないという要件を含み得る。したがって、ある境界が、新しいミラー部屋およびミラー音源を生成するミラー境界として認められるためには、このミラー音源の減衰が所定の減衰量を超えないことが要求される。したがって、オリジナルの音の知覚に寄与しないと見なすことができる程度までオリジナル音源を減衰させる反射経路が生成される場合、ミラーリングの進行は停止される。これにより、多くの実施形態において複雑さおよびリソース要件が低減し得る。
減衰係数を使用することで、非常に特殊なシナリオのモデリングも可能になる可能性がある。具体的には、１つ（または複数）の境界が高い吸音性を有するか、または音響透過性であり、反射が全く生成されない部屋の効率的なモデリングを可能にし得る。
具体的には、音響的に非反射性の境界は、完全な減衰を示す、すなわち反射信号が生成されないことを示す減衰係数によって表すことができる。したがって、非反射性要素が境界を形成する場合、１００％の減衰係数を割り当てることができる（反射係数ゼロに対応する）。したがって、この境界をミラー境界として含むミラーリングシーケンスによって生成された仮想ミラー音源は１００％の結合減衰係数を有するため、音声成分を全く生成しない。これは、この境界を含む反射経路は聴取位置に到達しないことに対応する。実際、減衰係数を１００％減衰に設定する手法は、壁や天井の欠落など、物理的な要素を含まない境界にも適用され得る。
多くの実施形態において、これは、非反射性の壁に到達したときにミラーシーケンスが停止するようにするために、所与の閾値未満の減衰係数をもたらす境界を含まないミラー境界のセットのための境界の選択と組み合わせられてもよい。
一部の実施形態では閾値は適合型であり得る。例えば、反射の次数に依存したり、またはオリジナル音源信号の相対的な（現在の、時間制限のある）レベルに依存したりする。
したがって、上記手法を使用することで、部屋内の初期反射の音響的な鏡像音源モデルを、前の反復の部屋の境界（例えば、壁）を軸として部屋を繰り返しミラーリングすることによって生成できる。各反復でのミラーリングの軸となる境界は、ミラー方向が逆転してはいけない、除外方向であってはならない、および連続した一連のミラーリングでない限り繰り返してはならないという要件を含む特定の選択基準によって決定される。
この手法は、次第により高次の（すなわち、より多くの）反射のモデリングが含まれるようにモデルを順次拡張し得る。図９にはモデルを表すツリーの例が示されている。ツリーは、三次反射のすべてのミラー部屋を求めるためのアルゴリズムの進行の表現を有する（すなわち、ツリーの深さはミラーリング反復３回である）。図９ではそれぞれＵ、Ｄ、Ｌ、Ｒ、Ｆ、およびＢによって上、下、左、右、前、および後ろが表されている。この例では、次元および方向は前後、左右、および上下で表される。グラフ内の各ノードは部屋を表す。最初のノードはオリジナル部屋を表し、残りのノードはオリジナル部屋の６２個のミラーリングされたバージョンを表す。
この手法は、非常に効率的なアルゴリズムを使用して、非常に正確であり得るモデルであって、リアルで自然に聞こえるように音声をレンダリングするために使用され得るモデルを生成することを可能にし得る。
この手法は、特に、計算の複雑さおよび／または必要な計算リソース要件／使用量を低減し得る。典型的なアプリケーションよりも少ない計算能力を使用して実施され得る。具体的には、鏡像音源モデルを生成するための他の手法と比較して、典型的には、ミラーリングされた仮想音源を決定するために必要なミラー動作の回数を減らすことにより、計算リソース要件を大幅に低減できる可能性がある。また、典型的には重複する仮想音源を解消する必要があることに関連する後処理が回避され得る。通常、はるかに効率的なプロセスが実現できる。
典型的には、鏡像音源モデルを生成するための上記手法は、ある部屋に対して少なくとも１回実行しなければならない、オリジナル音源の反射を表す仮想ミラー音源のセットを導出する初期設定コンポーネント／ルーチンの一部であり得る。音源が動いている場合、鏡像音源モデルは再計算されるか、または１つまたは複数の動いている音源について部分的に再計算され得る。
したがって、多くの実施形態では、手法は、前の反復で定められた各ミラー部屋について２つのステップを含む各プロセスの反復プロセスに基づき得る。所与の部屋（音源部屋）について、これらのステップは以下を含み得る。
１．より高次の反射を求めるために、音源部屋および部屋内の少なくとも１つの点のミラーリングが行われるミラー境界のセットを決定する。
２．ソース部屋および少なくとも１つの（音源）位置／音源を、ミラー境界のセットに含まれる各境界をまたいでミラーリングし、ミラーリングが行われた境界に対応する反射係数を含むように結合反射係数（減衰係数）を更新する。
多くの実施形態は、ミラーリングされた部屋が次の反復のソース部屋として使用される再帰的プロセスを用いて反復を実行することができる。擬似コードによるプロセスの例を以下に示す。

function [reflectionList, reflectionAttList] = optimalImageSource(roomDef,
srcPos, reflectionAtt, state)

[mirrorBoundarySet, state] = getSetOfMirrorBoundaries(roomDef, state);

idx = 0;
for b = mirrorBoundarySet
idx = idx + 1;
mirroredRoomDef(idx) = mirrorRoom(roomDef,
roomDef.boundary(mirrorBoundarySet(b)));
mirroredSrcPos(idx) = mirrorSrc(srcPos,
roomDef.boundary(mirrorBoundarySet(b)));
mirroredReflAtt(idx) = reflectionAtt * roomDef.reflectionCoeff(b);
end

reflectionList = mirroredSrcPos;
reflectionAttList = mirroredReflAtt;

state.order = state.order + 1;
if (state.order < state.maxOrder)
for idx = 1:length(mirrorBoundarySet)
[reflectionListPart, reflectionAttListPart] = optimalImageSource(
mirroredRoomDef(idx), mirroredSrcPos(idx), mirroredReflAtt(idx), state);

reflectionList = concat(reflectionList, reflectionListPart);
reflectionAttList = concat(reflectionAttList, reflectionAttListPart);
end
end

これは以下を使用して初期設定および開始され得る。

maxOrder = 5;
state = initOptimalImageSource(maxOrder);

[reflectionList, reflectionAttList] = optimalImageSource(roomDef,
srcPos,
1,
state);
多くの場合、部屋は長方形（靴箱モデル（ｓｈｏｅｂｏｘ ｍｏｄｅｌ）とも呼ばれる）であるか、または長方形の同等物によって近似されてもよい。図１０に示されるように、そのような長方形部屋モデルの境界は、部屋モデルの境界が定義される座標系と必ずしも整列していない。
これは鏡像音源法を複雑にする２つの問題を生じさせる。
・境界をまたぐ点のミラーリングは単一の次元での単純な減算および加算ではなく、２つの、または場合によっては３つの次元での測定および調整に同時に影響を及ぼす。
・ソース部屋の３つのミラーリング次元（前後、左右、および上下）は座標系に直接マッピングされない。
１つの手法は、すべての部屋定義座標および音源位置座標を回転させることによって部屋を座標系に揃えた後、仮想音源位置を計算し、これらすべてを逆回転で元に戻るように回転させることである。
別の手法は、部屋を定義する３つの平行境界ペアにミラーリング次元を任意に定義し、幾何学的計算を使用してミラーリングを実行することである。
後者の選択肢に基づく例示的な手法を以下に説明する。
最初のステップとして、オリジナル部屋を定義する３つの平行境界ペアを求めて３つのミラーリング次元に割り当てる必要がある。このマッピングは任意に選択可能である。特定の順序は必要ない。
例外として、例えば計算の複雑さをさらに軽減するために、反射が水平面内でのみ計算される場合が挙げられる。その場合、床および天井のペアを検出する必要があり、これは、座標系の上方向軸に最も近い法線ベクトルを有する境界を特定することで可能となる。例えば、各々の正規化された法線ベクトルの絶対ドット積が最大となる境界である。
Figure 0007701353000002
ペアを特定するために、各境界の法線ベクトルが計算される（点のミラーリングに関する後の記載でより詳細に説明される）。すべての法線ベクトルペアの相関行列により、ペアを特定することができ、また、部屋モデルが長方形であることを確認できる。
相関行列Ｃの各要素ｃｉｊ＝ｃｊｉは、インデックスｉおよびｊの境界の法線ベクトルのドット積を有する。長方形部屋定義の場合、すべての値が０、１、または－１のいずれかに非常に近い。値が１または－１に近いペアは平行なペアであるため、ミラーリングが行われる３つの次元のうちの１つと見なすことができる。
プロセスの一部として、ソース部屋定義を、ソース部屋の境界のうちの１つによって定義される平面を横切るようにミラーリングする必要がある。また、ソース部屋内の他の位置、例えば（反射）音源位置も、同じ平面を横切るようにミラーリングされ得る。
平面を横切るように点をミラーリングすることは、よく知られた数学的処理であり、平面の法線ベクトルを使用して実行できる。方向ベクトルであるこのベクトルは、平面内のすべてのベクトルに垂直であり、ミラーリングされる点までの距離が最も短い平面内の点を決定するために使用され得る。これがミラー点である。この点を求めることにより、ミラー点をミラーリングされる点に結ぶ方向ベクトルの符号を反転するか、またはミラーリングされる点をミラー点に結ぶ方向ベクトルの長さを２倍にすることで、平面の反対側に点をミラーリングすることができる。
平面の法線ベクトルは、平面内の２つのベクトルまたは３つの点から導出され得る。長方形の部屋の境界を定義するための特に有利な方法は、（長方形の）境界の４つの角の座標を定義することである。したがって、法線ベクトルを計算するには、これら４つの座標のうちの３つを選択するだけで十分である。
他の表現では、部屋および部屋の境界は、３点ポリゴンのメッシュとして定義されてもよい。同様に、境界を定義する、１つのポリゴンの３つの頂点を使用して法線ベクトルが計算され得る。
平面内の３つの選択された点は、
Figure 0007701353000003
 、
Figure 0007701353000004
 、および
Figure 0007701353000005
 と示され、法線ベクトルは、これらの点によって定められる２つのベクトルに直交するベクトルである。例えば、
Figure 0007701353000006
２つのベクトルのクロスを取ることで、この直交法線ベクトルが得られる。
Figure 0007701353000007
さらなる計算における複雑さを軽減する手段として、法線ベクトルが正規化されてもよい。
Figure 0007701353000008
その結果、部屋の境界を通る（無限）平面に垂直な、原点から始まる正規化された方向ベクトルが得られる。法線ベクトルだけでは平面を定義するのに十分ではない。平面内の任意の点
Figure 0007701353000009
 について、平面の式は以下の通りである。
Figure 0007701353000010
 したがって、例えば、点
Figure 0007701353000011
 、
Figure 0007701353000012
 、または
Figure 0007701353000013
 のうちのいずれかを使用して、値ｄが計算され得る。
次に、ミラーリングされる点（
Figure 0007701353000014
 ）をミラー点（
Figure 0007701353000015
 ）に結ぶベクトルが計算され、ここで、αは、方向ベクトルを正しい長さおよび符号にスケーリングするために使用される。
Figure 0007701353000016
ミラー点
Figure 0007701353000017
 は平面内にある必要があるので、
Figure 0007701353000018
これを変形すると次のようになる。
Figure 0007701353000019
この手法によれば、ミラーリングされた点（ｓ’）は次の計算によって求められる。
Figure 0007701353000020
ほとんどの実施形態では、反射から生じる減衰も各ミラー音源について計算される。したがって、多くの実施形態では、各ミラーリング動作について、ミラーリングされた部屋内の音源の反射減衰が計算され、結合減衰係数によって表現される。以下では減衰係数は反射係数によって直接表され得るが、多くの実施形態において、減衰は、例えば周波数に依存し得ることが理解されよう。
ソース部屋の反射減衰は、そのソース部屋のミラーリングの軸となった境界の反射係数と結合される。境界の反射係数は広帯域または周波数依存であり得る。例えば、減衰係数は、複数の周波数帯域／ビン内のＦＩＲ／ＩＩＲフィルタ係数または減衰係数で表されてもよい。例えば、
Figure 0007701353000021
反射係数は必ずしも境界全体で均一ではない。そのような場合、部屋の境界の表面にわたって平均反射係数を計算することで、使用する反射係数を境界全体で均一にすることができる。同様に、部屋のすべての複数の境界について平均が計算されてもよい。
より正確な実施形態では、ミラーリングされた音源の位置ごとに境界面内のミラー点（
Figure 0007701353000022
 ）が計算され、その音源に適用可能な反射係数を決定するために使用されてもよい。
上記で概説した規則に従って、反復プロセスにおけるすべてのソース部屋ごとに、ミラー境界のセットとして（典型的には）６つの境界のサブセットが選択される。各反復において、前の（直前の）反復によって生成された各ミラー部屋はソース部屋と見なされ、すなわち、作成されたばかりの各ミラー部屋が、次の反復でのさらなるミラーリングの可能性について評価され得る。
オリジナル部屋の各境界は方向を指定する／表す（例えば、部屋から外側への境界の法線ベクトルの方向）。境界はペアごとに平行であるため、各境界ペアは２つの方向で１つの次元を定義する（ミラーリング次元を定義する２つの境界に対応）。
例えば、平行境界ペアは次のように表すことができる（ここで、ｂｉは境界ｉを表す）。
Figure 0007701353000023
最初の反復（すなわち、一次反射の生成）ではすべての方向が許可されるため、オリジナル部屋に対応するソース部屋のミラー境界のセットにはソース部屋のすべての境界が含まれる。結果として、６つ（または２Ｄモデリングの場合は４つ）の枝が生成され、これらの枝からさらなる反復により、より高次の反射が計算される（例えば、Ｂ＝［ｂ１，ｂ５，ｂ２，ｂ４，ｂ３，ｂ６］）。したがって、最初の反復では６つの新しいミラー部屋と６つの新しいミラー音源が生成される。
これらの枝のいずれかで（例えば、境界ｂ４をまたぐミラーリングの後の枝）、次の（すなわち、２番目の）反復はオリジナル部屋に対して同じ方向に継続し得る。これは、対応する次元の境界ペアのうちの他方の境界をまたぐミラーに対応する（オリジナル部屋をミラーリングすることによって生成された部屋の境界をまたぐミラーリングであるため）。この例ではｂ２。各次元でのこの境界交替は図６および図７にも示されている。
枝内の前の反復の進行次元に依存して、方向がさらに制限される可能性がある。例えば、前のステップが第１の次元に沿っていた場合、第２の次元内の除外方向のために、第２の次元の単一の方向のみが許可される。しかし、方向は２つの次元内の方向のみであったため、第３の次元の両方の方向が許容される。例えば、第１の次元の第１の方向に進む場合、関連付けられた除外方向のために、第２の次元では第１の方向のみが許可される。第１の次元の第２の方向に進む場合、第２の次元の第２の方向のみが許可される。
同じ例において、最初のステップが第２の次元の第１の方向に進んでいた場合、第１の次元の第２の方向のみが許可され、最初のステップが第２の次元の第２の方向に進んでいた場合、第１の次元の第１の方向が許可される。最初の（第１の）ステップが第１の次元（第１－第１、第２－第２）であったか、または第２の次元（第１－第２、第２－第１）にあったかに依存する、第２のステップで許可される方向間のこの逆関係は、ミラーリングされた部屋を省くことなくミラーリングされた部屋の重複を防ぐ。
やはり同じ例において、いずれかのミラーリングステップが第３の次元に沿っている場合、後続のすべてのミラーリングはその方向にのみ行うことができ、他の方向または次元に沿って行うことはできない。
上記の第１、第２、および第３の次元という表記は、必ずしも次元ペアが定義された順序に関連するものではなく、次元に関するとき、「第１」、「第２」、および「第３」は交換可能であることは明らかであろう。同様に、次元内の方向に関連するとき、「第１」および「第２」も交換可能である。繰り返しになるが、上記の例では、次元内の方向はオリジナル部屋を参照していると考えられるべきであり、次元内の特定の方向に関連付けられた境界は、その方向におけるミラーリングステップごとに交替する。
次元を変更した枝はいずれも、以前の次元でのミラーリングに戻ることはできない。例えば、最初のステップで第２の次元においてミラーリングが行われ、第２のステップで第１の次元に沿ってミラーリングが行われた枝は、第１の次元のその方向、および第３の次元の任意の方向にのみミラーリングを継続できる。
高度な実施形態は、許可される方向のセットを決定するとき、反射係数または総反射減衰などの減衰係数を考慮し得る。これにより、計算の複雑さをさらに低減することができる。例えば、上記の規則に従ってある方向が許可されているが、対応する境界の反射係数が閾値を下回っている場合（すなわち、０．０５未満、または－２０ｄＢ以下）、その方向はミラー境界のセットから除外されてもよい。
追加で、または代わりに、結合された反射減衰が閾値を下回る場合（例えば、０．０２未満）、境界が除外されるという規則が含まれ得る。
周波数依存係数の場合、閾値は周波数依存であり、すべての周波数帯域にわたる加重平均係数、すべての周波数帯域のうちの最大係数、または特定の周波数（例えば、１０００Ｈｚ）に関連付けられた係数に関連し得る。
同様に、ある境界内の複数の領域間で反射係数が異なる場合、閾値は個々の音源の位置に適用されてもよいし、または部屋のその境界全体で平均化された反射係数が使用されてもよい。
明瞭さのために、上記の説明は、異なる機能的回路、ユニット、およびプロセッサに関連して本発明の実施形態を説明している。しかしながら、本発明を損なうことなく、異なる機能的回路、ユニット、またはプロセッサ間で、機能が適切に分配され得ることが理解されよう。例えば、複数の別々のプロセッサまたはコントローラによって実行されるように説明された機能が、同じプロセッサまたはコントローラによって実行されてもよい。したがって、特定の機能的ユニットまたは回路への言及は、厳密な論理的または物理的な構造または構成を示すものではなく、説明される機能を提供するための適切な手段への言及であると考えられたい。
本発明は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の適切な形態で実施することができる。本発明は、１つまたは複数のデータプロセッサおよび／またはデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の実施形態の要素および構成要素は、任意の適切な態様で物理的、機能的、および論理的に実装され得る。実際には、機能は、単一のユニット、複数のユニット、または他の機能ユニットの一部として実装されてもよい。したがって、本発明は、単一のユニット内に実装されてもよく、または異なる複数のユニット、回路、およびプロセッサの間で物理的および機能的に分配されてもよい。
一般に、仮想音源を決定するための装置および方法の例は以下の実施形態によって示される。
実施形態
１．最初の部屋内の最初の音源の反射を表す仮想音源を決定する方法であって、前記方法は、コンピュータが、
前記最初の部屋の境界、および前記最初の部屋内の前記最初の音源の音源位置を表すデータを受け取るステップと、
前の反復で決定された音源の音源ミラーリングを実行することにより、ミラーリングされた音源として前記仮想音源を繰り返し決定するステップとを実行することを含み、
各反復は、直前の反復で決定されたミラー部屋を含むソース部屋のセットの各ソース部屋について、
該ソース部屋のミラー境界のセットを決定するステップ（３０３）と、
前記ミラー境界のセットの各ミラー境界について、該ミラー境界を軸として前記ソース部屋をミラーリングすることによってミラー部屋を決定するステップ（３０５）と、前記ミラー境界を軸としてソース音源をミラーリングすることによってミラー音源を決定するステップとを実行することを含み、前記ソース音源は前記ソース部屋のミラー音源であり、前記ミラーリングは、前記ソース部屋から前記ミラー部屋へのミラーリング方向を持ち、
前記ミラー境界のセットを決定するステップ（３０３）は、選択基準に従って前記ソース部屋の境界を選択するステップを含み、前記選択基準は、
前記ソース部屋の候補境界が前記ミラー境界のセットに含まれるためには、前記候補境界の第１のミラーリング方向が、前記ソース部屋をもたらした前のいずれのミラーリングの方向に対しても反対方向であってはならないという要件と、
前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が除外方向であってはならないという要件であって、前記除外方向は、前記ソース部屋をもたらすミラーリングの軸となった前記最初の部屋の境界に依存する、要件と、
前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が、前記直前の反復で前記ソース部屋を生成したミラーリングのミラーリング方向を除き、前記ソース部屋をもたらした前のいずれのミラーリングのミラーリング方向とも同じ方向であってはならないという要件とを含む、方法。
２．前記選択基準は、前記ソース部屋をもたらした前のいずれかのミラーリングの第２のミラーリング方向が、前記除外方向と、前記ソース部屋をもたらした前記最初の部屋の前記ミラーリングのミラー方向とに対して垂直である場合、前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が前記第２の方向と同じでなければならないという要件を含む、実施形態１に記載の方法。
３．前記最初の部屋は、互いに反対の方向である参照ミラーリング方向のペアを有し、前記選択基準は、前記ソース部屋をもたらした前のいずれかのミラーリングの第２のミラーリング方向が、関連付けられた前記参照ミラーリング方向のペアに属する方向である場合、前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が前記第２の方向と同じでなければならないという要件を含む、実施形態１に記載の方法。
４．最初の反復に関して、前記最初の部屋は、前記最初の反復のための前記ソース部屋のセットのソース部屋として指定される、実施形態１から３のいずれか一項に記載の方法。
５．前記最初の部屋のすべての境界が前記最初の反復のための前記ミラー境界のセットに含まれる、実施形態１から４のいずれか一項に記載の方法。
６．前記最初の部屋の各境界は減衰係数に関連付けられており、前記方法は、前記ミラー音源を含む前記ミラー部屋をもたらしたミラーリングに含まれるすべての境界の減衰係数を結合することによって、各ミラー音源の結合減衰係数を求めるステップを含む、実施形態１から５のいずれか一項に記載の方法。
７．前記選択基準は、前記候補境界が前記ミラー境界のセットに含まれるためには、前記ソース音源の結合減衰係数を前記候補境界の減衰係数と結合した結果が、閾値未満の減衰を示さなければならないという要件を含む、実施形態６に記載の方法。
８．前記結合減衰係数は周波数依存性である、実施形態６または７に記載の方法。
９．音響的に非反射性の境界の減衰係数は完全な減衰を示す、実施形態６から８のいずれか一項に記載の方法。
１０．前記方法は、前記最初の部屋の聴取位置のための音声信号をレンダリングするステップ（３０９）をさらに含み、前記音声信号は、前記聴取位置に到達する少なくとも１つのミラー音声源からの音声を表す少なくとも１つの音声成分を含む、実施形態１から９のいずれか一項に記載の方法。
１１．前記ミラー境界のセットは前記選択基準を満たすすべての境界を含む、実施形態１から１０のいずれか一項に記載の方法。
１２．反復は所定の回数実行される、実施形態１から１１のいずれか一項に記載の方法。
１３．前記最初の部屋は超直方体である、実施形態１から１２のいずれか一項に記載の方法。
１４．最初の部屋内の最初の音源の反射を表す仮想音源を決定する装置であって、前記装置は、
前記最初の部屋の境界、および前記最初の部屋内の前記最初の音源の音源位置を表すデータを受け取る受信機（２０１）と、
前の反復で決定された音源の音源ミラーリングを実行することにより、ミラーリングされた音源として前記仮想音源を繰り返し決定する処理回路（２０３）とを備え、
各反復は、直前の反復で決定されたミラー部屋を含むソース部屋のセットの各ソース部屋について、
該ソース部屋のミラー境界のセットを決定するステップ（３０３）と、
前記ミラー境界のセットの各ミラー境界について、該ミラー境界を軸として前記ソース部屋をミラーリングすることによってミラー部屋を決定するステップ（３０５）と、前記ミラー境界を軸としてソース音源をミラーリングすることによってミラー音源を決定するステップとを実行することを含み、前記ソース音源は前記ソース部屋のミラー音源であり、前記ミラーリングは、前記ソース部屋から前記ミラー部屋へのミラーリング方向を持ち、
前記ミラー境界のセットを決定するステップは、選択基準に従って前記ソース部屋の境界を選択するステップを含み、前記選択基準は、
前記ソース部屋の候補境界が前記ミラー境界のセットに含まれるためには、前記候補境界の第１のミラーリング方向が、前記ソース部屋をもたらした前のいずれのミラーリングの方向に対しても反対方向であってはならないという要件と、
前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が除外方向であってはならないという要件であって、前記除外方向は、前記ソース部屋をもたらすミラーリングの軸となった前記最初の部屋の境界に依存する、要件と、
前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が、前記直前の反復で前記ソース部屋を生成したミラーリングのミラーリング方向を除き、前記ソース部屋をもたらした前のいずれのミラーリングのミラーリング方向とも同じ方向であってはならないという要件とを含む、装置。
１５．プログラムがコンピュータ上で実行されると、実施形態１から１３のすべてのステップを実行するコンピュータプログラムコード手段を含むコンピュータプログラム製品。
１．最初の部屋内の最初の音源の反射を表す仮想音源を決定する方法であって、前記方法は、コンピュータが、
前記最初の部屋の境界、および前記最初の部屋内の前記最初の音源の音源位置を表すデータを受け取るステップと、
前の反復で決定された音源の音源ミラーリングを実行することにより、ミラーリングされた音源として前記仮想音源を繰り返し決定するステップとを実行することを含み、
各反復は、直前の反復で決定されたミラー部屋を含むソース部屋のセットの各ソース部屋について、
現在のステップのソース部屋のミラー境界のセットを決定するステップ（３０３）と、
前記ミラー境界のセットの各ミラー境界について、該ミラー境界を軸として前記ソース部屋をミラーリングすることによってミラー部屋を決定するステップ（３０５）と、前記ミラー境界を軸としてソース音源をミラーリングすることによってミラー音源を決定するステップとを実行することを含み、前記ソース音源は前記ソース部屋のミラー音源であり、前記ミラーリングは、前記ソース部屋から前記ミラー部屋へのミラーリング方向を持ち、
前記ミラー境界のセットを決定するステップは、選択基準に従って前記ソース部屋の境界を選択するステップを含み、前記選択基準は、
前記ソース部屋の候補境界が前記ミラー境界のセットに含まれるためには、前記候補境界の第１のミラーリング方向が、前記ソース部屋をもたらした前のいずれのミラーリングの方向に対しても反対方向であってはならないという要件と、
前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が除外方向であってはならないという要件であって、前記除外方向は、前記ソース部屋をもたらすミラーリングの軸となった前記最初の部屋の境界に依存する、要件と、
前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が、前記直前の反復で前記ソース部屋を生成したミラーリングのミラーリング方向を除き、前記ソース部屋をもたらした前のいずれのミラーリングのミラーリング方向とも同じ方向であってはならないという要件とを含む、装置。
１．最初の部屋内の最初の音源の反射を表す仮想音源を決定する方法であって、前記方法は、
前記最初の部屋の境界、および前記最初の部屋内の前記最初の音源の音源位置を表すデータを受け取るステップと、
前の反復で決定された音源の音源ミラーリングを実行することにより、ミラーリングされた音源として前記仮想音源を繰り返し決定するステップとを実行することを含み、
各反復は、直前の反復で決定されたミラー部屋を含むソース部屋のセットの各ソース部屋について、
前記各ソース部屋のミラー境界のセットを決定するステップ（３０３）と、
前記ミラー境界のセットの各ミラー境界について、該ミラー境界を軸として前記各ソース部屋をミラーリングすることによってミラー部屋を決定するステップ（３０５）と、前記ミラー境界を軸としてソース音源をミラーリングすることによってミラー音源を決定するステップとを実行することを含み、前記ソース音源は前記各ソース部屋のミラー音源であり、前記ミラーリングは、前記各ソース部屋から前記ミラー部屋へのミラーリング方向を持ち、
前記ミラー境界のセットを決定するステップ（３０３）は、選択基準に従って前記各ソース部屋の境界を選択するステップを含み、前記選択基準は、
前記各ソース部屋の候補境界が前記ミラー境界のセットに含まれるためには、前記候補境界の第１のミラーリング方向が、前記各ソース部屋をもたらした前のいずれのミラーリングの方向に対しても反対方向であってはならないという要件と、
前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が除外方向であってはならないという要件であって、前記除外方向は、前記各ソース部屋をもたらすミラーリングの軸となった前記最初の部屋の境界に依存する、要件と、
前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１の方向が、前記直前の反復で前記各ソース部屋を生成したミラーリングのミラーリング方向を除き、前記各ソース部屋をもたらした前のいずれのミラーリングのミラーリング方向とも同じ方向であってはならないという要件とを含む、方法。
より具体的には、本発明は添付の特許請求の範囲によって定められる。
いくつかの実施形態に関連して本発明を説明したが、本発明は明細書に記載される具体的形態に限定されない。本発明の範囲は添付の特許請求の範囲によってのみ限定される。さらに、ある特徴が特定の実施形態に関連して記載されているように見えたとしても、当業者は、上記実施形態の様々な特徴が本発明に従って組み合わせられ得ることを認識するであろう。請求項において、備える、含む等の用語は他の要素またはステップの存在を排除するものではない。
さらに、個別に列挙されていたとしても、複数の手段、要素、回路、または方法ステップは、例えば、単一の回路、ユニット、またはプロセッサによって実施されてもよい。さらに、個々の特徴が異なる請求項に含まれていたとしても、これらは好適に組み合わされ、異なる請求項に含まれていることは、特徴の組み合わせが実現不可能であるおよび／または有利でないことを意味するものではない。また、１つのクレームカテゴリー内にある特徴が含まれているからといって、その特徴がこのカテゴリーに限定されるとは限らず、特徴は適宜、他のクレームカテゴリーに等しく適用可能である。さらに、請求項における特徴の順序は、特徴が作用すべき特定の順序を指すものではなく、特に、方法クレームにおける個々のステップの順序はステップをその順序で実行しなければならないことを意味しない。ステップは任意の適切な順序で実行され得る。また、単数形の表現は複数形を排除するものではない。したがって、「第１の」、「第２の」などの表現は複数を排除するものではない。特許請求の範囲内の参照符号は明瞭さのための例に過ぎず、請求項の範囲を如何ようにも限定するものではない。

Claims (15)

  1. 最初の部屋内の最初の音源の反射を表す仮想音源を決定する方法であって、前記方法は、コンピュータが、
    前記最初の部屋の境界、および前記最初の部屋内の前記最初の音源の音源位置を表すデータを受け取るステップと、
    前の反復で決定された音源の音源ミラーリングを実行することにより、ミラーリングされた音源として前記仮想音源を反復して決定するステップとを含み、
    各反復は、直前の反復で決定されたミラー部屋を含むソース部屋のセットの各ソース部屋について、
    該ソース部屋のミラー境界のセットを決定するステップと、
    前記ミラー境界のセットの各ミラー境界について、該ミラー境界を軸として前記ソース部屋をミラーリングすることによってミラー部屋を決定するステップと、
    前記ミラー境界を軸としてソース音源をミラーリングすることによってミラー音源を決定するステップとを実行するステップを含み、
    前記ソース音源は前記ソース部屋のミラー音源であり、前記ミラーリングは、前記ソース部屋から前記ミラー部屋へのミラーリング方向を持ち、
    前記ミラー境界のセットを決定するステップは、選択基準に従って前記ソース部屋の境界を選択するステップを含み、前記選択基準は、
    前記ソース部屋の候補境界が前記ミラー境界のセットに含まれるためには、前記候補境界の第１のミラーリング方向が、前記ソース部屋をもたらした前のいずれのミラーリングの方向に対しても反対方向であってはならないという要件と、
    前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１のミラーリング方向が除外方向であってはならないという要件であって、前記除外方向は、前記ソース部屋をもたらすミラーリングの軸となった前記最初の部屋の境界に依存する、要件と、
    前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１のミラーリング方向が、前記直前の反復で前記ソース部屋を生成したミラーリングのミラーリング方向を除き、前記ソース部屋をもたらした前のいずれのミラーリングのミラーリング方向とも同じ方向であってはならないという要件とを含む、方法。
  2. 前記選択基準は、前記ソース部屋をもたらした前のいずれかのミラーリングの第２のミラーリング方向が、前記除外方向と、前記ソース部屋をもたらした前記最初の部屋の前記ミラーリングのミラー方向とに対して垂直である場合、前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１のミラーリング方向が前記第２のミラーリング方向と同じでなければならないという要件を含む、請求項１に記載の方法。
  3. 前記最初の部屋は、互いに反対の方向である参照ミラーリング方向のペアを有し、前記選択基準は、前記ソース部屋をもたらした前のいずれかのミラーリングの第２のミラーリング方向が、関連付けられた前記参照ミラーリング方向のペアに属する方向である場合、前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１のミラーリング方向が前記第２のミラーリング方向と同じでなければならないという要件を含む、請求項１に記載の方法。
  4. 最初の反復に関して、前記最初の部屋は、前記最初の反復のための前記ソース部屋のセットのソース部屋として指定される、請求項１から３のいずれか一項に記載の方法。
  5. 前記最初の部屋のすべての境界が前記最初の反復のための前記ミラー境界のセットに含まれる、請求項１から４のいずれか一項に記載の方法。
  6. 前記最初の部屋の各境界は減衰係数に関連付けられており、前記方法は、前記ミラー音源を含む前記ミラー部屋をもたらしたミラーリングに含まれるすべての境界の減衰係数を結合することによって、各ミラー音源の結合減衰係数を求めるステップを含む、請求項１から５のいずれか一項に記載の方法。
  7. 前記選択基準は、前記候補境界が前記ミラー境界のセットに含まれるためには、前記ソース音源の結合減衰係数を前記候補境界の減衰係数と結合した結果が閾値未満の減衰を示さなければならないという要件を含む、請求項６に記載の方法。
  8. 前記結合減衰係数は周波数依存性である、請求項６または７に記載の方法。
  9. 音響的に非反射性の境界の減衰係数は完全な減衰を示す、請求項６から８のいずれか一項に記載の方法。
  10. 前記方法は、前記最初の部屋内の聴取位置のための音声信号をレンダリングするステップをさらに含み、前記音声信号は、前記聴取位置に到達する少なくとも１つのミラー音声源からの音声を表す少なくとも１つの音声成分を含む、請求項１から９のいずれか一項に記載の方法。
  11. 前記ミラー境界のセットは前記選択基準を満たすすべての境界を含む、請求項１から１０のいずれか一項に記載の方法。
  12. 反復は所定の回数実行される、請求項１から１１のいずれか一項に記載の方法。
  13. 前記最初の部屋は超直方体である、請求項１から１２のいずれか一項に記載の方法。
  14. 最初の部屋内の最初の音源の反射を表す仮想音源を決定する装置であって、前記装置は、
    前記最初の部屋の境界、および前記最初の部屋内の前記最初の音源の音源位置を表すデータを受け取る受信機と、
    前の反復で決定された音源の音源ミラーリングを実行することにより、ミラーリングされた音源として前記仮想音源を反復して決定する処理回路とを備え、
    各反復は、直前の反復で決定されたミラー部屋を含むソース部屋のセットの各ソース部屋について、
    該ソース部屋のミラー境界のセットを決定するステップと、
    前記ミラー境界のセットの各ミラー境界について、該ミラー境界を軸として前記ソース部屋をミラーリングすることによってミラー部屋を決定するステップと、
    前記ミラー境界を軸としてソース音源をミラーリングすることによってミラー音源を決定するステップとを実行することを含み、前記ソース音源は前記ソース部屋のミラー音源であり、前記ミラーリングは、前記ソース部屋から前記ミラー部屋へのミラーリング方向を持ち、
    前記ミラー境界のセットを決定するステップは、選択基準に従って前記ソース部屋の境界を選択するステップを含み、前記選択基準は、
    前記ソース部屋の候補境界が前記ミラー境界のセットに含まれるためには、前記候補境界の第１のミラーリング方向が、前記ソース部屋をもたらした前のいずれのミラーリングの方向に対しても反対方向であってはならないという要件と、
    前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１のミラーリング方向が除外方向であってはならないという要件であって、前記除外方向は、前記ソース部屋をもたらすミラーリングの軸となった前記最初の部屋の境界に依存する、要件と、
    前記候補境界が前記ミラー境界のセットに含まれるためには、前記第１のミラーリング方向が、前記直前の反復で前記ソース部屋を生成したミラーリングのミラーリング方向を除き、前記ソース部屋をもたらした前のいずれのミラーリングのミラーリング方向とも同じ方向であってはならないという要件とを含む、装置。
  15. コンピュータプログラムがコンピュータ上で実行されると、請求項１から１３に記載の方法のすべてのステップを実行するコンピュータプログラムコード手段を含む、コンピュータプログラム。
JP2022530758A 2019-11-28 2020-11-12 仮想音源を決定するための装置および方法 Active JP7701353B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19212064.0 2019-11-28
EP19212064.0A EP3828882A1 (en) 2019-11-28 2019-11-28 Apparatus and method for determining virtual sound sources
PCT/EP2020/081815 WO2021104881A1 (en) 2019-11-28 2020-11-12 Apparatus and method for determining virtual sound sources

Publications (3)

Publication Number Publication Date
JP2023503986A JP2023503986A (ja) 2023-02-01
JP2023503986A5 JP2023503986A5 (ja) 2023-11-16
JP7701353B2 true JP7701353B2 (ja) 2025-07-01

Family

ID=68731795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530758A Active JP7701353B2 (ja) 2019-11-28 2020-11-12 仮想音源を決定するための装置および方法

Country Status (10)

Country Link
US (1) US11943606B2 (ja)
EP (2) EP3828882A1 (ja)
JP (1) JP7701353B2 (ja)
KR (1) KR20220104051A (ja)
CN (1) CN114787912B (ja)
BR (1) BR112022010270A2 (ja)
ES (1) ES2983024T3 (ja)
MX (1) MX2022006382A (ja)
PL (1) PL4066236T3 (ja)
WO (1) WO2021104881A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102785656B1 (ko) * 2020-03-13 2025-03-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 이산화된 곡면을 포함하는 사운드 장면을 렌더링하는 장치 및 방법
WO2021180938A1 (en) 2020-03-13 2021-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering a sound scene using pipeline stages
EP4118846A1 (en) 2020-03-13 2023-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering an audio scene using valid intermediate diffraction paths
EP4132012A1 (en) * 2021-08-05 2023-02-08 Koninklijke Philips N.V. Determining virtual audio source positions
JP2023132236A (ja) * 2022-03-10 2023-09-22 株式会社デンソーテン 情報処理装置、音響再生装置、情報処理システムおよび情報処理方法および仮想音源生成装置
TW202424727A (zh) * 2022-10-19 2024-06-16 美商松下電器（美國）知識產權公司 音響處理裝置及音響處理方法
GB2634025A (en) * 2023-09-26 2025-04-02 Sony Interactive Entertainment Europe Ltd Methods for simulating audio paths in a virtual environment
GB2634511A (en) * 2023-10-09 2025-04-16 Sony Interactive Entertainment Europe Ltd A method of simulating the propagation of an audio signal
CN118678286B (zh) * 2024-08-06 2024-11-26 腾讯科技（深圳）有限公司 音频数据处理方法、装置、系统、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212797A (ja) 2003-01-07 2004-07-29 Yamaha Corp データ処理装置、データ処理方法およびプログラム
JP2013538512A (ja) 2010-08-20 2013-10-10 インダストリアル リサーチ リミテッド サラウンドサウンドシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3172391B2 (ja) * 1995-04-13 2001-06-04 シャープ株式会社 音環境再現方法
WO2004097350A2 (en) * 2003-04-28 2004-11-11 The Board Of Trustees Of The University Of Illinois Room volume and room dimension estimation
US9197977B2 (en) * 2007-03-01 2015-11-24 Genaudio, Inc. Audio spatialization and environment simulation
CN103813260B (zh) 2014-01-28 2015-09-16 哈尔滨工业大学 一种基于镜像源法的长空间混响时间获得方法
KR102640940B1 (ko) * 2016-01-27 2024-02-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 음향 환경 시뮬레이션
CN108828501B (zh) * 2018-04-29 2020-07-28 桂林电子科技大学 在室内声场环境中对移动声源进行实时跟踪定位的方法
CN109901112B (zh) * 2019-03-29 2022-10-04 桂林电子科技大学 基于多通道声获取的声学同时定位与建图方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212797A (ja) 2003-01-07 2004-07-29 Yamaha Corp データ処理装置、データ処理方法およびプログラム
JP2013538512A (ja) 2010-08-20 2013-10-10 インダストリアル リサーチ リミテッド サラウンドサウンドシステム

Also Published As

Publication number Publication date
PL4066236T3 (pl) 2024-08-12
EP4066236C0 (en) 2024-05-29
CN114787912A (zh) 2022-07-22
MX2022006382A (es) 2022-06-24
US20230007426A1 (en) 2023-01-05
BR112022010270A2 (pt) 2022-08-16
JP2023503986A (ja) 2023-02-01
KR20220104051A (ko) 2022-07-25
WO2021104881A1 (en) 2021-06-03
CN114787912B (zh) 2025-10-31
EP4066236B1 (en) 2024-05-29
ES2983024T3 (es) 2024-10-21
EP3828882A1 (en) 2021-06-02
EP4066236A1 (en) 2022-10-05
US11943606B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
JP7701353B2 (ja) 仮想音源を決定するための装置および方法
US12513482B2 (en) Determining virtual audio source positions
EP4320877B1 (en) Audio apparatus and method therefor
RU2843636C1 (ru) Устройство и способ определения виртуальных источников звука
KR20240132503A (ko) 오디오 장치 및 이의 동작 방법
EP4383755A1 (en) An audio apparatus and method of rendering therefor
EP4383754A1 (en) An audio apparatus and method of rendering therefor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250619

R150 Certificate of patent or registration of utility model

Ref document number: 7701353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150