JP4735993B2 - 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 - Google Patents

Description

この発明は、例えば、音像定位処理や映像の切り出し角の調整処理などのユーザ（使用者）の頭部の回転に応じて調整が必要になる処理を行う音声や映像を処理する装置、及び、当該装置で用いられる方法に関する。

映画などの映像に伴う音声信号は、スクリーンの両側に置かれたスピーカによって再生されることを想定して記録されている。これによると、映像の中の音源の位置と、実際に聞こえてくる音像の位置とが一致し、自然な広がりをもった音場が確立される。

しかし、そのような音声信号をヘッドホンやイヤホンを使用して鑑賞すると、音像は頭の中に定位し、映像の方向と音像の定位位置とが一致せず、極めて不自然な音像の定位となってしまう。

また、映像を伴わない音楽などを鑑賞する場合も同様で、スピーカ再生の場合と異なり、再生される音楽が頭の中から聞こえ、やはり不自然な再生音場となってしまう。

このような再生音声の頭内定位を回避する手立てとして、頭部伝達関数（ＨＲＴＦ（Head Related Transfer Function））による仮想音像を作る方法が知られている。

図８〜図１１は、頭部伝達関数による仮想音像定位処理の概要を説明するための図である。ここでは、左右２チャンネルのヘッドホンシステムに当該仮想音像定位処理を適用した場合を示している。

図８に示すように、この例のヘッドホンシステムは、左チャンネルの音声入力端子１０１Ｌ、右チャンネルの音声入力端子１０１Ｒを備えている。

これら音声入力端子１０１Ｌ、１０１Ｒの後段には、信号処理部１０２、左チャンネル用Ｄ／Ａ変換器１０３Ｌ、右チャンネル用Ｄ／Ａ変換器１０３Ｒ、左チャンネル用アンプ１０４Ｌ、右チャンネル用アンプ１０４Ｒ、左ヘッドホンスピーカ１０５Ｌ、右ヘッドホンスピーカ１０５Ｒが設けられる。

そして、音声入力端子１０１Ｌ、１０１Ｒを通じて入力されたデジタル音声信号は、信号処理装置１０２に供給され、ここで各音声信号が作る音像を任意の位置に定位させるための信号処理（仮想音像定位処理）が施される。

信号処理装置１０２において仮想音像定位処理が施された左右のデジタル音声信号は、Ｄ／Ａ変換器１０３Ｌ、１０３Ｒにおいてアナログ音声信号に変換される。アナログ音声信号に変換された左右の音声信号は、アンプ１０４Ｌ、１０４Ｒにおいて増幅された後、ヘッドホンスピーカ１０５Ｌ、１０５Ｒに供給される。これにより、仮想音像定位処理が施された左右２チャンネルの音声信号に応じた音声が、ヘッドホンスピーカ１０５Ｌ、１０５Ｒから放音される。

さらに、後述もするが、左右のヘッドホンスピーカ１０５Ｌ、１０５Ｒをユーザの頭部に装着するためのヘッドバンドにユーザの頭部の回転を検出するためのジャイロセンサ１０６を設けている。

このジャイロセンサ１０６からの検出出力は、検出部１０７に供給され、ここでユーザが頭部を回転させたときに角速度が検出される。検出部１０７からの角速度は、Ａ／Ｄ変換機器１０８でデジタル信号に変換された後に、演算部１０９に供給される。演算部おいて、ユーザの頭部の回転時の角速度に応じて、頭部伝達関数の補正値が算出され、これが信号処理部１０２に供給されて、仮想音像の定位が補正される。

このように、ジャイロセンサを用いてユーザの頭部の回転をも検出することにより、ユーザの頭部の向きに応じて、仮想音像の定位位置を常に所定の位置に定位させることができるようにしている。

つまり、ユーザの頭部が回転した場合に、仮想音像の定位位置がユーザの前方に定位してしまうのではなく、ユーザの頭部か回転しても、音像の定位位置は元の位置のままとなるようにされる。

そして、図８に示した信号処理装置１０２においては、図９に示すような、リスナＭの前方に置かれた２個のスピーカＳＬ、ＳＲからリスナＭの両耳にいたる伝達関数ＨＬＬ、ＨＬＲ、ＨＲＲ、ＨＲＬに相当する伝達特性が与えられる。

ここで、伝達特性ＨＬＬは、スピーカＳＬからリスナＭの左耳ＹＬまでの伝達特性である。伝達特性ＨＬＲは、スピーカＳＬからリスナＭの右耳ＹＲまでの伝達特性である。伝達特性ＨＲＲは、スピーカＳＲからリスナＭの右耳ＹＲまでの伝達特性である。伝達特性ＨＲＬは、スピーカＳＲからリスナＭの左耳ＹＬまでの伝達特性である。

これら伝達関数ＨＬＬ、ＨＬＲ、ＨＲＲ、ＨＲＬは、時間軸上で、インパルス応答として得ることができる。このインパルス応答を図８の信号処理装置１０２において実現することで、ヘッドホンで再生音声を聞いた場合にも、図９に示したように、リスナＭの前方の位置におかれたスピーカＳＬ、ＳＲが作るものと同等の音像を再現する事が可能となる。

そして、上述したように、処理対象の音声信号に対して伝達関数ＨＬＬ、ＨＬＲ、ＨＲＲ、ＨＲＬを付加する処理は、図８に示したヘッドホンシステムの信号処理装置１０２内に設けられるＦＩＲフィルタにより実現される。

具体的に、図８に示した信号処理装置１０２は、図１０に示すような構成とされる。すなわち、左チャンネルの音声入力端子１０１Ｌを通じて入力される音声信号に対しては、伝達関数ＨＬＬを実現するＦＩＲフィルタ１０２１と、伝達関数ＨＬＲを実現するＦＩＲフィルタ１０２２が設けられる。

また、右チャンネルの音声入力端子１０１Ｒを通じて入力される音声信号に対しては、伝達関数ＨＲＬを実現するＦＩＲフィルタ１０２３と、伝達関数ＨＲＲを実現するＦＩＲフィルタ１０２４が設けられる。

そして、ＦＩＲフィルタ１０２１からの出力信号と、ＦＩＲフィルタ１０２３からの出力信号は、加算器１０２５で加算処理されて左ヘッドホンスピーカ１０５Ｌに供給される。また、ＦＩＲフィルタ１０２４からの出力信号と、ＦＩＲフィルタ１０２２からの出力信号は、加算器１０２６で加算処理されて右ヘッドホンスピーカ１０５Ｒに供給される。

このような構成の信号処理装置１０２により、左チャンネルの音声信号については、伝達関数ＨＬＬ、ＨＬＲを付加し、右チャンネルの音声信号には伝達関数ＨＲＬ、ＨＲＲを付加することができるようにされる。

また、ヘッドバンドに装着されたジャイロセンサ１０６の検出出力を用いることによって、ユーザの頭部が回転した場合でも、仮想音像の定位位置を一定の位置に保つようにして、再生音声が形成する音場を自然な音場として形成することができるようにされる。

また、ここでは、左右２チャンネルの音声信号に対して仮想音像定位処理を施す場合を例にして説明した。しかし、処理対象の音声信号は、左右２チャンネルの音声信号に限るものではない。後に記す特許文献１には、多チャンネルの音声信号に対して仮想音像定位処理を施すようにしたオーディオ再生装置の発明が詳細に説明されている。

なお、上記の特許文献１は以下に示す通りである。
特開平１１−２０５８９２号公報

ところで、図８〜図１０を用いて説明した仮想音像定位処理を行う従来のヘッドホンシステムの場合には、ジャイロセンサ１０６は、ユーザの頭部の回転を検出するものであり、例えば１軸のものが用いられる。そして、従来のヘッドホンシステムの場合には、ジャイロセンサ１０６を、その検出軸が鉛直方向（重力方向）となるようにしてヘッドホンに設けることが可能である。

つまり、図１１に示すように、ジャイロセンサ１０６は、左右のヘッドホンスピーカ１０５Ｌ、１０５Ｒをユーザの頭部に固定するためのヘッドバンド１１０の所定の位置に固定することができる。これにより、当該ヘッドホンシステムがユーザの頭部に装着された場合に、ジャイロセンサ１０６の検出軸を鉛直方向に維持することができる。

しかし、これをヘッドバンドの存在しない、ユーザの耳殻内に挿入して用いられる、いわゆる挿入型やイントラコンカ型のイヤホン、あるいは、ユーザの耳殻にスピーカをかけて使用するいわゆる耳かけ形のヘッドホンにそのまま適用することはできない。

挿入型やイントラコンカ型のイヤホン、あるいは耳かけ型のヘッドホンの場合には、ユーザによって耳の形状は異なるし、また、その取り付け方もユーザによって様々である。このため、挿入型やイントラコンカ型のイヤホン、あるいは耳かけ型のヘッドホンに対して、これらがユーザの耳に対して装着された場合に、検出軸が鉛直方向となるようにジャイロセンサを取り付けることは事実上不可能である。

同様のことは、例えば、ヘッドマウントディスプレイ（Head Mounted Display）などと呼ばれるユーザの頭部に装着して使用する小型のディスプレイ装置において、ユーザの頭部の回転に応じて表示する画像を変えるシステムにおいても発生する。

すなわち、ヘッドマウントディスプレイの場合、ユーザの頭部の回転を正確に検出できない場合には、ユーザの頭部の向きに応じた適切な映像を表示することができなくなる場合がある。

以上のことに鑑み、この発明は、ユーザの頭部の回転に応じて調整が必要になる処理を行う装置において、ユーザの頭部の回転を適切に検出して適切な調整を行えるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の音声処理装置は、
再生対象の音声信号に対して、予め求められる頭部伝達関数に応じて音像定位処理を施す音像定位処理手段と、
使用者の耳に対して装着され、前記音像定位処理手段により音像定位処理された音声信号の供給を受けて、当該音声信号に応じた音声を放音するイヤホンと、
前記イヤホンに対して設けられ、当該イヤホンが装着された使用者の頭部の回転を検出する回転検出手段と、
前期回転検出手段に対し予め決められた位置関係となるよう前記イヤホンに対して設けられ、前記回転検出手段の重力方向に対する傾きを検出する傾き検出手段と、
前記傾き検出手段の検出結果に基づいて、前記回転検出手段からの検出結果を補正する回転補正手段と、
前記回転補正手段により補正された前記回転検出手段からの検出結果に基づいて、前記音像定位処理手段を制御し、音像の定位位置を調整する調整手段と
を備えたものである。

この請求項１に記載の発明の音声処理装置によれば、ユーザの耳に装着されるイヤホンに対して設けられる回転検出手段により、ユーザの頭部における必ずしも重力方向とは一致しない回転軸に関する回転が検出され、また、当該回転検出手段に対し予め決められた位置関係となるよう設けられる傾き検出手段により回転検出手段の重力方向に対する傾きが検出される。

回転補正手段によって、傾き検出手段からの回転検出手段の傾きに基づいて、回転検出手段からの検出出力が水平方向の回転に補正される。この水平方向の回転に基づき、音像定位処理手段においての音像定位処理が調整され、音像の定位位置が調整される。

これにより、ユーザの頭部における水平方向の回転を適切に検出して、音像定位処理手段における音像定位処理を適切に調整し、音像の定位位置を適正に調整することができるようにされる。

この発明によれば、ユーザの頭部の回転に応じて調整が必要になる処理を行う装置において、ユーザの頭部における必ずしも重力方向とは一致しない回転軸に関する回転を検出し、重力方向に対する傾きを検出して当該回転を補正することにより、ユーザの頭部における水平方向の回転を適切に検出して適切な調整を行うことができる。

以下、図を参照しながら、この発明の一実施の形態について説明する。

＜第１の実施の形態＞
この発明は、原理的にマルチチャンネルの音声処理装置に適用することができるものである。しかし、以下に説明する第１の実施の形態においては、説明を簡単にするため、左右２チャンネルの音声処理装置に適用した場合を例にして説明する。

図１は、第１の実施の形態のイヤホンシステム１の構成例を説明するためのブロック図である。図１に示すイヤホンシステム１は、大きく分けると、音声信号の再生系と、ユーザの頭部の回転の検出補正系とからなっている。

音声信号の再生系は、音楽・音声再生装置１１、信号処理プロセッサ１２の音像定位処理部１２１、Ｄ／Ａ（Digital/Analog）変換器１３Ｌ、１３Ｒ、アンプ１４Ｌ、１４Ｒ、イヤホン１５Ｌ、１５Ｒからなる部分である。

Ｄ／Ａ（Digital/Analog）変換器１３Ｌ、アンプ１４Ｌ、イヤホン１５Ｌからなる部分が左チャンネル用のものであり、Ｄ／Ａ（Digital/Analog）変換器１３Ｒ、アンプ１４Ｒ、イヤホン１５Ｒからなる部分が右チャンネル用のものである。

また、ユーザの頭部の回転の検出補正系は、ジャイロセンサ１６、加速度センサ１７、Ａ／Ｄ変換器１８、信号処理プロセッサ１２の音像定位補正処理部１２２からなる部分である。

ここで、音楽・音声再生装置１１は、例えば、記録媒体として半導体を用いたＩＣレコーダや音楽再生機能を備えた携帯電話端末、ＣＤ（Compact Disc）やＭＤ（登録商標）などと呼ばれる小型の光磁気ディスクの再生装置などの種々の再生装置である。

イヤホン１５Ｌ、１５Ｒは、挿入型、イントラコンカ型、あるいは、耳かけ型などのものである。すなわち、イヤホン１５Ｌ、１５Ｒは、使用者の耳の形状や装着の仕方によって耳に装着した場合の位置状態が種々の位置状態となるものである。

ジャイロセンサ１６と加速度センサ１７とは、イヤホン１５Ｌ、１５Ｒの一方、この第１の実施の形態においては、後述もするが、左チャンネル用のイヤホン１５Ｌに対して設けられている。

そして、図１に示したイヤホンシステム１において、音楽・音声再生装置１１からの再生されたデジタル音声信号は、信号処理プロセッサ１２の音像定位処理部１２１に供給される。

音像定位処理部１２は、例えば図１０を用いて説明した構成を有するものである。すなわち、音像定位処理部１２１は、図１０を用いて説明したように、伝達関数ＨＬＬ、ＨＬＲ、ＨＲＬ、ＨＲＲが設定された４つのＦＩＲフィルタ１０２１、１０２２、１０２３、１０２４と、２つの加算回路１０２５、１０２６とを備えたものである。

そして、音像定位処理部１２１のＦＩＲフィルタ１０２１、１０２２、１０２３、１０２４のそれぞれは、以下に説明する音像定位補正処理部１２２からの補正情報に応じて、その伝達関数を補正することができるものである。

この第１のイヤホンシステム１の音像定位補正処理部１２２に対しては、図１に示すように、ジャイロセンサ１６からの検出出力と、加速度センサ１７からの検出出力とが、Ａ／Ｄ変換器１８によってデジタル信号に変換されて供給される。

上述したように、ジャイロセンサ１６と加速度センサ１７とは、左チャンネル用のスピーカ部１５Ｌに対して設けられるものである。

ジャイロセンサ１６は、スピーカ部１５Ｌが耳に対して装着されたユーザの頭部の水平方向の回転を検出するものであり、例えば１軸のものである。また、加速度センサ１７は、３軸のものであり、相互に直交する３軸方向の加速度を検出することにより、ジャイロセンサ１６の傾きを検出するものである。

そして、ユーザの頭部の水平方向の回転を正確に検出するためには、ジャイロセンサ１６を、スピーカ部１５Ｌがユーザの耳に対して装着された場合に、その検出軸が鉛直方向となるようにスピーカ部１５Ｌに対して設ける必要がある。

しかし、上述もしたように、イヤホン１５Ｌ、１５Ｒは、挿入型、イントラコンカ型、あるいは、耳かけ型などのものである。このため、イヤホン１５Ｌに設けられるジャイロセンサ１６は、イヤホン１５Ｌがユーザの耳に装着されたときに、その検出軸を鉛直方向となるようにすること（換言すれば、検出軸を床面に対して垂直にすること）ができない場合が多くなる。

そこで、音像定位補正処理部１２２においては、同じくイヤホン１５Ｌに設けられる３軸の加速度センサ１７の検出出力を用いて、ジャイロセンサ１６の傾きを検出する。そして、音像定位補正処理部１２２は、加速度センサ１７の検出出力に基づいて、ジャイロセンサ１６の検出出力を補正し、正確にユーザの頭部の水平方向の回転（方向と量）を正確に検出する。

このようにして正確に求めたユーザの頭部の回転に応じて、音像定位補正処理部１２２は、適切に音像定位処理を行うことができるように、音像定位処理部１２１の各ＦＩＲフィルタの伝達関数を補正する。

これにより、イヤホン１５Ｌ、１５Ｒを耳に装着したユーザが、頭部を水平面方向に回転させ、頭部の向きを変えても、当該ユーザの頭部の動きに伴い音像の定位位置が変わることなく、音像を元の位置に定位させることができるようにしている。

つまり、部屋に設置されたスピーカからの放音音声を聴取する場合には、ユーザが頭の向きを変えてもスピーカの位置が変わるわけではないので、放音音声は設置されたスピーカの方向から聞こえる。

しかし、イヤホンシステムの場合、ユーザの正面方向に音像を定位させるように仮想音像定位処理を施している場合、ユーザが頭の向きを変えるとこれに伴い、常にユーザの前方方向に音像が定位してしまう。

つまり、仮想音像定位処理を伴いイヤホンシステムの場合、イヤホンを装着したユーザが頭も向きを変えると、それに伴って音像の定位位置も移動してしまい、不自然な再生音場となる。

そこで、上述したように、音像定位補正処理部１２２等の機能によって、ユーザの頭部の水平面における回転に応じて仮想音像定位処理を適切に補正することにより、音像の定位位置を常時一定の位置に保ち、自然な再生音場を形成することができるようにしている。

次に、音像定位補正処理部１２２において行われる処理について具体的に説明する。図２は、イヤホン１５Ｌ、１５Ｒがユーザの耳に対して装着された場合において、ジャイロセンサ１６の検出軸と、加速度センサ１７の検出軸との関係について説明するための図である。この内、図２Ａはイヤホン１５Ｌ、１５Ｒが装着されたユーザをその後方から見た場合の図であり、図２Ｂは、イヤホン１５Ｌが装着されたユーザをその左側から見た場合の図である。

図２において、軸Ｘａ、軸Ｙａ、軸Ｚａは、加速度センサ１７の相互に直交する３軸の検出軸である。また、垂直軸Ｖａが、本来の鉛直方向（重力方向）であり、床面に対して垂直となる方向を示している。

そして、加速度センサ１７は、ジャイロセンサ１６の傾きを検出できるように、ジャイロセンサ１６との間において予め決められた位置関係となるようにして設けられている。この第１の実施の形態のイヤホンシステム１において、加速度センサ１６は、３軸の内のＺａ軸が、ジャイロセンサ１６の検出軸と一致するように設けられているものとする。

上述したように、イヤホンシステム１のイヤホン１５Ｌ、１５Ｒは、挿入型、イントラコンカ型、あるいは、耳かけ型のものである。このため、図２Ａに示すように、イヤホン１５Ｌ、１５Ｒのそれぞれは、ユーザの左右の耳のそれぞれに対して独立して装着される。

そして、ユーザをその後方から見た場合を示す図２Ａに示したように、イヤホン１５Ｌがユーザの耳に装着された状態において、加速度センサ１７のＺａ軸と一致するジャイロセンサ１６の検出軸が、垂直軸Ｖａが示す鉛直方向と一致しない場合について考える。

この場合、ジャイロセンサ１６の検出軸の鉛直方向に対するずれ量は、図２Ａに示すようにφ度となる。つまり、加速度センサ１７の検出軸であるＹａ軸とＺａ軸が形成する面において、ジャイロセンサ１６の検出軸の鉛直方向に対するずれ量は、φ度となる。

この場合において、ユーザをその左側から見ると、図２Ｂに示すように、加速度センサ１７のＺａ軸と一致するジャイロセンサ１６の検出軸が、垂直軸Ｖａが示す鉛直方向に対するずれ量は、図２Ｂに示すようにθ度となる。

この図２Ａ、Ｂに示したジャイロセンサ１６の検出軸と、加速度センサ１７の３軸の検出軸と、鉛直方向との関係についてまとめる。図３は、加速度センサ１７の３軸の検出軸Ｘａ、Ｙａ、Ｚａが形成する座標系において、ジャイロセンサ１６の検出軸と鉛直方向とのずれについて説明するための図である。

図３において、Ｘａ軸上の矢印ＳＸａは、加速度センサ１７のＸａ軸方向の検出出力であり、Ｙａ軸上の矢印ＳＹａは、加速度センサ１７のＹａ軸方向の検出出力であり、Ｚａ軸上の矢印ＳＺａは、加速度センサ１７のＺａ軸方向の検出出力である。

また、図３において、実線矢印で示した垂直軸Ｖａが、図３に示した３軸の座標系の実際の鉛直方向である。そして、上述もしたように、加速度センサ１７は、その検出軸の１つであるＺａ軸がジャイロセンサ１６の検出軸と一致するように設けられている。

したがって、加速度センサ１６のＹａ軸とＺａ軸が形成するＹａ−Ｚａ面における鉛直方向は、図３において点線矢印ＶＹが示した方向となる。したがって、Ｙａ−Ｚａ面におけるジャイロセンサ１６の検出軸（Ｚａ軸に一致）と、鉛直方向ＶＹとのずれは、これらＺａ軸及び鉛直方向ＶＹが形成する角度であるφ度であることが分る。このＹａ−Ｚａ面に示した状態が、図２Ａに示した状態である。

また、加速度センサ１６のＸａ軸とＺａ軸が形成するＸａ−Ｚａ面における鉛直方向は、図３において点線矢印ＶＸが示した方向となる。したがって、Ｘａ−Ｚａ面におけるジャイロセンサ１６の検出軸（Ｚａ軸に一致）と、鉛直方向ＶＸとのずれは、これらＺａ軸及び鉛直方向ＶＸが形成する角度であるθ度であることが分る。このＸａ−Ｚａ面に示した状態が、図２Ｂに示した状態である。

そして、図３に示した状態から分るように、Ｘａ−Ｚａ面におけるジャイロセンサ１６の検出軸の鉛直方向に対するずれ量は、（ｃｏｓθ）となる。同様に、Ｙａ−Ｚａ面におけるジャイロセンサ１６の検出軸の鉛直方向に対するずれ量は、（ｃｏｓφ）となる。

図４は、音像定位補正処理部１２２において行われる補正処理を説明するための式を示す図である。

ここでは、理想状態のジャイロセンサ１６の出力、すなわち、ジャイロセンサ１６の検出軸が実際の鉛直方向と一致している場合のジャイロセンサ１６の検出出力を「Ｓｉ」とする。

また、実際のジャイロセンサ１６の出力、すなわち、図２、図３に示したように、ジャイロセンサ１６の検出軸が鉛直方向に対して、Ｙａ−Ｚａ面においてφ度、Ｘａ−Ｚａ面においてθ度ずれている場合のジャイロセンサ１６の検出出力を「Ｓｒ」とする。

この場合、実際の検出出力Ｓｒは、図４の（１）式に示すように、理想状態の検出出力Ｓｉと、Ｘａ−Ｚａ面におけるずれ量（ｃｏｓθ）と、Ｙａ−Ｚａ面におけるずれ量（ｃｏｓφ）との乗算によって求めることができる。

そして、理想状態のジャイロセンサ１６の推定出力値を「Ｓｉｉ」とする。この推定出力値「Ｓｉｉ」と理想状態のジャイロセンサ１６の出力値「Ｓｉ」とは、本来限りなく近くなるものである。

したがって、理想状態のジャイロセンサ１６の推定出力値を「ＳＩＩ」は、図４の（２）式により求めることができる。すなわち、推定出力値を「ＳＩＩ」は、ジャイロセンサ１６の実際の出力値「Ｓｒ」を、Ｘａ−Ｚａ面におけるずれ量（ｃｏｓθ）とＹａ−Ｚａ面におけるずれ量（ｃｏｓφ）との乗算値で割り算（除算）することにより求められる。

そして、音像定位補正処理部１２２においては、ジャイロセンサ１６からの検出出力と、加速度センサ１７からの検出出力との供給を受ける。そして、音像定位補正処理部１２２は、図２、図３を用いて説明したように、加速度センサ１７の３軸の検出出力から、ジャイロセンサ１６の検出軸の鉛直方向に対するずれ量を求め、当該求めたずれ量を用いて、図４の（２）式にしたがって、ジャイロセンサ１６の検出出力を補正する。

そして、音像定位補正処理部１２２は、補正したジャイロセンサ１６の検出出力に基づいて、音像定位処理部１２１の角ＦＩＲフィルタの伝達関数を補正し、ユーザの頭部の回転に応じて、仮想音像の定位位置を適切な位置となるように補正する。

なお、上述したように、加速度センサ１７は３軸のものであり、対応する面を形成する２軸の出力値からｔａｎθ、ｔａｎφの値を求めることができ、これらの値からアークタンジェント（ａｒｃｔａｎ）を求めることにより、θ、φの値を求めることができる。

換言すれば、図３に示した状態において、θは、ａｒｃｔａｎ（ＳＺａ／ＳＸａ）によって求めることができる。同様に、φは、ａｒｃｔａｎ（ＳＺａ／ＳＹａ）によって求めることができる。

これにより、ｃｏｓθ、ｃｏｓφを加速度センサ２３の検出出力に基づいて求めることができる。そして、これらを用いて、図４の（２）式にしたがって、ジャイロセンサ２２の検出出力を補正することができる。

このように、イヤホン１５Ｌがユーザの耳に対して装着された場合に、ジャイロセンサ１６の検出軸が鉛直方向とならない場合であっても、ジャイロセンサ１６に対して一定の位置関係で設けられる加速度センサ１７の検出出力を用いて適切に補正することができる。

これにより、音像定位処理部１２１における音像定位処理を、ユーザの頭部の水平方向の回転に応じて適切に補正し、音像の定位位置を常時一定の位置に保って、自然な再生音場を形成することができる。

なお、この第１の実施の形態のイヤホンシステム１においては、イヤホンシステム１の所定の操作ボタンスイッチが操作された場合に、ユーザの頭部の水平面方向の回転をも考慮した音像定位処理が行うようにされる。この場合、当該所定の操作ボタンスイッチが操作された時点のユーザの頭部の位置が正面を向いている位置（基準位置）とされる。

また、これ以外にも、例えば、音楽の再生ボタンが操作された場合に、その時点のユーザの頭部の位置が正面を向いている位置（基準位置）として、ユーザの頭部の回転をも考慮した音像定位処理を開始させることも可能である。

また、例えば、ユーザが頭部を大きく左右に振り、その後にユーザの頭部の動きが収まったことを検出した場合に、その時点のユーザの頭部の位置が正面を向いている位置（基準位置）として、ユーザの頭部の回転をも考慮した音像定位処理を開始させることも可能である。

その他、イヤホンシステム１が検出可能な種々のトリガーを用いて、ユーザの頭部の回転をも考慮した音像定位処理を開始させるようにすることができる。

また、上述の説明からも分るように、例えば、イヤホン１５Ｌ、１５Ｒが装着されたユーザの頭部が傾いた状態にあっても、ジャイロセンサ２２の検出軸と鉛直方向とのずれを、加速度センサ２３の検出出力を用いて検出することができる。

したがって、ユーザの頭部が傾いた状態にあっても、ジャイロセンサ１６の検出出力を加速度センサ１７の検出出力に基づいて適切な値に補正することができる。

［第１の実施の形態の変形例］
なお、上述した第１の実施の形態のイヤホンシステム１において、加速度センサ１７は３軸のものを用いるようにしたが、これに限るものではない。加速度センサ１７は、１軸のものであっても、２軸のものであってもよい。

例えば、１軸の加速度センサの検出軸が本来鉛直方向となるようにする。そして、この場合の１軸の加速度センサの検出値が本来の値（９．８ｍ／ｓ^２）とどれだけ違っているかに応じて、ジャイロセンサの検出軸の鉛直方向に対するずれを検出することができる。

また、２軸の加速度センサを用いる場合にも同様に考えることができる。すなわち、２軸の加速度センサの場合にも、その検出出力が、当該加速度センサが床面に対して水平に設けられている場合の検出出力との差分に応じて、ジャイロセンサの検出軸と鉛直方向とのずれを検出することができる。

また、予め多数のユーザによって、ジャイロセンサと１軸あるいは２軸の加速度センサが搭載されたイヤホンシステムを用いて、加速度センサの検出出力と、ジャイロセンサの検出軸のずれ量とを測定し、この測定値を対応付けたてテーブルを作成しておく。

そして、加速度センサの検出出力から当該テーブルを参照し、ジャイロセンサの検出軸の鉛直方向に対するずれ量を特定し、これに基づいてジャイロセンサの検出出力を補正するようにしてもよい。

この場合には、例えば、音像定位補正処理部１２２内のメモリ、あるいは、外部の参照可能なメモリに、加速度センサの検出出力とジャイロセンサの検出軸の鉛直方向に対するずれ量とを対応付けたメモリを作成しておく必要がある。

また、上述したジャイロセンサ１６は、１軸のものとして説明したが、これに限るものではない。２軸以上の多数軸のジャイロセンサを用いるようにすることも可能である。この場合、例えば、垂直方向（上下方向）のユーザの頭部の向きをも検出し、垂直方向の音像の定位をも補正することも可能である。

また、この発明は、上述もしたように、挿入型、イントラコンカ型、耳かけ型のイヤホンシステムやヘッドホンシステムに適用して好適なものである。しかし、これらのみに適用可能なものではなく、ヘッドバンドを有する従来からのヘッドホンを用いる場合においても、この発明を適用することができる。

なお、この第１の実施の形態においては、上述の説明からも明らかなように、音像定位処理部１２１が音像定位処理手段としての機能を実現し、イヤホン１５Ｌがスピーカ部としての機能を実現している。また、ジャイロセンサ１６が回転検出手段としての機能を実現し、加速度センサ１７が傾き検出手段としての機能を実現し、音像定位補正処理部１２２が、回転補正手段としての機能と、調整手段としての機能を実現している。

また、図１〜図４を用いて説明した第１の実施の形態のイヤホンシステムは、この発明の音像定位位置調整方法が適用されたものである。すなわち、
（１）イヤホン１５Ｌに設けられるジャイロセンサ１６を通じて、イヤホン１５Ｌが装着されたユーザの頭部の回転を検出し、
（２）イヤホン１５Ｌに設けられる加速度センサ１７を通じて、ジャイロセンサ１６の傾きを検出し、
（３）加速度センサ１７が検出したジャイロセンサ１６の傾きに基づいて、ジャイロセンサ１６の検出したユーザの頭部の回転についての検出結果を補正し、
（４）補正されたジャイロセンサ１６が検出したユーザの頭部の回転についての検出結果に基づいて、再生対象の音声信号に対して施される音像定位処理を調整し、音像定位位置を調整するというように、上記（１）〜（４）の工程を行うものが、この発明の音像定位位置調整方法である。

＜第２の実施の形態＞
次に、この発明をいわゆるヘッドマウントディスプレイと呼ばれるユーザの頭部に装着して使用する小型のディスプレイ装置を用いた映像処理装置に適用した場合について説明する。

図５は、この第２の実施の形態で用いられるヘッドマウントディスプレイ部２の外観を説明するための図である。図６は、この第２の実施の形態のヘッドマウントディスプレイ２を含めた映像処理装置の構成例を説明するためのブロック図である。

図５に示すように、ヘッドマウントディスプレイ部２は、ユーザの頭部に装着されて利用されるものであり、ユーザの目の数センチメートル離れた位置に、小型のディスプレイが位置するようにされるものである。

このようなヘッドマウントディスプレイにおいては、ユーザの眼前に位置するディスプレイの表示画面に、ユーザからある程度離れた位置にあるように表示される画像を形成して表示することができるものである。

ヘッドマウントディスプレイ２を用いたこの実施の形態の映像処理装置を構成する映像再生装置３においては、後述もするが、例えば、人の視野角以上の角度範囲で撮影した動画像データがハードディスクに記憶保持されている。具体的には、水平方向に３６０度の範囲で撮影した動画像データがハードディスクに記憶保持されている。そして、ヘッドマウントディスプレイ部２が装着されたユーザの頭部の水平方向の回転を検出し、ユーザの頭部の向きに応じた方向の映像を表示することができるものである。

このため、図６に示すように、ヘッドマウントディスプレイ部２には、ＬＣＤ（Liquid Crystal Display）等により構成された表示部２１と、ユーザの頭部の回転を検出するためのジャイロセンサ２２と、加速度センサ２３とが設けられている。

また、ヘッドマウントディスプレイ２に映像信号を供給する映像再生装置３は、例えば、ハードディスクレコーダやゲーム機、その他の種々の映像再生装置として構成されるものである。

そして、この第２の実施の形態の映像処理装置の映像再生装置３は、図６に示したように、ハードディスクドライブ（以下、ＨＤＤと略称する）を備えた映像再生部３３と、映像処理部３４とを備えている。

さらに、映像再生装置３は、ヘッドマウントディスプレイ部２のセンサからの検出出力を受け付けるためのＡ／Ｄ変換器３３と、ユーザの頭部の向きを検出するためのユーザ向き検出部３４とを備えたものである。

そして、通常、映像処理再生装置３は、ユーザから再生する映像コンテンツの選択を受け付け、その映像を再生することの指示を受け付けると、映像コンテンツの再生処理を開始する。

この場合、映像再生部３１はハードディスクに記録されている選択された映像コンテンツ（映像データ）を読み出し、これを映像処理部３２に供給する。映像処理部３２は、これに供給された映像コンテンツを圧縮解凍したり、アナログ信号に変換したりするなどの種々の処理を行って、ヘッドマウントディスプレイ２の表示部２１に供給する映像信号を形成し、これを表示部２１に供給する。これにより、目的とする映像コンテンツに応じた映像が、ヘッドマウントディスプレイ部２の表示部２２の表示画面に表示される。

そして、ヘッドマウントディスプレイ部２は、通常はヘッドバンドで頭部に保持され、めがね式の場合には、いわゆるテンプル（フレームを耳にかける部分）によってユーザの耳部分に掛ける様にしてユーザの頭部に保持される。

しかし、ヘッドマウントディスプレイ部２のヘッドバンドへの取り付け方によっては、ヘッドマウントディスプレイ部２をユーザの頭部に装着した場合に、これに設けられるジャイロセンサ２２の検出軸が鉛直方向とならない場合もあると考えられる。

また、めがね式のヘッドマウントディスプレイ部２の場合には、ユーザのかけ方によって、これに設けられるジャイロセンサ２２の検出軸が鉛直方向とならない場合もあると考えられる。

そこで、この第２の実施の形態の映像処理装置で用いられるヘッドマウントディスプレイ２には、図６に示したように、ジャイロセンサ２２と、加速度センサ２３とが設けられている。

ジャイロセンサ２２は、上述した第１の実施の形態のイヤホンシステム１のジャイロセンサ１６と同様に、ユーザの頭部の回転を検出するための１軸のものである。

加速度センサ２３は、上述した第１の実施の形態のイヤホンシステム１の加速度センサ１７と同様に、３軸のものであり、ジャイロセンサ２２の傾きを検出するために、ジャイロセンサ２２と一定の位置関係を維持するように配置されているものである。

この第２の実施の形態においても、ヘッドマウントディスプレイ部２に設けられる３軸の加速度センサ２３の１つの検出軸（例えばＺａ軸）が、ジャイロセンサ２２の検出軸と一致するように配置されている。

そして、ヘッドマウントディスプレイ部２に設けられたジャイロセンサ２２からの検出出力と加速度センサ２３からの検出出力とは、音楽再生装置３のＡ／Ｄ変換器３３を通じてユーザ向き検出部３４に供給される。

Ａ／Ｄ変換器３３は、ジャイロセンサ２２からの検出出力と、加速度センサ２３からの検出出力とを、デジタル信号に変換して、これらをユーザ向き検出部３４に供給するものである。

ユーザ向き検出部３４は、図２〜図４を用いて説明した第１の実施の形態のイヤホンシステム１における音像定位補正処理部１２２と同様にして、ジャイロセンサ２２の検出出力を、加速度センサ２３からの検出出力に基づいて補正する。

具体的には、図３を用いて説明したように、加速度センサ２３の３軸の検出出力から、まず、Ｘａ−Ｚａ面におけるジャイロセンサ２２の検出軸の鉛直方向に対するずれ量（ｃｏｓθ）を求める。そして、Ｙａ−Ｚａ面におけるジャイロセンサ２２の検出軸の鉛直方向に対するずれ量（ｃｏｓφ）を求める。

そして、図４を用いて説明したように、図４の（２）式にしたがって、ジャイロセンサ２２の検出出力と、ジャイロセンサ２２の検出軸の鉛直方向に対するずれ量（ｃｏｓθ、ｃｏｓφ）とを用いて、ジャイロセンサ２２の検出出力を補正する。これにより、ジャイロセンサ２２の理想状態の指定出力値「Ｓｉｉ」を求め、これに応じてユーザの頭部の向きを特定する。

そして、ユーザ向き検出部３４は、検出したユーザの頭部の向きを示す情報を映像再生部３１に供給する。映像再生部３１のＨＤＤには、上述もしたように、水平方向に３６０度の範囲で撮影した動画像データが記録されている。

このため、映像再生部３１は、ユーザ向き検出部３４からのユーザの向きに応じた区間の動画像データを読み出し、これを再生するようにする。

図７は、映像再生部３１が、ユーザの頭部の向きに応じて変える、３６０度の範囲の映像データの読み出し部分について説明するための図である。図７において、文字Ａで示した点線で囲んだ範囲（以下、表示範囲Ａと言う。）が、ユーザの頭部が正面を向いている場合に表示される映像の表示範囲である。

そして、ユーザの頭部が正面方向を向いている状態から、例えば、左方向にある角度分回転したことが検出された場合には、図７において、文字Ｂで示した点線で囲んだ範囲（以下、表示範囲Ｂと言う。）の映像データが読み出されて再生される。

同様に、ユーザの頭部が正面方向を向いている状態から、例えば、右方向にある角度分回転したことが検出された場合には、図７において、文字Ｃで示した点線で囲んだ範囲（以下、表示範囲Ｃと言う。）の映像データが読み出されて再生するようにされる。

このように、ヘッドマウントディスプレイ部２を装着したユーザが正面を向いている場合には、図７において表示範囲Ａの映像データが読み出されて再生される。そして、ユーザの頭部が正面からある角度分、左に回転した場合には、図７において表示範囲Ｂの映像データが読み出されて再生される。同様に、ユーザの頭部が正面からある角度分、右に回転した場合には、図７において表示範囲Ｃの映像データが読み出されて再生される。

そして、図７において、表示範囲Ｂの映像データを再生しているときに、ユーザの頭部がさらに左方向に回転した場合には、さらに左側の表示領域の映像データが読み出されて再生される。

同様に、図７において、表示範囲Ｃの映像データを再生しているときに、ユーザの頭部がさらに右方向に回転した場合には、さらに右側の表示領域の映像データが読み出されて再生される。

このように、ヘッドマウントディスプレイ部２を装着したユーザの頭部の水平方向の回転に応じて、３６０度の範囲で撮影されてＨＤＤに記憶保持されている映像データから、ユーザの頭部の向きに応じた表示範囲の映像データが切り出されて再生される。

そして、ユーザの頭部の回転は、ジャイロセンサ２２の検出出力を加速度センサ２３の検出出力により補正されて求められるので、ユーザの頭部の向きを正確に検出することができるようにされる。これにより、ヘッドマウントディスプレイ部２が装着されたユーザの頭部の向きに応じて、適切な表示範囲の映像データを切り出し、これを再生することができるようにされる。

なお、この第２の実施の形態の映像処理装置においては、映像処理装置の所定の操作ボタンスイッチが操作された場合に、ユーザの頭部の回転をも考慮した映像表示処理が行うようにされる。この場合、当該所定の操作ボタンスイッチが操作された時点のユーザの頭部の位置が正面を向いている位置（基準位置）とされる。

また、これ以外にも、例えば、映像の再生ボタンが操作された場合に、その時点のユーザの頭部の位置が正面を向いている位置（基準位置）として、ユーザの頭部の回転をも考慮した映像再生処理を開始させることも可能である。

また、例えば、ユーザが頭部を大きく左右に振り、その後にユーザの頭部の動きが収まったことを検出した場合に、その時点のユーザの頭部の位置が正面を向いている位置（基準位置）として、ユーザの頭部の回転をも考慮した映像表示処理を開始させることも可能である。

その他、映像表示装置が検出可能な種々のトリガーを用いて、ユーザの頭部の回転をも考慮した映像表示処理を開始させるようにすることができる。

［第２の実施の形態の変形例］
なお、上述した第１の実施の形態のヘッドマウントディスプレイ部２において、加速度センサ２３は３軸のものを用いるようにしたが、これに限るものではない。加速度センサ２３は、１軸のものであっても、２軸のものであってもよい。

例えば、１軸の加速度センサの検出軸が本来鉛直方向となるようにする。そして、この場合の１軸の加速度センサの検出値が本来の値（９．８ｍ／ｓ^２）とどれだけ違っているかに応じて、ジャイロセンサの検出軸の鉛直方向に対するずれを検出することができる。

また、２軸の加速度センサを用いる場合にも同様に考えることができる。すなわち、２軸の加速度センサの場合にも、その検出出力が、当該加速度センサが床面に対して水平に設けられている場合の検出出力との差分に応じて、ジャイロセンサの検出軸と鉛直方向とのずれを検出することができる。

また、予め多数のユーザによって、ジャイロセンサと１軸あるいは２軸の加速度センサが搭載されたイヤホンシステムを用いて、加速度センサの検出出力と、ジャイロセンサの検出軸のずれ量とを測定し、この測定値を対応付けたてテーブルを作成しておく。

そして、加速度センサの検出出力から当該テーブルを参照し、ジャイロセンサの検出軸の鉛直方向に対するずれ量を特定し、これに基づいてジャイロセンサの検出出力を補正するようにしてもよい。

この場合には、例えば、ユーザ向き検出部３４内のメモリ、あるいは、外部の参照可能なメモリに、加速度センサの検出出力とジャイロセンサの検出軸の鉛直方向に対するずれ量とを対応付けたテーブルを作成しておく必要がある。

また、上述したジャイロセンサ２２は、１軸のものとして説明したが、これに限るものではない。２軸以上の多数軸のジャイロセンサを用い、垂直方向（上下方向）のユーザの頭部の向きをも検出し、垂直方向の画像の切り出しを補正することも可能である。

なお、この第２の実施の形態においては、上述の説明からも明らかなように、ヘッドマウントディスプレイ部２が表示手段の機能を実現し、ジャイロセンサ２２が回転検出手段としての機能を実現し、加速度センサ２３が傾き検出手段としての機能を実現している。また、ユーザ向き検出部３４が、回転補正手段としての機能を実現し、映像再生部３１が、映像処理手段としての機能を実現している。

また、主に図５〜図７を用いて説明した第２の実施の形態の映像処理装置は、この発明の映像処理方法が適用されたものである。すなわち、
（Ａ）ヘッドマウントディスプレイ部２に設けられるジャイロセンサ２２を通じて、ヘッドマウントディスプレイ部２が装着されたユーザの頭部の回転を検出し、
（Ｂ）ヘッドマウントディスプレイ部２に設けられる加速度センサ２３を通じて、ジャイロセンサ２２の傾きを検出し、
（Ｃ）加速度センサ２３が検出したジャイロセンサ２２の傾きに基づいて、ジャイロセンサ２２の検出したユーザの頭部の回転についての検出結果を補正し、
（Ｄ）補正されたジャイロセンサ２２が検出したユーザの頭部の回転についての検出結果に基づいて、映像再生部３１がユーザの頭部の回転に応じた範囲の映像データをハードディスクに記録されている例えば水平方向に３６０度分の映像データから切り出して、ヘッドマウントディスプレイ部２に供給するというように、上記（Ａ）〜（Ｄ）の工程を行うものが、この発明の映像処理方法である。

＜その他＞
また、上述したように、第１の実施の形態においては、この発明の音声処理装置が適用されたイヤホンシステム１を、また、第２の実施の形態においては、ヘッドマウントディスプレイ部２をするこの発明の映像処理装置が適用された映像処理装置を説明した。

しかし、これに限るものではない。音声再生系と映像再生系とを備えた、音声映像処理装置にこの発明を適用することができる。この場合には、ジャイロセンサと加速度センサとは、イヤホンかヘッドマウントディスプレイかのいずれか一方にジャイロセンサと加速度センサとを設け、これらの検出出力に基づいてジャイロセンサの検出出力を補正する。

そして、補正したジャイロセンサからの検出出力を用いて、音像定位処理部において行われる音像定位処理を制御すると共に、映像再生装置においての映像データの表示範囲（読み出し範囲）を制御する。

これにより、ジャイロセンサと加速度センサとをそれぞれ１つずつ設ければ、音声の仮想音像定位処理と、映像の切り出し範囲の制御処理との両方を適切に行うようにすることができる。

この発明の音声処理装置の一実施の形態が適用された第１の実施の形態のイヤホンシステム１の構成例を説明するためのブロック図である。 イヤホン１５Ｌ、１５Ｒがユーザの耳に対して装着された場合において、ジャイロセンサ１６の検出軸と、加速度センサ１７の検出軸との関係について説明するための図である。 加速度センサ１７の３軸の検出軸Ｘａ、Ｙａ、Ｚａが形成する座標系において、ジャイロセンサ１６の検出軸と鉛直方向とのずれについて説明するための図である。 音像定位補正処理部１２２において行われる補正処理を説明するための式を示す図である。 この発明の映像処理装置の一実施の形態が適用されたこの第２の実施の形態で用いられる映像処理装置のヘッドマウントディスプレイ部２の外観を説明するための図である。 第２の実施の形態のヘッドマウントディスプレイ２を含めた映像処理装置の構成例を説明するためのブロック図である。 映像再生部３１が、ユーザの頭部の向きに応じて変える、３６０度の範囲の映像データの読み出し部分について説明するための図である。 仮想音像定位処理が用いられるヘッドホンシステムの構成例を説明するための図である。 ２チャンネルの仮想音像定位処理の概念を説明するための図である。 図８に示した信号処理部１０２の構成例を説明するための図である。 ジャイロセンサ１０が設けられた従来のヘッドホンシステムがユーザの頭部に装着された場合について説明するための図である。

符号の説明

１…イヤホンシステム、１１…音楽・音声再生装置、１２…信号処理プロセッサ、１２１…音像定位処理部、１２２…音像定位補正部、１３Ｌ、１３Ｒ…Ｄ／Ａ変換器、１４Ｌ、１４Ｒ…アンプ、１５Ｌ、１５Ｒ…イヤホン、１６…ジャイロセンサ、１７…加速度センサ、１８…Ａ／Ｄ変換器１８、２…ヘッドマウントディスプレイ部、２１…表示部、２２…ジャイロセンサ、２３…加速度センサ、３…映像再生装置、３１…映像再生部、３２…映像処理部、３３…Ａ／Ｄ変換器、３４…ユーザ向き検出部

Claims (10)

1. 再生対象の音声信号に対して、予め求められる頭部伝達関数に応じて音像定位処理を施す音像定位処理手段と、
   使用者の耳に対して装着され、前記音像定位処理手段により音像定位処理された音声信号の供給を受けて、当該音声信号に応じた音声を放音するイヤホンと、
   前記イヤホンに対して設けられ、当該イヤホンが装着された使用者の頭部の回転を検出する回転検出手段と、
   前期回転検出手段に対し予め決められた位置関係となるよう前記イヤホンに設けられ、前記回転検出手段の重力方向に対する傾きを検出する傾き検出手段と、
   前記傾き検出手段の検出結果に基づいて、前記回転検出手段からの検出結果を補正する回転補正手段と、
   前記回転補正手段により補正された前記回転検出手段からの検出結果に基づいて、前記音像定位処理手段を制御し、音像の定位位置を調整する調整手段と
   を備えた音声処理装置。
2. 請求項１に記載の音声処理装置であって、
   前記傾き検出手段は、Ｎ（Ｎは１以上の整数）軸の加速度センサである音声処理装置。
3. 請求項２に記載の音声処理装置であって、
   前記傾き検出手段は、前記回転検出手段における回転の検出軸が前記加速度センサにおける加速度の一検出軸と一致するよう前記イヤホンに設けられている音声処理装置。
4. 請求項１に記載の音声処理装置であって、
   前記イヤホンは、挿入型、イントラコンカ型、耳かけ型のものである音声処理装置。
5. 請求項１に記載の音声処理装置であって、
   使用者の操作を受け付ける操作手段をさらに有し、
   前記調整手段は、前記操作手段を介して使用者の操作を受け付けた時点における使用者の頭部の位置を基準位置として前記音像定位処理手段を制御し、音像の定位位置を調整する音声処理装置。
6. 使用者の耳に対して装着されるイヤホンに設けられる回転検出手段を通じて、前記イヤホンが装着された使用者の頭部の回転を検出する回転検出工程と、
   前期回転検出手段に対し予め決められた位置関係となるよう前記イヤホンに設けられる傾き検出手段を通じて、前記回転検出手段の重力方向に対する傾きを検出する傾き検出工程と、
   前記傾き検出工程において検出した前記回転検出手段の傾きに基づいて、前記回転検出工程において検出した使用者の頭部の回転についての検出結果を補正する補正工程と、
   前記補正工程において補正された前記回転検出工程において検出した使用者の頭部の回転についての検出結果に基づいて、再生対象の音声信号に対して施される音像定位処理を調整し、音像定位位置を調整する調整工程と
   を有する音像定位位置調整方法。
7. 使用者の頭部に装着される耳かけ型の表示手段と、
   当該表示手段に対して設けられ、当該表示部が装着された使用者の頭部の回転を検出する回転検出手段と、
   前期回転検出手段に対し予め決められた位置関係となるよう当該表示手段に設けられ、前記回転検出手段の重力方向に対する傾きを検出する傾き検出手段と、
   前記傾き検出手段の検出結果に基づいて、前記回転検出手段からの検出結果を補正する回転補正手段と、
   前記回転補正手段により補正された前記回転検出手段からの検出結果に基づいて、人の視野角以上の範囲の映像データから使用者の頭部の回転に応じた範囲の映像データを切り出して、前記表示手段に供給する映像処理手段と
   を備える映像処理装置。
8. 請求項７に記載の映像処理装置であって、
   前記傾き検出手段は、Ｎ（Ｎは１以上の整数）軸の加速度センサである映像処理装置。
9. 請求項８に記載の映像処理装置であって、
   前記傾き検出手段は、前記回転検出手段における回転の検出軸が前記加速度センサにおける加速度の一検出軸と一致するよう前記イヤホンに設けられている映像処理装置。
10. 使用者の頭部に装着される耳かけ型の表示手段に対して設けられる回転検出手段を通じて、当該表示部が装着された使用者の頭部の回転を検出する回転検出工程と、
    前期回転検出手段に対し予め決められた位置関係となるよう当該表示手段に設けられる傾き検出手段を通じて、前記回転検出手段の重力方向に対する傾きを検出する傾き検出工程と、
    前記傾き検出工程において検出した前記回転検出手段の傾きに基づいて、前記回転検出工程において検出した使用者の頭部の回転についての検出結果を補正する補正工程と、
    前記補正工程において補正された前記回転検出工程において検出した使用者の頭部の回転についての検出結果に基づいて、映像処理手段が、人の視野角以上の範囲の映像データから使用者の頭部の回転に応じた範囲の映像データを切り出して、前記表示手段に供給する映像処理工程と
    を有する映像処理方法。

Images