JP4665872B2 - ヘッドモーショントラッカ装置 - Google Patents

Description

本発明は、移動体に設定された基準座標に対する少なくとも搭乗者の頭部角度を測定するためのヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）に関する。本発明は、例えば、ゲーム機や乗物等の移動体で用いられる頭部装着型表示装置付ヘルメットの現在角度（すなわち、現在の頭部角度）を検出するＨＭＴ装置等に利用される。

例えば、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に設定された基準座標に対するパイロットの頭部角度を測定している。このために、ＨＭＴ装置が利用されている。

このような従来のＨＭＴ装置として、例えば、複数の反射板を頭部装着型表示装置付ヘルメットに取り付けるとともに光源から光を照射したときの反射光をカメラ装置でモニタする光学方式ＨＭＴ装置が開示されている（例えば、特許文献１参照）。また、本出願人が先に出願しているＨＭＴ装置もある（特願２００５−１０６４１８号）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカー群として、ＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、これら３つのＬＥＤの相対的な位置関係を予め記憶させておく。そして、これら３つのＬＥＤを、ステレオ視が可能でかつ設置場所が固定された２台のカメラで同時に撮影することで、所謂、三角測量の原理により、現在の３つのＬＥＤの相対的な位置関係を測定している。頭部装着型表示装置付ヘルメットに固定された３点の位置（３つのＬＥＤの位置）が特定できれば、頭部装着型表示装置付ヘルメットの位置や向き（角度）が特定できるので、これにより、基準座標に対する頭部装着型表示装置付ヘルメットの移動距離量や移動角度量を算出している。
特表平９−５０６１９４号公報

しかしながら、光学方式ＨＭＴ装置においては、３個のＬＥＤを点灯させることにより、２台のカメラで同時に撮影するが、撮影と撮影との間隔時間（例えば、１６ｍｓｅｃ（６０Ｈｚ））により変動に対する応答性が定まる。そのため、高速で変化する頭部装着型表示装置付ヘルメットの動きをモニタリングするときには、追従性が充分でないことがあった。
また、２台のカメラによりＬＥＤ群を観測し続ける必要があるが、頭部装着型表示装置付ヘルメットの位置が大きく変化する場合には、ＬＥＤの位置とカメラ装置の設置場所との関係で、ＬＥＤがカメラ装置の視野から外れることがあるので、ステレオ視による測定ができなくなることがあった。

そこで、本発明は、光学方式ＨＭＴ装置において、移動体に設定された基準座標に対する頭部角度を、短い間隔時間で正確に算出することができる機構を備えたヘッドモーショントラッカ装置を提供することを目的とする。

上記課題を解決するためになされた本発明のヘッドモーショントラッカ装置は、光学方式モーショントラッカと、前記光学方式モーショントラッカにより、移動体に設定された基準座標に対する搭乗者の頭部角度を含む第一相対頭部情報を算出する主頭部情報算出部と、前記第一相対頭部情報を記憶する第一相対頭部情報記憶部とを備えたヘッドモーショントラッカ装置において、前記移動体に取り付けられるとともに、当該移動体に作用する角速度を検出する移動体センサと、前記搭乗者の頭部に装着されるとともに、当該頭部に作用する角速度を検出する頭部センサと、前記移動体センサ及び頭部センサから検出された角速度と、前記第一相対頭部情報とに基づいて、前記基準座標に対する搭乗者の頭部角度を含む第二相対頭部情報を、主頭部情報算出部の算出時間より短時間で算出する副頭部情報算出部と、前記主頭部情報算出部による第一相対頭部情報が再び算出されるときまで、前記副頭部情報算出部により第二相対頭部情報を算出させる切替部とを備えるようにしている。

ここで、「光学方式モーショントラッカ」とは、動きを検出しようとする物体に、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等の光学マーカーを取り付けるとともに、光学マーカー群を光学的に検出するカメラ装置等の光学検出手段を配置することにより、光学マーカー群の位置を逐次検出することで、物体の動きを追跡することができるモーショントラッカのことをいう。

また、「移動体センサ」及び「頭部センサ」とは、センサ自体に３軸が定義されて、この３軸を基準とする角速度や３軸方向の加速度を検出できるもののことをいい、具体的には、ジャイロセンサや、加速度センサが用いられる。なお、頭部センサでは、移動体中では頭部の動きと移動体の動きとが合成された動きの情報が検出される。

また、「主頭部情報算出部による第一相対頭部情報が再び算出されるとき」とは、主頭部情報算出部による第一相対頭部情報が算出されてから、主頭部情報算出部による第一相対頭部情報が再び算出されることが可能になったときのことをいう。よって、例えば、カメラ装置等による撮影と撮影との間の時間や、光学マーカー群がカメラ装置等の光学検出手段の視野外に移動することにより光学的測定ができなくなっているときは、主頭部情報算出部による第一相対頭部情報が再び算出されるときではないことになる。

本発明のＨＭＴ装置によれば、主頭部情報算出部は、光学方式モーショントラッカにより、移動体に設定された基準座標に対する搭乗者の頭部角度を含む第一相対頭部情報を算出する。一方、移動体に取り付けられた移動体センサは角速度を短い間隔時間で検出することができるとともに、搭乗者の頭部に取り付けられた頭部センサも短い間隔時間で角速度を検出することができるので、副頭部情報算出部は、角速度と、第一相対頭部情報とに基づいて、搭乗者の頭部角度を含む第二相対頭部情報を短い間隔時間で算出することができる。
これにより、切替部は、カメラ装置等の光学検出手段による撮影と撮影との間の時間や、ステレオ視による測定ができなくなったりするような、主頭部情報算出部が第一相対頭部情報を算出できない状態であるときに、副頭部情報算出部が移動体に設定された基準座標に対する頭部角度を含む第二相対頭部情報を算出することができる。
なお、副頭部情報算出部は、頭部センサから検出される角速度、及び、移動体センサから検出される角速度に基づいて、第二相対頭部情報を算出するが、角速度を検出するセンサ（ジャイロセンサ等）の性質上、時間とともにドリフト現象による誤差を生じる可能性がある。よって、主頭部情報算出部による第一相対頭部情報が算出されるときまで、副頭部情報算出部により頭部角度を含む第二相対頭部情報を算出する。つまり、第二相対頭部情報は、記憶された第一相対頭部情報を初期情報として、移動体センサ及び頭部センサから検出される角速度から算出される変化分が加算されたものであり、短時間の測定であればドリフト現象の影響をほとんど受けない。そして、再び、主頭部情報算出部による第一相対頭部情報を算出することが可能になると、その第一相対頭部情報を参照するようにする。
よって、このようにすることにより、短い間隔時間で、精度よく、移動体に設定された基準座標に対する頭部角度等の頭部情報を算出することができる。

（他の課題を解決するための手段および効果）
また、上記各発明において、前記光学方式モーショントラッカは、前記搭乗者の頭部に装着される光学マーカー群と、前記移動体に取り付けられ、前記光学マーカー群からの光線を検出するカメラ装置とを備えるようにしてもよい。

さらに、上記各発明において、前記第一相対頭部情報記憶部は、異なる時間に算出された少なくとも２つの第一相対頭部情報を記憶するとともに、前記移動体センサと頭部センサとは、さらに加速度を検出し、かつ、前記少なくとも２つの第一相対頭部情報に基づいて、前記搭乗者の頭部速度を含む頭部速度情報を算出する頭部速度情報算出部を備え、前記主頭部情報算出部は、さらに搭乗者の頭部位置を含んだ第一相対頭部情報を算出するとともに、
前記副頭部情報算出部は、さらに移動体センサ及び頭部センサから検出された加速度と、前記頭部速度情報及び第一相対頭部情報とに基づいて、前記搭乗者の頭部位置を含んだ第二相対頭部情報を算出するようにしてもよい。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。

（実施形態１）
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。また、図３は、基準座標（ＸＹＺ座標）の設定を説明するための図であり、図４は、ＨＭＴ装置が頭部角度を含む第二相対頭部情報を算出する際に実行する演算処理の流れを説明する図である。なお、本実施形態は、飛行体３０に設定された基準座標（ＸＹＺ座標）でのパイロット３の頭部角度の算出を行うものである。
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、飛行体３０に固定された固定軸２ｃにより支持されるカメラ装置２（２ａ、２ｂ）と、飛行体３０に取り付けられた飛行体側３軸ジャイロセンサ４と、コンピュータにより構成される制御部２０とから構成される。

頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、位置や向き（すなわち、頭部角度）を測定する際の指標となる頭部マーカーとして機能するＬＥＤ群７と、頭部側３軸ジャイロセンサ６とを有する。なお、頭部装着型表示装置付ヘルメット１０自体にも、座標（ヘルメット座標）が定められているが、モーショントラッカの一部として使用するためには、パイロット３によって後述する基準座標（ＸＹＺ座標）と正確に軸合わせされる必要がある。頭部装着型表示装置付ヘルメット１０自体のヘルメット座標と基準座標（ＸＹＺ座標）との軸合わせの方法については、広く用いられている一般的な方法（例えば、頭部装着型表示装置付ヘルメットを装着したパイロットに特定方向を向くように指示することにより軸合わせを行う方法）により行われる。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。

ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個（あるいは３個以上の数）のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして取り付けられたものである。なお、頭部装着型表示装置付ヘルメット１０の３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係と頭部装着型表示装置付ヘルメット１０に対する取り付け位置とが、予め、メモリ４１の初期データ記憶部３９に記憶するようにしてある。よって、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データ記憶部３９に記憶されたデータを参照することにより、現時点でのＬＥＤ７ａ、７ｂ、７ｃの位置を特定することができ、ひいてはＬＥＤ７ａ、７ｂ、７ｃが固定されている頭部装着型表示装置付ヘルメット１０の角度が特定できるようにしてある。

頭部側３軸ジャイロセンサ６は、頭部の角速度を検知するものである。なお、頭部側３軸ジャイロセンサ６自体に、ｘ_２ｙ_２ｚ_２座標が定められている。つまり、ロール方向（ｘ_２軸に対する回転）、エレベーション方向（ｙ_２軸に対する回転）、アジマス方向（ｚ_２軸に対する回転）における移動量である角速度（θ２、φ２、ψ２）が検知される。このとき、パイロット３は飛行体３０に乗っており、飛行体３０自体も動いているので、角速度（θ２、φ２、ψ２）は、パイロット３の頭部の角速度だけでなく、飛行体の角速度も含んだものとなる。
なお、頭部側３軸ジャイロセンサ６は、頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標と正確に軸合わせされて、頭部装着型表示装置付ヘルメット１０に取り付けられる。

飛行体３０は、パイロット３が搭乗するコックピットであり、パイロット３が着席する座席３０ａと、カメラ装置２（２ａ、２ｂ）と、飛行体側３軸ジャイロセンサ４とを備える。

カメラ装置２（２ａ、２ｂ）は、２台のカメラ２ａ、２ｂからなり、撮影方向が頭部装着型表示装置付ヘルメット１０に向けられているとともに、頭部装着型表示装置付ヘルメット１０の立体視が可能な一定の距離（ｄ１）を隔てるように、飛行体３０の天井に固定軸２ｃを介して設置されている。
よって、図３に示すように、ＬＥＤ７ａのカメラ装置２（２ａ、２ｂ）に対する位置は、カメラ装置２（２ａ、２ｂ）に撮影された画像データ中の頭部マーカーの位置を抽出し、さらにカメラ２ａからの方向角度（α）とカメラ２ｂからの方向角度（β）とを抽出し、カメラ２ａとカメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができるようにしてある。他の頭部マーカーであるＬＥＤ７ｂ、７ｃのカメラ装置２（２ａ、２ｂ）に対する位置についても、同様に算出されるようにしてある。

このときの各頭部マーカーの位置を、空間座標で表現することができるようにするために、カメラ装置２（２ａ、２ｂ）に固定され、カメラ装置２とともに移動する座標系である基準座標（ＸＹＺ座標）を用いる。なお、基準座標（ＸＹＺ座標）の具体的な原点位置やＸＹＺ軸方向の説明については後述する。基準座標（ＸＹＺ座標）によりＬＥＤ７ａ、７ｂ、７ｃの位置座標は、（Ｘ１、Ｙ１、Ｚ１）、（Ｘ２、Ｙ２、Ｚ２）、（Ｘ３、Ｙ３、Ｚ３）として表現できる。カメラ装置２（２ａ、２ｂ）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置座標（Ｘ１、Ｙ１、Ｚ１）、（Ｘ２、Ｙ２、Ｚ２）、（Ｘ３、Ｙ３、Ｚ３）が特定されることにより、ＬＥＤ７ａ、７ｂ、７ｃが固定されている頭部装着型表示装置付ヘルメット１０の角度が座標系を用いて特定できるようになる。
つまり、頭部マーカーであるＬＥＤ群７から発光される赤外光を検出することにより３個のＬＥＤ７ａ、７ｂ、７ｃの現在の位置座標を得ることで、カメラ装置２（２ａ、２ｂ）に対する頭部装着型表示装置付ヘルメット１０の現在の角度を算出でき、座標軸に対する角度で表現できるようにしてある。

飛行体側３軸ジャイロセンサ４は、飛行体３０の角速度を検知するものである。なお、飛行体側角速度センサ４自体には、ｘ_１ｙ_１ｚ_１座標が定められている。つまり、ロール方向（ｘ_１軸に対する回転）、エレベーション方向（ｙ_１軸に対する回転）、アジマス方向（ｚ_１軸に対する回転）における移動量である角速度（θ１、φ１、ψ１）が検知される。なお、飛行体側３軸ジャイロセンサ４は、基準座標（ＸＹＺ座標）と正確に軸合わせされて、取り付けられている。また、軸合わせされずに、取り付けられている場合は、座標変換行列を求めておくことで、基準座標と関連付けを行うことになる。

制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行う。制御部２０のＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部２８と、主頭部情報算出部２２と、副頭部情報算出部２３と、切替部２９と、映像表示部２５とからなる。なお、図５は、制御部２０が実行する流れを説明するタイムチャートである。

また、メモリ４１は、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、基準座標（ＸＹＺ座標）を記憶する基準座標記憶部４３と、第一相対頭部情報を記憶する第一相対頭部情報記憶部４２と、時間記憶部４４と、第二相対頭部情報及び角速度差を記憶する第二相対頭部情報記憶部４７と、初期データ記憶部３９とを含む。

ここで、基準座標（ＸＹＺ座標）について説明する。基準座標（ＸＹＺ座標）は、カメラ装置２（２ａ，２ｂ）とともに移動する３次元座標系であり、原点及び各座標軸の方向を任意に定めることができるが、カメラ２ｂからカメラ２ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向き方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点をカメラ２ａ、カメラ２ｂの中点として定義するようにしてある。

したがって、基準座標記憶部４３は、カメラ装置に対して固定された座標系である基準座標（ＸＹＺ座標）の定義に必要な情報である原点位置情報、Ｘ、Ｙ、Ｚ軸方向に関する情報を記憶する。具体的には、予め、移動体３０に、Ｘ、Ｙ、Ｚ軸方向を格子方向とした正方格子状の基準座標スケールを配置して画像データを撮影し、画像データに対し、画像データ中の格子点に基づいて、原点位置及びＸ、Ｙ、Ｚ軸の方向の情報を関連付けて記憶する。この記憶された画像データと、ＬＥＤ群の画像データとを比較することにより、当該画像データ上に映し出されたＬＥＤ群の座標が求められることになる。

また、時間記憶部４４は、第一相対頭部情報が算出される毎に更新される時間（ｔ_ｎ）、第一相対頭部情報又は第二相対頭部情報が算出される毎に更新される時間（ｓ_ｍ）を記憶する。ただし、ここでの時間は、後述する主頭部情報算出部２２や副頭部情報算出部２３が、第一相対頭部情報、第二相対頭部情報を算出するプログラム（図６〜図７、図１２〜図１３参照）を実行する際の処理回数カウンタｔ_ｎ、ｓ_ｍの値を、「時間」として扱うものである。

モーショントラッカ駆動部２８は、ＬＥＤ群７を点灯する指令信号を出力するとともに、カメラ装置２（２ａ、２ｂ）でＬＥＤ群７を撮影し、画像データによる位置情報を取得する制御を行うものである。

主頭部情報算出部２２は、カメラ装置２（２ａ、２ｂ）（ＸＹＺ座標）に対するパイロット３の頭部角度（Θａ、Φａ、Ψａ）を含む第一頭部情報を算出する制御を行うものである。
つまり、カメラ装置２（２ａ、２ｂ）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１、Ｙ１、Ｚ１）、（Ｘ２、Ｙ２、Ｚ２）、（Ｘ３、Ｙ３、Ｚ３）を算出し、これら３つの位置座標を、初期データ記憶部３９に記憶されているＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係と頭部装着型表示装置ヘルメット１０に対する取り付け位置のデータを参照することにより、ＬＥＤ７ａ、７ｂ、７ｃが固定された頭部装着型表示装置ヘルメット１０の現在角度を決定する。

決定された頭部装着型表示装置ヘルメット１０の現在角度を、ＸＹＺ座標を用いて表現するために、頭部装着型表示装置ヘルメット１０上の一点をヘルメット基準点（Ｐ）と定め、さらにヘルメット基準点を始点とする二方向をヘルメット基準方向（Ｍ及びＮ）と定める。本実施形態では、図２に示すように、ヘルメット基準点（Ｐ）としてＬＥＤ７ａの位置を指定し、ヘルメット基準方向（Ｍ及びＮ）として頭部装着型表示装置ヘルメット１０の前方方向とその垂直方向を指定することにする。これにより、決定された頭部装着型表示装置ヘルメット１０の現在角度は、ヘルメット基準方向（Ｍ及びＮ）のＸ軸、Ｙ軸、Ｚ軸に対する角度（Θ、Φ、Ψ）を用いて表現することができる。

つまり、主頭部情報算出部２２は、３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１、Ｙ１、Ｚ１）、（Ｘ２、Ｙ２、Ｚ２）、（Ｘ３、Ｙ３、Ｚ３）を算出し、これに基づいて、ヘルメット基準方向（Ｍ及びＮ）の角度（Θａ、Φａ、Ψａ）を、頭部角度情報として算出する。なお、頭部角度（Θａ、Φａ、Ψａ）を含む第一相対頭部情報は、第一相対頭部情報記憶部４２に記憶されることになる。

副頭部情報算出部２３は、角速度（θ１、φ１、ψ１）及び角速度（θ２、φ２、ψ２）と、第一相対頭部情報とに基づいて、第一相対頭部情報よりも短い周期で、パイロット３の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を算出する制御を行うものである。例えば、まず、飛行体３軸ジィイロセンサ４で検知された時間ｓ_０の角速度（θ１、φ１、ψ１）と、頭部側３軸ジャイロセンサ６で検知された時間ｓ_０の角速度（θ２、φ２、ψ２）との差分から、角速度差（Δθ、Δφ、Δψ）を算出して、第二相対頭部情報記憶部４７に記憶させる。このとき、差分を算出することによって、飛行体３０の角速度が消去され、頭部のみの角速度が得られる。次に、角速度差（Δθ、Δφ、Δψ）を積分演算することにより、時間ｔ_１に記憶された頭部角度（Θａ、Φａ、Ψａ）からの頭部角度の移動角度量（ΔΘ、ΔΦ、ΔΨ）を算出する。最後に、時間ｔ_１に記憶された頭部角度（Θａ、Φａ、Ψａ）に頭部角度の移動角度量（ΔΘ、ΔΦ、ΔΨ）を加算することにより、時間ｓ_０の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を算出することを行う。さらに、その後、角速度（θ１、φ１、ψ１）及び角速度（θ２、φ２、ψ２）と、記憶された第二相対頭部情報とに基づいて、パイロット３の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を算出することを行う。
なお、時間ｔ_１、ｓ_０は、既述のように、時間記憶部４４に記憶されるカウンタ値で現わした時間のことであり、時間（ｔ_ｎ）は、第一相対頭部情報が算出される毎に更新され、一方、時間（ｓ_ｍ）は、第一相対頭部情報又は第二相対頭部情報が算出される毎に更新されるものである。

切替部２９は、第一相対頭部情報を算出させるか、あるいは第二相対頭部情報を算出させるかの切り替えを行う制御を行うものである。例えば、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができるか否かを判定して、ＬＥＤ群７が検出できるときには、第一相対頭部情報を算出させ、一方、カメラ装置２（２ａ、２ｂ）による撮影と撮影との間の時間（例えば、ｍを０、１、２と予め設定する）や、ＬＥＤ群７が検出できないときには、第二相対頭部情報を算出させるように実行する（図５参照）。

映像表示部２５は、算出された第一相対頭部情報又は第二相対頭部情報に基づいて、映像表示光を出射する制御を行うものである。例えば、第一相対頭部情報が算出されているか否かを判定して、第一相対頭部情報が算出されているときには、第一相対頭部情報を出力するとともに、続けて、算出された数の第二相対頭部情報を出力する。さらに、その後、第一相対頭部情報が算出されているか否かを判定して、第一相対頭部情報が算出されているときには、第一相対頭部情報を出力するとともに、続けて、算出された数の第二相対頭部情報を出力することを繰り返す。これにより、パイロット３は、表示器による表示映像を短い時間間隔で視認することができるようになる。

（ヘッドモーショントラッカ装置１の動作）
次に、ヘッドモーショントラッカ装置１による動作について説明する。図６、７は、ヘッドモーショントラッカ装置１による測定動作について説明するためのフローチャートである。図８、９は、ヘッドモーショントラッカ装置１による出力動作について説明するためのフローチャートである。

まず、ステップＳ１０１の処理において、飛行体３０が移動しているか否かを判定する。飛行体３０が移動していないと判定したときには、本フローチャートを終了させる。
一方、飛行体が移動していると判定したときには、ステップＳ１０２の処理において、時間（ｔ_ｎ）にｔ_ｎ＋１と更新するように、ｔ_ｎ＋１と時間記憶部４４に記憶させる。

次に、ステップＳ１０３の処理において、モーショントラッカ駆動部２８は、カメラ装置２（２ａ、２ｂ）でＬＥＤ群７を撮影する。

次に、ステップＳ１０４の処理において、主頭部情報算出部２２は、３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１、Ｙ１、Ｚ１）、（Ｘ２、Ｙ２、Ｚ２）、（Ｘ３、Ｙ３、Ｚ３）を算出することにより、カメラ装置２（２ａ、２ｂ）（ＸＹＺ座標）に対するパイロット３の頭部角度（Θａ、Φａ、Ψａ）を算出する。すなわち、飛行体３０に設定された基準座標に対する頭部角度（Θａ、Φａ、Ψａ）を含む第一相対頭部情報を算出する。

なお、ステップＳ１０４の処理が実行されている間に、ステップＳ１０５〜Ｓ１１３の処理が実行される。つまり、第一相対頭部情報を算出する間に、第二相対頭部情報を算出するための角速度差を算出・記憶する。

まず、ステップＳ１０５の処理において、時間（ｓ_ｍ）をｓ_０とするように、ｓ_０と時間記憶部４４に記憶させる。
次に、ステップＳ１０６の処理において、頭部側３軸ジャイロセンサ６が、頭部の角速度（θ２、φ２、ψ２）を出力する。また、ステップＳ１０７の処理において、飛行体側３軸ジャイロセンサ４は、飛行体の角速度（θ１、φ１、ψ１）を出力する。
なお、ステップＳ１０６及びＳ１０７の処理は、同時に実行される。

次に、ステップＳ１０８の処理において、副頭部情報算出部２３は、飛行体側３軸ジャイロセンサ４で検知された時間ｓ_０の角速度（θ１、φ１、ψ１）と、頭部側３軸ジャイロセンサ６で検知された時間ｓ_０の角速度（θ２、φ２、ψ２）とに基づいて、時間ｓ_０の角速度差（Δθ、Δφ、Δψ）を算出して、第二相対頭部情報記憶部４７に記憶させる。

次に、ステップＳ１０９の処理において、時間（ｓ_ｍ）にｓ_ｍ＋１と更新するように、ｓ_ｍ＋１と時間記憶部４４に記憶させる。
次に、ステップＳ１１０の処理において、頭部側３軸ジャイロセンサ６が、頭部の角速度（θ２、φ２、ψ２）を出力する。また、ステップＳ１１１の処理において、飛行体側３軸ジャイロセンサ４は、飛行体の角速度（θ１、φ１、ψ１）を出力する。
なお、ステップＳ１１０及びＳ１１１の処理は、同時に実行される。

次に、ステップＳ１１２の処理において、副頭部情報算出部２３は、飛行体側３軸ジャイロセンサ４で検知された時間ｓ_ｍ＋１の角速度（θ１、φ１、ψ１）と、頭部側３軸ジャイロセンサ６で検知された時間ｓ_ｍ＋１の角速度（θ２、φ２、ψ２）とに基づいて、時間ｓ_ｍ＋１の角速度差（Δθ、Δφ、Δψ）を算出して、第二相対頭部情報記憶部４７に記憶させる。

次に、ステップＳ１１３の処理において、切替部２９は、時間（ｓ_ｍ）においてｍ＞２（切替条件）を満たすか否かを判定する。ｍ＞２を満たさないときには、ステップＳ１０９の処理に戻る。つまり、ｍ＞２を満たすと判定されるときまで、ステップＳ１０９〜ステップＳ１１２の処理は繰り返される。
一方、ｍ＞２を満たすと判定され、かつ、ステップＳ１０４の処理で頭部角度（Θａ、Φａ、Ψａ）が算出されたときには、ステップＳ１１４の処理において、切替部２９は、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができるか否かを判定する。カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができるときには、ステップＳ１０１の処理に戻り、ステップＳ１０１〜ステップＳ１１３の処理は繰り返される。

一方、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができないと判定されたときには、ステップＳ１１５の処理に進む。つまり、第二相対頭部情報を算出するための角速度差を算出・記憶し続けることになる。

まず、ステップＳ１１５の処理において、時間（ｓ_ｍ）にｓ_ｍ＋１と更新するように、ｓ_ｍ＋１と時間記憶部４４に記憶させる。
次に、ステップＳ１１６の処理において、頭部側３軸ジャイロセンサ６が、頭部の角速度（θ２、φ２、ψ２）を出力する。また、ステップＳ１１７の処理において、飛行体側３軸ジャイロセンサ４は、飛行体の角速度（θ１、φ１、ψ１）を出力する。
なお、ステップＳ１１６及びＳ１１７の処理は、同時に実行される。

次に、ステップＳ１１８の処理において、副頭部情報算出部２３は、飛行体側３軸ジャイロセンサ４で検知された時間ｓ_ｍ＋１の角速度（θ１、φ１、ψ１）と、頭部側３軸ジャイロセンサ６で検知された時間ｓ_ｍ＋１の角速度（θ２、φ２、ψ２）とに基づいて、時間ｓ_ｍ＋１の角速度差（Δθ、Δφ、Δψ）を算出して、第二相対頭部情報記憶部４７に記憶させる。

次に、ステップＳ１１９の処理において、切替部２９は、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができるか否かを判定する。カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができないときには、ステップＳ１１５の処理に戻る。つまり、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができると判定されるときまで、ステップＳ１１５〜ステップＳ１１８の処理は繰り返される。
一方、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができると判定されたときには、ステップＳ１０１の処理に戻る。

次に、ヘッドモーショントラッカ装置１による出力動作について説明する（図８、９参照）。
まず、ステップＳ１２０の処理において、時間ｔ_０の第一相対頭部情報が算出されているか否かを判定する。ステップＳ１２０の処理は、時間ｔ_０の第一相対頭部情報が算出されていると判定されるときまで、繰り返される。
一方、時間ｔ_０の第一相対頭部情報が算出されていると判定されたときには、ステップＳ１２１の処理において、頭部角度（Θａ、Φａ、Ψａ）を含む第一相対頭部情報を出力する。

次に、ステップＳ１２２の処理において、頭部角度（Θａ、Φａ、Ψａ）を含む第一相対頭部情報を第一相対頭部情報記憶部４２に記憶させる。このとき、第一相対頭部情報記憶部４２に記憶される頭部角度（Θａ、Φａ、Ψａ）は、ステップＳ１２２の処理が実行される毎に、蓄積されていくことになる。
次に、ステップＳ１２３の処理において、ｍ（第二相対頭部情報の出力の数）に０と更新するように、ｍ＝０と記憶させる。

次に、ステップＳ１２４の処理において、副頭部情報算出部２３は、時間ｓ_０の角速度差（Δθ、Δφ、Δψ）と、時間ｔ_０の第一相対頭部情報とに基づいて、時間ｓ_０の頭部角度（Θｂ、Φｂ、Ψｂ）を算出する。すなわち、飛行体３０に設定された基準座標に対する頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を算出する。
例えば、まず、角速度差（Δθ、Δφ、Δψ）を積分演算することにより、時間ｔ_０の頭部角度（Θａ、Φａ、Ψａ）からの頭部角度の移動角度量（ΔΘ、ΔΦ、ΔΨ）を算出する。次に、時間ｔ_０の頭部角度（Θａ、Φａ、Ψａ）に頭部角度の移動角度量（Δθ、Δφ、Δψ）を加算することにより、時間ｓ_０の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を算出する。

次に、ステップＳ１２５の処理において、時間ｓ_０の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を出力する。
次に、ステップＳ１２６の処理において、時間ｓ_０の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を第二相対頭部情報記憶部４７に記憶させる。このとき、第二相対頭部情報記憶部４７に記憶される頭部角度（Θｂ、Φｂ、Ψｂ）は、ステップＳ１２５の処理が実行される毎に、更新されていくことになる。

次に、ステップＳ１２７の処理において、ｍ（第二相対頭部情報の出力の数）にｍ＋１と更新するように、ｍ＝ｍ＋１と記憶させる。
次に、ステップＳ１２８の処理において、副頭部情報算出部２３は、時間ｓ_ｍ＋１の角速度差（Δθ、Δφ、Δψ）と、時間ｓ_ｍの第一相対頭部情報とに基づいて、時間ｓ_ｍ＋１の頭部角度（Θｂ、Φｂ、Ψｂ）を算出する。すなわち、飛行体３０に設定された基準座標に対する頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を算出する。
例えば、まず、角速度差（Δθ、Δφ、Δψ）を積分演算することにより、時間ｓ_ｍの頭部角度（Θｂ、Φｂ、Ψｂ）からの頭部角度の移動角度量（ΔΘ、ΔΦ、ΔΨ）を算出する。次に、時間ｓ_ｍの頭部角度（Θｂ、Φｂ、Ψｂ）に頭部角度の移動角度量（Δθ、Δφ、Δψ）を加算することにより、時間ｓ_ｍ＋１の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を算出する。

次に、ステップＳ１２９の処理において、時間ｓ_ｍ＋１の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を出力する。
次に、ステップＳ１３０の処理において、時間ｓ_ｍ＋１の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を第二相対頭部情報記憶部４７に記憶する。このとき、第二相対頭部情報記憶部４７に記憶される頭部角度（Θｂ、Φｂ、Ψｂ）は、ステップＳ１３０の処理が実行される毎に、更新されていくことになる。

次に、ステップＳ１３１の処理において、ｍ（第二相対頭部情報の出力の数）＝ｍ_ｍａｘ（第二相対頭部情報記憶部４７に記憶された角速度差の数）であるか否かを判定する。ｍ＝ｍ_ｍａｘを満たさないときには、ステップＳ１２７の処理に戻る。つまり、ｍ＝ｍ_ｍａｘを満たすと判定されるときまで、ステップＳ１２７〜ステップＳ１３０の処理は繰り返される。

一方、ｍ＝ｍ_ｍａｘを満たすと判定されたときには、ステップＳ１３２の処理において、時間ｔ_{ｎ+ 1} の第一相対頭部情報が算出されているか否かを判定する。時間ｔ_{ｎ+ 1} の第一相対頭部情報が算出されているときには、ステップＳ１２１の処理に戻る。つまり、時間ｔ_{ｎ+ 1} の第一相対頭部情報が算出されていないと判定されるときまで、ステップＳ１２１〜ステップＳ１３１の処理は繰り返される。
一方、時間ｔ_{ｎ+ 1} の第一相対頭部情報が算出されていないと判定されたときには、本フローチャートを終了させる。

以上のように、実施形態１のヘッドモーショントラッカ装置１によれば、光学方式モーショントラッカにより、飛行体３０に設定された基準座標に対するパイロット３の頭部角度を含む第一相対頭部情報を算出する。一方、飛行体３０に取り付けられた飛行体側３軸ジャイロセンサ４が角速度を検出するとともに、パイロット３の頭部に取り付けられた頭部側３軸ジャイロセンサ６が角速度を検出すると、副頭部情報算出部２３は、角速度と、第一相対頭部情報とに基づいて、パイロット３の頭部角度を含む第二相対頭部情報を算出することができる。
これにより、切替部２９は、カメラ装置２による撮影と撮影との間の時間や、ステレオ視による測定ができなくなったりするような、主頭部情報算出部２２が第一相対頭部情報を算出できない状態になったときに、副頭部情報算出部２３が飛行体３０に設定された基準座標に対する頭部角度を含む第二相対頭部情報を算出することができる。
よって、このようにすることにより、短い間隔時間で、精度よく、飛行体３０に設定された基準座標に対する頭部角度の頭部情報を算出することができる。

（実施形態２）
図１０は、本発明の他の一実施形態であるヘッドモーショントラッカ装置の概略構成を示す図であり、図１１は、ＨＭＴ装置が頭部位置を含む第二相対頭部情報を算出する際に実行する演算処理の流れを説明する図である。本実施形態は、頭部角度に加えて、頭部位置についても算出する。なお、頭部角度の算出については、実施形態１と同じ演算処理が行われるので、ここでは頭部角度の算出については説明を省略し、頭部位置の算出についてのみ説明することとする。なお、上述した実施形態１と同様のものについては、同じ符号を付して、説明を省略することとする。

ＨＭＴ装置５１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット６０と、飛行体３０に固定された固定軸２ｃにより支持されるカメラ装置２（２ａ、２ｂ）と、飛行体３０に取り付けられた飛行体側３軸ジャイロセンサ４及び飛行体側加速度センサ５５と、コンピュータにより構成される制御部７０とから構成される。

飛行体側加速度センサ５５は、飛行体の加速度を検知するものである。なお、飛行体側加速度センサ５５自体に、ｘ_３ｙ_３ｚ_３座標が定められている。つまり、ｘ_３軸、ｙ_３軸、ｚ_３軸方向に対する加速度（ｘ１、ｙ１、ｚ１）が検出される。なお、飛行体側加速度センサ５５は、基準座標（ＸＹＺ座標）と正確に軸合わせされて、取り付けられている。また、軸合わせされずに、取り付けられている場合は、座標変換行列を求めておくことで、基準座標と関連付けを行うことになる。

頭部装着型表示装置付ヘルメット６０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、位置や向き（すなわち、頭部角度及び頭部位置）を測定する際の指標となる頭部マーカーとして機能するＬＥＤ群７と、頭部側３軸ジャイロセンサ６と、頭部側加速度センサ５９とを有する。なお、頭部装着型表示装置付ヘルメット６０自体にも、座標（ヘルメット座標）が定められているが、モーショントラッカの一部として使用するためには、パイロット３によって基準座標（ＸＹＺ座標）と正確に軸合わせされる必要があり、軸合わせされた後は、頭部装着型表示装置付ヘルメット６０の位置は基準座標（ＸＹＺ座標）で表される。

頭部側加速度センサ５９は、頭部の加速度を検出するものである。なお、頭部側加速度センサ５９自体に、ｘ_４ｙ_４ｚ_４座標が定められている。つまり、ｘ_４軸、ｙ_４軸、ｚ_４軸方向における加速度（ｘ２，ｙ２，ｚ２）が検出される。パイロット５３は飛行体３０に乗っており、飛行体３０も動いているので、加速度（ｘ２，ｙ２，ｚ２）は、パイロット３の頭部の加速度だけでなく、飛行体３０の加速度も含んだものとなる。
なお、頭部側加速度センサ５９は、頭部装着型表示装置付ヘルメット６０に設定されたヘルメット座標と正確に軸合わせされて、頭部装着型表示装置付ヘルメット６０に取り付けられる。

制御部７０は、ＣＰＵ７１、メモリ９１等からなるコンピュータにより構成され、各種の制御や演算処理を行う。制御部７０のＣＰＵが実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部２８と、主頭部情報算出部７２と、副頭部情報算出部７３と、頭部速度情報算出部７４と、切替部２９と、映像表示部２５とからなる。
また、メモリ４１は、制御部７０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、基準座標（ＸＹＺ座標）を記憶する基準座標記憶部４３と、第一相対頭部情報を蓄積する第一相対頭部情報記憶部９２と、時間記憶部４４と、第二相対頭部情報、角速度差及び加速度差を記憶する第二相対頭部情報記憶部９７と、現在頭部速度を記憶する速度記憶部９８と、初期データ記憶部３９とを含む。

主頭部情報算出部７２は、カメラ装置２（２ａ、２ｂ）（ＸＹＺ座標）に対するパイロット３の頭部角度（Θａ、Φａ、Ψａ）及び頭部位置（Ｘａ、Ｙａ、Ｚａ）を含む第一頭部情報を算出する制御を行うものである。
具体的には、頭部装着型表示装置ヘルメット６０上の一点をヘルメット基準点（Ｐ）と定め、さらにヘルメット基準点（Ｐ）を始点とする二方向をヘルメット基準方向（Ｍ及びＮ）と定める。本実施形態でも、図２に示すように、ヘルメット基準点（Ｐ）としてＬＥＤ７ａの位置を指定し、ヘルメット基準方向（Ｍ及びＮ）として頭部装着型表示装置ヘルメット６０の前方方向とその垂直方向を指定することにする。これにより、決定された頭部装着型表示装置ヘルメット６０の現在位置及び現在角度は、このヘルメット基準点Ｐの位置座標（Ｘ、Ｙ、Ｚ）、ヘルメット基準方向（Ｍ及びＮ）のＸ軸、Ｙ軸、Ｚ軸に対する角度（Θ、Φ、Ψ）を用いて表現することができる。

よって、主頭部情報算出部７２は、３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１、Ｙ１、Ｚ１）、（Ｘ２、Ｙ２、Ｚ２）、（Ｘ３、Ｙ３、Ｚ３）を算出し、これに基づいて、ヘルメット基準点Ｐの位置座標（Ｘａ、Ｙａ、Ｚａ）、ヘルメット基準方向（Ｍ及びＮ）の角度（Θａ、Φａ、Ψａ）を第一相対頭部情報として算出する。なお、頭部位置（Ｘａ、Ｙａ、Ｚａ）及び頭部角度（Θａ、Φａ、Ψａ）を含む第一相対頭部情報は、第一相対頭部情報記憶部９２に蓄積されることになる。

頭部速度情報算出部７４は、第一相対頭部情報記憶部９２に記憶された第一相対頭部情報に基づいて、パイロット３の頭部速度を含む頭部速度情報を算出する制御を行うものである。後述する副頭部情報算出部７３で、飛行体側加速度センサ５５及び頭部側加速度センサ５９から検出された加速度に基づいて、第二相対頭部情報を算出するために、速度を算出する必要があるが、このときに、初速度が必要になる。例えば、時間ｔ_２から時間ｓ_０までの加速度を積分するときには、時間ｔ_２の速度（初速度）が必要となる。そこで、頭部速度情報算出部７４は、時間ｔ_１に記憶された頭部位置（Ｘａ、Ｙａ、Ｚａ）と、時間ｔ_２に記憶された頭部位置（Ｘａ、Ｙａ、Ｚａ）とから、時間ｔ_１から時間ｔ_２までの平均速度を算出することによって、副頭部情報算出部７３で時間ｔ_２の速度（初速度）として用いるための、パイロット３の頭部速度を含む頭部速度情報を算出する。

副頭部情報算出部７３は、角速度（θ１、φ１、ψ１）及び角速度（θ２、φ２、ψ２）と、第一相対頭部情報とに基づいて、パイロット３の頭部角度（Θｂ、Φｂ、Ψｂ）を含む第二相対頭部情報を算出する制御を行うともに、さらに、加速度（ｘ１、ｙ１、ｚ１）及び加速度（ｘ２、ｙ２、ｚ２）と、頭部速度情報及び第一相対頭部情報とに基づいて、パイロット３の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を算出する制御を行うものである。なお、頭部角度の算出については、実施形態１と同じ演算処理が行われるので、ここでは頭部角度の算出については説明を省略し、頭部位置の算出についてのみ説明することとする。

例えば、まず、飛行体加速度センサ５５で検知された時間ｓ_０の加速度（ｘ１、ｙ１、ｚ１）と、頭部側加速度センサ５９で検知された時間ｓ_０の加速度（ｘ２、ｙ２、ｚ２）との差分から、加速度差（Δｘ、Δｙ、Δｚ）を算出して、第二相対頭部情報記憶部９７に記憶させる。このとき、差分を算出することによって、飛行体３０の加速度が消去され、頭部のみの加速度が得られる。次に、時間ｔ_２の速度として頭部速度情報を用いて、加速度差（Δｘ、Δｙ、Δｚ）を積分演算することにより、時間ｓ_０の現在頭部速度を算出するとともに現在頭部速度を速度記憶部９８に記憶させる。さらに、時間ｓ_０の現在頭部速度を積分演算することにより、時間ｔ_２の頭部位置（Ｘａ、Ｙａ、Ｚａ）からの頭部位置の移動距離量（ΔＸ、ΔＹ、ΔＺ）を算出する。最後に、時間ｔ_２の頭部位置（Ｘａ、Ｙａ、Ｚａ）に頭部位置の移動距離量（ΔＸ、ΔＹ、ΔＺ）を加算することにより、時間ｓ_０の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を算出するとともに第二相対頭部情報を第二相対頭部情報記憶部９７に記憶させることを行う。さらに、その後、加速度（ｘ１、ｙ１、ｚ１）及び加速度（ｘ２、ｙ２、ｚ２）と、記憶された現在頭部速度及び第二相対頭部情報とに基づいて、パイロット３の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を算出することを行う。

（ヘッドモーショントラッカ装置５１の動作）
ヘッドモーショントラッカ装置５１により頭部角度を測定して出力する動作は、基本的に、図６〜９を用いて説明したものと同様の処理を行うものであるので、説明を省略する。
ここでは、ヘッドモーショントラッカ装置５１により頭部位置を測定して出力する動作について説明する。図１２、１３は、ヘッドモーショントラッカ装置５１による測定動作について説明するためのフローチャートである。図１４、１５は、ヘッドモーショントラッカ装置５１による出力動作について説明するためのフローチャートである。

まず、ステップＳ２０１の処理において、飛行体３０が移動しているか否かを判定する。飛行体３０が移動していないと判定したときには、本フローチャートを終了させる。
一方、飛行体が移動していると判定したときには、ステップＳ２０２の処理において、時間（ｔ_ｎ）にｔ_ｎ＋１と更新するように、ｔ_ｎ＋１と時間記憶部４４に記憶させる。

次に、ステップＳ２０３の処理において、モーショントラッカ駆動部２８は、カメラ装置２（２ａ、２ｂ）でＬＥＤ群７を撮影する。

次に、ステップＳ２０４の処理において、主頭部情報算出部７２は、３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１、Ｙ１、Ｚ１）、（Ｘ２、Ｙ２、Ｚ２）、（Ｘ３、Ｙ３、Ｚ３）を算出することにより、カメラ装置２（２ａ、２ｂ）（ＸＹＺ座標）に対するパイロット３の頭部位置（Ｘａ、Ｙａ、Ｚａ）を算出する。すなわち、飛行体３０に設定された基準座標に対する頭部位置（Ｘａ、Ｙａ、Ｚａ）を含む第一相対頭部情報を算出する。

なお、ステップＳ２０４の処理が実行されている間に、ステップＳ２０５〜Ｓ２１３の処理が実行される。つまり、第一相対頭部情報を算出する間に、第二相対頭部情報を算出するための加速度差を算出・記憶する。

まず、ステップＳ２０５の処理において、時間（ｓ_ｍ）をｓ_０とするように、ｓ_０と時間記憶部４４に記憶させる。
次に、ステップＳ２０６の処理において、頭部側加速度センサ５９が、頭部の加速度（ｘ２、ｙ２、ｚ２）を出力する。また、ステップＳ２０７の処理において、飛行体側加速度センサ５５は、飛行体の加速度（ｘ１、ｙ１、ｚ１）を出力する。
なお、ステップＳ２０６及びＳ２０７の処理は、同時に実行される。

次に、ステップＳ２０８の処理において、副頭部情報算出部７３は、飛行体側加速度センサ５５で検知された時間ｓ_０の加速度（ｘ１、ｙ１、ｚ１）と、頭部側加速度センサ５９で検知された時間ｓ_０の加速度（ｘ２、ｙ２、ｚ２）とに基づいて、時間ｓ_０の加速度差（Δｘ、Δｙ、Δｚ）を算出して、第二相対頭部情報記憶部９７に記憶させる。

次に、ステップＳ２０９の処理において、時間（ｓ_ｍ）にｓ_ｍ＋１と更新するように、ｓ_ｍ＋１と時間記憶部４４に記憶させる。
次に、ステップＳ２１０の処理において、頭部側加速度センサ５９が、頭部の加速度（ｘ２、ｙ２、ｚ２）を出力する。また、ステップＳ２１１の処理において、飛行体側加速度センサ５５は、飛行体の加速度（ｘ１、ｙ１、ｚ１）を出力する。
なお、ステップＳ２１０及びＳ２１１の処理は、同時に実行される。

次に、ステップＳ２１２の処理において、副頭部情報算出部７３は、頭部側加速度センサ５９で検知された時間ｓ_ｍ＋１の加速度（ｘ２、ｙ２、ｚ２）と、飛行体側加速度センサ５５で検知された時間ｓ_ｍ＋１の加速度（ｘ１、ｙ１、ｚ１）とに基づいて、時間ｓ_ｍ＋１の加速度差（Δｘ、Δｙ、Δｚ）を算出して、第二相対頭部情報記憶部９７に記憶させる。

次に、ステップＳ２１３の処理において、切替部２９は、時間（ｓ_ｍ）においてｍ＞２（切替条件）を満たすか否かを判定する。ｍ＞２を満たさないときには、ステップＳ２０９の処理に戻る。つまり、ｍ＞２を満たすと判定されるときまで、ステップＳ２０９〜ステップＳ２１２の処理は繰り返される。
一方、ｍ＞２を満たすと判定され、かつ、ステップＳ２０４の処理で頭部位置（Ｘａ、Ｙａ、Ｚａ）が算出されたときには、ステップＳ２１４の処理において、切替部２９は、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができるか否かを判定する。カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができるときには、ステップＳ２０１の処理に戻り、ステップＳ２０１〜ステップＳ２１３の処理は繰り返される。

一方、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができないと判定されたときには、ステップＳ２１５の処理に進む。よって、第二相対頭部情報を算出するための加速度差を算出・記憶し続けることになる。
まず、ステップＳ２１５の処理において、時間（ｓ_ｍ）にｓ_ｍ＋１と更新するように、ｓ_ｍ＋１と時間記憶部４４に記憶させる。

次に、ステップＳ２１６の処理において、頭部側加速度センサ５９が、頭部の加速度（ｘ２、ｙ２、ｚ２）を出力する。また、ステップＳ２１７の処理において、飛行体側加速度センサ５５は、飛行体の加速度（ｘ１、ｙ１、ｚ１）を出力する。
なお、ステップＳ２１６及びＳ２１７の処理は、同時に実行される。

次に、ステップＳ２１８の処理において、副頭部情報算出部７３は、飛行体側加速度センサ５５で検知された時間ｓ_ｍ＋１の加速度（ｘ１、ｙ１、ｚ１）と、頭部側加速度センサ５９で検知された時間ｓ_ｍ＋１の加速度（ｘ２、ｙ２、ｚ２）とに基づいて、時間ｓ_ｍ＋１の加速度差（Δｘ、Δｙ、Δｚ）を算出して、第二相対頭部情報記憶部９７に記憶させる。

次に、ステップＳ２１９の処理において、切替部２９は、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができるか否かを判定する。カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができないときには、ステップＳ２１５の処理に戻る。つまり、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができると判定されるときまで、ステップＳ２１５〜ステップＳ２１８の処理は繰り返される。
一方、カメラ装置２（２ａ、２ｂ）によりＬＥＤ群７の検出ができると判定されたときには、ステップＳ２０１の処理に戻る。

次に、ヘッドモーショントラッカ装置５１による出力動作について説明する（図１４、１５参照）。
まず、ステップＳ２２０の処理において、時間ｔ_１の第一相対頭部情報が算出されているか否かを判定する。ステップＳ２２０の処理は、時間ｔ_１の第一相対頭部情報が算出されていると判定されるときまで、繰り返される。
一方、時間ｔ_１の第一相対頭部情報が算出されていると判定されたときには、ステップＳ２２１の処理において、時間ｔ_１の頭部位置（Ｘａ、Ｙａ、Ｚａ）を含む第一相対頭部情報を出力する。

次に、ステップＳ２２２の処理において、時間ｔ_１の頭部位置（Ｘａ、Ｙａ、Ｚａ）を含む第一相対頭部情報を第一相対頭部情報記憶部９２に記憶する。このとき、第一相対頭部情報記憶部９２に記憶される頭部位置（Ｘａ、Ｙａ、Ｚａ）は、ステップＳ２２２の処理が実行される毎に、蓄積されていくことになる。

次に、ステップＳ２２３の処理において、頭部速度情報算出部７４は、第一相対頭部情報記憶部４２に記憶された時間ｔ_０の第一相対頭部情報と時間ｔ_１の第一相対頭部情報とに基づいて、パイロット３の頭部速度を含む頭部速度情報を算出する。つまり、時間ｔ_１の速度として用いるための頭部速度情報を算出して、速度記憶部９８に記憶させる。
次に、ステップＳ２２３の処理において、ｍ（第二相対頭部情報の出力の数）に０と更新するように、ｍ＝０と記憶させる。

次に、ステップＳ２２４の処理において、副頭部情報算出部７３は、時間ｓ_０の加速度差（Δｘ、Δｙ、Δｚ）と、頭部速度情報とに基づいて、時間ｓ_０の現在頭部速度を算出する。
例えば、まず、時間ｔ_１の速度として頭部速度情報を用いて、加速度差（Δｘ、Δｙ、Δｚ）を積分演算することにより、時間ｓ_０の現在頭部速度を算出する。このとき、現在頭部速度を速度記憶部９８に記憶させる。

次に、ステップＳ２２５の処理において、副頭部情報算出部７３は、時間ｓ_０の現在頭部速度と、時間ｔ_１の第一相対頭部情報とに基づいて、時間ｓ_０の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を算出する。すなわち、飛行体３０に設定された基準座標に対する頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を算出する。
具体的には、まず、時間ｓ_０の現在頭部速度を積分演算することにより、時間ｔ_１の頭部位置（Ｘａ、Ｙａ、Ｚａ）からの頭部位置の移動距離量（ΔＸ、ΔＹ、ΔＺ）を算出する。次に、時間ｔ_１の頭部位置（Ｘａ、Ｙａ、Ｚａ）に頭部位置の移動距離量（ΔＸ、ΔＹ、ΔＺ）を加算することにより、時間ｓ_０の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を算出する。

次に、ステップＳ２２６の処理において、時間ｓ_０の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を出力する。
次に、ステップＳ２２７の処理において、時間ｓ_０の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を第二相対頭部情報記憶部９７に記憶させる。このとき、第二相対頭部情報記憶部９７に記憶される頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）は、ステップＳ２２７の処理が実行される毎に、更新されていくことになる。

次に、ステップＳ２２８の処理において、ｍ（第二相対頭部情報の出力の数）にｍ＋１と更新するように、ｍ＝ｍ＋１と記憶させる。

次に、ステップＳ２２９の処理において、副頭部情報算出部７３は、時間ｓ_ｍ＋１の加速度差（Δｘ、Δｙ、Δｚ）と、頭部速度情報とに基づいて、時間ｓ_ｍ＋１の現在頭部速度を算出する。
例えば、まず、時間ｓ_ｍの速度として頭部速度情報を用いて、加速度差（Δｘ、Δｙ、Δｚ）を積分演算することにより、時間ｓ_ｍ＋１の現在頭部速度を算出する。このとき、現在頭部速度を速度記憶部９８に記憶させる。

次に、ステップＳ２３０の処理において、副頭部情報算出部７３は、時間ｓ_ｍ＋１の現在頭部速度と、時間ｓ_ｍの第一相対頭部情報とに基づいて、時間ｓ_ｍ＋１の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を算出する。すなわち、飛行体３０に設定された基準座標に対する頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を算出する。
具体的には、まず、時間ｓ_ｍ＋１の現在頭部速度を積分演算することにより、時間ｓ_ｍの頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）からの頭部位置の移動距離量（ΔＸ、ΔＹ、ΔＺ）を算出する。次に、時間ｓ_ｍの頭部位置（Ｘａ、Ｙａ、Ｚａ）に頭部位置の移動距離量（ΔＸ、ΔＹ、ΔＺ）を加算することにより、時間ｓ_ｍ＋１の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を算出する。

次に、ステップＳ２３１の処理において、時間ｓ_ｍ＋１の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を出力する。
次に、ステップＳ２３２の処理において、時間ｓ_ｍ＋１の頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）を含む第二相対頭部情報を第二相対頭部情報記憶部９７に記憶する。このとき、第二相対頭部情報記憶部９７に記憶される頭部位置（Ｘｂ、Ｙｂ、Ｚｂ）は、ステップＳ２３２の処理が実行される毎に、更新されていくことになる。

次に、ステップＳ２３３の処理において、ｍ（第二相対頭部情報の出力の数）＝ｍ_ｍａｘ（第二相対頭部情報記憶部９７に記憶された加速度差の数）であるか否かを判定する。ｍ＝ｍ_ｍａｘを満たさないときには、ステップＳ２２８の処理に戻る。つまり、ｍ＝ｍ_ｍａｘを満たすと判定されるときまで、ステップＳ２２８〜ステップＳ２３２の処理は繰り返される。

一方、ｍ＝ｍ_ｍａｘを満たすと判定されたときには、ステップＳ２３４の処理において、時間ｔ_{ｎ+ 1} の第一相対頭部情報が算出されているか否かを判定する。時間ｔ_{ｎ+ 1} の第一相対頭部情報が算出されているときには、ステップＳ２２１の処理に戻る。つまり、時間ｔ_{ｎ+ 1} の第一相対頭部情報が算出されていないと判定されるときまで、ステップＳ２２１〜ステップＳ２３３の処理は繰り返される。
一方、時間ｔ_{ｎ+ 1} の第一相対頭部情報が算出されていないと判定されたときには、本フローチャートを終了させる。

以上のように、実施形態２のヘッドモーショントラッカ装置５１によれば、さらに、光学方式モーショントラッカにより、飛行体３０に設定された基準座標に対するパイロット３の頭部位置を含む第一相対頭部情報を算出する。一方、飛行体３０に取り付けられた飛行体側加速度センサ５５が加速度を検出するとともに、パイロット３の頭部に取り付けられた頭部側加速度センサ５９が加速度を検出すると、副頭部情報算出部７３は、加速度と、第一相対頭部情報と、頭部速度情報とに基づいて、パイロット３の頭部位置を含む第二相対頭部情報を算出することができる。
これにより、切替部２９は、カメラ装置２による撮影と撮影との間の時間や、ステレオ視による測定ができなくなったりするような、主頭部情報算出部２２が第一相対頭部情報を算出できない状態になったときに、副頭部情報算出部２３が飛行体３０に設定された基準座標に対する頭部位置を含む第二相対頭部情報を算出することができる。
よって、このようにすることにより、短い間隔時間で、精度よく、飛行体３０に設定された基準座標に対する頭部位置の頭部情報を算出することができる。

本発明は、搭乗員等の飛行体に設定された基準座標に対する頭部角度を測定するためのヘッドモーショントラッカ装置に利用することができる。

本発明の一実施形態であるヘッドモーショントラッカ装置の概略構成を示す図である。 図１に示す頭部装着型表示装置付ヘルメットの平面図である。 基準座標（ＸＹＺ座標）の設定を説明するための図である。 ＨＭＴ装置が頭部角度を含む第二相対頭部情報を算出する際に実行する演算処理の流れを説明する図である。 制御部が実行する流れを説明するタイムチャートである。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。 本発明の他の一実施形態であるヘッドモーショントラッカ装置の概略構成を示す図である。 ＨＭＴ装置が頭部位置を含む第二相対頭部情報を算出する際に実行する演算処理の流れを説明する図である。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。

符号の説明

１、５１ ヘッドモーショントラッカ装置
２ カメラ装置
３ パイロット
４ 飛行体側３軸ジャイロセンサ
６ 頭部側３軸ジャイロセンサ
７ ＬＥＤ群
１０、６０ 頭部装着型表示装置付ヘルメット
２２、７２ 主頭部情報算出部
２３、７３ 副頭部情報算出部
７４ 頭部速度情報算出部
２８ モーショントラッカ駆動部
２９ 切替部
３０ 飛行体
４２ 第一相対頭部情報記憶部

Claims (3)

1. 光学方式モーショントラッカと、
   前記光学方式モーショントラッカにより、移動体に設定された基準座標に対する搭乗者の頭部角度を含む第一相対頭部情報を算出する主頭部情報算出部と、
   前記第一相対頭部情報を記憶する第一相対頭部情報記憶部とを備えたヘッドモーショントラッカ装置において、
   前記移動体に取り付けられるとともに、当該移動体に作用する角速度を検出する移動体センサと、
   前記搭乗者の頭部に装着されるとともに、当該頭部に作用する角速度を検出する頭部センサと、
   前記移動体センサ及び頭部センサから検出された角速度と、前記第一相対頭部情報とに基づいて、前記基準座標に対する搭乗者の頭部角度を含む第二相対頭部情報を、主頭部情報算出部の算出時間より短時間で算出する副頭部情報算出部と、
   前記主頭部情報算出部による第一相対頭部情報が再び算出されるときまで、前記副頭部情報算出部により第二相対頭部情報を算出させる切替部とを備えることを特徴とするヘッドモーショントラッカ装置。
2. 前記光学方式モーショントラッカは、前記搭乗者の頭部に装着される光学マーカー群と、
   前記移動体に取り付けられ、前記光学マーカー群からの光線を検出するカメラ装置とを備えることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
3. 前記第一相対頭部情報記憶部は、異なる時間に算出された少なくとも２つの第一相対頭部情報を記憶するとともに、
   前記移動体センサと頭部センサとは、さらに加速度を検出し、かつ、
   前記少なくとも２つの第一相対頭部情報に基づいて、前記搭乗者の頭部速度を含む頭部速度情報を算出する頭部速度情報算出部を備え、
   前記主頭部情報算出部は、さらに搭乗者の頭部位置を含んだ第一相対頭部情報を算出するとともに、
   前記副頭部情報算出部は、さらに移動体センサ及び頭部センサから検出された加速度と、前記頭部速度情報及び第一相対頭部情報とに基づいて、前記搭乗者の頭部位置を含んだ第二相対頭部情報を算出することを特徴とする請求項１又は２に記載のヘッドモーショントラッカ装置。

Images