JP6328443B2 - カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム - Google Patents

Description

本発明は、航空機の機外カメラで撮影した映像に対して、機外カメラとパイロットの視点位置の違いによる視差を算出し、視点位置を補正してパイロットのHMD（Helmet Mounted Display）に表示することで、パイロットの視覚認識を向上させる技術に関する。

ヘリコプタは通常、パイロットの目視によって周囲の状況を把握し飛行する有視界飛行方式であり、夜間や悪天候等の視界不良状態における飛行は困難である。このような状況に対処する手段の一つとして、FLIR(Forward Looking infra-Red)カメラなどを機外に搭載し、撮影した映像をパイロットの装着するHMDに表示させることで、パイロットが周囲の状況を認識し、安全かつ効率的に任務遂行できることを目的とする技術が開発されている。
機外カメラは、ヘリコプタの機体下部などに搭載されており、パイロットのHMDの動きに合わせて可動し、撮影した外界映像をHMDに表示する。ここで、機外カメラとパイロットは視点位置が異なることから、機外カメラの視線方向にある目標は、パイロットの視線方向とは異なる位置に存在する。この見え方の違いを視差といい、近距離にある目標ほど、この視差は大きくなる。よって、ヘリコプタが、低高度のホバリング状態で地上目標を認識する場合、機外カメラの映像をそのままHMDに表示すると、パイロットが目標を肉眼で見た場合とは異なる視覚認識を持ってしまうという問題が発生する。

カメラ位置のオフセットから生じる視差を補正する技術としては特許文献１が知られている。この発明は、電波到来方向をより正確に認識するために、電波ホログラフィ等の電波可視化方式による推定結果と、カメラ位置のオフセットから生ずる視差を補正したカメラ画像とを重ね合わせて表示することによって電波到来方向をより正確に認識することが可能となるカメラ画像オフセット補正表示装置を提供することを目的としたもので、そのための構成としてこの発明は、到来電波を受信するアレーアンテナと、電波到来方向を撮影するカメラと、前記アンテナで受信した電波周波数をある決められた周波数に変換する周波数変換部と、前記周波数変換部で変換されたアナログ信号をデジタル信号に変換するA/D変換部と、前記A/D変換部によってA/D変換された信号から電波発射源の位置を算出する電波発射源可視処理演算部と、前記カメラで撮影された映像信号を画像処理する映像処理部と、前記映像処理部の画像上に前記電波発射源可視化処理演算部で算出された画像が重ね合わされた映像を表示する表示装置とを備えることを特徴としたものとなっている。
カメラ位置のオフセットから生じる視差を補正する技術である点では軌を一にするものの、本発明が課題とする機外カメラとパイロットの視点位置の違いに起因するHMD上の表示からパイロットが誤認をすることがないようにする技術とは分野を異にし、画像の補正手法においても異なる技術である。

特開２００７−１７２７２号公報 「カメラ画像オフセット補正表示装置」 平成１９年（２００７）１月２５日公開

本発明が解決する課題は、機外カメラの映像をHMDに表示した場合、視差によって、目標に対する誤った視覚認識をパイロットに与え、操縦を狂わせてしまうことを防止する手法を提供することにある。

本発明の視差に起因する誤認を防止する方法は、機外カメラに映る視野範囲内の地表面に代表点を定義し、その代表点がパイロット視点からどの位置に見えるべきかを、地形データベースと機体の位置・姿勢から算出することで、機外カメラ視点とパイロット視点の視差を算出するようにした。
本発明の視差に起因する誤認を防止する方法は、前記の各代表点で求めた視差を補間して、視野投影面の各座標における視差を算出し、機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにした。
本発明の視差に起因する誤認を防止する方法は、Open GL（登録商標）のフラグメントシェーダーを用いリアルタイムで機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにした。

本発明の視差に起因する誤認を防止するシステムは、機外カメラと、表示計算機と、HMDとを備え、前記機外カメラの撮影映像情報とGPSと慣性センサからの情報を前記表示計算機に取り込み、前記機外カメラに映る視野範囲内の地表面に代表点を定義し、その代表点がパイロット視点からどの位置に見えるべきかを、前記表示計算機で地形データベースと機体の位置・姿勢から算出することで、機外カメラ視点とパイロット視点の視差を算出することを特徴とする。

本発明の視差に起因する誤認を防止する方法は、パイロットが低高度飛行時に、視界不良によって周囲の状況を機外カメラ映像に頼る場合、視点位置を補正することで、パイロットがHMDを透過して外界を見た場合に、外界の映像でズレのない映像をHMDに表示させることが可能となるため、パイロットの誤認による事故を未然に防止できる。
本発明の視差に起因する誤認を防止する方法は、各代表点で求めた視差を補間して、視野投影面の各座標における視差を算出し、機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにしたことにより、機外カメラ映像がパイロット視点の映像とズレのないものにできる。また、Open GL（登録商標）のフラグメントシェーダーを用いたことにより、所望の補正画像を得ることができる。

本発明の視差に起因する誤認を防止するシステムは、表示計算機に視差補正を演算する機能を備えるだけで、格別のハードウエアを必要とせず、パイロットがHMDを透過して外界を見た場合に、外界の映像でズレのない映像をHMDに表示させることができる。

視差により見え方が違う現象を説明する図である。 視点位置補正の概念を説明する図である。 本発明の視差に起因する誤認を防止する方法を実施するシステムを示した図である。 直交座標系の定義と代表点を示す図である。 視野範囲内の代表点の配置を示す図である。 代表点の緯度経度と標高を示す図である。 機外カメラ視点とパイロット視点の座標系を示す図である。 視野投影面における代表点の位置と視野角を示す図である。 視野投影面座標系を示す図である。 視差の算出を説明する図である。 各座標の視差を各代表点の視差から補間して求める説明図である。 スクリーン座標への変換を説明する図である。 シェーダーによる画像補正を示す図である。 Ａはパイロット視点画像と機外カメラ視点のHMD映像を対比した画像、Ｂはパイロット視点画像と本発明によって補正したHMD映像を対比した画像である。

図１に示すように、ある目標を機外カメラで撮影してパイロットのHMDに表示させると、機外カメラ視点の映像は、視差が存在するためにパイロット視点から見た映像とズレが存在する。
そこで、機外カメラで撮影した映像に対して、視点位置を補正する処理を加えて、擬似的にパイロット視点の映像を生成しHMDに表示する。視点位置の補正は、図２に示すように、機外カメラ映像に対して、機外カメラ視点とパイロット視点の視差を加える画像補正処理を行う。機外カメラ視点とパイロット視点の視差は、機外カメラの視野範囲内の地表に視差を計算するための目標とする点として、代表点を設定し、機外カメラ視点およびパイロット視点からの代表点の見え方の違いを算出することで得られる。画像補正処理は、Open GL（登録商標）のフラグメントシェーダー機能を使用してリアルタイムで映像を歪曲させて擬似パイロット視点映像を生成する。
視点位置の補正により、パイロットのHMDに対して、ズレのないパイロット視点からの映像を表示させることが可能となること、これが本発明の概要である。

視点位置補正処理のシステムをヘリコプタに搭載した際の概要図を図３に示す。このシステムは、機外カメラの撮影映像情報とGPSと慣性センサからの情報を表示計算機に取り込み、視点位置の補正処理を行い、その補正画像をHMDに送って表示させる機能を備える。
前記の表示計算機は、飛行する地域の標高データを持つ。また、GPSおよび慣性センサ、から現在の飛行位置、機体姿勢データを取得する。表示計算機は、これらのデータを基に、リアルタイムで機外カメラの映像を補正してHMDに出力する。以下に詳細な手順を示す。
ステップ１：機外カメラで撮影した映像を2D画像（テクスチャ）として取り込む。
ステップ２：機外カメラの鉛直下方で標高が０の位置を原点とし、図４に示すようなXYZ直交座標系を定義する。このとき、XY平面は地表の標高が０と仮定した場合の水平面とする。X方向は機外カメラのヘディング方向を指すものとする。原点は必ずしも標高０の位置である必要はないが、XY平面は水平面であることは必須の条件である。
ここで、標高0の位置を原点としたのは、自機の高度および標高、代表点の標高を同じグローバル座標空間のZ軸の値として表現し、対地高度を算出しやすくするためである。すなわち、自機の対地高度 =(自機高度−標高)として算出するが、例えば標高100の位置を原点とすると、自機の対地高度 = (自機高度-100)-(標高-100)となり、オフセットを考慮する必要があるためである。

ステップ３：自機の現在位置（緯度、経度、高度）をGPS等から取得する。具体的には、飛行する地域の数値標高データから、自機の現在位置の標高を求め、自機高度と標高から機外カメラ位置の対地高度を算出する。
ステップ４：自機の現在姿勢を慣性センサ等から取得する。
ステップ５：機外カメラの向きと視野角、対地高度から、機外カメラに映る視野範囲内の地表面に代表点を定義する。代表点は、XY平面において、X軸方向に、対地高度と原点からの距離に比例した間隔で複数配置する。また、X軸方向と同じ間隔で、X軸方向の左右にも水平視野角の範囲内に配置する。代表点は、機外カメラからの最大距離を設定し、視野範囲内であっても、最大距離以上は補正の対象外として配置しない。これによって処理負荷の軽減を図る。図５に代表点の配置イメージを示す。

ステップ７：機外カメラから代表点までのXY平面における距離から、代表点の緯度経度を算出する。求めた緯度経度から、飛行する地域の数値標高データ（例えば国土地理院の標高データ等を蓄積しておく。）を基に、代表点の標高を求める。図６に代表点の緯度経度、標高について示す。
ステップ８：機外カメラ視点を原点とする座標系、パイロット視点を原点とした座標系として、X^´Y^´Z^´直交座標系を定義する。また、機外カメラの視野投影面、パイロットの視野投影面を定義する。図７に示すように、視野投影面は、面の中心で視線方向と垂直に交わる。また、視点から視野投影面の中心まで距離はｌであるとする。

ステップ９：機外カメラの視点座標系、パイロットの視点座標系における代表点の位置を算出する。図８に示すように、視点から代表点までのベクトルが視野投影面と交わる点を求めることにより、視野投影面における代表点の座標を算出する。機外カメラの視野投影面における代表点の座標Z^´軸成分Z₁より、視線方向に対する代表点のZ^´軸方向の視野角θ₁、パイロットの視野投影面における代表点の座標Z^´軸成分Z₂より、視線方向に対する代表点のZ^´軸方向の視野角θ₂を算出する。

ステップ１０：機外カメラの視野投影面の中心を原点とする座標系、パイロットの視野投影面の中心を原点とする座標系として、X^´´Y^´´Z^´´直交座標系を定義する。図９に示すように、視野投影面は、面の中心で視線方向と垂直に交わり、視点から視野投影面の中心まで距離はｌである。視野投影面のサイズは、機外カメラ、パイロット共に、X^´´軸方向が2a、Y^´´軸方向が2bであるとする。視差は、解像度（画素）単位で算出し、後述するようにスクリーン座標に変換して補正するので、この視野投影面のサイズは、機外カメラ、パイロットのHMDの画面解像度を示すものとなる。

機外カメラ、パイロットのY^´´軸正方向の視野角が共にθ₀であるとする。
ステップ１２：機外カメラの視線方向に対する代表点のY^´´軸方向の視野角θ₁から、視野投影面における代表点の座標Y^´´軸成分Y₁を算出する。
Y₁ ＝ ｂ×tan(θ₁)/tan(θ₀) ‥‥ （１）
パイロットの視線方向に対する代表点のY^´´軸方向の視野角θ₂から、視野投影面における代表点の座標Y^´´軸成分Y₂を算出する。
Y₂ ＝ ｂ×tan(θ₂)/tan(θ₀) ‥‥ （２）
このとき、Y₁とY₂の差が視差となる。各代表点について、機外カメラとパイロットの視差を算出する。図１０参照。

図１１に、パイロットのX^´´Y^´´視野投影面に投影された代表点を表す。
ステップ１３：代表点の機外カメラおよびパイロットのX^´´Y^´´視野投影面における視差を補間して、パイロットのX^´´Y^´´視野投影面の補正範囲内の各座標における視差を算出する。補間計算は、各代表点からのY^´´軸方向の距離の逆数を重みとした平均値を算出する。

ステップ１４：機外カメラの2D画像に、各座標の視差を加える画像補正処理を行う。画像補正処理は、Open GL(登録商標)のフラグメントシェーダーによって行う。機外カメラの視野投影面座標をスクリーン座標に変換する。図１２において左図が機外カメラの2D画像であり、右図がスクリーン画像を示している。
機外カメラのスクリーン各座標に対して、フラグメントシェーダーによって視差を加える。これが擬似的なパイロット視点映像となる。図１３において左図が補正前のスクリーン画像であり、右図がシェーダーによる画像補正したスクリーン画像を示している。
ステップ１５：この補正画像をHMDに表示する。

本発明のシステムを飛行シミュレータを使用した試験を行った際の画像を示す。図１４の上段のＡは、パイロット視点画像と機外カメラ視点のHMD映像を対比したものを、下段Ｂは、本発明の視差に起因する誤認を防止する方法によって補正した映像をHMDに表示したものの対比図である。視差が補正されて、HMDに表示された画像における指示指標の位置がパイロット視点画像における指示指標の位置と同じになっていることが確認できる。

本発明の視差に起因する誤認を防止する方法は、ヘリコプタによる捜索救難、緊急輸送などの人命救助や大規模災害発生時の対応に際し、夜間や悪天候などの視界不良状態において有効な手段となる。

１ 機体 ２ 機外カメラ
３ パイロット ４ 表示計算機
５ 代表点

Claims (4)

1. 機外カメラと表示計算機を備え、機外カメラに映る視野範囲内の地表面に代表点を定義し、その代表点がパイロット視点からどの位置に見えるべきかを、地形データベースと機体の位置・姿勢及びパイロット並びに機外カメラの視点位置情報から算出することで、機外カメラ視点とパイロット視点の視差を算出するようにした視差に起因する誤認を防止する方法。
2. 前記の各代表点で求めた視差を補間して、視野投影面の各座標における視差を算出し、機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにした請求項１に記載の視差に起因する誤認を防止する方法。
3. Open GL（登録商標）のフラグメントシェーダーを用い、リアルタイムで機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにした請求項１または２に記載の視差に起因する誤認を防止する方法。
4. 機外カメラと、表示計算機と、HMDとを備え、前記機外カメラの撮影映像情報とGPSと慣性センサからの情報を前記表示計算機に取り込み、前記機外カメラに映る視野範囲内の地表面に代表点を定義し、その代表点がパイロット視点からどの位置に見えるべきかを、前記表示計算機で地形データベースと機体の位置・姿勢及びパイロット並びに機外カメラの視点位置情報から算出することで、機外カメラ視点とパイロット視点の視差を算出することを特徴とする視差に起因する誤認を防止するシステム。