JP4253239B2 - 画像認識を用いた航法装置 - Google Patents

Description

本発明は、画像認識を用いた航法装置に関する。

現在、ヘリコプタ等の垂直離着陸式の航空機をヘリポートや艦船に着地（着船）させるための誘導技術が種々提案されている。

例えば、ヘリコプタから発する音波をマイクロフォンで検出し、この音波に係る電気信号に基づいてヘリコプタの位置を算出し、算出結果をヘリコプタに送信して所定の目標地点にヘリコプタを誘導する技術が提案されている（特許文献１参照。）。また、地上に設置されたミリ波レーダ装置やステレオカメラ装置を用いて飛行体の位置情報を取得し、この位置情報を用いて所定の目標地点に飛行体を誘導する技術も提案されている（特許文献２参照。）。

また、近年においては、ＲＴＫ−ＧＰＳ等のＤＧＰＳを用いて、所定の目標地点に対する機体の相対的な位置情報を正確に計測し、この正確な位置情報に基づいて、慣性センサで取得した位置情報を補正する「ＤＧＰＳ／ＩＮＳ複合航法装置」が開発されている。かかる複合航法装置を使用することにより、所定の目標地点に機体を正確に誘導することが可能となる。
特開平８−７１９９号公報（第１頁、第１図） 特開平１１−７２５５８号公報（第１頁、第１図）

しかし、特許文献１又は特許文献２に記載の技術を採用すると、マイクロフォン、ミリ波レーダ装置、ステレオカメラ装置等の誘導制御用の地上設備を所定の目標地点近傍に事前に設置する必要がある。従って、これら誘導制御用の地上設備が設置されていない地点には、機体を誘導することができないという問題がある。

また、前記したＤＧＰＳ／ＩＮＳ複合航法装置を用いた誘導技術においては、目標地点の位置情報と機体の位置情報との差分を、機体誘導用の相対位置情報として使用するため、目標地点の絶対座標を事前に計測しておく必要があり、この絶対座標の計測に手間や時間を要してしまう。また、ＤＧＰＳ用の補正情報を機体に向けて送信するＧＰＳ基地局を地上に設置する必要があるため、システム構成が複雑となる。さらに、ＤＧＰＳ解の収束を待つために、着陸前に目標地点近傍の空中でホバリングや低速飛行を行う必要がある。このため、飛行時間が長くなるとともに不要な燃料を消費してしまうという問題がある。

本発明の課題は、誘導制御用の地上設備やＤＧＰＳを用いることなく、所定の目標地点に対する機体の位置情報を精度良くかつ迅速に取得することができる航法装置を提供することである。

以上の課題を解決するために、請求項１に記載の発明は、画像認識を用いた航法装置であって、目標地点のステレオ画像を取得する撮像手段と、機体の姿勢角及び加速度を計測する慣性情報検出手段と、前記ステレオ画像及び前記姿勢角に基づいて前記目標地点に対する機体の相対位置を算出する画像処理演算手段と、前記加速度を積分して機体位置を算出し、前記相対位置と前記機体位置とを比較して位置誤差を算出し、前記加速度及び前記位置誤差に基づいて航法情報を生成し出力する航法演算手段と、を備えることを特徴とする。

請求項１に記載の発明によれば、画像処理演算手段は、撮像手段で取得した所定の目標地点の画像情報を処理することにより、目標地点に対する機体の相対位置を算出する。また、航法演算手段は、慣性情報検出手段で計測した機体の姿勢角及び加速度と、画像処理演算手段で算出した機体の相対位置と、に基づいて、航法情報（機体の位置情報等）を生成して出力する。すなわち、慣性情報検出手段で計測した機体の加速度を積分して算出したバイアス誤差を有する情報を、画像認識処理を用いて算出した比較的正確な機体の相対位置に係る情報を用いて補正して、より妥当な航法情報を算出することができる。

従って、所定の目標地点近傍にマイクロフォンやミリ波レーダ装置等の誘導制御用の地上設備を設置することなく、機体単独で、航法情報を精度良く取得することができる。この結果、誘導制御用の地上設備が設置されていない地点にも、機体を正確に誘導することができる。また、ＤＧＰＳを用いることなく、機体単独で、航法情報を精度良く取得することができるので、目標地点の絶対座標の計測が不要となるため、絶対座標の計測に要していた手間や時間を削減することができる。また、ＧＰＳ受信機の設置が不要となるのでシステム構成を簡素化することができ、さらに、ＤＧＰＳ解の収束を待つ必要がないので、航法情報を迅速に取得することができ、飛行時間を短縮するとともに燃料を節減することができる。

請求項２に記載の発明は、請求項１に記載の画像認識を用いた航法装置において、前記航法演算手段は、加速度を積分して速度を算出する速度算出部と、前記速度を積分して機体位置を算出する位置算出部と、前記相対位置と前記機体位置とを比較して位置誤差を算出する位置誤差算出部と、前記位置誤差に基づいて、前記加速度と前記速度と前記機体位置とを補正する補正値を算出する誤差推定フィルタと、を備え、前記補正値に基づいて補正した補正後の速度及び機体位置を前記航法情報として出力することを特徴とする。

本発明によれば、画像処理演算手段で算出した比較的正確な機体の相対位置を用いて、慣性情報検出手段で計測した機体の加速度を積分して算出したバイアス誤差を有する情報を補正して、より妥当な航法情報（機体の位置情報等）を算出するので、誘導制御用の地上設備やＤＧＰＳを用いることなく、機体単独で、目標地点に対する航法情報を精度良くかつ迅速に取得することができる。この結果、誘導制御用の地上設備が設置されていない地点にも機体を正確に誘導することができる。また、絶対座標の計測に要していた手間や時間を削減することができ、なおかつ、システム構成を簡素化することができる。また、飛行時間を短縮するとともに燃料を節減することができる。

以下、本発明の実施の形態を、図を用いて詳細に説明する。

なお、本発明の実施の形態に係る画像認識を用いた航法装置１０は、有人のヘリコプタ１（図２（ｂ）、（ｃ）参照）に搭載されるものとする。ヘリコプタ１には、本実施の形態に係る航法装置１０のほかに、ＧＰＳ衛星から位置情報を受信するＧＰＳ受信機や、航法装置１０から出力される位置情報等（航法出力）を受けて自動操縦を行う自動操縦装置等が搭載されている。

まず、図１から図３を用いて、本実施の形態に係る航法装置１０の構成について説明する。

航法装置１０は、ヘリコプタ１（図２（ｂ）参照）の機体２の下方に固定されるステレオカメラ１１、機体２の加速度及び姿勢角を計測する慣性センサ１２、ステレオカメラ１１で取得した目標地点の画像情報の処理を行う画像処理部１３、画像処理部１３により算出された目標地点の位置情報に基づいて、目標地点に対する機体２の相対位置情報を算出する画像位置演算部１４、慣性センサ１２で計測した機体２の加速度に基づいて、機体２の位置情報を算出する航法演算部１５、等を備えて構成されている（図１参照）。

ステレオカメラ１１は、図１に示すように、ヘリコプタ１を着陸させる目標地点（例えば着陸地点標識Ａ）近傍の画像情報を取得するものであり、本発明における撮像手段である。慣性センサ１２は、複数のジャイロ及び加速度計を有しており、機体２の姿勢角（ロール角φ、ピッチ角θ、ヨー角ψ）及び加速度を計測するものであり、本発明における慣性情報検出手段である。なお、慣性センサ１２で計測される加速度は、機体固定座標系における加速度である。

画像処理部１３は、ステレオカメラ１１で取得した目標地点近傍の画像情報を処理して、画面上における目標地点の中心位置座標を算出する。具体的には、図２（ａ）に示すように、所定の画面の中心を原点とする座標系（ＩＪ座標系）を設定し、目標地点の中心位置の座標（Ｉ、Ｊ）を求める。また、画像処理部１３は、ステレオカメラ１１で取得した目標地点近傍の画像情報をステレオ処理することにより、ステレオカメラ１１から目標地点までの距離を算出する（図２（ｂ）参照）。

画像位置演算部１４は、慣性センサ１２で計測された機体２の姿勢角と、画像処理部１３により算出された目標地点までの距離と、に基づいて、目標地点に対する機体２の相対位置を算出する。ここで、画像位置演算部１４による機体２の相対位置の算出方法について具体的に説明する。

まず、画像位置演算部１４は、画像処理部１３により算出された目標地点の画面内における画素位置（Ｉ、Ｊ）（＝画面中心からの画素数）及び機体２の高度Ｈからなるパラメータ（Ｉ、Ｊ、Ｈ）を、以下のような式（Ａ）を用いて、機体固定座標系における位置座標（Ｘ_C、Ｙ_C、Ｚ_C）（＝機体からの距離）に変換する。なお、機体固定座標系とは、ステレオカメラ１１のカメラ視軸方向（機体２の下方）にＺ_C軸をとり、ステレオカメラ１１の画面上方（機体２の前方）にＸ_C軸をとり、ステレオカメラ１１の画面右方向（機体２の右舷方向）にＹ_C軸をとった３次元座標系である（図２（ｂ）参照）。

式（Ａ）において、「Ｋ₁」及び「Ｋ₂」は、ステレオカメラ１１の視野角によって決定される係数であり、以下のような式（Ｂ）及び式（Ｃ）で算出される。

式（Ｂ）及び式（Ｃ）において、α_J及びα_Iは、各々Ｊ方向及びＩ方向におけるステレオカメラ１１の視野角の大きさである。

次いで、画像位置演算部１４は、式（Ａ）により算出された目標地点の機体固定座標系における位置座標（Ｘ_C、Ｙ_C、Ｚ_C）を、以下のような式（Ｄ）を用いて、慣性座標系における位置座標（Ｘ_E、Ｙ_E、Ｚ_E）に変換する。なお、慣性座標系とは、ステレオカメラ１１の中心を原点として、北の方向にＸ_E軸をとり、東の方向にＹ_E軸をとり、鉛直下方にＺ_E軸をとった３次元座標系である（図２（ｃ）参照）。慣性座標系の原点は、機体２とともに移動する。

続いて、画像位置演算部１４は、式（Ｄ）により算出された目標地点の慣性座標系における位置座標（Ｘ_E、Ｙ_E、Ｚ_E）の符号を逆にすることにより、目標地点の中心を原点とした地球固定座標系における機体２の相対位置座標（Ｘ、Ｙ、Ｚ）を得る（式（Ｅ）参照）。なお、地球固定座標系とは、目標地点の中心を原点として、北の方向にＸ軸をとり、東の方向にＹ軸をとり、鉛直下方にＺ軸をとった３次元座標系である（図２（ｃ）参照）。

ここで、地球固定座標系のＺ軸は鉛直下方が正となるので、Ｚ軸座標の符号を逆にすることにより、機体２の高度Ｈが得られる（図２（ｃ）及び式（Ｆ）参照）。

以上の工程を経て算出された（Ｘ、Ｙ、Ｈ）は、目標地点に対する機体２の相対位置である。なお、画像処理部１３及び画像位置演算部１４は、本発明における画像処理演算手段を構成する。

航法演算部１５は、図３に示すように、座標変換部１５ａ、第１積分器１５ｂ及び第２積分器１５ｃを有している。座標変換部１５ａは、慣性センサ１２で計測した機体２の機体固定座標系における加速度を、慣性座標系における加速度に変換するものである。第１積分器１５ｂは、座標変換部１５ａで得た慣性座標系における加速度を積分して機体２の速度を算出するものであり、本発明における速度算出部である。第２積分器１５ｃは、第１積分器１５ｂで算出した速度を積分して機体２の位置を算出するものであり、本発明における位置算出部である。これら座標変換部１５ａ、第１積分器１５ｂ及び第２積分器１５ｃにより、慣性センサ１２で計測した加速度に基づいて目標地点に対する機体２の速度及び位置を算出することができる。

また、航法演算部１５は、図３に示すように、位置誤差算出部１５ｄ及び誤差推定フィルタ１５ｅを有している。位置誤差算出部１５ｄは、画像位置演算部１４で算出した機体２の相対位置と、第２積分器１５ｃで算出した機体２の位置と、の差分（位置誤差）を算出するものである。誤差推定フィルタ１５ｅは、位置誤差算出部１５ｄで算出した位置誤差の入力を受けて、第２積分器１５ｃで算出した機体２の位置等を補正するための補正値を出力するものである。誤差推定フィルタ１５ｅとしては、線形フィルタやカルマン・フィルタを採用することができる。これら位置誤差算出部１５ｄ及び誤差推定フィルタ１５ｅにより、慣性センサ１２で計測した加速度に基づいて算出した機体２の位置等を、画像位置演算部１４で算出した機体２の相対位置を用いて補正する。

次に、本実施の形態に係る航法装置１０を用いたヘリコプタ１の自動着陸動作について説明する。本実施の形態においては、ヘリポートの着陸地点標識Ａ（目標地点）にヘリコプタ１を自動着陸させることとする。

まず、操縦者は、ヘリコプタ１に搭載された自動操縦装置により、機体２を着陸地点標識Ａ近傍の上空まで飛行させる。この際、ヘリコプタ１の航法演算部１５は、慣性センサ１２で計測した加速度に基づいて算出した機体２の速度及び位置を、ＧＰＳ衛星から送信される速度及び位置に係る情報によって補正している。

次いで、ヘリコプタ１が着陸地点標識Ａ近傍の上空に到達し、着陸地点標識Ａの画像が取得可能となると、ステレオカメラ１１は着陸地点標識Ａの画像情報を自動的に取得する。

すると、画像処理部１３は、この画像情報を処理して、着陸地点標識Ａの中心位置の座標（Ｉ、Ｊ）と、機体２の高度Ｈと、からなるパラメータ（Ｉ、Ｊ、Ｈ）を算出する（図２（ａ）、（ｂ）参照）。なお、本実施の形態においては、６０画素×８０画素の画面を例として用いており、着陸地点標識Ａの中心位置の座標は（Ｉ、Ｊ）＝（１５画素、１４画素）と算出されたものとする。

画像処理部１３で算出したパラメータ（Ｉ、Ｊ、Ｈ）が画像位置演算部１４に伝送されると、画像位置演算部１４は、このパラメータ（Ｉ、Ｊ、Ｈ）に基づいて、着陸地点標識Ａに対する機体２の相対位置（Ｘ、Ｙ、Ｈ）を算出する（図２（ｃ）参照）。

画像位置演算部１４での算出結果が航法演算部１５に伝送されると、航法演算部１５の位置誤差算出部１５ｄは、画像位置演算部１４で算出した機体２の相対位置（Ｘ、Ｙ、Ｈ）と、慣性センサ１２で計測した加速度に基づいて算出した機体２の位置と、の差分（位置誤差ｄＰ）を算出する（図３参照）。そして、航法演算部１５の誤差推定フィルタ１５ｅは、位置誤差ｄＰに基づいて、加速度誤差補正値ΔＡ、速度誤差補正値ΔＶ及び位置誤
差補正値ΔＰを出力する（図３参照）。

これら加速度誤差補正値ΔＡ、速度誤差補正値ΔＶ及び位置誤差補正値ΔＰにより、慣
性センサ１２で計測した加速度と、積分演算で算出した速度及び位置と、が補正される。この結果、高精度な航法出力（着陸地点標識Ａに対する機体２の速度及び位置に係る情報）が航法演算部１５から自動操縦装置に伝送される。

その後、自動操縦装置は、航法演算部１５からの高精度な航法出力を受けて、機体２の位置、高度、降下率等を制御しながら機体２を降下させて、ヘリコプタ１を着陸地点標識Ａに着陸させる。なお、このときの着陸方法としては、本願発明者が既に出願した方法（例えば、特願２００２−２９５１７４号参照）を採用することができる。

以上説明した実施の形態に係る航法装置１０においては、慣性センサ１２で計測した姿勢角と、ステレオカメラ１１で取得した着陸地点標識Ａの画像情報と、に基づいて、画像位置演算部１４で着陸地点標識Ａに対する機体２の相対位置（Ｘ、Ｙ、Ｈ）を算出する。また、慣性センサ１２で計測した機体２の加速度に基づいて、積分演算により機体２の位置を算出する。そして、画像位置演算部１４で算出した機体２の相対位置（Ｘ、Ｙ、Ｈ）を用いて、積分演算により算出した機体２の位置を補正する。すなわち、積分演算により算出したバイアス誤差を有する位置に係る情報を、画像認識を用いて算出した比較的正確な相対位置に係る情報を用いて補正することができる。

従って、着陸地点標識Ａの近傍にマイクロフォンやミリ波レーダ装置等の誘導制御用の地上設備が設置されていない場合でも、航法情報（機体２の位置に係る情報）を精度良く取得することができ、機体２を正確に誘導して着陸させることができる。また、ＤＧＰＳを用いることなく、航法情報を精度良く取得することができるので、着陸地点標識Ａの絶対座標の計測が不要となるため、絶対座標の計測に要していた手間や時間を削減することができる。また、ＤＧＰＳ解の収束を待つ必要がないので、航法情報を迅速に取得することができ、飛行時間を短縮するとともに燃料を節減することができる。

なお、以上説明した実施の形態においては、ヘリコプタ１を所定の目標地点（ヘリポートの着陸地点標識Ａ）に自動着陸させる際に航法装置１０を用いた例を示したが、本実施の形態に係る航法装置１０を用いて、所定の目標地点からヘリコプタ１を自動離陸させることもできる。また、定点上に所定高度でヘリコプタ１をホバリングさせる際にも、本発明に係る航法装置を用いることができる。

また、以上の実施の形態においては、本発明に係る航法装置をヘリコプタ１に搭載した例を示したが、垂直離着陸可能な他の航空機に本発明に係る航法装置を搭載した場合においても、同様の効果を得ることができる。

本発明の実施の形態に係る航法装置の全体構成を説明するためのブロック図である。 （ａ）は、図１に示した航法装置の画像処理部による画像処理を説明するための説明図であり、（ｂ）、（ｃ）は、図１に示した航法装置の画像処理演算部による位置座標算出処理を説明するための説明図である。 図１に示した航法装置の航法演算部の構成を説明するためのブロック図である。

符号の説明

２ 機体
１０ 航法装置
１１ ステレオカメラ（撮像手段）
１２ 慣性センサ（慣性情報検出手段）
１３ 画像処理部（画像処理演算手段）
１４ 画像位置演算部（画像処理演算手段）
１５ 航法演算部（航法演算手段）
１５ｂ 第１積分器（速度算出部）
１５ｃ 第２積分器（位置演算部）
Ａ 着陸地点標識（目標地点）

Claims (2)

1. 目標地点のステレオ画像を取得する撮像手段と、
   機体の姿勢角及び加速度を計測する慣性情報検出手段と、
   前記ステレオ画像及び前記姿勢角に基づいて前記目標地点に対する機体の相対位置を算出する画像処理演算手段と、
   前記加速度を積分して機体位置を算出し、前記相対位置と前記機体位置とを比較して位置誤差を算出し、前記加速度及び前記位置誤差に基づいて航法情報を算出する航法演算手段と、
   を備えることを特徴とする画像認識を用いた航法装置。
2. 前記航法演算手段は、
   加速度を積分して速度を算出する速度算出部と、
   前記速度を積分して機体位置を算出する位置算出部と、
   前記相対位置と前記機体位置とを比較して位置誤差を算出する位置誤差算出部と、
   前記位置誤差に基づいて、前記加速度と前記速度と前記機体位置とを補正する補正値を算出する誤差推定フィルタと、を備え、
   前記補正値に基づいて補正した補正後の速度及び機体位置を前記航法情報として出力することを特徴とする請求項１に記載の画像認識を用いた航法装置。

Images